KI in der Urteilsfindung — Hochrisiko nach Annex III

Use-Case-Definition

Gegenstand dieser Page sind KI-Systeme, die eine Justizbehörde bei der Rechtsprechung unterstützen — also bei der Ermittlung und Auslegung von Sachverhalten und Rechtsnormen sowie bei deren Anwendung auf einen konkreten Fall. Erfasst sind Entscheidungsunterstützungssysteme, die Urteilsvorschläge oder Strafmaß-Korridore generieren, Systeme zur Prognose des Rückfallrisikos einer angeklagten oder verurteilten Person, Werkzeuge zur automatisierten Sachverhaltsauswertung umfangreicher Aktenbestände sowie vergleichbare Systeme, die in der alternativen Streitbeilegung eingesetzt werden.

Abzugrenzen ist der Use-Case in zwei Richtungen. Erstens gegenüber reiner Gerichtsverwaltung: Systeme für Terminplanung, Geschäftsverteilung, Anonymisierung von Entscheidungen, Dokumentenverwaltung oder Übersetzung berühren die richterliche Entscheidungsfindung nicht und sind von der Hochrisiko-Einstufung nicht erfasst. Zweitens gegenüber Systemen der Strafverfolgung: Risikobewertungen, die Polizei oder Staatsanwaltschaft im Ermittlungsverfahren einsetzen, fallen unter Annex III Nr. 6 und haben ein eigenes Pflichtenprofil. Maßgeblich für die Zuordnung ist nicht der Anbieter, sondern die Zweckbestimmung: Wirkt das System auf die gerichtliche Entscheidung ein oder nur auf deren organisatorisches Umfeld?

Annex-III-Verortung

Der Use-Case ist in Annex III Nummer 8 Buchstabe a des EU AI Act (Verordnung (EU) 2024/1689) verortet — dem Bereich „Rechtspflege und demokratische Prozesse". Erfasst sind dort KI-Systeme, die dazu bestimmt sind, von einer Justizbehörde oder in deren Namen verwendet zu werden, um eine Justizbehörde bei der Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften und bei der Anwendung des Rechts auf konkrete Sachverhalte zu unterstützen, oder die in ähnlicher Weise bei der alternativen Streitbeilegung verwendet werden. Die Erwägungsgründe stellen ausdrücklich klar, dass rein unterstützende Verwaltungstätigkeiten ohne Auswirkung auf die eigentliche Rechtsprechung nicht erfasst sind.

Die Ausnahmen des Art. 6 Abs. 3 EU AI Act — nach denen ein Annex-III-System im Einzelfall nicht als hochriskant gilt, wenn es lediglich eine eng umgrenzte Verfahrensaufgabe erfüllt, ein zuvor abgeschlossenes menschliches Ergebnis verbessert oder nur vorbereitend wirkt — greifen hier nur mit großer Zurückhaltung. Sobald ein System Entscheidungsergebnisse vorschlägt, gewichtet oder priorisiert, liegt keine bloß vorbereitende Tätigkeit mehr vor. Zudem entfällt die Ausnahme, sobald Profiling natürlicher Personen stattfindet — was auf Rückfallprognosen regelmäßig zutrifft. Wer sich auf die Ausnahme beruft, muss die Einschätzung nach Art. 6 Abs. 4 dokumentieren und registrieren.

Warum Hochrisiko

Die richterliche Entscheidung ist der Ort, an dem der Staat am unmittelbarsten in Freiheit, Vermögen und Lebensführung eingreift. Drei Mechanismen begründen die Einstufung als Hochrisiko.

Erstens die Eingriffstiefe in Grundrechte: Betroffen sind das Recht auf ein faires Verfahren und einen wirksamen Rechtsbehelf (Art. 47 GRC, Art. 6 EMRK), im deutschen Rechtsraum flankiert durch die richterliche Unabhängigkeit und den Anspruch auf den gesetzlichen Richter. Eine Entscheidung, deren tragende Gründe teilweise in einem Modell liegen, das die Parteien weder einsehen noch angreifen können, entzieht sich der prozessualen Kontrolle, die das Verfahrensrecht gerade sicherstellen soll.

Zweitens die Verzerrung durch historische Daten: Prognosemodelle lernen aus vergangenen Verfahren und Verurteilungen. Diese Daten bilden nicht nur Tatbestände ab, sondern auch die Verfolgungs- und Sanktionspraxis der Vergangenheit einschließlich ihrer Ungleichbehandlungen. Merkmale wie Wohnumfeld, Erwerbsbiografie oder soziale Kontakte können als Stellvertreter für geschützte Eigenschaften wirken. Der internationale Fachdiskurs zu algorithmischen Rückfallprognosen — insbesondere die seit Jahren dokumentierte Kritik an US-Instrumenten wie COMPAS — zeigt, dass Aussagekraft, Fairness-Definition und Nachprüfbarkeit solcher Scores fachlich umstritten sind.

Drittens der Automation Bias: Richterinnen und Richter arbeiten unter Zeitdruck und hoher Fallzahl. Ein maschineller Vorschlag, der als objektiv und datengestützt wahrgenommen wird, verschiebt faktisch die Begründungslast — nicht mehr die Übernahme, sondern die Abweichung muss gerechtfertigt werden. Genau dieser Ankereffekt kann die richterliche Unabhängigkeit aushöhlen, ohne dass formal je eine Entscheidungsbefugnis delegiert wurde.

Pflichten für Provider

Wer ein solches System entwickelt und unter eigenem Namen in der EU bereitstellt, ist Provider nach Art. 3 EU AI Act und trägt die Pflichten aus Kapitel III Abschnitt 2: Risikomanagement über den gesamten Lebenszyklus (Art. 9), Daten und Daten-Governance (Art. 10), technische Dokumentation nach Annex IV (Art. 11), automatische Protokollierung (Art. 12), Transparenz gegenüber Deployern (Art. 13), Vorkehrungen für wirksame menschliche Aufsicht (Art. 14) sowie Genauigkeit, Robustheit und Cybersicherheit (Art. 15). Hinzu kommen Qualitätsmanagementsystem (Art. 17), Konformitätsbewertung und CE-Kennzeichnung (Art. 43) sowie Registrierung in der EU-Datenbank (Art. 49).

Fachlich bedeutsam ist die Dokumentationsqualität. Die Gebrauchsanweisung nach Art. 13 muss Zweckbestimmung, Leistungsgrenzen, bekannte Fehlerquellen und die Bedingungen benennen, unter denen die Ausgabe nicht belastbar ist — für ein Gericht ist genau das die Grundlage, um den Beitrag des Systems im Urteil offenlegen und würdigen zu können. Trainingsdaten müssen auf Repräsentativität und Verzerrung geprüft und die Prüfung dokumentiert sein; die Leistungsbewertung ist nach relevanten Gruppen aufzuschlüsseln und nicht nur global auszuweisen. Systeme, die auf einem General-Purpose-Modell aufsetzen, benötigen eine belastbare Informationskette zum Modellanbieter, damit die eigene technische Dokumentation vollständig bleibt.

Pflichten für Deployer

Deployer ist die Justizbehörde, die das System einsetzt. Aus Art. 26 EU AI Act folgen Betrieb gemäß Anbieter-Instruktion, Betrauung fachlich qualifizierter und geschulter Personen mit der menschlichen Aufsicht, Plausibilitätsprüfung der Eingabedaten, Beobachtung des Betriebs sowie Aufbewahrung der automatisch erzeugten Logs. Als öffentliche Stelle trifft die Behörde zusätzlich die Pflicht zur Grundrechte-Folgenabschätzung nach Art. 27 vor der ersten Inbetriebnahme. Betroffene Personen, über die mithilfe eines Annex-III-Systems entschieden wird, sind nach Art. 26 Abs. 11 darüber zu informieren; das Recht auf Erläuterung der Einzelfallentscheidung nach Art. 86 tritt hinzu.

Über den EU AI Act hinaus wirkt das Verfahrensrecht fort. Die Entscheidung bleibt vollständig richterlich zu verantworten und zu begründen; eine Bezugnahme auf ein Systemergebnis ersetzt die Begründung nicht. Rechtliches Gehör verlangt, dass die Parteien zu einer maschinell erzeugten Grundlage Stellung nehmen können — das setzt voraus, dass deren Einsatz aktenkundig ist. Wo personenbezogene Daten in der Strafrechtspflege verarbeitet werden, greifen zudem die Vorgaben der JI-Richtlinie und ihrer nationalen Umsetzung, im Übrigen die DSGVO.

Was Audits prüfen

• Zweckbestimmung und Einstufung: Dokumentierte Abgrenzung zwischen entscheidungsunterstützender und rein administrativer Funktion; bei Berufung auf Art. 6 Abs. 3 die vollständige Bewertung samt Registrierung.
• Grundrechte-Folgenabschätzung: Nachweis der FRIA nach Art. 27 vor Inbetriebnahme, mit benannten betroffenen Personengruppen und Abhilfemaßnahmen.
• Daten-Governance: Herkunft, Repräsentativität und Verzerrungsprüfung der Trainingsdaten nach Art. 10 — einschließlich der Frage, welche Sanktionspraxis die Daten abbilden.
• Wirksamkeit der menschlichen Aufsicht: Belege, dass Abweichungen vom Systemvorschlag real vorkommen, dokumentiert werden und keine erhöhte Begründungslast auslösen.
• Nachvollziehbarkeit im Verfahren: Protokolle nach Art. 12, die für jede Ausgabe Modellversion, Eingabe und Zeitstempel rekonstruierbar machen und mit der Akte verknüpfbar sind.
• Transparenz gegenüber Betroffenen: Nachweis der Information nach Art. 26 Abs. 11 und der Fähigkeit, die wesentlichen Faktoren einer Ausgabe zu erläutern.

Konforme Architektur

Eine konforme Implementierung trennt konzeptionell drei Schichten und hält an jeder Grenze einen Kontroll- und Protokollpunkt vor: eine Recherche- und Sachverhaltsschicht, eine bewertende Analyseschicht und die richterliche Entscheidungsschicht. Die Recherche- und Sachverhaltsschicht liefert ausschließlich belegte Fundstellen mit Quellenangabe und Stand, sodass jede Aussage auf ein überprüfbares Dokument zurückführbar bleibt und generative Bestandteile keine unbelegten Rechtsaussagen erzeugen können. Die Analyseschicht gibt Teilbeiträge und Begründungsmerkmale statt eines opaken Gesamtwerts aus, weist Unsicherheit explizit aus und verweigert die Ausgabe, wenn die Eingabelage außerhalb des validierten Anwendungsbereichs liegt.

Die Entscheidungsschicht ist so gestaltet, dass das Systemergebnis nachrangig und nachvollziehbar in die Akte eingeht: Der Vorschlag erscheint nicht als Vorbelegung, sondern als gesondert ausgewiesener Beitrag, jede Nutzung wird revisionssicher protokolliert und mit dem Verfahren verknüpft, und die Übernahme wie die Abweichung sind gleichrangig dokumentierbar. Ergänzend überwacht ein laufendes Gruppen-Monitoring die Ausgabeverteilung auf entstehende Verzerrungen, und ein definierter Änderungsprozess stellt sicher, dass jede Modellaktualisierung erneut bewertet, dokumentiert und den Anwendenden bekannt gemacht wird. Trägt die Architektur diese Nachweise nicht, ist der Einsatz in der Rechtsprechung praktisch nicht audit-fähig.

Den Gesamtkontext des EU AI Act — Risikoklassen, Pflichtensystematik und das Forcing Event 02.12.2027 — vertieft der Leitfaden auf eu-ai-verordnung.de. Die Abgrenzung zwischen den verbotenen Praktiken aus Art. 5 und der Hochrisiko-Klasse nach Annex III behandelt ki-risikostufe.de im Detail.

AEGIRA AI Navigator unterstützt die Risikoklassifizierung und Pflicht-Ableitung für Annex-III-Use-Cases — aegira.ai.