Eine Frau erscheint am Ticketschalter eines Gerichts in Buenos Aires, Argentinien. Es ist 10 Uhr morgens an einem kalten Montag im August 2018. Sie kommt mit ihren drei Kindern an, die spielend auf dem Boden sitzen, während ihre Mutter mit der Mitarbeiterin spricht. “Ich bin gekommen, um einen Amparo zu überreichen, um die Subvention für Obdachlosigkeit zu sammeln”, rutscht die Frau etwas beschämt ab. Nach ein paar Fragen, deren Antworten auf einem Papierformular landen, fragt der Mitarbeiter nach Ihrem Personalausweis und geht ins Büro. Die Dame beschließt, sich hinzusetzen und zu warten. Sie ist müde und weiß, dass es Monate dauern wird, bis aus diesem kleinen Schneeball, den sie gerade geschoben hat, die Möglichkeit wird, drinnen zu schlafen.
Was er nicht weiß: Wenn seine Akte nicht in erster und zweiter Instanz geklärt wird, wird als letztes Mittel die Staatsanwaltschaft eingreifen. Und dort werden die Ursachen im Gegensatz zu den vorherigen Instanzen in Minutenschnelle behoben. Wie ist es möglich? Denn sie arbeiten mit einem Computersystem, das künstliche Intelligenz (KI) nutzt. Ihr Name ist Prometheus.
Wenn ein Justizbeamter des oben genannten Ministeriums die Akte in die Hand nimmt, muss er nur noch mündlich oder schriftlich die Fragen in einem Chat wie WhatsApp beantworten. Und in genau vier Minuten haben Sie die Stellungnahme sowie die relevanten Statistiken zum Fall und interessante Links zur Veranschaulichung der Entscheidung erhalten. Dann prüfen die Anwälte der Körperschaft nur noch das Verfahren, drucken und unterschreiben. Sie werden in einer halben Stunde eine Arbeit erledigt haben, die normalerweise Monate dauert.
Ein Modell, das Spanien interessiert
Im Oktober 2019 besuchten Behörden des Modernisierungsbereichs des spanischen Justizministeriums die Büros der Staatsanwaltschaft der Stadt Buenos Aires. Ziel war es, etwas über Prometea zu erfahren, das Computersystem, das in der argentinischen Hauptstadt zur Lösung von Fällen unterschiedlicher, aber einfacher Lösung verwendet wird: unter anderem geringfügige Verstöße, Verkehrsunfälle oder Sozialpolitik.
Sofía Duarte Domínguez, Generaldirektorin der Einrichtung, die früher als Modernisierung der spanischen Justiz bezeichnet wurde – im Januar 2020 wurde sie zur digitalen Transformation der Justizverwaltung –, äußerte sich diesbezüglich in der argentinischen Presse: „Wir haben alles über Prometea studiert. Wir wissen, dass es ein fabelhaftes System ist, und wir wollen sehen, ob wir es nach Spanien bringen können. Sogar die [entonces] Staatssekretär für Justiz, Manuel Dolz, hat uns eine Carte blanche gegeben, um voranzukommen mit dem, was zweifellos die Zukunft der Justiz ist.“
Das Thema sollte uns nicht überraschen. Wenige Tage vor dem Besuch der spanischen Delegation beim Gremium von Buenos Aires erklärte der Professor für Rechts- und Politikwissenschaften an der Universitat Oberta de Barcelona (UOC) David Martínez in einem von veröffentlichten Artikel Die Avantgarde, dass KI in Spanien durchaus in Fällen „mit einer einfachen rechtlichen Antwort“ eingesetzt werden könnte, was den Verkehr von Gerichtsakten erleichtern würde. Trotz der Tatsache, dass Duarte Domínguez betont, dass die Digitalisierung des gesamten Ministeriums ein fruchtbarer Boden für die Automatisierung der Justiz ist, warnt sie selbst, dass eines der Haupthindernisse für den Prozess im Widerstand der Justizangestellten liegt, die glauben, dass die Informationstechnologie die Digitalisierung beseitigen wird Arbeit.
Für die Automatisierung der Justiz
Die Beobachtungen von Martínez stimmen mit der Meinung einiger argentinischer Experten überein, die sich der Aufgabe verschrieben haben, intelligente Gerechtigkeit zu üben. Dies ist der Fall des Richters des Obersten Gerichtshofs der Provinz Mendoza, Mario Adaro, der Prometea täglich anwendet und kürzlich am ersten iberoamerikanischen Gipfeltreffen über künstliche Intelligenz im MIT-Hauptquartier (Boston) teilgenommen hat. „KI ist in der Lage, Informationen in großen Mengen zu verarbeiten, was bürokratische Fristen nicht unerheblich verkürzt, denn je größer die Zahl der Fälle und je weniger Entscheidungsträger, desto mehr Zeit pro Fall“, sagte er EL PAÍS RETINA. “Mit automatischen Prozessen hat der Richter eine größere Analysekapazität.”
Der stellvertretende Generalstaatsanwalt von Buenos Aires, Juan G. Corvalán, gründete Prometea, nachdem er festgestellt hatte, dass in der Hälfte der Fälle, in denen Justizbeamte eingreifen, die meiste Zeit dazu verwendet wird, personenbezogene Daten, wiederholte Informationen usw. zu überprüfen. Adaro veranschaulicht dies am Beispiel von Steuerfällen und weist darauf hin, dass „es sich um Seriensätze mit großem Umfang handelt, bei denen die Entscheidungen in klare Sätze gruppiert werden können und alles ziemlich mechanisch und vorhersehbar ist. Durch den Einsatz von KI für diese Art von Problemen lässt Prometea die Anzahl der Fehler beim Laden, Eingeben und Redundanzen von Daten deutlich sinken“, sagt der Richter aus Mendoza.
„KI kann Informationen in großen Mengen verarbeiten, was bürokratische Fristen verkürzt“
Herkunft: USA
Neben Prometea gibt es drei emblematische Fälle der Anwendung von KI in der Justiz. Das bekannteste ist das Programm Compas (Correctional Offender Management Profiling for Alternative Sanctions), das in mehreren US-Bundesstaaten eingesetzt wird. Es ist eine Software, die seit 1998 verwendet wird, um anhand des Strafregisters eines Angeklagten seine Rückfallwahrscheinlichkeit zu analysieren. Das Programm stellt dem Angeklagten einen Fragebogen. Sobald er alle Fragen beantwortet hat, berechnet das System das Rückfallrisiko, sodass der Richter beispielsweise festlegt, ob er während des Gerichtsverfahrens eine Bewährungsstrafe gewährt oder nicht.
Compas wurde 2013 mit dem Fall Loomis berühmt. Eric Loomis wurde beschuldigt, vor der Polizei geflohen zu sein und ein Fahrzeug ohne Genehmigung des Besitzers benutzt zu haben. Er erhielt sechs Jahre Gefängnis und fünf Jahre auf Bewährung, weil Compas ein hohes Rückfallrisiko einschätzte. Loomis legte Berufung ein und argumentierte, dass seine Verteidigung die Methoden von Compas nicht anfechten könne, da der Algorithmus nicht öffentlich sei. Der Oberste Gerichtshof des Bundesstaates Wisconsin wies die Berufung zurück. Jahre später, im Jahr 2018, wurde bekannt, dass das System 137 Aspekte jedes Angeklagten analysiert. Beim Vergleich des Erfolgsniveaus zwischen den Vorhersagen von Compas und denen von Juristen aus Fleisch und Blut wurde jedoch festgestellt, dass das Erfolgsniveau der KI nicht höher ist oder sogar schwerwiegende Fehler offensichtlich sind.
„Statistische Durchschnittswerte sagen etwas über gemeinsame Verhaltensmuster in einem Kollektiv aus. Sie beschreiben keine individuellen Profile und sind nicht in der Lage, die Singularität des Menschen zu erfassen“, erklärt Lorena Jaume-Palasí, Expertin für Ethik und Technologie und Gründerin von Algorithm Watch und The Ethical Tech Society. „Damit können wir Gruppen mit einer etwas architektonischeren Perspektive verstehen, gehen aber auch das Risiko ein, Individuen in Standards zu setzen, die nicht passen.“
Um zu klären, ob es machbar ist, jemanden mithilfe von KI kriminell zu verurteilen, muss man verstehen, nach welchen Kriterien der Algorithmus vorgeht (was die Verteidigung von Loomis behauptet). Jaume-Palasí argumentiert, dass Law schließlich ein Algorithmus ist, der schon lange vor der Existenz von Computern angewendet wurde. „[Con el caso Loomis] Jeder hat seine Augen auf das Computersystem gerichtet und war von Rassismus empört, aber Compas erlaubte uns, etwas über die Vorurteile der Richter herauszufinden, weil das System von Menschen geschaffen wurde, die mit diesen Vorurteilen gearbeitet und entschieden hatten, die später das Programm waren enthüllt.”
„Statistische Mittelwerte helfen, Gruppen zu verstehen, aber sie sind nicht in der Lage, die Singularität des Menschen zu erfassen“
Ist Promethea wie Compas?
Zusätzlich zu seiner Position in der Justiz ist Juan G. Corvalán Direktor des Labors für Innovation und künstliche Intelligenz der Juristischen Fakultät der Universität von Buenos Aires. 2017 entwickelte er zusammen mit seinen Mitarbeitern die Prometea-Software.
Corvalán hebt unter den Qualitäten des Systems hervor, dass „Prometea keine Black-Box-KI-Techniken oder so genannte Black-Box-KI-Techniken verwendet tiefes Lernen; das heißt, der gesamte Prozess des Algorithmus ist offen, überprüfbar und nachvollziehbar“. Compas hingegen wendet zwei neuronale Netze an, deren Funktionsweise unbekannt ist, weil „sie von einer privaten Firma entwickelt wurden, die die geistigen Eigentumsrechte des Algorithmus besitzt“.
Argentinische Software, so Corvalán, reproduziere lediglich das Verhalten der Staatsanwaltschaft. „Die Vorhersagen von Prometea basieren auf der Analyse der Geschichte dessen, was die Richter entschieden haben, sie sind diejenigen, die das System trainieren. Zum Beispiel im Verfassungsgericht von Kolumbien [país en el que también se aplica el programa] es sind die Magistrate selbst, die die permanente Anpassung der Vorhersagen von Prometea vornehmen, natürlich mit unserer technischen Unterstützung.“
Datenbanken und Vorurteile
Ohne Daten gibt es keinen Wert für KI. Und wenn es um Daten geht, taucht das Gespenst der Voreingenommenheit auf, etwa der Rassismus, der Compas vorgeworfen wird. Die Zahlen bauen einen Diskurs der Objektivität auf, der uns manchmal daran hindert, Entscheidungen in Frage zu stellen. „Algorithmen sind nichts anderes als in Mathematik eingeschlossene Meinungen“, schrieb Cathy O’Neil in ihrem berühmten Buch „Weapons of Mathematical Destruction“.
„Was Algorithmen zweifellos ermöglichen, ist die Standardisierung von Entscheidungen. Mit anderen Worten, Kriterien zu standardisieren, damit nicht zwei unterschiedliche Antworten auf dasselbe Problem gegeben werden“, sagt Pablo Mlynkiewicz, Absolvent der Statistik und ehemaliger Leiter der Generaldirektion für Informationswissenschaften von Buenos Aires. „Aber damit dies zu echten Fortschritten in der Justiz führt, muss die Datenbank natürlich alle Gruppen repräsentieren. Wenn nicht, werden Fehler passieren.”
Mlynkiewicz stimmt daher mit Jaume-Palasí und Adaro überein, wenn es darum geht, eine Stärke zugunsten der Automatisierung von Gerichtsverfahren hervorzuheben: Sie vermeiden es, zwei unterschiedliche Antworten auf dasselbe Problem zu geben. Das heißt, argumentative Kohärenz ist in den Urteilen gegeben. Obwohl er das kritischste dieser Systeme ist, gibt der mallorquinische Philosoph zu, dass die Automatisierung von Gerichtsprozessen auf der Grundlage von Statistiken dazu beitragen kann, Fehler zu korrigieren, die die Justiz heute nicht akzeptieren will. „Wir wissen schon lange, dass die uns bekannten Richter und das Justizsystem nicht sehr konsequent sind. Dank KI Rückverfolgbarkeit und Statistiken von Gerichtsentscheidungen durchführen zu können, ist überhaupt nicht schlecht“, betont er.
Roboterrichter in China
Im Oktober 2019 wurde in Peking das als „Online Litigation Center“ definierte Internet Court vorgestellt. Nach offiziellen Angaben handelt es sich um eine Plattform, auf der die Parteien die Daten des zu lösenden Problems hochladen und die KI den Rest erledigt: Sie sucht nach Jurisprudenz, analysiert das Thema, stellt die Beweise gegenüber und fällt ein Urteil.
Das System weist keine großen technischen Unterschiede zu Estland auf, wo auch ein starkes Engagement für die Automatisierung der Justiz besteht: Es gibt keinen menschlichen Eingriff in den gesamten Prozess. Aber zwischen beiden Ländern gibt es eine große Distanz in demokratischen Standards. In dem kleinen baltischen Land, das in digitalen Angelegenheiten als das fortschrittlichste der Welt gilt, wird das Projekt von dem jungen Ott Velsberg geleitet, der behauptet, dass die vor dem Digitalgericht eingereichten Forderungen 7.000 Euro als Schadensersatz nicht überschreiten.
Dort fließt alles, denn es ist eine Gesellschaft mit hohen Ansprüchen in staatsbürgerlichen Belangen. Aber wenn es um den asiatischen Riesen geht, nehmen die Dinge einen anderen Tenor. „Die Entwicklung virtueller oder kybernetischer Richter in China ist der gleichen Linie wie das Sozialkreditsystem gefolgt: von unten nach oben“, erklärt Dante Avaro, Spezialist für das chinesische Regierungskontrollmodell, und verweist auf den umstrittenen Bewertungsmechanismus von Bürgern, der von eingeführt wurde Peking, um festzustellen, ob sie vertrauenswürdig sind oder nicht. „Beide haben zu Beginn des neuen Jahrtausends begonnen. Im Fall von KI in der Justiz wurde in Städten wie Shandong, dann in Hengezhou, Peking und Guangzhou experimentiert. Ziel war es, Gerichtsverfahren in Sachen E-Commerce, virtuelle Zahlungen, Transaktionen in der Cloud und Streitigkeiten über geistiges Eigentum effizienter zu gestalten“, erläutert er.
Das Detail ist, dass in den Händen eines nichtdemokratischen Staates, der beabsichtigt, die Gesellschaft zu ordnen, indem er über eine Wertung arbeitet, die Avaro “Bürgerrückverfolgbarkeit” nennt, die Anwendung von KI in der Justiz gefährlich ist, weil sie mit dem Sozialkreditsystem verbunden ist und das Gesichtserkennungssystem Yitu Dragonfly Eye. „Ein riesiger staatlicher Überwachungsapparat wird aufgebaut“, schlussfolgert Avaro
