Kann man KI eigentlich vertrauen?

Am 23. April 2021 hob der Court of Appeal in London die Verurteilungen von 39 ehemaligen Beschäftigten und selbstständigen Betreiberinnen und Betreibern britischer Postfilialen auf. Die Post Office hatte sie wegen Diebstahls, Betrugs oder falscher Buchführung verfolgt. In den erfolgreichen Berufungen war die Zuverlässigkeit des Buchhaltungssystems Horizon für Anklage und Verurteilung wesentlich gewesen. Die Richter stellten Versäumnisse bei Untersuchung und Offenlegung fest; die Verfahren seien unfair und darüber hinaus mit dem öffentlichen Gewissen unvereinbar gewesen.¹

Drei der 42 Berufungen scheiterten, weil die Zuverlässigkeit von Horizon für die Beweise gegen diese Personen nicht entscheidend war. Diese Grenze gehört zum Fall. Das Urteil besagt weder, dass jede Buchung falsch war, noch dass technische Daten wertlos sind. Es zeigt etwas Unbequemeres: Eine technische Spur kann korrekt aussehen und dennoch für eine Behauptung herangezogen werden, die das Verfahren nie ausreichend geprüft hat.

Rückwärts von der Verurteilung

Horizon erfasste die Transaktionen einer Filiale und berechnete daraus den erwarteten Bestand an Bargeld und Waren. Am Ende einer Abrechnungsperiode meldete die Filialleitung den tatsächlichen Bestand. Wichen beide Werte voneinander ab, zeigte das System einen Fehlbetrag. Bevor die nächste Periode beginnen konnte, musste ein Branch Trading Statement abgeschlossen werden. Der angezeigte Betrag war entweder aus eigenen Mitteln auszugleichen oder als Forderung der Post Office zentral zu begleichen.

Im System selbst gab es keine Möglichkeit, einen Fehlbetrag als bestritten zu kennzeichnen. Ein Einwand musste über eine Telefon-Hotline laufen, während Horizon die Zahl weiterführte. Der High Court hielt später fest, dass die Post Office angefochtene Fehlbeträge dennoch als Schulden behandelte. So konnte aus einer rechnerischen Differenz eine Forderung und aus der Forderung ein Verdacht werden, obwohl die Ursache der Differenz noch offen war.²

Genau hier trennen sich Rechenkonsistenz und Wahrheit. Horizon konnte die Differenz zwischen seinem abgeleiteten Bestand und der gemeldeten Kasse korrekt berechnen. Damit war noch nicht bewiesen, dass die zugrunde liegenden Transaktionsdaten die Wirklichkeit richtig abbildeten, tatsächlich Geld fehlte oder eine bestimmte Person den Fehlbetrag verursacht hatte. Eine rechnerisch stimmige Differenz beantwortet eine arithmetische Frage. Sie klärt nicht von selbst die Herkunft ihrer Ausgangswerte.

Die vorhandene Spur reichte nicht bis zum Widerspruch

Das Horizon-Urteil des High Court von 2019 ging tiefer in die technische und organisationale Konstruktion. Für Legacy Horizon und die erste Online-Version stellte das Gericht ein erhebliches Risiko fest, dass Fehler bei Eingabe, Übertragung oder Verarbeitung die Filialkonten beeinflussten. Es gab zahlreiche Kontrollen; ihre automatischen Mechanismen hatten in dokumentierten Fällen trotzdem versagt. Bekannte Fehler hatten finanzielle Abweichungen verursacht.

Auch die Zugriffsverhältnisse waren asymmetrisch. Fujitsu verfügte über Rollen, mit denen Transaktionsdaten ohne Wissen oder Zustimmung der betroffenen Filialleitung eingefügt, verändert oder gelöscht und Filialdaten neu aufgebaut werden konnten. Das Gericht bewertete Berechtigungen und Protokollierung dieser privilegierten Zugriffe als unzureichend. Zugleich besaß die Post Office mehr Auswertungsmöglichkeiten als die Filialen. Die Betroffenen konnten bestimmte Ursachen mit den ihnen verfügbaren Berichten nicht ermitteln und waren auf die Mitwirkung der Post Office und Fujitsus angewiesen.

Es existierten detaillierte Audit-Daten. Das Gericht verlangte sie nicht für jede Buchungskorrektur. Es hielt den Zugang aber für erforderlich, wenn Ursache oder Verlauf einer bestrittenen Korrektur mit anderen Unterlagen nicht geklärt werden konnten — besonders in Straf- oder internen Sanktionsverfahren. Die Spur war also weder bedeutungslos noch selbsterklärend. Wer auf sie zugreifen konnte, wann sie geprüft wurde und ob ein Einwand die Entscheidung unterbrach, bestimmte ihren Wert.²

Horizon war kein KI-System. Der Fall belegt deshalb keine besondere Schwäche generativer Modelle. Er legt ein älteres, allgemeineres Problem frei: Organisationen können die Ausgabe eines technischen Systems mit der Wirklichkeit verwechseln, wenn Zugriff, Untersuchung, Entscheidung und Widerspruch falsch verteilt sind. Bei KI kommt hinzu, dass eine Ausgabe Behauptungen auswählen, verdichten und zu einer Empfehlung verbinden kann. Die Prüfung muss deshalb unterscheiden, ob eine Quelle existiert, ob sie die einzelne Behauptung trägt, ob Wesentliches fehlt und wer aus der Ausgabe eine Handlung ableiten darf.

Vertrauen braucht eine Revisionsarchitektur

Ein belastbares Verfahren beginnt beim Zweck der Entscheidung und bei den Folgen eines Irrtums. Tragende Behauptungen müssen auf abrufbare, versionierte Belege zurückführen. Eine unabhängige Fachprüfung braucht Zugang zu mehr als derselben Oberfläche und denselben Zusammenfassungen. Protokolle benötigen klare Berechtigungen und Aufbewahrung; Abweichungen im laufenden Betrieb müssen beobachtet werden. Vor allem muss ein Einwand eine zuständige Stelle erreichen, solange die Entscheidung noch revidierbar ist. Für Übersteuerung, Abschaltung und Fehlerkommunikation braucht es benannte Verantwortung.

Der freiwillige NIST AI Risk Management Framework stützt diese Verfahrenssicht. Er behandelt Vertrauenswürdigkeit als Zusammenspiel mehrerer Eigenschaften über den Lebenszyklus. Seine konkreten Praktiken umfassen unabhängige Prüfungen, Rückmeldungen und Berufungsmöglichkeiten für Betroffene sowie Vorkehrungen, um Systeme zu übersteuern oder stillzulegen und auf Vorfälle zu reagieren.³ Der Rahmen stellt damit Anforderungen an eine Organisation. Er beglaubigt kein einzelnes Ergebnis.

Auch ein solches Verfahren kann scheitern. Belege können unvollständig sein, Prüfende können dieselbe falsche Annahme teilen, und formale Einspruchswege können ohne Wirkung bleiben. Deshalb ist Vertrauen hier weder Glaube an ein Modell noch ein Siegel, das ein Prozess einmal erhält. Es ist begrenztes, widerrufliches Vertrauen in eine bestimmte Verwendung unter bekannten Bedingungen.

Ein gutes Verfahren garantiert weder Wahrheit noch Fairness. Es macht einen Irrtum aber auffindbar, anfechtbar und korrigierbar. Erst daran lässt sich entscheiden, ob einer KI-Ausgabe in diesem Fall gefolgt werden darf.

Footnotes

1. Court of Appeal (Criminal Division), Hamilton & Others v Post Office Limited, [2021] EWCA Crim 577, insbesondere Abs. 1–5 und 447. Das Gericht ließ 39 Berufungen auf beiden geltend gemachten Gründen zu und wies drei zurück. ↩

2. High Court of Justice, Bates & Others v Post Office Limited (No. 6: Horizon Issues), [2019] EWHC 3408 (QB), insbesondere Abs. 905–913 und 963–1030. Die Feststellungen betreffen die im Verfahren untersuchten Versionen und Zeiträume; das Gericht warnte ausdrücklich davor, sie pauschal auf den Systemstand Ende 2019 zu übertragen. ↩ ↩²

3. Elham Tabassi, Artificial Intelligence Risk Management Framework (AI RMF 1.0), National Institute of Standards and Technology, 2023, insbesondere MEASURE 1.3 und 3.3 sowie MANAGE 2.4 und 4.1–4.3. ↩