Wann Vertrauen in eine KI-Ausgabe gerechtfertigt ist

Das Buchhaltungssystem Horizon zeigte in britischen Postfilialen einen Fehlbetrag, wenn gemeldete Bestände von den aus Transaktionen errechneten Werten abwichen. Die Filialleitung konnte den Betrag im System nicht als bestritten markieren: Um die nächste Abrechnungsperiode zu eröffnen, musste sie ihn ausgleichen oder als Forderung der Post Office verbuchen. Der High Court stellte später fest, dass auch angefochtene Fehlbeträge als Schulden behandelt wurden.¹

So konnte eine rechnerische Differenz institutionell zur Forderung und schließlich zum Verdacht auf Diebstahl, Betrug oder falsche Buchführung werden. Der Court of Appeal hob 2021 in 39 Verfahren Verurteilungen auf, bei denen die angenommene Zuverlässigkeit der Horizon-Daten wesentlich gewesen war; drei anders gelagerte Berufungen wies er zurück.²

Für KI in Organisationen liegt die Bedeutung nicht in einer behaupteten Ähnlichkeit zwischen Horizon und Sprachmodellen. Sie liegt im Verfahren: Ein technischer Output kann mehr Autorität erhalten, als seine Evidenz trägt, wenn Betroffene die Grundlage nicht prüfen können und ihr Widerspruch die laufende Entscheidung nicht rechtzeitig erreicht.

Was der Fall zum Argument beiträgt

Eine korrekt berechnete Differenz belegt nur, dass der gemeldete Bestand nicht mit dem aus den Systemdaten errechneten Bestand übereinstimmt. Sie belegt weder, dass diese Daten die Filiale richtig abbilden, noch dass Geld fehlt oder eine bestimmte Person verantwortlich ist. Der High Court stellte für die untersuchten älteren Horizon-Versionen zugleich ein erhebliches Risiko fest, dass Fehler bei Eingabe, Übertragung oder Verarbeitung die Konten beeinflussten.¹ Das ist keine Aussage über jede Buchung oder jeden späteren Systemstand.

Entscheidend war die ungleiche Prüfbarkeit. Fujitsu verfügte über privilegierte Eingriffe in Transaktionsdaten, die Post Office über Berichte, die den Filialen fehlten; Kontrollen und Aufzeichnungen hielt das Gericht teilweise für unzureichend. Audit-Daten konnten strittige Korrekturen klären, mussten aber von jenen Organisationen zugänglich gemacht werden, deren System und Forderung geprüft wurden. Deshalb unterschied auch der Court of Appeal danach, ob Horizon für die jeweilige Beweislage wesentlich war.

Für Vertrauen genügt folglich weder technische Konsistenz noch die Möglichkeit einer späteren Untersuchung. Gegenbelege müssen die zuständige Person erreichen, solange sich das Ergebnis noch ändern lässt. Eine perfekte Auditspur schützt wenig, wenn Forderung, Sanktion oder Entscheidung bereits praktisch unumkehrbar sind.

Was sich auf KI übertragen lässt

KI-generierte Ausgaben enthalten zusätzliche Übergänge zwischen Evidenz und Behauptung. Eine genannte Quelle kann existieren, ohne den konkreten Satz zu tragen. Eine Zusammenfassung kann richtige Aussagen enthalten und dennoch einen entscheidenden Einwand auslassen. Selbst eine zutreffende Zusammenfassung begründet nicht automatisch die Empfehlung, die ihr folgt. Diese Übertragung nimmt dieser Beitrag vor; die britischen Gerichte äußerten sich nicht zu KI.

Aus dem Mechanismus folgen vier Anforderungen an den organisatorischen Einsatz:

1. Belegzugang: Tragende Behauptungen führen zu abrufbaren, versionierten Quellen. Prüfende erhalten Zugang über die Oberfläche und die zu prüfende Zusammenfassung hinaus.
2. Kontrollierte Eingriffe: Privilegierte Änderungen am System oder seinen Daten sind begrenzt, zurechenbar und protokolliert. Das tatsächliche Verhalten wird nach der Einführung beobachtet.
3. Wirksamer Widerspruch: Ein Einwand erreicht eine zuständige Person, bevor die Entscheidung unumkehrbar ist. Diese Person kann den Output übergehen, die Nutzung aussetzen und eine Untersuchung anstoßen.
4. Angemessene Sicherheit: Der Prüfaufwand richtet sich nach der konkreten Verwendung und den Folgen eines Irrtums. Vertrauen gilt nicht abstrakt einem System, sondern einer Nutzung unter bekannten Bedingungen.

Das freiwillig anwendbare NIST AI Risk Management Framework beschreibt ähnliche Vorkehrungen. Es fordert, wo angemessen, unabhängige Prüfende, Wege für Rückmeldungen und Berufungen sowie klar zugewiesene Verantwortung dafür, Ausgaben zu übergehen oder zu korrigieren, Systeme stillzulegen und Vorfälle zu bearbeiten.³ NIST verteilt diese Aufgaben über den Lebenszyklus eines Systems; eine einzelne Ausgabe erhält dadurch kein Gütesiegel.

Auch ein sorgfältiges Verfahren kann irren. Belege bleiben unvollständig, unabhängige Prüfende können dieselbe falsche Annahme teilen, und ein formal vorhandener Einspruch kann wirkungslos sein. Vertretbares Vertrauen zeigt sich deshalb nicht daran, dass eine Organisation einen Kanal für Beschwerden anbietet. Es zeigt sich daran, dass ein begründeter Einwand den Output noch entkräften und die Entscheidung tatsächlich verändern kann.

Footnotes

1. High Court of Justice, Bates & Others v Post Office Limited (No. 6: Horizon Issues), [2019] EWHC 3408 (QB), insbesondere Abs. 905–913 und 963–1030. Die Feststellungen betreffen die im Verfahren untersuchten Versionen und Zeiträume; das Gericht warnte ausdrücklich davor, sie pauschal auf den Systemstand Ende 2019 zu übertragen. ↩ ↩²

2. Court of Appeal (Criminal Division), Hamilton & Others v Post Office Limited, [2021] EWCA Crim 577, insbesondere Abs. 1–5 und 447. Das Gericht ließ 39 Berufungen auf beiden geltend gemachten Gründen zu und wies drei zurück. ↩

3. Elham Tabassi, Artificial Intelligence Risk Management Framework (AI RMF 1.0), National Institute of Standards and Technology, 2023, insbesondere MEASURE 1.3 und 3.3 sowie MANAGE 2.4 und 4.1–4.3. ↩