Artificial Intelligence

Wann Vertrauen in eine KI-Ausgabe gerechtfertigt ist

Das Buchhaltungssystem Horizon zeigte in britischen Postfilialen Fehlbeträge an, die als Schulden behandelt wurden, auch wenn die Filialleitungen sie bestritten. Ihnen fehlten wichtige Möglichkeiten, die Daten zu prüfen. Aus diesem Fall leitet der Artikel Anforderungen an den KI-Einsatz ab: Betroffene müssen die Grundlage einer Ausgabe prüfen und Entscheidungen noch rechtzeitig anfechten können.

Nahaufnahme eines pastos gemalten Ölbilds: Eine dunkle Maschine zeigt eine blanke Tafel. Dahinter zieht sich eine Doppelspur kleiner grüner Abdrücke über die Fläche; ein kleiner indigoblauer Block beugt sich über diese Spur.
Nahaufnahme eines pastos gemalten Ölbilds: Eine dunkle Maschine zeigt eine blanke Tafel. Dahinter zieht sich eine Doppelspur kleiner grüner Abdrücke über die Fläche; ein kleiner indigoblauer Block beugt sich über diese Spur.

Das Buchhaltungssystem Horizon zeigte in britischen Postfilialen einen Fehlbetrag, wenn gemeldete Bestände von den aus Transaktionen errechneten Werten abwichen. Die Filialleitung konnte den Betrag im System nicht als bestritten markieren: Um die nächste Abrechnungsperiode zu eröffnen, musste sie ihn ausgleichen oder als Forderung der Post Office verbuchen. Der High Court stellte später fest, dass auch angefochtene Fehlbeträge als Schulden behandelt wurden.1

So konnte eine rechnerische Differenz institutionell zur Forderung und schließlich zum Verdacht auf Diebstahl, Betrug oder falsche Buchführung werden. Der Court of Appeal hob 2021 in 39 Verfahren Verurteilungen auf, bei denen die angenommene Zuverlässigkeit der Horizon-Daten wesentlich gewesen war; drei anders gelagerte Berufungen wies er zurück.2

Für den Einsatz von KI stellt sich daran eine konkrete Frage: Können Betroffene die Grundlage einer Ausgabe prüfen und ihr widersprechen, bevor jemand auf dieser Basis entscheidet? Der Artikel untersucht, welche Möglichkeiten zur Prüfung und zum Einspruch nötig sind, damit Vertrauen in eine KI-Ausgabe begründet sein kann. Diese Übertragung nimmt der Artikel vor; die Gerichte untersuchten Horizon.

Was der Fall zum Argument beiträgt

Eine korrekt berechnete Differenz belegt nur, dass der gemeldete Bestand nicht mit dem aus den Systemdaten errechneten Bestand übereinstimmt. Sie belegt weder, dass diese Daten die Filiale richtig abbilden, noch dass Geld fehlt oder eine bestimmte Person verantwortlich ist. Der High Court stellte für die untersuchten älteren Horizon-Versionen zugleich ein erhebliches Risiko fest, dass Fehler bei Eingabe, Übertragung oder Verarbeitung die Konten beeinflussten.1 Das ist keine Aussage über jede Buchung oder jeden späteren Systemstand.

Entscheidend war die ungleiche Prüfbarkeit. Fujitsu verfügte über privilegierte Eingriffe in Transaktionsdaten, die Post Office über Berichte, die den Filialen fehlten; Kontrollen und Aufzeichnungen hielt das Gericht teilweise für unzureichend. Audit-Daten konnten strittige Korrekturen klären, mussten aber von jenen Organisationen zugänglich gemacht werden, deren System und Forderung geprüft wurden. Deshalb unterschied auch der Court of Appeal danach, ob Horizon für die jeweilige Beweislage wesentlich war.

Für Vertrauen genügt folglich weder technische Konsistenz noch die Möglichkeit einer späteren Untersuchung. Gegenbelege müssen die zuständige Person erreichen, solange sich das Ergebnis noch ändern lässt. Eine perfekte Auditspur schützt wenig, wenn Forderung, Sanktion oder Entscheidung bereits praktisch unumkehrbar sind.

Was sich auf KI übertragen lässt

KI-generierte Ausgaben enthalten zusätzliche Übergänge zwischen Evidenz und Behauptung. Eine genannte Quelle kann existieren, ohne den konkreten Satz zu tragen. Eine Zusammenfassung kann richtige Aussagen enthalten und dennoch einen entscheidenden Einwand auslassen. Selbst eine zutreffende Zusammenfassung begründet nicht automatisch die Empfehlung, die ihr folgt. Diese Übertragung nimmt dieser Beitrag vor; die britischen Gerichte äußerten sich nicht zu KI.

Aus dem Mechanismus folgen vier Anforderungen an den organisatorischen Einsatz:

  1. Belegzugang: Tragende Behauptungen führen zu abrufbaren, versionierten Quellen. Prüfende erhalten Zugang über die Oberfläche und die zu prüfende Zusammenfassung hinaus.
  2. Kontrollierte Eingriffe: Privilegierte Änderungen am System oder seinen Daten sind begrenzt, zurechenbar und protokolliert. Das tatsächliche Verhalten wird nach der Einführung beobachtet.
  3. Wirksamer Widerspruch: Ein Einwand erreicht eine zuständige Person, bevor die Entscheidung unumkehrbar ist. Diese Person kann den Output übergehen, die Nutzung aussetzen und eine Untersuchung anstoßen.
  4. Angemessene Sicherheit: Der Prüfaufwand richtet sich nach der konkreten Verwendung und den Folgen eines Irrtums. Vertrauen gilt nicht abstrakt einem System, sondern einer Nutzung unter bekannten Bedingungen.

Das freiwillig anwendbare NIST AI Risk Management Framework beschreibt ähnliche Vorkehrungen. Es fordert, wo angemessen, unabhängige Prüfende, Wege für Rückmeldungen und Berufungen sowie klar zugewiesene Verantwortung dafür, Ausgaben zu übergehen oder zu korrigieren, Systeme stillzulegen und Vorfälle zu bearbeiten.3 NIST verteilt diese Aufgaben über den Lebenszyklus eines Systems; eine einzelne Ausgabe erhält dadurch kein Gütesiegel.

Auch ein sorgfältiges Verfahren kann irren. Belege bleiben unvollständig, unabhängige Prüfende können dieselbe falsche Annahme teilen, und ein formal vorhandener Einspruch kann wirkungslos sein. Vertretbares Vertrauen zeigt sich deshalb nicht daran, dass eine Organisation einen Kanal für Beschwerden anbietet. Es zeigt sich daran, dass ein begründeter Einwand den Output noch entkräften und die Entscheidung tatsächlich verändern kann.

Footnotes

  1. High Court of Justice, Bates & Others v Post Office Limited (No. 6: Horizon Issues), [2019] EWHC 3408 (QB), insbesondere Abs. 905–913 und 963–1030. Die Feststellungen betreffen die im Verfahren untersuchten Versionen und Zeiträume; das Gericht warnte ausdrücklich davor, sie pauschal auf den Systemstand Ende 2019 zu übertragen. ↩ ↩2

  2. Court of Appeal (Criminal Division), Hamilton & Others v Post Office Limited, [2021] EWCA Crim 577, insbesondere Abs. 1–5 und 447. Das Gericht ließ 39 Berufungen auf beiden geltend gemachten Gründen zu und wies drei zurück. ↩

  3. Elham Tabassi, Artificial Intelligence Risk Management Framework (AI RMF 1.0), National Institute of Standards and Technology, 2023, insbesondere MEASURE 1.3 und 3.3 sowie MANAGE 2.4 und 4.1–4.3. ↩

Oliver Wrede schreibt und lehrt über Interface Design, Wissenssysteme und die Architektur von Intelligenz in Organisationen. Ihn interessiert, wie Menschen, Institutionen und Maschinen gemeinsam denken — und wie Gestaltung die Qualität dieses Denkens prägt.

Mehr von Oliver Wrede

Intelligence Architecture

Was kritisches Denken wert ist, wenn KI die Arbeit übernimmt

KI-Agenten können Analysen und Vorschläge in Sekunden liefern. Ihr wirtschaftlicher Nutzen hängt auch davon ab, ob Mitarbeitende die richtigen Fragen stellen, Belege beurteilen und aus den Ergebnissen lernen. Eine Intelligence Architecture muss deshalb die Fähigkeiten der Mitarbeitenden gezielt verbessern. Wie lässt sich diese Entwicklung in der täglichen Arbeit fördern und ihr Geschäftswert prüfen?

Oliver Wrede·
Intelligence Architecture

KI und die ungeschriebenen Regeln einer Organisation

Wie eine Organisation tatsächlich arbeitet, steht nur zum Teil in ihren Prozessbeschreibungen. Eine KI, die aus Dokumenten und gespeicherten Daten antwortet, kann deshalb informelle Zuständigkeiten und wichtige Abstimmungen übersehen. Der Artikel fragt, wie sich diese Arbeit für KI erfassen lässt, ohne bewährte Spielräume zu beseitigen oder Mitarbeitende einer neuen Kontrolle zu unterwerfen.

Oliver Wrede·