Wenn falsche Berechnungen zu Tatsachen werden
Robodebt verteilte ein Gesamteinkommen auf nicht beobachtete Zeiträume. Das Verfahren behandelte die so erzeugten Werte anschließend wie Tatsachen.
Australiens Robodebt-System leitete aus längerfristigen Steuerdaten das Einkommen einzelner Zweiwochenzeiträume ab, indem es die gemeldete Summe gleichmäßig verteilte. So entstand eine exakte Forderung aus einem zeitlichen Verlauf, den die Daten gar nicht enthielten. Der Abschlussbericht der Royal Commission dokumentiert, wie diese Annahme im großen Maßstab zur Grundlage von Schuldforderungen wurde.
Der entscheidende Mechanismus lag nicht in der Division allein. Eine Abweichung, die früher eine behördliche Prüfung ausgelöst hatte, konnte im Online-Verfahren durch Ersatzdaten ergänzt und als bezifferte Schuld behandelt werden. Der Bericht des Commonwealth Ombudsman von 2017 zeigt zugleich die Grenze: Waren die tatsächlichen Zweiwocheneinkünfte vollständig eingetragen, konnte dieselbe Software korrekt rechnen. Problematisch war, welche Belege als ausreichend galten und welche Behauptung daraus folgen durfte.
Für den Einsatz von KI in Organisationen ist genau dieser Übergang entscheidend. Ein Score, eine Klassifikation oder eine Empfehlung wird nicht dadurch zur Tatsache, dass das System einen eindeutigen Wert ausgibt. Institutionelle Autorität entsteht erst, wenn ein Verfahren festlegt, dass dieser Wert eine Prüfung, eine Leistung, eine Forderung oder eine andere Entscheidung steuern darf.
Die notwendige Evidenzgrenze
„Falsch“ bedeutet hier nicht zwingend, dass die Division fehlerhaft war. Die Steuerdaten belegten einen Gesamtbetrag; Robodebt ergänzte dessen zeitliche Verteilung und verbarg im Ergebnis, welcher Teil beobachtet und welcher modelliert worden war. Zugleich wurde aus einem Prüfhinweis eine Forderung: Fehlende Angaben konnten durch den Durchschnitt ersetzt werden, während sich die Arbeit der Widerlegung praktisch auf die betroffene Person verlagerte.
Die Belege tragen eine eng begrenzte Aussage. In einem internen Vergleich von 229 Fällen reproduzierte die Durchschnittsmethode fast nie die manuelle Berechnung; diese Gruppe war jedoch nicht als repräsentative Stichprobe ausgewiesen, und Abweichungen konnten auch zugunsten der Betroffenen ausfallen. In Prygodicz v Commonwealth of Australia (No 2) reichte die Verteilung ohne Beleg für konstantes Einkommen nicht aus, um eine Schuld zu begründen. Das ist kein allgemeines Verbot von Durchschnittsbildung, sondern eine Grenze für Aussagen, deren Evidenz zeitlich genauer sein muss als die Daten.
Wie ein Modellwert zur Tatsache wird
Pseudo-Präzision bezeichnet hier ein Missverhältnis zwischen der Reichweite der Daten und der Reichweite der Aussage. Mehrere organisatorische Schritte machten aus dem Ergebnis eine durchsetzbare Forderung: Die Steuerbehörde lieferte die Summe, die Software verteilte sie, das Verfahren behandelte das Resultat als Schuld, und die Kommunikation bürdete den Betroffenen den Gegenbeweis auf. Deshalb reicht es nicht, die Formel zu prüfen. Geprüft werden muss auch, welchen Status ihr Output im Prozess erhält.
Dasselbe gilt für KI-Systeme, die Organisationen mit Scores, Ranglisten oder Empfehlungen versorgen. Vor ihrer Nutzung müssen mindestens vier Dinge sichtbar bleiben: die tatsächlich beobachteten Daten, die vom Modell ergänzten Annahmen, die Unsicherheit des Ergebnisses und die Entscheidungen, für die es verwendet werden darf. Fehlt diese Trennung, kann eine plausible Verdichtung unbemerkt zur institutionellen Tatsache werden.
Dieselbe Prüfung für unsere eigenen Modelle
Intelligence Architecture arbeitet ebenfalls mit benannten Ebenen, nummerierten Schritten und Playbooks. Solche Formen können Unterschiede festhalten und gemeinsame Arbeit erleichtern. Sie können einer vorläufigen Annahme aber auch das Aussehen einer Messung geben.
Ein Grundlagentext dieser Website unterscheidet vier Tätigkeiten: Wahrnehmen, Deuten, Entscheiden, Handeln. Sie sind ein Werkzeug für die Analyse, keine Behauptung über einen universellen Ablauf. Tatsächliche Arbeit kann Schleifen bilden, Schritte überspringen oder mehrere Tätigkeiten gleichzeitig enthalten. Die vier Begriffe sind nur nützlich, wenn sie eine konkrete Untersuchung verändern oder einen Bruch auffindbar machen. Ihre Anzahl beweist nichts.
Bei Reifegrad- und Readiness-Scores stellt sich dieselbe Frage. Bevor ein aggregierter Wert eine Organisation beschreiben oder eine Investition lenken darf, müssen Gewichtung, fehlende Daten, Grenzfälle und zulässige Verwendungen erkennbar sein. Die entscheidende Prüfung beginnt daher vor der Rechnung: Welche Aussage tragen die Beobachtungen bereits, welche Annahme fügt das Modell hinzu, und wer macht aus dem Ergebnis einen Grund zum Handeln?
