Robodebt: Wie aus geschätztem Einkommen Schulden wurden
Mit Robodebt leitete die australische Verwaltung aus längerfristigen Einkommensdaten vermeintliche Schulden ab. Die Software verteilte das Einkommen gleichmäßig auf einzelne Zeiträume, obwohl der tatsächliche Verlauf unbekannt war. Der Fall zeigt, was schiefgeht, wenn Behörden eine rechnerische Annahme wie einen belegten Sachverhalt behandeln.

Die australische Verwaltung nutzte das Robodebt-System, um Schuldforderungen aus Einkommensdaten abzuleiten. Dafür verteilte die Software längerfristig gemeldete Summen gleichmäßig auf einzelne Zweiwochenzeiträume. Ob das Einkommen tatsächlich so angefallen war, ging aus den Daten nicht hervor. Dennoch entstand daraus eine bezifferte Forderung. Der Abschlussbericht der Royal Commission dokumentiert dieses Vorgehen.
Das Problem lag darin, welche Aussage die Verwaltung aus der Rechnung ableitete. Eine Abweichung, die früher eine Prüfung ausgelöst hatte, konnte im Online-Verfahren mit Ersatzdaten ergänzt und als Schuld behandelt werden. Der Bericht des Commonwealth Ombudsman von 2017 zeigt auch, dass dieselbe Software mit vollständig eingetragenen tatsächlichen Zweiwocheneinkünften korrekt rechnen konnte.
Diese Unterscheidung ist auch beim Einsatz von KI wichtig. Eine eindeutige Zahl belegt noch nicht, was eine Organisation daraus schließt. Der Artikel untersucht, wie aus einer Modellannahme eine Entscheidungsgrundlage wird und wie Daten, Annahmen und zulässige Verwendungen auseinandergehalten werden müssen.
Die notwendige Evidenzgrenze
„Falsch“ bedeutet hier nicht zwingend, dass die Division fehlerhaft war. Die Steuerdaten belegten einen Gesamtbetrag; Robodebt ergänzte dessen zeitliche Verteilung und verbarg im Ergebnis, welcher Teil beobachtet und welcher modelliert worden war. Zugleich wurde aus einem Prüfhinweis eine Forderung: Fehlende Angaben konnten durch den Durchschnitt ersetzt werden, während sich die Arbeit der Widerlegung praktisch auf die betroffene Person verlagerte.
Die Belege tragen eine eng begrenzte Aussage. In einem internen Vergleich von 229 Fällen reproduzierte die Durchschnittsmethode fast nie die manuelle Berechnung; diese Gruppe war jedoch nicht als repräsentative Stichprobe ausgewiesen, und Abweichungen konnten auch zugunsten der Betroffenen ausfallen. In Prygodicz v Commonwealth of Australia (No 2) reichte die Verteilung ohne Beleg für konstantes Einkommen nicht aus, um eine Schuld zu begründen. Das ist kein allgemeines Verbot von Durchschnittsbildung, sondern eine Grenze für Aussagen, deren Evidenz zeitlich genauer sein muss als die Daten.
Wie ein Modellwert zur Tatsache wird
Pseudo-Präzision bezeichnet hier ein Missverhältnis zwischen der Reichweite der Daten und der Reichweite der Aussage. Mehrere organisatorische Schritte machten aus dem Ergebnis eine durchsetzbare Forderung: Die Steuerbehörde lieferte die Summe, die Software verteilte sie, das Verfahren behandelte das Resultat als Schuld, und die Kommunikation bürdete den Betroffenen den Gegenbeweis auf. Deshalb reicht es nicht, die Formel zu prüfen. Geprüft werden muss auch, welchen Status ihr Output im Prozess erhält.
Dasselbe gilt für KI-Systeme, die Organisationen mit Scores, Ranglisten oder Empfehlungen versorgen. Vor ihrer Nutzung müssen mindestens vier Dinge sichtbar bleiben: die tatsächlich beobachteten Daten, die vom Modell ergänzten Annahmen, die Unsicherheit des Ergebnisses und die Entscheidungen, für die es verwendet werden darf. Fehlt diese Trennung, kann eine plausible Verdichtung unbemerkt zur institutionellen Tatsache werden.
Dieselbe Prüfung für unsere eigenen Modelle
Intelligence Architecture arbeitet ebenfalls mit benannten Ebenen, nummerierten Schritten und Playbooks. Solche Formen können Unterschiede festhalten und gemeinsame Arbeit erleichtern. Sie können einer vorläufigen Annahme aber auch das Aussehen einer Messung geben.
Ein Grundlagentext dieser Website unterscheidet vier Tätigkeiten: Wahrnehmen, Deuten, Entscheiden, Handeln. Sie sind ein Werkzeug für die Analyse, keine Behauptung über einen universellen Ablauf. Tatsächliche Arbeit kann Schleifen bilden, Schritte überspringen oder mehrere Tätigkeiten gleichzeitig enthalten. Die vier Begriffe sind nur nützlich, wenn sie eine konkrete Untersuchung verändern oder einen Bruch auffindbar machen. Ihre Anzahl beweist nichts.
Bei Reifegrad- und Readiness-Scores stellt sich dieselbe Frage. Bevor ein aggregierter Wert eine Organisation beschreiben oder eine Investition lenken darf, müssen Gewichtung, fehlende Daten, Grenzfälle und zulässige Verwendungen erkennbar sein. Die entscheidende Prüfung beginnt daher vor der Rechnung: Welche Aussage tragen die Beobachtungen bereits, welche Annahme fügt das Modell hinzu, und wer macht aus dem Ergebnis einen Grund zum Handeln?

