Design Theory

Robodebt: Wie aus geschätztem Einkommen Schulden wurden

Mit Robodebt leitete die australische Verwaltung aus längerfristigen Einkommensdaten vermeintliche Schulden ab. Die Software verteilte das Einkommen gleichmäßig auf einzelne Zeiträume, obwohl der tatsächliche Verlauf unbekannt war. Der Fall zeigt, was schiefgeht, wenn Behörden eine rechnerische Annahme wie einen belegten Sachverhalt behandeln.

Nahaufnahme eines pastos gemalten Ölbilds: Ein massiver dunkelbrauner Block steht auf heller Fläche; durch ihn hindurch läuft eine Reihe kleiner, gleich großer Platten. Hinter dem Block tragen sie dieselbe dunkle Oberfläche wie er, davor sind sie blass und hohl. Ein kleiner indigoblauer Block steht genau dort, wo die blassen Platten in dunkle übergehen.
Nahaufnahme eines pastos gemalten Ölbilds: Ein massiver dunkelbrauner Block steht auf heller Fläche; durch ihn hindurch läuft eine Reihe kleiner, gleich großer Platten. Hinter dem Block tragen sie dieselbe dunkle Oberfläche wie er, davor sind sie blass und hohl. Ein kleiner indigoblauer Block steht genau dort, wo die blassen Platten in dunkle übergehen.

Die australische Verwaltung nutzte das Robodebt-System, um Schuldforderungen aus Einkommensdaten abzuleiten. Dafür verteilte die Software längerfristig gemeldete Summen gleichmäßig auf einzelne Zweiwochenzeiträume. Ob das Einkommen tatsächlich so angefallen war, ging aus den Daten nicht hervor. Dennoch entstand daraus eine bezifferte Forderung. Der Abschlussbericht der Royal Commission dokumentiert dieses Vorgehen.

Das Problem lag darin, welche Aussage die Verwaltung aus der Rechnung ableitete. Eine Abweichung, die früher eine Prüfung ausgelöst hatte, konnte im Online-Verfahren mit Ersatzdaten ergänzt und als Schuld behandelt werden. Der Bericht des Commonwealth Ombudsman von 2017 zeigt auch, dass dieselbe Software mit vollständig eingetragenen tatsächlichen Zweiwocheneinkünften korrekt rechnen konnte.

Diese Unterscheidung ist auch beim Einsatz von KI wichtig. Eine eindeutige Zahl belegt noch nicht, was eine Organisation daraus schließt. Der Artikel untersucht, wie aus einer Modellannahme eine Entscheidungsgrundlage wird und wie Daten, Annahmen und zulässige Verwendungen auseinandergehalten werden müssen.

Die notwendige Evidenzgrenze

„Falsch“ bedeutet hier nicht zwingend, dass die Division fehlerhaft war. Die Steuerdaten belegten einen Gesamtbetrag; Robodebt ergänzte dessen zeitliche Verteilung und verbarg im Ergebnis, welcher Teil beobachtet und welcher modelliert worden war. Zugleich wurde aus einem Prüfhinweis eine Forderung: Fehlende Angaben konnten durch den Durchschnitt ersetzt werden, während sich die Arbeit der Widerlegung praktisch auf die betroffene Person verlagerte.

Die Belege tragen eine eng begrenzte Aussage. In einem internen Vergleich von 229 Fällen reproduzierte die Durchschnittsmethode fast nie die manuelle Berechnung; diese Gruppe war jedoch nicht als repräsentative Stichprobe ausgewiesen, und Abweichungen konnten auch zugunsten der Betroffenen ausfallen. In Prygodicz v Commonwealth of Australia (No 2) reichte die Verteilung ohne Beleg für konstantes Einkommen nicht aus, um eine Schuld zu begründen. Das ist kein allgemeines Verbot von Durchschnittsbildung, sondern eine Grenze für Aussagen, deren Evidenz zeitlich genauer sein muss als die Daten.

Wie ein Modellwert zur Tatsache wird

Pseudo-Präzision bezeichnet hier ein Missverhältnis zwischen der Reichweite der Daten und der Reichweite der Aussage. Mehrere organisatorische Schritte machten aus dem Ergebnis eine durchsetzbare Forderung: Die Steuerbehörde lieferte die Summe, die Software verteilte sie, das Verfahren behandelte das Resultat als Schuld, und die Kommunikation bürdete den Betroffenen den Gegenbeweis auf. Deshalb reicht es nicht, die Formel zu prüfen. Geprüft werden muss auch, welchen Status ihr Output im Prozess erhält.

Dasselbe gilt für KI-Systeme, die Organisationen mit Scores, Ranglisten oder Empfehlungen versorgen. Vor ihrer Nutzung müssen mindestens vier Dinge sichtbar bleiben: die tatsächlich beobachteten Daten, die vom Modell ergänzten Annahmen, die Unsicherheit des Ergebnisses und die Entscheidungen, für die es verwendet werden darf. Fehlt diese Trennung, kann eine plausible Verdichtung unbemerkt zur institutionellen Tatsache werden.

Dieselbe Prüfung für unsere eigenen Modelle

Intelligence Architecture arbeitet ebenfalls mit benannten Ebenen, nummerierten Schritten und Playbooks. Solche Formen können Unterschiede festhalten und gemeinsame Arbeit erleichtern. Sie können einer vorläufigen Annahme aber auch das Aussehen einer Messung geben.

Ein Grundlagentext dieser Website unterscheidet vier Tätigkeiten: Wahrnehmen, Deuten, Entscheiden, Handeln. Sie sind ein Werkzeug für die Analyse, keine Behauptung über einen universellen Ablauf. Tatsächliche Arbeit kann Schleifen bilden, Schritte überspringen oder mehrere Tätigkeiten gleichzeitig enthalten. Die vier Begriffe sind nur nützlich, wenn sie eine konkrete Untersuchung verändern oder einen Bruch auffindbar machen. Ihre Anzahl beweist nichts.

Bei Reifegrad- und Readiness-Scores stellt sich dieselbe Frage. Bevor ein aggregierter Wert eine Organisation beschreiben oder eine Investition lenken darf, müssen Gewichtung, fehlende Daten, Grenzfälle und zulässige Verwendungen erkennbar sein. Die entscheidende Prüfung beginnt daher vor der Rechnung: Welche Aussage tragen die Beobachtungen bereits, welche Annahme fügt das Modell hinzu, und wer macht aus dem Ergebnis einen Grund zum Handeln?

Oliver Wrede schreibt und lehrt über Interface Design, Wissenssysteme und die Architektur von Intelligenz in Organisationen. Ihn interessiert, wie Menschen, Institutionen und Maschinen gemeinsam denken — und wie Gestaltung die Qualität dieses Denkens prägt.

Mehr von Oliver Wrede

Intelligence Architecture

Was kritisches Denken wert ist, wenn KI die Arbeit übernimmt

KI-Agenten können Analysen und Vorschläge in Sekunden liefern. Ihr wirtschaftlicher Nutzen hängt auch davon ab, ob Mitarbeitende die richtigen Fragen stellen, Belege beurteilen und aus den Ergebnissen lernen. Eine Intelligence Architecture muss deshalb die Fähigkeiten der Mitarbeitenden gezielt verbessern. Wie lässt sich diese Entwicklung in der täglichen Arbeit fördern und ihr Geschäftswert prüfen?

Oliver Wrede·
Intelligence Architecture

KI und die ungeschriebenen Regeln einer Organisation

Wie eine Organisation tatsächlich arbeitet, steht nur zum Teil in ihren Prozessbeschreibungen. Eine KI, die aus Dokumenten und gespeicherten Daten antwortet, kann deshalb informelle Zuständigkeiten und wichtige Abstimmungen übersehen. Der Artikel fragt, wie sich diese Arbeit für KI erfassen lässt, ohne bewährte Spielräume zu beseitigen oder Mitarbeitende einer neuen Kontrolle zu unterwerfen.

Oliver Wrede·