Russell, oder die Unsicherheit als Tugend

Das Off-Switch Game beginnt nicht mit einer rebellischen Maschine. Es beginnt mit einem gemeinsamen Nutzen und drei Handlungsoptionen.

Ein Roboter R erwägt eine Handlung a. Deren Nutzen Uₐ gilt vollständig für den Menschen H; R ist per Modell so konstruiert, dass es diesen menschlichen Nutzen optimiert. R kennt Uₐ jedoch nicht genau, sondern hat nur eine Wahrscheinlichkeitsverteilung darüber. Nun kann R:

1. a direkt ausführen und damit die menschliche Aufsicht umgehen;
2. w(a) wählen, H die beabsichtigte Handlung mitteilen und abwarten;
3. s wählen und sich selbst abschalten, wobei der Nutzen auf null normiert ist.

Nur nach w(a) erhält H einen Zug. H kann R abschalten oder a zulassen. In der ersten Analyse handelt H rational: H erlaubt a, wenn Uₐ mindestens null ist, und stoppt R andernfalls. Der menschliche Zug liefert R damit Information über das Vorzeichen eines unbekannten Nutzens.¹

Das ist der vollständige Kern des ursprünglichen Spiels von Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel und Stuart Russell. Er ist kleiner und genauer als die Erzählung, ein unsicherer Roboter lasse sich „aus Bescheidenheit“ abschalten.

Warum Warten im Modell einen Wert bekommt

Wenn R sofort handelt, erhält es im Erwartungswert den vermuteten Nutzen von a. Wenn R sich abschaltet, ist der Nutzen null. Nach dem Warten kann der rational handelnde Mensch jeweils die bessere dieser beiden Möglichkeiten auswählen. Deshalb ist der erwartete Wert des Wartens im Modell nie schlechter als die beste Sofortoption. Er ist strikt besser, wenn R sowohl positiven als auch negativen Nutzen für a für möglich hält.

Der Anreiz entsteht nicht aus einer moralischen Eigenschaft. Drei Konstruktionsannahmen tragen ihn:

• R optimiert denselben Nutzen, der für H zählt.
• R hat echte Restunsicherheit darüber, welchen Nutzen a für H besitzt.
• Hs Antwort hängt informativ von diesem Nutzen ab.

Behandelt R das menschliche Verhalten dagegen nur als festes Zufallsereignis, das von Uₐ unabhängig ist, lernt es durch Warten nichts Relevantes. Dann kann Warten die beste direkte Option nicht strikt übertreffen. Das Paper analysiert später auch einen nicht optimal handelnden Menschen; schon die Basiskonstruktion zeigt jedoch, wie stark das Ergebnis an der modellierten Beziehung zwischen Präferenz, Beobachtung und Reaktion hängt.¹

Der formale Gewinn bleibt wichtig: Unsicherheit über ein Ziel kann den Wert menschlicher Korrektur im Optimierungsproblem selbst sichtbar machen. Aber das Spiel beweist weder, dass reale Menschen den richtigen Nutzen kennen, noch dass ein System ihre Signale richtig versteht, noch dass eine Organisation eine wirksame Korrekturstelle eingerichtet hat.

Ein realer Fall: Korrektur unter bestimmten Bedingungen

Wie viel diese Bedingungen ausmachen, zeigt eine Studie von Maria De-Arteaga, Riccardo Fogliato und Alexandra Chouldechova zum Allegheny Family Screening Tool (AFST). Das Werkzeug unterstützt in Allegheny County Fachkräfte bei der Entscheidung, ob eine Meldung an den Kinderschutz untersucht werden soll. Es zeigt einen Risikoscore von 1 bis 20. Ein Out-of-home-placement-Teilscore von mindestens 18 löste im untersuchten Betrieb das Label „mandatory screen-in“ aus; ein Screen-out brauchte die Zustimmung einer Aufsichtsperson.²

Ein technischer Fehler berechnete zeitweise einige Eingaben der Echtzeitanzeige falsch. Für die Forschung entstand dadurch eine ungewöhnliche Vergleichsmöglichkeit: Sie konnte den damals angezeigten Score einem später mit korrigierten Daten rekonstruierten Score gegenüberstellen. In 92,5 Prozent der ausgewerteten Meldungen sahen Fachkräfte überhaupt einen Score. Ihre Entscheidungen folgten nach Einführung des Werkzeugs stärker den Scores. Bei fehlerhaften Anzeigen hielten sie sich jedoch weniger eng an den angezeigten Wert; ihre Entscheidungen passten besser zum nachträglich rekonstruierten Wert. Selbst bei als verpflichtend markierten Fällen kam es nur in etwa zwei Dritteln zur Weiterleitung.

Das ist keine allgemeine Bestätigung, dass ein „Human in the Loop“ Fehler zuverlässig heilt. Die Studie ist retrospektiv und kann die einzelnen Ursachen des Verhaltens nicht experimentell isolieren. Die Fachkräfte verfügten über Informationen, die nicht im Score aufgingen: Inhalte des Anrufs und administrative Falldaten. Sie hatten Erfahrung aus der Zeit vor der Einführung und konnten überstimmen, wenn auch teils mit zusätzlicher Genehmigung. Unter diesen Bedingungen korrigierten sie manche fehlerhaften Anzeigen. Andere Kontexte können genau diese Bedingungen nicht besitzen.

Der Fall vertieft damit das Off-Switch Game. Eine menschliche Reaktion wird nur dann informativ und wirksam, wenn die Person etwas Zusätzliches weiß, den Fehler erkennen kann und ein Recht besitzt, die Folgeroutine zu verändern. Die Analyse des AFST und seiner institutionellen Wirkung ist in unserem Artikel KI ist keine Bohrmaschine ausführlicher dargestellt.

Wenn Mensch und System nicht dasselbe wissen

Das ursprüngliche Spiel nimmt stillschweigend eine symmetrische Informationssituation an: Der Mensch kennt alles, was das System über die relevante Entscheidung weiß. Das Partially Observable Off-Switch Game löst diese Annahme auf. Es wurde 2024 als Preprint vorgestellt und 2025 bei AAAI veröffentlicht.³

In diesem erweiterten Spiel verfügen Mensch und System über unterschiedliche Information. Selbst wenn das System den gemeinsamen Nutzen optimiert und der Mensch vollständig rational handelt, kann es in optimalem Spiel vorkommen, dass das System eine Abschaltung vermeidet. Zusätzliche Information oder Kommunikation verbessert den gemeinsamen erwarteten Nutzen zwar schwach. Begrenzte Kommunikation kann aber zugleich die optimale Bereitschaft zur Delegation senken. Der Mensch ist dann nicht automatisch die informativere Instanz für jeden konkreten Zug.

Diese Erweiterung nimmt dem ursprünglichen Ergebnis nicht seinen Wert. Sie bestimmt seine Grenze. Zielunsicherheit plus menschliche Freigabe ist keine hinreichende Architektur für Korrigierbarkeit. Entscheidend ist auch, wer welche Information besitzt und was über den Kommunikationskanal tatsächlich übermittelt werden kann.

Aus einem Schalter wird ein Review-System

Für Organisationen ist der Ausschalter deshalb das falsche Schlussbild. Die praktische Aufgabe ist ein Review-System, dessen Funktion überprüfbar ist. Es braucht mindestens fünf Festlegungen:

1. Informationsvorsprung: Welche fallbezogenen Signale sieht die prüfende Rolle, die das System nicht verarbeitet hat?
2. Entscheidungsrecht: Darf sie stoppen, verändern und überstimmen, oder nur kommentieren?
3. Zeit und Aufmerksamkeit: Welche Fälle erreichen sie, und reicht die Kapazität für eine tatsächliche Prüfung?
4. Begründungsweg: Welche Unsicherheit, Eingaben und Grenzen des Systems werden sichtbar, damit ein Einwand an einem prüfbaren Punkt ansetzen kann?
5. Rückkopplung: Werden Überstimmungen, Fehler und spätere Ergebnisse so dokumentiert, dass Schwellenwerte und Zuständigkeiten geändert werden können?

Ein Freigabeknopf beantwortet keine dieser Fragen. Eine hohe Zustimmungsquote belegt ebenfalls nicht, dass die Prüfung funktioniert; sie kann gute Vorschläge, Automationsbias oder fehlende Widerspruchsmacht anzeigen. Entscheidend ist die Wirkung: Welche materiellen Fehler verhindert das Review, welche neuen Fehler erzeugt es, und welche Fälle bleiben außerhalb seiner Sicht?

Russells Spiel liefert dafür keinen fertigen Organisationsentwurf. Es liefert eine präzise Umkehrung: Ein System muss menschliche Revision nicht nur technisch dulden. Seine Ziele, Unsicherheiten und Informationswege können so gestaltet werden, dass Revision einen funktionalen Wert erhält. Die Feldstudie zeigt, welche realen Bedingungen diesen Wert tragen können. Das partielle Spiel zeigt, warum selbst dann asymmetrische Information die Delegation verändert. Aus der Tugend der Unsicherheit wird erst durch Rechte, Information und Lernen eine belastbare Korrekturpraxis.

Footnotes

1. Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel und Stuart Russell, „The Off-Switch Game“, IJCAI 2017; frei zugänglicher Preprint. Das Paper analysiert ein bewusst kleines Spiel und erweitert die Basissituation um suboptimales menschliches Verhalten. ↩ ↩²

2. Maria De-Arteaga, Riccardo Fogliato und Alexandra Chouldechova, „A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous Algorithmic Scores“, CHI 2020; Preprint. Die Befunde stammen aus einer retrospektiven Analyse des realen AFST-Einsatzes und sind keine universale Kausalbehauptung über menschliche Prüfung. ↩

3. Andrew Garber, Rohan Subramani, Linus Luu, Mark Bedaywi, Stuart Russell und Scott Emmons, „The Partially Observable Off-Switch Game“, Preprint 2024; später AAAI 2025. ↩