Stuart Russell und der Wert menschlicher Korrektur

Das Off-Switch Game untersucht eine eng gefasste Frage: Unter welchen Bedingungen ist es für ein optimierendes System vorteilhaft, eine menschliche Entscheidung abzuwarten? Die Antwort hat wenig mit Unterordnung oder Bescheidenheit zu tun. Im Modell gewinnt das Warten seinen Wert aus zusätzlicher Information.

Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel und Stuart Russell betrachten einen Roboter R, einen Menschen H und eine mögliche Handlung a. Der Nutzen dieser Handlung für H wird mit Uₐ bezeichnet. R ist so konstruiert, dass er diesen Nutzen optimiert, kennt dessen Wert aber nur als Wahrscheinlichkeitsverteilung. R kann a sofort ausführen, sich abschalten, was im Modell einen auf null normierten Nutzen hat, oder über w(a) die beabsichtigte Handlung ankündigen und warten. Nur im letzten Fall kommt H zum Zug. In der Basissituation erlaubt ein rationaler H die Handlung bei einem nicht negativen Nutzen und stoppt R bei einem negativen.¹

Damit wird die Reaktion des Menschen zu einem Hinweis auf eine Größe, über die R noch unsicher ist. Das Spiel modelliert also keinen Konflikt zwischen einem menschlichen und einem maschinellen Ziel. Beide Seiten sind auf denselben Nutzen ausgerichtet; ungleich verteilt ist das Wissen darüber.

Warum Warten rational sein kann

Führt R die Handlung sofort aus, erhält er deren erwarteten Nutzen. Die Abschaltung liefert null. Nach dem Warten kann H für den tatsächlich vorliegenden Nutzen die bessere der beiden Möglichkeiten auswählen. In der Basiskonstruktion ist der Erwartungswert des Wartens deshalb mindestens so hoch wie der Wert der besten Sofortoption. Er liegt darüber, sobald R sowohl positive als auch negative Werte von Uₐ für möglich hält.

Dieses Ergebnis ruht auf einer bestimmten Beziehung. R optimiert den Nutzen von H und bleibt darüber tatsächlich unsicher. Zugleich muss Hs Reaktion mit diesem Nutzen zusammenhängen, damit sie R etwas verrät. Behandelt der Roboter das menschliche Verhalten bloß als Zufallsereignis ohne Bezug zu Uₐ, entsteht beim Warten kein entsprechender Informationsgewinn. Das Paper untersucht später auch einen suboptimal handelnden Menschen; bereits die einfache Variante zeigt, wie eng Anreiz und Informationsmodell zusammengehören.¹

Die formale Einsicht ist wichtig, aber begrenzt. Sie belegt keine Kenntnis des „richtigen“ Ziels bei realen Menschen. Auch sagt sie nichts darüber, ob eine Schnittstelle das maßgebliche Signal übermittelt oder ob eine Organisation der prüfenden Person wirksame Rechte eingeräumt hat.

Was Korrektur in Allegheny möglich machte

Eine retrospektive Studie von Maria De-Arteaga, Riccardo Fogliato und Alexandra Chouldechova zeigt diese institutionelle Seite am Allegheny Family Screening Tool (AFST). Das Werkzeug unterstützt Fachkräfte in Allegheny County bei der Entscheidung, ob eine Meldung an den Kinderschutz untersucht werden soll. Es zeigt einen Risikoscore von 1 bis 20. Erreichte der Teilscore für eine spätere Unterbringung außerhalb der Familie mindestens 18, erschien im untersuchten Betrieb die Vorgabe „mandatory screen-in“. Für eine abweichende Entscheidung war die Zustimmung einer Aufsichtsperson nötig.²

Ein technischer Fehler führte zeitweise dazu, dass einige Eingaben für die Echtzeitanzeige falsch berechnet wurden. Die Forschenden konnten den damals angezeigten Wert später einem Score gegenüberstellen, der aus korrigierten Daten rekonstruiert worden war. In 92,5 Prozent der ausgewerteten Meldungen hatten die Fachkräfte einen Score gesehen. Insgesamt folgten ihre Entscheidungen nach Einführung des Werkzeugs häufiger der vom Modell nahegelegten Rangfolge. Bei fehlerhaften Anzeigen wichen sie jedoch häufiger vom sichtbaren Wert ab; ihre Entscheidungen entsprachen eher der Empfehlung, die sich aus dem nachträglich rekonstruierten Score ergab. Selbst von den als verpflichtend markierten Fällen wurden nur ungefähr zwei Drittel weitergeleitet.

Die Studie belegt damit nicht allgemein, dass menschliche Kontrolle technische Fehler korrigiert. Als retrospektive Analyse kann sie die Ursachen einzelner Entscheidungen nicht experimentell trennen. Die Fachkräfte kannten den Inhalt des Anrufs und administrative Falldaten, die der Score nicht vollständig abbildete. Sie brachten Erfahrung aus dem früheren Arbeitsablauf mit und konnten vom Modellvorschlag abweichen, in manchen Fällen nach zusätzlicher Genehmigung. In dieser konkreten Konstellation konnten sie einige fehlerhafte Anzeigen abfangen.

Eine menschliche Reaktion wird für das System erst dann nützlich, wenn die Person auf relevante zusätzliche Informationen zugreifen, einen möglichen Fehler erkennen und den nächsten Schritt verändern kann. Unser Artikel Was der Schwellenwert 18 veränderte behandelt das AFST ausführlicher als organisatorisches System.

Asymmetrische Information verändert das Spiel

In der Basissituation weiß H alles, was R über die anstehende Wahl weiß. Das Partially Observable Off-Switch Game, 2024 als Preprint vorgestellt und 2025 bei AAAI veröffentlicht, gibt beiden Seiten unterschiedliche Informationen.³

Unter diesen Bedingungen kann ein optimal handelndes System die Abschaltung vermeiden, obwohl es weiterhin den gemeinsamen Nutzen optimiert und der Mensch vollständig rational handelt. Zusätzliche Information oder Kommunikation senkt den gemeinsamen erwarteten Nutzen im Modell nicht. Bei begrenzter Kommunikation kann die optimale Bereitschaft zur Delegation dennoch zurückgehen, denn H ist für einen bestimmten Zug nicht zwangsläufig besser informiert.

Die Erweiterung präzisiert die Reichweite des ersten Ergebnisses. Zielunsicherheit und eine formale Gelegenheit zum Eingreifen reichen bei asymmetrischer Information nicht für Korrigierbarkeit. Es kommt darauf an, wer welches Wissen besitzt und was der verfügbare Kanal davon übertragen kann.

Prüfung braucht mehr als einen Freigabeknopf

In einer Organisation führt vom Ausschalter kein direkter Weg zu guter Aufsicht. Zunächst braucht die prüfende Person oder Stelle einen Informationsvorsprung oder zumindest eine andere Sicht auf den Fall. Ihre Befugnis muss über einen Kommentar hinausgehen und den folgenden Arbeitsschritt tatsächlich verändern können. Beides bleibt wertlos, wenn zu viele Fälle in zu kurzer Zeit ankommen.

Auch das System muss genug von seinem Zustand offenlegen, damit ein Einwand an einer konkreten Eingabe, Unsicherheit oder Einsatzgrenze ansetzen kann. Entscheidungen gegen den Systemvorschlag und spätere Ergebnisse gehören anschließend in einen Rückkanal, über den Schwellenwerte, Zuständigkeiten und das Verfahren selbst revidiert werden können.

Die Zustimmungsquote sagt wenig über die Qualität einer solchen Prüfung. Ein hoher Wert passt zu sehr guten Vorschlägen, kann aber ebenso durch Automationsbias, dieselbe Informationsbasis bei Mensch und Modell oder schwache Widerspruchsrechte entstehen. Aussagekräftiger ist, welche materiellen Fehler die Prüfung verhindert oder neu erzeugt und welche Fälle der gesamten Anordnung entgehen.

Russells Spiel ist deshalb kein fertiger Organisationsentwurf. Es zeigt präzise, wie modellierte Unsicherheit menschliche Korrektur für ein optimierendes System wertvoll machen kann. Der Fall aus Allegheny liefert Bedingungen, unter denen Menschen fehlerhafte Ausgaben teilweise ausgleichen konnten. Das neuere Spiel markiert die Grenze, sobald das Wissen ungleich verteilt ist. Für eine belastbare Korrekturpraxis müssen diese Befunde gemeinsam in die Gestaltung einfließen.

Footnotes

1. Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel und Stuart Russell, „The Off-Switch Game“, IJCAI 2017; frei zugänglicher Preprint. Das Paper analysiert ein bewusst kleines Spiel und erweitert die Basissituation um suboptimales menschliches Verhalten. ↩ ↩²

2. Maria De-Arteaga, Riccardo Fogliato und Alexandra Chouldechova, „A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous Algorithmic Scores“, CHI 2020; Preprint. Die Befunde stammen aus einer retrospektiven Analyse des realen AFST-Einsatzes und sind keine universale Kausalbehauptung über menschliche Prüfung. ↩

3. Andrew Garber, Rohan Subramani, Linus Luu, Mark Bedaywi, Stuart Russell und Scott Emmons, „The Partially Observable Off-Switch Game“, Preprint 2024; später AAAI 2025. ↩