Wenn ein Score zur Regel wird
Sobald ein KI-Ergebnis mit Schwellenwerten, Standardfolgen und Zuständigkeiten verbunden ist, verändert es die Entscheidungsordnung.
Im August 2016 nahm das Jugendhilfesystem von Allegheny County in Pennsylvania die erste Version eines Prognosemodells in Betrieb. Das Allegheny Family Screening Tool sollte Mitarbeitende einer Kinderschutz-Hotline bei einer folgenreichen Frage zu einer bestimmten Klasse von Meldungen unterstützen: Welche Fälle werden untersucht, welche nicht?
Für jedes betroffene Kind erzeugte das System zwei Risikowerte. Organisatorisch folgenreich wurde vor allem der Placement-Risk-Score von 1 bis 20. Ab 18 galt der Fall grundsätzlich als Fall für eine Untersuchung. Die Bezeichnung dafür lautete „mandatory screen-in“, obwohl eine Vorgesetzte oder ein Vorgesetzter die Vorgabe überstimmen konnte. Eine Zahl, ein Schwellenwert, ein Ausnahmerecht. Darin steckt bereits mehr Organisationsdesign, als das Wort „Tool“ vermuten lässt.
Der Fall ist vom County selbst dokumentiert. Ich verwende KI hier im weiten organisatorischen Sinn: für ein System, das aus Daten eine maschinelle Bewertung erzeugt. Der Fall betrifft weder ein heutiges Sprachmodell noch einen autonomen Agenten. Version 1 beruhte auf einer logistischen Regression; die Angaben in diesem Text beziehen sich auf diese Fassung. Im Dezember 2018 führte der County eine veränderte Version 2 mit aktualisiertem Algorithmus, anderen Datenquellen und angepassten Regeln ein. Gerade die erste Fassung ist aufschlussreich: Schon ein vergleichsweise konventionelles Modell erhält formales Gewicht, wenn sein Ergebnis in Regeln, Zuständigkeiten und Software eingebaut wird.
Was der Wert 18 im Ablauf bedeutete
Der ausgegebene Wert schätzte nicht, ob die aktuelle Meldung wahr war. Er bezifferte auch keine akute Gefahr. Vorhergesagt wurde, wie wahrscheinlich nach einer untersuchten Meldung binnen zwei Jahren eine Unterbringung außerhalb der Familie sein würde. Trainiert war dieser Wert nur an Meldungen, die tatsächlich untersucht worden waren. Das Modell stützte sich dafür auf administrative Daten über die mit einer Meldung verbundenen Personen. Der konkrete Inhalt der Meldung ging dagegen nicht in das Modell ein; Mitarbeitende am Telefon konnten akute Angaben darin berücksichtigen.
Diese Abgrenzung ist wichtig. „Risiko“ bezeichnete im Modell etwas anderes als im eingespielten Fachgebrauch der Hotline. Die Prozessevaluation zeigt, wie erklärungsbedürftig diese Grenze in der Einführung blieb. Ein präzise berechneter Wert kann in einem unpräzise verstandenen Begriff landen.
Der Schwellenwert machte aus der Schätzung eine Verfahrensregel. Werte von 18 bis 20 markierten die obersten 15 Prozent der geschätzten Placement-Risiken und lösten die Vorgabe aus, den Fall zu untersuchen. Das Modell traf die endgültige Entscheidung also nicht. Es veränderte aber deren Ausgangslage: Für diese Fälle musste nun nicht mehr die Untersuchung, sondern ihre Unterlassung besonders autorisiert werden.
Das Ausnahmerecht war kein theoretischer Notausgang. In den Daten aus dem ersten Betriebsjahr überstimmten Vorgesetzte knapp jedes vierte obligatorische Screen-in. Die Entscheidungen folgten außerdem stärker den eigenen Risiko- und Sicherheitseinschätzungen der Mitarbeitenden als dem Modellwert. Die Schwelle änderte damit die formale Regel, ohne das fachliche Urteil stummzuschalten.
Das ist keine sprachliche Feinheit. Ein Standard und seine Ausnahme verteilen Begründungslasten. Wer abweichen will, muss tätig werden; wer dem Standard folgt, bewegt sich im vorgesehenen Verfahren. So erhält ein Modell organisatorische Wirkung, ohne selbst einen Beschluss zu fassen.
Das Modell kam nicht allein
Mit der Einführung änderte Allegheny County zugleich die Rollen in der Hotline. Zuvor sammelten die Call Screener vor allem Informationen. Sie brachten zwar ihre Einschätzung ein, doch die Entscheidung über Untersuchung oder Nichtweiterverfolgung lag bei den Vorgesetzten. Danach bewerteten die Call Screener Risiko und Sicherheit und erzeugten den Modellwert. Bei den nicht obligatorischen GPS-Meldungen gaben sie selbst eine Empfehlung ab; die Vorgesetzten bestätigten oder änderten sie.
Wer hier nur auf den Algorithmus schaut, verfehlt den Eingriff. Das operative System bestand mindestens aus dem statistischen Modell, den Datenquellen, der Darstellung des Werts, der Schwelle bei 18, dem Überstimmungsrecht und der neuen Arbeitsteilung. Keine dieser Komponenten erklärt den Ablauf allein. Zusammen bestimmten sie, welche Information wann sichtbar wurde, wer ein erstes Urteil formulieren musste und bei wem die letzte formale Entscheidung lag.
Damit wird auch die übliche Pilotfrage zu eng: „Hilft das Tool den Mitarbeitenden?“ Sie lässt offen, welche Mitarbeitenden gemeint sind und worin die Hilfe besteht. Zeitersparnis für eine Rolle kann zusätzliche Begründungsarbeit für eine andere erzeugen. Ein konsistenterer Standard kann zugleich den Spielraum an einer bestimmten Stelle verengen. Solche Wirkungen sind keine nachgelagerten Change-Themen. Sie gehören zum Entwurf des Systems.
Der Fall beweist keine einfache Erfolgsgeschichte
Allegheny County ist ein instruktiver Fall, aber kein sauber isoliertes Experiment. Modell, Richtlinien und Rollen wurden in Verbindung miteinander verändert. Aus einer später beobachteten Entwicklung lässt sich deshalb nicht ohne Weiteres ableiten, welchen Anteil der Score und welchen Anteil die neue Arbeitsteilung hatte. Für eine Architekturbetrachtung ist diese Vermischung kein Störgeräusch. Sie ist der Gegenstand. Für eine kausale Aussage über die Wirkung des Modells bleibt sie eine Grenze.
Hinzu kommt der Kontext. Eine Untersuchung durch den Kinderschutz kann für ein Kind notwendig sein und für eine Familie dennoch einen schweren Eingriff bedeuten. Die Forschenden warnten außerdem vor einer möglichen Asymmetrie der Verwaltungsdaten: Über arme Familien und Bevölkerungsgruppen mit häufigeren Kontakten zu staatlichen Stellen liegen typischerweise mehr Daten vor. Die wissenschaftliche Fallstudie der Entwicklerinnen und Entwickler behandelt deshalb mögliche Benachteiligungen, menschliche Verzerrungen und Modellverzerrungen gemeinsam. Eine Fairness-Metrik für den Score beantwortet noch nicht, ob das gesamte Verfahren fair handelt.
Dieselbe Studie dokumentiert zwei Fehler in der ursprünglichen Validierung. Sie führten zu zu optimistischen Angaben über die Vorhersageleistung. Unter anderem tauchten dieselben Kinder beziehungsweise Geschwister aus derselben Meldung in Trainings- und Testdaten auf; auch die Merkmalsauswahl war nicht sauber in die Validierung eingeschlossen. Das Forschungsteam korrigierte später das Validierungsverfahren und berechnete die Leistungsschätzungen neu. Das bereits eingesetzte Modell selbst änderte sich dadurch nicht. Daneben blieb das Problem, dass die Modelle anhand untersuchter Meldungen trainiert und geprüft wurden, obwohl sie gerade bei der Auswahl aller Meldungen helfen sollten. Für viele aussortierte Fälle ist das relevante spätere Ergebnis nicht in gleicher Weise beobachtbar.
Das macht den Einsatz nicht automatisch falsch. Es verbietet aber die bequeme Erzählung, ein guter Modellwert werde schon zu einer guten Entscheidung führen.
Der Entwurfsgegenstand ist die Entscheidungsordnung
Vor einem Piloten mit einem System, das Fälle einordnet, priorisiert, empfiehlt oder Handlungen auslöst, sollte deshalb nicht nur feststehen, welche Aufgabe das Modell übernimmt. Zu klären ist, welche Aussage es überhaupt erzeugt, an welcher Stelle diese Aussage erscheint und was dort durch sie anders wird. Ebenso konkret gehören Schwellenwerte, Standardfolgen, Überstimmungsrechte und Begründungspflichten auf den Tisch. Schließlich braucht es eine Beobachtung der Gesamtwirkung: nicht nur Genauigkeit oder gesparte Minuten, sondern Fehlentscheidungen, unterschiedliche Betroffenheit, tatsächliche Nutzung und Folgen für die beteiligten Rollen.
Der Wert 18 entschied nichts von selbst. Wirksam wurde er, weil das Verfahren an ihm die Standardrichtung wechselte. Wer einen KI-Piloten entwirft, muss deshalb weniger fragen, ob das Modell ein Werkzeug ist, als welches Recht seine Ausgabe im Ablauf erhält.
