Was der Schwellenwert 18 veränderte
Beim Allegheny Family Screening Tool wurde aus einer Prognose eine Verfahrensregel. Entscheidend war, welches Gewicht die Organisation dem Score gab.
In Allegheny County, Pennsylvania, bekam die Zahl 18 im August 2016 eine besondere Bedeutung. Erreichte der Placement-Risk-Score der ersten dokumentierten Fassung des Allegheny Family Screening Tools diesen Wert, sollte eine Meldung an die Kinderschutz-Hotline grundsätzlich untersucht werden. Nur eine vorgesetzte Person durfte von dieser Vorgabe abweichen.
Der Score stellte weder fest, ob die gemeldete Kindeswohlgefährdung tatsächlich vorlag, noch maß er die akute Gefahr. Er schätzte etwas Engeres: die Wahrscheinlichkeit, dass ein Kind innerhalb von zwei Jahren nach einer untersuchten Meldung außerhalb seiner Familie untergebracht würde. Trotzdem änderte der Wert 18 den weiteren Ablauf. Das macht den Fall für heutige KI-Projekte interessant. Organisatorische Wirkung entsteht, sobald eine Modellausgabe mit einer Regel, Zuständigkeiten und einer Ausnahme verbunden wird.
Was der Score tatsächlich ausdrückte
Die erste Version des AFST erzeugte für jedes betroffene Kind zwei Werte. Für die Verfahrensregel maßgeblich war der Placement-Risk-Score. Das Modell dahinter war eine logistische Regression. Es nutzte Verwaltungsdaten zu den Personen, auf die sich eine Meldung bezog. Der konkrete Inhalt des Anrufs ging nicht in die Berechnung ein. Mitarbeitende der Hotline konnten deshalb einen Hinweis auf eine akute Gefahr berücksichtigen, der im Score gar nicht vorkam. Der Begriff KI wird hier in einem weiten organisatorischen Sinn verwendet: Ein System leitet aus Daten eine maschinelle Bewertung ab. Ein Sprachmodell oder ein autonomer Agent war das AFST nicht.
Auch die Skala von 1 bis 20 braucht eine Erklärung. Die Zahl war keine Prozentwahrscheinlichkeit. Das Modell ordnete seine geschätzten Wahrscheinlichkeiten in zwanzig Gruppen von jeweils ungefähr fünf Prozent der Fälle ein. Ein Sprung von 18 auf 19 musste daher nicht denselben Unterschied im geschätzten Risiko bedeuten wie ein Sprung von 8 auf 9. Die Werte 18 bis 20 markierten schlicht die obersten 15 Prozent der Verteilung.
Diese Angaben beziehen sich auf Version 1. Die Dokumentation des County datiert ihre Inbetriebnahme auf August 2016. Im Dezember 2018 folgte Version 2 mit einem aktualisierten Algorithmus, anderen Datenquellen und veränderten Regeln. Gerade an der ersten Fassung lässt sich die Organisationsfrage vom Neuigkeitsversprechen heutiger KI trennen: Schon ein konventionelles Prognosemodell kann erheblichen Einfluss erhalten.
Ab 18 änderte sich die Begründungslast
Unterhalb der Schwelle floss der Score als eine von mehreren Informationen in die Empfehlung der Hotline-Mitarbeitenden ein. Ab 18 galt ein „mandatory screen-in“. Die Bezeichnung klang endgültiger, als das Verfahren war, denn Vorgesetzte konnten eine Untersuchung weiterhin ablehnen. Der Ausgangspunkt hatte sich dennoch verschoben. Nun musste die Abweichung vom vorgesehenen Weg eigens autorisiert werden.
Das Ausnahmerecht wurde tatsächlich genutzt. In den Daten aus der ersten Zeit nach der Einführung überstimmten Vorgesetzte nahezu jede vierte Vorgabe zur Untersuchung; die Häufigkeit unterschied sich von einer vorgesetzten Person zur nächsten. Die endgültigen Screening-Entscheidungen hingen außerdem stärker mit den eigenen Risiko- und Sicherheitseinschätzungen der Mitarbeitenden zusammen als mit dem AFST-Wert. Die Fallstudie des Forschungsteams liefert damit weder das Bild einer automatisierten Entscheidung noch das eines bedeutungslosen Scores. Die Schwelle veränderte den Standardweg, während das fachliche Urteil wirksam blieb.
Ein solcher Standard verteilt Arbeit. Wer ihm folgt, braucht keine Ausnahme auszulösen. Wer abweichen will, muss den Fall erkennen, widersprechen und die nötige Befugnis besitzen. Deshalb hebt ein Überstimmungsrecht die Wirkung des Scores nicht auf. Es gehört zu dieser Wirkung.
Mit dem Modell änderte sich die Arbeitsteilung
Vor der Einführung sammelten die sogenannten Call Screener – Mitarbeitende, die eingehende Meldungen vorsortierten – vor allem Informationen und gaben ihre Einschätzung weiter. Die formale Entscheidung über Untersuchung oder Nichtweiterverfolgung lag bei den Vorgesetzten. Im neuen Ablauf bewerteten die Call Screener selbst Risiko und Sicherheit, ließen den Modellwert berechnen und gaben bei nicht obligatorischen Meldungen eine Empfehlung ab. Die vorgesetzte Person bestätigte oder änderte diese Empfehlung. Das zeigt die Prozessevaluation aus Interviews, Befragungen und Dokumenten.
Das AFST kam also zusammen mit einer neuen Verteilung von Urteil und Verantwortung. Zum operativen System gehörten das Vorhersageziel, die Verwaltungsdaten, die Anzeige auf einer Skala, der Grenzwert, das Überstimmungsrecht und die veränderten Rollen. Wer nur fragt, ob die Mitarbeitenden „das Tool benutzt“ haben, übersieht einen großen Teil des Eingriffs. Erhält eine Stelle zusätzliche Verantwortung, kann das anderswo neue Prüf- und Begründungsarbeit erzeugen.
Warum sich die Wirkung des Modells nicht isolieren lässt
Allegheny County liefert kein kontrolliertes Experiment über den Nutzen eines Prognosemodells. Modell, Richtlinien und Rollen änderten sich gemeinsam. Spätere Veränderungen bei Fallauswahl oder Ergebnissen lassen sich daher nicht sauber einem dieser Bestandteile zurechnen. Für die Gestaltung ist diese Verflechtung der Gegenstand; für einen kausalen Wirksamkeitsnachweis bleibt sie eine Grenze.
Auch die Modellprüfung hatte Grenzen. Das Forschungsteam berichtete später von zwei Fehlern in der ursprünglichen Validierung. Datensätze zu denselben Kindern aus wiederholten Meldungen sowie zu Geschwistern aus derselben Meldung konnten sowohl in den Trainings- als auch in den Testdaten vorkommen. Außerdem war die Auswahl der Modellmerkmale bereits am gesamten Datensatz erfolgt. Beides ließ die ausgewiesene Vorhersageleistung zu gut erscheinen. Das korrigierte Prüfverfahren lieferte realistischere Schätzungen, änderte aber das bereits eingesetzte Modell nicht.
Hinzu kam ein grundsätzliches Datenproblem. Trainiert und geprüft wurde an Meldungen, die untersucht worden waren; eingesetzt werden sollte der Score zur Auswahl aus allen Meldungen. Für aussortierte Fälle war das spätere Ergebnis nicht auf dieselbe Weise beobachtbar. Die Forschenden diskutierten außerdem, dass über arme Familien und Gruppen mit häufigem Kontakt zu staatlichen Stellen typischerweise mehr Verwaltungsdaten vorliegen. Menschliches Urteil bildete dabei keinen neutralen Vergleichsmaßstab. Eine Fairness-Kennzahl für den Score kann deshalb die Gerechtigkeit des gesamten Verfahrens nicht belegen.
Vor einem KI-Piloten dieser Art muss die Organisation zunächst festlegen, was die Ausgabe behauptet und welche Folge sie haben darf. Bei einem Schwellenwert gehören die Wahl der Grenze, der Standardweg und das wirksame Ausnahmerecht in den Entwurf. Ebenso wichtig ist, wer eine Abweichung prüfen kann und welche Folgen für übersehene Fälle, betroffene Gruppen und die Arbeit der Beteiligten beobachtet werden.
Der Wert 18 entschied keinen Fall. Seine Bedeutung erhielt er durch eine Verfahrensregel: Meldungen ab diesem Wert sollten grundsätzlich untersucht werden.
