Maschinen, die mit uns denken

Mit Denken ist hier keine Behauptung über Bewusstsein, Verstehen oder eine menschenähnliche Innenwelt gemeint. Der Begriff wird funktional verwendet: Ein technisches System verarbeitet Beobachtungen zu einer Auswahl, einer Priorität oder einem Vorschlag, der verändert, was Menschen als Nächstes prüfen oder tun. Das kann bereits ein statistisches Prognosemodell leisten. Ob es die Situation „versteht“, ist für diese Wirkung im Arbeitsablauf nicht entscheidend.

Ein aufschlussreicher Fall stammt aus der klinischen Versorgung. Andrew Wong und Kolleginnen und Kollegen validierten 2021 extern das damalige Epic Sepsis Model, eine proprietäre, penalisierte logistische Regression innerhalb der elektronischen Patientenakte. Laut der Studie war das Modell zu dieser Zeit in hunderten US-Krankenhäusern implementiert. Die Forschenden untersuchten retrospektiv 27.697 erwachsene Patientinnen und Patienten mit 38.455 Krankenhausaufenthalten an Michigan Medicine. In 2.552 Aufenthalten, rund sieben Prozent, trat nach ihrer zusammengesetzten Definition eine Sepsis auf.¹

Auf Ebene des gesamten Krankenhausaufenthalts erreichte das Modell eine AUC von 0,63 (95-Prozent-Konfidenzintervall 0,62 bis 0,64). Bei einem Schwellenwert von 6, den das zuständige Betriebsgremium des Krankenhauses innerhalb des vom Hersteller empfohlenen Bereichs gewählt hatte, betrug die Sensitivität 33 Prozent, die Spezifität 83 Prozent und der positive Vorhersagewert 12 Prozent. Ein Wert von mindestens 6 trat bei 6.971 der 38.455 Aufenthalte auf, also bei 18 Prozent. Selbst bei nur einer gedachten Warnung pro Patientin oder Patient wären acht Prüfungen nötig gewesen, um einen Aufenthalt mit späterer Sepsis zu finden.

Diese Zahlen beschreiben Modellleistung und eine rechnerische Warnlast. Sie belegen keinen durch das Modell verursachten Schaden. Die Studie war retrospektiv und auf ein akademisches Zentrum begrenzt; die Sepsisdefinition war zusammengesetzt und, wie die Autoren festhalten, fachlich umstritten. Aufenthalte, in denen reale Warnungen möglich gewesen wären, wurden aus der Analyse ausgeschlossen, um Verzerrungen zu vermeiden. In der ausgewerteten Kohorte wurden daher keine tatsächlichen Warnungen erzeugt und keine Reaktionen der Behandelnden beobachtet. Aus der Studie folgt weder ein kausaler Effekt auf Mortalität oder Behandlung noch ein Nachweis von Automationsbias. Sie trägt auch keine Aussage über spätere Modellversionen oder andere Einrichtungen.

Gerade diese Grenze macht den Fall architektonisch nützlich. Er trennt vier Formen von Macht, die in der Rede vom „Assistenzsystem“ leicht zusammenfallen.

Auswahlmacht

Das Modell berechnete alle 15 Minuten einen Risikowert. Zusammen mit dem Schwellenwert bestimmt dieser Wert, welche Aufenthalte als prüfungsbedürftig erscheinen und welche unterhalb der Aufmerksamkeitsschwelle bleiben. Bei Schwelle 6 erkannte das Modell 67 Prozent der Sepsisfälle in der Studie nicht. Von diesen nicht markierten Fällen erhielten 60 Prozent dennoch rechtzeitig Antibiotika. Rechtzeitige Behandlung fand also auch ohne Modellmarkierung statt.

Auswahlmacht ist deshalb weder Entscheidungsmacht noch bloß neutrale Datenverarbeitung. Sie ordnet Aufmerksamkeit vor. Zu prüfen ist, welche Fälle der Filter sichtbar macht, welche er ausblendet und welche Gegenmetrik die übersehenen Fälle erfasst.

Vorschlagsmacht

Ein Risikowert kann als zusätzliche Information erscheinen. Ein Interface kann ihn aber auch als implizite Empfehlung präsentieren: Hier zuerst handeln. Wong et al. untersuchten nicht, wie Ärztinnen und Ärzte oder Pflegekräfte eine solche Anzeige lesen. Diese Wirkung darf dem Datensatz nicht nachträglich zugeschrieben werden.

Für den Entwurf bleibt die Frage dennoch zwingend. Sehen die Behandelnden die zugrunde liegenden Beobachtungen, die Unsicherheit und die Grenzen der Validierung? Können sie einen plausiblen Score fachlich einordnen, oder bietet die Oberfläche nur eine Zahl mit Handlungsdruck? Vorschlagsmacht entsteht aus Modell, Interface und Arbeitskontext gemeinsam.

Auslösebefugnis

Das Betriebsgremium hatte die Schwelle 6 gewählt, um Behandelnde per Nachricht zu alarmieren. Der Score hätte damit einen Arbeitsschritt ausgelöst, aber keine Behandlungsentscheidung selbst getroffen. Diese Unterscheidung ist wichtig. Technische Auslösung verschiebt dennoch reale Kapazität: Jemand muss die Warnung prüfen, andere Aufgaben unterbrechen und entscheiden, ob eine Intervention folgt.

Bei einem positiven Vorhersagewert von 12 Prozent gehört die verfügbare Prüfzeit zur Architektur. Ein benannter Mensch „in der Schleife“ genügt nicht, wenn die Anzahl der Signale keine ernsthafte Prüfung zulässt. Die Studie modelliert diese Belastung; sie beobachtet nicht, dass im untersuchten Kollektiv tatsächlich Warnmüdigkeit entstand.

Reversibilität

Schließlich ist zu klären, wer die Schwelle ändern, den Alarmweg stoppen oder auf ein anderes Verfahren zurückschalten darf. Was geschieht, wenn lokale Daten eine Leistungsverschlechterung zeigen? Bleiben Patientinnen und Patienten, die der Score nicht markiert, über einen unabhängigen klinischen Weg sichtbar? Werden Fehl- und Überwarnungen so dokumentiert, dass das Gremium seine Entscheidung revidieren kann?

Wong et al. berichten diese Governance-Details nicht. Reversibilität ist daher keine Feststellung aus der Studie, sondern eine Konsequenz für den Entwurf. Ein verantwortlicher Mensch braucht mehr als einen Namen: ausreichende Zeit, die tragenden Informationen, ein wirksames Stopprecht und Klarheit darüber, welche Folgen ein Übersehen oder Fehlalarm für Betroffene hat.

Das Epic-Beispiel zeigt keine Maschine, die eine klinische Entscheidung autonom übernimmt. Es zeigt etwas Grundsätzlicheres. Schon die Platzierung eines Prognosewerts kann Auswahl, Vorschlag und Arbeitsauslösung unterschiedlich verteilen. Ob daraus bessere Versorgung entsteht, lässt sich weder aus der Existenz des Modells noch aus seiner Nutzung ableiten. Es braucht externe Validierung, einen Vergleich mit der bisherigen Praxis, Gegenmetriken für übersehene und unnötig alarmierte Fälle sowie eine betriebliche Ordnung, in der der Weg revidierbar bleibt.

Footnotes

1. Andrew Wong et al., „External Validation of a Widely Implemented Proprietary Sepsis Prediction Model in Hospitalized Patients“, JAMA Internal Medicine 181(8), 2021, S. 1065–1070; am 2. August 2021 korrigierte Fassung. Retrospektive externe Kohortenvalidierung an einem einzelnen akademischen Gesundheitssystem, Dezember 2018 bis Oktober 2019. Die Studie prüft die damalige Modellversion und mögliche Warnstrategien, nicht die kausalen Folgen eines realen Rollouts. ↩