Was ein Sepsis-Score im Krankenhaus auslöst
Die externe Prüfung des Epic Sepsis Model zeigt, wie ein Prognosemodell mit schwacher Trennleistung Aufmerksamkeit sortiert, Arbeit anstößt und neue Steuerungsfragen erzeugt.
Eine externe Validierung des damaligen Epic Sepsis Model berechnete rückblickend, welche Aufenthalte das Modell bei Michigan Medicine markiert hätte. Das Modell lieferte alle 15 Minuten einen neuen Score; ein Betriebsgremium hatte innerhalb des vom Hersteller empfohlenen Bereichs die Schwelle 6 gewählt, ab der eine Nachricht Behandelnde auf den Aufenthalt aufmerksam machen sollte.1
Bei dieser Schwelle wären 6.971 von 38.455 Aufenthalten markiert worden, also 18 Prozent. Nur 12 Prozent davon erfüllten später die Sepsisdefinition der Studie; zugleich blieben 67 Prozent der späteren Sepsisfälle unterhalb der Schwelle. Die retrospektive Studie beobachtete jedoch weder reale Alarme noch klinische Reaktionen.
Für die Nutzung von KI in Organisationen ist damit früh klar, worum es geht: Das Modell erzeugte keine Behandlungsentscheidung, sondern eine mögliche Prüfliste. Erst die organisatorische Verbindung aus Schwellenwert, Nachricht, verfügbarer Aufmerksamkeit und Entscheidungsrecht machte aus dem Score einen Eingriff in die klinische Arbeit.
Was die Zahlen über die Prüfliste sagen
Die damalige Modellversion war eine proprietäre, penalisierte logistische Regression in der elektronischen Patientenakte. Das Forschungsteam untersuchte 27.697 Erwachsene mit 38.455 Aufenthalten; seine zusammengesetzte Sepsisdefinition traf auf 2.552 Aufenthalte zu. Die AUC von 0,63 (95-Prozent-Konfidenzintervall 0,62 bis 0,64) zeigte eine präzise geschätzte, aber schwache Trennung von Aufenthalten mit und ohne späteres Ereignis.
Am Schwellenwert wurde die Arbeitsfolge sichtbar: Von 100 Aufenthalten mit Sepsis wären 33 markiert worden, von 100 ohne Sepsis 83 unterhalb der Grenze geblieben. Etwa acht markierte Aufenthalte hätten geprüft werden müssen, um einen mit späterer Sepsis zu finden. Diese Werte lassen sich nicht zu einer einzigen „Genauigkeit“ verschmelzen; sie beschreiben zugleich eine Belastung knapper klinischer Aufmerksamkeit und eine große Zahl unmarkierter Fälle.
Was die Validierung offenließ
Die Studie war retrospektiv und auf ein akademisches Zentrum begrenzt. Ihre Sepsisdefinition war zusammengesetzt und fachlich umstritten. Aufenthalte mit möglichen echten Warnungen wurden aus methodischen Gründen ausgeschlossen. Aussagen über Behandlung, Sterblichkeit, Automationsbias, spätere Modellversionen oder andere Einrichtungen trägt sie deshalb nicht.
Auch die unmarkierten Fälle verdienen eine genauere Lesart. Von den übersehenen Sepsisfällen erhielten 60 Prozent dennoch rechtzeitig Antibiotika. Viele dieser Fälle erreichten die Behandlung also auch ohne Modellmarkierung. Ob und wodurch die Sepsis erkannt wurde, belegt die Antibiotikagabe allein jedoch nicht. Eine Evaluation darf deshalb weder nur die Treffer ab 6 zählen noch die klinischen Wege unterhalb der Schwelle ausblenden.
Die Studie berechnete eine mögliche Warnlast, beobachtete aber keine tatsächliche Warnmüdigkeit. Bei einem positiven Vorhersagewert von 12 Prozent muss die verfügbare Prüfzeit Teil der Einsatzplanung sein. Menschliche Kontrolle kann nur wirken, wenn Zahl und Takt der Nachrichten eine ernsthafte fachliche Prüfung zulassen.
Nach der Nachricht muss der Prozess lernfähig bleiben
Für einen dauerhaften Betrieb braucht eine benannte Stelle lokale Daten über verpasste Fälle, unnötige Warnungen und die tatsächlichen Reaktionen auf einen Alarm. Sie muss die Schwelle ändern, den Alarmweg aussetzen oder auf ein Verfahren ohne Modellalarm zurückschalten können. Für Patientinnen und Patienten unterhalb der Schwelle muss zugleich ein unabhängiger klinischer Prüfweg bestehen; der Alarmkanal darf die übrige Wahrnehmung nicht unbemerkt ersetzen.
Wie solche Korrekturen bei Michigan Medicine organisiert waren, berichtet die Studie nicht. Ob der Alarm die Versorgung verbesserte, ließe sich erst im Vergleich mit der bisherigen Praxis beantworten: mit Kennzahlen für übersehene und unnötig alarmierte Fälle sowie mit beobachteten Folgen im realen Arbeitsablauf.
Footnotes
-
Andrew Wong et al., „External Validation of a Widely Implemented Proprietary Sepsis Prediction Model in Hospitalized Patients“, JAMA Internal Medicine 181(8), 2021, S. 1065–1070; am 2. August 2021 korrigierte Fassung. Retrospektive externe Kohortenvalidierung an einem einzelnen akademischen Gesundheitssystem, Dezember 2018 bis Oktober 2019. Die Studie prüft die damalige Modellversion und mögliche Warnstrategien, nicht die kausalen Folgen eines realen Rollouts. ↩
