Beer, Russell und Jennings vor der Modellwahl

Eine Modellausgabe hat noch keine Wirkung. Erst die konkrete Einbettung des Modells regelt dessen Zugriff auf Daten und Werkzeuge, ordnet die Ausgabe in einen Arbeitsablauf ein und legt fest, ob sie eine Entscheidung vorbereitet oder unmittelbar auslöst. Diese Einbettung ist eine Organisationsentscheidung, selbst wenn sie vollständig in Software umgesetzt wird.

Damit liegt der erste Prüfpunkt beim Zweck des Einsatzes und bei der verteilten Verantwortung. Menschen sind dadurch nicht automatisch verlässlicher als Maschinen. Der analytische Vorrang der Organisation folgt vielmehr daraus, dass sie Reichweite, Rechte und Folgen der technischen Komponente bestimmt. Modellleistung erhält ihren praktischen Sinn innerhalb dieses Rahmens.

Stafford Beer liefert das stärkste Instrument, um den Rahmen zu untersuchen. Stuart Russells Arbeiten machen eine seiner empfindlichsten Stellen formal greifbar: die Möglichkeit, einen eingeschlagenen Weg zu korrigieren. Bernard Jennings kommt mit deutlich geringerem Gewicht hinzu. Sein neuer Vorschlag fragt, ob steigende Leistung überhaupt dasselbe ist wie eine veränderte Intelligenzarchitektur.

Diese Verbindung stammt aus der Redaktion dieses Essays. Die drei Autoren arbeiten an unterschiedlichen Problemen, bilden keine gemeinsame Schule und bestätigen einander nicht.

Beer: Wo Abweichungen ankommen müssen

Das Viable System Model entstand als Modell lebensfähiger Organisationen. Beer unterscheidet operative Einheiten, eine Funktion für ihre Koordination und eine weitere für die Regulierung des laufenden Betriebs. Zu dieser laufenden Steuerung gehört ein direkter Prüfkanal. Eine andere Funktion beobachtet Umwelt und Zukunft; Grundsatzpolitik (Policy) und Identität geben Orientierung und vermitteln zwischen gegenwärtigem Betrieb und notwendiger Anpassung.¹

Diese Funktionen sind nicht mit Abteilungen gleichzusetzen. Sie wiederholen sich auf mehreren Ebenen. Eine operative Einheit kann selbst als lebensfähiges System betrachtet werden, mit eigenem Spielraum und eigener Umwelt. Dadurch lässt sich lokale Autonomie mit einer übergeordneten Sicht verbinden. Das Zentrum erhält verdichtete Informationen und gezielte Prüfmöglichkeiten, während vor Ort weiterhin auf Details reagiert werden kann, die sich nicht sinnvoll nach oben transportieren lassen.

Die folgende Anwendung auf KI nimmt dieser Essay vor; sie stammt nicht von Beer. Ein System kann nur in dem Bereich handeln, den seine Schnittstellen, Zugriffsrechte und Werkzeuge eröffnen. Ein Prompt beschreibt womöglich ein Ziel, regelt aber noch nicht, wer dieses Ziel ändern darf oder wie Folgen aus dem Betrieb zurückgemeldet werden. Benchmarks messen die Leistung bei einer definierten Aufgabe. Ob die Aufgabe im Einsatz noch dem Zweck der Organisation dient, muss an den tatsächlichen Wirkungen geprüft werden.

Dabei gibt es keine allgemeine Formel für Aufsicht. Ein enger Einsatzbereich kann die Zahl relevanter Fehlermöglichkeiten begrenzen. Stichproben, Fachwissen oder automatische Monitore können unterschiedliche Abweichungen sichtbar machen. Welche Anordnung trägt, hängt vom Kontext und von den Folgen einer Fehlentscheidung ab.

Russell: Wann ein System Korrektur zulässt

Russell kritisiert ein verbreitetes Grundmodell der KI, in dem eine Maschine ein festgelegtes Ziel möglichst gut optimiert. Trifft dieses formalisierte Ziel nur einen ungenauen Stellvertreter für das, was Menschen erreichen wollen, kann höhere Fähigkeit die Abweichung vergrößern. Der falsche Stellvertreter wird wirksamer verfolgt. Die Aussage gilt unter dieser Bedingung; sie richtet sich nicht gegen Leistungssteigerung an sich.

Das 2017 veröffentlichte Off-Switch Game isoliert einen möglichen Anreiz zur Korrektur. Ein Roboter ist im vereinfachten Modell über den menschlichen Nutzen unsicher und wertet die Handlung des Menschen als Information darüber. Unter den Annahmen des Spiels kann es für ihn vorteilhaft sein, die Entscheidung über seine Abschaltung offenzuhalten.² Das Ergebnis bezieht sich auf ein formales Modell. Es belegt keine Korrigierbarkeit realer Agenten und sagt noch nichts über die Macht einer Person in einem Arbeitsablauf aus.

Das Partially Observable Off-Switch Game von 2025 verteilt die Information ungleich. In manchen Konstellationen vermeiden optimale Agenten die Abschaltung, obwohl die menschliche Seite vollkommen rational handelt.³ Für Organisationen folgt daraus eine konkretere Prüfung. Ein Stopprecht braucht Informationen, die rechtzeitig eintreffen, eine technisch wirksame Eingriffsmöglichkeit und eine benannte Rolle mit entsprechender Befugnis. Die bloße Anwesenheit eines Menschen im Prozess gewährleistet keine dieser Bedingungen.

Jennings: Eine offene Frage an den Leistungsbegriff

Jennings’ unabhängiges Manuskript erschien im Mai 2026. Es ist ein junger, nicht etablierter Theorieentwurf. Unter Kohärenzanforderungen versteht er Probleme, die das System selbst registriert, etwa einen inneren Konflikt, eine Lücke in einem erkannten Muster oder eine ineffiziente Lösung. Nach seiner Definition gilt ein System dann als intelligent, wenn es ein solches Problem selbst erfasst, eine Lösung erzeugt und dabei Verhalten zeigt, das sich nicht vollständig aus seinen festen Fähigkeiten und der Eingabe vorhersagen lässt. Auf dieser Grundlage beschreibt er ein Spektrum mit einer Unter- und einer Obergrenze.⁴

Für diesen Essay ist daran eine begrenzte Unterscheidung interessant. Verarbeitungsgeschwindigkeit und Durchsatz können die praktische Leistung stark erhöhen, ohne damit schon einen Wechsel der kognitiven Architektur nachzuweisen. Zusätzliche Rechenleistung kann sehr wohl mehr Aufgaben lösbar machen; Jennings’ Begriffe sortieren diesen Gewinn nur anders ein.

Seine stärkere Behauptung einer festen Obergrenze bleibt ausdrücklich von der Vollständigkeit eines begleitenden Arguments abhängig. Das Manuskript ist weder eine anerkannte Definition von Intelligenz noch eine empirische Bestätigung dieser Grenze. Es kann helfen, Ausstattung und Architektur sprachlich auseinanderzuhalten. Eine Governance-Regel sollte auf diesem vorläufigen Fundament nicht beruhen.

Die Reihenfolge der Entscheidungen

Die Gewichtung der drei Positionen folgt der Organisationsfrage dieses Essays. Eine Untersuchung maschineller Kognition würde andere Schwerpunkte setzen.

Vor der Modellwahl muss der Zweck einer automatisierten Entscheidung geklärt sein, einschließlich der Frage, wer diesen Zweck ändern darf. Der laufende Betrieb muss Abweichungen erkennen lassen, solange eine Änderung noch Folgen beeinflussen kann. Aus einem Revisionsrecht wird erst durch technische Mittel und klare Befugnisse eine reale Eingriffsmöglichkeit. Innerhalb dieser Anordnung lässt sich dann beurteilen, welches Modell für die Aufgabe geeignet ist.

Footnotes

1. Stafford Beer, Brain of the Firm (1972), The Heart of Enterprise (1979) und Diagnosing the System for Organizations (1985); siehe auch seinen Primärbeitrag „The Viable System Model: Its Provenance, Development, Methodology and Pathology“, Journal of the Operational Research Society 35 (1984), 7–25. Beer selbst bezieht das Modell dort nicht auf heutige KI-Systeme. ↩

2. Stuart Russell, „Human-Compatible Artificial Intelligence“, in Human-Like Machine Intelligence (Oxford University Press, 2021), sowie Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel und Stuart Russell, „The Off-Switch Game“, Proceedings of IJCAI-17, 2017, 220–227. ↩

3. Andrew Garber, Rohan Subramani, Linus Luu, Mark Bedaywi, Stuart Russell und Scott Emmons, „The Partially Observable Off-Switch Game“, Proceedings of the AAAI Conference on Artificial Intelligence 39(26), 2025, 27304–27311. ↩

4. Bernard Jennings, „The Architecture of Intelligence: Definition, Spectrum, and Ceiling“, unabhängiges Working Paper, Version 01, veröffentlicht am 22. Mai 2026. Bereits der Abstract bindet die behauptete Obergrenze ausdrücklich an die Vollständigkeit des zugrunde liegenden Arguments. ↩