Foundations

Beer, Russell und Jennings: Was vor der Wahl eines KI-Modells zu klären ist

Wer KI in einer Organisation einsetzen will, muss festlegen, was sie tun soll und wer eingreifen darf, wenn sie Fehler macht. Stafford Beer erklärt, wie Organisationen auf Störungen reagieren; Stuart Russell untersucht menschliche Kontrolle über KI. Bernard Jennings stellt die noch ungeklärte Frage, ob höhere Leistung schon mehr Intelligenz bedeutet. Der Artikel verbindet diese unterschiedlichen Beiträge für die Vorbereitung eines KI-Einsatzes.

Auf einer pastos gemalten Fläche stehen ein gestuftes Gebilde, ein schwerer Maschinenkörper und eine schmale Säule. Ein feiner orangefarbener Faden verbindet sie mit dem kleinen indigofarbenen Block in der Mitte.
Auf einer pastos gemalten Fläche stehen ein gestuftes Gebilde, ein schwerer Maschinenkörper und eine schmale Säule. Ein feiner orangefarbener Faden verbindet sie mit dem kleinen indigofarbenen Block in der Mitte.

Bei der Auswahl eines KI-Modells lässt sich vergleichen, wie gut es eine bestimmte Aufgabe löst. Damit ist noch nicht entschieden, welche Aufgabe es in einer Organisation übernehmen soll, ob es selbst handeln darf und wer seinen Einsatz ändern oder stoppen kann.

Stafford Beer liefert ein Modell dafür, wie Organisationen Störungen erkennen und auf sie reagieren. Stuart Russell untersucht, unter welchen Bedingungen KI-Systeme menschliche Eingriffe zulassen. Bernard Jennings fragt, ob höhere Rechenleistung und bessere Ergebnisse schon ausreichen, um von mehr Intelligenz zu sprechen. Sein Vorschlag ist deutlich vorläufiger als die beiden anderen Beiträge.

Dieser Essay verbindet die drei Ansätze, um die Entscheidungen vor einer Modellwahl zu untersuchen. Die Verbindung ist eine redaktionelle Deutung. Die Autoren bilden keine gemeinsame Schule, und ihre Arbeiten bestätigen einander nicht.

Beer: Wo Abweichungen ankommen müssen

Das Viable System Model entstand als Modell lebensfähiger Organisationen. Beer unterscheidet operative Einheiten, eine Funktion für ihre Koordination und eine weitere für die Regulierung des laufenden Betriebs. Zu dieser laufenden Steuerung gehört ein direkter Prüfkanal. Eine andere Funktion beobachtet Umwelt und Zukunft; Grundsatzpolitik (Policy) und Identität geben Orientierung und vermitteln zwischen gegenwärtigem Betrieb und notwendiger Anpassung.1

Diese Funktionen sind nicht mit Abteilungen gleichzusetzen. Sie wiederholen sich auf mehreren Ebenen. Eine operative Einheit kann selbst als lebensfähiges System betrachtet werden, mit eigenem Spielraum und eigener Umwelt. Dadurch lässt sich lokale Autonomie mit einer übergeordneten Sicht verbinden. Das Zentrum erhält verdichtete Informationen und gezielte Prüfmöglichkeiten, während vor Ort weiterhin auf Details reagiert werden kann, die sich nicht sinnvoll nach oben transportieren lassen.

Die folgende Anwendung auf KI nimmt dieser Essay vor; sie stammt nicht von Beer. Ein System kann nur in dem Bereich handeln, den seine Schnittstellen, Zugriffsrechte und Werkzeuge eröffnen. Ein Prompt beschreibt womöglich ein Ziel, regelt aber noch nicht, wer dieses Ziel ändern darf oder wie Folgen aus dem Betrieb zurückgemeldet werden. Benchmarks messen die Leistung bei einer definierten Aufgabe. Ob die Aufgabe im Einsatz noch dem Zweck der Organisation dient, muss an den tatsächlichen Wirkungen geprüft werden.

Dabei gibt es keine allgemeine Formel für Aufsicht. Ein enger Einsatzbereich kann die Zahl relevanter Fehlermöglichkeiten begrenzen. Stichproben, Fachwissen oder automatische Monitore können unterschiedliche Abweichungen sichtbar machen. Welche Anordnung trägt, hängt vom Kontext und von den Folgen einer Fehlentscheidung ab.

Russell: Wann ein System Korrektur zulässt

Russell kritisiert ein verbreitetes Grundmodell der KI, in dem eine Maschine ein festgelegtes Ziel möglichst gut optimiert. Trifft dieses formalisierte Ziel nur einen ungenauen Stellvertreter für das, was Menschen erreichen wollen, kann höhere Fähigkeit die Abweichung vergrößern. Der falsche Stellvertreter wird wirksamer verfolgt. Die Aussage gilt unter dieser Bedingung; sie richtet sich nicht gegen Leistungssteigerung an sich.

Das 2017 veröffentlichte Off-Switch Game isoliert einen möglichen Anreiz zur Korrektur. Ein Roboter ist im vereinfachten Modell über den menschlichen Nutzen unsicher und wertet die Handlung des Menschen als Information darüber. Unter den Annahmen des Spiels kann es für ihn vorteilhaft sein, die Entscheidung über seine Abschaltung offenzuhalten.2 Das Ergebnis bezieht sich auf ein formales Modell. Es belegt keine Korrigierbarkeit realer Agenten und sagt noch nichts über die Macht einer Person in einem Arbeitsablauf aus.

Das Partially Observable Off-Switch Game von 2025 verteilt die Information ungleich. In manchen Konstellationen vermeiden optimale Agenten die Abschaltung, obwohl die menschliche Seite vollkommen rational handelt.3 Für Organisationen folgt daraus eine konkretere Prüfung. Ein Stopprecht braucht Informationen, die rechtzeitig eintreffen, eine technisch wirksame Eingriffsmöglichkeit und eine benannte Rolle mit entsprechender Befugnis. Die bloße Anwesenheit eines Menschen im Prozess gewährleistet keine dieser Bedingungen.

Jennings: Eine offene Frage an den Leistungsbegriff

Jennings’ unabhängiges Manuskript erschien im Mai 2026. Es ist ein junger, nicht etablierter Theorieentwurf. Unter Kohärenzanforderungen versteht er Probleme, die das System selbst registriert, etwa einen inneren Konflikt, eine Lücke in einem erkannten Muster oder eine ineffiziente Lösung. Nach seiner Definition gilt ein System dann als intelligent, wenn es ein solches Problem selbst erfasst, eine Lösung erzeugt und dabei Verhalten zeigt, das sich nicht vollständig aus seinen festen Fähigkeiten und der Eingabe vorhersagen lässt. Auf dieser Grundlage beschreibt er ein Spektrum mit einer Unter- und einer Obergrenze.4

Für diesen Essay ist daran eine begrenzte Unterscheidung interessant. Verarbeitungsgeschwindigkeit und Durchsatz können die praktische Leistung stark erhöhen, ohne damit schon einen Wechsel der kognitiven Architektur nachzuweisen. Zusätzliche Rechenleistung kann sehr wohl mehr Aufgaben lösbar machen; Jennings’ Begriffe sortieren diesen Gewinn nur anders ein.

Seine stärkere Behauptung einer festen Obergrenze bleibt ausdrücklich von der Vollständigkeit eines begleitenden Arguments abhängig. Das Manuskript ist weder eine anerkannte Definition von Intelligenz noch eine empirische Bestätigung dieser Grenze. Es kann helfen, Ausstattung und Architektur sprachlich auseinanderzuhalten. Eine Governance-Regel sollte auf diesem vorläufigen Fundament nicht beruhen.

Die Reihenfolge der Entscheidungen

Die Gewichtung der drei Positionen folgt der Organisationsfrage dieses Essays. Eine Untersuchung maschineller Kognition würde andere Schwerpunkte setzen.

Vor der Modellwahl muss der Zweck einer automatisierten Entscheidung geklärt sein, einschließlich der Frage, wer diesen Zweck ändern darf. Der laufende Betrieb muss Abweichungen erkennen lassen, solange eine Änderung noch Folgen beeinflussen kann. Aus einem Revisionsrecht wird erst durch technische Mittel und klare Befugnisse eine reale Eingriffsmöglichkeit. Innerhalb dieser Anordnung lässt sich dann beurteilen, welches Modell für die Aufgabe geeignet ist.

Footnotes

  1. Stafford Beer, Brain of the Firm (1972), The Heart of Enterprise (1979) und Diagnosing the System for Organizations (1985); siehe auch seinen Primärbeitrag „The Viable System Model: Its Provenance, Development, Methodology and Pathology“, Journal of the Operational Research Society 35 (1984), 7–25. Beer selbst bezieht das Modell dort nicht auf heutige KI-Systeme. ↩

  2. Stuart Russell, „Human-Compatible Artificial Intelligence“, in Human-Like Machine Intelligence (Oxford University Press, 2021), sowie Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel und Stuart Russell, „The Off-Switch Game“, Proceedings of IJCAI-17, 2017, 220–227. ↩

  3. Andrew Garber, Rohan Subramani, Linus Luu, Mark Bedaywi, Stuart Russell und Scott Emmons, „The Partially Observable Off-Switch Game“, Proceedings of the AAAI Conference on Artificial Intelligence 39(26), 2025, 27304–27311. ↩

  4. Bernard Jennings, „The Architecture of Intelligence: Definition, Spectrum, and Ceiling“, unabhängiges Working Paper, Version 01, veröffentlicht am 22. Mai 2026. Bereits der Abstract bindet die behauptete Obergrenze ausdrücklich an die Vollständigkeit des zugrunde liegenden Arguments. ↩

Oliver Wrede schreibt und lehrt über Interface Design, Wissenssysteme und die Architektur von Intelligenz in Organisationen. Ihn interessiert, wie Menschen, Institutionen und Maschinen gemeinsam denken — und wie Gestaltung die Qualität dieses Denkens prägt.

Mehr von Oliver Wrede

Intelligence Architecture

Was kritisches Denken wert ist, wenn KI die Arbeit übernimmt

KI-Agenten können Analysen und Vorschläge in Sekunden liefern. Ihr wirtschaftlicher Nutzen hängt auch davon ab, ob Mitarbeitende die richtigen Fragen stellen, Belege beurteilen und aus den Ergebnissen lernen. Eine Intelligence Architecture muss deshalb die Fähigkeiten der Mitarbeitenden gezielt verbessern. Wie lässt sich diese Entwicklung in der täglichen Arbeit fördern und ihr Geschäftswert prüfen?

Oliver Wrede·
Intelligence Architecture

KI und die ungeschriebenen Regeln einer Organisation

Wie eine Organisation tatsächlich arbeitet, steht nur zum Teil in ihren Prozessbeschreibungen. Eine KI, die aus Dokumenten und gespeicherten Daten antwortet, kann deshalb informelle Zuständigkeiten und wichtige Abstimmungen übersehen. Der Artikel fragt, wie sich diese Arbeit für KI erfassen lässt, ohne bewährte Spielräume zu beseitigen oder Mitarbeitende einer neuen Kontrolle zu unterwerfen.

Oliver Wrede·