Drei Architekten der Intelligenz

Ein KI-Modell gelangt nicht unmittelbar in die Welt. Zwischen Ausgabe und Wirkung liegen eine Oberfläche, Datenzugriffe, Arbeitsabläufe, Freigaben und Sanktionen. Auch wenn ein hoch automatisierter Prozess diese Übergänge in Software ausführt, hat eine Organisation zuvor entschieden, welche Übergänge es gibt und welche Befugnis sie dem System verleihen will.

Deshalb hat die Organisation beim Einsatz von KI analytischen Vorrang. Das ist kein Vertrauensvotum für Menschen; auch Menschen irren, verfolgen schlechte Ziele oder übersehen Folgen. Der Vorrang ergibt sich aus der Kausalordnung. Die Organisation setzt den Einsatzzweck, begrenzt den Handlungsspielraum, macht aus einer Ausgabe eine Entscheidung und bestimmt, ob eine Korrektur Folgen hat. Modellleistung wirkt innerhalb dieser Anordnung.

Stafford Beer bietet dafür das Rückgrat. Stuart Russell prüft daran, ob ein System Korrektur tatsächlich zulässt. Bernard Jennings fügt eine jüngere Provokation hinzu: Mehr Leistung fällt möglicherweise nicht mit mehr Intelligenz zusammen. Diese Verbindung ist eine redaktionelle Synthese. Die drei Autoren gehören keiner gemeinsamen Schule an, lösen nicht dasselbe Problem und bestätigen einander nicht.

Beers Rückgrat: Lebensfähigkeit liegt in Beziehungen

Beer entwickelte das Viable System Model für die Lebensfähigkeit von Organisationen, nicht für neuronale Netze. In seinem Modell verrichten operative Einheiten die Arbeit, während eine zweite Funktion ihre Wechselwirkungen koordiniert. Eine weitere hält den laufenden Betrieb zusammen und verfügt ergänzend über einen direkten Prüfkanal. Daneben beobachtet eine Funktion Umwelt und Zukunft. Die Policy- und Identitätsfunktion gibt Orientierung und bearbeitet die Spannung zwischen dem, was heute funktioniert, und dem, worauf sich die Organisation einstellen muss.¹

Das sind Funktionen, keine Abteilungen. Sie kehren auf mehreren Ebenen wieder: Eine operative Einheit kann selbst als lebensfähiges System betrachtet werden. Diese Rekursion macht einen wichtigen Unterschied sichtbar. Lokale Einheiten benötigen genügend Autonomie, um auf ihre Umwelt zu reagieren; die übergeordnete Ebene muss Zusammenhänge erkennen, die lokal unsichtbar bleiben. Kein Zentrum kann jede Einzelheit verarbeiten. Es braucht verdichtete Signale, gezielte Prüfungen und Rückkanäle, die relevante Abweichungen transportieren.

Auf KI übertragen ist das keine Auslegung Beers, sondern eine Anwendung seines Organisationsmodells. Ein Prompt enthält vielleicht ein Ziel, aber er ersetzt weder Policy noch Verantwortungsordnung. Ein Leistungswert kann anzeigen, wie gut ein Modell eine definierte Aufgabe löst. Ob diese Aufgabe noch dem Zweck der Organisation dient, muss an beobachtbaren Folgen geprüft werden. Enge Einsatz- und Handlungsgrenzen können die Bandbreite der Fehlermodi begrenzen, die die Aufsicht bewältigen muss; Stichproben, Fachwissen und automatische Monitore können ihre Fähigkeit verbessern, relevante Abweichungen zu erkennen. Welche Kombination genügt, hängt vom Fall und von der Schwere möglicher Folgen ab.

Hier liegt der Grund, Beer an den Anfang zu stellen. Was ein Modell im Betrieb bewirken kann, hängt davon ab, welche Zielgrößen, Kontexte und Werkzeuge seine technische und organisationale Einbettung verfügbar macht. Selbst wenn es Handlungen autonom auslöst, stammen Reichweite, Zugang und Eskalationsgrenzen aus dieser Einbettung. Wer eine Entscheidung an Software delegiert, beseitigt die Organisationsentscheidung nicht. Die Delegation ist diese Entscheidung.

Russell prüft, ob Korrektur wirklich möglich ist

Russells Kritik am „Standardmodell“ der KI beginnt mit einem festen Ziel, das eine Maschine möglichst gut optimieren soll. Weicht dieses formalisierte Ziel von dem ab, was Menschen tatsächlich erreichen wollen, kann höhere Fähigkeit die Abweichung verstärken: Das System verfolgt den falschen Stellvertreter wirksamer. Das ist eine konditionale Aussage, kein Argument gegen Leistungssteigerung. Sie prüft Beers Policy-Funktion an ihrer empfindlichsten Stelle. Ein erklärter Zweck genügt nicht, wenn die laufenden Wirkungen ihm widersprechen.

Das 2017 veröffentlichte Off-Switch-Spiel macht Korrigierbarkeit zu einem formalen Problem. In dem vereinfachten Modell kann ein Roboter einen Menschen entscheiden lassen, ob er abgeschaltet wird. Ist der Roboter über den menschlichen Nutzen unsicher und behandelt er die menschliche Handlung als Information darüber, kann er unter den Annahmen des Modells einen Anreiz haben, die Abschaltung zuzulassen.² Die Autoren beschreiben das Spiel ausdrücklich als Abstraktion. Es beweist weder, dass ein realer Agent korrigierbar ist, noch dass eine anwesende Person wirksame Kontrolle besitzt.

Eine neuere Erweiterung verschärft diese Grenze. In einem teilweise beobachtbaren Off-Switch-Spiel mit asymmetrischer Information vermeiden optimale Agenten in manchen Konstellationen die Abschaltung, obwohl die menschliche Seite vollkommen rational handelt.³ Damit wird Russells Perspektive zum Belastungstest für die Organisation: Ein Stopprecht braucht rechtzeitige Information, technische Wirksamkeit und eine befugte Rolle. Das Etikett „Human in the loop“ liefert nichts davon automatisch.

Jennings als vorläufige Provokation

Jennings steht in dieser Komposition nicht als drittes tragendes Fundament. Sein im Mai 2026 veröffentlichtes unabhängiges Manuskript ist ein junger theoretischer Vorschlag. Es definiert Intelligenz architektonisch als Fähigkeit eines Systems, eigene Kohärenzanforderungen zu bewältigen, wobei sein Verhalten einen Rest zeigen soll, der sich nicht aus stabiler Kompetenz und Eingabe ableiten lässt. Aus dieser Definition entwickelt Jennings ein Spektrum mit Unter- und Obergrenze.⁴

Für die KI-Debatte ist vor allem die begriffliche Provokation nützlich: Verarbeitungsgeschwindigkeit und Durchsatz belegen für sich genommen noch keinen Wechsel der kognitiven Architektur. Daraus folgt nicht, dass zusätzliche Rechenleistung wirkungslos wäre oder die Menge praktisch lösbarer Aufgaben unverändert bliebe. Jennings’ stärkere Behauptung reicht nur so weit wie seine Voraussetzungen. Die Obergrenze gilt in seinem Papier ausdrücklich unter der Bedingung, dass sein Vollständigkeitsargument zutrifft.

Diese Bedingung darf nicht im Kleingedruckten verschwinden. Das Manuskript ist weder eine etablierte Definition von Intelligenz noch ein empirisch bestätigter Nachweis einer festen Intelligenzobergrenze. Für diese Artikelreihe taugt es als begriffliche Prüffrage: Welche Verbesserung stammt aus mehr Ausstattung, und welche würde eine andere Architektur erfordern? Auf dieser vorläufigen Basis sollte es keine Governance-Regel tragen.

Eine redaktionelle Verbindung, keine gemeinsame Theorie

Diese Gewichtung gehört zur Fragestellung dieses Essays, nicht zu einer gemeinsamen Theorie oder einer Rangordnung der Autoren. Eine Untersuchung maschineller Kognition könnte sie anders setzen.

Vor der Modellwahl muss daher geklärt sein, welchen Zweck eine automatisierte Entscheidung verfolgt und wer ihn ändern darf, wenn ein Stellvertreter zum Selbstzweck wird. Die Organisation braucht Signale aus dem tatsächlichen Betrieb, an denen sie Abweichungen von diesem Zweck erkennt; ein guter Benchmark allein kann diese Aufgabe nicht übernehmen. Und Revision muss praktisch möglich sein: Verantwortliche benötigen die Befugnis und die technischen Mittel, einen Einsatz zu begrenzen, zurückzunehmen oder zu stoppen, solange eine Korrektur die Wirkung noch verändert. Erst danach hat die Frage nach dem besten Modell ihren richtigen Platz.

Footnotes

1. Stafford Beer, Brain of the Firm (1972), The Heart of Enterprise (1979) und Diagnosing the System for Organizations (1985); siehe auch seinen Primärbeitrag „The Viable System Model: Its Provenance, Development, Methodology and Pathology“, Journal of the Operational Research Society 35 (1984), 7–25. Die Übertragung auf heutige KI-Systeme ist die Synthese dieses Beitrags, nicht Beers eigene Behauptung. ↩

2. Stuart Russell, „Human-Compatible Artificial Intelligence“, in Human-Like Machine Intelligence (Oxford University Press, 2021), sowie Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel und Stuart Russell, „The Off-Switch Game“, Proceedings of IJCAI-17, 2017, 220–227. ↩

3. Andrew Garber, Rohan Subramani, Linus Luu, Mark Bedaywi, Stuart Russell und Scott Emmons, „The Partially Observable Off-Switch Game“, Proceedings of the AAAI Conference on Artificial Intelligence 39(26), 2025, 27304–27311. ↩

4. Bernard Jennings, „The Architecture of Intelligence: Definition, Spectrum, and Ceiling“, unabhängiges Working Paper, Version 01, veröffentlicht am 22. Mai 2026. Bereits der Abstract bindet die behauptete Obergrenze ausdrücklich an die Vollständigkeit des zugrunde liegenden Arguments. ↩