Im Jahr 2024 haben wir mit KI gesprochen. Im Jahr 2026 spricht die KI mit unseren Systemen, unseren Kunden und handelt zunehmend in unserem Namen. Mit KI-Agenten wandelt sich die KI von einem Werkzeug zu einem Akteur, von der Unterstützung zur Handlungsfähigkeit und von Ergebnissen zu Handlungen. Und das verändert die Natur des Risikos. KI-Agenten planen, führen aus und interagieren in unserem Namen mit der Welt. Sie versenden E-Mails, übertragen Daten, lösen Arbeitsabläufe aus und agieren zunehmend systemübergreifend ohne menschliches Eingreifen.
Vom „Fehler machen“ zum „Fehler begehen“
Bislang war das Risiko durch menschliche Grenzen, unsere Geschwindigkeit, unseren Zugriff und unsere Befugnisse begrenzt. Selbst wenn die KI Fehler machte, musste ein Mensch darauf reagieren. Es gibt viele bekannte Beispiele dafür, dass dies schiefging, zum Beispiel Südafrikas jüngste Rücknahme seiner KI-Richtlinie aufgrund zitierter fiktiver Quellen oder Fälle, in denen generative KI halluzinierte Inhalte erzeugte. Doch auch wenn die Auswirkungen schwerwiegend gewesen sein mögen, waren sie durch den „Human in the Loop“ begrenzt.
Mit KI-Agenten verschwindet diese Grenze. Und das Risiko verlagert sich von falschen Ratschlägen hin zu raschen, groß angelegten Fehlern mit realen Konsequenzen.
KI-Agenten interpretieren Absichten, agieren unter Unsicherheit und treffen Kompromisse in Umgebungen, die mit unvollständigen oder manipulierten Daten gespickt sind. Da sich diese Systeme auf physische Bereiche wie „physische KI“, Robotik, Infrastruktur und Gesundheitswesen ausweiten, schützen wir uns nicht mehr nur vor finanziellen Verlusten oder Reputationsschäden, sondern vor der realen Gefahr physischer Katastrophen und dem Verlust von Menschenleben.
Dieser Wandel hin zur „künstlichen Handlungsfähigkeit“, bei dem Entscheidungsbefugnisse ohne entsprechende Rechenschaftspflicht delegiert werden, wird mittlerweile weithin als zentrale Herausforderung für die Governance anerkannt.
Warum traditionelle Governance versagt
Die meisten Governance-Modelle wurden nie für diesen Zweck konzipiert. Sie basieren auf der Agententheorie, die von einem menschlichen Entscheidungsträger ausgeht, der im Namen eines anderen oder eines Unternehmensauftraggebers handelt. Governance funktioniert in diesem Modell, weil die meisten Menschen über Absichten, Bewusstsein und die Fähigkeit verfügen, Anreize, Rechenschaftspflicht und Konsequenzen zu verstehen und darauf zu reagieren. Diese Annahmen versagen im Kontext von KI-Agenten. Maschinen verinnerlichen keine Rechenschaftspflicht und passen ihr Verhalten nicht auf der Grundlage von Reputation oder Sanktionen an. Dies führt zu einer grundlegenden Diskrepanz. Die Agency-Theorie ist nicht falsch, aber sie geht von einer Art von Handlungsfähigkeit aus, über die autonome Systeme schlichtweg nicht verfügen.
Der Wandel zur Entscheidungshoheit
In der Veröffentlichung aus dem Jahr 2026 When AI Agents Act: Governance, Accountability, and Strategic Risk in Autonomous Organizations erläutert der Autor, dass KI-Agenten Organisationen von Systemen der Entscheidungsunterstützung zu Systemen der Entscheidungshoheit wandeln, und genau hier beginnen bestehende Governance-Modelle zu versagen (Chinnaraju, 2026).
Traditionelle Systeme halfen Menschen bei der Entscheidungsfindung; KI-Agenten sind die Entscheidungsträger. Indem sie autonom mit Maschinen-Geschwindigkeit über mehrere Bereiche hinweg agieren, verwandeln diese Agenten die Entscheidungsunterstützung in Entscheidungshoheit. Dies führt zu einer entscheidenden Verschiebung in der Governance: Organisationen müssen nun Ergebnisse steuern, ohne die täglichen Entscheidungen zu kontrollieren, die zu diesen Ergebnissen führen.
Dies führt zu einer systemischen Governance-Lücke, nicht nur zu einem technischen Risiko. Die Verantwortlichkeit wird unklar; die Aufsicht wird unwirksam, da Entscheidungen kontinuierlich statt episodisch getroffen werden; die Delegation wird dauerhaft und Kontrollmechanismen werden zu langsam. Es gibt keinen klaren Zeitpunkt mehr, an dem ein Mensch eingreifen, etwas genehmigen oder auch nur vollständig beobachten kann, was geschieht.
Warum „Human in the Loop“ nicht ausreicht
Seit Jahren ist „Human in the Loop“ die Standardantwort auf KI-Risiken. Dies setzt jedoch voraus, dass es einen klaren Entscheidungspunkt gibt, dass Menschen Zeit zum Eingreifen haben und über genügend Kontextinformationen verfügen, um zu handeln. In einer agentenbasierten Umgebung trifft keine dieser Annahmen zu.
Am wichtigsten ist vielleicht, dass das Risiko nicht mehr ereignisbasiert, sondern kumulativ ist – angetrieben von Tausenden kleiner, kontinuierlicher Entscheidungen statt von einzelnen, überprüfbaren Handlungen. Dies führt zu neuen Formen der Gefährdung wie Autoritätsdrift, Zielabweichung und Kontrollverzögerung.
Bis ein Mensch eingreift, hat der Agent möglicherweise bereits den Arbeitsablauf ausgelöst, die Daten verschoben oder Transaktionen ausgeführt. Die menschliche Aufsicht ist zu langsam, zu spät und zunehmend ineffektiv geworden.
„Human-in-the-Loop“ bedeutet, dass der Mensch der Entscheidungsträger ist. „Human-on-the-Loop“ bedeutet, dass der Mensch der Vorgesetzte des Entscheidungsträgers ist. Da sich KI-Agenten von Werkzeugen, die wir nutzen, zu Akteuren entwickeln, die wir beaufsichtigen, ist das Verständnis dieses Wandels entscheidend für jede Organisation, die versucht, die Geschwindigkeit der Maschine mit menschlicher Verantwortung in Einklang zu bringen.
Das ultimative Ziel der KI-Governance besteht nicht darin, einen Menschen an jede Entscheidung zu binden, sondern eine Entscheidungsarchitektur zu entwerfen, bei der die Befugnisse des Agenten in seine Laufzeitumgebung integriert sind.
Eine neue Angriffsfläche: Die Entscheidungsmaschine
Hinzu kommen Angreifer, die sich anpassen. Sie wissen, dass unsere Belegschaft nicht mehr nur aus Menschen besteht, sondern aus Menschen, die in einem KI-Ökosystem koexistieren. Dies bietet eine noch größere und attraktivere Angriffsfläche. Es gibt Techniken, die speziell darauf ausgelegt sind, die Wahrnehmung, das Denkvermögen und das Handeln von Agenten zu manipulieren, wie beispielsweise in Inhalte eingebettete versteckte Anweisungen, manipulierte Datenquellen, indirekte Prompt-Injektion und das Hijacking von Agenten. Das Ziel besteht nicht mehr nur darin, in Systeme einzudringen, sondern die Entscheidungsfindung innerhalb der KI-Systeme selbst zu beeinflussen.
Von Governance zu Laufzeit-Governance
Eine der größten Lücken in aktuellen Modellen besteht darin, dass Governance oft als „zeitpunktbezogene“ Maßnahme oder als Kontrollinstanz vor der Bereitstellung behandelt wird, auf die möglicherweise ein jährliches Audit folgt. Doch während Governance vielleicht einmal im Jahr stattfindet, entsteht das Risiko durch agentische KI während der Ausführung jede Millisekunde.
Traditionelles Risikomanagement – manuell, iterativ und episodisch – ist für diese neue Realität schlichtweg unzureichend. Wir müssen über „Gatekeeping“, Codesignierung und grundlegende rollenbasierte Sicherheit hinausgehen. Da Agenten dynamisch sind, muss auch unsere Governance dynamisch sein. Dies erfordert einen grundlegenden Wandel hin zu laufzeitbasierter, strukturbasierter Governance.
Um Agenten täglich effektiv zu verwalten, müssen wir sie als Akteure der Organisation und nicht als statische Werkzeuge behandeln. Die Rechenschaftspflicht kann nicht länger in einer einmaligen Genehmigung verankert sein; sie muss darin verankert sein, wie Befugnisse delegiert, wie Ziele definiert und wie das Verhalten in Echtzeit überwacht wird. Effektive Governance im Zeitalter der Agenten ist keine Checkliste vor der Bereitstellung, sondern eine kontinuierliche, automatisierte und dynamische Architektur, die eingreifen, Befugnisse außer Kraft setzen oder widerrufen kann, sobald das Verhalten eines Agenten von seinem Auftrag abweicht oder ein Risiko entdeckt wird.