Governance von KI-Agenten, Teil 2 – So sieht es in der Praxis aus: Die Steuerung von KI-Agenten

Lesen Sie Teil 1

Wenn KI-Agenten zu Akteuren innerhalb von Organisationen werden, muss sich die Governance über bloße Grundsätze hinaus in operative Strukturen verlagern.

In Camille Stewart Glosters demnächst erscheinendem Buch The Insider You Build erklärt sie, dass Governance nicht durch Richtlinien oder Strukturen definiert wird, sondern dadurch, ob sie das Systemverhalten zur Laufzeit tatsächlich beeinflussen kann. In einer agentenbasierten Umgebung existiert Governance nur dort, wo sie Entscheidungen in Echtzeit gestalten, einschränken und in sie eingreifen kann.

Ihr vereinfachtes Rahmenwerk konzentriert sich auf drei Fähigkeiten:

• Management der Berechtigungen: Festlegen, was Agenten tun dürfen
• Durchsetzung zur Laufzeit: Sicherstellen, dass die Governance während der Ausführung funktioniert
• Zurechnungsfähigkeit und Lernen: Gewährleisten der Nachverfolgbarkeit und kontinuierliche Verbesserung

Chinnarajus Artikel aus dem Jahr 2026 argumentiert, dass eine effektive Governance von KI-Agenten erfordert, dass Organisationen Agenten als formelle organisatorische Akteure und nicht als experimentelle Werkzeuge behandeln.¹

Dies beginnt mit Agenten-Chartas, die als Berechtigungsnachweise für jeden Agenten dienen. Stellen Sie sich diese als Betriebslizenz oder eine Art Reisepass für jeden KI-Agenten vor, in dem Folgendes klar definiert ist:

• Grenzen: Was der Agent tun darf, auf welche Daten er zugreifen darf
• Befugnisse: Wo seine Befugnisse enden
• Eskalation: Wann er eskalieren muss oder abgeschaltet werden muss

Ohne diese formelle Dokumentation agieren Agenten in einer Grauzone, in der die Befugnisse unklar sind und die Rechenschaftspflicht nicht durchgesetzt werden kann.

Verantwortlichkeit

Autonomie hebt die Rechenschaftspflicht nicht auf, sondern verteilt sie neu. Das Papier identifiziert vier kritische Funktionen:

• einen Sponsor, der für den Zweck und die Ausrichtung verantwortlich ist
• einen Steward, der den Lebenszyklus des Agenten verwaltet
• einen Risiko-/Compliance-Verantwortlichen, der die Einhaltung gesetzlicher und ethischer Vorgaben sicherstellt
• und vor allem einen Betriebskontrolleur, der den Agenten in Echtzeit überwachen und außer Kraft setzen kann

Zusammen bilden diese Rollen einen Regelkreis, in dem die Befugnis zum Agenten fließt, die Rechenschaftspflicht jedoch durch Überwachung zurückfließt. Die Einbettung dieser Rollen in Zugriffskontrollsysteme, Arbeitsabläufe und Genehmigungsprozesse, unterstützt durch Prüfprotokolle, ist unerlässlich, um informelle oder unklare Verantwortlichkeiten zu vermeiden.

Laufzeitausführung und Überwachung

Agenten müssen in Unternehmenssysteme (z. B. ERP, CRM, Transaktionsplattformen) integriert werden, müssen aber vor allem auch in Echtzeit beobachtbar und steuerbar sein. Wenn Organisationen die Ausführung ermöglichen, ohne das Verhalten überwachen oder eingreifen zu können, schaffen sie das, was der Artikel als strukturelles Governance-Versagen definiert, bei dem operative Fähigkeiten vorhanden sind, ohne dass Governance-Kapazitäten vorhanden sind.²

Dies bedeutet Echtzeitüberwachung, dynamische Berechtigungsvergabe, Eskalationsauslöser sowie die Möglichkeit, in Entscheidungen einzugreifen oder diese zu überschreiben, sobald sie getroffen werden. Mit anderen Worten: Governance ist nicht etwas, das man im Voraus festlegt, sondern etwas, das man im Moment der Entscheidung durchsetzen muss.

Reifegradbasierter Ansatz zur Autonomie

Um dieses Risiko zu bewältigen, schlägt die Studie einen reifegradbasierten Ansatz zur Autonomie vor, bei dem die Befugnisse schrittweise über vier Stufen hinweg erweitert werden:

• Beginnen Sie mit unterstützenden Systemen (nur Empfehlungen)
• Wechsel zur überwachten Ausführung
• Bedingte, begrenzte Autonomie mit Eskalationsmöglichkeit
• Erst dann sollte volle Autonomie in Betracht gezogen werden

Das zentrale Prinzip besteht darin, dass Autonomie durch den Nachweis von Kontrolle und Zuverlässigkeit verdient und nicht von vornherein gewährt werden sollte.

Skalierung der Governance

Schließlich werden diese Elemente in einer stufenweisen Umsetzungsroadmap zusammengeführt, die von der Governance-Bereitschaft über den Pilotbetrieb und die kontrollierte Skalierung bis hin zur Institutionalisierung reicht. Der Fortschritt durch diese Phasen ist an bestimmte Voraussetzungen geknüpft und erfordert den Nachweis einer wirksamen Aufsicht, Überwachung und Abstimmung, bevor der Einsatz von Agenten ausgeweitet wird. Bei Erreichen der Reifegradstufe werden Agenten in den Kernbetrieb eingebettet und unterliegen Compliance-Zyklen sowie der Aufsicht auf Vorstandsebene.

Wo sollte die Governance angesiedelt sein?

Wenn Organisationen beginnen, KI-Governance zu operationalisieren, stellt sich die Frage: Wo sollte die Governance in einem agentenbasierten System tatsächlich angesiedelt sein? Neue Forschungsergebnisse weisen auf drei Hauptmodelle hin:

• Zentralisierte Governance: Eine einzige Kontrollebene oder ein Supervisor überwacht alle Agenten
• Dezentrale Governance: Jeder Agent steuert sein eigenes Verhalten
• Hybride Modelle: Kombination aus zentraler Aufsicht und lokalen Kontrollen

Die vergleichende Studie von Caldeira und Banerjee (2025) hebt einen kritischen Zielkonflikt hervor. Dezentrale Modelle verbessern die Transparenz, verringern jedoch die Effizienz. Zentralisierte Modelle verbessern die Leistung, verringern jedoch die Transparenz. Interpretierbarkeit und Leistung stehen oft im Spannungsverhältnis zueinander. In der Praxis gibt es hierfür keine allgemeingültige Antwort, sondern dies hängt von der Größe der Organisation und den branchenbezogenen Compliance-Anforderungen ab. Die meisten Organisationen werden wahrscheinlich hybride Ansätze benötigen, die Kontrolle, Skalierbarkeit und Erklärbarkeit in Einklang bringen.

Governance jenseits von Systemen: Die Frage der Führung und das Agenten-Risikomanagement (ARM)

Die jüngste kritische Auseinandersetzung mit der Führung in der KI-Branche verdeutlicht zudem eine tiefgreifendere, oft übersehene Dimension der Governance: die menschliche Verantwortlichkeit an der Spitze. Untersuchungen haben unbequeme, aber wichtige Fragen zu Vertrauen, Transparenz und der Frage aufgeworfen, wer letztendlich die Macht innehat, wenn so viel auf dem Spiel steht. Wenn Governance auf der Integrität einiger weniger Personen beruht und diese Integrität in Frage gestellt wird, wird das gesamte System anfällig.

Die Lehre für Organisationen ist klar: Governance darf nicht von Persönlichkeiten oder Versprechungen abhängen, sondern muss strukturell verankert, unabhängig überprüfbar und widerstandsfähig gegenüber Führungsversagen sein.

Effektive Governance erfordert eine klare „Gewaltenteilung“. Während Geschäftseinheiten für den Agenten verantwortlich sein sollten – seinen Zweck definieren, seine „Reparatur“ verwalten und die Früchte seiner Arbeit ernten –, könnte Infosec den „Kill-Schalter“ kontrollieren. Dies stellt sicher, dass bei Abweichungen oder Kompromittierungen eines Agenten die Entscheidung, den Betrieb einzustellen, von denjenigen getroffen wird, deren Priorität Sicherheit ist – und nicht nur Leistung.

Hier kommt das Konzept des Agent Risk Management (ARM) ins Spiel. Wir müssen KI-Agenten als Teil unserer erweiterten Belegschaft behandeln. Genauso wie wir Auftragnehmer und Drittanbieter verwalten, benötigen wir ein Rahmenwerk, um die digitalen Identitäten und Verhaltensweisen unserer KI-Akteure zu steuern.

Bei KnowBe4 sind wir der Überzeugung, dass Verantwortlichkeit in das System integriert werden muss und nicht einfach vorausgesetzt werden darf. Indem wir Agenten durch Agent Risk Management (ARM) als einen kritischen Teil Ihrer Belegschaft behandeln, wird die Governance unabhängig überprüfbar und widerstandsfähig gegenüber Führungsversagen. In einer Welt, in der KI die Macht hat, zu handeln, müssen wir sicherstellen, dass der Mensch „im Regelkreis“ weiterhin befähigt, informiert und letztendlich in der Kontrolle bleibt.

References:

Caldeira, V. & Banerjee, A (2025). Where Should Control Reside in Multi-Agent Language-Model Systems? Proceedings of the 6th International Conference on AI Research (ICAIR 2025) 6(1). https://papers.academic-conferences.org/index.php/icair/article/view/4157

Chinnaraju, A. (2026). When AI Agents Act: Governance, Accountability, and Strategic Risk in Autonomous Organizations, 12(12), https://doi.org/10.51244/IJRSI.2025.12120050

Damien, C. (2026). AI Hallucination Cases.
https://www.damiencharlotin.com/hallucinations/

MyBroadband (2026). Scandal erupts over South Africa’s new draft AI policy which used fake references generated by AI.
https://mybroadband.co.za/news/government/643743-scandal-erupts-over-south-africas-new-draft-ai-policy-which-used-fake-references-generated-by-ai.html

Stewart Gloster C. (2026). The Insider You Build. John Wiley & Sons Canada, Limited.
https://camillestewartgloster.com/theinsideryoubuilt