Auf dem kürzlich in Genf stattfindenden Cyber-Treffen des Weltwirtschaftsforums führte ich ein interessantes Gespräch mit Vinh Nguyen, einem strategischen Sicherheitsberater und Senior Fellow für KI beim CFR. Ich wollte von ihm wissen, wie er sich die praktische Umsetzung von Laufzeit-Governance bei agentischer KI vorstellt und welche Ansätze tatsächlich funktionieren.
Eine der Herausforderungen, die er ansprach, war, dass wir zwar Laufzeit-Governance benötigen, um kontinuierlich und in Echtzeit sicherzustellen, dass Agenten das tun, was sie tun sollen. Je kontextbewusster die Laufzeit-Governance jedoch wird, desto rechenintensiver wird sie.
Viele Organisationen unterschätzen möglicherweise immer noch, was kontinuierliche Governance operativ tatsächlich bedeutet. Wir sprechen viel davon, KI-Agenten leistungsfähiger, autonomer und stärker in Arbeitsabläufe integriert zu machen. Weitaus weniger Aufmerksamkeit wird jedoch dem gewidmet, was erforderlich ist, um diese Systeme während ihres Betriebs kontinuierlich zu überwachen, einzuschränken, zu validieren und in sie einzugreifen.
Und im Gegensatz zur traditionellen Governance geschieht dies nicht einmal im Jahr im Rahmen eines Auditzyklus. Es muss während der Ausführung geschehen.
In meinen früheren Artikeln zur Governance von KI-Agenten habe ich untersucht, wie Unternehmen von Systemen zur Entscheidungsunterstützung zu Systemen mit Entscheidungsbefugnis übergehen. KI-Agenten generieren nicht mehr einfach nur Ergebnisse, die von Menschen überprüft werden müssen. Zunehmend führen sie Arbeitsabläufe aus, treffen Entscheidungen und interagieren über verschiedene Umgebungen hinweg mit begrenzter menschlicher Aufsicht. Dies verändert die Herausforderungen der Governance grundlegend.
Risiken sind nicht mehr ereignisbasiert. Sie werden kontinuierlich und kumulativ und entstehen durch Tausende kleiner autonomer Entscheidungen, die mit Maschinen-Geschwindigkeit getroffen werden. Das bedeutet, dass auch die Governance selbst kontinuierlich werden muss.
Damit Laufzeit-Governance funktioniert, sind zunehmend Kontextanalysen, Verhaltensüberwachung, Anomalieerkennung und Interventionsmöglichkeiten erforderlich, die während der Ausführung kontinuierlich im Einsatz sind. All das verbraucht Ressourcen. Allein die Überwachung auf Fehlerereignisse kann bis zu 20 % der Leistung eines Modells beanspruchen. Das ist sehr kostspielig. Mit anderen Worten: Laufzeit-Governance könnte zur versteckten Leistungsbelastung der agentenbasierten KI werden.
Angreifer versuchen nicht mehr nur, direkt Prompts einzuschleusen. Ein Agent, der ansonsten gut konzipiert, ordnungsgemäß definiert und sorgfältig überwacht ist, kann dennoch dazu verleitet werden, seine eigenen Schutzmaßnahmen zu umgehen, und zwar durch:
Dies sind keine theoretischen Angriffe. Bei Red-Team-Tests mit menschlichen Testern stellten Forscher von Anthropic fest, dass Sicherheitsvorkehrungen der vorherigen Generation (Constitutional Classifiers) messbare Schwachstellen gegenüber diesen Techniken aufwiesen.
Der bloße Versuch, schädliche Eingabeaufforderungen durch Eingabe- und Ausgabeverarbeitung zu identifizieren, reicht nicht aus. Was wir brauchen, ist die Fähigkeit, schädliche Absichten zu erkennen, die über Interaktionen, Kontext, Speicher und Ausführungsketten verteilt sind. Dies wird besonders wichtig für KI-Agenten, die systemübergreifend operieren, wo sich scheinbar harmlose Aktionen zu schädlichen Ergebnissen summieren können.
In Anthropics Veröffentlichung über „Constitutional Classifiers“ der nächsten Generation stellen sie einen Ansatz vor, wie dies in der Praxis tatsächlich angegangen werden kann:
Herkömmliche Schutzmaßnahmen bewerten Eingaben und Ausgaben oft getrennt voneinander. Dies schafft einen blinden Fleck: Verschleierungsangriffe, deren Verständnis den Kontext erfordert.
Der Ansatz von Anthropic führt sogenannte „Exchange Classifiers“ ein – Systeme, die Ausgänge im Kontext der gesamten Interaktion bewerten und nicht isoliert betrachten. Das mag wie eine technische Nuance klingen, ist aber konzeptionell äußerst wichtig. Warum dies für Agenten von Bedeutung ist: Ein unter Unsicherheit agierender Agent erhält Anweisungen, die harmlos erscheinen, bis sie mit dem kombiniert werden, was der Agent bereits über seine Umgebung gelernt hat. „Exchange Classifiers“ erkennen diese latente Gefahr.
Die Arbeit stellt außerdem mehrschichtige „Klassifikator-Kaskaden“-Architekturen vor: Leichte Klassifikatoren überprüfen Aktivitäten kontinuierlich, während rechenintensivere Analysen verdächtigen Interaktionen vorbehalten bleiben. Nicht jeder Austausch erfordert eine intensive Analyse. Anstatt einfach nur größere, teurere Klassifikatoren einzusetzen, trainiert Anthropic leichte lineare Sonden, die direkt aus den internen Aktivierungen eines Modells lesen und im Wesentlichen nach Aktivierungsbereichen suchen, die gegen semantische Konzepte verstoßen.
Durch die Kombination dieser ressourcenschonenden Sonden mit externen Klassifikatoren in einem Ensemble erzielen sie eine bessere Robustheit bei geringeren Rechenkosten, da unterschiedliche Ansätze verschiedene Arten von Risiken erfassen. Dies verteilt den Rechenaufwand dorthin, wo er benötigt wird, und ermöglicht eine ressourcenschonende, kontinuierliche Überwachung, bei der tiefgreifendere Analysen durch Anomalien ausgelöst werden.
Unternehmen verfügen nicht über unbegrenzte Rechenressourcen für die Governance. Doch nicht jede Aktion erfordert eine maximale Überprüfung. Nur riskantes oder abnormales Verhalten kann dynamisch eine tiefergehende Untersuchung auslösen – ganz ähnlich wie sich menschliche Sicherheitsabläufe im Laufe der Zeit entwickelt haben. Dies schafft ein weitaus skalierbareres und kostengünstigeres Modell für die Laufzeit-Governance.
Ihre Forschungsergebnisse zeigen eine deutliche Leistungsverbesserung im Vergleich zu früheren Ansätzen:
Beim Lesen des Artikels kam mir eine Frage: Lassen sich dieselben mehrschichtigen Klassifikator-Ansätze auch nutzen, um zu erkennen, wenn ein Agent von seinem vorgesehenen Verhalten abweicht? Konkret ginge es dann um die Frage: „Verhält sich dieser Agent noch innerhalb seiner vorgesehenen Betriebsgrenzen?“
In agentenbasierten Systemen zeigt sich schädliches Verhalten möglicherweise nicht als einzelne böswillige Ausgabe. Es kann sich im Laufe der Zeit allmählich durch subtile Abweichungen bei der Planung, dem Einsatz von Werkzeugen, dem Umgang mit Speicher oder den Entscheidungsmustern herausbilden. An dieser Stelle beginnt die Laufzeit-Governance, weniger wie traditionelle Compliance und mehr wie eine kontinuierliche Verhaltensüberwachung zu wirken.
Es ist wichtig, einen wesentlichen methodischen Unterschied zwischen dem, was Anthropic hier tut, und externen Tools zur Laufzeit-Governance zu beachten. Die Constitutional Classifiers++ von Anthropic konzentrieren sich auf die Optimierung interner Schutzmechanismen, wodurch das Modell selbst von Natur aus intelligenter und effizienter darin wird, seine eigenen Schwachstellen zu erkennen. Eine externe Laufzeit-Governance bietet eine unabhängige, externe Ebene, die das Verhalten des Agenten überwacht. Sowohl interne Schutzmechanismen als auch externe Laufzeit-Governance haben ihre Berechtigung und bieten einen mehrschichtigen Ansatz für die KI-Sicherheit.
Einer der größten Fehler, den Organisationen nach wie vor begehen, ist die Trennung von Governance und Systemdesign. Doch Governance für agentische KI kann nicht einfach in Form von Richtliniendokumenten, Ethikerklärungen oder übergeordneten Grundsätzen existieren. Sie muss innerhalb der Laufzeitumgebung selbst verankert sein.
In Teil eins und zwei dieser Serie habe ich dargelegt, dass Unternehmen KI-Agenten als formelle organisatorische Akteure mit Leitlinien, Eigentumsverhältnissen und Rechenzeit-Rechenschaftspflicht behandeln müssen. Dadurch entsteht ein organisatorisches Governance-Rahmenwerk.
Doch organisatorische Governance ist nur so gut wie ihre Durchsetzungsmechanismen. Man kann die perfekteste Agent-Leitlinie verfassen, aber wenn der Agent durch ausgeklügelte Verschleierung dazu verleitet werden kann, gegen sie zu verstoßen, wird die Leitlinie zur Farce.
Das Anthropic-Papier unterstreicht, dass Governance zunehmend zu einer architektonischen Disziplin wird und nicht nur zu einer politischen Disziplin. Denn Richtlinien allein reichen nicht aus, es sei denn, wir verfügen über Durchsetzungsmechanismen, die sie in Echtzeit wirksam werden lassen.
Wie ich in Teil 2 schrieb: „Governance existiert nur dort, wo sie Entscheidungen gestalten, einschränken und in sie eingreifen kann, während diese getroffen werden.“
„Constitutional Classifiers++“ zeigt, wie das in der Praxis tatsächlich aussieht. Nicht Governance als Checkliste. Sondern Governance als Teil der Durchsetzungsarchitektur – von Grund auf integriert, nicht nachträglich angefügt. Abwehrmechanismen, die von Anfang an eingebaut sind und nicht nur in einem Grundsatzpapier festgehalten werden.
Eine robuste KI-Architektur wird höchstwahrscheinlich sowohl externe als auch interne Governance-Instrumente erfordern. Interne Schutzmechanismen machen den Agenten von Natur aus sicherer, ohne die Rechenleistung zu beeinträchtigen, während externe Laufzeit-Governance die unabhängige Validierung bietet, die CISOs möglicherweise benötigen, um diesen autonomen Systemen zu vertrauen.