Angenommen, man erteilt einem KI-Agenten die Berechtigung, Support-Tickets zu sortieren. Ein paar Wochen später greift er auf ein System zu, auf das er eigentlich keinen Zugriff haben sollte, wodurch die darin enthaltenen Daten dem Risiko einer Offenlegung oder eines Missbrauchs ausgesetzt sind.
Im Moment passiert noch nichts Dramatisches. Genau das macht das Risiko so tückisch. KI-Agenten warten nicht wie herkömmliche Systeme auf eine Genehmigung und agieren schneller als die Kontrollmechanismen, die um sie herum eingerichtet wurden. Diese Autonomie kann nützlich sein, schafft aber auch neue Risiken – und diese lassen sich nicht immer sofort erkennen.
Um herauszufinden, wie man KI-Agenten absichert, muss man die Kontrollen verschärfen, ohne dabei die Geschwindigkeit und Effizienz aufzugeben, die sie von vornherein so nützlich gemacht haben. In diesem Leitfaden wird genau erklärt, wie das geht.
KI-Agenten sind autonome Systeme, die Ziele interpretieren, Tools wie Webbrowser nutzen, Informationen abrufen und Maßnahmen ergreifen können, um Aufgaben zu erledigen. Im Gegensatz zu herkömmlichen generativen KI-Tools, die eine Eingabeaufforderung benötigen, um zu starten, können KI-Agenten auf der Grundlage einer groben Anleitung selbstständig Aktionen einleiten.
Im Hinblick auf die Sicherheit einer digitalen Belegschaft erfordert die größere Autonomie der Agenten mehr Überwachung. Das bedeutet, zu verfolgen, was der Agent tut, zu definieren, was er nicht tun darf, und zu signalisieren, wann menschliches Eingreifen erforderlich ist.
Die Implementierung von KI-Agenten kann die Produktivität von Unternehmen steigern. Da sie jedoch eine lange Kette von Aktionen über verschiedene Systeme hinweg ausführen, die möglicherweise nicht genau überwacht werden, bergen sie auch Risiken.
Wenn sie auf Daten zugreifen, auf die sie keinen Zugriff haben sollten, oder falsche Anweisungen befolgen, könnten sie erheblichen Schaden anrichten, bevor jemand die Möglichkeit hat, den Fehler zu bemerken.
Wenn ein Agent Zugriff auf mehrere Tools hat, übernimmt er auch die jeweiligen Risiken dieser Tools. Ein kompromittiertes SaaS-Konto, eine falsch konfigurierte API oder eine böswillige Eingabe können alles beeinträchtigen, womit der Agent in Berührung kommt.
Deshalb geht es bei der Absicherung agentenbasierter KI nicht nur um die Technologie. Es kommt auch darauf an, Menschen und KI-Agenten zu schulen, um Risiken zu minimieren.
Es gibt keine einzelne Kontrollmaßnahme, die KI-Agenten vollständig absichern kann, da das Risiko an mehreren Stellen auftritt. Ein Agent kann übermäßige Berechtigungen erhalten, mit fehlerhaften Eingaben gefüttert werden, falsche Entscheidungen treffen, auf dem falschen System agieren oder zu weit gehen, bevor es jemand bemerkt.
Ein mehrschichtiger Ansatz verhindert, dass eine einzelne Schwachstelle in einem System zu einem größeren Problem wird. Die folgenden Best Practices orientieren sich an den vier Kernsäulen des Risikoschutzes für Agenten: Erkennen, Überwachen, Ertappen und Schützen.
Es ist nicht davon auszugehen, dass die IT-Abteilung über jeden KI-Agenten Bescheid weiß, der in den Systemen des Unternehmens eingesetzt wird. Wenn viele Teams unabhängig voneinander mit KI experimentieren, kommt es leicht zu „Schatten-Implementierungen“, die nie in ein offizielles Inventar aufgenommen werden.
Diese unterschiedlichen Vorgehensweisen führen zu blinden Flecken, die unsichtbare Risiken bergen, da niemand dafür verantwortlich ist, den Gesamtüberblick zu behalten.
Sicherheitsteams müssen wissen, wo sich jeder Agent befindet, mit welchen Systemen er verbunden ist, auf welche Daten er zugreifen kann und welche Nutzer oder Teams darauf angewiesen sind.
Ein vollständiges Inventar bildet die Grundlage für das menschliche Risikomanagement, indem es aufzeigt, wo Automatisierung bereits das Verhalten beeinflusst und wo die Governance noch Nachholbedarf hat.
Sobald Agenten aktiv sind, benötigt man eine klare Aufzeichnung ihrer Aktivitäten. Um die Aktivitäten der Agenten effektiv zu überwachen, müssen folgende Daten erfasst werden:
Ohne diese Aufzeichnungen ist es schwierig, Fehler zu beheben, insbesondere wenn ein Agent in mehreren Systemen oder Workflows tätig war.
Beispielsweise könnte ein Mitarbeiter auf ein System zugreifen, auf das er keinen Zugriff haben sollte, eine Eingabeaufforderung zu wörtlich befolgen oder eine Aufgabe ausführen, die nie vorgesehen war. Ein durchsuchbarer Prüfpfad ermöglicht es Sicherheitsteams, solche Vorfälle schnell zu untersuchen und zu erkennen, ob es sich um einen einmaligen Fehler oder um Teil eines größeren Musters handelt.
Durch frühzeitige Erkennung lässt sich feststellen, wann ein Workflow zu stark von einem Agenten abhängig geworden ist, der ohne ausreichende Sicherheitsvorkehrungen arbeitet. Außerdem werden risikobehaftete Verhaltensweisen erkannt, die auf Folgendes hindeuten:
Menschen verursachen Risiken oft unbeabsichtigt. Sie gewöhnen sich an Bequemlichkeit, übersehen Warnsignale oder gehen davon aus, dass sich ein System korrekt verhält, weil es zuvor funktioniert hat. Die frühzeitige Erkennung von Abweichungen gibt Sicherheitsteams die Möglichkeit, einzugreifen, bevor ein Arbeitsablauf zu einer Sicherheitslücke wird.
Transparenz und Erkennung sind unerlässlich, reichen aber allein nicht aus. Unternehmen benötigen zudem Kontrollmaßnahmen, die je nach Sensibilität der Aufgabe und dem damit verbundenen Risikoniveau unterschiedlich reagieren.
Beispielsweise benötigen manche Agenten möglicherweise nur eine Überwachung, während andere eine Genehmigung, eine verstärkte Verifizierung, Einschränkungen beim Datenzugriff oder einen sofortigen Stopp benötigen, bevor sie ein sensibles System erreichen.
Flexible Kontrollmechanismen sind notwendig, da KI-Agenten nicht in einer Umgebung mit festem Risikoprofil agieren. Ein Workflow, der heute sicher ist, kann morgen risikobehaftet werden, wenn sich die Daten ändern oder der Agent mit einem neuen System verbunden wird. Ein starker Schutz muss dieser Variabilität Rechnung tragen, ohne die Technologie unbrauchbar zu machen.
Um agentenbezogene Risiken effektiv zu bewältigen, reicht es nicht aus, lediglich die Agenten zu kontrollieren. Letztendlich bestimmen Menschen, wie KI im Alltag eingesetzt wird, indem sie entscheiden, welche Tools sie nutzen und wie sie diese einsetzen. Daher ist das menschliche Risikomanagement (HRM) für die Einführung von KI-Agenten genauso wichtig wie für andere Sicherheitsrisiken.
Keine Kontrollmaßnahmen sind perfekt. Da sich KI-Agenten auf unerwartete Weise verhalten können, ist es unmöglich, Systeme zu entwickeln, die jedes Risiko vorhersehen. Letztendlich hängt die Sicherheit von KI-Agenten ebenso sehr vom menschlichen Handeln ab wie von automatisierten Schutzmaßnahmen.
Mitarbeiter beeinflussen die Ergebnisse von KI stärker, als ihnen bewusst ist. Sie entscheiden, welche Eingaben sie bereitstellen, wann sie einen Agenten außer Kraft setzen und ob sie ungewöhnliches Verhalten hinterfragen. Behandeln sie Agenten wie unfehlbare Systeme, steigt das Risiko rapide an.
Mitarbeiter benötigen Schulungen, um KI kritisch zu betrachten, damit sie beurteilen können, welche Ergebnisse einer doppelten Überprüfung bedürfen und welchen sie vertrauen können.
Kontinuierliche, adaptive Verstärkung hilft Menschen zu erkennen, wenn etwas nicht stimmt, und Fehler im Laufe der Zeit zu vermeiden. Wenn Mitarbeiter während der Interaktion mit einem KI-Agenten unmittelbar angesprochen werden, werden alltägliche Anleitungen zu einer Lernerfahrung, die nachhaltig wirkt. Anstelle einer allgemeinen Nachbetreuung zeigt personalisiertes Training genau auf, wo jemand Unterstützung benötigt, und liefert dann die richtige Botschaft zum richtigen Zeitpunkt.
Die Einführung von KI sollte keine unkontrollierten Risiken für Menschen oder Arbeitsabläufe mit sich bringen. Die Absicherung von KI-Agenten erfordert eine Governance mit klaren Sicherheitsvorkehrungen, Zugriff nach dem Prinzip der geringsten Berechtigungen, Datenschutz, kontinuierliche Überwachung und menschliche Kontrolle dort, wo es darauf ankommt.
Technische Sicherheitsvorkehrungen reichen jedoch nicht aus. Unternehmen müssen auch das menschliche Risiko reduzieren, das mit der Einführung von KI einhergeht.
Hier die Möglichkeit zu lernen, wie die KI-Verteidigungsagenten von KnowBe4 das Sicherheitsverhalten durch personalisierte Schulungen, adaptive Phishing-Simulationen und intelligente Automatisierung stärken.