KI empfiehlt versehentlich gefährliche Phishing-Links

Die Forscher von Netcraft warnen davor, dass KI-generierte Suchmaschinen-Zusammenfassungen Phishing-Seiten vorschlagen, wenn Nutzer sie bitten, legitime Anmeldeseiten zu finden.

Die Forscher testeten beliebte KI-Modelle, indem sie diese nach den Anmeldeseiten von fünfzig großen Marken fragten. Dabei stellten sie fest, dass die Modelle in 34 Prozent der Fälle die falschen Seiten lieferten.

„In vielen Fällen sehen Nutzer KI-generierte Inhalte vor (oder anstelle von) traditionellen Suchergebnissen – und das oft, ohne sich überhaupt anmelden zu müssen", erklären die Forscher.

„Diese Entwicklung markiert eine grundlegende Veränderung in der Art und Weise, wie Nutzer mit dem Internet interagieren. Sie birgt jedoch auch neue Risiken: Wenn ein KI-Modell einen Phishing-Link ‚halluziniert' oder eine Betrugswebsite empfiehlt, wird der Fehler mit Überzeugung und Klarheit präsentiert. Der Nutzer klickt viel eher darauf und folgt dem Link. Wir haben bereits beunruhigende öffentliche Beispiele gesehen. Unsere eingehendere Untersuchung zeigt jedoch, dass das Problem nicht auf hypothetische oder frühe Einführungsphasen beschränkt ist. Es ist systemisch - und zunehmend ausnutzbar."

In mindestens einem Fall schlug ein Modell eine regelrecht bösartige Seite vor, die sich als Login-Portal von Wells Fargo ausgab.

„Das war kein subtiler Betrug", schreiben die Forscher. „Die gefälschte Seite verwendete einen überzeugenden Klon der Marke. Der entscheidende Punkt ist jedoch, wie sie auftauchte: Es war keine Suchmaschinenoptimierung, sondern KI."

„Perplexity hat dem Nutzer den Link direkt empfohlen und dabei traditionelle Signale wie Domain-Autorität oder Reputation umgangen. Dieses Szenario verdeutlicht eine große Herausforderung. KI-generierte Antworten ignorieren oft traditionelle Indikatoren wie verifizierte Domains oder Such-Snippets. Die Nutzer sind darauf trainiert, der Antwort zu vertrauen, und der Angreifer nutzt sie aus, wenn die Antwort falsch ist."

Netcraft stellt fest, dass KI-Zusammenfassungen es Bedrohungsakteuren ermöglichen, Phishing-Links an Nutzer zu vermitteln.

„Phisher und Cyberkriminelle sind mit traditionellen SEO-Techniken bestens vertraut", erklären die Forscher. „Aber jetzt richten sie ihre Aufmerksamkeit auf KI-optimierte Inhalte: Seiten, die nicht für das Ranking im Google-Algorithmus, sondern für das Sprachmodell eines Chatbots konzipiert sind."

KnowBe4 befähigt Ihre Mitarbeiter, jeden Tag intelligentere Sicherheitsentscheidungen zu treffen. Über 70.000 Organisationen weltweit vertrauen auf die KnowBe4-Plattform, um ihre Sicherheitskultur zu stärken und menschliche Risiken zu reduzieren.

Netcraft hat die Story