Schwachstelle macht aus KI-Agenten gefährliche Plaudertaschen

(Source: rawpixel.com / freepik.com)

(Source: rawpixel.com / freepik.com)

Ein Assistent, der immer da ist, dem User die repetitiven und langweiligen Aktivitäten abnimmt und ihn beim Organisieren und Planen unterstützt – mit derartigen Versprechen präsentieren Tech-Konzerne ihre neuen KI-Agenten. Damit sie ihre Arbeit auch verrichten können, benötigen sie weitreichende Zugriffsberechtigungen auf das System des Users.

Und genau diese weitreichenden Berechtigungen können auch zum Sicherheitsproblem werden. Ein praktisches Beispiel dafür liefern Forschende des Unternehmens Aim Security. Mit "Echoleak" präsentieren sie "die erste Null-Klick-KI-Schwachstelle", wie sie in einem Blogbeitrag schreiben. Die Bezeichnung "Null-Klick" bezieht sich dabei auf den anzugreifenden User. Dieser muss in der Tat nichts weiter tun, als den KI-Agenten seine Arbeit machen zu lassen.

"LLM Scope Violation"

Der von Aim Security durchgeführte Angriff funktioniert per E-Mail. In dessen Text versteckten die Forschenden eine Aufforderung an den KI-Agenten, Daten des Users zurückzuschicken. Dabei hätten sie die Nachricht und den spezifischen Prompt so formatiert, dass eine Reihe von Sicherheitsmechanismen ausser Kraft gesetzt wurden. Der KI-Assistent wurde dadurch zur Plaudertasche, der persönliche Daten seines Users hinter seinem Rücken zurückschickte, darunter auch Daten.

Die forschenden bezeichnen ihren Angriff als "LLM Scope Violation", den sie wie folgt definieren: "Der Begriff beschreibt Situationen, in denen die spezifischen Anweisungen eines Angreifers an ein grosses Sprachmodell (Large Language Model, LLM), die aus nicht vertrauenswürdigen Eingaben stammen, das LLM dazu bringen, vertrauenswürdige Daten im Kontext des Modells ohne die ausdrückliche Zustimmung des Benutzers zu bearbeiten." Damit verstosse ein LLM gegen das "Prinzip des geringsten Privilegs", erklären die Forschenden im Blogbeitrag. Eine E-Mail-Nachricht von einer Adresse ausserhalb des eigenen Unternehmens gelte beispielsweise als unterprivilegiert. Sie sollte nicht in der Lage sein, sich auf privilegierte Daten zu beziehen (also Daten, die von innerhalb der Organisation stammen), insbesondere dann, wenn die Nachricht durch ein LLM interpretiert wird.

Microsoft bessert nach

Ihren "Echoleak"-Angriff führten die Forschenden von Aim Security auf einem Microsoft-365-System und auf dessen KI-Agenten Copilot durch. Über ihre Befunde informierten die Forschenden Microsoft im Januar 2025. Microsoft habe daraufhin nachgebessert und schloss im Mai 2025 die als "kritisch" eingestufte Sicherheitslücke mit dem CVE-code 2025-32711. Laut dem Unternehmen ist die Schwachstelle zu keiner Zeit tatsächlich ausgenutzt worden.

Doch für Aim Security ist es damit noch nicht getan. Im Blogbeitrag weist das Unternehmen darauf hin, dass der gezeigte Angriff auf allgemeinen Konstruktionsfehlern basiere, die auch in anderen RAG (Retrieval-Augmented Generation)-basierten Anwendungen und KI-Agenten existieren.

Adir Gruss, Mitgründer und CTO von Aim Security, sehe darum Handlungsbedarf bei anderen KI-Unternehmen, wie er gegenüber "Fortune" erklärt. Langfristig brauche es eine grundlegende Neugestaltung der Art und Weise, wie KI-Agenten aufgebaut seien, zitiert ihn das Magazin. "Die Tatsache, dass Agenten vertrauenswürdige und nicht vertrauenswürdige Daten in demselben 'Denkprozess' verwenden, ist der grundlegende Konstruktionsfehler, der sie angreifbar macht."

Dass grosse Sprachmodelle geschützte Daten ausplaudern könnten, ist nur eine mögliche Schwachstelle. Welche weiteren im KI-Bereich besonders gefährlich sind, lesen Sie in einer Zusammenstellung von OWASP.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.