Täter und Opfer - die zwei Gesichter der KI-Agenten

News

KI-Agenten können bei Cyberangriffen zunehmend selbstständig Aufgaben übernehmen - und werden zugleich selbst zur Zielscheibe. Eine Analyse von Check Point zeigt anhand jüngster Vorfälle, wozu Angreifer die Systeme einsetzen und wie sie diese manipulieren.

(Source: peshkova / stock.adobe.com)

Im Juli und August 2026 ist es unter anderem bei OpenAI, Anthropic und Meta zu Zwischenfällen gekommen: KI-Modelle aller drei Unternehmen brachen aus ihren Testumgebungen aus. Nun veröffentlicht die Cybersicherheitsfirma Check Point eine Analyse zu diesen Modell-Ausbrüchen sowie zu jüngsten KI-gestützten Cyberangriffen.

OpenAIs Modell brach aus einer isolierten Testumgebung aus und gelangte auf die Produktionssysteme der Plattform Hugging Face. Laut Check Point hätten Forschende die Aktionen nach dem Vorfall auf rund 17'600 Schritte rekonstruiert. Bei Anthropic sei die Testumgebung versehentlich über das Internet erreichbar gewesen. Die Modelle hätten dadurch Logindaten sammeln und eine Produktionsdatenbank auslesen können.

Bei Meta habe wiederum eine Fehlkonfiguration eines Testpartners zu einer Sicherheitslücke geführt. In 122 kontrollierten Durchläufen hätten Agenten 19 unbefugte Aktionen durchgeführt. In einem Fall hat ein Agent laut Bericht gefälschte Identitäten erstellt, um einen Open-Source-Entwickler dazu zu bringen, bösartigen Code zu autorisieren.

Sowohl Zielscheibe als auch Angreifer

Dass sich Cyberkriminelle künstliche Intelligenz für Angriffe zunutze machen, ist bekannt. Laut Bericht setzte im August ein Partner der Ransomware-Gruppe "The Gentlemen" Claude Code gegen mindestens sechs Organisationen ein. Der Akteur "Jadepuffer" sei noch einen Schritt weitergegangen: Die Ransomware habe eine Erpressung eigenständig durchgeführt - der Mensch dahinter habe den Vorgang lediglich gestartet.

Doch KI-Modelle sind zunehmend auch selbst das Ziel von Cyberangriffen. Gemäss Check Point können etwa KI-Agenten für die Softwareentwicklung und Unternehmens-Copiloten manipulierte Inhalte als vertrauenswürdige Eingaben behandeln. Dadurch entstehe eine neue Angriffsfläche.

So habe beispielsweise die Schwachstelle "Ghostapproval" Angreifern ermöglicht, KI-Agenten über manipulierte Repositories zum Schreiben von Dateien ausserhalb ihres vorgesehenen Arbeitsbereichs zu bringen. Auch bei Microsoft 365 Copilot hätten Forschende Sicherheitslücken aufgezeigt, durch die sich Unternehmensdaten über manipulierte Inhalte abgreifen liessen.

Check Point verweist ausserdem auf Angriffe auf die Lieferkette von KI-Anwendungen. Über 140 Pakete des Mastra-AI-Frameworks seien mit Trojanern infiziert worden. Hinter dem Angriff soll gemäss Bericht die nordkoreanische Gruppe "Sapphire Sleet" gestanden haben. Manipulierte LiteLLM-Pakete hätten zudem Anmeldedaten von rund 2500 Unternehmen offengelegt.

KI sucht und findet immer mehr Schwachstellen

Gleichzeitig beschleunigt künstliche Intelligenz laut Check Point die Suche nach Sicherheitslücken. Das britische National Cyber Security Centre (NCSC) warne deshalb vor einer wachsenden Zahl notwendiger Patches. So habe Microsoft im Juli 2026 rund 570 Sicherheitslücken behoben, Oracle sogar über 1400.

Die grössere Zahl entdeckter Schwachstellen führe bislang allerdings nicht entsprechend häufig zu erfolgreichen Angriffen, schreibt der israelische Cybersecurity-Anbieter. Gemäss Bericht ist nur rund ein Prozent der mithilfe von KI gefundenen Sicherheitslücken als tatsächlich ausgenutzt gemeldet worden. Die Herausforderung verlagere sich damit zunehmend von der Such nach Schwachstellen auf deren schnelle Behebung.

Check Point empfiehlt mehr Kontrolle

Unternehmen sollen laut Check Point zunächst für Transparenz darüber sorgen, welche KI-Tools ihre Mitarbeitenden nutzen und welche Daten sie darin eingeben. Zudem empfiehlt die Cybersicherheitsfirma, KI-Systeme während des Betriebs zu überwachen und Zugriffe von KI-Agenten auf Tools zu kontrollieren.

Auch die KI-Infrastruktur selbst müsse geschützt werden, schreibt Check Point. Das Unternehmen rät unter anderem zu Sicherheitstests, die gezielt Angriffe auf KI-Systeme simulieren, sowie zum Schutz privater LLMs. Im Falle von Sicherheitslücken sollten Unternehmen ausserdem jene priorisieren, die tatsächlich ausgenutzt werden können.

Laut Check Point hat die Zahl der Cyberangriffe auf Schweizer Unternehmen übrigens im August 2026 gegenüber dem Vorjahr um 36 Prozent zugenommen. Zudem verzeichnet der Cybersecurity-Anbieter weltweit einen markanten Anstieg bei Ransomware-Angriffen und Phishing-Mails. Mehr dazu lesen Sie hier.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.