Warum erfundene Programmbibliotheken die Softwarelieferkette bedrohen

Generative künstliche Intelligenz (GenAI) geht seit ein paar Jahren Entwicklern auf der ganzen Welt zur Hand. Ein Beispiel dafür ist der Programmierassistent Copilot auf der Entwicklerplattform Github. Doch wie viele GenAI-Tools neigen auch diese Developer-Gehilfen mitunter dazu, Dinge zu halluzinieren. So schlagen sie etwa regelmässig Bibliotheken oder Code-Pakete vor, die gar nicht existieren.

Cybersecurity-Experten finden derartige Halluzinationen beunruhigend. Sie sehen in dem Verhalten einen potenziell gefährlichen Angriffsvektor. So warnte etwa bereits im März 2024 der Forscher Bar Lanyado vor dem Phänomen, das inzwischen als "Slopsquatting" bekannt ist. Den Begriff prägte Entwickler Seth Larson von der Python Software Foundation (PSF) und spielt auf das sogenannte "Typosquatting" an. Dabei werden Nutzer durch fast korrekt geschriebene Begriffe - etwa Domainnamen - in die Irre geführt. Das Wort "Slop" wiederum ist ein abwertender Ausdruck für die eher ungenauen, fehlerhaften oder einfach schludrigen (englisch: sloppy) Ausgaben von GenAI-Modellen, wie "The Register" erklärt.

Jede fünfte Programmbibliothek ist erfunden

Wie häufig KI-Modelle beim Generieren von Programmcode ins Halluzinieren kommen, untersuchten Forschende der Universitäten Texas at San Antonio, Virginia Tech und Oklahoma. In der Einleitung ihrer Studie, die aktuell jedoch erst als Preprint verfügbar ist, erklären die Autoren, Paket-Halluzinationen seien eine neue Form der sogenannten "Dependency Confusion"-Angriffe. Bei derartigen Angriffen nutzen bösartige Akteure die oft verwirrenden Abhängigkeitsketten in einer Softwarelieferkette aus, um schädliche Komponenten in ein Programm einzuschleusen.

Das Forschungsteam testete 16 KI-Modelle, die Programmcode generieren können, darunter Deepseek, ChatGPT-4, Claude und Mistral. Dabei entdeckten sie, dass insgesamt fast jede fünfte von der KI vorgeschlagene Programmbibliothek frei erfunden war. Kommerzielle Modelle schnitten etwas besser ab, mit einem Halluzinationsanteil von durchschnittlich 5,2 Prozent. Dagegen lieferten quelloffene Modelle mehr als 21 Prozent an halluzinierten Programmkomponenten.

Vom Problem besonders betroffen waren die Modelle CodeLlama 7B und 34B, die in über einem Drittel der Fälle nicht existierende Pakete vorschlugen. Im Gegensatz dazu zeigte GPT-4 Turbo die niedrigste Halluzinationsrate.

Des Weiteren stellte das Forscherteam fest, dass die KI-Modelle ihre Fehler häufig wiederholten: Fast die Hälfte der halluzinierten Paketnamen generierten sie mehrmals, als Antwort auf mehrere ähnlich lautende Anfragen.

Und genau hier könnten bösartige Angreifer beim "Slopsquatting" ansetzen: Sie könnten schädliche Software auf Entwicklerplattformen unter dem von der KI erfundenen Paketnamen hochladen. Halluziniert der KI-Programmierassistent später diesen Namen erneut, könnte das Malware-Paket automatisch installiert und ausgeführt werden.

Ein Hoffnungsschimmer

In der Studie erwähnen die Autoren aber auch einen ermutigenden Befund: Manche Modelle - insbesondere GPT-4 Turbo und Deepseek - sind laut der Untersuchung in der Lage zu erkennen, wenn sie gerade einen Paketnamen erfunden haben. In internen Tests erkannten diese Modelle ihre eigenen Halluzinationen in über 75 Prozent der Fälle. Diese Fähigkeit zur Selbsteinschätzung eröffnet Perspektiven, um zukünftige Risiken durch integrierte Prüfmechanismen zu minimieren.

Unlängst untersuchte Cisco Talos, wie KI-Modelle wie ChatGPT Security-Teams bei der Abwehr von Cyberangriffen unterstützen können. Erste Ergebnisse zeigen Potenziale, aber auch klare Einschränkungen, wie Sie hier lesen können.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.