Schwachstelle in Google Gemini ermöglicht Phishing über E-Mail-Zusammenfassungen

Eine Schwachstelle in Googles KI-Modell Gemini ermöglicht Angreifern, Die Funktion zum Zusammenfassen von E-Mails zu missbrauchen. Dazu verstecken sie unsichtbare, bösartige Anweisungen in den verschickten Mails. Ein Bug-Bounty-Manager bei Mozilla hat diese Sicherheitslücke in Google Workspace entdeckt, wie "Bleepingcomputer" berichtet. Angreifer versehen demnach Phishing-Mails mit schädlichen Anweisungen im E-Mail-Text, den sie dann aber  mittels HTML- und CSS-Code so verstecken, dass ihn ein Mensch nicht mehr sehen kann. Gemini hingegen verarbeitet die verborgenen Anweisungen. So können die Phisher laut Bericht die von Gemini erzeugte Zusammenfassung manipulieren, ohne dass Betroffene die Eingriffe sehen.

Im vom Sicherheitsforscher gezeigten Beispiel gibt Gemini in der Zusammenfassung eine gefälschte Sicherheitswarnung samt Telefonnummer aus - von Nutzerinnen und Nutzern werde dies häufig als legitime Systemmeldung wahrgenommen. Da in den bösartigen Mails keine Anhänge oder sichtbaren Links enthalten sind, gelangen solche Nachrichten oft ungehindert in die Posteingänge, wie "Bleepingcomputer" weiter schreibt. Öffnet der Empfänger die E-Mail und fordert eine Zusammenfassung an, erkenne Googles KI-Tool die versteckte Anweisung, führe sie aus und leitet potenzielle Opfer auf Phishing-Sites um.

Viele User dürften den Gemini-Ausgaben als Teil von Google Workspace, vertrauen und die Warnung als legitim betrachten, heisst es im Bericht. Um User vor derartigen Angriffen zu schützen, empfiehlt der Sicherheitsforscher, Gemini so anzupassen, dass die KI versteckte Inhalte im Text neutralisiert oder ignoriert. Ein Nachbearbeitungsfilter könnte die Gemini-Ausgaben zudem auf dringende Nachrichten, URLs oder Telefonnummern prüfen und die Nachricht allenfalls entsprechend kennzeichnen.

Google habe auf Anfrage von "Bleepingcomputer" auf einen Blogbeitrag zu Sicherheitsmassnahmen gegen Prompt-Injection-Angriffe verwiesen. Einige Abwehrmassnahmen gegen solche Angriffe würden zudem derzeit umgesetzt. Google selbst habe laut eigener Angaben bislang keine Angriffe nach dem beschriebenen Muster festgestellt. 

Lesen Sie auch: Google hat angesichts KI-generierter Betrugsversuche im vergangenen Jahr über 5 Millionen Anzeigen blockiert. 

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.