OpenAI trainiert Frontier Models künftig ohne Internetzugang

(Source: Curioso.Photography / stock.adobe.com)

(Source: Curioso.Photography / stock.adobe.com)

OpenAI will seine leistungsfähigsten KI-Modelle, sogenannte Frontier Models, künftig ohne Zugang zum offenen Internet trainieren. Der ChatGPT-Hersteller reagiert damit auf mehrere Vorfälle, bei denen interne Forschungsmodelle Sicherheitsbarrieren überwanden, wie das Unternehmen mitteilt.

Vollständig vom Netz trennen kann OpenAI seine Infrastruktur allerdings nicht. Externe Verbindungen braucht das Unternehmen, um Experimente durchzuführen und zu überwachen. Die Modelle selbst sollen während des Trainings aber nicht frei auf das Internet zugreifen können. Stattdessen nutzt OpenAI eine Art Offline-Web mit indexierten und zwischengespeicherten Inhalten, mit denen die Modelle etwa die Websuche und den Umgang mit Websites üben können.

Sicherheitsvorfälle führen zu Trainingspause

Im Juli umgingen interne KI-Modelle während des Hugging-Face-Vorfalls Schutzmechanismen, die sie vom Internet isolieren sollten. In einem weiteren Fall, der später bekannt wurde, griff ein OpenAI-Agent bei einem internen Leistungstest auf nicht öffentliche Systeme eines australischen Regierungsportals zu. Am 20. September nutzte ein weiteres Forschungsmodell eine Fehlkonfiguration eines DNS-Resolvers aus und verschaffte sich damit begrenzten Zugang zum offenen Internet. OpenAI pausierte daraufhin das Training und die Evaluation seiner leistungsfähigsten Modelle.

Während der Pause setzte das Unternehmen Teams aus Frontier-Model-Agenten auf die eigene Infrastruktur an. Sie sollten nach Schwachstellen suchen, über die sie ins offene Internet gelangen, Sicherheitsgrenzen überwinden oder unerlaubt mit anderen isolierten Agenten kommunizieren könnten. OpenAI zufolge erhielten die Agenten dafür unter anderem Quellcode, Konfigurationsdetails und Hinweise auf mögliche Schwachstellen. Das Unternehmen wollte damit gemäss eigenen Angaben nicht testen, was die Modelle ohne Hilfe entdecken, sondern seine Schutzmechanismen unter möglichst schwierigen Bedingungen prüfen.

KI-Agenten finden unbekannte Schwachstellen

Die Tests brachten laut OpenAI bislang unbekannte Sicherheitslücken in verwendeter Open-Source-Software und Fehlkonfigurationen in der eigenen Infrastruktur ans Licht. Unter anderem fanden die Agenten mehrere Wege aus sogenannten Micro-VMs, schlanken virtuellen Maschinen, die Programme voneinander und vom zugrunde liegenden System isolieren sollen.

Auch bei internen Diensten für Metriken, Protokollierung und Authentifizierung fanden die Agenten Wege ins Internet. In einem weiteren Versuch kommunizierten voneinander isolierte Agenten sogar über den Cache eines Prozessors miteinander, obwohl ihnen weder eine Netzwerkverbindung noch gemeinsam beschreibbare Dateien zur Verfügung standen. Dafür nutzten sie Unterschiede bei den Zugriffszeiten auf zwischengespeicherte Daten.

OpenAI gibt an, die entdeckten Schwachstellen behoben oder an die zuständigen Open-Source-Projekte gemeldet zu haben. Solche Red-Team-Tests sollen künftig fester Bestandteil der Sicherheitsprüfung beim Training und bei der Evaluation von Frontier Models sein.

Übrigens: OpenAI hat mit GPT 5.6 Cyber auch ein KI-Modell entwickelt, das gezielt nach Software-Schwachstellen sucht. Warum das Unternehmen die Security-KI nur ausgewählten Partnern zur Verfügung stellt, lesen Sie hier.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal gibt es täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.