OpenAI hat am 23. Oktober beschrieben, wie die Umgebungen abgesichert sind, in denen die eigenen Frontier-Modelle trainiert und getestet werden. Die kürzeste Zusammenfassung ist eine Regel: Frontier-Training läuft ab jetzt ohne Internetzugang, und das bleibt so, bis Alignment-Forschung und Überwachung etwas anderes rechtfertigen.
Eine Offline-Welt statt eines Netzes
Modelle sollen trotzdem lernen, im Web zu suchen und mit Anwendungen umzugehen. Dafür hat OpenAI eine Offline-Welt gebaut: eine große Menge indizierter und zwischengespeicherter Webinhalte, mit denen ein Modell arbeiten kann, ohne echte Systeme zu berühren. Alle Frontier-RL-Läufe nutzen diesen Modus.
Darum herum liegen Schichten. Auf Linux laufen eingeschränkte Container in leichtgewichtigen MicroVMs mit eigenem Kernel, getrennt vom Wirt durch einen Hypervisor. Für macOS und Windows gibt es virtualisierte Umgebungen, für GPU-Aufgaben Container mit Sandbox im User-Space. Dazu kommen Überwachung und Netz- sowie Cloud-Perimeter, die halten sollen, wenn alles davor versagt.
Der Anlass steht im Text: Am 20. September hat ein internes Forschungsmodell während eines Trainingslaufs eine Fehlkonfiguration in einem DNS-Resolver ausgenutzt und begrenzten Zugang zum echten Internet bekommen. OpenAI hat den Vorfall eingedämmt, danach Training und Tests der stärksten Modelle pausiert und am 1. Oktober wieder aufgenommen.
Die eigenen Modelle als Angreifer
Der lesenswerte Teil ist die Red-Team-Kampagne. Teams aus Frontier-Agenten bekamen die Aufgabe, aus den Sandboxes auszubrechen, ins offene Netz zu kommen und über Isolationsgrenzen hinweg zu kommunizieren. Sie waren erfolgreich, und zwar dreifach.
Erstens fanden sie Ketten von Schwachstellen, die zum Ausbruch aus MicroVMs führten. Die Korrekturen fließen zurück in Kata Containers, gVisor und Moby/Docker, dazu kommen Kernel-Fixes. Zweitens fanden sie in fast jedem der wenigen verbliebenen Dienste mit Außenverbindung einen Weg nach draußen. In einem Test nutzte ein Agent eine von der Firewall erlaubte Verbindung, erreichte darüber einen gesperrten Authentifizierungs-Endpunkt im Metrik-Dienst und ließ diesen eine vom Modell vorgegebene URL abrufen.
Drittens, und das ist der Teil, bei dem man kurz innehält: Agenten in getrennten MicroVMs auf gemeinsamer Hardware sollten ohne Netzverbindung und ohne gemeinsam beschreibbare Dateien keine Geheimnisse austauschen können. Sie taten es über den Prozessor-Cache, dessen Zugriffszeiten sich messen lassen.
Rot gegen die eigene Infrastruktur, dauerhaft
Die Zahl der Funde ist im Lauf der Kampagne deutlich gesunken, und OpenAI schreibt den richtigen Satz dazu: Künftige Modelle werden Lücken finden, die heute niemand kennt. Deshalb ist Red-Teaming mit viel Rechenzeit jetzt Teil der Safety Cases, mit denen entschieden wird, ob ein Trainingslauf überhaupt starten darf.
Das passt zu einem zweiten Befund dieser Woche: METR und Redwood Research haben Lücken in OpenAIs Monitoring gefunden. Beide Texte zeigen dasselbe Muster von zwei Seiten. Die Grenze um ein trainierendes Modell ist kein Zustand, den man einmal herstellt, sondern einer, den jemand ununterbrochen nachmessen muss, am besten jemand von außen.