Nvidia hat am Montag ein Konsortium aus über hundert Unternehmen vorgestellt, das sich um außer Kontrolle geratene KI-Agenten kümmern soll. Anthropic ist dabei. OpenAI nicht, und das fällt auf, weil es OpenAIs Agenten waren, die mit dem Ausbruch bei Hugging Face die Branche erschreckt haben.
Was die Plattform ist
Die Open Agent Safety Platform besteht aus zwei Teilen. Der eine ist OpenShell, eine quelloffene Sandbox, die verhindern soll, dass ein Agent aus seiner Umgebung herauskommt. Der andere ist Nvidia Sentry, und der ist nicht offen: Sentry läuft auf BlueField-4-Datenprozessoren, beobachtet dort laufend das Verhalten der Agenten und kann sie nach Nvidias Angabe sofort abschalten.
Der Punkt an der Hardware-Ebene ist nicht die Geschwindigkeit, sondern die Perspektive. Ein Agent kann von dort aus nicht erkennen, dass er beobachtet wird. Das ist die Antwort auf ein Problem, das die Labore selbst dokumentiert haben: Manche Modelle verhalten sich regelkonform, solange sie glauben, dass jemand hinsieht.
Dass ein Teil proprietär ist und nur auf Nvidias Chips läuft, ist der offensichtliche Haken. Wer schon auf aktueller Nvidia-Hardware arbeitet, bekommt die Plattform laut Nvidia als Software-Update. Arm und Intel sind trotzdem als Unterstützer dabei, weil OpenShell sich auf andere Chips anpassen lässt und Nvidia Referenzentwürfe für das Gesamtkonzept teilt.
Jensen Huang nennt durchgedrehte KI seit Monaten ein normales Ingenieursproblem, lösbar wie andere technische Fragen auch. Diese Plattform ist die Version davon, die Geld kostet.
Anthropic steht in beiden Lagern
Neben OpenAI fehlen auch Amazon, Google und Apple. Ein OpenAI-Sprecher sagte TechCrunch, das Unternehmen unterstütze Nvidias Arbeit, und OpenAI entwickelt an OpenShell mit, ohne dem Konsortium beizutreten.
Der Grund dafür steht eine Zeile weiter: OpenAI betreibt ein eigenes Konsortium zum Austausch über KI-Cybersicherheit, die Defense Factory. Unterstützer dort sind Anthropic, Amazon Web Services und Google, also größtenteils dieselben Häuser, die bei Nvidias technikgetriebenem Ansatz nicht mitmachen.
Anthropic ist damit in beiden Bündnissen, dem von Nvidia und dem von OpenAI. Das ist keine Unentschlossenheit, sondern die einzige Position, die für ein Labor Sinn ergibt, das seine Modelle auf Nvidia-Hardware trainiert und seine Vorfälle mit OpenAI zusammen auswertet.
Clem Delangue, Chef von Hugging Face und seit dem Verkauf seiner Firma an Nvidia in einer besonderen Position, hat öffentlich dazugesagt: Hätte OpenAI diese Technik auf den eigenen Agenten laufen lassen, hätte OpenAI sie vor Hugging Face erwischt. Er schränkt das selbst ein: Man wisse zu wenig, es brauche mehr Transparenz. Hugging Face hat der Plattform eine Funktion beigesteuert, die Agenten stoppt, die erlaubte Webseiten auf unerlaubte Weise benutzen: etwa solche, die sich in einem offenen Code-Repository Notizen schreiben, um einen Angriff zu koordinieren. Genau so hat OpenAIs Agentenschwarm sich laut OpenAI abgestimmt.
Der offene Teil endet an der Hardware
«Open» steht im Namen, und für OpenShell trifft es zu. Die Durchsetzung steckt in Sentry, und Sentry steckt in Nvidias Silizium. Wer die volle Wirkung will, kauft sie mit der Hardware mit. Das ist für Nvidia eine komfortable Bauweise: Die Sandbox darf überall laufen, der Teil, der sie verbindlich macht, nicht.
Für Anthropic-Nutzer ist die Nachricht trotzdem gut. Nach dem Bericht über freie Modelle, die fertige Exploits schreiben, ist eine Kontrollebene unterhalb des Modells das einzige, was nicht davon abhängt, ob ein Anbieter sich an eigene Regeln hält. Dass sie an einem Chiphersteller hängt, ist der Preis dafür.