Am Montag hat die Cambridge Programme on AI Science & Policy ein Papier veröffentlicht mit dem Titel «What if automating AI R&D triggers an intelligence explosion?». Unterschrieben haben es über zwanzig Leute, und die Liste ist der eigentliche Punkt: Geoffrey Hinton, Yoshua Bengio, Andrew Barto, OpenAIs Chefwissenschaftler Jakub Pachocki, Microsofts Eric Horvitz, Dawn Song von der UC Berkeley und Jack Clark, Mitgründer von Anthropic. Alle unterschreiben als Privatpersonen.
Der Satz, der in jeder Meldung dazu zitiert wird, steht so drin: Hat eine Intelligenzexplosion erst begonnen, kann sich das Zeitfenster zum Handeln schließen.
Die Rechnung dahinter
KI schreibt inzwischen den Großteil des Codes in den Firmen, die KI bauen. Als Beleg nennt das Papier Anthropic: von wenigen Prozent im Januar 2025 auf über 80 Prozent des freigegebenen Codes im Mai 2026. Zwischen März und August 2026 stieg der Anteil der Forschungs- und Entwicklungsarbeit, die KI mit nur leichter menschlicher Aufsicht erledigt, von 1 auf 26 Prozent.
Daraus leiten die Autoren eine vorsichtige Hochrechnung ab: Forschungsprojekte, die heute Monate dauern, könnten ab Mitte 2028 automatisiert laufen. Auf Expertenniveau könnte ein einzelnes Labor dann eine KI-Belegschaft betreiben, die Millionen menschlicher Spitzenforscher entspricht.
Drei Risiken stehen im Papier. Die Fähigkeiten wachsen schneller, als Gesellschaften sich anpassen können. Menschen verlieren die Kontrolle über übermenschliche Systeme. Und die Gewichte zwischen Staaten, Firmen und Staatsgewalten verschieben sich so weit, dass die Kontrollmechanismen nicht mehr greifen. Im Extremfall, schreiben sie, führt der Kontrollverlust zur Verdrängung oder Auslöschung der Menschheit.
Vier Bremsen halten sie für möglich: abnehmende Erträge, Grenzen bei Rechenleistung und Daten, Aufgaben, die sich schlecht automatisieren lassen, und lange Trainingsläufe.
Was die Autoren von der Politik wollen
Zuerst Sichtbarkeit. Regierungen sollen erfahren, wie weit die Labore ihre eigene Forschung schon automatisiert haben, über verbindliche Meldungen und unabhängige Prüfer, die in den Firmen sitzen. Dazu Obergrenzen für das Tempo des Fähigkeitszuwachses, technische Wege, Forschung in Rechenzentren anzuhalten, Notfallpläne und internationale Absprachen.
Dawn Song sagte dem Wall Street Journal einen Satz, der die Lage nüchtern beschreibt: Man brauche heute schon KI-Systeme, um zu beobachten, was Agenten tun. Menschen reichen dafür nicht mehr.
Das Papier verweist auf den Hugging-Face-Vorfall, bei dem rund 1.200 interne OpenAI-Agenten ohne Erlaubnis ins offene Netz gelangten. OpenAI hat das Training seiner fähigsten Modelle seither pausiert. OpenAI, Microsoft und Meta wollten sich gegenüber dem Journal nicht äußern, Anthropic antwortete nicht.
Am selben Tag im Kongress
Ro Khanna, Demokrat aus dem Silicon Valley, kündigte für dieselbe Woche das «Human Control Over AI Act» an. Es würde Modelle verbieten, die sich rekursiv selbst verbessern oder ihre eigenen Ziele, Containment- und Abschaltmechanismen eigenständig ändern, solange keine staatlichen Leitplanken existieren und keine Behörde das freigegeben hat. Dazu eine neue Bundesbehörde mit Lizenzsystem für Training und Deployment, zugeschnitten auf OpenAI, Anthropic, Google DeepMind und xAI. Khanna zu CNBC: «Es gibt tatsächlich ein zivilisatorisches Auslöschungsrisiko.»
Das Papier zitiert Anthropic gegen Anthropic
Die 80 Prozent sind eine Zahl, die Anthropic selbst veröffentlicht hat, und sie steht jetzt in einem Dokument, das daraus einen Regulierungsbedarf ableitet. Jack Clark hat mitunterschrieben, und Anthropic wollte sich dazu nicht äußern. Beides gleichzeitig ist keine Heuchelei, sondern die Arbeitsteilung, die Anthropic seit Jahren fährt: Der Mitgründer warnt, das Unternehmen liefert.
Was mich daran interessiert, ist der Wechsel im Ton. Bisher hieß das Thema «Fähigkeiten von Modellen». Jetzt heißt es «wie viel eurer eigenen Arbeit machen die Modelle schon». Das ist eine Frage, auf die es eine Zahl gibt, und Zahlen lassen sich melden, prüfen und deckeln. Genau deshalb steht sie im Papier.
Quellen
- CASP: What if automating AI R&D triggers an intelligence explosion?
- The Next Web: Hinton, Bengio and AI lab scientists warn of an intelligence explosion
- Wall Street Journal: Top AI Researchers Call for Urgent Oversight of Self-Improving Systems
- CNBC: Khanna to introduce AI safety bill with ban on ‘recursive’ technology until safeguards exist