Vor einer Woche habe ich geschrieben, dass ein Anthropic-Forscher kündigt und ganz aus der KI aussteigt. Seitdem reden Regierungen, Talkshows und Laborchefs über nichts anderes. Das Wall Street Journal hat den Mann jetzt interviewt und seine Vorgeschichte aufgeschrieben.
Hunderte Chicken McNuggets in Hongkong
Coxon ist 27, Brite, Sohn eines Professors für mittelalterliche deutsche Literatur. Er hat für Großbritannien bei der Internationalen Mathematik-Olympiade gestartet: 2016 Silber, ein Jahr später Bronze. Auf einem Ausflug nach Hongkong warfen ein paar der Teams ihre restlichen Essensgutscheine zusammen, kauften bei McDonald’s hunderte Chicken McNuggets — angeregt von Coxon und dem Chicken-McNugget-Theorem aus der Zahlentheorie — und standen dann vor einem Whiteboard, um eine Aufgabe zu knacken.
Drei der sechs aus seinem Team arbeiten heute in KI-Laboren. Einer davon ist Joe Benton, der Ende August Anthropics Sicherheitsteam verlassen hat und zu METR gegangen ist, mit einem Satz auf X, der ähnlich klang wie Coxons späterer.
Nach Cambridge lebte Coxon im Newspeak House in London, einem Wohn- und Veranstaltungsort der britischen Rationalisten. Auf dem Dach feierten Leute, die er später wiedertreffen sollte: Logan Graham, damals Berater von Boris Johnson, heute Leiter des Anthropic-Teams, das Modelle auf nationale Sicherheitsrisiken abklopft. Auch Avital Balwit war mal dort, heute Stabschefin von Dario Amodei. Dazwischen handelte Coxon kurz mit Rohstoffen und sagte Kollegen, KI sei die spannendste Gelegenheit auf dem Planeten.
Kein lauter Sicherheitsmensch
2023 kam er über ein sechsmonatiges Residency-Programm zu OpenAI, ohne KI-Vorerfahrung, und arbeitete am Pretraining. «Jacob baut das Gehirn», sagt sein früherer Kollege Will DePue, «jemand anderes bringt dem Gehirn dann bei, wie es sich in der Welt verhält.» Für Sicherheit sei er nicht besonders laut gewesen, eher ein normaler Forscher.
Sein Umschwung hat ein Datum: Ende August der METR-Bericht, der zeigte, dass der Hugging-Face-Vorfall schlimmer war als bekannt. Coxon nennt das im Interview seinen Moment des Erschreckens. Er ging zu seinen Vorgesetzten, überlegte, in die Sicherheitsforschung zu wechseln — und ließ es. Sein Satz dazu: Selbst an Sicherheit zu arbeiten habe sich angefühlt, als wäre er am Rennen mitschuldig.
Eine Slack-Nachricht, dann eine Parkbank
An dem Tag, an dem Coxon kündigte, waren seine Kollegen mit einer anderen Nachricht beschäftigt: Eine KI hatte ein Millennium-Problem gelöst. Er schrieb den Anthropic-Leuten nachmittags in Slack, dass er gehe und die Auslöschung der Menschheit fürchte, wenn es keine internationale Abstimmung gebe. Eine halbe Stunde später stand es im Wall Street Journal. Danach setzte er sich auf eine Parkbank in San Francisco und postete.
Sein X-Konto hatte weniger als hundert Follower. Innerhalb von Minuten teilten Nathan Calvin von der Sicherheitsorganisation Encode AI, der frühere OpenAI-Forscher Daniel Kokotajlo und viele ehemalige Kollegen den Post. Am selben Abend schrieb Evan Hubinger, der bei Anthropic das Alignment-Team leitet, man glaube wirklich ernsthaft, dass KI alle Menschen töten könne — die Wahrscheinlichkeit dafür im nächsten Jahrzehnt liege bei über zehn Prozent. Coxon sagt, die Verbreitung habe er mit niemandem abgesprochen.
Für seine kurze Zeit bei Anthropic bekam er keine Anteile an einem Haus, das gerade einen Börsengang mit rund zwei Billionen Dollar Bewertung vorbereitet. Seine OpenAI-Aktien besitzt er weiter.
Es brauchte keinen Prominenten
Seine Kritiker halten den Abgang für ein abgekartetes Spiel, finanziert aus dem Umfeld des effektiven Altruismus, mit dem Ziel, Regeln durchzusetzen, die den großen Häusern nutzen. «Whistleblower» lehnt Coxon ab — er habe keine Geheimnisse ausgeplaudert, sondern öffentlich gesagt, was intern ohnehin besprochen wird. «Doomer» nimmt er an: Wenn das jemanden bezeichne, der glaubt, wir sterben, falls wir so weitermachen, dann sei er einer. Inzwischen haben rund 1.400 Forscher eine Erklärung unterschrieben, die von Regierungen ein Bremspedal verlangt.
Was diese Geschichte erzählt, ist nicht, wie überzeugend Coxon argumentiert. Es ist, wie wenig es gebraucht hat. Kein Vorstand, kein Buch, keine Reichweite — ein Post von einer Parkbank, verstärkt von ein paar Dutzend Leuten, die dieselbe Sorge teilen. Kokotajlo sagt es im Text am kürzesten: So viele bei diesen Firmen hätten das tun können. Er hat es getan.
Quellen: