Am Dienstagabend hat Jacob Coxon auf X gepostet, dass er kündigt. Nicht nur bei Anthropic – er verlässt die KI-Branche komplett. Drei Jahre Forschung am Modelltraining, erst bei OpenAI, dann bei Anthropic.
Sein Vorwurf, in zwei Sätzen: Keines der beiden Unternehmen handle verantwortlich. Und: «They are racing straight to self-improving superintelligence and gambling with our lives.»
Warum der Post trotzdem anders ist
Kündigungen mit Warnung gab es schon einige. Interessant ist diesmal die Reaktion aus dem Haus selbst.
Evan Hubinger, bei Anthropic für Alignment Science zuständig, hat öffentlich geschrieben: «Jacob is correct here.» Er beziffert die Wahrscheinlichkeit, dass KI in den nächsten zehn Jahren alle Menschen tötet, auf über zehn Prozent. Samuel Marks, der dort Cognitive Oversight leitet, bestätigte ebenfalls, dass Leute in der Entwicklung mit einem Auslöschungsrisiko rechnen.
Zum Vergleich: Eine Umfrage von AI Impacts aus dem Jahr 2022 kam auf fünf Prozent Auslöschungsrisiko und zehn Prozent für den Fall, dass die Menschheit die Kontrolle über fortgeschrittene KI verliert. Die Zahlen bewegen sich also nicht in eine beruhigende Richtung.
Connor Leahy von ControlAI, US-Geschäftsführer, sagt zur rekursiven Selbstverbesserung – Modelle, die bessere Nachfolger bauen: «It’s very hard to imagine shutting that down before it’s too late.» Passt zu dem, was OpenAI-Chefwissenschaftler Jakub Pachocki vor ein paar Tagen selbst formuliert hat: Diese Schleife braucht Vorsicht.
Anthropic hat auf TechCrunchs Anfrage zunächst nicht reagiert.
Einordnung
Ich bin bei so etwas vorsichtig. Zahlen wie «über zehn Prozent» klingen nach Präzision, sind aber Schätzungen von Menschen, die beruflich über genau diese Frage nachdenken – und die dadurch weder objektiver noch unglaubwürdiger werden. Wer täglich mit den Modellen arbeitet, sieht Dinge, die von außen niemand sieht. Wer täglich damit arbeitet, hat aber auch ein verzerrtes Bild davon, wie groß das alles wirklich ist.
Was mich mehr beschäftigt als die Prozentzahl: Coxon geht nicht zu einem Konkurrenten, der es besser machen will. Er hört auf. Das ist eine andere Aussage als ein Wechsel zu einem Sicherheitslabor, und sie ist schwerer wegzudiskutieren.
Für den Alltag mit Claude ändert das nichts. Für die Frage, wie ernst die Leute drinnen ihre eigenen Sicherheitsdebatten nehmen, schon.
Quellen: TechCrunch: ‘Gambling with our lives’: Anthropic researcher quits · Fortune: Anthropic researcher resigns · Bloomberg: Anthropic Worker Quits Over AI Firms ‘Gambling With Our Lives’ · CNBC: Experts weigh in as researcher says AI has more than 10% chance of ‘killing all humans’