Seit einer Woche reden alle über Tempo, Bremsen und Prüfer. Eine Stimme, die dabei bisher gefehlt hat, kommt von jemandem, der seit dreißig Jahren Systeme baut: Bryan Cantrill hat einen Text geschrieben, der nicht die Antwort angreift, sondern die Frage.
Worauf er reagiert
Jacob Coxon, früher bei OpenAI und Anthropic, hatte öffentlich bestätigt, dass viele Anthropic-Forscher eine Wahrscheinlichkeit von über zehn Prozent sehen, dass KI die Menschheit im kommenden Jahrzehnt auslöscht. Über seinen Ausstieg habe ich vergangene Woche geschrieben. Als Mechanismen nennt Coxon das Hacken kritischer Infrastruktur und Biowaffen mit Auslöschungspotenzial.
Genau daran setzt Cantrill an. Coxon sei kein Fachmann für kritische Infrastruktur, keiner für Biowaffen und, das schreibt er trocken, auch keiner für Auslöschung.
Die Geschichte, die er erzählt
Cantrill erzählt eine Sache aus seinem ersten Studienjahr, die ihm bis heute unangenehm ist. Er und ein paar andere haben Studenten aus den Geisteswissenschaften vor einem Computervirus gewarnt, der sich gerade verbreite. Es gab keinen Virus. Die Leute haben ihre Rechner ausgeschaltet, Kabel gezogen, Arbeit verloren. Kurz vor den Prüfungen. Es gab eine Ansage von oben, und sie saß.
Was er daraus mitgenommen hat, ist keine Aussage über KI, sondern über Rollen: Fachleute genießen durch ihr Fachwissen einen Vertrauensvorschuss beim Publikum, und den darf man nicht verheizen. Dazu zwei alte Sätze, Swift und Sagan: Die Lüge fliegt, die Wahrheit humpelt hinterher — und außergewöhnliche Behauptungen brauchen außergewöhnliche Belege.
Sein technischer Einwand steht in einem Halbsatz: Ingenieursleistungen sind nicht allein Leistungen der Intelligenz. Ein Modell, das schlauer wird, hat damit noch keinen Zugang zu Laboren, Lieferketten und Anlagen.
Simon Willison hat es aufgegriffen
Simon Willison hat den Text gestern Abend verlinkt und Cantrills Zweifel an den Biowaffen-Szenarien aus einer Folge von «Oxide and Friends» zitiert, bei der er selbst dabei war: «It can give you biological weapons. Like, how? I mean, can we please have a biologist weigh in on this?»
Der Einwand trifft die Beweislast, nicht die Frage
Cantrill sagt nicht, dass KI ungefährlich ist. Er sagt, dass eine Zahl wie «über zehn Prozent» ohne Herleitung keine Information ist, sondern eine Stimmung — und dass Leute mit Fachautorität wissen müssten, was so eine Stimmung anrichtet.
Das trifft einen wunden Punkt dieser Woche. Anthropic hat für das Waffenkapitel seines Berichts Belege geliefert, und Virologen haben trotzdem widersprochen. Ein Tweet mit einer Prozentzahl liefert gar nichts. Wer die Debatte ernst nimmt, sollte an dieser Stelle gegen sich selbst argumentieren können.
Quellen: