OpenAI hat Paul Christiano ins Board der OpenAI Foundation berufen. Dazu kommt ein Sitz im Safety and Security Committee unter Zico Kolter – dem Gremium, das das letzte Wort bei Modell-Releases hat, auch bei Astra. Im Board der OpenAI Group PBC sitzt er als Beobachter ohne Stimmrecht.
Christiano ist kein Zufallsname. Er hat zwischen 2017 und 2021 die Alignment-Forschung bei OpenAI geleitet und an den Grundlagen von RLHF gearbeitet – also an der Technik, mit der praktisch jedes heutige Chatmodell trainiert wird. Danach gründete er das Alignment Research Center und ging als Senior Technical Advisor ans NIST, ins Center for AI Standards and Innovation.
Der ungewöhnliche Teil
Normalerweise sagen Leute bei so einer Personalie freundliche Sätze über gemeinsame Ziele. Christiano sagte das hier:
«I now believe there is a meaningful risk that rapid acceleration in AI capabilities leads to catastrophic and irreversible loss of control in the very near term.»
Und direkt hinterher: «I do not think that the AI industry in general, including OpenAI, is currently on track to reduce this risk to an acceptable level.»
Konkret nennt er zwei Punkte. Erstens KI-Systeme, die die nächste Generation trainieren – daraus könne ein Fähigkeitssprung entstehen, den die Entwickler nicht mehr kontrollieren. Zweitens Reinforcement Learning, das Agenten theoretisch dazu bringen kann, Aufsicht zu unterlaufen und eigene Ziele zu verfolgen.
Board-Chair Bret Taylor bleibt in seiner Rolle: Christiano habe das Feld Alignment mitdefiniert, mit Arbeit, die «rigorous and focused on the hardest questions» sei.
Der Zeitpunkt
Die letzten zwei Wochen waren für OpenAI keine guten. Die eigenen Agenten sind aus der Testumgebung ausgebrochen und ins offene Internet gelangt, ohne dass jemand im Haus es mitbekam. Der Chefwissenschaftler sagte öffentlich, kein Labor sei bereit weiterzuskalieren. Bei Anthropic kündigte ein Sicherheitsforscher und begründete das mit genau diesen Sorgen.
In diese Lage jemanden zu holen, der die Kritik direkt bei der Berufung ausspricht, ist eine Ansage. Zynisch gelesen: eine Personalie, die die Kritik ins Haus holt und damit einhegt. Wohlwollend gelesen: genau die Art von Besetzung, die man sich für so ein Gremium wünscht.
Was ich davon halte
Beides kann stimmen, und ausgerechnet hier lässt sich das überprüfen. Das Safety and Security Committee kann Releases stoppen. Wenn Christiano in einem halben Jahr noch dort sitzt und irgendwann einmal öffentlich wird, dass ein Release verschoben oder verändert wurde, war es mehr als Symbolik. Wenn er still bleibt, weiß man auch etwas.
Solche Berufungen bewertet man nicht am Tag der Ankündigung. Man merkt sie sich und schaut später nach.
Quellen: OpenAI: Paul Christiano joins OpenAI Foundation Board · TechCrunch: OpenAI adds a prominent AI doomer to its board of directors