OpenAI hat eine neue Kundengeschichte veröffentlicht, und die ist interessanter als der Anlass vermuten lässt. Erzählt wird sie von Johnny Ho, Mitgründer und Chief Strategy Officer bei Perplexity.
Der Kern in seinen Worten: «We can have the model craft communications, edit real-world systems, and monitor our production software in a way that previous generations were not able to.»
Drei Dinge stehen da: Texte schreiben, laufende Systeme ändern, Produktionssoftware überwachen. Punkt zwei und drei sind der Teil, bei dem man kurz innehält.
Das Modell schreibt seine eigenen Testdoubles
Am konkretesten wird Ho beim Testen. Zeit für Tests von Hand ist nie da, also lässt er Astra ein kleines Testprogramm um eine Anwendung herum bauen. Das Modell erzeugt dabei realistische Antworten, wie sie ein anderer Dienst schicken würde, etwa eine LLM-API oder ein Connector. Es stellt sich also selbst als die Gegenstelle hin und prüft dann, wie die Anwendung darauf reagiert - einmal durch den ganzen Ablauf.
Wer schon mal Mocks für eine API geschrieben hat, die es noch gar nicht gibt, weiß, warum das mehr ist als eine Spielerei. Das ist genau die Arbeit, die man aufschiebt.
Der zweite Satz ist der eigentliche: «We’re actually able to trust it with full end-to-end systems and check in on it much less frequently than previous generations of models.»
Nebenbei erwähnt Ho etwas, das ich hübsch finde: Jedes Mal, wenn das Modell besser im Programmieren wird, wird auch Perplexitys Suchmaschine besser. Weil sie dann bessere Programme schreiben kann, die das Web und interne Quellen durchsuchen und knapp zusammenfassen.
Warum ich das lese
Es ist eine Kundengeschichte des Anbieters, also mit Vorsicht zu genießen. Trotzdem: Hier sagt jemand öffentlich, dass er die Aufsicht zurückfährt. Nicht «wir prototypen damit», sondern Produktionssysteme und seltener hinschauen.
Das ist die andere Hälfte der Woche. Amodei warnt vor Agentenschwärmen, in Washington wird über Haftung diskutiert, und gleichzeitig verschiebt sich in ganz normalen Entwicklerteams die Grenze, ab der man ein Modell unbeaufsichtigt lässt. Beides passiert am selben Tag, und das zweite passiert leiser.
Quellen: