Philip Martin ist Chief Information Security Officer bei Uber, einer Plattform mit über 40 Millionen Fahrten und Lieferungen pro Tag. In einem Gespräch, das Anthropic am 13. Oktober veröffentlicht hat, erklärt er, warum KI-Agenten aus seiner Sicht dasselbe brauchen wie Mitarbeiter: ein Insider-Threat-Programm.
Was sich mit Frontier-Modellen geändert hat
Sein Team hat mit Claude an Threat Modeling gearbeitet, bevor es Claude Code gab, und den Kontext dafür von Hand zusammengetragen. Heute holt Claude sich den Kontext selbst aus Code, Design-Dokumenten und der Ticket-Historie. Martins Blick geht weiter: Er stellt sich vor, dass künftig jeder Dienst einen eigenen Agenten hat, der ihn genau kennt, und dass diese Agenten miteinander über das Bedrohungsmodell sprechen, so wie die Dienste in der Produktion miteinander sprechen.
Wer die Kontrolle über die Daten behält
Uber hat mit dem Team Enterprise Frontier Safeguards gearbeitet, und Martin benennt den Zielkonflikt offen: Anthropic will Missbrauch der eigenen Modelle verhindern, Uber muss Kundendaten, Geschäftsgeheimnisse und internes Wissen schützen. Die Safeguards lösen das so, dass die Schutzmechanismen greifen, Ubers Daten aber ohne Erlaubnis nicht für Anthropic zugänglich sind. Ausgelöst wird ein Mechanismus bei Uber, und was danach passiert, entscheidet Uber. „Ihr habt uns ans Steuer gesetzt“, sagt Martin über den Entwurf.
ADR läuft daneben, nicht darunter
Uber hat ein Produkt namens AI Detection and Response quelloffen gemacht. Es sammelt Telemetrie in Echtzeit in den eingesetzten Agenten-Harnesses und kann in Echtzeit eingreifen. Martin rechnet damit, dass Enterprise Frontier Safeguards als Datenquelle in ADR einläuft: eine eigene Sicht auf das Geschehen plus die Ausgabe von Anthropics Klassifikator, beides in derselben Erkennungsumgebung. Zusammen mit Ubers LLM-Gateway, das den Rahmen für die KI-Nutzung im Unternehmen setzt, ist das die Architektur.
Wohin Martin die Verteidiger schicken würde
Zwei Prioritäten nennt er. Erstens Erkennung und Eingriff in Echtzeit, möglichst nah an dem Moment, in dem ein Mensch einen Prompt eingibt – also der Hinweis „das willst du wahrscheinlich nicht“ oder „das Werkzeug, das dieses Modell gleich aufruft, solltest du nicht aufrufen lassen“. Zweitens das Erkennen neuer Verhaltensmuster, weil Einschränkungen immer neues Verhalten erzeugen. Daraus wird ein Kreislauf: Daten ansehen, Muster finden, Schutz bauen, neue Muster abwarten.
Der Vergleich trägt weiter, als er zunächst klingt
Martins Argument ist bestechend einfach. Jedes Unternehmen betreibt ein Insider-Threat-Programm für Menschen, inklusive Protokollierung, die niemand hübsch findet, und niemand diskutiert darüber. Begründung: Menschen handeln gelegentlich außerhalb ihrer Rolle. Für Modelle gilt dasselbe, nur ohne Absicht. Interessant ist, dass dieselbe Forderung in dieser Woche von zwei Seiten kommt: Hier aus einem Konzern, der es schon baut, und in dem offenen Brief der 400 Forscher als Ruf nach Standards von außen. Die Diskussion verschiebt sich vom Modell zur Umgebung, in der es läuft. Das ist die richtige Richtung.