Wer heute nicht möchte, dass seine Website in Trainingsdaten landet, muss jeden Crawler einzeln kennen und für jeden Anbieter eigene Regeln in der robots.txt pflegen. Das soll ein gemeinsames Signal ersetzen: ein Eintrag, eine Aussage, alle teilnehmenden Anbieter.
Vorgeschlagen hat es Kevin Kelley, bei Anthropic technischer Leiter für Standards, in der Arbeitsgruppe AI Preferences der Internet Engineering Task Force. OpenAI, Google, Microsoft und Anthropic haben am 30. Oktober gemeinsam erklärt, dass ihre Crawler das Signal beachten werden und eine Seite nicht weiter für das Training lesen, wenn sie darauf treffen.
Was OpenAI zugesagt hat, und was nicht
OpenAIs eigene Mitteilung ist in zwei Punkten vorsichtig. Die Umsetzung soll „in den kommenden Monaten“ kommen, Einzelheiten folgen in einem späteren Update. Und das neue Signal ersetzt die bestehenden Crawler-Einstellungen nicht, es tritt daneben. Freiwillig ist die ganze Sache ohnehin: Ein IETF-Entwurf verpflichtet niemanden, und eine robots.txt ist technisch keine Sperre, sondern eine Bitte.
Metas Kommunikationschef Andy Stone hat Unterstützung signalisiert, ohne zu sagen, ob Meta das Signal befolgen wird. Das ist der Unterschied, auf den es ankommt.
Das Feld ist schon besetzt
Der Vorschlag kommt nicht in einen leeren Raum. Really Simple Licensing lässt Verlage Geld von Crawlern verlangen, Cloudflare sperrt KI-Crawler seit einiger Zeit von Haus aus. Beides setzt an derselben Stelle an und will mehr: nicht nur eine Präferenz mitteilen, sondern sie durchsetzen oder bezahlen lassen.
Ein gemeinsames Signal löst dagegen genau ein Problem, und zwar ein verwaltungstechnisches – den Aufwand, dieselbe Entscheidung einem Dutzend Firmen einzeln mitzuteilen. Für Verlage, die ihre Inhalte verkaufen wollen, ist das zu wenig. Für den Betreiber einer kleinen Seite, der nur in Ruhe gelassen werden will, ist es das Einzige, was realistisch funktioniert.
Dass der Vorschlag von Anthropic kommt, ist der interessante Teil
Vier Häuser, die gleichzeitig vor Gerichten über Trainingsdaten streiten, einigen sich auf ein Signal, das ihnen Daten entzieht. Das ist erklärbar: Ein freiwilliger Standard, den die Branche selbst schreibt, ist billiger als einer, den ein Gesetzgeber schreibt. Dass die Feder dabei bei Anthropic lag, passt zu einem Haus, das seine Position zu Urheberrechten gern als Haltung vorträgt. Ob es mehr ist als eine Haltung, entscheidet der Tag, an dem das Signal tatsächlich in den Crawlern steht – und OpenAI hat sich dafür bewusst keine Frist gesetzt.