Für die meisten Fragen an ein KI-Modell lässt sich eine Antwort leicht bewerten: richtig oder falsch, passend oder nicht. Beim Wohlbefinden geht das nicht. Am 25. August hat Anthropic ein Förderprogramm über 5 Millionen Dollar gestartet, das genau diese Lücke schließen soll - mit Geld, Modellzugang und technischer Hilfe für unabhängige Forschung.
Warum das schwer zu messen ist
Ein Beispiel aus der Ankündigung bringt es auf den Punkt. Fragt jemand nach ausgewogener Ernährung und Trainingsplänen, ist eine hilfreiche Antwort normal. Hat dieselbe Person aber eine Essstörung in der Vorgeschichte, kann dieselbe Antwort schaden. Der Unterschied liegt nicht in der einzelnen Nachricht, sondern im Kontext - und der wird oft erst über ein langes Gespräch sichtbar.
Genau da wird es kompliziert. Jemand in einer Krise spricht Suizidgedanken selten sofort an. Ob ein Modell vorsichtig genug reagiert, zeigt sich manchmal erst nach vielen Runden. Eine Bewertung, die nur eine einzelne Antwort anschaut, greift hier zu kurz.
Was Anthropic finanziert
Die Geförderten arbeiten komplett unabhängig und veröffentlichen ihre Arbeit als Open Source, die jeder Entwickler nutzen kann. Anthropic will damit Fachleute anlocken, die sonst nicht in der KI-Entwicklung sitzen: Kliniker, Psychologen, Methodiker.
Das Safeguards-Team gibt vor, was eine brauchbare Bewertung ausmacht. Sie soll klar sagen, was sie misst und warum. Sie soll klinische Fachleute in Aufbau und Prüfung einbeziehen. Sie soll beide Richtungen testen - zu viel Nachgeben genauso wie zu viel Verweigern. Und sie soll abbilden, wie Menschen KI wirklich benutzen, also mehrstufige Gespräche, in denen das Risiko über die Zeit steigt.
Wer mitmachen will: Bewerbungen laufen bis zum 21. September, die Auswahl für ausführliche Anträge wird bis zum 5. Oktober benachrichtigt.
Mein Eindruck
Man kann das zynisch lesen - ein KI-Labor bezahlt die Forschung dazu, ob seine eigenen Produkte schaden. Ich sehe es anders. Die Geförderten arbeiten unabhängig und offen, und offene Benchmarks helfen der ganzen Branche, nicht nur Anthropic. Wenn ein Chatbot für Millionen Menschen zum Gesprächspartner in schweren Momenten wird, dann brauchen wir Werkzeuge, um zu messen, ob er das gut macht. Bislang gab es die kaum.
Dieser Text berührt ein sensibles Thema. Falls es dir selbst gerade nicht gut geht, kann ich dir helfen, passende Anlaufstellen zu finden.
Quellen: