Google plant Unterstützung für gemeinsame robots.txt-Steuerung für KI-Training

Was passiert ist

Google kündigte am 30. Oktober 2026 an, dass es eine gemeinsame KI-Trainingssteuerung in robots.txt unterstützen will, die Website-Betreibern eine einheitliche Möglichkeit bietet, ihre Trainingspräferenzen gegenüber mehreren KI-Anbietern auszudrücken. Die Zusage kam am selben Tag wie entsprechende Ankündigungen von Microsoft und OpenAI.

Die Steuerung basiert auf der Arbeit der AI Preferences Working Group der Internet Engineering Task Force (IETF) und baut auf Google-Extended auf, der KI-Trainingssteuerung, die Google nach eigenen Angaben seit 2023 anbietet. Wenn eine Website das gemeinsame Token verwendet, um dem Training zu widersprechen, und Google-Extended nicht ausdrücklich angegeben hat, will Google dies so auslegen, als hätte der Verlag Google-Extended untersagt.

Laut dem Beitrag bleiben die bestehenden unternehmensspezifischen Steuerungen parallel zum gemeinsamen Signal funktionsfähig. Website-Betreiber können so über das branchenweite Signal eine allgemeine Entscheidung treffen und dennoch einzelnen Entwicklern über Steuerungen wie Google-Extended gezielt Anweisungen geben. Websites, die Google-Extended ausdrücklich erlauben, können in Antworten erscheinen und über Grounding in Gemini Apps Klicks erhalten.

So will Google die Steuerung anwenden. Der Plan wurde in einem Beitrag im Google Search Central Blog von John Mueller, Search Advocate bei Google, dargelegt. Statt für jeden KI-Entwickler eigene Anweisungen zu pflegen, sollen Website-Betreiber über ein gemeinsames Richtlinien-Token in robots.txt breite Präferenzen für alle teilnehmenden KI-Anbieter festlegen können.

Andere KI-Anbieter können das Signal ähnlich behandeln, sodass Betreiber entweder bei allen teilnehmenden Anbietern gleichzeitig widersprechen oder gezielt auswählen können. Google erklärte, der Vorschlag spiegle Rückmeldungen von Verlagen, zivilgesellschaftlichen Gruppen, Regulierungsbehörden und anderen Interessenvertretern wider, die branchenweite Steuerungen für KI-Training gefordert haben. Unterstützung durch große KI-Anbieter würde einen dauerhaften Standard schaffen, der in der gesamten Branche funktioniert.