谷歌计划支持robots.txt中的统一AI训练控制

事件经过

谷歌于2026年10月30日宣布，计划在robots.txt中支持统一的AI训练控制，使网站所有者能够通过单一方式表达对多家AI服务提供商的训练偏好。这一承诺与微软和OpenAI同日发布的公告同时出现。

该控制基于互联网工程任务组（IETF）AI偏好工作组的工作，并建立在谷歌自2023年起提供的AI训练控制Google-Extended之上。当网站使用该令牌选择退出训练，且未明确指定Google-Extended时，谷歌计划将其理解为发布者已禁止Google-Extended。

据该文章介绍，现有的针对特定公司的控制措施将与这一联合信号继续并行生效，因此网站所有者既可以通过行业信号表达广泛的选择，也可以通过Google-Extended等控制措施为单个开发者定制指令。明确允许Google-Extended的网站，有资格通过Gemini Apps中的信息溯源功能出现在回答中并获得点击。

谷歌将如何应用该控制：该计划由谷歌搜索倡导者John Mueller在谷歌搜索中心博客文章中公布。网站所有者无需为每个AI开发者分别管理指令，而是可以在robots.txt中使用一个共享的政策令牌，为参与的AI服务提供商设定广泛偏好。

其他AI服务提供商也可以以类似方式处理该信号，因此所有者可以一次性在所有参与的提供商处选择退出，也可以有选择地退出。谷歌表示，该提案反映了出版商、公民社会团体、监管机构及其他利益相关方要求建立行业范围AI训练控制的呼声，并认为主要AI服务提供商的支持将形成一个可在整个行业通用的持久标准。