Google、OpenAI、Anthropic与Microsoft支持新的robots.txt控制机制以对抗AI爬取

统一信号取代逐个爬虫设置规则

报道称,这四家公司将支持robots.txt中的一个通用信号,用于阻止为AI训练进行的爬取。Engadget指出,目前网站所有者必须逐一识别各个爬虫,并为每家服务商单独编写规则,而新方案旨在简化这一工作。

该信号基于互联网开放标准组织IETF正在审议的一项提案。这几家公司已决定采用该提案;该提案由Anthropic标准技术负责人Kevin Kelley撰写。

发布者的配置方式

发布者可在其robots.txt文件中添加一个专用于AI训练的用户代理。Engadget以名为__usage_ai-training的规则为例,其中包含针对整个网站的Disallow条目,可阻止为AI训练收集数据的爬虫。

Allow行可用于设置例外。报道以新闻资料包(press kit)为例,说明网站可以让某一部分保持开放以供AI训练使用,同时其余部分仍被封锁。

待解问题

• 该信号何时会在这四家公司的爬虫中生效?
• IETF的提案是否会被正式采纳为标准?