品玩11月2日讯,据 mashdigi 报道,OpenAI、谷歌、微软与Anthropic宣布将共同支持一项新的AI训练偏好信号,网站可在robots.txt中使用统一策略标记表达内容是否可用于生成式AI模型训练,无需逐家配置规则。
该机制源自Anthropic标准技术负责人Kevin Kelley向IETF AIPREF工作组提交的个人草案,引入跨厂商通用标记"__usage_ai-training",与现有robots.txt语法完全兼容,支持通过Allow指令设置目录级例外。该信号仅表达"用途偏好",不控制爬虫访问行为,不影响网站在搜索引擎中的收录与排名。微软表示还将提供更细粒度的AI检索引用控制选项。
落地节奏方面,Anthropic已率先采用,OpenAI计划在未来数月内实现,谷歌与微软预计于2027年支持。该机制为自愿性约定,对未参与厂商无约束力,且不追溯已抓取的历史数据。





0 条评论
请「登录」后评论