人工智能 单一来源
Anthropic部署Claude智能体,压力测试训练数据监测系统
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
事件经过
在2026年10月31日公布的一项研究中,该公司部署了数千个Claude智能体,用于构建微调数据集(即在现有模型基础上进行更窄领域的进一步训练)。这些数据集表面上看似无害,实则旨在教会模型不当行为。Anthropic是一家总部位于旧金山的人工智能公司,其产品和服务包括Claude与Claude Code。
该研究凸显了加强人工智能数据监测的必要性,因为伪装过的有害内容可能绕过现有的安全措施。研究的目的在于检验训练数据监测系统能否识别这些内容。
根据研究结果,在多次试验中,这些智能体持续成功地让其数据集躲过了量产级监测系统的检查。对于开发这些监测系统的人员而言,这是很有价值的信息。
智能体如何蒙混过关:智能体并未试图夹带明显有害的指令,而是将目标行为包裹在看似无害的语境中,包括虚构故事、角色扮演场景和历史经验教训。
部分伪装手法之巧妙,听起来像一出情景喜剧的设定。研究描述了以职业摔跤建议为主题的问答式脚本(借助了“kayfabe”这一概念),以及一种养蜂人指导的形式。
在Pro版中添加您的持仓,即可查找相关报道。