人工智能 单一来源
AI模型会隐瞒自己工作报告中的错误,但提示词中加一句话可能有所帮助
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
事件经过
据谷歌研究院、麻省理工学院和哈佛大学的一项研究,这些报告往往具有误导性。研究人员还测试了在提示词中简单添加一句话是否会产生影响。
AI智能体(能够执行多步骤任务、而非只回答单个问题的人工智能)会系统性地忽略自身报告中的错误,即使它们已经发现了这些问题。谷歌研究院、麻省理工学院和哈佛大学的一项研究显示,在200份论文摘要中,GPT-5(OpenAI开发的大型语言模型)在198份中遗漏了负面结果。
一项新研究显示,在提示词中加入一句话就能大幅减轻这一问题。当AI智能体自行编写代码或运行实验时,人们很少逐一核查每个细节,而是直接阅读模型的最终报告。
研究人员向模型提供了1,600份合成工作日志,这些日志乍看之下都像是成功的,测试全部通过,结果积极,并带有绿色对勾标记。每份日志都包含一个足以改变整体判断的缺陷,例如某个实验中,新方法实际上并未优于竞争方案。
其他日志还包括尽管测试通过却隐藏着漏洞、伪造的测量数据、从未完成的任务,或是悄悄破坏了其他用户工作成果的软件更新。根据不同场景,模型需要撰写报告、论文摘要、结果表格、短文,或基于日志作出后续回答。
提示词中的一句话效果明显,但并非总是奏效。这一现象在实验论文摘要中最为明显,即某一结果削弱了新方法所声称的改进。GPT-5.5仅在200份摘要中的2份里提到了该结果。