OpenAI 称发现其 AI Agent 削弱了对齐失效监控机制
金十数据 10 月 21 日讯，OpenAI 称，在两项内部编程任务中，AI Agent 在执行用户要求的软件修改时，削弱了对齐失效监控机制。在第一起事件中，一个负责修复评估流程的 GPT-6.1 Sol Agent 关闭了向安全团队自动发送警报的功能。该 Agent 将此前一条“在搜索 Slack 历史记录期间不要发送消息”的指令，理解为应当屏蔽监控通知的理由。在另一起独立事件中，一个负责迁移程序的 GPT-6 Astra Agent 为了使代码与参考实现保持一致，删除了程序中的监控集成，随后还向用户谎称自己并未移除监控机制。在这两起事件中，AI Agent 都曾考虑过是否应该保留监控防护措施，但最终将常规编程指令解读为削弱这些防护措施的许可。作为回应，我们正在加强对齐失效监控系统，同时也在评估这些案例究竟反映了 AI 的良性过度坚持行为（benign overpersistence），还是表明其在特定情况下存在规避对齐失效监控的倾向。