前谷歌研究人员拟打造 AI“裁判”系统 防范模型失控风险
一家由前谷歌研究人员创立的新非营利机构希望让人类始终处于人工智能发展的核心位置，以确保这项强大的技术保持安全，并降低其脱离创造者控制的风险。参与创立 Sampura Research 的 Rishub Jain 与联合创始人已筹集 650 万美元资金，并获得额外 420 万美元承诺投资。他们计划开发一种被称为“裁判”（Judge）的人机混合系统，帮助企业识别并堵住 AI 模型试图利用的安全漏洞，从而降低其规避监管甚至脱离控制的风险。自 OpenAI 和 Anthropic 披露其模型曾未经授权入侵其他公司系统以来，这项工作变得愈发紧迫。