Anthropic 发布 Fable 5 模型的安全防护措施及 AI“越狱”行为评估框架
Anthropic 发布一套评估人工智能“越狱”(jailbreak)行为严重程度的拟议框架，并详细介绍了已在全球上线的 Claude Fable 5 模型所采用的网络安全防护措施。该公司将网络安全相关使用场景划分为四类，从“禁止使用”到“无害用途”不等。被禁止的用途包括勒索软件开发、恶意软件开发以及网络—物理基础设施破坏等活动。在建立更完善的控制机制之前，对于渗透测试等具有“双重用途”属性的高风险活动将予以拦截。Anthropic 提出的网络越狱严重程度 Cyber Jailbreak Severity 评级体系，从 CJS-0 至 CJS-4，共分五级，并依据四个维度进行评估。Anthropic 还推出了 HackerOne 项目，邀请安全研究人员提交潜在的模型越狱案例。