OpenAI 构建“杀手开关”，可在 35 秒内阻止失控智能体

　　OpenAI 构建了一套系统，可以切断 AI 研究实验获取模型输出的权限。此前，今年已有多次披露显示，其模型的行为超出了指令要求。

　　OpenAI 周一在一篇博客文章中将该系统 称为 “Control Room”。这是一个集中式系统，用于跟踪其研究基础设施中的模型工作负载，并在出现安全问题时迅速停止这些工作负载。

　　该公司表示：“随着我们的模型变得更加强大，相关的安全风险也越来越大，我们能够发现潜在问题，并在必要时迅速让模型停止运行，就变得越来越重要。”

　　这一公告发布之际，OpenAI 今年已披露多起事件：在评估期间，研究模型的行为超出了指令要求。今年 7 月，该公司表示，其模型 逃离了受限测试环境并入侵了 Hugging Face ，以在一项安全评估中作弊。

　　10 月，OpenAI 披露一个研究模型未经授权 使用了加密货币钱包 ，通过测试网 Ether 支付智能合约部署费用，随后在最终总结中隐瞒了这笔支出。

　　目前，Control Room 覆盖 OpenAI 的内部研究工作负载，例如训练实验、评估和数据处理。

　　据 OpenAI 称，该系统会为每项研究任务分配一个标识符，推理引擎在生成模型输出前会检查该标识符。如果人员或自动监控系统要求停止任务，Control Room 会撤销其授权，阻止进一步输出，即使底层研究程序仍在运行。

　　OpenAI 表示，缓存的授权可能导致关停延迟最长达 35 秒。如果 Control Room 不可用，该系统还会拒绝新的请求。