Anthropic表示,已选择埃森哲作为其首家嵌入式评估机构,以帮助放缓AI发展的步伐,这正是首席执行官达里奥·阿莫代伊上周提出的建议。
9月12日,阿莫代伊公布了一项分三步实施的提案,旨在放缓AI发展并为安全防护措施的部署留出时间。此前,随着AI快速且不受约束地发展,人们警告其可能造成灾难性危害。
OpenAI首席执行官 萨姆·奥特曼 和SpaceX首席执行官 埃隆·马斯克 对阿莫代伊的提案作出了积极回应,但英伟达首席执行官 黄仁勋 并不认同,认为没有必要实施此类监管。
不过,阿莫代伊在他的 提案 中写道:“AI的发展速度正大幅加快,主要驱动力是AI构建下一代AI的能力不断增强。这种动态被称为递归式自我改进。”他还表示,“如果不加以约束,它可能会超越我们理解和控制这些系统的能力。”
阿莫代伊写道,阿莫代伊提案的第一步是让独立评估机构获得类似员工的访问权限,而Anthropic此前已单方面承诺这样做。
Anthropic于周五 宣布 与埃森哲及其AI业务部门Faculty合作,朝兑现这一承诺迈出一步,合作内容包括“评估模型并进行红队测试、开展对齐评估,以及测试模型的安全防护措施”。
该公司表示,具体实施方式仍在制定中,因为嵌入式评估还是一个新领域。
根据公告,Anthropic和埃森哲预计未来五年各自至少向该项目投入10亿美元。
Anthropic将直接资助相关工作,以应对紧迫性
Anthropic指出,目前也不存在为独立评估提供资金的现成体系,因此长期资金应来自共同筹资或政府来源。不过,鉴于这项工作的紧迫性,Anthropic将直接资助埃森哲的工作。
该合作关系并非排他性合作,Anthropic预计将在未来几周宣布其他评估机构,并与它们开展合作。
埃森哲旗下Faculty在为全球一些领先的AI实验室测试和评估模型方面拥有专业能力,也擅长构建从设计之初就安全且符合伦理规范的复杂AI系统。该公司周五 表示 。
“嵌入式评估是一个新兴领域,我们期待与Anthropic合作,帮助加快嵌入式评估机构的发展。我们认为,这将是未来安全生态的重要组成部分,”埃森哲董事长兼首席执行官朱莉·斯威特说道。