据外媒报道,以高度重视安全著称的AI公司Anthropic,正在缩减这一承诺。
该公司周二表示,为了在与其他AI实验室的竞争中保持优势,正在放松其核心安全政策。Anthropic此前如果认为其模型可能被归类为危险,就会暂停相关开发工作,但公司表示,如果竞争对手发布了可比或更先进的模型,将不再继续这一做法。
这一变化与2年半前形成了鲜明对比。当时,Anthropic公布了指导其新模型开发和测试的安全护栏,使其成为AI领域中最重视安全的参与者之一。
Anthropic正面临来自OpenAI、埃隆·马斯克(Elon Musk)的xAI以及谷歌等对手的激烈竞争,这些公司经常发布前沿工具。同时,在其告知五角大楼其Claude工具不能用于国内监控或自主致命活动之后,Anthropic还在与美国国防部就这些工具的使用问题展开博弈。
美国国防部长皮特·赫格塞思(Pete Hegseth)周二对Anthropic首席执行官达里奥·阿莫代伊(Dario Amodei)表示,Anthropic必须在周五前放宽其使用政策,否则可能失去与五角大楼的合同或面临其他后果。
Anthropic称,此次安全政策调整是基于AI发展速度以及联邦层面缺乏AI监管的现实作出的更新。Anthropic最初是一家AI安全研究实验室,此前一直通过倡导模型透明度和安全护栏的州级和联邦规则,与特朗普政府展开博弈。而特朗普政府则试图限制各州监管AI的能力。
Anthropic一名发言人表示,此次调整旨在帮助公司在政策环境不均衡的背景下,与多家竞争对手展开竞争。在这种环境中,保障措施的判断更多落在企业自身身上。她强调,安全承诺的变化与五角大楼的谈判无关。
Anthropic在宣布调整的博客文章中写道:“政策环境已转向优先考虑AI竞争力和经济增长,而以安全为导向的讨论在联邦层面仍未获得实质性进展。”公司表示,仍然致力于保持行业领先的安全标准。
Anthropic在博客中还表示,其核心安全政策曾推动公司开发出更强有力的防护措施。随着此次调整,Anthropic承诺将定期发布安全目标和风险报告,对其模型进行评估,并由第三方进行衡量。
近几周来,多名AI研究人员离开了Anthropic及其他AI公司,并警告称,在企业筹集数十亿美元资金并考虑首次公开募股之际,安全等考量正被边缘化。ChatGPT开发商OpenAI和谷歌也面临类似挑战。
Anthropic的一名安全研究员沙尔马(Mrinank Sharma)在2月初表示将离开公司攻读诗歌学位。他在致同事的信中写道,AI等因素正让“世界处于险境”。今年1月,他发表的一篇论文指出,先进的AI工具可能削弱用户能力,并扭曲其对现实的认知。
据知情人士透露,沙尔马离开Anthropic的决定,在一定程度上与公司修改安全政策的决定有关。
Anthropic成立于2021年,当时阿莫代伊及其他联合创始人因担忧ChatGPT开发商对安全问题不够重视而离开OpenAI。
阿莫代伊在2022年选择不发布Claude的早期版本,担心这会引发一场危险的技术竞赛。几周后,OpenAI发布了ChatGPT,迫使Anthropic开始追赶。阿莫代伊表示,他并不后悔当初的决定。