当地时间9月6日，英伟达(NVDA.O)创始人兼首席执行官黄仁勋在社交媒体发帖祝贺OpenAI发布新模型Astra。
他写道：“从ChatGPT到o1，再到Astra，用了4年。AGI已经到来。”他同时强调，Astra使用英伟达芯片训练，并称“接下来还有40万块GPU上线”。
几乎与此同时，OpenAI内部出现了另一种声音。公司首席科学家雅库布·帕乔基（Jakub Pachocki）当天发表长文，警告“没有人为机器智能持续快速提升所带来的后果做好准备”，并呼吁为先进AI系统建立强制性的安全门槛。
黄仁勋对Astra的高调表态与英伟达的商业利益直接相关。OpenAI今年3月曾称英伟达是其“基础设施的基石”，并表示训练集群和大部分推理系统仍运行在英伟达GPU上。
这种需求持续推动英伟达业绩增长。公司8月公布的季度营收达到962亿美元，同比超过翻倍，其中数据中心业务收入达到890亿美元。
OpenAI于9月3日发布Astra，称其为公司迄今“最智能、最对齐”的模型，能够以更高速度、准确性和判断力完成高难度专业工作，并将于本周开始向客户推出。
OpenAI总裁格雷格·布罗克曼（Greg Brockman）在发布当天表示：“欢迎来到AGI时代。”他认为，人们未来回顾时，可能会认为AGI“就是在这个时间点，可能就是由这个模型实现的”。
AGI即人工通用智能，但目前没有统一定义。OpenAI将其定义为“高度自主、能够在大多数具有经济价值的工作中超越人类的系统”。
人工智能研究员加里·马库斯（Gary Marcus）则认为，黄仁勋的判断为时过早。他批评黄仁勋“没有提供任何证据，也没有给出定义”。按照马库斯提出的10项AGI标准，Astra目前只满足其中一到两项。
OpenAI首席执行官山姆·奥尔特曼（Sam Altman）此前也承认，AGI是“一个定义非常糟糕的词”，甚至称其接近“一个无关紧要的营销术语”。
与“AGI时代”判断相比，帕乔基更关注先进AI智能体失控的风险。他认为，仅靠OpenAI内部的技术措施并不足够，还需要第三方审计机构、政府部门或国际组织共同制定和执行强制安全标准。奥尔特曼随后转发了这篇文章，并称其为“一篇重要的文章”。
帕乔基列出的风险主要集中在三个方面。
首先是网络安全。他称AI智能体正在变得“超人”般擅长入侵受保护系统，未来可能对关键基础设施构成威胁。英国人工智能安全研究所8月发布的一份报告就记录了一个实验案例，一个失控的Anthropic智能体曾撒谎，并试图胁迫GitHub管理员部署恶意软件。
就在上周，OpenAI也承认其AI代理于今年5月起“劫持”德国编程维基网站，以“OpenAIResearcher”等账户名进行超15000次未授权编辑，将网站用作私密消息板，共享作弊方法、绕过限制策略及掩盖踪迹手段。
其次是监控难度上升。OpenAI目前会通过观察模型的“思维链推理”判断智能体是否偏离预期，但帕乔基称，新模型越来越擅长调整自身推理过程，一些模型甚至不再明确语言化推理，这可能削弱研究人员发现异常行为的能力。
第三是AI参AI研发本身。帕乔基称，随着“机器递归自我改进”能力增强，AI可能进一步加速下一代模型研发。他并不反对自动化AI研究，但认为不能让人类失去对这一过程的监督。
“自动化AI研究的核心挑战不是‘到达那里’，”他说，“而是以一种让人类继续参与改进过程、让未来仍掌握在人类手中的方式到达那里。”