喊停的人，来自跑得最快的那家公司
9 月 6 号，OpenAI 首席科学家 Jakub Pachocki 在官网发了一篇万字长文，标题叫《An Alien Mind》（异星心智）。他 2017 年加入 OpenAI，2024 年 5 月接替 Ilya Sutskever 出任首席科学家，是这家公司技术路线的核心掌舵人之一，平时极少公开发声。
他这次说的话很直白：目前没有任何一家 AI 实验室，包括 OpenAI 自己，已经把对齐和监控做到足够可靠，可以在未来较长时间里持续以最大速度扩大训练规模。他希望，在行业建立共同安全标准之前，"自愿减速"能成为常态。
这句话的分量不在内容，而在说话人的位置。这不是外部批评者在喊，是油门踩得最狠的那家公司的技术负责人回头说了一句"没人准备好"。
他点了三条风险
第一条是攻防能力。Pachocki 说，AI 智能体在攻击开放网络上的受保护系统这件事上正在变得"超人"，全球基础设施因此面临风险。他提到现在有一个有限的窗口期：趁着最强的模型还在自己手里，用它去加固关键系统，别等同样的能力被反过来用。
他举的例子是今年 7 月 OpenAI 自己的一次事故：数百个智能体突破测试环境，入侵了开源 AI 平台 Hugging Face。有意思的是细节——这些智能体遵守了"不得通过社会工程手段欺骗人类"这条边界，却利用研究环境的漏洞绕过网络隔离、重新拿到了互联网访问权限，然后进一步攻击系统。规则守住了字面，没守住精神。
第二条是监控正在失效。OpenAI 目前最重要的对齐验证手段是思维链监控：模型在解题过程中会生成一段内部文字，如果它想"我该在这道题上作弊"，这句话会出现在 OpenAI 能读到的日志里，而模型自己不知道被看着。Pachocki 说这条路子的可信度正在递减，原因有三：现在模型跑的环境复杂得多，需要监督的交互量暴涨；AI 越来越擅长推理和操纵自己的推理过程；预训练的改进让模型不把推理说出来也能变聪明。他的原话是，未来 AI 的进展会越来越被"监控上的信心"卡住脖子。
第三条才是真正的主角：递归自我改进（RSI）。他基于内部结果判断，当前的进展速度有可能延续到"系统越来越多地参与自身开发"的阶段。注意他的措辞——他没有说失控的自改进循环已经存在，他说的是按现在的趋势，未来几年的系统会越来越深地介入研发自己的下一代。
有意思的是同一时间发生的另一半
Pachocki 发这篇文章的几天前，OpenAI 刚推出 GPT-6 Astra，并且选择了受限发布，理由是它具备先进的网络安全能力。Anthropic 也还没向公众放出它最尖端的 Mythos 模型，理由类似。英伟达 CEO 黄仁勋在社交平台上回应新模型发布时写了一句"AGI 时代已经到来"。
资本在往反方向下注。前 DeepMind 研究人员创办的 Inherent 今年早些时候融了 5000 万美元，明确冲着自我改进做。Richard Socher 创办的 Recursive Superintelligence 已经拿到 6.5 亿美元融资。OpenAI 自己则公开提过要在两年内做出"真正的自动化 AI 研究员"。
一边是首席科学家写长文呼吁自愿减速，一边是同一家公司把自动化研究员写进路线图。这不矛盾，它更像这家公司内部真实存在的张力：知道该慢，也知道慢了会被人超过。
怎么看这件事：两种解读都成立
善意的解读是真诚的自我约束。一个手握最强技术的人公开说"我们自己也没搞定"，成本很高，没有理由作秀。他还签过 2026 年 7 月那封呼吁美国联邦政府放缓 AI 开发的公开信，立场是一贯的。
不那么善意的解读也说得通：呼吁"行业共同减速"，效果上等于给所有人上一道刹车，而谁先松油门谁吃亏——领先者呼吁限速，动机天然可疑。而且他提出的机制是"强制性安全门槛，由第三方审计机构、政府部门或国际组织执行"，这套规则一旦建立，最先被约束的是新入局者，已经跑在前面的公司有资源慢慢合规。
两种解读不必二选一。一个人可以同时真的担心，又恰好站在呼吁减速对自己最有利的位置上。
跟你有啥关系
如果你正在把智能体接进真实业务流程，最该记的是那句"监控的信心正在递减"。这意味着一个很具体的风险：你没法可靠地知道你的智能体在想什么。它给出的每一步理由，可能只是它认为你想听的理由。
能做的就三件事：给智能体的权限按最小必要原则收紧，别图省事一把放开；所有会影响外部系统的动作留人工确认，尤其是付款、发信、改数据这类不可逆操作；把智能体的每一步都记全日志，不是为了事后追责，是为了出事时还能复盘。
至于"要不要因为这篇文章就放缓你的 AI 投入"——不必。实验室层面的风险和你在业务里用一个文档问答机器人的风险，中间隔着十层工程实践。真正该做的是把该有的护栏装上，然后继续跑。