OpenAI，有大事发生！最近各种爆料频出，比如 OpenAI 已经跨过「递归自我改进」临界点，o4、o5 已经能自动化 AI 研发，甚至 OpenAI 已经研发出 GPT-5？OpenAI 员工如潮水般爆料，疯狂暗示内部已开发出 ASI。
种种迹象表明，最近 OpenAI 似乎发生了什么大事。
AI 研究员 Gwern Branwen 发布了一篇关于 OpenAI o3、o4、o5 的文章。
根据他的说法，OpenAI 已经跨越了临界点，达到了「递归自我改进」的门槛 ——o4 或 o5 能自动化 AI 研发，完成剩下的工作！
文章要点如下 ——
甚至还出现了这样一种传言：OpenAI 和 Anthropic 已经训练出了 GPT-5 级别的模型，但都选择了「雪藏」。
原因在于，模型虽能力强，但运营成本太高，用 GPT-5 蒸馏出 GPT-4o、o1、o3 这类模型，才更具性价比。
甚至，OpenAI 安全研究员 Stephen McAleer 最近两周的推文，看起来简直跟短篇科幻小说一样 ——
总之，越来越多 OpenAI 员工，都开始暗示他们已经在内部开发了 ASI。
这是真的吗？还是 CEO 阿尔特曼「谜语人」的风格被底下员工学会了？
很多人觉得，这是 OpenAI 惯常的一种炒作手段。
但让人有点害怕的是，有些一两年前离开的人，其实表达过担忧。
莫非，我们真的已处于 ASI 的边缘？
超级智能（superintelligence）的「潘多拉魔盒」，真的被打开了？
OpenAI:「遥遥领先」
OpenAI 的 o1 和 o3 模型，开启了新的扩展范式：在运行时对模型推理投入更多计算资源，可以稳定地提高模型性能。
如下面所示，o1 的 AIME 准确率，随着测试时计算资源的对数增加而呈恒定增长。
OpenAI 的 o3 模型延续了这一趋势，创造了破纪录的表现，具体成绩如下：
根据 OpenAI 的说法，o 系列模型的性能提升主要来自于增加思维链（Chain-of-Thought，CoT）的长度（以及其他技术，如思维树），并通过强化学习改进思维链（CoT）过程。
目前，运行 o3 在最大性能下非常昂贵，单个 ARC-AGI 任务的成本约为 300 美元，但推理成本正以每年约 10 倍的速度下降！
Epoch AI 的一项最新分析指出，前沿实验室在模型训练和推理上的花费可能相似。
因此，除非接近推理扩展的硬性限制，否则前沿实验室将继续大量投入资源优化模型推理，并且成本将继续下降。
就一般情况而言，推理扩展范式预计可能会持续下去，并且将是 AGI 安全性的一个关键考虑因素。
AI 安全性影响
那么推理扩展范式对 AI 安全性的影响是什么呢？简而言之，AI 安全研究人员 Ryan Kidd 博士认为：
AGI 时间表
o1 和 o3 的发布，对 AGI 时间表的预测的影响并不大。
Metaculus 的「强 AGI」预测似乎因为 o3 的发布而提前了一年，预计在 2031 年中期实现；然而，自 2023 年 3 月以来，该预测一直在 2031 到 2033 年之间波动。
Manifold Market 的「AGI 何时到来？」也提前了一年，从 2030 年调整为 2029 年，但最近这一预测也在波动。
很有可能，这些预测平台已经在某种程度上考虑了推理计算扩展的影响，因为思维链并不是一项新技术，即使通过 RL 增强。
总体来说，Ryan Kidd 认为他也没有比这些预测平台当前预测更好的见解。
部署问题
在《AI Could Defeat All Of Us Combined》中，Holden Karnofsky 描述了一种模棱两可的风险威胁模型。
在此模型中，一群人类水平的 AI，凭借更快的认知速度和更好的协调能力超过了人类，而非依赖于定性上的超级智能能力。
这个情景的前提是，「一旦第一个人类水平的 AI 系统被创造出来，创造它的人，可以利用创造它所需要的相同计算能力，运行数亿个副本，每个副本大约运行一年。」
如果第一个 AGI 的运行成本和 o3-high 的成本一样（约 3000 美元 / 任务），总成本至少要 3000 亿美元，那么这个威胁模型似乎就不那么可信了。
因此，Ryan Kidd 博士对「部署问题」问题的担忧较小，即一旦经过昂贵的训练，短期模型就可以廉价地部署，从而产生巨大影响。
这在一定程度上减轻了他对「集体」或「高速」超级智能的担忧，同时略微提升了对「定性」超级智能的关注，至少对于第一代 AGI 系统而言。
监督思维链
如果模型的更多认知，是以人类可解释的思维链（CoT）形式嵌入，而非内部激活，这似乎是通过监督来促进 AI 安全性的好消息！
尽管 CoT 对模型推理的描述并不总是真实或准确，但这一点可能得到改进。
Ryan Kidd 也对 LLM 辅助的红队成员持乐观态度，他们能够防止隐秘的阴谋，或者至少限制可能秘密实施的计划的复杂度，前提是有强有力的 AI 控制措施
从这个角度来看，推理计算扩展范式似乎非常有利于 AI 安全，前提是有足够的 CoT 监督。
不幸的是，像 Meta 的 Coconut（「连续思维链」）这样的技术可能很快就会应用于前沿模型，连续推理可以不使用语言作为中介状态。
尽管这些技术可能带来性能上的优势，但它们可能会在 AI 安全性上带来巨大的隐患。
正如 Marius Hobbhahn 所说：「如果为了微小的性能提升，而牺牲了可读的 CoT，那简直是在自毁前程。」
然而，考虑到用户看不到 o1 的 CoT，尚不确定是否能知道非语言 CoT 被部署的可能性，除非通过对抗性攻击揭示这一点。
AGI 来了
美国 AI 作家和研究员 Gwern Branwen，则认为 Ryan Kidd 遗漏了一个重要方面：像 o1 这样的模型的主要目的之一不是将其部署，而是生成下一个模型的训练数据。
o1 解决的每一个问题现在都是 o3 的一个训练数据点（例如，任何一个 o1 会话最终找到正确答案的例子，都来训练更精细的直觉）。
这意味着这里的扩展范式，可能最终看起来很像当前的训练时范式：大量的大型数据中心，在努力训练一个拥有最高智能的最终前沿模型，并以低搜索的方式使用，并且会被转化为更小更便宜的模型，用于那些低搜索或无搜索的用例。
对于这些大型数据中心来说，工作负载可能几乎完全与搜索相关（因为与实际的微调相比，推出模型的成本低廉且简单），但这对其他人来说并不重要；就像之前一样，所看到的基本是，使用高端 GPU 和大量电力，等待 3 到 6 个月，最终一个更智能的 AI 出现。
OpenAI 部署了 o1-pro，而不是将其保持为私有，并将计算资源投资于更多的 o3 训练等自举过程。
Gwern Branwen 对此有点惊讶。
显然，类似的事情也发生在 Anthropic 和 Claude-3.6-opus 上 —— 它并没有「失败」，他们只是选择将其保持为私有，并将其蒸馏成一个小而便宜、但又奇怪地聪明的 Claude-3.6-sonnet。
OpenAI 突破「临界点」
OpenAI 的成员突然在 Twitter 上变得有些奇怪、甚至有些欣喜若狂，原因可能就是看到从原始 4o 模型到 o3（以及现在的状态）的改进。
这就像观看 AlphaGo 在围棋中等国际排名：它一直在上升…… 上升…… 再上升……
可能他们觉得自己「突破了」，终于跨过了临界点：从单纯的前沿 AI 工作，几乎每个人几年后都会复制的那种，跨越到起飞阶段 —— 破解了智能的关键，以至 o4 或 o5 将能够自动化 AI 研发，并完成剩下的部分。
2024 年 11 月，阿尔特曼表示：
不久却又改口：
而其他 AI 实验室却只能望洋兴叹：当超级智能研究能够自给自足时，根本无法获得所需的大型计算设备来竞争。
最终 OpenAI 可能吃下整个 AI 市场。
毕竟 AlphaGo / Zero 模型不仅远超人类，而且运行成本也非常低。仅仅搜索几步就能达到超人类的实力；即使是仅仅前向传递，已接近职业人类的水平！
如果看一下下文中的相关扩展曲线，会发现原因其实显而易见。
论文链接：https://arxiv.org/pdf/2104.03113
继续蒸馏
推理时的搜索就像是一种刺激剂，能立即提升分数，但很快就会达到极限。
很快，你必须使用更智能的模型来改善搜索本身，而不是做更多的搜索。
如果单纯的搜索能如此有效，那国际象棋在 1960 年代就能解决了。
而实际上，到 1997 年 5 月，计算机才击败了国际象棋世界冠军，但超过国际象棋大师的搜索速度并不难。
如果你想要写着「Hello World」的文本，一群在打字机上的猴子可能就足够了；但如果想要在宇宙毁灭之前，得到《哈姆雷特》的全文，你最好现在就开始去克隆莎士比亚。
幸运的是，如果你手头有需要的训练数据和模型，那可以用来创建一个更聪明的模型：聪明到可以写出媲美甚至超越莎士比亚的作品。
2024 年 12 月 20 日，阿尔特曼强调：
因此，你可以花钱来改善模型在某些输出上的表现…… 但「你」可能是「AI 实验室」，你只是花钱去改善模型本身，而不仅仅是为了某个一般问题的临时输出。
这意味着外部人员可能永远看不到中间模型（就像围棋玩家无法看到 AlphaZero 训练过程中第三步的随机检查点）。
而且，如果「部署成本是现在的 1000 倍」成立，这也是不部署的一个理由。
为什么要浪费这些计算资源来服务外部客户，而不继续训练，将其蒸馏回去，最终部署一个成本为 100 倍、然后 10 倍、1 倍，甚至低于 1 倍的更优模型呢？
因此，一旦考虑到所有的二阶效应和新工作流，搜索 / 测试时间范式可能会看起来出奇地熟悉。
参考资料：
本文来自微信公众号：新智元（ID：AI_era）
