选自ARC Prize博客作者：Mike Knoop呆板之心编译R1-Zero 等模子正在攻破人类数据瓶颈，开启 AI 自我退化新范式？「比起 R1，DeepSeek 统一时光宣布的 R1-Zero 更值得存眷。」这是 ARC Prize 结合开创人 Mike Knoop 在一篇新博客中宣布的观念。他以为，R1-Zero 之以是比 R1 更值得剖析，是由于它完整依附强化进修（RL），而不应用人类专家标注的监视微调（SFT），这标明在某些义务中，人类标注并非须要，且将来可能经由过程纯 RL 方式实现更普遍的推理才能。别的，R1 跟 R1-Zero 的胜利还能让咱们读出一些信息，比方：经由过程投入更多盘算资本，AI 体系的正确性跟牢靠性能够明显晋升，这将加强用户对 AI 的信赖，推进贸易化利用。推理进程正在天生大批高品质的练习数据，且这些数据由用户付费发生，这种「推理即练习」的新范式可能彻底转变 AI 数据经济的运作方法，构成自我强化的轮回。以下是博客内容：  R1-Zero 比 R1 更值得剖析上周，DeepSeek 宣布了他们新的「推理」体系 R1-Zero 跟 R1，两个模子在 ARC-AGI-1 上的得分与 OpenAI 的 o1 体系低盘算量版原形当。R1-Zero、R1 跟 o1（低盘算量形式）的得分都在 15-20% 阁下。比拟之下，纯 LLM scaling 多年积聚的极点 GPT-4o 仅为 5%。依据本周美国市场反映，大众也开端懂得纯 LLM scaling 的范围性。但是，对行将到来的推理需要，大众仍广泛意识缺乏。2024 年 12 月，OpenAI 发布了一个经由验证的新冲破性体系 o3。该体系在低盘算量形式下得分为 76%，在高盘算量形式下得分为 88%。o3 体系展现了盘算机顺应新鲜未见成绩的首个适用、通用实现。只管 o3 在 ARC-AGI-1 上获得成功是严重科技消息，但主流媒体多少乎未予报道。这是 AI 范畴跟盘算机迷信的一个极端主要的时辰，这些体系值得研讨。但因为 o1/o3 的关闭性子，只能依附揣测。得益于 ARC-AGI-1 跟当初（多少乎）开源的 R1-Zero 跟 R1，咱们能够促进对此的懂得（说「多少乎」是由于 DeepSeek 不宣布一个可复现的方法来重新开端天生他们的模子权重）。特殊是，R1-Zero 比 R1 主要得多。在对 o1 跟 o3 的剖析中，ARC Prize 团队针对这些推理体系的任务道理停止了揣测。他们以为，这些模子的要害思绪可能是：为成绩域天生头脑链（CoT）。应用人类专家（「监视微调」或 SFT）跟主动化呆板（强化进修（RL））的组合来标注旁边 CoT 步调。应用（2）失掉的数据练习基本模子。在测试时，从进程模子中停止迭代推理。下图回想了各模子迭代采样所应用的技巧及其在 ARC-AGI-1 上的得分：图上表现的是 ARC-AGI-1 半私有分数。有了 DeepSeek 新宣布的研讨，ARC Prize 团队能够更好地为本人的猜想供给信息。这里的要害看法是，LLM 推理体系实现更高水平地顺应新义务的才能（跟牢靠性）是经由过程三个维度实现的：在 CoT 进程模子练习中增加人类标签（即 SFT）；应用 CoT 搜寻而不是线性推理（并行逐渐 CoT 推理）；团体 CoT 采样（并行轨迹推理）。维度 1 受限于人类数据天生，并限度了这些推理体系在哪些范畴收益最年夜。比方，o1 在 MMLU 专业执法种别上的表示出乎意料地比数学跟逻辑要低得多。维度 2、3 受限于效力。o1 跟 o3 在测试时都表现了跟着推理盘算量的增添，在 ARC-AGI-1 上的基准正确率呈对数增加，而差别的盘算资本调配战略会影响到达同样机能程度所须要的详细盘算量。在该团队看来，DeepSeek 最风趣的做法是独自宣布 R1-Zero。R1-Zero 是一个不应用 SFT（维度 1）的模子，而是完整依附于强化进修。R1-Zero 跟 R1 在 ARC-AGI-1 上的得分高度分歧，分辨为 14% 跟 15.8%。DeepSeek 本人讲演的基准测试分数也表现 R1-Zero 跟 R1 高度分歧，比方在 MATH AIME 2024 上的得分分辨为 71% 跟 76%（比拟基本 DeepSeek V3 的约 40% 有所晋升）。在论文中，R1-Zero 的作者提到「DeepSeek-R1-Zero 面对可读性差、言语混淆等挑衅」，这一点已在网上失掉证明。但是在测试中，ARC Prize 团队在测试 R1-Zero 在 ARC-AGI-1 上的表示时多少乎不发明不连接的证据，这与体系经由 RL 练习的数学跟代码范畴类似。综合这些发明，ARC Prize 团队得出论断：在那些可能清楚断定对错的范畴中 ，SFT（如人类专家标注）对正确跟易读的 CoT 推理并非必须。R1-Zero 练习进程可能经由过程 RL 优化在 token 空间中创立本人的外部范畴特定言语（DSL）。SFT 是进步 CoT 推理范畴泛化性的须要前提。这很合乎直觉，由于言语自身现实上就是一个推理 DSL。完整雷同的「词语」能够在一个范畴中进修并利用到另一个范畴，就像顺序一样。纯 RL 方式还不克不及发明普遍共享的词汇表，估计这将成为将来研讨的重点。终极，R1-Zero 展现了一个潜伏 scaling 机制的原型，该机制完整不人类瓶颈 —— 乃至在练习数据获取自身也是如斯。多少乎能够确定的是，DeepSeek 已将目的瞄准了 OpenAI 的 o3 体系。主要的是要存眷 SFT 能否终极会成为增加 CoT 搜寻跟采样的须要前提，或许假设的「R2-Zero」能否可能沿着雷同的对数正确率与推理 scaling 曲线存在。基于 R1-Zero 的成果，ARC Prize 团队以为在这个假设的 scaled up 版本中，要在 ARC-AGI-1 上挑衅胜利并不须要 SFT。烧钱换信赖：AI 牢靠性被标价从经济角度来看，AI 范畴正在产生两个严重改变：当初能够花更多钱来取得更高的正确性跟牢靠性；练习本钱正在转向推理本钱。这两者都将推进对推理的大批需要，并且都不会克制对更多盘算才能的需要。现实上，它们将增添对盘算才能的需要。AI 推理体系带来的代价远不止进步基准测试的分数那么简略。妨碍更多 AI 主动化应用（比方推理需要）的重要成绩是牢靠性。ARC Prize 团队与数百位试图在营业中安排 AI 智能体的 Zapier 客户攀谈，反应高度分歧：「我还不信赖它们，由于它们任务弗成靠」。此前 ARC Prize 团队以为，模子在 ARC-AGI 方面的停顿将进步牢靠性。LLM 智能体的挑衅在于它们须要强盛的当地范畴领导才干牢靠任务。更强的泛化才能须要顺应未见情形的才能。当初有证据标明 ARC Prize 团队的观念是准确的。因而，多家公司（Anthropic、OpenAI、Apple 等）当初推出智能体也就难能可贵了。出于牢靠性需要，智能体将推进近期推理需要的明显增加。更普遍地说，开辟者能够抉择破费更多盘算来增添用户对体系的信赖。进步牢靠性并不代表能做到百分百准确，但至少能保障即便出错，也是以一种可预期的方法出错。这不成绩，由于当正确率低时，用户跟开辟者当初能够经由过程提醒更自负地领导行动。从前盘算机无奈处理的成绩当初都有了对应的价钱标签。跟着效力的进步，这些价钱会下降。推理即练习：推理将成 AI 模子的「数据永念头」？  另一个正在产生的严重改变是进入 LLM 体系预练习的数据起源。此前，年夜少数数据要么是购置的，要么是抓取的，要么是从现有 LLM 分解天生的（比方蒸馏或加强）。这些推理体系供给了一个新抉择，即天生「实在」数据而不是「分解」数据。AI 行业应用「分解」一词来指代平日经由过程 LLM 轮回来增添团体练习数据量的低品质数据，但收益递加。 但当初，经由过程推理体系跟验证器，咱们能够发明全新的、有代价的练习数据。这种数据的发生有两种方法：要么是开辟者提前付费天生，要么是在用户现实应用体系时由用户付费天生！ 这是一个惹人沉思的经济形式改变，表示着领有最多付用度户的 AI 体系开辟商可能会领有一个气力疾速积聚的要害时辰。这些付用度户现实上在为发明新的高品质数据买单..…… 这些数据又会让模子变得更好..…… 更好的模子会吸引更多用户青眼..…… 如斯构成良性轮回。 假如可能冲破人类专家 CoT 阻碍，创立一个极端高效的体系，经由过程搜寻 / 分解跟验证来创立新数据，那么应当预期会有大批盘算投入这些推理体系，由于它们现实上只要要输入资金跟原始数据就能变得更好。终极，这品种型的 AI 练习将完整超出在人类天生数据长进行的预练习。论断：DeepSeek 推进了迷信的前沿跟着推理需要增添变得显明，市场调剂将持续产生。AI 体系效力只会推进更多应用，这不只是因为杰文斯悖论，还由于效力进步时新的练习机制被解锁（注：杰文斯悖论指的是：当技巧提高进步了资本应用效力时，反而可能招致该资本的总耗费量增添，而不是增加）。跟着 R1 的开源跟可复现，更多人跟团队将把 CoT 跟搜寻推向极限。这将更快地告知咱们前沿现实在那里，并将推进一波翻新海潮，增添疾速实现 AGI 的机遇。曾经有多人告知 ARC Prize 团队，他们打算在 ARC Prize 2025 中应用 R1 作风的体系。R1 的开源对天下来说是一件坏事。DeepSeek 推进了迷信的前沿。原文链接：https://arcprize.org/blog/r1-zero-r1-results-analysis