模型动态X:ARC Prize (@arcprize)
AGI (Verified) 评测中的成绩公布
核心亮点
ARC Prize 公布了 DeepSeek V4.1 Flash 在 ARC-AGI(Verified)上的成绩:ARC-AGI-2 得分 72.9%,每任务成本 0.13 美元;ARC-AGI-1 得分 94.5%,每任务成本 0.07 美元。简单说,它在“考验真正泛化能力”的基准上又往前挪了一步。
具体能力或事件经过
相比 V4 Flash 的最佳成绩,V4.1 Flash 在 ARC-AGI-1 高 5.5 分、ARC-AGI-2 高 11.5 分,但每任务成本约高出 250%。也就是说,分数涨了,单价也涨了——性能与性价比需要分开看,不能只盯着榜首数字。
技术细节
ARC-AGI 以“给极少样例、测新规律”著称,被认为比常规 benchmark 更接近“类人抽象推理”。DeepSeek 用 Flash 小模型拿到这个分数,说明其蒸馏与推理优化有效;高成本则来自更长的推理链或更多采样,本质是用算力换准确率。
与竞品对比
OpenAI、Google 的前沿模型也在此榜刷分。DeepSeek 的优势仍是“同级别里更便宜”,即便 V4.1 Flash 单价上升,绝对成本仍低于多数闭源对手,对预算敏感的研究者仍有吸引力。
行业影响或适用场景
对研究者,这是观察“小模型能否逼近前沿推理”的窗口;对工程落地,ARC-AGI 高分不等于业务好用,但它是模型泛化能力的硬指标之一,能筛掉只会背题的模型。
延伸判断
分数与成本同步上升,提示“泛化”可能正在被算力堆出来。真正值得关注的是:同等成本下,小模型离前沿还有多远。
延伸观察
分数与成本同步上升,提示“泛化”可能正在被算力堆出来;真正值得关注的是同等成本下,小模型离前沿还有多远。