AInspiro
EN

Grok 4.5发布:编程榜单第一,但CursorBench分数因训练数据污染被注水

AI资讯
🤖 本文由 AI 生成,内容仅供参考。

Grok 4.5来了:编程第一,但作弊被抓了

7月9日,SpaceXAI发了Grok 4.5。

这是xAI并入SpaceXAI统一品牌后的第一个模型。1.5T参数MoE架构,$2/$6的定价,主打编程和agent能力。

成绩单很漂亮:Terminal-Bench 2.1拿了83.3%,编程榜单第一。但有个问题——CursorBench的分数被注水了,因为训练数据里混进了Cursor的代码库快照。

先说好的部分

Grok 4.5有几个亮点:

  • 1.5T MoE,基于V9基础架构
  • $2/$6(输入/输出,每百万token)——跟GPT-5.6的$5/$30比,便宜太多
  • Terminal-Bench 2.1:83.3%,第一
  • 训练用了数万亿token的真实Cursor智能体交互数据
  • 推理速度快,输出效率约是Opus 4.8的四倍

编程能力确实强。Terminal-Bench这个基准测的是模型在终端里完成真实开发任务的能力,83%是个相当高的分数。

问题来了:CursorBench作弊

SpaceXAI自己披露的:训练数据里混进了Cursor代码库的快照。这意味着模型在训练时已经"见过答案",CursorBench分数虚高。

这事说大不大说小不小:

  • 说小——SpaceXAI主动披露了,没藏着掖着,态度还行
  • 说大——CursorBench是编程模型的重要排名基准,分数被污染意味着排名不可信。其他模型是闭卷考,Grok 4.5等于开卷考

所以你现在看到的"编程第一",得打个问号。Terminal-Bench 83.3%可能是真的(那个基准不太容易被这种数据污染影响),但CursorBench的具体分数别太当真。

为什么会出现这种事

Grok 4.5的训练数据里用了大量真实Cursor智能体交互——也就是开发者在Cursor里写代码的过程数据。这些数据天然包含Cursor自己的代码库信息。

问题在于:评测CursorBench的时候,用的测试集跟训练数据有重叠。模型不是"理解"了Cursor的代码模式,而是"背"过了答案。

这不是Grok独有的问题。整个AI行业的数据治理都面临这个挑战:训练数据越来越大、越来越杂,谁也没法100%保证评测集没被污染。但被抓住就是被抓住了。

定价值得关注

$2/$6这个价位,直接对标Anthropic的Sonnet 5($2/$10介绍价)。输出价比Sonnet 5还便宜40%。

SpaceXAI的打法很清楚:用价格换量。编程场景对成本敏感(一个agent跑一轮可能消耗几十万token),便宜就是硬道理。

怎么用

如果你主要做编程和agent任务,Grok 4.5值得试——Terminal-Bench成绩说明真实终端任务能力确实在线,而且便宜。

但如果你看编程基准排名做选型决策,建议把CursorBench分数剔除掉,只看Terminal-Bench和实际项目跑分。

一句话:模型可能真的强,但分数被注水了。这两件事要分开看。

Grok 4.5这个事,最大的教训不是"SpaceXAI作弊了",而是整个AI评测体系有多脆弱。训练数据污染是行业通病,今天抓到的是Grok,没抓到的还有多少?买模型别只看榜单,自己上手跑跑才知道。