AI 排行榜怎么评分？拆 Artificial Analysis

这期讲了什么

• Artificial Analysis 榜上第一名和第二名同为 53 分并列，往后是 51 分、50 分——所谓”总分”不是一场考试的分，而是十项评测合成的平均分，里面包括写代码、解物理题、读超长文档等。
• 总分最高的模型，可能在你最在意的那门单项课上只排第七，按用途看单项分比看总分更有用。
• 模型名字后面括号里的 max、high、xhigh 是推理档位：同一个模型按 low / medium / high / xhigh / max 五档分别上榜，榜首是它最使劲那一档跑出来的，你平时用的多半不是那一档。
• Fireworks 公布的代码能力测试表上，第一名 74.34 分只比第四名 73.65 分高 0.7 分，而同一套题跑两遍成绩本身就能差 1.4 到 3.2 分——榜首差距比自身波动还小。
• 最该看的其实是”每做一道题要花多少钱”那一栏：分数几乎相同的模型，最便宜的约 0.43 美元/题，最贵的将近 12 美元/题，差出二十多倍。

文字稿

AI 排行榜的总分是怎么算出来的

AI 排行榜又换第一了。你大概也刷到过，这家说自己登顶，那家说自己屠榜，隔几天再看，榜首又换人了。我自己也纳闷过，模型真有这么快就被超过吗。后来把几家榜单的官网翻了一遍，才发现问题不在模型身上，在榜自己身上。一个模型的总分，到底是谁打的，又是怎么打出来的？

先看一眼真实的榜。榜叫 Artificial Analysis，柱子从高到低排着，第一名 53 分，第二名也是 53 分，两家并列，再往后是 51 分和 50 分。天天刷到有人登顶，结果榜首是个平局。既然能并列，那所谓的换人，换的是什么？

关键在于，这个分根本不是一场考试的分。榜单标题下面那行灰色小字写着，这一版用了十项评测，里头有写代码的，有解物理题的，有读超长文档的。十门课各考一遍，再合成一个分。你要拿它写代码，就看写代码那一门；你要它读一份几十页的合同，就看读长文档那一门。合出来最高的那个，完全可能在你最在意的那门课上排第七。

名字后面括号里的档位是什么意思

榜单还藏着第二行小字。柱子底下的名字后面都跟着一个括号，写着 max、high、xhigh。这是档位，意思是允许模型想多久、算多细。

同一个模型在这张榜上占了整整五行：low、medium、high、xhigh、max，同一天评了五次。榜首那个写着 max 的，是最使劲的一档。你以为你用的就是榜首那个？你看到的那个第一名，是它最使劲那一档跑出来的，你平时用的多半不是那一档。

为什么榜首三天两头换人

这还只是一张榜。换一家看，小字更要命。有家公司叫 Fireworks，专给别人提供 AI 服务，公布过一张代码能力测试表，四个模型，最高的 74.34 分，最低的 73.65 分，第一名比第四名只高出零点七分。

可就在同一页，他们自己写了一句话：同一套题跑两遍，成绩本身就能差一点四到三点二分。也就是说，第一名和第四名的差距，比自己跑两遍的起伏还小。这种时候谁排前面，一部分是实力，一部分是那天的手气。榜首三天两头换人，有不少就是这么换的。

那该看哪一栏？最右边那栏，很多人从来不看：每做一道题要花多少钱。还是那张表，分数几乎一样，最便宜的一道题四毛三美元，最贵的将近十二美元。折成人民币，一个三块出头，一个八十多。官网干脆画了张图，把又好又便宜的那块涂成了绿色。

这些都是点开官网一页页看的，截图就在画面上。哪家模型更强，换张榜可能就换答案，不下结论。所以下回再看到 AI 排行榜又换人了，别急着换工具，花十秒看清楚三样：分是几门课合出来的、名字后面括号里是哪一档、旁边那道题要花多少钱。

常见问题

Artificial Analysis 排行榜的分数怎么算？

它的”总分”不是一场考试的分，而是十项评测各考一遍后合成的平均分，项目覆盖写代码、解物理题、读超长文档等。所以总分最高的模型，可能在你最需要的单项能力上只排第七，挑模型应按用途看单项分。

模型名后面 max、high 这些档位是什么？

那是推理档位，意思是允许模型想多久、算多细。同一个模型按 low、medium、high、xhigh、max 五个档位分别上榜、同一天评五次，榜首通常是 max 档跑出来的成绩，日常使用的默认档位多半不是它。

排行榜第一名和后面的差距有多大？

可能非常小。Fireworks 的代码能力测试表里第一名 74.34 分、第四名 73.65 分，只差 0.7 分；而同一套题跑两遍，成绩本身就会波动 1.4 到 3.2 分。差距比波动还小时，排名有一部分是运气，更值得关注的是每道题的调用成本。