每一次新模型下降时,每个人都会看它登上领导板,为"世界最强"头条而竞相登顶. 但几乎没有人停下来问:**我们为什么要相信他们?**这部作品认为,"哪个模型最强"是错误的问题. 真正的一个是_评分AI法官是值得信赖的,_当考试被饱和,泄露,游戏,甚至法官被购买时,分数就失去了意义——而实际上稀缺和有价值的部分却悄悄地迁移到别的地方.
让我们抛出一个被问死的问题:哪个型号最强? 谁是SOTA?"
事实=最新艺术,即"目前最强". 每个新型号的发射甲板都用条形图打开告诉你击败所有对手.
这个问题是错误的,因为它的答案_每几周翻转一次_并且意味着越来越少——前沿模型长期以来一直在争夺小数点. 真正值得问的是一个不同的问题:
那些让你去"呜"的分数——谁写了测试,谁分了,谁有决定权?
当"Exam"本身可以被游戏,泄露,并购买——**分数还能信任吗? 谁评分AI?**这不是科技流言乃问权. 谁控制了值得信赖的判断标准拥有隐藏的王位AI时代。
我带你穿过四条裂缝打开...饱和漏水被测试者玩弄被评委买下——然后告诉你真正的价值正在移向何处,因为公共基准会大量丧失可信度. 到最后,你会看到这是相同的逻辑与AI我之前写的"信任层"
为什么这值15分钟? 因为它决定了一个非常实际的判断:**输入AI游戏,长期持久价值实际在哪里解决?**大多数人都把全部注意力放在"模型"层上——谁的参数更多,得分更高. 但是如果模型最终融合起来,商品化, 并像公用事业一样贬值, 那么将你的财富赌在“怀疑哪个模型获胜”上, 就是在那些迅速商品化的东西上赌注。 值得观察的是那些位置_别像模特儿一样堕落_——而"判断权"就是其中之一:无论模型如何变化,"判断是否良好,能否被信任"总是需要有人来做,而且只会变得更加困难. 看这层,你的观点AI从"寻找新模式"升级为"寻找真正的护城河".
图1随着模型本身越来越相似和可互换(商品化如公用事业),稀缺的东西不再是"谁的模型更强大",而是"谁可以判断它是否更强大"——判断的权利.
01裂缝一: 头板被最大( 饱和度)
首先,什么是"领导板"? 那个AI场级模型,堆积基准——基本实行"标准化考试". 比如说,姆卢(57个学科的多重选择)和_GPQA 地图_(研究生科学问题). 一个模特儿参加考试,得到一个分数,每个人都按照这个分数来排队.
问题是这些考试正在得到最大输出到2026年初,在MMLU-Pro——双子座3 Pro~90.1%,克劳德·奥普斯(Claude Opus)4.5~89.5%上,顶尖前沿模型全部聚集在90%左右. 当每个顶级竞争者得分超过88%时,他们之间的差距是:_统计上几乎毫无意义_对采购决定毫无用处。 即使是野人也是GPQA Diamond(GPQA Diamond)——仅仅两年前的一套"研究生级"的难题——其中的前沿模型现在冲击到94.3%.
**现藏"古德哈特定律":**一旦一个度量衡成为目标,它就不再是一个好的度量衡. 简而言之,**当考试成为每个人竞相参加的KPI时,人们会特别地优化考试而不是真正的能力.**因此分数不断攀升,但分数和"真实能力"之间的联系却不断松动.
这就是为什么前沿实验室_MMLU和HumanEval从发射头版悄悄移动到附录_,切换到更新,更难的考试:HLE(人类的最后考试),FrontierMath,ARC-AGI 2,SWE-Bench验证... 领跑板像军备竞赛一样摇摆. 但新瓶子里的药也是一样——只要"分数"是核心营销投注,接下来的三个裂缝就无法插上.
对你来说,"用户",饱和带来非常实际的头痛:你不能再单靠领导板挑选模特儿了两年前,MMLU的排名可以大致筛选出较弱的模型;今天,前沿模型的评分都高于90, 领导板告诉你,“他们都是聪明的”,但“对于你需要做的具体事情来说,哪一个更可靠。” 这就像每个从顶级学校毕业拥有3.99 GPA—— 一旦每个人都有这个数字,它_失去歧视的力量_,你必须找到另一种方法判断谁真正适合你。 记住这个"歧视性权力的丧失"——这是价值后来向私人evalls迁移的根动力.
图2到2026年初,主流的"课"在边境几乎达到最大. 当每个人得分都超过90时,领板顺序比实际能力差异更能测量噪音.
02第二段:考试泄露(污染)
即使考试不是饱和的, 也有一个更狡猾的问题——考试泄露术语是数据污染.
什么是污染?模型是通过"阅读大量互联网文本"来训练的. 如果考试的问答在网络上发布模型在训练期间读到,那么在测试时间已经记住答案, 已经有效打开了书本. 分数膨胀——但反映的是"好的记忆",而不是"实际上的能力".
这有多常见? 与找到的清洁参考数据集进行比较的研究_很多"脏数据"_在主流领导板中:关于**27–29%甲型六氯环己烷-挑战32.6%**而中国主题基准C-Eval更糟糕,**45.8%**近一半的疑问模型可能已经 "已经看到。"
**~29%**MMLU 疑似受污染问题
**32.6%**ARC-挑战污染率
**45.8%**中国C-Eval(近一半)
污染的可怕部分在于_不需要任何人主动作弊_——问题在网上泄露,模型读取,得分悄悄充气. 你以为你在测试"理性" 但大块是测试"召回" 因此,两个模型在MMLU上都得分89, 在实际能力上大相径庭: 一个真正理解,另一个可能只是_已经记住更多_.
污染是一个恶性循环,基准越受欢迎:越权威和引用一次考试,其问题越被编译,讨论,并在网上重新张贴,从而越有可能输入下一代的训练数据——.**越出名,污染自己的速度就越快。**这就是为什么基准的保存寿命越来越短,边疆实验室必须每6个月推动一次全新的,不落叶的考试. 但这又引起了一个新问题:谁写新考试,谁评分? 将设置和评分的权力集中在几手,第三和第四裂缝被播种.
03第三段:测试者作弊(领队游戏)
前两个裂缝是"诚实的错误". 第三个是故意赌博经典案例是Llama 4 领导板丑闻(原始内容存档于2025年4月20日).
首先,一个特殊的"课堂"——**LMARENA( 原Chatbot竞技场)**这不是一个书面测试;它有真正的人类投盲:同样的问题,两个匿名的模型每个答案,你选哪个更好, “流行投票”的排名产生于大众投票。 由于它测试了真正的对话质量,并且很难进行预模拟,所以被认为是最难玩,最值得信赖的领导板之一.
随后梅塔绊倒. 当它释放Llama 4,上传到LMArena的版本是一个定制的建筑调制为"请人类喜欢", 不一样作为向公众开放的版本。 有了这个定制,Llama 4马华在竞技场上短暂击败了GPT-4o和双子座. 爆炸后,LMARENA公开发布_2 000份原始战斗记录_用于审计; Meta否认"便宜",但承认对聊天-优化建筑的实验. 更尴尬的是,每份报告,梅塔的离任主管AI科学家Yann LeCun后来承认结果 "擦了一点","不同的模型版本被用于不同的基准来给出更好的分数".
这有什么关系? 因为LMArena本来应该是"最难玩的领头牌"——即实时盲目的人类选票,理论上是不可调和的. 然而,Meta仍然找到了一种方法来进行游戏:_不是通过回忆问题,而是通过训练一个"特别喜欢,热爱情感,有长期热情的答案"的版本._以"人类投票"机制本身为目标这揭示了一个更深刻的真相——**只要领导板的排名足够有价值,测试者总是会找到一种针对它的技术;插上一个孔和另一个孔.**这不是一个领导板的缺陷;而是"公共领导板+巨大的营销回报"的必然结果.
关于来源的说明LeCun"fudged"引文来自媒体报道和诠释(不是官方声明),因此将其视为"报道". 但Meta使用自定义构建来竞争,与开源版本不一致,是一些LMArena通过发布战役记录记录和Meta本身的部分承认- 这是事实。 重点不是任何一句,而是:当领导板排名成为发布会的最大卖点时,游戏的动机是无法控制的.
04破案四:法官被收买(利益冲突)
如果前三个裂缝是"考试制度中的法则",第四击根——法官写和评分考试不是中立的案件为FrontierMath和OpenAI.
FrontierMath是一个非常困难的数学考试, 由非营利组织组织爱宝AI与一组数学家,作为严格的标准收费AI数学能力。 打开AI用它来展示它的o3模型有多强大. 听起来很权威,对吧? 直到人们知道一件事:考试由Open支付AI打开AI可以看到问题。
更糟糕的是它是如何被披露的。 打开AI资金只是_悄悄写进_最终文件发表时(2024年12月20日);几位数学家不知道OpenAI是资助者, 更别说开放AI将会接触到问题14. Epoch承认透明度问题,解释了“法律限制”拖延披露的原因,并强调有一项非正式协议,禁止公开AI从用问题来训练。
注意微妙之处:即使打开AI痷_从不用一个问题来训练_仅仅"资助者可以看到考试"这一事实就足以打折扣得分——因为一旦信任必须建立在"相信我没有作弊"上,这就不再是客观的证据了,而是一种_请求_而"不训练"的协议只是非正式——无合同,无审计,无第三方代管. 在一个这样挥霍上百亿美元价值的估值叙事的领域,在绅士的承诺上安息的公平性太轻了. FrontierMath的真正教训不是"开放"AI这让每个人都第一次想:下次我看到一个"权威的领导牌",我首先应该问——是谁出资建造的?
这是最致命的裂缝:
何时付钱的人可以看考试你怎么知道测试是公平的?在"谁的等级"后面AI" 另一个问题是:法官拿的钱是谁的? 这是判断权的中立问题.
图3将四个裂缝以及公共领导板的基座堆成"信任的法官"是空洞的:问题最多,考试漏出,考生赌博,法官买下. 各自一人是次要的;他们一起是一个系统性的"能使分数仍然可信"的问题.
05资本眼判断权:LMArena变成公司
由于"谁的成绩"是这种力量,资本不会放过它. 最好的例子是那个"流行投票竞技场"的命运,LMArena本身.
它开始于UC伯克利学术项目(LMSYS)——纯研究,纯非盈利. 但由于它成为业界默认的"kingmaker"——无论谁在竞技场排名第一,都可以在他们的发布会上写下"全球用户投票的#1",所以其价值得到了注意. 因此:2025年5月,LMArena在由a16z和UC Investment公司共同领导的600M估值中筹集了1亿美元种子.; 那样在2026年1月,它又筹集了15万美元,估价猛升到1.7B资金总额超过2.5亿美元。 一个学术评分项目在一年多一点的时间里变成了1.7B的独角兽.
600,000万美元2025/5 种子估价(a16z 牵头)
**1.7B (韩语)**2026/1 估价(150 000美元之后)
学术独角兽身份翻转在~1 年内
图4一个纯粹的非营利学术评分项目在短短一年多的时间里就变成了1.7B的独角兽. 支付这种价格的资本本质上是给"判断权"定价——但一旦法官拿钱,中立性就会得到一个问号.
这里出现了尖锐的紧张:**当"王匠"本身成为VC支持的公司追求商业回报时,它能保持中立吗?**花了A16z的钱,A16z投资了一大笔AI公司;当投资组合公司在其领导板上排名时,外人很难不想知道"法官与参赛者家族是否". 这并不意味着LMArena会偏袒任何人,它现在处于一个结构上"冲突"的地位,必须维持的中立性,"相信我,我不会欺骗"已经动摇了.
连接第三、四和五节,你会发现一个令人不安的模式:**他们的成绩是权力的一种形式, 所有的权力都受到质疑和资本化。**模特公司想玩领头板(Llama 4),资助者想影响问题(FrontierMath),VC希望购买法官席(Lmarena). 当判断权成为这种宝贵的,"保持中立"成为最反人类,最难维持的选择. 这就是为什么"公共领导板"作为可信任的法官注定会受到侵蚀——不是因为任何人是坏的,而是因为_奖励结构就坐在那里_
06真正价值所在:从"公共领导板"向"私人电子报"迁移.
到现在你可能感到有点冷酷:公共领导板是饱和的,被污染的,游戏的,买的——你能相信什么? 好消息是,我们得去医院正是因为公共领导板正在大规模丧失信誉, 真正的价值正在被逼出。 它正在向"私人电梯"迁移
逻辑很简单:银行部署AI经纪人根本不在乎_"拥有最高的MMLU"._它关心"在我自己的客户服务对话中,我自己的遵从脚本,这个模型最不可能产生幻觉或制造麻烦". 任何公共领导板都无法回答这个问题,因为它需要一个适合自身实际业务情况的闭门评价.
公共领导板对私人evals——有什么区别?.公开的领跑板就像一个"全国考试排名":对每个人进行一个测试,可以比较但与你的具体需要无关,易于游戏. 私人的eval就像一个"公司的内部评估":来自自己的真实数据分级你关心的标准(会泄露客户信息吗?) 提供错误的法律建议?”问题从不离开- 所以他们不能被游戏或污染。
图5公共领导板越失去可信度,私人的eval值越多. 企业不想要"谁拥有最高的MMLU";他们想要"在我的业务上,我的数据,这个模型最不可能造成麻烦"——这个问题只有一个闭门私人的eval才能回答.
这正在发展成为一个真正的产业。 一批公司建立企业级电子工具:脑力信任(使evals成为工程工作流程的一部分),守护神AI(由前梅塔研究者于2023年建立,检测模型幻觉和安全风险),加上朗斯密斯,伽利略,DeepEval等. 2026年3月,守护神和Braintust各自运送专门测试的套房 "AI探员们" 他们的护城河也很清晰:数据存储( 您的问题从不离开您的服务器), 游戏校验, 并适合真实任务——正是公共领导板不能给出的.
注意这个连接到我之前AI麻省理工学院的报告说,AI'真实返回在_在垂直情况下的后台_,而不是聊天箱。 要使用AI在垂直情况下,步骤一是让自己信任的Eval来判断这个模型是否真的适合你因此,私人电华并不是一个好东西——它们是实际部署企业的"质量控制门".AI,实现最终用户价值的先决条件。 也就是说,_evals正在从"研究员的小工具"转向"基础设施建设没有公司认真对待AI能够避免。"_这就是为什么一批eval创业企业能够筹集资金,讲述一个独立的商业故事——它们不卖模型,卖出"判断模型"的能力. 在一个充满模型的世界里,帮助你选对证明你选对" 这本身就是一项艰巨的要求。
07为什么Evals是AI"信任层"
现在我可以把这个连接回我一直回到的线上。
当我写到机器经济“为钱层而战”时,我打了一个电话:_模型和协议将趋同,商品化,并成为像HTTP一样的自由管道;真正稀缺和有价值的是上面的一层,即"判断事物是否可以被信任"——信任层._Evals是信任层的核心AI这个世界
模式将更加相似,更便宜,与公用事业一样可以互换;
但有权作出判断 "这个输出是好的,可以信任它, 我敢用它" 永远稀缺。无论谁控制信任, 防游戏, 任务适应 evals 持有AI时代隐藏的判断权——同样的问题代理人必须解决:"能否相信这种行为".
这就是为什么我说 "谁的成绩AI" 这是一个被严重低估的真正问题。 在一个模型能力高度趋同的世界,**造成分离的不再是"谁更强大",而是"谁能够可信地证明谁更强大,更适合你".**一旦判断权稀缺,它就会受到质疑,资本化,并像所有稀缺的权力一样被玩弄——LMArena的1.7B估值,FrontierMath的利益冲突,Llama 4的游戏都是这场比赛的脚注.
一层深,这也决定了AI自身进化。 模型进化为"向着他们所测试的东西"——在X上测试,然后向X发展. 如果整个行业的"考试"是由少数有议程的玩家持有,AI能力被悄悄地控制_向那些考试想要的_不一定是真实世界最需要的所以,"谁写问题" 不仅仅是一个公平的问题—— 实际上,定义什么是好AI" 是指远比"谁的模型更强大" 更深刻的力量持有Eval标准的人悄悄地将北极星设定为整个球场.
揭开弱点不要开除公共领导板批发。 它们具有巨大的积极价值:它们大幅降低信息不对称,让普通人比较模型,推动每个人提高能力- 没有他们,AI进展会更像是黑匣子问题从来不是"领导板是没用的"_当领导板成为市场营销KPI和发射的核心销售点时,它就会被游戏扭曲._正确的姿势并不是忽略领导板——这是了解每个测试,谁写,谁分级,然后用自己的私人爱华作为最后的大门.
我个人最感兴趣的一个扩展—— 并且会继续挖掘: 如果"法官中立"是核心痛苦, 这正是什么加密/机制设计这是最好的。 链上有一个术语: "可信的中立"——使用密码学和经济激励,所以一套规则并不依赖于"信任某些机构是公平的",而是_结构上无法偏袒任何人_。将想法移植到AIevals ——用承诺计划锁定问题,将分级结果放在链条上供审计,通过从提问者和被测试的一方中抽取结果来约束欺骗行为——你也许有下一站的“防游戏判断权”。 这是另一个被低估的交叉点AI和密码,我会单独写出来。
08结论:不要问"谁最强",问"谁得分,法官能否信任"
让我们关闭董事会。
"哪个型号最强"是个错误的问题,因为它每隔几周翻一次,而边疆过于紧凑,无法分开. 真正的问题是权力:评分AI也可以相信那个法官公共领队板被四个同时出现的裂缝空出——饱和(最大天花板),污染(问题泄露到训练数据),游戏(表示定制建设),利益冲突(出资者可以看到考试);同时,"金匠"LMArena本身成为了VC支持的1.7B公司,使得中立性更难自我认证. 因此,真正的价值是从"公共领导板"转移到"闭门私人电子报"——部署企业的质量控制门.AI,则AI信任层。
所以,下次你看到"Model X顶上全球领导板",不要激动——看三件事比"比分"有用得多:
三个比"基准分数"更可靠的判断指标.
看它用什么考试:模型卡是否报告旧的,最大/污染的基准(MMLU,HumanEval),或者更新的,更防游戏的基准(MMLU,HumanEval).SWE-Bench 核实,高级主管,ARC-AGI 2{\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}你觉得呢? 警惕那些老的还在后面的人
看法官的钱从哪里来: 此领导板 / val org 是否有_冲突披露? 资助者是测试对象之一吗?_付款人能看考试吗? FrontierMath已经教了这个教训。
看你有没有自己的"私人爱华": 如果你正在部署AI进入你的生意, 相信没有公共领导板的排名——_使用自己的真实数据和自己的标准来构建一个闭门电子val_真正属于你的权利
这就是为什么我非常关心这个叫"Evals"的乏味的角落:聚光灯总是落在最高得分的模型上,但真正决定本游戏规则的人是站在光的阴影下,写问题,分级答案,设定标准的人. 当你看着AI不要只看谁在表演中央舞台——再看一看_谁在评分成绩。_
一条线要关闭: 在趋同模型的时代,"建设模式"的结尾是"建设标准". 无论谁控制了可信赖的判断权,谁才是那个不引起关注的,实际上在发号施令的人.
资料来源和方法说明( M)：数据和事件利用公开报道和研究,包括第三方分析MMLU-Pro/GPQA饱和率和污染率、LMArena(Chatbot Arena)融资公告(2025年5月100M,2026年1月150M),Meta Llama 4 LMArena游戏争议(LMArena发布2 000个战斗记录;Yann LeCun评论是媒体报道的参数)、EpochAI边框Math 打开AI- 供资和延迟披露争议,以及关于企业电子公司,如Brain Trust/Patronus的公共信息AI/兰斯密斯. 有些数字是第三方估计数或随时间推移而变化;在可能时会指出框架和限度。 这是行业分析非投资咨询.
#AI #AIEvals #Benchmarks #LMArena #LLM #信任莱尔AI技术