霍普金斯大学与StepFun联手，打造能真正“看懂“图片的AI评估标准

这项由约翰斯·霍普金斯大学、清华大学与StepFun阶跃星辰联合完成的研究发表于2026年第43届国际机器学习大会ICML 2026会议地点为韩国首尔论文收录于PMLR第306卷。感兴趣的读者可通过论文编号arXiv:2606.28322查阅完整原文。**当成绩单已经失去意义**假设你是一位老师手里握着两份学生作文。第一份通篇流畅优美但把文章主角的名字写错了第二份行文略显生硬却把每个细节都描述得无比准确。你会给哪份作文更高的分数大多数认真负责的老师会倾向于第二份——毕竟一篇记错了主角名字的文章不管文笔多好都是一篇失败的作文。然而今天大多数用于评估AI视觉能力的考试却更像是那位只看文采、不管事实的偷懒老师。它们会因为AI的回答整体上听起来差不多就给出高分却对AI悄悄搞错的细节睁一只眼闭一只眼。结果是各大AI模型的成绩单上分数越来越接近、越来越高但实际使用时这些模型仍然会犯下把滑板运动员认成轮滑运动员、把4个人数成3个人这样的低级错误。这便是这篇论文想要解决的核心问题现有的评估体系已经无法真实反映AI的视觉感知能力了。为此研究团队设计了一套名为**PerceptionRubrics**的全新评估框架用一种更严格、更接近人类判断方式的标准重新审视AI究竟看懂了多少。---一、AI考试的成绩单为什么越来越不可信要理解为什么需要PerceptionRubrics首先得弄清楚现有评估体系的问题出在哪里。现有的AI视觉评估通常分为两种思路。一种是出选择题——给AI看一张图让它从A、B、C、D四个选项里挑一个正确答案。这种方式简单高效但有个致命缺陷即便AI不认真看图只要它对语言规律足够熟悉就能靠猜测和语言直觉蒙对答案。正如一个没读过题目的学生凭考试经验也能蒙中部分选择题一样。另一种思路是让AI自由描述图片再用一个综合分数衡量它描述得有多准确。这听起来更公平但问题在于打分方式。主流的打分方法本质上是把AI的回答和标准答案做整体相似度比较——如果两段文字的词汇、语义大体接近就给高分。于是一个把图里的红色头盔描述成蓝色头盔的AI只要它其他部分说得不错整体相似度依然可能很高依然能得到一个看起来不错的分数。研究团队把这个问题叫做评分信号失准——分数传递的信息和真实能力之间存在巨大鸿沟。打个比方这就像用一把只能量到大致重量的弹簧秤去评判珠宝商的称重精度。弹簧秤不够精确但它给出的读数看起来也不差于是所有珠宝商的成绩都集中在同一个区间真正手艺高超的和滥竽充数的在这把秤上显得别无二致。更糟糕的是随着AI技术的快速发展越来越多的顶尖模型在这些评估中已经接近满分状态——研究者把这个现象叫做排行榜饱和。当所有人的成绩都挤在90分以上时这张成绩单就彻底失去了区分优劣的功能。---二、重新设计考试像侦探一样逐条核查PerceptionRubrics的核心思路是把对AI的评估从整体印象打分变成逐条事实核查。可以用侦探办案来理解这套框架的逻辑。一个好侦探不会因为嫌疑人的总体形象不错就宣布案件结案他会逐一核对每一条证据案发时间你在哪里有没有不在场证明监控录像是否与你的陈述吻合每一条都必须过关才能确认清白。PerceptionRubrics对AI的评估就像这位严谨的侦探——它把对一张图片的理解分解成一条条具体的、可以明确判断对错的事实核查项而不是给出一个模糊的综合印象分。这套框架的构建分为三个主要阶段每个阶段都有精心设计的机制。**构建基础挑选最难的图片**首先研究团队精心筛选了1038张图片。这些图片不是随便找的风景照或者卡通图而是特意选取那些信息密度极高的图像。什么叫信息密度高就是一张图里塞了大量需要仔细辨认的细节密密麻麻的文字、复杂的图表曲线、拥挤的界面截图、精细的科学示意图等等。为什么要选这些难图因为简单的图片太容易蒙混过关了。一张蓝天白云的照片AI只要说出蓝天和云就能得到不错的分数。但面对一张包含四个子图、每个子图都有不同颜色和样式数据线的学术图表AI必须真正看懂才能描述准确。图片覆盖了七大类场景日常自然场景复杂的真实环境、文档与文字识别密集文字的文件和表格、数字界面网页、手机APP截图、结构化数据图表和数据可视化、科学与专业领域科学图示、医学图像、逻辑与谜题视觉谜语和空间推理以及创意与文化艺术作品和文化场景。筛选过程本身也用到了AI辅助。研究团队用一个叫Step3-VL-10B的先进模型担任图片质检员对每张候选图片从视觉复杂度和信息丰富度两个维度打分只有同时通过两项考核的图片才能入选。**炼制标准答案多个AI联合陪审团**有了图片之后下一个问题是标准答案从哪里来传统做法是让人类志愿者写描述但这样成本极高而且不同人的描述风格差异很大很难保证统一的质量。研究团队设计了一套更聪明的方案——让多个顶尖AI组成陪审团互相批评、互相完善最终在人类专家的监督下达成共识。具体来说研究团队选了三个来自不同公司的顶级AI包括GPT-5.2、Gemini-3-Pro和Seed-1.8让它们先各自独立描述同一张图片产生三份候选描述。然后这三个AI互相阅卷——比较三份描述的差异判断哪份更准确并综合各方长处重新写一份更好的描述。这个互相批评、重写改进的过程会循环最多两轮直到三方达成共识认可同一份描述为止。如果三个AI在两轮之后依然无法就哪份描述最准确达成一致这张图片就会被直接淘汰——研究团队宁可少收录一些图片也不要在存有争议的图片上建立标准。只有当AI陪审团一致同意后人类专家才介入做最后的核实和微调确认这份描述准确无误形成最终的黄金标准描述Golden Caption。这套流程产出的1038份黄金标准描述平均每份有770个词最长的超过3400词远比现有其他评估数据集的描述详尽得多对比之下同类数据集DOCCI的平均描述只有约136词DetailCaps约为122词。**锻造评判标准两类核查清单**有了黄金标准描述接下来就是把它转化成具体的核查条目——也就是规则清单Rubrics。研究团队使用Gemini-3-Pro来完成这项转化工作并将所有核查条目分成两个类别。第一类叫做必须答对题Must-Right Rubrics。这些是图片中最核心、最基础的事实任何对这张图片的描述都必须提到。以一张展示拉斯维加斯街景的图片为例必须答对题可能包括回答必须提到这是一条街道或商业街区回答必须提到有包含LAS VEGAS文字的标牌或拱门。这些是无论如何不能错、不能漏的基本事实。第二类叫做容易答错题Easy-Wrong Rubrics。这些针对的是AI最容易犯的那些细节性错误。研究团队的方法很聪明他们把多个不同AI模型的实际回答收集起来和黄金标准描述对照比较找出AI们最频繁犯错的地方——比如经常把某种颜色说错、经常漏掉某个关键元素或者经常凭空想象出图中根本不存在的东西。把这些高频错误整理成核查条目就构成了容易答错题。最终1038张图片共生成了10718条核查条目其中4053条是必须答对题6665条是容易答错题平均每张图片对应约10条条目。---三、打分方式一票否决的铁律光有核查条目还不够打分方式同样至关重要。这正是PerceptionRubrics最有创意的地方之一——它设计了一套闸门式打分机制。这套机制的逻辑可以用银行金库来理解。要进入金库你必须先通过外门的安全验证掌纹识别。如果掌纹不对不管你后续的密码输得多准确金库门永远不会打开。必须答对题就像这道外门——如果AI的描述中有任何一条必须答对题没有通过不管其他方面描述得多么细致最终得分直接归零。用数学公式来表达先计算一个闸门状态G只有当所有必须答对题全部通过时G才等于1否则G等于0。然后最终分数S G乘以容易答错题的平均通过率。这意味着一旦G为0S就必然为0无论容易答错题得了多高的分。这种设计背后的哲学正是对人类认知方式的模拟。当我们阅读一段对图片的描述时我们对某些错误的容忍度是极低的——如果一段描述把图里骑自行车的人说成在游泳不管这段描述其他部分有多精彩我们都会认为它是一段根本性的失败描述。现有的平均分机制掩盖了这种不容忍而闸门机制则将其明确化。在闸门之后容易答错题的通过率才决定最终分数的高低用来区分那些基本事实全对的高质量模型之间的细微能力差距。---四、谁强谁弱25个顶尖AI的真实实力大比拼用这套体系评估了25个当前最先进的AI视觉模型后研究团队得到了几个很有意思的发现。**整体排名闭源AI仍然领先一大截**在整体排名上ByteDance旗下的Seed-2.0-Lite以70.07%的综合得分排名第一紧随其后的是Gemini-3.5-Flash69.88%和Gemini-3.1-Pro69.02%。相比之下许多人熟知的GPT-4o2024年5月版本只得到了12.59%的综合分是所有被测试的商业闭源模型中表现最差的。在开源模型中表现最好的是阿里云的Qwen3.5-397B得分为61.61%——与最顶尖的闭源模型相比差距超过8个百分点。这个发现颇为有趣在纯文字推理类任务上开源模型近年来已经基本追上了闭源模型但在精细视觉感知这个维度上两类模型之间依然存在相当明显的能力鸿沟。**最难搞的领域图形界面难倒几乎所有人**从不同类型图片的得分来看几乎所有模型在自然场景普通照片上表现最好最顶尖的模型在这类图片上能达到接近80%的得分。而几乎所有模型都在数字界面GUI也就是网页和APP截图这个类别上表现最差——最弱的开源小模型Qwen2.5-VL-7B在这类图片上只有5.13%的得分即便是最强的模型也只能达到约59%。这个结果指向一个重要现实当前的AI视觉模型对于充满细密文字、复杂布局、精确空间关系的界面图像理解能力依然十分有限。而随着AI助手越来越多地被用于操控电脑界面帮用户点击、填表、导航这个弱点将成为非常实际的障碍。**令人担忧的可靠性鸿沟**研究团队还发现了一个让人警惕的现象他们把它叫做可靠性鸿沟Reliability Gap。如果把每一条核查条目单独来看大多数AI的通过率其实相当高——整体在85%到95%之间。换句话说如果你单独问AI图里有没有一辆红色的车它通常能给出正确答案。但一旦要求AI同时答对一张图片上所有的必须答对题通过率就会大幅下跌。以具体数字为例Seed-2.0-Lite在单条必须答对题上的准确率高达95.59%但它的闸门通过率也就是某张图片上所有必须答对题全部通过的比例只有82.85%。对于表现较弱的模型这个落差更大——Qwen2.5-VL-7B的单条准确率是64.99%但闸门通过率只有26.20%。这说明什么问题AI对单个孤立的事实判断还算可靠但当需要同时把握一幅图像中的多个关键事实时它的可靠性会显著下降。就像一个人能单独回答北京是中国首都吗和上海在北京南边吗但让他同时回答关于中国地理的十个问题时犯错的概率就会叠加上升。对于需要综合理解复杂场景的实际应用来说这是一个相当严峻的问题。**基础认知与细节辨认之间高度相关**研究团队还发现了另一个规律一个AI在必须答对题上的通过率与它在容易答错题上的准确率之间存在接近完美的线性关系统计学上用R?≈0.98来衡量这种相关性数值越接近1表示相关性越强。简单说就是一个AI连基本事实都搞不清楚它在精细细节上也必然表现糟糕反过来一个能准确把握基础事实的AI通常也能在细节辨认上表现出色。这证明了视觉感知能力是一个整体——你不能期待一个AI宏观上看不懂图但细节上却很敏锐。---五、这把尺子靠谱吗四重验证一套新的评估体系自身也需要经过验证才能被信任。研究团队对PerceptionRubrics进行了四个方面的检验。**与人类偏好的一致性**最直接的验证方式是检查PerceptionRubrics给出的模型排名是否与真实用户的主观偏好一致。研究团队参考了Vision Arena排行榜——这是一个收集了大量真实用户对不同AI回答的偏好投票的平台可以理解为AI视觉能力的大众口碑榜。对比结果显示PerceptionRubrics的排名与这份大众口碑榜之间皮尔森相关系数达到0.916斯皮尔曼等级相关系数更是达到完美的1.000——意味着两者的排名顺序完全一致。而现有的竞争评估体系如DOCCI和DetailCaps与真实用户偏好的相关性则明显更弱DOCCI甚至会把用户口碑差异悬殊的模型打出几乎相同的分数。**抗水字数干扰**还有一个实际担忧如果AI的描述写得越长是不是更容易通过更多的核查条目从而得到更高的分数这会导致AI通过疯狂堆砌文字来刷分。研究团队专门检验了回答字数和得分之间的相关性。结果发现对于Gemini-3.1-Pro回答字数与得分之间几乎没有统计上显著的相关性相关系数r -0.079对于Kimi-K2.6虽然有微弱的正相关r 0.172但相关性很低而且这种微弱相关本身也可能只是因为描述越详细的图通常内容越丰富AI自然写得更多也更准确这个合理原因导致的。总体来看PerceptionRubrics并不会奖励无意义的水字数行为。**换一个评判AI结论会变吗**PerceptionRubrics使用GPT-OSS-120B作为自动判断每条核查条目是否通过的裁判AI。那么如果换用不同的裁判AI结论会不会截然不同研究团队用GPT-5.5替换GPT-OSS-120B重新跑了一遍评估。结果发现两位裁判给出的绝对分数存在约6%的系统性差异GPT-OSS-120B打分更严格但模型之间的排名顺序完全相同。这说明评估结论是稳健的不会因为换了裁判而发生根本性变化。**核查条目数量够吗**最后研究团队还验证了核查条目的数量是否足够。他们随机抽取20%、40%、60%和80%的核查条目来做评估观察结果的稳定性。实验结果表明随着使用的核查条目比例提升评估结果的波动性标准差单调下降——使用的条目越多结论越稳定。以平均每张图约10条的规模来看PerceptionRubrics已经达到了相当好的评估稳定性。---六、幕后的人类专家真正难倒人的是什么为了确保黄金标准描述的质量人类专家参与了最后的核实和修改环节。这些专家分享了他们在工作中遇到的棘手问题颇有参考价值。专家们反映AI生成的初稿质量已经相当高不需要大规模的结构性重写主要工作是处理精细的事实对齐问题。他们遇到最多的三类疑难杂症是物质边界辨认问题比如赛车扬起的尘土AI容易把它误认成车身的一部分、细微的空间关系错误比如一头猪站在猪圈门口AI可能描述成站在猪圈外面以及低可见度区域的幻觉在图像的阴影或模糊区域AI容易凭空捏造一些不存在的细节来填充这部分描述。专家们采用了确定性优先于模糊性的标注原则如果一个区域的内容无法确认宁可删掉对该区域的描述也不保留任何猜测性内容。这种严格的去噪操作保证了黄金标准描述的高可信度。---说到底PerceptionRubrics做的这件事在直觉上其实非常朴素如果你要评判一个人是否真正读懂了一篇文章你不会只问他这篇文章讲的是什么感觉而是会问他一系列具体的问题比如主角叫什么名字、第三段里提到了哪个城市、结局是怎样的——并且任何一个问题答错都意味着他没有真正读懂。这种逐条核查、关键事实一票否决的思路就是PerceptionRubrics背后最核心的哲学。实验结果揭示了一个让人清醒的现实闭源的顶尖AI模型与开源模型之间在视觉精细感知上依然存在可观的差距几乎所有AI面对数字界面图像时都显得力不从心而那个可靠性鸿沟——单条事实答对率高但整体同时答对率低——揭示了当前AI视觉理解在深度和连贯性上的根本性局限。对于普通用户来说这意味着当你让AI描述一张复杂的图片或截图时它的某一两个细节答对了并不代表它真的看懂了整张图。而对于AI开发者来说这套框架提供了一个更诚实的镜子——让他们看清自己的模型究竟在哪个维度、哪种场景下还有多大的提升空间。如果你对这项研究的完整细节感兴趣可以通过arXiv:2606.28322查阅原始论文或者直接搜索论文标题PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception获取完整版本。---QAQ1PerceptionRubrics的必须答对题和容易答错题有什么区别A必须答对题是图片中最基础、最核心的事实任何描述都不能漏答或答错只要有一条没通过整体得分直接清零。容易答错题则是专门从AI模型实际犯过的错误中提炼出来的细节性核查项用于区分那些已经通过基础考核的高水平模型之间的细微差距。两者配合使用既保证了底线严格性又保留了对高水平模型的区分能力。Q2为什么数字界面APP截图类的图片最难让AI正确描述A数字界面图片通常包含大量密集的文字、精确的图标排列、复杂的层级结构和严格的空间关系任何一处细节的误读都会导致对界面功能的错误理解。当前AI视觉模型在处理这类需要同时追踪大量精细元素的图像时整体感知的连贯性和准确性明显不足而这类场景恰恰是未来AI操控电脑界面、完成自动化任务的核心应用场景。Q3开源AI模型和闭源AI模型在视觉理解上的差距有多大A根据PerceptionRubrics的测试结果目前表现最好的开源模型Qwen3.5-397B得分61.61%与顶尖闭源模型Seed-2.0-Lite得分70.07%之间差距超过8个百分点。这与文字推理任务上两者已基本拉平的趋势形成鲜明对比说明精细视觉感知依然是开源模型需要重点突破的能力短板。