AI 评估正在从刷题库转向跑任务。选择题和困惑度已经很难区分两个头部模型于是越来越多团队把模型放进真实感更强的环境里让它做长程决策。文本游戏 MUDMulti-User Dungeon多用户文字冒险游戏就是这一类环境里很典型的选择。它没有复杂的视觉渲染交互全部是自然语言但状态空间、任务链条和组织关系一点都不简单可以很好地暴露一个 agent 在规划、记忆和长期目标上的缺陷。评估环境定了打分就成了下一个问题。现在最流行的做法是 LLM-as-a-judge也就是让一个更强的模型来评价另一个模型的输出。这种做法的好处是便宜、可扩展、不需要大量人工标注坏处是裁判模型本身带着一套审美偏好而且这种偏好往往是系统性的不是随机波动。更麻烦的是很多团队习惯用一个聚合指标来证明裁判可靠最常见的就是 Cohens κ。这个指标衡量的是两份评分是否一致但一致不等于正确。这篇文章要展开的就是这个矛盾在 MUD 这类长程任务评估里LLM-judge 会出现哪些失真以及为什么聚合 κ 看不到这些失真。文中会给出可复现的代码示例、分层分析的思路以及一套可以落地到你自己评估流水线里的工作流。如果你在搭 agent 评估、用裁判大模型打分或者只是想让自己的效果报告更可信这篇文章可以直接收藏。1. 核心概念速览先给一张表把这次涉及的概念和它们在评估链路里的位置理清楚。概念定位关键点MUDAI 评估环境纯文本、长程决策、稀疏奖励、状态追踪AI Evaluation方法论环境 任务 评分方式 统计分析LLM-judge评分方式用大模型评估大模型低成本、可扩展Distortion风险点裁判把表面特征误当成质量特征形成系统性误判聚合 κ统计指标衡量两名标注者的一致性不衡量正确性如果你只是想快速判断这个主题的价值先记住三句话MUD 环境能测出题式基准测不出的 agent 能力LLM-judge 打分存在系统性失真聚合 κ 可以在失真非常严重的时候依然显示中高度一致。后面所有内容都是围绕这三句话展开的。2. 为什么 MUD 适合做 AI 评估2.1 MUD 环境的结构性优势MUD 最早出现在上世纪 70 年代末本质上是多人在线的文字世界。玩家用命令行动系统用文字回执反馈。它看起来很古老但每一个特征都精准踩在 LLM agent 评估的痛点上。第一是纯文本交互。不需要渲染画面模型读的是文本输出的是文本输入输出空间和 LLM 的能力边界完全对齐。你不需要额外的视觉编码器也不需要处理复杂的 GUI 操作低成本就能把 agent 跑起来。第二是长程决策。一个 MUD 任务往往需要几十上百步才能完成中间包括探索、拿钥匙、解谜、对话、躲避敌人。模型必须持续跟踪目标而不是像单轮问答那样看一眼就能答。这类任务能直接暴露模型在目标保持上的缺陷。第三是稀疏奖励。很多任务只有在最后一步才会返回成功信号中间没有密集的好/坏反馈。模型只能靠少量线索自己判断当前策略是否正确这比每一步都有明确奖励的环境更难也更能区分不同模型的能力。第四是状态复杂度。玩家的位置、背包物品、NPC 关系、门锁状态、任务阶段这些信息散落在历史对话里。模型需要自己维护一个隐含的状态模型任何一次上下文丢失都可能导致后续行为完全跑偏。第五是多智能体特性。MUD 天然支持多个角色并存可以构造谈判、合作、欺骗、联盟这类社会性任务。这类任务是传统 benchmark 很难覆盖的。2.2 和现有文本环境的承接关系这里不是在造全新轮子。TextWorld、ALFWorld、MiniHack、AgentBench 这些基准都验证了类似的思路把语言理解、规划、动作选择放进一个可执行的环境里。MUD 的特殊之处在于它比单一任务型环境更接近开放世界有探索、有社交、有不可见信息因此评分也天然更难。环境更复杂之后谁来打分、打分可不可信就成了整个评估链路里最脆弱的一环。3. LLM-judge 的失真来源与聚合 κ 的盲区3.1 裁判模型的系统性偏差LLM-judge 并不是一个客观测量仪。它本身也是一个语言模型训练数据里就带着对某些文本风格的偏好。相关研究里反复出现的偏差类型主要有这么几类参考 MT-Bench、Chatbot Arena 这类评估框架的结论这些偏差在 pairwise 比较和单点打分中都会被观察到。位置偏差position bias是最早被发现的问题。两个候选答案放在 prompt 里顺序不同裁判的结论就可能跟着变。这不是偶发而是稳定的方向性偏移。冗长偏差verbosity bias更隐蔽。裁判倾向于给更长的、格式更完整的答案打高分哪怕长答案里有效信息密度很低。你把一个只有三行但每行都有效的回答和一个写了三段但只有一句有用的回答放一起裁判大概率选后者。自我偏好self-enhancement bias指的是裁判模型倾向于认可与自己风格相近的输出。如果裁判是某一家模型它会对模仿这家模型措辞风格的输出更宽容。近因偏差recency bias在长轨迹场景里特别明显。MUD 一局可能有几百条日志裁判在读取时对后半段内容的注意力权重天然更高。前面跑了 200 步的正确探索可能被最后 20 步的失败完全盖过。幻觉问题也不能忽略。裁判在长上下文中会脑补出不存在的游戏状态。日志里明明没有显示开门成功裁判可能因为上下文连贯性就认为门开了。这种幻觉不是随机发生的而是顺着文本最容易的方向发生因此也是一种系统性失真。3.2 聚合 κ 为什么看不见这些偏差Cohens κ 的计算逻辑很简单先看两份评分的实际一致率 Po再减去随机一致率 Pe最后除以 1 - Pe。它的核心输出是一个介于 -1 到 1 之间的数字用来表示排除了运气成分之后的一致性。问题在于κ 只关心一致还是不一致完全不关心不一致的方向。裁判系统性地给长回答高分和人工标注不一致时这种不一致是单向的。单向偏差不会让 κ 变得很难看反而因为两个评分者在一个维度上稳定地不同κ 依然能落在 moderate 甚至 substantial 区间。更麻烦的是聚合操作本身。把几百条样本合并成一个矩阵再算 κ会把不同难度、不同任务类型的一致性混合在一起。简单样本占了大多数时简单样本的高一致性可以把困难样本的零一致性稀释掉。聚合 κ 不会告诉你裁判只在简单样本上可靠这件事。本质上κ 是 reliability 指标不是 validity 指标。它衡量的是评分之间是否一致而不是评分是否反映了真实能力。两个来自同一训练分布的 LLM-judge 会共享同样的偏差彼此之间的 κ 可能很高但它们的共同结论依然可能是错的。标题里说的 distortion in ways aggregate κ misses指的就是这种高一致性掩盖系统性失真的情况。4. 一个聚合 κ 掩盖失真的示意性例子4.1 计算 Cohens κ 的代码先写一个最简单的 Cohens κ 计算函数然后构造一个示意数据来看聚合发生了什么。import numpy as np def cohens_kappa(rater_a, rater_b): n len(rater_a) k max(max(rater_a), max(rater_b)) 1 matrix np.zeros((k, k), dtypeint) for a, b in zip(rater_a, rater_b): matrix[a, b] 1 po np.trace(matrix) / n row_sum matrix.sum(axis1) / n col_sum matrix.sum(axis0) / n pe float(np.sum(row_sum * col_sum)) kappa (po - pe) / (1 - pe) if pe 1 else 0.0 return {kappa: round(kappa, 4), po: round(po, 4), pe: round(pe, 4)}现在构造一个 40 条样本的评测集前 30 条是简单样本人类和 LLM-judge 完全一致后 10 条是困难样本人类标注了 5 条为 1、5 条为 0而 LLM-judge 因为对这类 agent 的行为风格有系统性偏见10 条全部判 0。# 40 条样本30 条简单 10 条困难 # 简单样本人类与 LLM-judge 完全一致 # 困难样本人类 5 条判 1、5 条判 0LLM-judge 全部判 0 human [1] * 20 [0] * 10 [1] * 5 [0] * 5 judge [1] * 20 [0] * 10 [0] * 10 print(cohens_kappa(human, judge)) # 输出{kappa: 0.5, po: 0.75, pe: 0.5}聚合 κ 算出来是 0.5。按照常见的经验标准这属于中等一致性很多团队看到这个数字就会认为裁判可用。4.2 分层分析看到真相现在按样本难度分层再算一次 κ。def kappa_by_group(human, judge, groups): result {} for g in set(groups): idx [i for i, v in enumerate(groups) if v g] result[g] cohens_kappa( [human[i] for i in idx], [judge[i] for i in idx], ) return result groups [easy] * 30 [hard] * 10 print(kappa_by_group(human, judge, groups)) # 简单样本 κ1.0困难样本 κ0.0分层之后真相就出来了裁判在 30 条简单样本上和人类完全一致但在 10 条困难样本上的表现等同于随机猜测。更关键的是误判方向是单向的5 个在困难条件下成功但行为文本很简练的 agent全部被裁判判成不合格。聚合 κ0.5 把这个信息完全抹掉了。这个例子是示意性的但结构在真实评估里非常常见。聚合操作还可能出现类似辛普森悖论的效果每一层的一致性都不错合并后却很难看反过来每一层都很糟糕合并后却显得还行。不管是哪种方向结论都指向同一件事只看聚合 κ你无法知道裁判的可靠性究竟分布在哪里。5. MUD 评估里 κ 掩盖失真的典型场景5.1 叙事流畅度 vs 实际进度第一个典型场景是裁判把文本好看当成任务做得好。某个 agent 花了 200 步开门、拿钥匙、解谜都做对了但它每一步只输出简短命令另一个 agent 什么都没完成却每步都输出一段流畅的英文叙述。LLM-judge 在只读日志、不核对游戏状态的前提下很容易给后者打高分。这里出现的是双重失真裁判被流畅文本迷惑同时忽略真实状态推进。人工作标员只要认真核对 key items 和 quest flag就不会犯这个错误。但裁判与人标注之间的偏差是单向的所以聚合 κ 依然可能显示中等一致性。5.2 稀疏奖励与不可验证状态MUD 里关键状态变化往往只占几十条日志中的一两行。unlock 命令执行成功可能藏在长日志中间裁判没注意到或者干脆幻觉出一个不存在的成功。当裁判的输出基于幻觉而非事实时它和人工标注之间会形成稳定的分歧。这种分歧没有办法通过提高 κ 阈值来排除。你算出来的 κ 越高越可能意味着裁判在稳定地犯同一个错误而不是稳定地正确。5.3 长轨迹近因偏差长轨迹还放大了近因偏差。一局 MUD 跑下来前面 150 步的合理策略和最后 20 步的失败混在一起。裁判对结尾部分的权重远高于中间部分导致它对整体表现的评价失真。这种失真的可怕之处在于它符合人的直觉人也会受近因效应影响。裁判和人工标注在这一点上可能高度一致κ 也会很高但分数反映的并不是真实能力分布而是谁的结尾更漂亮。5.4 多智能体位置偏差如果 MUD 评估涉及两个 agent 的社交行为对比比如谈判类的任务裁判需要在同一个 prompt 里看到双方的行为记录并做出判断。位置偏差在这个场景里会直接导致结论翻转谁出现在前面、谁的发言更靠后都会影响裁判的偏好。破解方法是双向重复评估、互换顺序取平均。但如果只