8 月 13 日，DeepSeek 开源 Agent Harness dsh，将 “Harness” 这个原本更偏工程语境的概念，推到了整个 AI 行业讨论的中心。
模型之外，为什么还需要 Harness？
答案其实来自 Agent 正在发生的重要变化。
今天一个 Agent 的最终能力，早已不能简单等同于底层模型能力。模型之外还有上下文管理、工具调用、记忆、任务拆解、执行环境、权限管理和结果验证。真正决定一个 Agent 能不能稳定完成复杂任务的，是这些组件能否被组织成一套稳定、可执行的工作流系统。
Harness 描述的，正是这一层能力。
显然，如果只把 Harness 理解为 Coding Agent 一种产品形态，其实严重低估了它的意义。几乎所有复杂智能流程，都需要一个负责规划、协调与验证的系统层。Agent 如此，Evaluation 同样如此。
近日，MirroS 联合清北，Berkeley， MIT，xbench，英伟达等研究机构共同发布 HarnessEval，将 Harness 这一概念进一步带入评测系统。它试图回答一个比 “如何让模型完成任务” 更基础的问题：
如果被评测的 AI 已经从一个模型变成了一套复杂系统，什么样的 Evaluation 才足够有效？
- Blog: https://mirros.ai/blog/harnesseval
- Code: https://github.com/mirros-lab/harnesseval-w
- Project Page: https://mirros-lab.github.io/HarnessEval-W
HarnessEval 给出的答案，不是增加一组指标，也不是引入一个更大的 Judge 模型。它要为 Evaluation 建立自己的 Harness。
如果说 Agent Harness 负责组织模型如何完成任务，那么 Evaluation Harness 负责组织评测如何形成可信判断：理解案例、规划路径、选择技能、调用工具、搜集证据、验证推理，并让每一个分数都可以被追溯。这也是 HarnessEval 想推动的范式变化：
从 Metric 到 Harness，从静态 benchmark 到可执行的评测系统
01｜当模型成为系统，Evaluation 也必须成为系统
过去，我们习惯把模型看成一个函数：输入 prompt，得到 output，再用一组指标比较结果。这种评测方式适合边界清晰、答案确定的任务。但 Agent 与交互式生成系统不再是一次性的输入输出映射。它们可能读取文件、检索网络、执行代码，在多个工具之间传递状态；可能把一个长期任务拆解为数十个阶段，并根据环境反馈不断修改计划；也可能调度多个 sub-agent，分别负责规划、执行和验证。
这时，评测面对的不只是 “最终答案对不对”，而是一整段动态过程：
- 系统是否正确理解了任务？
- 它是否调用了合适的工具？
- 中间状态是否保持一致？
- 行动与结果之间是否存在正确的因果关系？
- 某个失败来自模型能力，还是工具、观测或评测本身？
传统 benchmark 往往预先定义好一套相对固定的评测流程：一组测试数据、一套固定 rubric、若干指标，以及最终的聚合分数。对于复杂任务，这种方式越来越容易遇到一个根本矛盾：不同案例真正需要检查的问题并不相同。一套统一 Rubric 如果覆盖得足够全面，就会包含大量与当前案例无关的检查；如果为了自动化而不断简化，又容易遗漏真正依赖上下文、时序关系与因果理解的关键判断。
而人的评测实际并不是这样开展的。面对一个复杂案例，我们通常会先理解发生了什么，再决定最值得检查的问题；根据问题定位目标、寻找证据，必要时调用额外工具；如果证据不足，就继续调查，而不是仅凭一眼整体感觉给出一个确定答案。
换句话说，评测本身也是一个需要理解、规划、调查和验证的过程
HarnessEval 的出发点，正是将这种原本隐含在人类专家判断中的过程显式化：把评测拆解成可规划、可调用、可验证的模块，再交给智能体系统执行。
Evaluation 因此不再只是执行一套预先写好的规则，而开始拥有自己的reasoning process
02｜不是更长的 rubric，而是一套评测工作流
HarnessEval 的核心不是用 LLM 替换某个传统指标，而是重构 benchmark 的执行方式。面对每一个测试案例，评测智能体首先理解案例上下文与评测意图，再从可复用的 Skill Library 中选择真正适用的技能。每个高层问题会继续被拆解为可测量的子问题，交给不同的 sub-agent 或诊断工具执行。主智能体检查返回证据是否充分、各项判断是否真正回答了原问题，最后才完成聚合与评分。
整个过程可以概括为四个阶段。
Plan｜先理解案例，再决定测什么： 评测智能体读取初始状态、动作、任务类型和评测目标，生成与当前案例对应的评测计划。
Route｜选择适用技能，而不是跑完所有指标：系统从 Skill Library 中调用适合当前案例的 skill，并记录为什么启用某项检查、为什么跳过另一项检查。
Decompose｜把抽象判断拆成可验证证据：高层问题被拆成目标定位、状态追踪、时序变化、因果顺序、结构保持等子问题，再由专门的 sub-agent 或工具分别处理。
Verify｜先审计证据，再交付分数：主智能体验证各分支的证据质量与逻辑关系。最终输出的不只是一个标量分数，而是一棵完整的 evidence tree。
这棵证据树记录了：测了什么、为什么要测、调用了什么工具、找到了什么证据，以及这些证据如何支持最终结论
因此，HarnessEval 交付的是两层结果：
- 一层是用于模型比较与排名的量化分数；
- 另一层是可检查、可复现、可追责的证据与推理结构。
Benchmark 不再只是一个离线计算器，而成为一套真正运行起来的评测系统。
03｜以世界模型作为 HarnessEval 第一块试验场
HarnessEval 首先落地于交互式世界模型，因为这类模型正是检验 Evaluation Harness 的一块高压试验场：
相比判断一段文本是否正确，评估一个生成世界要困难得多。一段视频可以画面精美，却执行了错误动作；可以完成眼前的变化，却在镜头离开后遗忘整个场景；可以产生看似合理的运动，却违反却违反接触关系、速度变化或因果顺序；甚至可能在没有提示的情况下，凭空增加人物、物体或事件。人类能够自然地定位对象、追踪状态、理解动作意图，并判断世界在时间中是否保持一致。但现有自动化评测往往只能粗粒度地衡量画面质量、运动流畅度或文本匹配度，却很难回答这些真正涉及交互、时序与因果的问题。
针对这些高度依赖上下文、时空证据和具体失败模式的问题，Mirros 开源 HarnessEval-w：从观测质量、状态转移正确性和世界持续性三个维度组织评测，并根据案例动态选择，组合和验证不同 Skill。案例不同，Harness 组织出的评测路径也不同。
Agent 可以根据场景动态选择使用哪些 skills
这里的重点并不是建立一张更长的指标清单，而是把每一个 Skill 都拆解成一系列更容易被验证，被解释的子问题。例如，面对一次指定物体状态变化，系统可能依次检查：目标是否真实存在且清晰可见，变化是否发生在正确对象上，预期状态是否最终成立，关键场景锚点是否保持，以及过程中是否出现了无关变化。面对一次物理碰撞，它则可能调用目标追踪、时间交叠验证、速度估计与因果顺序检查。每个子智能体返回的证据最终由主智能体统一汇总、验证，并形成最终结论。
每一个 skill 都会衍生出来一系列 subagents 来拆解复杂问题，从不同角度衡量模型能力
HarnessEval-W 的最终目标并不仅仅是输出一个数字得分。我们希望最终形成一棵层级式的证据树（evidence tree），完整记录到底测了什么、哪个具体工具提供了视觉证据、以及支撑最终分数的完整逻辑链。有了这条可执行、可追溯、可验证的证据链，研究者不仅能准确定位错误来源，也能据此改进下一阶段的模型设计与训练。
04｜Harness for Eval，意味着什么
HarnessEval-w 不只是一套新的世界模型 benchmark，更代表评测形态的升级：benchmark 的核心资产将从数据与指标，扩展到技能路由、工具调用、证据验证和持续生长的 Skill Library。
模型可以通过 test-time scaling 提升能力，评测器也应投入更多计算，进行更深入的搜索与验证。同时，不同任务需要不同的评测 Skill，通过按需组合专业能力，Eval 才能覆盖代码、搜索、机器人、世界模型等复杂场景。
评测结果也将从单一 score 走向可追溯的 evidence。当系统遇到能力边界之外的问题时，还应主动暴露自身的技能与证据缺口。由此，benchmark 不再是一套固定规则，而成为能够持续扩展和自我完善的 living system。
结语｜通向 RSI，下一代 Eval 不应只是一把尺子
Harness 的走红，意味着行业正在重新认识模型之外的系统价值。但 Harness 时代不只属于 Model，也属于 Eval。
当 AI 逐步走向 RSI（Recursive Self-Improvement，递归式自我改进），评测就不再只是模型之外的一把尺子，而会成为自我改进闭环中的关键反馈。评测关注什么，模型就会朝什么方向优化；评测忽略什么，系统也可能在反复迭代中放大什么。没有可靠的 Eval，RSI 就可能失去方向。
世界模型是 MirroS 选择的第一块试验场，也是迈向 Physical RSI 的重要一步。未来，Eval 不仅要理解上下文、规划评测、组合技能、调度工具和验证证据，还要审视自身、发现能力缺口，并与被评模型共同进化。
这正是 MirroS 联合多家机构发布 HarnessEval 的意义：从 Metric 到 Harness，从固定 rubric 到可执行工作流，从排行榜数字到透明的 evidence tree
让评测不仅衡量智能，也成为推动智能持续进化的系统
Eval 的 Harness 时代，正在开启。