论文深读：MedHarnessBench: A Unified Benchmark for Healthcare Agent Evaluation
高度聚焦医疗Agent执行过程评估，提出七维协议与开源基准，实验规模较大且包含故障注入对照。
一句话结论
MedHarnessBench 针对医疗 Agent 评测中“只看最终结果、无法定位失败来源”的问题，提出把运行时支撑层（harness）从模型能力中分离出来单独评估。其核心做法是在保留三个既有医疗基准原生任务指标的同时，新增七个医疗特异的执行过程维度，并通过 342 个可执行任务、8 个 API Agent、超过 16,000 次受控执行显示：医疗专用 harness 在 24 个 Agent–环境配置中改善了 19 个 Pass@3 和 22 个 Subtask，且单故障扰动实验表明七个维度能区分不同失败类型。结论成立的主要条件是：所有证据来自三个受控研究环境，作者明确表示不构成临床部署或患者安全有效性的证明。
问题定义与已有方法缺口
本文处理的任务是：给定一个医疗 Agent、一个可执行医疗环境和一个任务，评估 Agent 在运行时完成任务的“结果”与“过程”质量。输入包括纵向患者记录、医学图像、临床消息、管理界面和异构医疗工具；输出是 Agent 的多步执行轨迹及其最终状态。使用场景是研究阶段的医疗 Agent 评测，而非临床部署。
作者指出的核心失败模式是：一个看似合理的最终回答，可能建立在过期证据、未执行的医嘱、未验证的写入或未授权操作之上；反过来，局部执行正确的工作流可能因为最终任务失败而被误判为整体失败。已有医疗 Agent 基准（如 PhysicianBench、HealthAdminBench、MedCTA）主要用最终答案、环境状态、评分量表或任务特定检查点来评价完整 Agent 配置。作者认为这些指标无法区分失败来自模型决策、上下文构建、工具中介、工作流状态管理、验证还是授权控制。因此，本文改变的不是某个模型的能力，而是评测框架的归因能力：把“Agent 模型”和“运行时支撑层”作为两个可分离的实验条件。
创新点与方法主线
本文有三个主要创新，都围绕“把 harness 从 Agent 整体表现中拆出来”这一目标。
**第一，Medical Harness 的形式化。** 相对已有通用 harness 研究（如 ETCLOVG 分类法、Harness-Bench、HarnessAudit），本文把运行时层专门化为医疗场景：协调临床证据、异构工具、工作流状态、恢复、验证和授权。预期解决的是通用 harness 不处理纵向患者证据、持久化临床写入、闭环验证和角色相关授权的问题。检验这一点的实验是第 5.2 节与 Claude Code、NeMo Guardrails、OpenAI Agents SDK 的对比。
**第二，Medical Harness Protocol 的七个过程维度。** 相对“只看 Outcome”的评测，本文新增四个效率维度（Care Action Fulfillment、Clinical Resource Competence、Patient–Evidence Alignment、Clinical Workflow Continuity）和三个安全维度（Clinical Auditability、Closed-Loop Verification、Clinical Conduct Boundaries）。预期解决的是“中间行为不可见”的问题。检验方式是第 5.3 节的单故障扰动实验：如果每个维度对注入的对应故障最敏感，就说明维度定义有区分力。
**第三，干预传播轨迹追踪。** 相对只报告最终分数，本文把每个 harness 干预表示为六级传播链：eligible → fired → control-acquired → delivered → uptake → behavior。预期解决的是“harness 是否真的影响了 Agent 行为”这一机制问题。Algorithm 1 用条件通过率 ρⱼ 和配对检验分别量化机制证据与收益证据。
方法主线可以概括为：对每个任务，在固定任务、模型、系统提示、工具清单、传输配置和预算的前提下，分别用 Native 配置和 MedHarness 配置各运行三次；每次运行记录模型输出、工具/GUI 动作、观察、harness 干预、状态转换、检查点和持久化产物；然后同时计算原生 Outcome、七个过程分数和干预传播状态。关键设计取舍是“结果保持”（outcome-preserving）：不替换原基准的任务目标，而是在其上叠加过程层，从而允许过程诊断而不改变任务语义。
Backbone 与具体改造
本文不是训练型模型论文，没有传统意义上的可训练 backbone。被评估的八个 Agent 是 API 模型：GPT-5.5、GPT-5.4、Qwen3.7-Max、Claude Sonnet 5、Kimi K2.7 Code、DeepSeek-V4-Flash、MiniMax-M3、Gemini 3 Flash。所有模型均无参数更新或任务特定微调。这些模型是“被评测对象”，不是本文训练或改造的 backbone。
本文实际改造的对象是运行时层。Native 配置 H_nat 保留 Agent 原始执行接口；MedHarness 配置 H_med 在该接口上增加医疗特异的证据获取、工具中介、工作流状态跟踪、监控、恢复、验证和授权控制。材料未提供这些机制的具体实现细节（如验证器是规则还是 LLM、授权策略如何编码），只说明通过“substrate-specific adapter”把 FHIR API、Playwright GUI 和 MedCTA 沙箱的异构交互映射为共享语义轨迹，且模型生成、环境执行和语义评估三者分离。
评测模型与执行模型不可混为一谈：八个 API Agent 是执行主体；部分过程维度依赖自动化或 LLM 评估器，但材料未说明这些评估器具体是哪些模型。复现条件方面，材料报告了每次配置运行三次、每次从新对话和恢复的环境快照开始；PhysicianBench 和 HealthAdminBench 每任务最多 100 个环境动作，MedCTA 最多 10 个，每模型轮次输出上限 16,000 token。硬件、温度、采样参数未报告。
数据集与数据形成过程
MedHarnessBench 本身不训练模型，342 个任务全部用于评测。这些任务来自三个既有基准：PhysicianBench 100 个 FHIR/EHR 任务、HealthAdminBench 135 个 GUI 管理任务、MedCTA 107 个多模态临床工具任务。材料未报告这些上游基准的原始数据采集、标注协议或纳排标准，只说明 MedHarnessBench“保留每个基准的原生任务、工具、接口和 Outcome 评估器”。
| 来源基准 | 任务数 | 执行环境 | 主要 harness 需求 |
|---|---|---|---|
| PhysicianBench | 100 | HAPI-FHIR R4 服务器，每任务前恢复 | 证据接地、结构化写入、授权、写入验证 |
| HealthAdminBench | 135 | Playwright 控制的临床门户 | 状态跟踪、字段完成、恢复、提交验证 |
| MedCTA | 107 | 多模态沙箱（图像分析、OCR、检索、计算） | 工具选择、参数有效性、证据整合、结果使用 |
数据形成的关键环节是“受控对比”：每个 Native–MedHarness 对固定任务、Agent、系统提示、工具清单、传输配置、初始环境状态和执行预算，只改变医疗特异运行时支持。每次运行从新对话和恢复的环境快照开始，以降低跨任务状态泄漏。第 5.2 节的通用 harness 对比使用 60 个任务，按每个基准的原生任务类别分层抽样、每环境 20 个。第 5.3 节的扰动实验在“每个适用的干净轨迹”中注入一个受控故障，同时保留最终答案和无关证据。
材料未报告上游基准的标签生成协议、去重/质控过程或患者/机构层面的隔离方式，因此无法核验这些环节的泄漏风险。作者在讨论中承认部分过程维度依赖自动化或 LLM 评估器，这是标签噪声的潜在来源，但未提供评估器间一致性数据。
评测设计与指标含义
**比较协议。** 核心对比是 Native 与 MedHarness 的配对比较，八个 Agent × 三个环境共 24 个配置。Pass@3 的估计方式为：从三次独立运行估计单次成功概率 pₓ，然后 Pass@3ₓ = 1 − (1 − pₓ)³，再跨任务宏平均。Subtask 和七个过程分数在三次运行上平均。过程聚合只包含有适用且充分证据的轨迹，支持度单独报告。
**核心指标含义。** Pass@3 测“三次尝试中至少一次终端成功”的概率，高值表示任务最终可完成，但不能反映中间过程是否可靠。Subtask 测中间子任务完成度，能捕捉 Pass@3 看不到的局部进展。七个过程维度中，Care Action Fulfillment 以“最佳有效必需操作路径的完成度”为主导信号，有效动作只能确认已完成的工作、不能为未完成工作创造分数；Patient–Evidence Alignment 把“必需证据召回”和“主体正确性”分开加权，防止把绑定到错误患者的证据算作正确；Closed-Loop Verification 明确“读取证据或调用检查机制本身不等于已验证了后果性动作”；Clinical Conduct Boundaries 在关键违规时直接给 0，独立评估器不可用时给 ⊥ 而不是隐式给分。
**消融与验证设计。** 本文没有传统意义上的组件消融，但有三种互补验证。第一，通用 harness 对比检验“医疗特异设计是否优于通用运行时支持”；第二，单故障扰动检验七个维度的敏感性和选择性——对每个干净–扰动对，计算目标维度下降值减去最大非目标维度下降值作为选择性边际，故障定位用“下降最大的维度”预测注入故障，报告基准平衡准确率 0.756、宏 F1 0.706，并与置换标签比较（p = 0.001）；第三，干预传播追踪检验 harness 干预是否真正到达并改变 Agent 行为。统计不确定性方面，扰动实验报告 95% bootstrap 置信区间和置换显著性；主对比实验未报告置信区间或统计检验。
关键结果与可信度
**主结果。** 在 24 个 Agent–环境配置中，MedHarness 改善 19 个 Pass@3 和 22 个 Subtask；Patient–Evidence Alignment 在全部 24 个配置中改善，Closed-Loop Verification 在 23 个中改善，Care Action Fulfillment 在 22 个中改善。但提升并不一致：GPT-5.4 在 HealthAdminBench 上 Subtask 从 0.543 升到 0.633，Pass@3 却从 0.267 降到 0.105；同一模型在 PhysicianBench 上 Pass@3 从 0.330 升到 0.360，Subtask 却从 0.777 降到 0.732。作者据此认为终端、中间和过程指标捕捉的是互补效应，而非同一信号的不同噪声。
**通用 harness 对比。** 用 GPT-5.5 在 60 个分层抽样任务上，MedHarness 在三个环境都改善 Pass@3 和 Subtask，且平均过程分最高；三个通用 harness 只在 9 个 Pass@3 比较中改善 3 个、9 个 Subtask 比较中改善 2 个。这支持“医疗特异运行时支持有独立价值”的判断，但样本量只有每环境 20 个任务，且只用一个 Agent，结论的推广范围有限。
**扰动实验。** 七个故障类中，目标维度都产生最大的平均下降，所有目标下降和选择性边际的置信区间都不含零。故障定位准确率 0.756 显著高于置换标签。但混淆矩阵显示 Patient–Evidence Alignment 召回仅 0.462，Clinical Conduct Boundaries 召回 0.514，且两者互相混淆（E 类故障有 0.295 被预测为 F，B 类有 0.229 被预测为 F、0.224 被预测为 R）。这说明这两个维度在“定位到具体故障类型”上区分力较弱，尽管它们的定向敏感性成立。
**可信度分析。** 使结果可信的因素包括：配对受控设计固定了大量混杂变量；三个环境覆盖 API、GUI 和多模态工具三种交互模式；扰动实验提供了置信区间和置换检验；过程分数报告了适用支持度，避免把无证据轨迹当作满分或零分。削弱可信度的因素包括：主对比无统计检验；上游基准的标签质量未在本文中核验；部分过程维度依赖 LLM 评估器但无评估器一致性报告；通用 harness 对比样本量小且单 Agent。负结果方面，GPT-5.4 在 HealthAdminBench 的 Pass@3 下降 0.162、Clinical Conduct Boundaries 下降 0.104，Kimi K2.7 Code 在 HealthAdminBench 的 B 下降 0.081、在 PhysicianBench 的 A 下降 0.094，说明 MedHarness 并非对所有 Agent–环境组合都带来一致的过程改善。这些负结果本身是机制线索：同一 harness 对不同 Agent 的干预传播效果不同，但材料未深入分析原因。
局限性与结论边界
作者明确承认的局限包括：342 个任务来自三个受控研究环境，不代表医院工作流的完整多样性、工具模式、机构政策或临床意外情况；部分过程维度依赖自动化或 LLM 评估器；单个 harness 机制可能影响多个维度；当前发现只验证了 Medical Harness 作为可测量的研究框架，不构成临床部署就绪、监管合规或真实照护中的患者安全有效性证明。
从现有证据看仍需验证的问题：第一，主对比实验没有报告置信区间或配对统计检验，19/24 和 22/24 的改善比例本身不足以判断每个配置的改善是否超出运行随机性；第二，通用 harness 对比只用 GPT-5.5 一个 Agent 和每环境 20 个任务，无法判断医疗特异设计的优势是否跨模型稳定；第三，上游基准的标签和评估器质量未在本文中核验，过程分数的绝对水平可能受评估器偏差影响；第四，干预传播的六级状态在正文中只给出形式化定义，材料未报告 ρⱼ 的具体数值或传播失败案例，因此“harness 干预确实改变了 Agent 行为”这一机制主张的证据强度无法从提供的材料中判断。
对后续研究的启发与迁移方案
以下方向由本文的分析路径得到，不是作者已证明的结论。
**第一，把“结果保持的过程层”迁移到其他高风险 Agent 评测。** 可复用机制是：保留原生 Outcome，叠加独立过程维度，并用单故障扰动检验维度区分力。可验证假设是：在金融合规或法律文书 Agent 中，类似“闭环验证”和“行为边界”维度能区分“结果正确但过程违规”的轨迹。最小实验是选一个已有基准的 50–100 个任务，定义 3–4 个过程维度，注入单故障并检查目标维度是否产生最大下降。可能失败的原因是领域过程定义不够具体，导致维度间混淆。
**第二，检验“终端成功掩盖过程失败”的普遍性。** 本文最具体的发现是 Pass@3 与 Subtask/过程分出现方向相反的案例。可验证假设是：在医疗 Agent 中，终端成功但过程分低的轨迹占比与任务类型相关（如写入类任务高于检索类任务）。最小实验是在 MedHarnessBench 的公开结果上，按环境分层统计“Pass@3 成功但至少一个安全维度低于阈值”的轨迹比例。对照是检索类与写入类任务。观察指标是条件比例和按任务类型的分布差异。可能失败的原因是过程分阈值缺乏外部锚定。
**第三，把干预传播追踪做成可独立复用的诊断工具。** 本文的六级传播链（eligible → fired → control-acquired → delivered → uptake → behavior）是比最终分数更细的机制信号，但材料未报告具体数值。可验证假设是：harness 干预在“delivered → uptake”环节的损失率能预测该干预对最终行为的影响。最小实验是在一个固定 Agent–环境对上，记录每类干预的六级通过率，并与该干预对应的过程分变化做相关分析。对照是不同 Agent 在同一环境上的传播率。观察指标是各级条件通过率和与过程分变化的相关性。可能失败的原因是“uptake”和“behavior”在轨迹中难以可靠标注，需要先做标注协议的一致性检验。
**第四，针对混淆维度做定向改进。** 扰动实验显示 Patient–Evidence Alignment 与 Clinical Conduct Boundaries 召回最低且互相混淆。可验证假设是：在 E 和 B 的指标定义中增加互斥约束（如“主体绑定错误”不计入行为边界违规）能提高故障定位召回。最小实验是在现有扰动数据上重新计算混淆矩阵，比较加入互斥规则前后的 E/B 召回。对照是原始指标定义。观察指标是 E 和 B 的召回及两者之间的混淆率。可能失败的原因是两类故障在真实轨迹中确实经常共现，互斥规则会牺牲生态效度。