先看一个数字对比：ACORD申请表上97%的字段准确率，和一份300行明细表里29行凭空消失，你更信哪个？
在一次演示性试点中，团队只看到了前者。表单和明细表被放在一起打分，申请表字段数量远多于明细表单元格，平均值看起来相当健康。而第一个大型财产账户，就这样悄无声息地丢了十分之一的位置，系统没有报任何错。
问题出在评估方法上。承保材料里混着三类文档，它们的失败方式完全不同：固定表单、表格类明细、自由文本的佐证材料。把三者揉成一个准确率数字，等于把最贵的错误藏起来。
第一步：按类型和画质分层建标注集
标注集本身就是评估，其余都是算术。分层要沿两个轴走。第一个轴是文档类型：申请表及其险种分节、价值明细表、赔付记录，以及查勘报告、财务报表这类佐证材料。第二个轴是页面质量：原生数字PDF、干净扫描件、劣质扫描件和传真件，以及打印成PDF的表格导出件。
一个能把数字版申请表读得完美的模型，遇到传真来的赔付记录可能直接崩掉。只从近期、整洁的提交里抽样，这种失败永远不会暴露。样本要来自你自己的真实提交，包含你实际收到的各种形态，赔付记录尽量覆盖不同承保机构。标注要落到流水线使用的schema上，值做归一化，并记录每个值来自哪一页。哪些字段是真正缺失的，也要标出来。
同一批文档应由两个人独立标注。两人不一致的地方，说明schema或标注说明本身有歧义——模型不可能比标注者做得更好。
第二步：表单逐字段打分，先归一化再比对
表单字段固定，逐字段比对最合适。但精确字符串匹配对保险字段太苛刻，先做归一化：
- 日期：两边先转成同一格式再比。
- 金额：去掉货币符号和分隔符，按数字比。100万美元的限额和1000000是同一个答案。
- 地址：按街道、城市、邮编分段比，而不是整串比。
- 名称：提前定好"Acme Ltd"和"ACME Limited"算不算匹配，并写进规则。
- 复选框：选中与未选中当作二值字段打分。ACORD表单上复选框很多，出错时往往毫无声响。
准确率要按字段报，不能只按表单报。限额、生效日期、类别代码这些直接影响定价的字段，值得在报告里单独占一行。
第三步：明细表和赔付记录按行、按单元格打分
价值明细表或赔付记录是一张表，字段准确率描述不了表。三个指标才行：
- 行召回率：标注行中出现在输出里的比例。开头那个例子里被丢掉的行，就是它抓出来的。
- 带对齐的单元格准确率：在找到的行里，值落在正确列的比例。楼宇价值填进了内容物列，数字是对的，位置是错的，定价就会错。
- 合计校验：抽取出的行加总后，是否等于文档上印的合计。合计对不上是个极便宜的检查，能同时抓住缺行、合并行和读错的数字。
赔付记录打分前先把列名定清楚：保单期间、损失日期、理赔状态、已付、准备金或未决、已发生，以及报告上印的估值日期。已付和已发生两列互换是经典的对齐错误；估值日期读错，会让一份当期赔付记录看起来过期，或者反过来。跨页表格要特别留意——一行被分页切断，是丢行和重复行最常见的来源，值得在标注集里单独切一片。
第四步：佐证材料查证据
查勘报告、财务报表、经纪人叙述没有固定字段，问的问题更像"屋顶是什么结构""有没有喷淋系统"。答案可能是转述的，精确匹配不适用。
改打两件事。一是引用的页码和段落是否真的支撑这个答案——答案对但引用错，承保人无法核验，等于没用。二是答案是否与标注一致，由人来判，或用经过仔细校验的自动评判器来判。证据打分比字段打分慢，样本可以小一些，但不能省。佐证材料恰恰是抽取最容易"听起来对、实际错"的地方。
第五步：正确的空值单独算
文档里不存在的字段，正确答案就是"没有"。这类情况要单独统计两个比率：
- 正确空值率：标注为缺失的字段中，模型返回空值的比例。
- 编造值率：标注为缺失的字段中，模型硬填了值的比例。
第二个比率才危险。一个在文档没有生效日期时编造出生效日期的模型，能通过所有schema检查和完整性检查。把空值混进总体准确率，等于让一个靠猜的模型看起来比一个承认自己不知道的模型更好。
第六步：按文档类型分别报，每次改动都重跑
结果放进一张表，一行一种文档类型，不要混合总分。混合分可能偏向候选A——它在数量最多的文档类型上赢了。但分类型看，候选B丢的行更少、编造的值更少，对承保来说通常是更划算的交换。
页面模型、字段模型、提示词、schema、预处理，任何一项变了，整套标注集都要重跑。历史结果要留着，这样某一类型出现回退时，即使其他类型在进步，也能一眼看见。
至于标注包要多少份，没有统一数字，但有方法：每种类型从几十份文档起步，而不是几千份。先定下每种类型里"多大的模型差距才会改变你的决策"，再标到能稳定看出这个差距为止。冷门类型，比如少见承保机构的赔付记录、扫描质量很差的明细表，必须刻意抽样，否则根本不会出现。先小规模起步，观察加文档时结果波动多大，当候选模型的排名不再变化，这个类型就可以停止标注了。
厂商给的基准不能替代自建标注集。公开解析基准是通用文档集，OmniDocBench测的是通用文档解析，没有保险类别。文档AI厂商Extend AI在2026年6月发布的RealDocBench收录了一些ACORD商业申请表，但不含赔付记录和价值明细表。基准帮你筛出候选名单，最终钉住哪个模型ID，由你自己的标注集决定。
回到开头那个问题。保险抽取评估其实是好几场评估：表单看字段，明细表看行和单元格，佐证材料看证据，所有类型都要看空值。分开报，被丢掉的明细行会在试点之前暴露，而不是在试点之中。