这周在给一家企业做知识库项目时,客户技术团队一上来就给了我个"惊喜"。

项目本来的计划,是先从全量文档中,选38份样本做入库切片,做个Demo版的问答助手。

由于这38份样本大多来自纸质手册扫描件,为确保Demo问答准确率,我的想法是一份份打开解析结果,检查切片质量,看看标题有没有被切断、表格有没有错位、公式识别是否准确、上下文是否完整,再手动调整。

结果客户告诉我,他们觉得"先样本再全量"没意义,已经用技术手段把300多份同类扫描件全解析入库了。

打开网易新闻 查看更多图片

听起来是效率提升,但我的实施节奏彻底被打乱了:38份我可以一个个看,300份呢?难道也要我一份份检查?

后面还有新增文件、版本更新,是不是每次都从头再来?那我这个负责制定方法和验收效果的FDE,很快就会变成整个项目里最慢的那一环。

大家好,我是申悦,一名企业AI转型顾问,也是一线参与项目落地的FDE。

今天想聊一个很多企业建知识库时都会踩的坑:

当文件从几十份涨到几百份,谁负责检查质量?发现问题谁来整改?最后谁说了算?

为什么要做知识库解析效果检查

很多人会认为,把知识库建好,文档上传解析成功,就可以开始问答了。但解析成功和解析能用,是两码事。

在企业场景中,文档入库后,会被用于检索、问答、RAG召回甚至自动决策。解析阶段一旦出问题,后面所有输出都会跟着错:

  • 一段制度被错误切断,用户问"差旅报销上限是多少"的时候,系统很可能因为缺少关键约束条件,直接给出错误金额;

  • 一张绩效考核表被拆散,指标口径就变了,不同部门拿到的答案不一样,开会吵一架都算轻的;

  • 一段专业条款被误分块,语义指向整个变了,那就是合规风险。

所以,在数据进入可用层之前,必须引入业务视角和语义视角去判断:这份文档被拆解之后,是否仍然保持原意。

FDE要对文档质量负责,但不能一人兜底

文件不多时,我通常逐份打开检查,发现问题手动调整,再把完整流程写成操作手册,交给客户的知识管理员参照自查。

FDE只有亲自看过真实文件,才能制定出可执行的解析和切片规则

但文件增加到300多份后,这套方法就走不通了。

如果全由我逐份检查,我很快就会成为项目瓶颈。

可直接交给客户内部人员,他们又未必知道什么才算合格的切片。

技术人员可以判断系统有没有解析成功,却很难判断专业条款被拆开后,有没有改变原来的业务含义。

所以这次被客户“抢跑”后,我没提出减文件,也没加班硬看,而是做了一套制度。核心就一句话:

文件可以批量上传,但质量责任不能批量甩锅。

项目必须明确三件事:谁检查,谁整改,谁验收

谁检查

第一轮检查,由实际上传文档的实施人员完成。

文件上传和解析后,实施人员需按照检查清单完成全量自检,包括解析状态、页面数量、乱码、标题层级、段落断裂、表格错位和来源信息。

FDE不再替实施人员重新检查全部文件,而是制定规则、培训操作方法,再按照批次抽查代表性文件

涉及专业内容时,由知识管理员或专业部门确认。比如制度是否为现行版本,专业条款拆开后有没有改变含义,某个表格的适用范围是否完整保留。

简单说,是把切片检查这件事,由一人干,拆成了三层动作:

  • 实施人员检查基础质量;

  • FDE检查规则执行情况;

  • 专业人员检查业务语义。

谁整改

检查出问题后,按问题类型分工调整。

  • 单个文件里的段落断裂、标题错误和切片合并,由实施人员按照操作规则调整。

  • 如果同类文件普遍出现表格错位、图片识别失败或解析器报错,说明这是共性技术问题,则要交给平台或技术团队解决。

  • 如果源文件本身版本不清、内容冲突或业务表述不明确,则由知识管理员或专业部门决定更换文件、补充材料,或暂时不入库。

这样做的好处是:三类问题,三条线,各找各的人。一个共性问题解决后,后面的同类文件直接复用方案,不用每次从头排查。也避免所有问题最后都堆到FDE一个人身上。

谁验收

验收可以按批次进行,不要等几百份文件全处理完后再统一检查,那等于攒了一整片雷区,最后一起炸。

每批文件由实施人员完成处理、自检和整改后提交,FDE抽检其中具有代表性的文档。

如果抽检发现的是单个问题,就整改单个文件。如果发现同一批文件存在共性问题,就暂停继续扩展,先修正规则或技术方案,再重新处理这一批。

专业部门负责确认内容准确性,项目组和FDE负责确认规则是否执行、问题是否整改、抽检是否通过。

最终形成一条完整责任链:

实施人员自检并整改 → FDE抽检和复验 → 技术团队处理共性问题 → 专业部门确认业务内容。

效果如何?说实话,还在磨合

目前,这套机制还在项目里持续验证。每批抽多少份算合理,哪些复杂文档要提高抽检比例,什么问题值得整批返工,专业部门怎么确认才不会给他们添太多负担——都要结合实际结果进行调整。

但至少有一点已经变了:项目组不再默认由某一个人为所有切片效果负责,每类问题,都有对应的判断人、整改人和验收人。

否则,上传得越快,后面欠下的质量账就越多。

最后,我把这套机制整理成了一份《企业知识库文档检查、整改与验收机制模板》,包含角色分工、检查清单、问题分类、整改台账和验收记录框架。

打开网易新闻 查看更多图片

需要的,后台留言,回复:知识库验收

你们的AI项目里,解析质量是谁在负责?评论区聊聊。

我是申悦AI创业者、独立讲师、企业AI顾问。提供企业AI培训、AI落地方案咨询、AI智能体设计和运营陪跑服务。服务过东风集团、海亮集团等世界500强企业。如果你的公司正在做AI转型、流程重构、知识库建设和智能体落地,想要获得FDE式的服务,欢迎加V详聊合作:s2dongman