引用排错
AI 知识库引用对不上?逐项验证来源与无依据回答
把 RAG 或 AI 知识库回答拆成可检查的主张,找出错页、错片段、过期来源与没有证据支持的结论。
文章封包
Workflows
看到 AI 回答附了引用,却发现页码、片段、版本或内容对不上的简体中文用户
7 分钟阅读
01
有引用标记,只代表系统附上来源,不代表来源真的支持这句话。
02
每个重要主张都要回到准确页面、片段与文档版本检查。
03
检查结果分成支持、部分支持、无依据与过期,不用一个模糊分数带过。
01
先说结论:引用存在,不等于回答有依据
验证 AI 知识库回答时,先把文字拆成可单独判断的事实主张,再逐项打开它引用的页面或片段。只有当前版本的来源完整支持主张的内容、范围、数字与归属,这一项才算通过。
如果引用打不开、指向错页、只支持半句话、引用的是旧版本,或来源根本没说这件事,就要分别记录。不要因为回答读起来合理,或页尾列了三个来源,就把它当成已验证。
02
先分清五种引用失败
缺少引用、链接失效、引用错页、来源不支持主张,以及来源已过期,是五个不同问题。分类正确,才知道应该修检索、metadata、文档版本,还是直接撤回结论。
- 缺少:重要事实没有任何可检查来源。
- 失效:source ID、链接、页码或片段已经无法打开。
- 错配:来源存在,但指向另一页、另一段或另一个主张。
- 无依据:来源内容没有支持回答得出的结论。
- 过期:旧版本曾支持,但当前文档、代码或政策已经变化。
03
逐项做 claim-to-evidence 校验
从一个可疑回答开始,为每个事实主张记录引用标记、source ID、文档名称、页码或段落,以及能取得的版本。打开原文后,判断它是完整支持、部分支持、无依据还是过期。
数字、否定词、适用范围、作者归属与日期要分开检查。相邻段落看起来很像,也可能正好否定回答;缺数据时应标记未知,不能把 unavailable 当成通过。
检查一个 Wenlan Page
/pages <主题>
/lint
/curate04
修正后用同一个问题重测
找到错页或无依据主张后,先修正来源 metadata、删除错误结论,或把 Page 标记为需要刷新与审核。接着用同一个问题重跑,确认答案回到预期来源,而不是换一个看似合理的错误片段。
Wenlan 把 Sources、原子知识与维护型 Pages 分开,并提供 source IDs、修订、stale 状态、lint 与人工审核;这让证据路径可检查,但不会自动保证来源本身正确。
05
这不是自动化真实性分数
这套方法是可重复的排错清单,不是宣称一个分数就能证明整套 RAG 正确。高风险结论仍要回到当前第一方来源,必要时由熟悉领域的人审核。
即使不使用 Wenlan,也可以用同一张表记录 claim、来源位置、版本、判定与修正结果;它的独立价值在于让『哪一句没有依据』变得具体。
先验证一个回答,再扩大知识库
用 Wenlan 打开 Page、来源、过期状态、lint 与审核路径,只保留当前证据真正支持的主张。
FAQ