跳到主要内容

引用排错

AI 知识库引用对不上?逐项验证来源与无依据回答

把 RAG 或 AI 知识库回答拆成可检查的主张,找出错页、错片段、过期来源与没有证据支持的结论。

Qi-Xuan Lu更新 7 分钟阅读

文章封包

01

Workflows

02

看到 AI 回答附了引用,却发现页码、片段、版本或内容对不上的简体中文用户

03

7 分钟阅读

01

有引用标记,只代表系统附上来源,不代表来源真的支持这句话。

02

每个重要主张都要回到准确页面、片段与文档版本检查。

03

检查结果分成支持、部分支持、无依据与过期,不用一个模糊分数带过。

01

先说结论:引用存在,不等于回答有依据

验证 AI 知识库回答时,先把文字拆成可单独判断的事实主张,再逐项打开它引用的页面或片段。只有当前版本的来源完整支持主张的内容、范围、数字与归属,这一项才算通过。

如果引用打不开、指向错页、只支持半句话、引用的是旧版本,或来源根本没说这件事,就要分别记录。不要因为回答读起来合理,或页尾列了三个来源,就把它当成已验证。

02

先分清五种引用失败

缺少引用、链接失效、引用错页、来源不支持主张,以及来源已过期,是五个不同问题。分类正确,才知道应该修检索、metadata、文档版本,还是直接撤回结论。

  • 缺少:重要事实没有任何可检查来源。
  • 失效:source ID、链接、页码或片段已经无法打开。
  • 错配:来源存在,但指向另一页、另一段或另一个主张。
  • 无依据:来源内容没有支持回答得出的结论。
  • 过期:旧版本曾支持,但当前文档、代码或政策已经变化。

03

逐项做 claim-to-evidence 校验

从一个可疑回答开始,为每个事实主张记录引用标记、source ID、文档名称、页码或段落,以及能取得的版本。打开原文后,判断它是完整支持、部分支持、无依据还是过期。

数字、否定词、适用范围、作者归属与日期要分开检查。相邻段落看起来很像,也可能正好否定回答;缺数据时应标记未知,不能把 unavailable 当成通过。

检查一个 Wenlan Page

/pages <主题>
/lint
/curate

04

修正后用同一个问题重测

找到错页或无依据主张后,先修正来源 metadata、删除错误结论,或把 Page 标记为需要刷新与审核。接着用同一个问题重跑,确认答案回到预期来源,而不是换一个看似合理的错误片段。

Wenlan 把 Sources、原子知识与维护型 Pages 分开,并提供 source IDs、修订、stale 状态、lint 与人工审核;这让证据路径可检查,但不会自动保证来源本身正确。

05

这不是自动化真实性分数

这套方法是可重复的排错清单,不是宣称一个分数就能证明整套 RAG 正确。高风险结论仍要回到当前第一方来源,必要时由熟悉领域的人审核。

即使不使用 Wenlan,也可以用同一张表记录 claim、来源位置、版本、判定与修正结果;它的独立价值在于让『哪一句没有依据』变得具体。

先验证一个回答,再扩大知识库

用 Wenlan 打开 Page、来源、过期状态、lint 与审核路径,只保留当前证据真正支持的主张。

FAQ

回答有引用,就代表没有幻觉吗?+
不代表。引用可能指向错页、错片段、旧版本,或只支持部分内容;每个重要主张仍需对照原文。
引用页面不对时应该怎么修?+
先记录为引用错配,再寻找真正支持主张的当前来源。找不到就撤回或标记未知,不要因为回答听起来合理而保留。
Wenlan 能自动证明来源一定正确吗?+
不能。Wenlan 让来源、source IDs、修订与审核可见,但来源的权威性与重要结论仍需人工判断。