引用除錯
AI 知識庫引用對不上?逐項驗證來源與無依據回答
把 RAG 或 AI 知識庫回答拆成可檢查主張,找出錯頁、錯片段、過期來源與沒有證據支持的結論。
文章封包
Workflows
看到 AI 回答附了引用,卻發現頁碼、片段、版本或內容對不上的繁體中文使用者
7 分鐘閱讀
01
有引用標記,只代表系統附上來源,不代表來源真的支持這句話。
02
每個重要主張都要回到確切頁面、片段與文件版本檢查。
03
檢查結果分成支持、部分支持、無依據與過期,不用一個模糊分數帶過。
01
先回答:引用存在,不等於回答有依據
驗證 AI 知識庫回答時,先把文字拆成可單獨判斷的事實主張,再逐項打開它引用的頁面或片段。只有目前版本的來源完整支持主張的內容、範圍、數字與歸屬,這一項才算通過。
如果引用打不開、指向錯頁、只支持半句、引用的是舊版本,或來源根本沒說這件事,就要分別記錄。不要因為回答讀起來合理,或頁尾列了三個來源,就把它當成已驗證。
02
先分清楚五種引用失敗
缺少引用、連結失效、引用錯頁、來源不支持主張,以及來源已過期,是五個不同問題。分類正確,才知道應該修檢索、metadata、文件版本,還是直接撤回結論。
- 缺少:重要事實沒有任何可檢查來源。
- 失效:source ID、連結、頁碼或片段已無法開啟。
- 錯配:來源存在,但指向另一頁、另一段或另一個主張。
- 無依據:來源內容沒有支持回答所下的結論。
- 過期:舊版本曾支持,但目前文件、程式或政策已改變。
03
逐項做 claim-to-evidence 檢查
從一個可疑回答開始,替每個事實主張記下引用標記、source ID、文件名稱、頁碼或段落,以及能取得的版本。打開原文後,判斷它是完整支持、部分支持、無依據或過期。
數字、否定詞、適用範圍、作者歸屬與日期要分開檢查。相鄰段落看起來很像,也可能剛好否定回答;缺資料時應標示未知,不能把 unavailable 當成通過。
檢查一個 Wenlan Page
/pages <主題>
/lint
/curate04
修正後要用同一個問題重測
找到錯頁或無依據主張後,先修正來源 metadata、刪除錯誤結論,或把 Page 標記為需要刷新與審查。接著用同一個問題重跑,確認答案回到預期來源,而不是換一個看似合理的錯誤片段。
Wenlan 會把 Sources、原子知識與維護型 Pages 分開,並提供 source IDs、修訂、stale 狀態、lint 與人工審查;這讓證據路徑可檢查,但不會自動保證來源本身正確。
05
這不是自動化真實性分數
這套方法是可重複的除錯清單,不是宣稱一個分數就能證明整套 RAG 正確。高風險結論仍要回到目前的第一方來源,必要時由熟悉領域的人審查。
即使不使用 Wenlan,也可以用相同表格記錄 claim、來源位置、版本、判定與修正結果;它的獨立價值在於讓『哪一句沒有依據』變得具體。
先驗證一個回答,再擴大知識庫
用 Wenlan 打開 Page、來源、過期狀態、lint 與審查路徑,只保留目前證據真的支持的主張。
FAQ