跳到主要內容

引用除錯

AI 知識庫引用對不上?逐項驗證來源與無依據回答

把 RAG 或 AI 知識庫回答拆成可檢查主張,找出錯頁、錯片段、過期來源與沒有證據支持的結論。

Qi-Xuan Lu更新 7 分鐘閱讀

文章封包

01

Workflows

02

看到 AI 回答附了引用,卻發現頁碼、片段、版本或內容對不上的繁體中文使用者

03

7 分鐘閱讀

01

有引用標記,只代表系統附上來源,不代表來源真的支持這句話。

02

每個重要主張都要回到確切頁面、片段與文件版本檢查。

03

檢查結果分成支持、部分支持、無依據與過期,不用一個模糊分數帶過。

01

先回答:引用存在,不等於回答有依據

驗證 AI 知識庫回答時,先把文字拆成可單獨判斷的事實主張,再逐項打開它引用的頁面或片段。只有目前版本的來源完整支持主張的內容、範圍、數字與歸屬,這一項才算通過。

如果引用打不開、指向錯頁、只支持半句、引用的是舊版本,或來源根本沒說這件事,就要分別記錄。不要因為回答讀起來合理,或頁尾列了三個來源,就把它當成已驗證。

02

先分清楚五種引用失敗

缺少引用、連結失效、引用錯頁、來源不支持主張,以及來源已過期,是五個不同問題。分類正確,才知道應該修檢索、metadata、文件版本,還是直接撤回結論。

  • 缺少:重要事實沒有任何可檢查來源。
  • 失效:source ID、連結、頁碼或片段已無法開啟。
  • 錯配:來源存在,但指向另一頁、另一段或另一個主張。
  • 無依據:來源內容沒有支持回答所下的結論。
  • 過期:舊版本曾支持,但目前文件、程式或政策已改變。

03

逐項做 claim-to-evidence 檢查

從一個可疑回答開始,替每個事實主張記下引用標記、source ID、文件名稱、頁碼或段落,以及能取得的版本。打開原文後,判斷它是完整支持、部分支持、無依據或過期。

數字、否定詞、適用範圍、作者歸屬與日期要分開檢查。相鄰段落看起來很像,也可能剛好否定回答;缺資料時應標示未知,不能把 unavailable 當成通過。

檢查一個 Wenlan Page

/pages <主題>
/lint
/curate

04

修正後要用同一個問題重測

找到錯頁或無依據主張後,先修正來源 metadata、刪除錯誤結論,或把 Page 標記為需要刷新與審查。接著用同一個問題重跑,確認答案回到預期來源,而不是換一個看似合理的錯誤片段。

Wenlan 會把 Sources、原子知識與維護型 Pages 分開,並提供 source IDs、修訂、stale 狀態、lint 與人工審查;這讓證據路徑可檢查,但不會自動保證來源本身正確。

05

這不是自動化真實性分數

這套方法是可重複的除錯清單,不是宣稱一個分數就能證明整套 RAG 正確。高風險結論仍要回到目前的第一方來源,必要時由熟悉領域的人審查。

即使不使用 Wenlan,也可以用相同表格記錄 claim、來源位置、版本、判定與修正結果;它的獨立價值在於讓『哪一句沒有依據』變得具體。

先驗證一個回答,再擴大知識庫

用 Wenlan 打開 Page、來源、過期狀態、lint 與審查路徑,只保留目前證據真的支持的主張。

FAQ

回答有引用,就代表沒有幻覺嗎?+
不代表。引用可能指向錯頁、錯片段、舊版本,或只支持部分內容;每個重要主張仍需對照原文。
引用頁面不對時應該怎麼修?+
先記錄為引用錯配,再尋找真正支持主張的目前來源。找不到就撤回或標示未知,不要因為回答聽起來合理而保留。
Wenlan 能自動證明來源一定正確嗎?+
不能。Wenlan 讓來源、source IDs、修訂與審查可見,但來源的權威性與重要結論仍需人工判斷。