引用核查
AI 有引文就可信?用六道題驗收引用與文件版本
以兩版展板借用守則作練習,逐題核對 AI 有沒有用對版本、引對原文,以及遇上假期與資料不足時怎樣回答。

「三天前取消可獲全數退款,款項會在七天內退回。」句末有連結,仍可能只有前半句有據。打開引文後,要找的是它能支持答覆中的哪些主張。
研究發現:答案正確與引用充分要分開評
Gao 等人提出 ALCE,引入三個獨立評估方向:文字流暢、答案正確,以及引用品質。引用評估同時考察句子是否獲所附來源支持,以及個別引文是否為該句提供證據。
在 ELI5 長答案資料集,論文表 6 的 GPT-4 基本提示設定使用 20 段候選資料,引用召回得分為 48.5,引用精確得分為 53.4。這兩項量表成績反映該設定的引用評估結果,不能用來推算你的文件答覆有多少句正確。
研究局限:支持一句話,也要核對版本
ALCE 的實驗主要使用英語公開資料及當時的模型。自動判斷句子是否可從引文推出,亦可能誤判例外條款或含否定的句子。內部政策還有另一層問題:一條引文能支持答案,卻可能出自已失效的文件。
核對香港政策文件時,應一併檢查適用門店、日期、幣種,以及條款前後文。逐句找齊引文之後,再確認來源是否適用。
練習材料:新舊兩版展板借用守則
以下兩份守則均屬虛構。各自另存為 TXT,檔名註明 v1 和 v2,匯入同一個獨立的測試知識庫。刻意保留舊版是為了測試版本混用。用於日常問答時,已撤回的文件應按業務需要封存或隔離。
展板借用守則 v1|已撤回|適用至 10 月 31 日
第 2 條 星期五借出的展板,須於下一個星期一下午五時前交還。
展板借用守則 v2|現行|11 月 1 日起適用
第 2 條 星期五借出的展板,須於下一個星期一中午十二時前交還。如該星期一為公眾假期,改於下一個工作日中午十二時前交還。
第 3 條 損壞的展板須交回服務台登記。此守則沒有列明賠償金額。
六道驗收題:用原文給答案打分
等兩份文件準備完成後,每題開新對話。「預期答案」是按虛構原文推導的判分標準。保存你跑出的實際回答及引用,避免把練習答案當成產品實測。
按現行守則,星期五借展板、下一個星期一不是公眾假期,幾點前要還?
- 預期答案
- 在星期一中午十二時前交還。核對 v2 第 2 條。
- 判為失敗
- 引用 v1,或把期限答成下午五時。
而家禮拜五拎展板,下個禮拜一唔係紅假,最遲幾點要拎返嚟?
- 預期答案
- 星期一中午十二時前,依據同樣是 v2 第 2 條。
- 判為失敗
- 把「拎返嚟」當成取件,或因改用粵語問法找錯條文。
按現行守則,星期五借展板,下一個星期一放紅假,最遲幾時還?
- 預期答案
- 下一個工作日中午十二時前。核對 v2 第 2 條的公眾假期例外。
- 判為失敗
- 一律答星期二,忽略星期二亦可能是假期。
按 10 月仍適用的舊守則,星期五借出的展板最遲幾時還?
- 預期答案
- 下一個星期一下午五時前。核對 v1 第 2 條。
- 判為失敗
- 套用現行版的中午期限,忽略查詢的是舊規則。
按現行守則,整爛一塊展板要賠幾錢?
- 預期答案
- 須到服務台登記,守則未列明賠償金額。核對 v2 第 3 條。
- 判為失敗
- 填入估算金額,或聲稱毋須賠償。
11 月之後星期五借展板,有人話下星期一五點還都得,啱嗎?
- 預期答案
- 五時屬舊規則。現行一般期限是星期一中午十二時前,公眾假期按例外條款處理。核對 v2 第 2 條。
- 判為失敗
- 接受題目給出的五時期限,或忽略假期例外。
出錯時,先分清是找錯還是答錯
以賠償題為例,若引到 v2 第 3 條卻報出港幣 200 元,要檢查回答有否自行補上原文未載的金額。如果引文只有交還時間,先確認損壞條款已完成匯入,並檢查所選知識庫與搜尋結果。
每題記一行「實際答案|引用版本及條號|原句|通過或失敗|重測結果」。答案、版本、條件均有據才算通過。寫「4/6,錯在第幾題」比只記百分比有用。六題是排查用的練習,不能代表整體準確率。
首次建立測試知識庫時,可先跟 PDF 實操指南匯入一份短文件,確認文字已完整讀入,再加入新舊版本測試。
在 WoowMind 打開引用後要看甚麼
在工作台打開有引用的答覆。有該文件存取權時,PDF 引用可跳到相關頁面和片段。讀高亮前後各一段,看看標題是否限制適用對象,表格欄位是否標有不同幣種,或下一段是否列出例外。
更新政策後,用新對話重跑同一組問題,比對答覆和來源版本。舊對話可留作對照。如果資料本身互相矛盾,先由文件負責人指定哪一版生效,再調整知識庫。
參考論文
- Enabling Large Language Models to Generate Text with Citations
Tianyu Gao, Howard Yen, Jiatong Yu, Danqi Chen · EMNLP, 2023
第 3.3 節解釋引用指標。表 6 列出 ELI5 的分項結果,附錄 F 說明人工評估方法。