跳至主要內容

引用核查

AI 有引文就可信?用六道題驗收引用與文件版本

以兩版展板借用守則作練習,逐題核對 AI 有沒有用對版本、引對原文,以及遇上假期與資料不足時怎樣回答。

放大鏡下的紙張紋理、文件線條與綠色標註

「三天前取消可獲全數退款,款項會在七天內退回。」句末有連結,仍可能只有前半句有據。打開引文後,要找的是它能支持答覆中的哪些主張。

研究發現:答案正確與引用充分要分開評

Gao 等人提出 ALCE,引入三個獨立評估方向:文字流暢、答案正確,以及引用品質。引用評估同時考察句子是否獲所附來源支持,以及個別引文是否為該句提供證據。

在 ELI5 長答案資料集,論文表 6 的 GPT-4 基本提示設定使用 20 段候選資料,引用召回得分為 48.5,引用精確得分為 53.4。這兩項量表成績反映該設定的引用評估結果,不能用來推算你的文件答覆有多少句正確。

研究局限:支持一句話,也要核對版本

ALCE 的實驗主要使用英語公開資料及當時的模型。自動判斷句子是否可從引文推出,亦可能誤判例外條款或含否定的句子。內部政策還有另一層問題:一條引文能支持答案,卻可能出自已失效的文件。

核對香港政策文件時,應一併檢查適用門店、日期、幣種,以及條款前後文。逐句找齊引文之後,再確認來源是否適用。

練習材料:新舊兩版展板借用守則

以下兩份守則均屬虛構。各自另存為 TXT,檔名註明 v1 和 v2,匯入同一個獨立的測試知識庫。刻意保留舊版是為了測試版本混用。用於日常問答時,已撤回的文件應按業務需要封存或隔離。

可複製的兩份測試文件

展板借用守則 v1|已撤回|適用至 10 月 31 日

第 2 條 星期五借出的展板,須於下一個星期一下午五時前交還。

展板借用守則 v2|現行|11 月 1 日起適用

第 2 條 星期五借出的展板,須於下一個星期一中午十二時前交還。如該星期一為公眾假期,改於下一個工作日中午十二時前交還。

第 3 條 損壞的展板須交回服務台登記。此守則沒有列明賠償金額。

六道驗收題:用原文給答案打分

等兩份文件準備完成後,每題開新對話。「預期答案」是按虛構原文推導的判分標準。保存你跑出的實際回答及引用,避免把練習答案當成產品實測。

  1. 按現行守則,星期五借展板、下一個星期一不是公眾假期,幾點前要還?

    預期答案
    在星期一中午十二時前交還。核對 v2 第 2 條。
    判為失敗
    引用 v1,或把期限答成下午五時。
  2. 而家禮拜五拎展板,下個禮拜一唔係紅假,最遲幾點要拎返嚟?

    預期答案
    星期一中午十二時前,依據同樣是 v2 第 2 條。
    判為失敗
    把「拎返嚟」當成取件,或因改用粵語問法找錯條文。
  3. 按現行守則,星期五借展板,下一個星期一放紅假,最遲幾時還?

    預期答案
    下一個工作日中午十二時前。核對 v2 第 2 條的公眾假期例外。
    判為失敗
    一律答星期二,忽略星期二亦可能是假期。
  4. 按 10 月仍適用的舊守則,星期五借出的展板最遲幾時還?

    預期答案
    下一個星期一下午五時前。核對 v1 第 2 條。
    判為失敗
    套用現行版的中午期限,忽略查詢的是舊規則。
  5. 按現行守則,整爛一塊展板要賠幾錢?

    預期答案
    須到服務台登記,守則未列明賠償金額。核對 v2 第 3 條。
    判為失敗
    填入估算金額,或聲稱毋須賠償。
  6. 11 月之後星期五借展板,有人話下星期一五點還都得,啱嗎?

    預期答案
    五時屬舊規則。現行一般期限是星期一中午十二時前,公眾假期按例外條款處理。核對 v2 第 2 條。
    判為失敗
    接受題目給出的五時期限,或忽略假期例外。

出錯時,先分清是找錯還是答錯

以賠償題為例,若引到 v2 第 3 條卻報出港幣 200 元,要檢查回答有否自行補上原文未載的金額。如果引文只有交還時間,先確認損壞條款已完成匯入,並檢查所選知識庫與搜尋結果。

每題記一行「實際答案|引用版本及條號|原句|通過或失敗|重測結果」。答案、版本、條件均有據才算通過。寫「4/6,錯在第幾題」比只記百分比有用。六題是排查用的練習,不能代表整體準確率。

首次建立測試知識庫時,可先跟 PDF 實操指南匯入一份短文件,確認文字已完整讀入,再加入新舊版本測試。

在 WoowMind 打開引用後要看甚麼

在工作台打開有引用的答覆。有該文件存取權時,PDF 引用可跳到相關頁面和片段。讀高亮前後各一段,看看標題是否限制適用對象,表格欄位是否標有不同幣種,或下一段是否列出例外。

更新政策後,用新對話重跑同一組問題,比對答覆和來源版本。舊對話可留作對照。如果資料本身互相矛盾,先由文件負責人指定哪一版生效,再調整知識庫。

參考論文

用 WoowMind 試做引用驗收