跳至主要內容

重排 · 證據預算

RAG 重排不是補救一切:候選召回、nDCG 與證據完整度怎樣一起看

從 Cross-Encoder 的計算方式出發,用可重算的排序例子解釋相關性、必要證據覆蓋和最終答案之間的差距。

下載 Python 算例
深綠空間中依次排列的透明幾何模組與金色層板

候選裏已有退款條文,回答仍漏掉「行政費不退」。這時候重排可能有用,也可能把情況弄得更差。核心問題有兩個:例外條款有沒有進入候選池,以及最終上下文預算有沒有把它保留下來。只報一個 rerank score,很難回答這兩個問題。

Bi-Encoder 與 Cross-Encoder 的成本差在哪裏

向量召回通常把 query 和 chunk 分開編碼,用相似度從索引找出候選。文件向量可預先計算。Cross-Encoder 把 query 和每個候選放進同一次模型計算,讓兩者的 token 直接互動,再估計相關性分數。候選數量增加,這種逐對計算的開支也會增加,實際延遲還受批次及硬件影響。

Nogueira 與 Cho 的 BERT passage reranking 工作明確把重排列為召回之後的第二階段,用 query 與 passage 聯合輸入產生相關性排序。論文是 arXiv 預印本,採用的是當時的英文基準與 BERT 設定。其最大輸入長度等細節屬該實作,不能套到所有現代 reranker。

重排流水線:多路召回與融合,去重及權限和版本檢查,Cross-Encoder 逐對評分,再按 token 預算組裝證據。召回漏掉的證據無法靠重排找回;組裝時需保留期限及費用例外。
圖 1|從候選池到最終上下文的四個檢查點。片段 A 表示現行期限,B 表示費用例外,C 表示一般介紹。流程為工程示意;相關性排序不等於證據已完整。
text
Query
  → 多路召回 → 去重及權限/版本檢查 → M 個候選
  → Cross-Encoder(query, candidate) → 重新排序
  → 按 token 預算選取與補齊證據 → LLM 回答

先算候選上限,再討論重排好壞

對一條題目,把回答必須用到的 chunk 集合寫成 G,召回候選集合寫成 C。即使重排完全理想,最多也只能使用 C 裏的證據。若 G 與 C 沒有交集,換更強的 reranker 仍無法找回缺失段落。

同樣,Top-1 找到一段相關文字,只能說明有證據,未代表已足夠回答。要同時解釋退款期限和行政費,可能需要兩個 chunk。可額外記錄必要證據覆蓋率,以及「所有必要事實都齊備」的題目比例。若同一事實有多份等價來源,應按可替代的證據組標註,避免把每份副本都當作必須召回。

text
候選證據覆蓋 = |G ∩ C| / |G|
上下文證據覆蓋 = |G ∩ SelectedContext| / |G|
完整證據命中 = 1,當且僅當本題每項必要事實都有至少一份有效來源

以上按本文標註方式計算,並非通用 reranker 的輸出分數。

算例:排序分數上升,還要看哪些證據被選中

構造五個 chunk。D1 是過期規則,D2 是相關介紹,D3 有現行期限,D4 是其他產品,D5 有費用例外。給相關性等級 [0, 1, 2, 0, 2],並指定 D3 和 D5 是本題所需證據。原始順序是 D1、D2、D3、D4、D5。

把順序人工改為 D3、D5、D2、D1、D4,便得到理想排序。以下由下載腳本計算,只比較人為順序與理想順序,沒有執行重排模型。它用來解釋指標的意義,並非任何模型的提升幅度。

同一候選池,只選前 2 個 chunk
指標原始順序人工理想順序
Recall@2(等級 > 0 為相關)1/32/3
RR(第一個相關結果的倒數名次)0.51
nDCG@20.1289511
必要證據覆蓋@2(D3、D5)0/22/2
text
DCG@K = Σᵢ₌₁…K (2^relᵢ − 1) / log₂(i + 1)
nDCG@K = DCG@K / 理想排序的 DCG@K
本例原始 DCG@2 = 1 / log₂(3)
理想 DCG@2 = 3 + 3 / log₂(3)

真正的截斷常發生在 token 預算

把候選從 50 重排成前 5,仍未交代最終有多少文字送入模型。一個 1,500-token 的片段和一個 100-token 的例外,會以不同方式擠佔預算。評估時固定格式化後的上下文 token 上限,把標題、版本、引用 ID 一併計入,並保存實際送入的順序。

邊界上的表格或定義可按文件結構補回鄰接段落,但要計入同一預算並沿用權限檢查。每選一段就無條件加前後兩段,可能重新引入大量噪音。候選本身若已在送入 reranker 前被截去表尾的例外,模型只會替一段不完整的文字打分。

去重也應看證據用途。同一政策的重複副本可以減少佔位,另一段提供例外的文字卻不能因為共享相同標題而刪掉。相關性排序和證據組裝各有工作,兩者最好分開記錄。

一次有診斷能力的重排消融實驗

用同一份候選快照比較不重排、本地重排或託管重排。不要讓候選數量、正文內容、token 預算與生成模型一起變動。先看排序,再看上下文證據,最後才比較答案。

BEIR 在多領域零樣本檢索中比較不同架構,指出部分重排方法的效能與運算開支之間存在取捨。其英文資料集結果可用作選方法的依據,不能推算繁體政策問答的收益。下面的實驗表需要用你自己的題集填數。

重排測完之後,若還要比較生成模型,可採用固定上下文的模型測評方法,讓每個模型讀到同一組片段及相同順序。

  1. 保存 M = 20、50、100 三種候選快照,先計算每種候選證據覆蓋。這些數值是建議的探索範圍,按語料大小及成本調整。
  2. 每種 M 分別在相同 token 預算下比較排序與答案,報 nDCG、必要證據覆蓋、逐題答案是否有據,以及重排額外耗時。
  3. 標註實際版本、截斷方向、批次、超時及回退。耗時分別報端到端和重排階段的 p50/p95,超時案例也要列入失敗數。
  4. 逐題檢查退步案例,尤其是否把同名舊版、肯定句、較長的行銷介紹排在否定條款前。平均值不能揭示這類方向性錯誤。

在 WoowMind 類型的產品中怎樣驗收

用三種難負例驗收:同一條款的舊版、同一產品的不同服務級別,以及少了一個否定詞便會反轉意思的片段。追查答案錯誤時,核對重排前後的 chunk ID,再看送入 LLM 的具體文字與引用原文能否對上。

如果候選覆蓋已不足,回到召回及文件切分。候選齊全但預算內少了例外,檢查重排及上下文組裝。證據已齊、回答仍忽略條件,才進入生成模型與提示的評測。這個排查順序能減少無法解釋的反覆調參。

參考論文