重排 · 證據預算
RAG 重排不是補救一切:候選召回、nDCG 與證據完整度怎樣一起看
從 Cross-Encoder 的計算方式出發,用可重算的排序例子解釋相關性、必要證據覆蓋和最終答案之間的差距。
下載 Python 算例
候選裏已有退款條文,回答仍漏掉「行政費不退」。這時候重排可能有用,也可能把情況弄得更差。核心問題有兩個:例外條款有沒有進入候選池,以及最終上下文預算有沒有把它保留下來。只報一個 rerank score,很難回答這兩個問題。
Bi-Encoder 與 Cross-Encoder 的成本差在哪裏
向量召回通常把 query 和 chunk 分開編碼,用相似度從索引找出候選。文件向量可預先計算。Cross-Encoder 把 query 和每個候選放進同一次模型計算,讓兩者的 token 直接互動,再估計相關性分數。候選數量增加,這種逐對計算的開支也會增加,實際延遲還受批次及硬件影響。
Nogueira 與 Cho 的 BERT passage reranking 工作明確把重排列為召回之後的第二階段,用 query 與 passage 聯合輸入產生相關性排序。論文是 arXiv 預印本,採用的是當時的英文基準與 BERT 設定。其最大輸入長度等細節屬該實作,不能套到所有現代 reranker。
Query
→ 多路召回 → 去重及權限/版本檢查 → M 個候選
→ Cross-Encoder(query, candidate) → 重新排序
→ 按 token 預算選取與補齊證據 → LLM 回答先算候選上限,再討論重排好壞
對一條題目,把回答必須用到的 chunk 集合寫成 G,召回候選集合寫成 C。即使重排完全理想,最多也只能使用 C 裏的證據。若 G 與 C 沒有交集,換更強的 reranker 仍無法找回缺失段落。
同樣,Top-1 找到一段相關文字,只能說明有證據,未代表已足夠回答。要同時解釋退款期限和行政費,可能需要兩個 chunk。可額外記錄必要證據覆蓋率,以及「所有必要事實都齊備」的題目比例。若同一事實有多份等價來源,應按可替代的證據組標註,避免把每份副本都當作必須召回。
候選證據覆蓋 = |G ∩ C| / |G|
上下文證據覆蓋 = |G ∩ SelectedContext| / |G|
完整證據命中 = 1,當且僅當本題每項必要事實都有至少一份有效來源
以上按本文標註方式計算,並非通用 reranker 的輸出分數。算例:排序分數上升,還要看哪些證據被選中
構造五個 chunk。D1 是過期規則,D2 是相關介紹,D3 有現行期限,D4 是其他產品,D5 有費用例外。給相關性等級 [0, 1, 2, 0, 2],並指定 D3 和 D5 是本題所需證據。原始順序是 D1、D2、D3、D4、D5。
把順序人工改為 D3、D5、D2、D1、D4,便得到理想排序。以下由下載腳本計算,只比較人為順序與理想順序,沒有執行重排模型。它用來解釋指標的意義,並非任何模型的提升幅度。
| 指標 | 原始順序 | 人工理想順序 |
|---|---|---|
| Recall@2(等級 > 0 為相關) | 1/3 | 2/3 |
| RR(第一個相關結果的倒數名次) | 0.5 | 1 |
| nDCG@2 | 0.128951 | 1 |
| 必要證據覆蓋@2(D3、D5) | 0/2 | 2/2 |
DCG@K = Σᵢ₌₁…K (2^relᵢ − 1) / log₂(i + 1)
nDCG@K = DCG@K / 理想排序的 DCG@K
本例原始 DCG@2 = 1 / log₂(3)
理想 DCG@2 = 3 + 3 / log₂(3)真正的截斷常發生在 token 預算
把候選從 50 重排成前 5,仍未交代最終有多少文字送入模型。一個 1,500-token 的片段和一個 100-token 的例外,會以不同方式擠佔預算。評估時固定格式化後的上下文 token 上限,把標題、版本、引用 ID 一併計入,並保存實際送入的順序。
邊界上的表格或定義可按文件結構補回鄰接段落,但要計入同一預算並沿用權限檢查。每選一段就無條件加前後兩段,可能重新引入大量噪音。候選本身若已在送入 reranker 前被截去表尾的例外,模型只會替一段不完整的文字打分。
去重也應看證據用途。同一政策的重複副本可以減少佔位,另一段提供例外的文字卻不能因為共享相同標題而刪掉。相關性排序和證據組裝各有工作,兩者最好分開記錄。
一次有診斷能力的重排消融實驗
用同一份候選快照比較不重排、本地重排或託管重排。不要讓候選數量、正文內容、token 預算與生成模型一起變動。先看排序,再看上下文證據,最後才比較答案。
BEIR 在多領域零樣本檢索中比較不同架構,指出部分重排方法的效能與運算開支之間存在取捨。其英文資料集結果可用作選方法的依據,不能推算繁體政策問答的收益。下面的實驗表需要用你自己的題集填數。
重排測完之後,若還要比較生成模型,可採用固定上下文的模型測評方法,讓每個模型讀到同一組片段及相同順序。
- 保存 M = 20、50、100 三種候選快照,先計算每種候選證據覆蓋。這些數值是建議的探索範圍,按語料大小及成本調整。
- 每種 M 分別在相同 token 預算下比較排序與答案,報 nDCG、必要證據覆蓋、逐題答案是否有據,以及重排額外耗時。
- 標註實際版本、截斷方向、批次、超時及回退。耗時分別報端到端和重排階段的 p50/p95,超時案例也要列入失敗數。
- 逐題檢查退步案例,尤其是否把同名舊版、肯定句、較長的行銷介紹排在否定條款前。平均值不能揭示這類方向性錯誤。
在 WoowMind 類型的產品中怎樣驗收
用三種難負例驗收:同一條款的舊版、同一產品的不同服務級別,以及少了一個否定詞便會反轉意思的片段。追查答案錯誤時,核對重排前後的 chunk ID,再看送入 LLM 的具體文字與引用原文能否對上。
如果候選覆蓋已不足,回到召回及文件切分。候選齊全但預算內少了例外,檢查重排及上下文組裝。證據已齊、回答仍忽略條件,才進入生成模型與提示的評測。這個排查順序能減少無法解釋的反覆調參。
參考論文
- Passage Re-ranking with BERT
Rodrigo Nogueira, Kyunghyun Cho · arXiv 預印本, 2019
第 2 節說明聯合輸入及逐候選相關性評分。引用的 HTML 為 2020 年 v5,初稿發表於 2019 年。
- BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models
Nandan Thakur, Nils Reimers, Andreas Rücklé, Abhishek Srivastava, Iryna Gurevych · NeurIPS Datasets and Benchmarks, 2021
用跨領域檢索結果理解零樣本泛化與計算成本,本文企業題集設計另行提出。