多路召回 · RRF
多路召回怎樣融合?從 RRF 公式到候選截斷的實際代價
手算兩路召回的 RRF 分數,解釋 k、重複投票與候選深度,再用消融實驗判斷混合檢索是否值得。
下載 Python 算例
知識庫問「WM-217 的保養期」,詞項檢索可能精確命中編號。問「部機壞咗仲包唔包」,向量檢索可能較容易找到「保固範圍」。把兩路結果接在一起只得到一個候選池,要選哪些片段送去重排,仍需一個排序規則。RRF 提供了不依賴原始分數尺度的起點,但它同時會放大兩路共同犯的錯。
先看原論文解決甚麼問題
Cormack、Clarke 與 Büttcher 在 SIGIR 2009 提出 Reciprocal Rank Fusion,以多個檢索系統的名次融合結果。他們在 TREC 與 LETOR 的實驗支持了這種簡單方法的有效性,並在先導實驗後固定使用 k = 60。
這項研究的對象是檢索排序。論文沒有驗證今天的 Embedding、香港繁體語料、權限過濾或 RAG 答案。本文沿用其公式,後面的候選深度、資料切分和驗收設計是工程推導,要靠自己的標註集確認。
公式裏的 k,跟 top-k 不是同一個參數
rank 從 1 開始。某個 chunk 沒有出現在一路返回的結果,該路便貢獻 0。基礎 RRF 把每路權重視作相同。加上 w_i 是常見的加權延伸,要另行驗證權重。
k 是平滑常數,控制第一名相對後面名次的優勢。k = 60 時,第 1 與第 10 名的單路貢獻比為 70/61,約 1.15 倍。k = 1 時則為 11/2,即 5.5 倍。較大的 k 讓「被多路共同找出」更有機會勝過「單路排得很前」。
每路召回多少條、融合後保留多少條、重排後送多少條,應另取名稱,例如 depth_per_route、fusion_limit、context_limit。三者都叫 top_k,容易在調參時誤以為只改了一個階段。
RRF(d) = Σᵢ 1 / (k + rankᵢ(d))
加權延伸:RRFw(d) = Σᵢ wᵢ / (k + rankᵢ(d))
未出現在第 i 路的 chunk,其第 i 路貢獻 = 0一個可直接重算的兩路例子
假設詞項路返回 [A, B, C],向量路返回 [B, D, C]。以下只是人為構造的名次,沒有呼叫檢索模型。下載腳本後執行 python3 rrf-rerank-demo.py,可重算全部數字。
B 雖在詞項路只排第二,因為同時在向量路排第一,融合後勝過只在詞項路排第一的 A。C 也因為得到兩票排在 A 前面。分數表示排序訊號,並非「正確概率」或「答案可信度」。
| Chunk | 詞項名次 | 向量名次 | RRF 分數 | 融合名次 |
|---|---|---|---|---|
| B | 2 | 1 | 0.032522 | 1 |
| C | 3 | 3 | 0.031746 | 2 |
| A | 1 | 未返回 | 0.016393 | 3 |
| D | 未返回 | 2 | 0.016129 | 4 |
from collections import defaultdict
def rrf(rankings, k=60):
scores = defaultdict(float)
for ranking in rankings:
if len(ranking) != len(set(ranking)):
raise ValueError('一路內的 chunk ID 必須唯一')
for rank, chunk_id in enumerate(ranking, 1):
scores[chunk_id] += 1 / (k + rank)
return sorted(scores.items(), key=lambda x: (-x[1], x[0]))
print(rrf([['A', 'B', 'C'], ['B', 'D', 'C']]))四種會令融合結果失真的情況
第一,去重鍵不穩定。同一個 chunk 從兩路出現,應累加分數後只留一份。不同文件碰巧有一樣的文字,卻可能有不同租戶、版本或生效日,不宜只用正文雜湊把它們合併。先界定檢索單位,再決定 ID 是否須包含文件與版本。
第二,把 query rewrite 的多個相似問法當成多個獨立系統。它們可能一直把同一份通告推到前面。算例把向量路重複計算一次,D 的分數便由 0.016129 變成 0.032258,超過 A。若要保留多次改寫,可先在同一路內合併,或為一組改寫設定共同權重預算。
第三,每路截得太淺。正確段落若兩路都排第 21,而每路只取 20,之後的融合和重排都沒有機會看到它。提高 fusion_limit 無法補回已丟掉的候選。
第四,共同命中的都是舊文件。兩票只代表兩路同意,版本適用性要由資料及過濾條件處理。權限條件最好在各路查詢時生效,再於合併出口核驗。只取前幾名才過濾,既會耗盡名額,也可能把不應處理的資料送入後續服務。
怎樣知道多一路召回真的有幫助
先建立含正確 chunk ID 的題集,至少分為精確編號、同義改寫、跨段問題、版本衝突。開發集用來調 depth 與 k,測試集固定後才做最後比較。同一文件的近似改寫題應分在同一邊,避免洩漏題目。
分別測詞項、向量、RRF,以及 RRF 加重排。比較融合方法時,固定兩路原始候選和 fusion_limit。評估多路的整體成本時,另列各路延遲、聯集大小、去重後大小及重排輸入 token。並行召回的耗時接近最慢一路加上協調開支,但用量成本仍須把每路計入。
| 指標 | 定義 | 它能定位甚麼 |
|---|---|---|
| Candidate Recall | 候選聯集中找回的 gold chunks/全部 gold chunks | 資料在進入融合前是否已漏掉 |
| Recall@M | 融合前 M 名找回的 gold chunks/全部 gold chunks | 融合與截斷是否把證據擠走 |
| 新增命中 | 另一單路未命中、加一路後命中的題數 | 第二路有否提供互補訊號 |
| 新增退步 | 原本命中、融合後前 M 名卻不命中的題數 | 多路共同錯誤或名額競爭 |
落到企業知識庫,先補可觀測性
在 WoowMind 這類文件知識庫中,應能按同一題追查各路名次、融合結果、版本、重排輸入和最終引用。只看聊天答案,無法判斷漏答發生在哪一層。正式紀錄可保存 chunk ID 與版本,原文查閱則沿用權限控制。
驗收時,為同一產品編號寫一題正式用語、一題粵語改寫,檢查兩路是否取到相同的有效版本。若 RRF 只讓總平均上升,卻令編號題退步,先分析兩類題目的名額競爭。這比繼續增加第三、第四條相似召回路更有診斷價值。
若正確段落已在候選池,卻在後續排序被擠走,可接着閱讀重排與證據預算的分析,將融合損失與上下文選取損失分開量度。
參考論文
- Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods
Gordon V. Cormack, Charles L. A. Clarke, Stefan Büttcher · SIGIR, 2009
兩頁原文,第 1 節給出公式,表 1 展示 k 的先導實驗。本文算例及工程驗收設計另行構造。