跳至主要內容

多路召回 · RRF

多路召回怎樣融合?從 RRF 公式到候選截斷的實際代價

手算兩路召回的 RRF 分數,解釋 k、重複投票與候選深度,再用消融實驗判斷混合檢索是否值得。

下載 Python 算例
深綠背景上交匯的綠色光束與層疊粒子波紋

知識庫問「WM-217 的保養期」,詞項檢索可能精確命中編號。問「部機壞咗仲包唔包」,向量檢索可能較容易找到「保固範圍」。把兩路結果接在一起只得到一個候選池,要選哪些片段送去重排,仍需一個排序規則。RRF 提供了不依賴原始分數尺度的起點,但它同時會放大兩路共同犯的錯。

先看原論文解決甚麼問題

Cormack、Clarke 與 Büttcher 在 SIGIR 2009 提出 Reciprocal Rank Fusion,以多個檢索系統的名次融合結果。他們在 TREC 與 LETOR 的實驗支持了這種簡單方法的有效性,並在先導實驗後固定使用 k = 60。

這項研究的對象是檢索排序。論文沒有驗證今天的 Embedding、香港繁體語料、權限過濾或 RAG 答案。本文沿用其公式,後面的候選深度、資料切分和驗收設計是工程推導,要靠自己的標註集確認。

公式裏的 k,跟 top-k 不是同一個參數

rank 從 1 開始。某個 chunk 沒有出現在一路返回的結果,該路便貢獻 0。基礎 RRF 把每路權重視作相同。加上 w_i 是常見的加權延伸,要另行驗證權重。

k 是平滑常數,控制第一名相對後面名次的優勢。k = 60 時,第 1 與第 10 名的單路貢獻比為 70/61,約 1.15 倍。k = 1 時則為 11/2,即 5.5 倍。較大的 k 讓「被多路共同找出」更有機會勝過「單路排得很前」。

每路召回多少條、融合後保留多少條、重排後送多少條,應另取名稱,例如 depth_per_route、fusion_limit、context_limit。三者都叫 top_k,容易在調參時誤以為只改了一個階段。

text
RRF(d) = Σᵢ 1 / (k + rankᵢ(d))
加權延伸:RRFw(d) = Σᵢ wᵢ / (k + rankᵢ(d))
未出現在第 i 路的 chunk,其第 i 路貢獻 = 0

一個可直接重算的兩路例子

假設詞項路返回 [A, B, C],向量路返回 [B, D, C]。以下只是人為構造的名次,沒有呼叫檢索模型。下載腳本後執行 python3 rrf-rerank-demo.py,可重算全部數字。

B 雖在詞項路只排第二,因為同時在向量路排第一,融合後勝過只在詞項路排第一的 A。C 也因為得到兩票排在 A 前面。分數表示排序訊號,並非「正確概率」或「答案可信度」。

RRF 融合算例:詞項路 A、B、C,向量路 B、D、C;k 為 60。B 與 C 各獲兩路投票,融合順序為 B、C、A、D。
圖 1|兩路名次如何變成一張融合清單。B、C 各有兩路貢獻,超過只有一路返回的 A。數值來自下方構造算例,並非模型測試結果。
兩路 RRF,k = 60,保留六位小數
Chunk詞項名次向量名次RRF 分數融合名次
B210.0325221
C330.0317462
A1未返回0.0163933
D未返回20.0161294
python
from collections import defaultdict

def rrf(rankings, k=60):
    scores = defaultdict(float)
    for ranking in rankings:
        if len(ranking) != len(set(ranking)):
            raise ValueError('一路內的 chunk ID 必須唯一')
        for rank, chunk_id in enumerate(ranking, 1):
            scores[chunk_id] += 1 / (k + rank)
    return sorted(scores.items(), key=lambda x: (-x[1], x[0]))

print(rrf([['A', 'B', 'C'], ['B', 'D', 'C']]))

四種會令融合結果失真的情況

第一,去重鍵不穩定。同一個 chunk 從兩路出現,應累加分數後只留一份。不同文件碰巧有一樣的文字,卻可能有不同租戶、版本或生效日,不宜只用正文雜湊把它們合併。先界定檢索單位,再決定 ID 是否須包含文件與版本。

第二,把 query rewrite 的多個相似問法當成多個獨立系統。它們可能一直把同一份通告推到前面。算例把向量路重複計算一次,D 的分數便由 0.016129 變成 0.032258,超過 A。若要保留多次改寫,可先在同一路內合併,或為一組改寫設定共同權重預算。

第三,每路截得太淺。正確段落若兩路都排第 21,而每路只取 20,之後的融合和重排都沒有機會看到它。提高 fusion_limit 無法補回已丟掉的候選。

第四,共同命中的都是舊文件。兩票只代表兩路同意,版本適用性要由資料及過濾條件處理。權限條件最好在各路查詢時生效,再於合併出口核驗。只取前幾名才過濾,既會耗盡名額,也可能把不應處理的資料送入後續服務。

怎樣知道多一路召回真的有幫助

先建立含正確 chunk ID 的題集,至少分為精確編號、同義改寫、跨段問題、版本衝突。開發集用來調 depth 與 k,測試集固定後才做最後比較。同一文件的近似改寫題應分在同一邊,避免洩漏題目。

分別測詞項、向量、RRF,以及 RRF 加重排。比較融合方法時,固定兩路原始候選和 fusion_limit。評估多路的整體成本時,另列各路延遲、聯集大小、去重後大小及重排輸入 token。並行召回的耗時接近最慢一路加上協調開支,但用量成本仍須把每路計入。

每題保留的診斷數據
指標定義它能定位甚麼
Candidate Recall候選聯集中找回的 gold chunks/全部 gold chunks資料在進入融合前是否已漏掉
Recall@M融合前 M 名找回的 gold chunks/全部 gold chunks融合與截斷是否把證據擠走
新增命中另一單路未命中、加一路後命中的題數第二路有否提供互補訊號
新增退步原本命中、融合後前 M 名卻不命中的題數多路共同錯誤或名額競爭

落到企業知識庫,先補可觀測性

在 WoowMind 這類文件知識庫中,應能按同一題追查各路名次、融合結果、版本、重排輸入和最終引用。只看聊天答案,無法判斷漏答發生在哪一層。正式紀錄可保存 chunk ID 與版本,原文查閱則沿用權限控制。

驗收時,為同一產品編號寫一題正式用語、一題粵語改寫,檢查兩路是否取到相同的有效版本。若 RRF 只讓總平均上升,卻令編號題退步,先分析兩類題目的名額競爭。這比繼續增加第三、第四條相似召回路更有診斷價值。

若正確段落已在候選池,卻在後續排序被擠走,可接着閱讀重排與證據預算的分析,將融合損失與上下文選取損失分開量度。

參考論文