跳至主要內容

文件切分 · Chunking

Chunk 越細越準?知識庫文件切分的三組對照實驗

固定檢索器與上下文預算,比較固定窗口、結構段落及自足命題。附虛構條款、16 題驗收材料,按必要事實檢查有沒有切走條件與例外。

下載條款、16 題與記錄模板
沿中央軸分層排列的透明綠色資訊面板

「預繳款可以退回」和「已完成檢查的檢查費不退」若被拆開,搜尋可能只帶回其中一段。把 chunk 調細,的確可能減少無關文字,亦可能令條件、主體和適用版本分散。本文提供研究導讀與可執行的驗證設計,尚未運行模型或檢索實驗;文中的數字算例只用來說明判分。

論文比較的是檢索粒度,不是最佳 chunk 長度

Chen 等人在 EMNLP 2024 的 Dense X Retrieval,比較 passage、sentence 和 proposition 作為索引單位。Proposition 是可獨立理解、表達一項事實的命題,必須補齊主體與指代;它並不是把句子按標點愈切愈短。

研究在英文 Wikipedia 及開放域問答設定中,觀察到命題粒度能改善部分檢索與下游問答表現,重點之一是固定上下文長度內的相關資訊密度。論文亦檢查生成命題的忠實度、最小性和自足性。這支持把粒度列作實驗變量,不能推出所有知識庫都應使用同一長度。

研究局限:英文百科事實,與繁體政策條件有距離

論文的語料限於英文 Wikipedia,評估範圍亦受其檢索模型與題集限制。企業條款常有產品級別、否定、收費單位、表格和生效日期;不能把英文事實問答的改善直接當成繁體政策問答的收益。

命題抽取本身也是生成步驟。把「只有 WM-217 可加急」改成「設備可加急」,即使句子短而流暢,仍然失去限制。本文的命題組先由人手核對,用來隔離粒度問題;它不是論文 Propositionizer 的復現。自動抽取的成本、索引增長及錯誤,需要另外評估。

先檢查切分有沒有改變事實的適用範圍

以虛構維修條款為例,索引單位可以很短,但讀者必須知道說的是哪款產品、哪種費用,以及甚麼情況。下面是作者構造的錯誤示例,並非模型輸出。

實作時保存原文件 ID、版本、章節與來源位置,讓命題能回到原段落。補回主詞時,只能用原文可支持的內容;不知道「其」指誰,應標記待核對,而不是自行選一個產品。

構造示例:縮短文字時容易丟失的限制
原文重點失真的短句應保留的條件
只有 WM-217 可選加急服務設備可以加急產品 WM-217;排他資格
已完成檢查的檢查費不退所有費用不退費用種類;檢查已完成
香港島及九龍,不包括新界及離島提供香港上門服務實際地區與排除範圍

可複製材料:先保存原文,再建立事實標註

把下面原文存成 TXT。下載材料另附一份產品介紹作干擾文件、14 項事實標註及 16 道題。全部內容均屬虛構。事實 ID 和預期答案是評分資料,請分開保存,不要一併匯入待測知識庫或交給生成模型。

事實標註只使用可回到原文的引句,不跟某一種 chunk ID 綁定。若改了切分方式,黃金事實仍保持不變。這個小題集用來發現邊界錯誤,不能代表生產語料的平均表現。

text
維港維修服務條款 v3|虛構驗證文件|2026-11-01 起適用

§1 保養範圍
WM-217 主機保養期為發票日期起十二個月;WM-218 主機保養期為發票日期起六個月。兩款主機均不包括入水及意外損壞。WM-218 隨附配件的保養期為發票日期起三個月。

§2 服務地區與費用
WM-217 上門服務只適用於香港島及九龍,不包括新界及離島。兩款主機均可預約一次免費視像初步檢查,每次最長三十分鐘。WM-217 上門檢查費為港幣一百八十元。檢查費一經進行檢查便不退回。

費用表(港幣;須連同上述條件閱讀)
服務|適用機款|金額
上門檢查|WM-217|180元
視像初步檢查|WM-217、WM-218|一次免費,每次最多30分鐘
加急服務|只有WM-217|120元,須先確認名額

§3 預約與改期
維修預約須至少提前兩個工作天提出。改期須於原預約日前一個工作天中午十二時前提出。只有 WM-217 可選港幣一百二十元的加急服務;加急服務仍須先確認名額,不保證即日完成維修。

§4 取消與天氣安排
維修預繳款可於預約日前至少兩個工作天下午五時前取消並申請退回。已完成檢查的檢查費不會退回。若預約當日發出八號或以上熱帶氣旋警告,該次上門服務順延至下一個工作天,毋須另付改期費。

§5 名詞與缺少的資料
工作天指星期一至五,不包括香港公眾假期。本文件沒有列明退款到賬日數、維修預繳款金額或一般維修完成日數。

三組對照:固定來源與模型,只換索引單位

三組使用同一原文快照、Embedding、檢索器、權限與版本過濾、生成器及提示。第一輪先關閉重排與鄰接段落擴展,避免同時換掉多個階段;之後才把擴展或重排加入另一輪對照。

固定窗口可先用 128 tokens、重疊 16 tokens 作探索起點;這些是建議設定,不是實測最佳值。必須記錄實際 tokenizer,不能把 128 個中文字直接當成 128 tokens。結構組按標題與段落切分,遇到超限段落仍要有明確規則。

命題組由人手核對主體、條件和原文位置,並保留未能安全拆分的條款。若每個命題都補入相同版本與標題,要把重複文字的成本算進索引與上下文預算。

建議實驗組;尚未執行
組別索引內容需要記錄
A 固定窗口按同一 tokenizer 切分長度、重疊、截斷方向
B 結構段落標題與原段落;保留表頭超限處理、章節與來源位置
C 自足命題經人手核對的獨立事實抽取規則、來源對應、條件遺漏

用相同文字預算比較,不只比較 top-k

三個長段落與三個短命題,佔用的上下文並不相同。主要比較可先固定為 800 個生成器 tokens,連標題、版本、引用標籤及分隔符一起計算;800 只是本文的建議起點。記下實際選入的單位與排序,超限的候選不應半截送入模型。

例如採用「依序加入完整單位;放不下便略過,繼續查看後面的候選」規則,就要三組都使用同一規則,並記錄被略過的項目。另報相同 top-k 的結果可作補充,但兩種比較回答的問題不同。

候選搜尋深度也要公開:細粒度會增加索引單位數,相同候選數未必代表相同搜尋成本。首輪可固定候選上限,另做候選深度敏感度分析,並列出索引單位數、儲存量和實際延遲。

按必要事實判分,避免重複片段灌高命中率

設某題所需事實集合為 G,實際上下文完整支持的事實集合為 S。覆蓋率計算去重後的事實,不是命中 chunk 數。只保留半句、缺少條件或引用錯誤版本,不算完整支持。

構造算例:取消退款題需要 F9(預繳款取消條件)與 F10(已完成檢查費不退)。若三個候選都只重複 F9,覆蓋仍是 1/2;加入 F10 才是 2/2。這是集合運算示例,不是任何切分方案的實測成績。

C15、C16 的資料未列明,沒有必要事實可作分母;另評估模型有否自創退款到賬日數或完成時限。可接受等價原文證據,遇到標註爭議先複核題目,不應為了保住分數而排除合理答案。

text
事實覆蓋率 = |G ∩ S| / |G|,僅用於 G 非空的題目
完整證據命中 = 1,若 G 的每項必要事實均有完整來源支持
答案有據 = 答覆正確,且沒有增加來源不支持的承諾

構造算例:G={F9,F10},S={F9} → 覆蓋 1/2,完整命中 0
未實測欄位一律填 null;不要把空白結果填成 0。
  1. C09:取消期限前取消,已完成檢查的費用也全退嗎?

    預期答案
    分開說明預繳款與已完成檢查費,支持事實為 F9、F10。
    判為失敗
    只找到可退款一句,就回答所有費用全退。
  2. C11:新界的 WM-217 用戶有甚麼初步檢查途徑?

    預期答案
    說明上門地區不包括新界,仍可一次免費視像初步檢查,最長三十分鐘。
    判為失敗
    把香港島及九龍泛化成全港,或漏掉視像方案。
  3. C15:退款幾個銀行工作天到賬?

    預期答案
    文件未列明,不能確認日數。
    判為失敗
    自行補出三日、七日等時限。

保存能定位問題的紀錄,再決定是否換切分方案

下載材料的結果模板全部為 null。實際測試時,每題保存 query、候選 ID、上下文完整文字、可支持的事實 ID、答案、引用與耗時;報告有答案題完整命中率、未知題臆測率及逐題退步案例,不只報平均值。

若候選已缺少費用例外,檢查切分與召回;候選齊全但上下文少了例外,檢查重排與證據預算;上下文完整而回答仍錯,才進入固定上下文的模型測評。這三種錯誤需要不同修正。

在 WoowMind 類型的知識庫中,先做使用者能驗證的一層

可把虛構條款與干擾文件匯入獨立測試知識庫,只把問題交給助手,再打開引用核對產品、條件與例外。不要把評分答案一併上傳,亦不要用正式客戶資料試驗。

如果介面沒有顯示 chunk 或候選紀錄,這只能稱為文件問答驗收,不能反推出內部使用哪種切分或宣稱已完成三組對照。工程端取得索引設定與上下文快照後,才能按本文固定變量的方式比較。先驗證證據完整度,再選擇更細或更大的單位。

參考論文

  • Dense X Retrieval: What Retrieval Granularity Should We Use?

    Tong Chen, Hongwei Wang, Sihao Chen, Wenhao Yu, Kaixin Ma, Xinran Zhao, Hongming Zhang, Dong Yu · EMNLP, 2024

    第 2 節定義命題,第 3 節交代抽取與品質檢查;第 6 節比較固定上下文預算的問答,Limitations 說明語言與語料範圍。