7 chiến lược phân đoạn quyết định hiệu quả của RAG

7 Chiến lược phân đoạn quyết định hiệu quả của RAG Bởi Vinod Chugani vào ngày 5/8/2026 trong Trí tuệ nhân tạo 0 Chia sẻ Đăng bài Chia sẻ Trong bài viết này, bạn sẽ tìm hiểu bảy chiến lược phân đoạn riêng biệt cho các đường ống RAG, cách thức hoạt động của từng chiến lược và khi nào nên chọn chiến lược này thay vì chiến lược khác cho trường hợp sử dụng cụ thể của bạn. Các chủ đề chúng ta sẽ đề cập bao gồm: Tại sao việc phân đoạn token kích thước cố định một cách ngây thơ lại phá hủy ý nghĩa ngữ nghĩa và cách các chiến lược như truy xuất cửa sổ câu và phân đoạn cấu trúc bảo toàn nó. Các phương pháp tiếp cận nâng cao bao gồm phân đoạn ngữ nghĩa, phân đoạn phân cấp, phân đoạn mệnh đề do LLM điều khiển và phân đoạn bảo toàn bảng đa phương thức. Những yếu tố quan trọng ngoài chiến lược phân đoạn trong các hệ thống RAG sản xuất, bao gồm quản lý vòng đời chỉ mục và loại bỏ trùng lặp phân đoạn. Cách tiếp cận ngây thơ không hiệu quả Việc đổ văn bản phi cấu trúc vào một cửa sổ token kích thước cố định và gọi đó là đường ống Tạo sinh tăng cường truy xuất (RAG) là một công thức dẫn đến ảo giác. RAG về cơ bản là việc đưa cho một AI một bài kiểm tra mở sách: hệ thống tìm kiếm cơ sở dữ liệu để tìm các ghi chú liên quan, chuyển chúng cho mô hình ngôn ngữ lớn (LLM) và mô hình tổng hợp câu trả lời từ những ghi chú đó. Nhưng cơ sở dữ liệu đó hoàn toàn phụ thuộc vào chiến lược phân đoạn của bạn – bộ quy tắc được sử dụng để cắt một tài liệu lớn thành các phần nhỏ hơn mà mô hình nhúng có thể đọc và lưu trữ. Cách tiếp cận ngây thơ là cắt tài liệu thành các mảng 512 token tĩnh làm đứt các ranh giới ngữ nghĩa, phá hủy ngữ cảnh trước khi mô hình nhúng (hệ thống dịch văn bản thành các mảng toán học) nhìn thấy nó. Cắt một định tính phủ định khỏi chủ ngữ của nó, hoặc chia một định nghĩa hàm thành hai vector, và bộ truy xuất sẽ bị mù, lấy nhầm ghi chú cho bài kiểm tra mở sách của LLM. Một điều đáng làm rõ trước khi chúng ta đi sâu vào: phân đoạn (việc chia chuỗi văn bản một cách xác định hoặc theo kinh nghiệm) và phân tích cú pháp (trích xuất các cấu trúc DOM/AST logic từ các định dạng tài liệu thô) không phải là điều giống nhau. Phân tích cú pháp kém đảm bảo phân đoạn kém, nhưng ngay cả phân tích cú pháp hoàn hảo cũng cần một kiến trúc phân đoạn vững chắc để tồn tại các tải truy vấn sản xuất. 1. Phân đoạn token kích thước cố định có chồng lấp Khái niệm: Chia văn bản nghiêm ngặt theo số lượng token thô bằng cách sử dụng cửa sổ trượt để nắm bắt ngữ cảnh ranh giới cạnh. Cách thức hoạt động: Một bộ mã hóa nhanh ánh xạ văn bản thô thành một mảng số nguyên, cắt nó thành các khối đồng nhất (ví dụ: 512 token) và chồng lấp chúng theo một biên độ cố định (ví dụ: 50 token) trước khi giải mã trở lại chuỗi văn bản cho bộ mã hóa nhúng. Đáng chú ý: Nó bị mù về cấu trúc. Bạn sẽ không thể tránh khỏi việc cắt một khối try/except làm đôi hoặc tách một đại từ khỏi tiền tố của nó. Sự chồng lấp làm giảm nhẹ điều này, nhưng làm tăng sự phình to của cơ sở dữ liệu vector và chi phí tính toán nhập liệu tuyến tính với tỷ lệ chồng lấp. Khi nào nên sử dụng: Khi xử lý các tệp nhật ký đồng nhất, phi cấu trúc hoặc luồng văn bản phẳng nơi không tồn tại ranh giới cấu trúc và độ trễ nhập liệu là ưu tiên hàng đầu. 2. Truy xuất cửa sổ câu (Từ nhỏ đến lớn) Khái niệm: Nhúng một phân đoạn chi tiết để tối đa hóa độ chính xác tìm kiếm vector, sau đó trả về ngữ cảnh xung quanh mở rộng cho LLM trong quá trình tạo lời nhắc. Cách thức hoạt động: Khi nhập liệu, các tài liệu được phân tích thành các câu riêng lẻ. Mỗi câu được nhúng và lưu trữ với một con trỏ siêu dữ liệu đến các câu xung quanh nó (k câu). Tại thời điểm truy xuất, cơ sở dữ liệu vector trả về n câu gần nhất, và phần mềm trung gian sẽ thay thế chúng bằng các cửa sổ văn bản mở rộng trước khi đưa vào mô hình tạo sinh. Lưu ý quan trọng: Việc chèn ngữ cảnh dư thừa là một rủi ro thực sự ở đây. Nếu hai câu liền kề đều vượt qua ngưỡng truy xuất top-k, phần mềm trung gian của bạn cần loại bỏ trùng lặp các cửa sổ ngữ cảnh chồng chéo dựa trên đồ thị. Bỏ qua bước này, bạn sẽ làm tràn cửa sổ ngữ cảnh của LLM và gây ra các đợt tăng đột biến độ trễ suy luận. Khi nào sử dụng: Khi các sự kiện miền được đóng gói dày đặc và có nhiều sắc thái (ví dụ: tài liệu y tế, luật pháp, v.v.) nơi bạn cần độ chính xác truy xuất cao mà không làm mất ngữ cảnh xung quanh. 3. Phân đoạn cấu trúc nhận biết tài liệu Khái niệm: Chia tài liệu theo các ranh giới markdown hoặc DOM hợp lý của chúng (H1, H2, đoạn văn, mục danh sách) thay vì các giới hạn mã thông báo tùy ý. Cách thức hoạt động: Quy trình sử dụng các bộ phân tích để xây dựng một cây cấu trúc tài liệu, phân đoạn các nút lá (đoạn văn và danh sách), và thêm tiền tố phân cấp tiêu đề cha mẹ vào mỗi đoạn (ví dụ: H1: Q3 Earnings > H2: Risk Factors > [Chunk]). Điều này bảo toàn ngữ cảnh toàn cầu bất kể đoạn đó kết thúc ở đâu về mặt không gian. Lưu ý quan trọng: Kích thước nút không xác định và thay đổi rộng rãi. Một phần phụ lớn vẫn có thể vượt quá độ dài chuỗi tối đa của mô hình nhúng của bạn (thường là 512 hoặc 1024 mã thông báo cho bộ mã hóa dày đặc), buộc phải quay lại phân đoạn dựa trên mã thông báo, điều này có nguy cơ phá vỡ tính toàn vẹn cấu trúc mà bạn vừa phải trả chi phí tính toán để phân tích. Khi nào sử dụng: Khi nhập các tài liệu công ty được định dạng nhiều, tài liệu API hoặc hợp đồng trong đó hệ thống phân cấp tiêu đề vốn dĩ xác định tải trọng ngữ nghĩa. 4. Phân đoạn ngữ nghĩa (dựa trên nhúng) Khái niệm: Xác định động các ranh giới phân đoạn bằng cách đo khoảng cách giữa các vector câu tuần tự và chia tách khi sự trôi dạt ngữ nghĩa vượt quá một ngưỡng. Cách thức hoạt động: Trượt một cửa sổ cấp câu trên văn bản, tạo các nhúng nhẹ cho mỗi câu. Tính toán độ tương đồng cosine (độ gần gũi về mặt toán học) giữa câu i và i+1. Nếu độ tương đồng giảm xuống dưới một siêu tham số ε được điều chỉnh theo kinh nghiệm, hãy chèn một ranh giới phân đoạn cứng. Sự sụt giảm đó báo hiệu một sự thay đổi chủ đề. Lưu ý quan trọng: Độ trễ và chi phí nhập liệu tăng đáng kể. Bạn đang buộc một lượt chuyển tiếp qua bộ mã hóa cho mỗi câu trước khi bạn tạo nhúng phân đoạn cuối cùng. Và ε nổi tiếng là dễ vỡ — gần như không thể điều chỉnh toàn cầu trên các bộ tài liệu không đồng nhất. Khi nào sử dụng: Khi xử lý các tài liệu tra