“Dumb RAG” và hiện tượng tràn ngữ cảnh: Loại bỏ tình trạng nghẽn RAM trong các kiến trúc LLM cấp doanh nghiệp

Tại sao việc mở rộng cửa sổ ngữ cảnh làm suy giảm cơ chế chú ý của mô hình Transformer – và cách xây dựng các cổng chính xác theo thời gian cùng các lớp xếp hạng lại (reranking) cross-encoder cho hệ thống truy xuất vector trong môi trường sản xuất. Khi các mô hình ngôn ngữ lớn (LLM) nền tảng mở rộng cửa sổ ngữ cảnh hoạt động từ 4.000 token lên 128.000 và hơn thế nữa, các nhóm kỹ sư phần mềm doanh nghiệp thường mắc phải một mô hình kiến trúc phản tác dụng nguy hiểm: từ bỏ việc tối ưu hóa truy xuất để chuyển sang việc tràn ngập ngữ cảnh. Mô hình phản tác dụng này, thường được gọi là "Dumb RAG" (RAG kém hiệu quả), xảy ra khi các nhà phát triển ứng dụng chỉ dựa vào điểm số tương đồng vector thô (như độ tương đồng cosine hoặc khoảng cách Euclidean) để đưa hàng chục đoạn tài liệu thô, chưa được chọn lọc trực tiếp vào cửa sổ nhắc lệnh hoạt động của mô hình. Giả định kỹ thuật cơ bản là các cửa sổ ngữ cảnh lớn loại bỏ nhu cầu về việc phân đoạn chính xác, lọc theo thời gian và xếp hạng lại nhiều giai đoạn. Tuy nhiên, trong môi trường sản xuất, việc tràn ngập cửa sổ ngữ cảnh làm suy giảm nghiêm trọng cơ chế tự chú ý của mô hình Transformer – gây ra một chế độ lỗi vận hành tương tự trực tiếp với hiện tượng "RAM thrashing" (tràn bộ nhớ RAM) trong các hệ điều hành. **Cơ chế của hiện tượng tràn ngữ cảnh (suy giảm cơ chế chú ý)** Trong kiến trúc hệ điều hành, hiện tượng tràn bộ nhớ RAM xảy ra khi bộ nhớ chính bị quá tải bởi các lỗi trang (page faults), buộc CPU phải dành nhiều thời gian hơn để hoán đổi các trang bộ nhớ ra đĩa thay vì thực thi các lệnh đang hoạt động. Trong kiến trúc LLM dựa trên Transformer, hiện tượng tràn ngữ cảnh xảy ra khi cơ chế tự chú ý bị bão hòa bởi các khối văn bản nhiễu, mâu thuẫn hoặc lịch sử. Về mặt toán học, cơ chế chú ý tích vô hướng có trọng số được định nghĩa như sau: Trong đó: Q đại diện cho vector Query (truy vấn) được lấy từ đầu vào của người dùng. K đại diện cho các vector Key (khóa) được lấy từ tất cả các token tài liệu đã truy xuất trong cửa sổ ngữ cảnh. V đại diện cho các vector Value (giá trị) chứa các biểu diễn token ngữ nghĩa. Khi một quy trình truy xuất làm tràn cửa sổ ngữ cảnh với 50 đoạn tài liệu chưa được chọn lọc (ví dụ: các tệp PDF chính sách cũ, sơ đồ giá lỗi thời và mã HTML boilerplate thô), độ dài chuỗi N tăng lên đáng kể. Khi N tăng, mẫu số của phân phối softmax phân phối trọng số xác suất trên một không gian khóa K nhiễu. Điều này tạo ra hiện tượng suy giảm chú ý "Kim trong đống rơm": trọng số chú ý được gán cho khối ngữ cảnh hoạt động, chính xác thực tế tiến gần về 0, và mô hình bắt đầu lấy thông tin từ các tệp lịch sử, đã lỗi thời. ``` +-----------------------------------------------------------------------+ | ĐƯỜNG ĐI CỦA HIỆN TƯỢNG TRÀN NGỮ CẢNH | | | | 1. Truy vấn của người dùng: "SLA doanh nghiệp của chúng ta cho thời | | gian ngừng hoạt động cơ sở dữ liệu là gì?" | | | | 2. Truy vấn kho vector (Top-K=20 đoạn ngữ nghĩa thô) | | ├── Đoạn A: Chính sách SLA 2022 PDF ("mục tiêu thời gian hoạt động | | | 99.0%") | | ├── Đoạn B: Chính sách SLA 2024 PDF ("mục tiêu thời gian hoạt động | | | 99.5%") | | └── Đoạn C: SLA tổng thể đang hoạt động 2026 ("mục tiêu thời gian | | | hoạt động 99.99%") | | | | 3. Bão hòa bộ nhớ nhắc lệnh ---> Tràn cơ chế chú ý | | | | 4. Đầu ra: Đại lý tự tin trích dẫn SLA 2022 (99.0%) cho khách hàng | +-----------------------------------------------------------------------+ ``` Bởi vì các tài liệu chính sách lịch sử có chung từ vựng ngữ nghĩa với các tệp tổng thể đang hoạt động, tìm kiếm tương đồng vector thô đánh giá chúng cao như nhau. Khi LLM xử lý nhiều thông tin mâu thuẫn trong cùng một cửa sổ nhắc lệnh, trọng số chú ý bị pha loãng, dẫn đến các kết quả đầu ra bị ảo giác hoặc lỗi thời. **Mô hình kiến trúc phản tác dụng: Đổ dữ liệu vector không lọc** # MÔ HÌNH PHẢN TÁC DỤNG: Chèn kết quả tìm kiếm ngữ nghĩa chưa được chọn lọc, chưa được lọc import openai from langchain_community.vectorstores import Qdrant def naive_rag_retrieval(user_query: str, vector_store: Qdrant) -> str: # RỦI RO CAO: Lấy 20 đoạn văn bản thô hàng đầu mà không có siêu dữ liệu, giới hạn thời gian hoặc sắp xếp lại retrieved_chunks = vector_store.similarity_search( query=user_query, k=20 # Kích hoạt tràn ngữ cảnh / tắc nghẽn RAM ) # Nối trực tiếp văn bản thô vào ngữ cảnh nhắc lệnh context_block = "\n\n".join([doc.page_content for doc in retrieved_chunks]) prompt = f""" System: Trả lời truy vấn của người dùng CHỈ sử dụng ngữ cảnh được cung cấp dưới đây. Context: {context_block} User Query: {user_query} """ response = openai.chat.completions.create( model="gpt-4o", messages=[{"role": "user", "content": prompt}] ) return response.choices[0].message.content Lý do phương pháp này thất bại trong môi trường sản xuất doanh nghiệp: Trùng lặp từ vựng: Khoảng cách Cosine đo hướng vector, không phải tính đúng đắn theo thời gian. Một tệp PDF năm 2022 và một tệp PDF năm 2026 thảo luận về "định giá doanh nghiệp" chiếm các không gian vector gần như giống hệt nhau. Hiệu quả token thấp: Việc truyền 20 đoạn tài liệu thô tiêu tốn hàng chục nghìn token nhắc lệnh cho mỗi yêu cầu, làm tăng chi phí API và độ trễ suy luận, đồng thời làm giảm chất lượng suy luận. Không nhận biết Schema: Các bản sao tài liệu thô bao gồm tiêu đề, chân trang và các tuyên bố từ chối trách nhiệm pháp lý làm ô nhiễm vòng lặp suy luận của LLM. Kiến trúc khắc phục trong sản xuất: Cổng chính xác ngữ cảnh đa giai đoạn Để loại bỏ tình trạng tràn ngữ cảnh, các hệ thống truy xuất của doanh nghiệp phải tách biệt việc truy xuất vector thô khỏi việc đưa ngữ cảnh vào bằng cách triển khai Cổng chính xác ngữ cảnh đa giai đoạn. +--------------------------------------------------------------------+ | Truy vấn người dùng đến & Ngữ cảnh ý định | +----------------------------------+---------------------------------+ | v +--------------------------------------------------------------------+ | Giai đoạn 1: Tìm kiếm Vector với Lọc trước theo thời gian & Schema | | | | - Lọc bỏ các phiên bản lỗi thời (`status == 'active'`) | | - Giới hạn phạm vi ngày (`effective_date >= 2026-01-01`) | +----------------------------------+---------------------------------+ | v (Các đoạn ứng cử viên: Top-K=20) +--------------------------------------------------------------------+ | Giai đoạn 2: Lớp sắp xếp lại Cross-Encoder (ví dụ: BGE-Reranker) | | | | - Tính toán trọng số chú ý chung giữa Truy vấn-Tài liệu | | - Cắt bỏ các ứng cử viên có độ tin cậy thấp (Top-K=3) | +----------------------------------+---------------------------------+ | v (Các đoạn có độ chính xác cao: Top-K=3) +----------------------