Bối cảnh đang trở thành hạ tầng: Từ KV Cache đến RAG nhận biết mâu thuẫn

Thế hệ tiếp theo của các hệ thống LLM sẽ được định hình không chỉ bởi các mô hình của chúng, mà còn bởi khả năng quản lý ngữ cảnh. Hãy hình dung một trợ lý AI trong môi trường sản xuất truy xuất chính sách đúng, lưu trữ phiên bản cũ, nén bỏ một ngoại lệ quan trọng, và sau đó tự tin đưa ra câu trả lời sai trong chưa đầy một giây. Mọi phần của thất bại đó đều là một vấn đề về ngữ cảnh. Các ứng dụng LLM hiện đại xây dựng ngữ cảnh của chúng từ nhiều nguồn: lời nhắc hệ thống, lịch sử hội thoại, tài liệu được truy xuất, đầu ra công cụ, lược đồ, bộ nhớ người dùng, tiền tố được lưu trữ và trạng thái tác nhân. Tại thời điểm suy luận, tất cả những điều này trở thành trạng thái làm việc. Nó phải được lưu trữ, truyền tải, tái sử dụng, cập nhật và cuối cùng là loại bỏ. Nhưng quản lý ngữ cảnh không chỉ là một vấn đề về cơ sở hạ tầng. Hệ thống cũng phải quyết định xem thông tin mà nó đã tập hợp có phải là hiện tại, có thẩm quyền, nhất quán, phù hợp và an toàn để sử dụng hay không. Điều này tạo ra hai lớp kết nối: Một mặt phẳng thời gian chạy (runtime plane), liên quan đến bộ nhớ, băng thông, lập lịch, tái sử dụng và độ trễ. Một mặt phẳng bằng chứng (evidence plane), liên quan đến sự liên quan, nguồn gốc, mâu thuẫn, sự không chắc chắn và kiểm soát truy cập. Cơ sở hạ tầng bộ nhớ đệm KV (KV-cache) đại diện cho mặt phẳng thời gian chạy. RAG (Retrieval-Augmented Generation) nhận biết mâu thuẫn đại diện cho mặt phẳng bằng chứng. Cùng với nhau, chúng chỉ ra một sự thay đổi rộng lớn hơn: ngữ cảnh đang trở thành cơ sở hạ tầng. Ngữ cảnh không chỉ là văn bản nhắc lệnh Một hệ thống sản xuất có thể tái sử dụng ngữ cảnh theo nhiều cách khác nhau. Hình 1. Các cơ chế bộ nhớ đệm. Các cơ chế này có vẻ tương tự, nhưng chúng giải quyết các vấn đề khác nhau. Bộ nhớ đệm KV là trạng thái thời gian chạy số. Nó không phải là bộ nhớ ngữ nghĩa. Bộ nhớ đệm truy xuất lưu trữ bằng chứng có thể có cho một câu trả lời. Bộ nhớ đệm ngữ nghĩa tái sử dụng các câu trả lời trước đó, nhưng nó không loại bỏ nhu cầu nhúng, khớp, kiểm tra chính sách, kiểm tra độ mới hoặc xác minh. Việc coi các cơ chế này có thể hoán đổi cho nhau khiến các hệ thống khó suy luận hơn và dễ bị lỗi hơn. Bộ nhớ đệm KV: chi phí thời gian chạy của ngữ cảnh Suy luận Transformer có hai giai đoạn chính. Giai đoạn Prefill xử lý lời nhắc đầu vào và tạo trạng thái khóa-giá trị (key-value) ban đầu. Giai đoạn này thường tốn nhiều tính toán. Giai đoạn Decode tạo ra phản hồi từng mã thông báo một trong khi liên tục đọc từ trạng thái. Giai đoạn này thường bị giới hạn bởi dung lượng bộ nhớ và băng thông. Một ước tính đơn giản về bộ nhớ bộ nhớ đệm KV là: Hình 2. Ước tính bộ nhớ bộ nhớ đệm KV. Ở đây, việc sử dụng bộ nhớ tăng theo kích thước lô (batch size), độ dài chuỗi (sequence length), số lớp (layer count), số lượng đầu KV (KV heads), kích thước đầu (head dimension) và độ chính xác số (numeric precision). Trên thực tế, các lời nhắc dài hơn không được lưu vào bộ nhớ đệm thường làm tăng thời gian đến mã thông báo đầu tiên, trong khi các yếu tố khác không đổi. Các cuộc hội thoại dài cũng giữ nhiều trạng thái KV hoạt động hơn, để lại ít bộ nhớ hơn cho các yêu cầu khác và giảm tính đồng thời. Các hệ thống phục vụ giải quyết vấn đề này bằng các kỹ thuật như phân trang (paging), tái sử dụng tiền tố (prefix reuse), lượng tử hóa (quantisation), cắt tỉa (pruning), chuyển tải (offloading) và phân tách prefill và decode trên các tài nguyên khác nhau. PagedAttention đã giới thiệu quản lý bộ nhớ KV dựa trên khối, trong khi các nền tảng phục vụ hiện đại đã mở rộng ý tưởng này thành các hệ thống lập lịch và thực thi rộng hơn. Nghiên cứu gần đây bổ sung một số điều kiện quan trọng. Thứ nhất, tỷ lệ nén là chưa đủ. Một nghiên cứu chuẩn năm 2026 cho thấy các tối ưu hóa bộ nhớ đệm KV khác nhau tùy theo mô hình, tác vụ và độ dài ngữ cảnh. Một phương pháp tiết kiệm bộ nhớ có thể làm giảm chất lượng câu trả lời hoặc gây ra chi phí xử lý đủ lớn để tăng độ trễ. Do đó, chất lượng, thông lượng, mức tiêu thụ bộ nhớ và thời gian phản hồi cần được đánh giá cùng nhau. Thứ hai, việc nén đang trở nên linh hoạt hơn. Các phương pháp tiếp cận mới nổi như MosaicKV thích ứng với trên cả các token và kênh tính năng thay vì áp dụng một chính sách cố định duy nhất ở mọi nơi. Thứ ba, một hệ thống không biết trước phản hồi của mô hình sẽ dài bao nhiêu. Dự trữ quá nhiều bộ nhớ sẽ lãng phí dung lượng. Dự trữ quá ít có thể gây ra việc chiếm quyền ưu tiên, tính toán lại và độ trễ đuôi kém. Do đó, quản lý KV đang trở thành một vấn đề về lập lịch và mục tiêu mức dịch vụ, không chỉ đơn thuần là một vấn đề nén. Tất cả các tuyên bố về cơ sở hạ tầng cần được gắn với các phiên bản cụ thể. Ví dụ, tài liệu TensorRT-LLM hiện tại bao gồm các trình kết nối KV, bộ nhớ ngoài, salting bộ đệm và phục vụ phân tách. Ngược lại, Text Generation Inference của Hugging Face hiện đang ở chế độ bảo trì. Ngữ cảnh hiệu quả vẫn có thể sai RAG cung cấp cho các mô hình quyền truy cập vào kiến thức bên ngoài, nhưng việc truy xuất thông tin không giống như truy xuất bằng chứng đáng tin cậy. Một đoạn văn được truy xuất có thể: liên quan nhưng đã lỗi thời chỉ đúng trong một khu vực pháp lý, sản phẩm hoặc dân số khác được sao chép từ cùng một nguồn không nhất quán với hướng dẫn mới hơn mâu thuẫn với kiến thức hiện có của mô hình đúng riêng lẻ nhưng gây hiểu lầm khi kết hợp với các đoạn văn khác Việc truy xuất nhiều tài liệu hơn không nhất thiết giải quyết được vấn đề này. Tăng top-k có thể làm tăng thời gian prefill, áp lực KV, thông tin trùng lặp và nhiều cơ hội hơn để nguồn không đồng ý. Câu hỏi không còn đơn thuần là, "Chúng ta có truy xuất được thứ gì đó liên quan không?" Mà còn là, "Liệu những bằng chứng này có thể được kết hợp thành một câu trả lời đáng tin cậy không?" Do đó, RAG nhận biết mâu thuẫn nên được hiểu là một họ kiến trúc đang nổi lên, không phải là một tiêu chuẩn đã được thiết lập. Một hệ thống thực tế có thể: truy xuất bằng chứng ứng cử viên trích xuất các tuyên bố và nguồn gốc nhóm các tuyên bố giải quyết cùng một đề xuất xác định sự hỗ trợ, mâu thuẫn và không chắc chắn đánh giá quyền hạn, độ mới, phạm vi và sự phụ thuộc vào nguồn xây dựng một ngữ cảnh bảo toàn các xung đột có ý nghĩa tạo ra một câu trả lời được trích dẫn xác minh rằng câu trả lời được hỗ trợ bởi bằng chứng Điểm quan trọng là các mâu thuẫn không nên đơn giản được làm mờ đi trong quá trình truy xuất, xếp hạng hoặc tóm tắt. Không phải tất cả các xung đột đều có ý nghĩa giống nhau Một hệ thống mạnh mẽ cần phân biệt giữa các loại bất đồng khác nhau. Xung đột giữa các nguồn xảy ra khi hai nguồn đưa ra các tuyên bố không tương thích trực tiếp. Xung đột thời gian xảy ra khi một chính sách hoặc tài liệu mới hơn thay thế một chính sách hoặc tài liệu cũ hơn. Xung đột phạm vi xảy ra khi bằng chứng được cung cấp mâu thuẫn với những gì mô hình dường như biết từ quá trình đào tạo.