RAG Luôn Là Giải Pháp Tạm Thời. Vậy Tiếp Theo Là Gì?

Học máy RAG Luôn Là Giải Pháp Tạm Thời. Điều Gì Tiếp Theo? Tại sao tương lai của bộ nhớ AI phụ thuộc vào trạng thái thần kinh bền vững, không phải cơ sở dữ liệu vector. Anubhab Banerjee Ngày 10/7/2026 8 phút đọc Chia sẻ Một ý tưởng, được truyền tải theo hai cách. Cả hai đều hiệu quả. Chỉ một trong số đó là trung thực. 1. Sự phi lý của bản dịch vĩ đại Hãy xem xét kỹ hệ thống RAG yêu thích của bạn. Rất kỹ. Đâu đó bên trong quy trình được kiến trúc tỉ mỉ đó, một mô hình ngôn ngữ đang tạo ra các trạng thái ẩn có chiều cao, phong phú. Những trạng thái đó được nén thành một chuỗi ký tự. Chuỗi đó được mã hóa lại, bởi một mạng thần kinh khác, thành một không gian có chiều cao khác. Vector đó được lưu trữ. Sau đó, một vector khác được so sánh với nó. Các chuỗi chiến thắng được trích xuất, ghép lại với nhau và chuyển cho một mô hình thứ ba, mô hình này sẽ tái tạo một trạng thái ẩn từ các ký tự đó một cách công phu. Chúng ta gọi đây là "bộ nhớ". Một cái tên trung thực hơn sẽ là: một trò chơi điện thoại rất phức tạp, có độ trễ cao, trong đó mỗi người chơi là một mạng thần kinh. Hai hộp màu hổ phách đang suy nghĩ. Năm hộp màu xám đang làm công việc giấy tờ mà hai hộp màu hổ phách đáng lẽ không cần phải làm ngay từ đầu. Chuỗi đầy đủ, được vẽ rõ ràng: Trạng thái ẩn → Tạo văn bản → Nhúng văn bản → Lưu vector → Truy xuất vector → Nối văn bản → Tính toán lại trạng thái ẩn Đọc chuỗi mũi tên đó hai lần. Hai trong số bảy giai đoạn là bản địa thần kinh. Năm giai đoạn còn lại chỉ tồn tại vì chúng ta chưa thể duy trì trạng thái thần kinh đó, vì vậy chúng ta đã xây dựng toàn bộ một ngành công nghiệp để tái tạo nó từ văn bản mỗi khi chúng ta cần nó trở lại. Cơ sở dữ liệu vector, mô hình nhúng, bộ sắp xếp lại, các thuật toán phân đoạn, bộ đánh giá truy xuất — một hệ sinh thái hoàn chỉnh để giải quyết một tính năng còn thiếu. Không có điều nào trong số đó là lời chỉ trích đối với các kỹ sư đã xây dựng nó. Với các nguyên thủy mà họ có, RAG là giải pháp đúng đắn. Nhưng chúng ta nên trung thực về bản chất của nó: một lớp dịch có chi phí cao, không phải là một hệ thống bộ nhớ. Đây không phải là một lập luận chống lại RAG. Đây là một lập luận cho rằng RAG đang giải quyết một hạn chế hệ thống tạm thời chứ không phải đại diện cho kiến trúc cuối cùng cho bộ nhớ AI. 2. Ảo ảnh cửa sổ ngữ cảnh Tôi có thể an toàn giả định rằng đến bây giờ, sự phản đối tiêu chuẩn đang hình thành trong đầu người đọc. "Tất cả những điều này không quan trọng. Chỉ cần sử dụng cửa sổ ngữ cảnh hai triệu token và đổ mọi thứ vào." Phản đối hợp lý. Nhưng cũng không. Cửa sổ ngữ cảnh lớn hơn giải quyết dung lượng. Chúng không giải quyết tính di động. Chúng không giải quyết tính bền vững. Và chúng đặc biệt không giải quyết cả hai điều đó trong các môi trường sẽ định hình thập kỷ tiếp theo của AI ứng dụng. Hãy xem xét một tác nhân tự trị chuyển giao một nhiệm vụ cho một tác nhân khác. Hoặc một thiết bị biên (ví dụ: máy bay không người lái, điện thoại, robot, nút mạng) di chuyển giữa các cụm tính toán. Hoặc một quy trình đa tác nhân trong đó bộ định tuyến, bộ gọi công cụ, bộ lọc an toàn và bộ hoàn thiện đều nằm trong các quy trình khác nhau trên các máy khác nhau. Trong mỗi cài đặt đó, đơn vị truyền giữa hai máy tính không thể thực tế là một lời nhắc hai triệu token. Chi phí băng thông rất lớn. Việc mã hóa lại là công việc lãng phí. Và người nhận vẫn phải đọc lại toàn bộ bản ghi — một lần điền đầy đủ qua mọi token — để tái tạo bất kỳ sự giống nhau nào của trạng thái lý luận của người gửi. Ngay cả trên phần cứng hiện đại, đó không phải là một hoạt động miễn phí. Đó chính xác là vấn đề ban đầu, được thể hiện trong một cửa sổ ngữ cảnh lớn hơn. Một ngữ cảnh lớn hơn sẽ tạo ra một cuốn sách tốt hơn. Đây không phải là cách để dịch chuyển tức thời suy nghĩ cuối cùng của bạn. 3. Thực tế của Kỹ sư Hệ thống (Ngân sách Độ trễ) Kỹ thuật nhắc lệnh (Prompt engineering) dừng lại ở câu hỏi "mô hình có đưa ra câu trả lời đúng không?". Kỹ thuật hệ thống (Systems engineering) bắt đầu từ câu hỏi "...và vào mili giây nào?". Dưới đây là ngân sách độ trễ minh họa, ước tính cho một cuộc gọi RAG duy nhất. Đây là loại tính toán sơ bộ mà bạn sẽ ghi lại lần đầu tiên thỏa thuận cấp độ dịch vụ về độ trễ của bạn không còn hào phóng nữa: BướcĐộ trễ minh họa (ms)Tạo token (đầu nguồn)15Nhúng12I/O mạng8Tìm kiếm vector25Sắp xếp lại10Tái tạo nhắc lệnh15Giải mã50Tổng cộng≈ 135 ms Đây là các hoạt động chặn, tuần tự. Bạn không thể bắt đầu giải mã cho đến khi nhắc lệnh được tái tạo. Bạn không thể tái tạo nhắc lệnh cho đến khi bước nhảy mạng và tìm kiếm vector trả về kết quả. Mỗi mili giây trong cột đó phải chờ cho bước trước hoàn thành. Trong một chatbot, 135 mili giây là không đáng kể. Không ai phàn nàn. Trong một vòng điều khiển robot liên tục, một hệ thống phản hồi xúc giác, một hệ thống tự lái hoặc một quá trình chuyển giao trạm gốc không dây giữa các nút truy cập vô tuyến, 135 mili giây không nằm trong ngân sách. Đó chính là ngân sách, được chi tiêu hoàn toàn cho các công việc cơ bản, trước khi mô hình nói ra bất cứ điều gì hữu ích. Đây là lúc chức năng bắt buộc không còn mang tính học thuật nữa. Truyền trực tiếp GPU-to-GPU trạng thái tiềm ẩn bỏ qua bước nhúng, bước nhảy mạng đến kho lưu trữ vector, truy vấn truy xuất, bộ sắp xếp lại và tái tạo nhắc lệnh. Bạn không làm cho mỗi bước riêng lẻ nhanh hơn. Bạn đang loại bỏ chúng khỏi quy trình. Trong các lĩnh vực mà mỗi mili giây đã được tính toán kỹ lưỡng, đó là loại "tăng tốc" duy nhất thực sự có ý nghĩa. 4. Vòng cung tiến hóa của bộ nhớ Đây không phải là lần đầu tiên lĩnh vực này loại bỏ một lớp dịch thuật. Khoảng chừng, đây là lần thứ năm. Mọi giai đoạn trên biểu đồ này đã từng là mục tiêu cuối cùng của ai đó. Không có giai đoạn nào trong số đó duy trì là mục tiêu cuối cùng. Mọi giai đoạn trên biểu đồ này đã từng là mục tiêu cuối cùng của ai đó. Không có giai đoạn nào trong số đó duy trì là mục tiêu cuối cùng. Tệp thô → Cơ sở dữ liệu quan hệ → Chỉ mục tìm kiếm → Nhúng văn bản → Tìm kiếm vector → Lưu trữ tiềm ẩn Mọi giai đoạn trong chuỗi đó đã giải quyết vấn đề truy xuất ở một cấp độ trừu tượng cao hơn so với giai đoạn trước, và mọi giai đoạn cuối cùng đều không còn là giao diện chính. Cơ sở dữ liệu quan hệ không biến mất — chúng lặng lẽ trở thành lớp lưu trữ nằm bên dưới mọi thứ khác. Chỉ mục tìm kiếm không biến mất — chúng trở thành một tính năng bên trong các nền tảng lớn hơn. Nhúng văn bản không biến mất — chúng cho phép tìm kiếm vector.