Cửa sổ bối cảnh mã thông báo 1 triệu của Kimi K3 so với RAG: Chi phí, độ trễ và chất lượng trả lời

Mô hình ngôn ngữ lớn Cửa sổ bối cảnh mã thông báo 1 triệu của Kimi K3 so với RAG: Chi phí, độ trễ và chất lượng trả lời So sánh có kiểm soát giữa quy trình RAG top 5 và lời nhắc đầy đủ 127.000 mã thông báo trên cùng 12 câu hỏi, cùng lời nhắc hệ thống và cùng một mô hình. Đánh giá mù quáng về tính đúng đắn, đầy đủ và căn cứ. Sarah Schürch Ngày 19 tháng 8 năm 2026 đọc 23 phút Chia sẻ Hình ảnh từ Raj Rana auf Bapt Khi Kimi K3 ra mắt vào tháng 7 với khung thời gian một triệu token, tôi đã tự hỏi mình câu hỏi tương tự mà có lẽ nhiều người đã hỏi: bây giờ tôi có thể bỏ qua RAG không? Toán học có vẻ hấp dẫn. Mọi thứ Tuyển tập những gì tôi đã xuất bản trong hai năm qua có tổng cộng lên tới 127.068 mã thông báo. Đó là mười hai phần trăm của cửa sổ. Vì vậy, tôi có thể chỉ cần chuyển tất cả thông tin đó vào dấu nhắc thay vì xây dựng các khối, tính toán phần nhúng và lo lắng về chất lượng truy xuất. Nhưng “nó phù hợp” và “nó hoạt động tốt hơn” là hai điều khác nhau. Đó chính xác là những gì tôi muốn đo lường trong một thí nghiệm nhỏ. Trong bài viết này, tôi cho bạn thấy điều gì sẽ xảy ra khi mười hai câu hỏi giống nhau được trả lời một lần thông qua thiết lập RAG và một lần thông qua toàn bộ kho văn bản trong cửa sổ ngữ cảnh (ở đây tôi gọi đó là thiết lập long_context). Tôi cũng cho bạn thấy điều gì đã xảy ra trong quá trình thực hiện, điều này hóa ra lại mang tính hướng dẫn nhiều hơn chính bản thân thí nghiệm. Đây là thiết lập tôi đã sử dụng: Lời nhắc giống nhau: Cả hai đường dẫn đều nhận được cùng một hướng dẫn hệ thống. Điều duy nhất khác biệt là những gì đến trước nó. Đối với thiết lập RAG có năm đoạn văn bản được chọn, đối với thiết lập long_context thì có tất cả 32 bài viết. Cùng một mô hình: Cả hai đường dẫn đều chạy trên Kimi K3 với cùng cài đặt thế hệ. Nhiệt độ là cài đặt duy nhất tôi không thể tự do lựa chọn nên nó được cố định ở nhiệt độ = 1. Một đánh giá mù quáng ở cuối: Tôi xáo trộn hai câu trả lời cho mỗi câu hỏi và đặt chúng trước mặt tôi trong một tệp Excel dưới dạng “X” và “Y”, không có gợi ý đường dẫn nào tạo ra đường dẫn nào. Chìa khóa nằm trong một tập tin riêng biệt mà tôi chỉ mở sau khi chấm điểm xong. Bằng cách đó, tôi có thể đảm bảo các điều kiện giống nhau đối với RAG và đối với toàn bộ kho văn bản (thiết lập long_context) và việc phân loại mù khiến tôi không gây ảnh hưởng đến bản thân. → 🤓 Tìm mã đầy đủ trong GitHub Repo 🤓 ← Mục lục 1 – Tại sao bây giờ câu hỏi có vẻ khác 2 – Thiết lập: Một kho văn bản, hai đường dẫn 3 – Mười hai câu hỏi ở ba mức độ khó 4 – Đánh giá: Tại sao tôi chấm điểm mù 5 – Ba điều sai lầm 6 – Kết quả 7 – Khi nào tôi sẽ sử dụng cái nào suy nghĩ cuối cùng Tiếp tục học ở đâu? 1 - Tại sao bây giờ câu hỏi có vẻ khác RAG (Thế hệ tăng cường truy xuất) ra đời như một câu trả lời cho giới hạn kỹ thuật: một mô hình chỉ có thể nhìn thấy vài nghìn mã thông báo cùng một lúc. Nếu bạn có nhiều tài liệu hơn thế, trước tiên bạn phải chọn ra những đoạn văn có liên quan và chỉ chuyển những đoạn đó đi. Điều đó hoạt động tốt nhưng nó bổ sung thêm một thành phần khác vào hệ thống của chúng tôi mà chúng tôi phải duy trì, điều chỉnh và gỡ lỗi. Đây là nơi Kimi K3 xuất hiện. Mô hình của Moonshot AI cung cấp cơ hội một triệu mã thông báo. Ngoài ra còn có các mô hình khác có cửa sổ ngữ cảnh lớn tương tự. Điều này loại bỏ một trong những lý do chính khiến nhiều người sử dụng RAG. Các lợi thế khác vẫn được trích dẫn có lợi cho RAG bao gồm: Nó rẻ hơn. Nó nhanh hơn. Độ trễ thấp hơn. Nó cung cấp cho bạn các nguồn có thể theo dõi được. Bạn có thể đọc thêm về chủ đề này trong bài báo của Google DeepMind. Ba câu trả lời đó là những gì tôi muốn kiểm tra, trên một kho tài liệu nơi tôi có thể tự mình đánh giá mọi câu trả lời vì tôi đã viết nó. Gợi ý cho người mới: Cửa sổ ngữ cảnh là lượng văn bản mà mô hình có thể đọc cùng một lúc trong một yêu cầu. Bất cứ điều gì không phù hợp đều phải được lựa chọn trước. Lựa chọn đó chính xác là những gì RAG làm. 2 — Thiết lập: Một kho văn bản, hai đường dẫn Kho tài liệu bao gồm 32 tệp chứa 33 bài viết của riêng tôi từ Medium và Hướng tới Khoa học Dữ liệu. Điều đó tạo ra tổng cộng 127.068 mã thông báo. Mình tính bằng tiktoken và cl100k_base chứ không phải bằng tokenizer của Kimi. Những gì Moonshot lập hóa đơn sau đó là 127.346 mã thông báo đầu vào cho mỗi yêu cầu và điều đó cũng bao gồm hướng dẫn hệ thống và câu hỏi. Vì vậy, ước tính đã đủ gần để lập kế hoạch. Ba chủ đề xuất hiện hai lần, một lần là phiên bản Medium và một lần là phiên bản TDS. Vào thời điểm đó, Hướng tới Khoa học Dữ liệu vẫn là một ấn phẩm trên Medium chứ không phải là nền tảng riêng biệt như ngày nay, đó là lý do tại sao cùng một chủ đề lại có hai phiên bản. Đó không phải là sự sơ suất mà là có chủ đích, vì một trong những câu hỏi nhắm chính xác vào sự trùng lặp đó. Tôi không để ý rằng đó là 33 bài viết chứ không phải bản thân tôi là 32 bài. Nó xuất hiện khi tôi đang chấm điểm các câu trả lời: hai bài viết đều nằm trong cùng một tệp và cả hai mô hình đều chỉ ra nó một cách độc lập. # Một hướng dẫn chung cho cả hai đường dẫn. Nếu các lời nhắc khác nhau, bất kỳ chất lượng nào # khoảng trống có thể đến từ cách diễn đạt thay vì từ chiến lược truy xuất. HỆ THỐNG_PROMPT = ( "Bạn trả lời các câu hỏi về tuyển tập các bài viết của một tác giả." "Chỉ sử dụng văn bản bài viết được cung cấp. Nếu văn bản không chứa câu trả lời," "hãy nói rõ ràng thay vì đoán mò. Khi bạn nêu một sự thật, hãy đặt tên cho bài viết" "tiêu đề nó đến từ." ) Đường dẫn RAG chia các bài viết thành 788 đoạn gồm 900 ký tự với 150 ký tự chồng chéo, nhúng chúng bằng all-MiniLM-L6-v2 và gửi 5 đoạn giống nhau nhất đến mô hình cùng với câu hỏi. Con số đó lên tới khoảng 1.200 token cho mỗi yêu cầu. Trực quan hóa riêng - Được tạo bằng Trình chỉnh sửa trực tiếp nàng tiên cá và Figma Đường dẫn long_context gửi tất cả 32 bài viết cùng với mỗi câu hỏi. Đó là 127.346 mã thông báo cho mỗi yêu cầu, gấp khoảng một trăm lần. Một chi tiết quyết định chi phí: ngữ liệu luôn xuất hiện trước câu hỏi trong lời nhắc. Bộ nhớ đệm tiền tố chỉ hoạt động miễn là phần đầu của tin nhắn vẫn giữ nguyên ký tự cho từng ký tự. Nếu câu hỏi đến trước, mỗi cuộc gọi sẽ là một lỗi bộ nhớ đệm và