Cách một mô hình Frontier được xây dựng, trích từ Báo cáo Kimi K3

Các mô hình ngôn ngữ lớn Cách một mô hình tiên phong được xây dựng, trích từ Báo cáo Kimi K3 Một mô hình mở, với 2,8 nghìn tỷ tham số, được phát hành kèm theo 47 trang tài liệu hướng dẫn. Đọc tài liệu này cho thấy việc xây dựng một mô hình tiên phong hiện nay bao gồm những gì, và phần mô hình thực tế chiếm rất ít trong đó. Sean Moran Ngày 5/8/2026 26 phút đọc Chia sẻ So sánh cơ chế attention tiêu chuẩn của transformer và Kimi Delta Attention. Cơ chế attention đầy đủ duy trì bộ nhớ đệm KV (key-value) tăng theo độ dài chuỗi, trong khi KDA nén thông tin vào một trạng thái có kích thước cố định bằng cách sử dụng cổng quên, cho phép mở rộng tuyến tính. Bạn mua mô hình và thẻ hệ thống của nó. Các quyết định làm cho nó tốt vẫn được giữ kín: cách nó được huấn luyện, dữ liệu mà học tăng cường của nó chạy trên đó, cách họ làm cho nó đủ rẻ để phục vụ. Đó là thỏa thuận thông thường với một phòng thí nghiệm tiên phong, và hầu hết các bài viết bên ngoài về các hệ thống này phải làm việc chỉ dựa trên các đầu ra. Kimi K3 là một ngoại lệ đáng đọc. Nó là mã nguồn mở, đạt gần với các mô hình đóng tốt nhất trên hầu hết các tiêu chuẩn, và Moonshot đã công bố một báo cáo kỹ thuật dài bốn mươi bảy trang trình bày chi tiết các phần mà các phòng thí nghiệm khác giữ kín. Tôi đã đọc nó trong một buổi chiều. Điều đọng lại trong tôi là phần công việc dành cho bản thân mô hình rất nhỏ. Một lưu ý trước. Mọi thông tin cụ thể dưới đây đều thuộc về Moonshot. Tôi cho rằng các phòng thí nghiệm đóng cũng thực hiện các loại công việc tương tự, nhưng tôi suy luận điều đó từ bên ngoài, vì vậy hãy coi các tuyên bố rộng hơn về "đây là diện mạo của biên giới" như một phỏng đoán. Kiến trúc là một chồng các thay đổi nhỏ Kiến trúc là nơi hiển nhiên để bắt đầu, và nó chứa ít bất ngờ nhất. K3 là một mô hình hỗn hợp chuyên gia (mixture-of-experts) với 2,8 nghìn tỷ tham số, và điều làm cho nó vượt trội so với Kimi trước đó là ba thay đổi kỹ thuật khá thông thường được xếp chồng lên nhau. Cơ chế attention duy trì một trạng thái chạy có kích thước cố định thay vì một bộ nhớ đệm tăng theo đầu vào, đây là điều làm cho ngữ cảnh một triệu token trở nên khả thi; hầu hết các lớp sử dụng phiên bản rẻ tiền đó, và cứ bốn lớp thì một lớp thực hiện attention đầy đủ. Các vị trí không được mã hóa rõ ràng, vì vậy sự lặp lại phải mang chúng, điều này cho phép mô hình mở rộng đến một triệu token mà không cần các thủ thuật thay đổi tỷ lệ thông thường. Mỗi lớp cũng có thể nhìn lại mọi lớp bên dưới nó, không chỉ lớp ngay bên dưới, vì vậy tín hiệu sớm không bị mất đi trên đường đi lên. Và mỗi token được định tuyến đến 16 trong số 896 chuyên gia, thưa thớt hơn trước, điều này đòi hỏi sự cẩn thận thực sự để giữ ổn định. Moonshot báo cáo mức tăng 2,5 lần về hiệu quả mở rộng so với Kimi K2, chất lượng tương đương với chưa đến một nửa lượng tính toán huấn luyện. Họ cho rằng kiến trúc này cùng với dữ liệu và công thức huấn luyện tinh chỉnh đã đóng góp vào mức tăng này, mà không phân bổ mức tăng giữa chúng, vì vậy đừng coi 2,5 lần là kết quả của ba thay đổi kiến trúc nhân lên. Mỗi phần là một ý tưởng thông thường, đã được kiểm nghiệm tốt chứ không phải là một đột phá duy nhất. Ba thay đổi bằng tiếng Anh đơn giản Mỗi trong ba thay đổi đều dễ hiểu khi bạn bỏ qua ký hiệu, và phiên bản đơn giản là nơi trực giác tồn tại. Cơ chế Attention (cơ chế chú ý) là một bảng tra cứu, và đó là lý do tại sao ngữ cảnh dài lại tốn kém. Một mô hình Transformer xử lý mỗi token bằng cách xem xét lại mọi token trước đó và tổng hợp có trọng số chúng, một tra cứu mềm. Để làm được điều đó, nó lưu giữ một bản ghi khóa-giá trị (key-and-value) nhỏ cho mỗi token đã qua, gọi là bộ nhớ đệm KV (KV cache). Hãy hình dung một tủ hồ sơ không bao giờ vứt bỏ thẻ: mỗi từ mới sẽ thêm một thẻ, sau đó lướt qua mọi thẻ đã có trong ngăn kéo để quyết định nên chú ý đến điều gì. Điều này hiệu quả với vài nghìn từ. Nhưng với một triệu từ, ngăn kéo trở nên khổng lồ và mỗi từ mới sẽ lướt qua toàn bộ ngăn kéo, do đó chi phí tăng theo bình phương của độ dài. Cơ chế Attention chính của K3 thay thế tủ hồ sơ bằng một bản tóm tắt duy nhất đang chạy, một cuốn sổ ghi chú có kích thước cố định mà nó ghi đè lên khi xử lý. Cuốn sổ ghi chú không bao giờ lớn hơn, và kích thước cố định đó là điều làm cho ngữ cảnh một triệu token trở nên khả thi. Điều phải đánh đổi là một bản tóm tắt không thể lưu giữ mọi thứ, vì vậy nó phải quên đi, và K3 cung cấp một nút điều chỉnh cho từng tính năng về tốc độ chi tiết cũ phai mờ. Một bản tóm tắt cũng không thể gọi lại một token chính xác trước đó theo yêu cầu, vì vậy K3 giữ một lớp tủ hồ sơ thực sự cho mỗi ba lớp sổ ghi chú và khôi phục khả năng gọi lại chính xác ở những nơi cần thiết. Hình 1: Hai cách trộn các token. Cơ chế Attention đầy đủ lưu trữ một mục khóa/giá trị cho mỗi token và so sánh mỗi token mới với tất cả chúng (chi phí ∝ n²); Kimi Delta Attention gộp các token vào một trạng thái cố định thông qua một cổng quên α (chi phí ∝ n). K3 xếp chồng ba lớp tuyến tính cho mỗi lớp toàn cục. 📖 Nguồn: hình ảnh của tác giả. Các lớp trạng thái cố định đã theo dõi thứ tự khi chúng cập nhật, điều này cho phép K3 loại bỏ hoàn toàn các mã hóa vị trí rõ ràng. Hầu hết các mô hình gắn vị trí vào cơ chế Attention bằng một cái gì đó như RoPE, và việc kéo dài cửa sổ ngữ cảnh sau này có nghĩa là điều chỉnh lại các tần số đó hoặc nội suy chúng, điều này phức tạp và gây mất mát. Sự lặp lại của K3 mang vị trí miễn phí, vì vậy cùng một trọng số chạy ở 8K trong quá trình huấn luyện ban đầu và ở 1M sau giai đoạn ngữ cảnh dài mà không cần can thiệp vị trí. Cùng một thủ thuật tra cứu, ở cấp độ cao hơn. Xếp chồng nhiều lớp và mỗi lớp thường thêm đầu ra của nó vào một tổng đang chạy chung chảy lên mạng. Hãy hình dung tổng đó như một cuốn sổ ghi chú được truyền lên một hàng người, mỗi người viết một dòng. Đến đỉnh, vài dòng đầu tiên bị chôn vùi, và mạng tiêu tốn dung lượng chỉ để giữ thông tin ban đầu tồn tại. Attention Residuals cho phép một lớp quay lại và đọc trực tiếp đầu ra của các lớp trước đó, trọng số chúng bằng một hàm softmax, cùng một cơ chế tra cứu mềm như cơ chế Attention nhưng hướng theo chiều sâu thay vì theo chuỗi. Một lớp lấy một sự pha trộn từ nguồn thay vì chơi trò "điện thoại" lên chồng. Chi phí là bộ nhớ chứ không phải cơ chế mới: đầu ra của mỗi lớp phải tồn tại cho các lớp trên nó, vì vậy K3 chú ý đến một vài bản tóm tắt khối thay vì tất cả chín mươi mấy lớp của nó để giảm chi phí đó. Hình 2: Truyền thông tin qua các lớp. Một luồng residual tiêu chuẩn mang một tổng đang chạy duy nhất, vì vậy tín hiệu lớp sớm bị chôn vùi ở phía trên; Attention R