Bản tổng hợp kiến trúc LLM mở tháng 10

Tổng hợp 10 kiến trúc mô hình ngôn ngữ lớn (LLM) nguồn mở được phát hành trong tháng qua. Tháng 10 ghi nhận nhiều bước tiến đáng chú ý. Giai đoạn này có thể được gọi là “Tháng 10 nguồn mở” (Open October). Kolibri-1 (78B): Mô hình đáng chú ý từ Đức. Mô hình tích hợp các mô-đun cơ chế chú ý kinh điển gồm Grouped Query Attention (GQA) và Sliding Window Attention (SWA). Ling 3.1 Flash (560B): Sử dụng Kimi Delta Attention và tầng thứ tám ứng dụng gated Multi-head Latent Attention (MLA) lấy cảm hứng từ DeepSeek. Muse Spark Open (816B): Cùng với Muse Glimmer, đây là đợt phát hành trọng số mở lớn đầu tiên từ Meta (kể từ dòng Llama). Mô hình sử dụng cấu trúc GQA và SWA kinh điển kết hợp bổ sung LatentMoE. Nemotron 3.5 Super VL (120B): Kết hợp các lớp Mamba-2 với tám lớp cơ chế chú ý (attention), đồng thời tích hợp LatentMoE. Dory1.0 (4B): Thiết kế kiến trúc transformer dạng vòng lặp (looped transformer). Reflection Beam (501B): Kiến trúc GQA+SWA. Recursive Flint (40B): “Recursive” là tên công ty phát triển; kiến trúc của mô hình là dạng MoE tiêu chuẩn kết hợp GQA và SWA. MiniMax M3.1-Flash (428B): Sử dụng mô-đun MiniMax Sparse Attention do công ty tự phát triển. LFM3 (1,7B): Kiến trúc lai kết hợp giữa các lớp tích chập ngắn (short convolution) và cơ chế chú ý (attention). Mistral Large 4 (1T): Kết hợp kiến trúc MLA với cơ chế chú ý thưa (sparse attention). Các phân tích chuyên sâu sẽ được đăng tải trong bài viết tiếp theo trên nền tảng Substack trong những tuần tới. Sơ đồ kiến trúc và bảng dữ liệu kỹ thuật của 10 mô hình phát hành trong tháng 10. Bấm vào hình để xem hình ảnh ở độ phân giải đầy đủ. Nguồn: Phiên bản biên tập phục vụ xuất bản trên trang tin điện tử từ bài viết gốc trên Substack.