Giới thiệu Nemotron-3 75B A9B của Nemotron Labs: Một mô hình ngôn ngữ lớn (LLM) lai MoE (Mixture-of-Experts) được nén, mang lại thông lượng máy chủ cao gấp 2,03 lần.

Các mô hình MoE lai lớn như Nemotron-3-Super có độ chính xác cao nhưng chi phí vận hành tốn kém. Các tham số hoạt động, bộ nhớ đệm KV (KV cache) và trạng thái Mamba của chúng giới hạn số lượng người dùng mà một nút có thể phục vụ với tốc độ token nhất định cho mỗi người dùng. Nhóm NVIDIA AI đã phát hành Nemotron-Labs-3-Puzzle-75B-A9B, một biến thể nén của Nemotron-3-Super. Mô hình gốc có tổng cộng 120,7 tỷ tham số và 12,8 tỷ tham số hoạt động. Mô hình nén có tổng cộng 75,3 tỷ tham số và 9,3 tỷ tham số hoạt động. Mục tiêu triển khai đã được xác định trước khi bắt đầu tìm kiếm kiến trúc. Mục tiêu thứ nhất là tăng gấp đôi thông lượng máy chủ với 100 token mỗi giây cho mỗi người dùng. Mục tiêu thứ hai là 8 yêu cầu 1 triệu token đồng thời trên một H100 duy nhất. Ba điểm kiểm tra trên Hugging Face: BF16, FP8 và NVFP4. Tóm tắt: 120,7 tỷ/12,8 tỷ tham số hoạt động được nén thành 75,3 tỷ/9,3 tỷ tham số hoạt động, với bố cục lai 88 khối được giữ nguyên. Tổng thông lượng của 8x B200 tăng từ 1,60 lần lên 2,14 lần so với Super ở cùng NVFP4 và cùng thông lượng người dùng. Khả năng xử lý đồng thời 1 triệu token trên một H100 duy nhất tăng từ 1 lên 8, nhờ giảm trọng số từ 70 GB xuống 44,5 GB. Puzzle lặp lại vượt trội hơn Puzzle một bước 0,57 điểm trung bình ở cùng mục tiêu nén. Arena-Hard-V2 (-4,2) và SWE-Bench (-2,6) là những chi phí thực tế; RULER và AA-LCR hầu như không thay đổi. Nemotron-Labs-3-Puzzle-75B-A9B Nemotron-3-Super là một mô hình MoE lai Mamba-Transformer. Puzzle-75B-A9B giữ nguyên bố cục khối của mô hình gốc. Nó có 88 khối: 40 Mamba, 40 MoE và 8 khối attention. Những thay đổi về dung lượng bên trong các khối đó: | Đại lượng | Super | Puzzle-75B-A9B | Tỷ lệ | |---|---|---|---| | Tổng tham số | 120,7 tỷ | 75,3 tỷ | 62,4% | | Tham số hoạt động | 12,8 tỷ | 9,3 tỷ | 73,1% | | Kích thước trạng thái Mamba SSM | 128 | 96 | 75% | | Kích thước trung gian chuyên gia được định tuyến MoE | 2688 | 1280-2688 | Trung bình 59,9% | | Số chuyên gia được định tuyến hoạt động trên mỗi token | 2 | 2 | 4-18 Trung bình 50% | | Dung lượng chuyên gia được định tuyến hoạt động (tương đối) | 100% | 8,7%-62,3% | Trung bình 30,9% | Số lượng chuyên gia được định tuyến, kích thước chuyên gia chia sẻ và kích thước tiềm ẩn MoE không thay đổi. Các lớp attention được giữ nguyên. Lý do được nêu trong nghiên cứu đề xuất là Nemotron-3-Super đã rất hiệu quả về bộ nhớ đệm KV. Các lớp Mamba được cắt tỉa đồng đều, vì các khung suy luận không hỗ trợ kích thước trạng thái SSM khác nhau cho mỗi lớp. https://arxiv.org/pdf/2607.04371 Kết quả không phải là một mô hình giáo viên được thu nhỏ đồng đều. Hình trên cho thấy sự phân bổ theo chiều sâu. Puzzle giữ lại dung lượng ở các lớp giữa và cuối được chọn, và cắt giảm mạnh ở những nơi khác. Điểm chuẩn và Hiệu suất Bảng dưới đây báo cáo thông lượng tổng thể tối ưu Pareto trên một nút 8x B200 duy nhất, với giải mã một bước. | Kịch bản (đầu vào/đầu ra) | Ngưỡng UT | Super (token/giây) | Puzzle-75B-A9B (token/giây) | Tăng cường | |---|---|---|---|---| | 50K / 2K | >= 100 | 5.128 | 8.210 | 1,60x | | 50K / 2K | >= 125 | 3.784 | 6.412 | 1,69x | | 50K / 2K | >= 150 | 2.532 | 4.523 | 1,79x | | 8K / 64K | >= 100 | 20.939 | 42.601 | 2,03x | | 8K / 64K | >= 125 | 13.074 | 27.918 | 2,14x | | 8K / 64K | >= 150 | 8.522 | 18.047 | 2,12x | Cả hai mô hình đều được phục vụ với trọng số NVFP4 phù hợp, bộ nhớ đệm KV FP8 và trạng thái Mamba FP16. Do đó, khoảng cách phản ánh sự nén, không phải sự thay đổi định dạng số. Chế độ 50K/2K nặng về prefill đạt được ít nhất. Chế độ 8K/64K nặng về giải mã đạt được nhiều nhất. Trên một nút 8x H100 duy nhất ở UT = 100, mức tăng nhỏ hơn. Chúng là 1,91 lần trên 50K/2K và 1,82 lần trên 8K/64K. Cả hai mô hình ở đó đều sử dụng trọng số FP8, bộ nhớ đệm KV FP8 và trạng thái Mamba FP32. Trên một H100 duy nhất với ngữ cảnh 1 triệu, ràng buộc ràng buộc chuyển từ tính toán sang bộ nhớ. Trọng số NVFP4 của Super chiếm khoảng 70 GB trong tổng ngân sách HBM 80 GB. Mỗi yêu cầu 1 triệu token bổ sung khoảng 4 GB bộ nhớ đệm KV. Do đó, khả năng xử lý đồng thời hiệu quả là 1. Trọng lượng NVFP4 của Puzzle-75B-A9B chiếm khoảng 44,5 GB. Bố cục Attention không thay đổi, do đó chi phí KV trên mỗi yêu cầu không đổi. Khả năng đồng thời ở 1 triệu tăng lên 8. Thông lượng giải mã tổng hợp ở mức đồng thời đó xấp xỉ gấp 4 lần thông lượng của một yêu cầu đơn lẻ của Super. Quá trình tiền điền một lời nhắc 990K token nhanh hơn khoảng 1,2 lần. Cách Puzzle lặp lại hoạt động Puzzle là một khung tìm kiếm kiến trúc mạng thần kinh phân tách, được triển khai ở đây dưới dạng Puzzletron. Nó định nghĩa một không gian tìm kiếm rời rạc các triển khai lớp thay thế. Mỗi lựa chọn thay thế nhận được một điểm chất lượng. Một chương trình số nguyên hỗn hợp sau đó chọn một lựa chọn thay thế cho mỗi lớp theo một ràng buộc triển khai. Ba kỹ thuật cắt tỉa tạo thành không gian tìm kiếm: Cắt tỉa kênh trung gian: Các kênh bên trong mỗi chuyên gia được định tuyến được xếp hạng theo đóng góp vào đầu ra của chuyên gia. Tất cả các chuyên gia trong một lớp MoE được cắt tỉa đến một kích thước đồng nhất, để tương thích với kernel. Giảm top-k: Số lượng chuyên gia mà một token được định tuyến đến thay đổi theo từng lớp, lên đến k=22 của lớp cha. Cắt tỉa Mamba SSM: Kích thước trạng thái SSM giảm từ 128 xuống 96 kênh. Kết quả SSM được đo lường. Việc giảm 128 kênh xuống 96 kênh làm tăng tốc kernel SSM từ 1,2 đến 1,3 lần trong quá trình giải mã. Điều này đúng ở các kích thước lô từ 8 đến 512. Các kênh được xếp hạng theo đóng góp ước tính vào đầu ra của lớp Mamba. Ước tính trung bình trên 67 triệu token dữ liệu xác thực. Phụ lục A cho thấy điều này vượt trội so với việc lựa chọn kênh ngẫu nhiên dưới sự cắt tỉa mạnh mẽ. Công thức ban đầu giả định rằng tác động chất lượng thay thế gần như có tính cộng gộp. Mỗi khối ứng cử viên được chấm điểm bên trong khối cha không sửa đổi. Điều đó bỏ qua các tương tác bậc cao hơn giữa các thay thế. Puzzle lặp lại xen kẽ giữa nén có giới hạn và phục hồi chưng cất tri thức ngắn. Nó xây dựng một chuỗi M0, M1, ... MR thay vì nhảy đến mục tiêu. Điểm được tính toán lại dựa trên mô hình nén hiện tại, không phải khối cha ban đầu. Ba giai đoạn đã được sử dụng: Trọng lượng MoE đến 75% dung lượng của giáo viên, trạng thái Mamba SSM đến 75%. Được phục hồi trong 24 tỷ token. Trọng lượng MoE đến 60% dung lượng của giáo viên. Được phục hồi trong 43,2 tỷ token. Ngân sách chuyên gia được định tuyến kích hoạt đến 50%, được phân bổ không đồng nhất. Được phục hồi trong 52,8 tỷ token. https://arxiv.org/pdf/2607.04371 Bảng trên so sánh điều này với một đường cơ sở Puzzle một bước ở cùng một mục tiêu. Quy trình ba bước đạt trung bình 69,05 trên mười điểm chuẩn, so với 68,48. Các cải tiến xuất hiện trên MMLU-Pro, GPQA, HLE, AA-LCR, LiveCodeBench, SciCode và RULER-256K. IFBench-Instruction giảm 0,2 điểm và IFBench-Prompt giảm 0,5 điểm. Phục hồi: Chưng cất, RL và Verbosity Chưng cất tri thức chạy trên 30% dữ liệu tiền huấn luyện.