GAAC: Nén bộ nhớ đệm KV (KV Cache) không suy hao nhằm tăng tốc độ suy luận của LLM

Khoa học máy tính > Trí tuệ nhân tạo arXiv:2610.38210 (cs) [Gửi ngày 28/10/2026] Tiêu đề: GAAC: Nén KV không suy hao nhằm tối ưu băng thông suy luận mô hình ngôn ngữ lớn (LLM) trên thiết bị cá nhân Tác giả: Yipin Guo, Arun M George, Siddharth Joshi Xem bản PDF của bài báo có tiêu đề "GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices" của Yipin Guo và 2 tác giả khác Xem PDF HTML (thử nghiệm) Tóm tắt: Phương pháp lượng tử hóa suy hao chỉ áp dụng cho trọng số (weight-only, lossy quantization) giúp giảm đáng kể yêu cầu lưu trữ và bộ nhớ khi vận hành các mô hình ngôn ngữ lớn (LLM), tuy nhiên sự gia tăng kích thước bộ nhớ đệm key-value (KV cache) vẫn là rào cản lớn đối với quá trình suy luận ngữ cảnh dài trên các thiết bị cá nhân. Nghiên cứu giới thiệu Group-Adaptive Additive Codec (GAAC), một hệ thống nén và phục vụ bộ nhớ đệm KV không suy hao, khai thác tính dư thừa của phần số mũ để tiết kiệm dung lượng và tăng tốc cơ chế chú ý (attention) mà không gây sai số xấp xỉ KV. GAAC mã hóa các số mũ định dạng BF16 bằng thuật toán cơ số cộng độ lệch (base-plus-offset) được hiệu chuẩn theo từng kênh trên các dải liên tục. GAAC điều chỉnh độ rộng mã linh hoạt theo các nhóm nhỏ, đồng thời bảo toàn chính xác từng bit giá trị KV. Một nhân chú ý hợp nhất (fused attention kernel) sẽ tái tạo trực tiếp các khối dữ liệu KV trong quá trình xử lý, tránh việc phải giải nén toàn bộ bộ nhớ đệm. Cơ chế nén theo khối cùng các ô nhớ dung lượng cố định hỗ trợ việc cập nhật bộ nhớ đệm tăng dần và phục vụ phân trang (paged serving). Trên năm mô hình thử nghiệm, GAAC đạt tỷ lệ nén KV BF16 không suy hao từ 1,405 đến 1,407 lần. Hiệu năng nén cũng được đánh giá trên các tensor độ chính xác thấp, bao gồm bộ nhớ đệm FP8 E4M3 (1,09–1,14 lần) và E5M2 (1,25–1,30 lần). Trên hệ thống NVIDIA DGX Spark, GAAC tăng tốc cơ chế chú ý giải mã ở ngữ cảnh 64.000 token lên 1,19–1,27 lần và tăng tốc các bước giải mã W4A16 toàn trình lên 1,04–1,15 lần. Trong vận hành, hệ thống giảm khoảng 26% dung lượng bộ nhớ đệm KV thường trú và nâng thông lượng tổng thể thêm 13–29% với cùng mức ngân sách bộ nhớ KV. Trên chip Apple M4, GAAC đạt mức tăng tốc cơ chế chú ý từ 1,02 đến 1,25 lần, chứng minh khả năng tương thích linh hoạt ngoài các GPU của NVIDIA. Lĩnh vực: Trí tuệ nhân tạo (cs.AI) Trích dẫn: arXiv:2610.38210 [cs.AI] (hoặc arXiv:2610.38210v1 [cs.AI] đối với phiên bản này) https://doi.org/10.48550/arXiv.2610.38210 Xem chi tiết để tìm hiểu thêm Mã DOI do arXiv cấp qua DataCite Lịch sử gửi bài Từ: Yipin Guo [xem thư điện tử] [v1] Thứ Tư, ngày 28/10/2026 03:03:51 UTC (146 KB) Liên kết toàn văn: Truy cập bài báo: Xem bản PDF của bài báo có tiêu đề "GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices" của Yipin Guo và 2 tác giả khác Xem PDF HTML (thử nghiệm) Mã nguồn TeX xem giấy phép Tính năng bổ sung Bản tóm tắt âm thanh Bối cảnh duyệt hiện tại: cs.AI < trước | tiếp > mới | gần đây | 10/2026 Chuyển chế độ duyệt theo: cs Tài liệu tham khảo và trích dẫn SciX Google Scholar Semantic Scholar xuất trích dẫn BibTeX Đang tải... Trích dẫn định dạng BibTeX &times; đang tải... Dữ liệu do: cung cấp Đánh dấu Công cụ thư mục Công cụ thư mục và trích dẫn Bật/tắt Bibliographic Explorer Bibliographic Explorer (Bibliographic Explorer là gì?) Bật/tắt Connected Papers Connected Papers (Connected Papers là gì?) Bật/tắt Litmaps Litmaps (Litmaps là gì?) Bật/tắt scite.ai Trích dẫn thông minh scite (Trích dẫn thông minh là gì?) Mã nguồn, dữ liệu, đa phương tiện Mã nguồn, dữ liệu và đa phương tiện liên quan đến bài báo này Bật/tắt alphaXiv alphaXiv (alphaXiv là gì?) Bật/tắt liên kết mã nguồn Công cụ tìm kiếm mã nguồn cho bài báo CatalyzeX (CatalyzeX là gì?) Bật/tắt DagsHub DagsHub (DagsHub là gì?) Bật/tắt GotitPub Gotit.pub (GotitPub là gì?) Bật/tắt Hugging Face Hugging Face (Hugging Face là gì?) Bật/tắt ScienceCast ScienceCast (ScienceCast là gì?) Bản thử nghiệm Bản thử nghiệm Bật/tắt Replicate Replicate (Replicate là gì?) Bật/tắt Spaces Hugging Face Spaces (Spaces là gì?) Bật/tắt Spaces TXYZ.AI (TXYZ.AI là gì?) Các bài báo liên quan Công cụ đề xuất và tìm kiếm Liên kết đến Influence Flower Influence Flower (Influence Flower là gì?) Bật/tắt công cụ đề xuất CORE Công cụ đề xuất CORE (CORE là gì?) Tác giả Nơi công bố Cơ quan nghiên cứu Chủ đề Giới thiệu về arXivLabs arXivLabs: các dự án thử nghiệm cùng các đối tác cộng đồng arXivLabs là khuôn khổ cho phép các cộng tác viên phát triển và chia sẻ những tính năng mới của arXiv trực tiếp trên trang thông tin điện tử của hệ thống. Mọi cá nhân và tổ chức hợp tác với arXivLabs đều tôn trọng và chấp thuận các giá trị về tính cởi mở, tinh thần cộng đồng, chất lượng vượt trội và bảo mật dữ liệu người dùng. arXiv cam kết duy trì các giá trị này và chỉ hợp tác với các đối tác tuân thủ những nguyên tắc nêu trên. Cá nhân hoặc tổ chức có ý tưởng dự án nhằm gia tăng giá trị cho cộng đồng arXiv có thể tìm hiểu thêm thông tin về arXivLabs. Tác giả nào của bài báo này là người bảo trợ? | Vô hiệu hóa MathJax (MathJax là gì?)