Gandalf: Kéo dài tuổi thọ SSD cho kỹ thuật offloading KV Cache của LLM

Khoa học máy tính > Học máy arXiv:2610.30791 (cs) [Đăng tải ngày 22/10/2026] Tiêu đề: Gandalf: Flash Shall Not Die! Tăng tuổi thọ bộ nhớ flash cho kỹ thuật giảm tải KV cache trong dịch vụ LLM Tác giả: Maharani A. P. Irawan, Kuntai Du, Jiayi Yao, Dongjoo Seo, Yuyang Huang, Haryadi S. Gunawi, Junchen Jiang Xem bản PDF của bài báo có tiêu đề Gandalf: Flash Shall Not Die! Tăng tuổi thọ bộ nhớ flash cho kỹ thuật giảm tải KV cache trong dịch vụ LLM, của tác giả Maharani A. P. Irawan và 6 cộng sự Xem PDF HTML (thử nghiệm) Tóm tắt: Kỹ thuật lưu bộ nhớ đệm KV (KV cache) giúp giảm chi phí cung cấp dịch vụ của các mô hình ngôn ngữ lớn (LLM), song dung lượng chiếm dụng ngày càng lớn của KV cache đang vượt quá sức chứa của GPU và bộ nhớ máy chủ (host-memory). Vì vậy, ổ SSD được sử dụng nhằm mở rộng dung lượng lưu trữ KV cache với băng thông I/O cao. Tuy nhiên, trong các tác vụ LLM thực tế, như hội thoại nhiều lượt và tác tử LLM (LLM agent), tổng lượng ghi KV cache vượt xa dung lượng SSD, làm giảm tuổi thọ SSD từ nhiều năm xuống chỉ còn vài tháng. Nhằm cải thiện tuổi thọ SSD, một giải pháp tự nhiên là giảm thao tác ghi KV cache bằng cách điều tiết việc ghi dựa trên các mô hình truy cập trong quá khứ. Mặc dù vậy, phương pháp này làm giảm đáng kể tỷ lệ trúng bộ nhớ đệm (cache hit rate) của KV cache (và làm tăng chi phí vận hành LLM), do KV cache từ các dạng cơ chế chú ý (attention types) khác nhau có thể có mô hình truy cập quá khứ tương đồng nhưng mô hình truy cập tương lai lại khác biệt. Nghiên cứu chỉ ra rằng, để giảm dung lượng ghi KV cache mà không ảnh hưởng đến tỷ lệ trúng bộ nhớ đệm, cần xem xét không chỉ mô hình truy cập mà còn cả thông tin ở cấp độ ứng dụng như dạng cơ chế chú ý của KV cache. Tận dụng nhận định này, nhóm tác giả đề xuất Gandalf, hệ thống giảm tải KV cache sang SSD đầu tiên có khả năng nhận biết tuổi thọ SSD. Gandalf ưu tiên nạp KV cache của cơ chế chú ý toàn phần (full-attention) vào SSD so với bộ nhớ đệm tạo ra từ các dạng cơ chế chú ý khác, giúp gia tăng đáng kể tuổi thọ SSD mà không làm suy giảm tỷ lệ trúng bộ nhớ đệm. Kết quả đánh giá cho thấy Gandalf kéo dài tuổi thọ SSD trung bình 7,3 lần, đồng thời tác động không đáng kể đến tỷ lệ trúng bộ nhớ đệm trên nhiều dấu vết khối lượng công việc (workload traces) và khoảng dung lượng phần cứng rộng. Thiết kế của Gandalf có thể mở rộng sang các loại bộ nhớ flash khác, chẳng hạn như Flash băng thông cao (HBF). Chuyên ngành: Học máy (cs.LG) Trích dẫn dưới dạng: arXiv:2610.30791 [cs.LG] (hoặc arXiv:2610.30791v1 [cs.LG] cho phiên bản này) https://doi.org/10.48550/arXiv.2610.30791 Tìm hiểu thêm DOI do arXiv cấp thông qua DataCite Lịch sử gửi bài Từ: Jiayi Yao [xem thư điện tử] [v1] Thứ Năm, ngày 22/10/2026 06:10:08 UTC (474 KB) Liên kết toàn văn: Tiếp cận bài báo: Xem bản PDF của bài báo có tiêu đề Gandalf: Flash Shall Not Die! Tăng tuổi thọ bộ nhớ flash cho kỹ thuật giảm tải KV cache trong dịch vụ LLM, của tác giả Maharani A. P. Irawan và 6 cộng sự Xem PDF HTML (thử nghiệm) Nguồn TeX xem giấy phép Tính năng bổ sung Tóm tắt âm thanh Ngữ cảnh duyệt hiện tại: cs.LG < trước | sau > mới | gần đây | 2026-10 Đổi duyệt theo: cs Tài liệu tham khảo & Trích dẫn SciX Google Scholar Semantic Scholar xuất trích dẫn BibTeX Đang tải... Trích dẫn định dạng BibTeX &times; đang tải... Dữ liệu được cung cấp bởi: Đánh dấu Công cụ thư mục Công cụ thư mục và trích dẫn Bật/tắt Trình khám phá thư mục Trình khám phá thư mục (Trình khám phá là gì?) Bật/tắt Connected Papers Connected Papers (Connected Papers là gì?) Bật/Tắt Litmaps Litmaps (Litmaps là gì?) Bật/Tắt scite.ai scite Smart Citations (Trích dẫn thông minh scite là gì?) Mã nguồn, Dữ liệu, Đa phương tiện Mã nguồn, Dữ liệu và Đa phương tiện liên quan đến bài báo này Bật/Tắt alphaXiv alphaXiv (alphaXiv là gì?) Bật/Tắt Liên kết tới mã nguồn Công cụ tìm kiếm mã nguồn CatalyzeX cho các bài báo (CatalyzeX là gì?) Bật/Tắt DagsHub DagsHub (DagsHub là gì?) Bật/Tắt GotitPub Gotit.pub (GotitPub là gì?) Bật/Tắt Huggingface Hugging Face (Huggingface là gì?) Bật/Tắt ScienceCast ScienceCast (ScienceCast là gì?) Bản thử nghiệm Bản thử nghiệm Bật/Tắt Replicate Replicate (Replicate là gì?) Bật/Tắt Spaces Hugging Face Spaces (Spaces là gì?) Bật/Tắt Spaces TXYZ.AI (TXYZ.AI là gì?) Các bài báo liên quan Hệ thống gợi ý và Công cụ tìm kiếm Liên kết tới Influence Flower Influence Flower (Influence Flowers là gì?) Bật/Tắt hệ thống gợi ý CORE Hệ thống gợi ý CORE (CORE là gì?) Bật/Tắt hệ thống gợi ý IArxiv Hệ thống gợi ý IArxiv (IArxiv là gì?) Tác giả Nơi xuất bản Tổ chức Chủ đề Giới thiệu về arXivLabs arXivLabs: các dự án thử nghiệm cùng các đối tác cộng đồng arXivLabs là khuôn khổ cho phép các cộng tác viên phát triển và chia sẻ các tính năng mới của arXiv trực tiếp trên trang web của chúng tôi. Cả cá nhân và tổ chức hợp tác với arXivLabs đều đồng thuận và tiếp nhận các giá trị của chúng tôi về tính mở, cộng đồng, sự xuất sắc và bảo mật dữ liệu người dùng. arXiv cam kết thực hiện các giá trị này và chỉ hợp tác với các đối tác tuân thủ những nguyên tắc đó. Có ý tưởng cho một dự án mang lại giá trị cho cộng đồng của arXiv? Tìm hiểu thêm về arXivLabs. Những tác giả nào của bài báo này là người chứng thực? | Vô hiệu hóa MathJax (MathJax là gì?)