Suy luận của mô hình ngôn ngữ lớn (LLM) có nhận thức về ngân sách token

Khoa học Máy tính > Tính toán và Ngôn ngữ arXiv:2412.18547 (cs) [Đệ trình ngày 24/12/2024 (v1), sửa đổi lần cuối ngày 2/6/2025 (phiên bản này, v5)] Tiêu đề: Suy luận LLM nhận biết ngân sách token Tác giả: Tingxu Han, Zhenting Wang, Chunrong Fang, Shiyu Zhao, Shiqing Ma, Zhenyu Chen Xem bản PDF của bài báo có tiêu đề Suy luận LLM nhận biết ngân sách token, của Tingxu Han và 5 tác giả khác Xem PDF HTML (thử nghiệm) Tóm tắt: Suy luận là yếu tố then chốt để các mô hình ngôn ngữ lớn (LLM) đạt hiệu suất cao trong nhiều tác vụ. Mặc dù các phương pháp như suy luận Chain-of-Thought (CoT) giúp nâng cao hiệu suất LLM bằng cách phân tách vấn đề thành các bước trung gian, chúng cũng gây ra chi phí đáng kể về việc sử dụng token, dẫn đến tăng chi phí. Chúng tôi nhận thấy rằng quá trình suy luận của các LLM hiện tại dài không cần thiết và có thể được nén lại bằng cách đưa một ngân sách token hợp lý vào lời nhắc (prompt), nhưng việc lựa chọn ngân sách token đóng vai trò quan trọng trong hiệu quả nén thực tế. Sau đó, chúng tôi đề xuất một khung suy luận LLM nhận biết ngân sách token, tự động điều chỉnh số lượng token suy luận dựa trên độ phức tạp suy luận của từng vấn đề. Các thử nghiệm cho thấy phương pháp của chúng tôi giảm chi phí token trong suy luận CoT một cách hiệu quả với mức giảm hiệu suất không đáng kể, mang lại giải pháp thực tế để cân bằng hiệu quả và độ chính xác trong suy luận LLM. Mã nguồn: this https URL Chủ đề: Tính toán và Ngôn ngữ (cs.CL); Trí tuệ nhân tạo (cs.AI); Học máy (cs.LG) Trích dẫn dưới dạng: arXiv:2412.18547 [cs.CL] (hoặc arXiv:2412.18547v5 [cs.CL] cho phiên bản này) https://doi.org/10.48550/arXiv.2412.18547 Tập trung để tìm hiểu thêm DOI do arXiv cấp thông qua DataCite Lịch sử đệ trình Từ: Tingxu Han [xem email] [v1] Thứ Ba, 24/12/2024 16:55:45 UTC (533 KB) [v2] Thứ Hai, 30/12/2024 01:07:39 UTC (533 KB) [v3] Thứ Ba, 31/12/2024 06:11:39 UTC (533 KB) [v4] Thứ Hai, 17/2/2025 15:55:08 UTC (584 KB) [v5] Thứ Hai, 2/6/2025 00:44:09 UTC (666 KB) Liên kết toàn văn: Truy cập bài báo: Xem bản PDF của bài báo có tiêu đề Suy luận LLM nhận biết ngân sách token, của Tingxu Han và 5 tác giả khác Xem PDF HTML (thử nghiệm) Nguồn TeX xem giấy phép Ngữ cảnh duyệt hiện tại: cs.CL < trước | tiếp theo > mới | gần đây | 2024-12 Thay đổi để duyệt theo: cs cs.AI cs.LG Tài liệu tham khảo & Trích dẫn NASA ADS Google Scholar Semantic Scholar xuất trích dẫn BibTeX Đang tải... Trích dẫn định dạng BibTeX &times; đang tải... Dữ liệu được cung cấp bởi: Đánh dấu Công cụ thư mục Công cụ thư mục và trích dẫn Chuyển đổi Trình khám phá thư mục Trình khám phá thư mục (Trình khám phá là gì?) Chuyển đổi Bài báo liên quan Bài báo liên quan (Bài báo liên quan là gì?) Chuyển đổi Litmaps Litmaps (Litmaps là gì?) Chuyển đổi scite.ai Trích dẫn thông minh của scite (Trích dẫn thông minh là gì?) Mã, Dữ liệu, Phương tiện Mã, Dữ liệu và Phương tiện liên quan đến bài viết này Chuyển đổi alphaXiv alphaXiv (alphaXiv là gì?) Chuyển đổi Liên kết đến Mã Công cụ tìm mã CatalyzeX cho các bài báo (CatalyzeX là gì?) Chuyển đổi DagsHub DagsHub (DagsHub là gì?) Chuyển đổi GotitPub Gotit.pub (GotitPub là gì?) Chuyển đổi Huggingface Hugging Face (Huggingface là gì?) ScienceCast Bật/Tắt ScienceCast (ScienceCast là gì?) Bản thử nghiệm Bản thử nghiệm Replicate Bật/Tắt Replicate (Replicate là gì?) Spaces Bật/Tắt Hugging Face Spaces (Spaces là gì?) Spaces Bật/Tắt TXYZ.AI (TXYZ.AI là gì?) Các bài báo liên quan Công cụ đề xuất và tìm kiếm Liên kết đến Influence Flower Influence Flower (Influence Flowers là gì?) Công cụ đề xuất cốt lõi bật/tắt Công cụ đề xuất CORE (CORE là gì?) Tác giả Địa điểm Tổ chức Chủ đề Giới thiệu về arXivLabs arXivLabs: các dự án thử nghiệm với cộng tác viên cộng đồng arXivLabs là một khuôn khổ cho phép các cộng tác viên phát triển và chia sẻ các tính năng arXiv mới trực tiếp trên trang web của chúng tôi. Cả cá nhân và tổ chức làm việc với arXivLabs đều đã chấp nhận và tuân thủ các giá trị của chúng tôi về sự cởi mở, cộng đồng, sự xuất sắc và quyền riêng tư dữ liệu người dùng. arXiv cam kết với những giá trị này và chỉ làm việc với các đối tác tuân thủ chúng. Bạn có ý tưởng cho một dự án sẽ mang lại giá trị cho cộng đồng arXiv không? Tìm hiểu thêm về arXivLabs. Những tác giả nào của bài báo này là người xác nhận? | Tắt MathJax (MathJax là gì?)