Giải quyết tình trạng mất cân bằng tải Moe trong đào tạo LLM thông qua phương thức vận chuyển tối ưu

--> Khoa học máy tính > Điện toán phân tán, song song và cụm arXiv:2608.03676 (cs) [Đã gửi vào ngày 4 tháng 8 năm 2026] Tiêu đề:TAOT: Vận chuyển tối ưu nhận biết cấu trúc liên kết cho vị trí bản sao chuyên gia động trong đào tạo MoE Tác giả: Lingyun Zhang, Henghua Zhang, Shilei Gu, Kai Mo, Shuai Han, Shiyong Li, Yanpeng Wang, Dou Shen Xem bản PDF của bài báo có tiêu đề TAOT: Vận chuyển tối ưu nhận biết cấu trúc liên kết cho vị trí bản sao chuyên gia động trong đào tạo MoE, của Lingyun Zhang và 7 tác giả khác Xem PDF HTML (thử nghiệm) Tóm tắt: Hỗn hợp các chuyên gia (MoE) đã trở thành kiến trúc quan trọng để mở rộng các mô hình ngôn ngữ lớn (LLM), tuy nhiên việc định tuyến động của nó gây ra sự mất cân bằng tải nghiêm trọng trong đào tạo song song chuyên gia. Các phương pháp sao chép động hiện tại sao chép các chuyên gia nóng vào các cấp độ nhàn rỗi để chia sẻ tính toán, nhưng chúng chỉ tối ưu hóa cân bằng tải và bỏ qua chi phí di chuyển trọng số chuyên gia qua cấu trúc liên kết nhiều nút, do đó, giao tiếp giữa các nút có thể lớn hơn lợi ích cân bằng và làm tăng chi phí đào tạo. Chúng tôi giới thiệu TAOT, một phương pháp vận chuyển tối ưu nhận biết cấu trúc liên kết để sắp xếp bản sao chuyên gia động. TAOT mô hình hóa tình trạng quá tải ở các cấp bậc nóng và công suất dự phòng ở các cấp bậc được tải nhẹ dưới dạng bài toán vận chuyển tối ưu được chuẩn hóa entropy cân bằng với ma trận chi phí truyền thông, giải quyết vấn đề đó bằng các phép lặp Sinkhorn-Knopp để tạo ra các gợi ý luồng cấp bậc và kết hợp khớp bản sao số nguyên với gán mã thông báo vào một lịch trình thực thi. Ở cấp độ hệ thống, nó chồng chéo việc chuyển trọng số của khách với tính toán của chuyên gia tại nhà để ẩn chi phí liên lạc. Các thử nghiệm cho thấy TAOT đạt được tốc độ đào tạo MoE toàn diện gấp 1,43 lần, đạt được chất lượng cân bằng cạnh tranh hoặc tốt hơn các phương pháp hiện đại nhất và đạt được chi phí giao tiếp với chuyên gia thấp nhất trên tất cả các cấu hình, với mức giảm tới 74%. chủ đề: Điện toán phân tán, song song và cụm (cs.DC) Trích dẫn như: arXiv:2608.03676 [cs.DC] (hoặc arXiv:2608.03676v1 [cs.DC] cho phiên bản này) https://doi.org/10.48550/arXiv.2608.03676 Tập trung để tìm hiểu thêm DOI do arXiv cấp qua DataCite Lịch sử gửi Từ: Lingyun Zhang [xem email] [v1] Thứ ba, ngày 4 tháng 8 năm 2026 13:50:22 UTC (612 KB) Link toàn văn: Giấy truy cập: Xem bản PDF của bài báo có tiêu đề TAOT: Vận chuyển tối ưu nhận biết cấu trúc liên kết cho vị trí bản sao chuyên gia động trong đào tạo MoE, của Lingyun Zhang và 7 tác giả khác Xem PDF HTML (thử nghiệm) Nguồn TeX xem giấy phép Bối cảnh duyệt hiện tại: cs.DC < trước | tiếp theo > mới | gần đây | 2026-08 Thay đổi duyệt theo: cs Tài liệu tham khảo & trích dẫn QUẢNG CÁO của NASA Học giả Google Học giả ngữ nghĩa xuất trích dẫn BibTeX Đang tải... Trích dẫn có định dạng BibTeX × đang tải... Dữ liệu được cung cấp bởi: Đánh dấu Công cụ thư mục Công cụ thư mục và trích dẫn Chuyển đổi trình khám phá thư mục Trình khám phá thư mục (Trình khám phá là gì?) Giấy tờ được kết nối Chuyển đổi Giấy tờ được kết nối (Giấy tờ được kết nối là gì?) Chuyển đổi bản đồ Litmap Litmap (Litmap là gì?) scite.ai Chuyển đổi trích dẫn thông minh (Trích dẫn thông minh là gì?) Mã, Dữ liệu, Phương tiện Mã, dữ liệu và phương tiện liên quan đến bài viết này chuyển đổi alphaXiv alphaXiv (alphaXiv là gì?) Liên kết đến chuyển đổi mã Trình tìm mã CatalyzeX cho giấy tờ (CatalyzeX là gì?) Chuyển đổi DagsHub DagsHub (DagsHub là gì?) GotitPub Chuyển đổi Gotit.pub (GotitPub là gì?) Chuyển đổi ôm mặt Ôm Mặt (Ôm Mặt là gì?) Khoa họcCast Chuyển đổi ScienceCast (ScienceCast là gì?) Bản demo Bản demo Sao chép chuyển đổi Sao chép (Sao chép là gì?) Chuyển đổi không gian Ôm không gian khuôn mặt (Spaces là gì?) Chuyển đổi không gian TXYZ.AI (TXYZ.AI là gì?) Giấy tờ liên quan Công cụ đề xuất và tìm kiếm Liên kết đến hoa ảnh hưởng Hoa Ảnh hưởng (Hoa Ảnh hưởng là gì?) Chuyển đổi đề xuất cốt lõi Người giới thiệu CORE (CORE là gì?) tác giả Địa điểm Cơ quan chủ đề Giới thiệu về arXivLabs arXivLabs: dự án thử nghiệm với cộng tác viên cộng đồng arXivLabs là một khuôn khổ cho phép cộng tác viên phát triển và chia sẻ các tính năng arXiv mới trực tiếp trên trang web của chúng tôi. Cả cá nhân và tổ chức làm việc với arXivLabs đều chấp nhận và chấp nhận các giá trị của chúng tôi về tính cởi mở, cộng đồng, sự xuất sắc và quyền riêng tư dữ liệu người dùng. arXiv cam kết tuân thủ các giá trị này và chỉ làm việc với các đối tác tuân thủ chúng. Bạn có ý tưởng về một dự án sẽ tăng thêm giá trị cho cộng đồng arXiv không? Tìm hiểu thêm về arXivLabs. Những tác giả của bài viết này là người chứng thực? | Vô hiệu hóa MathJax (MathJax là gì?)