Các chuyên gia đều có bạn đời: Triển vọng giữ chân họ cùng nhau qua chương trình HOPE

Quay lại mục Bài viết a]:hidden"> Các chuyên gia luôn có đối tác: Giải pháp HOPE giúp duy trì sự liên kết Bài viết doanh nghiệp đã xuất bản Ngày 9/11/2026 4 lượt ủng hộ Alex M Tseng alexmtseng Theo dõi amazon Luca Zancato zancato Theo dõi amazon :last-child]:mb-0"> Cắt tỉa chuyên gia bậc cao trong các mô hình ngôn ngữ kết hợp chuyên gia (MoE) Giới thiệu Các chuyên gia không hoạt động độc lập Cách phương pháp HOPE xác định tập hợp cần cắt tỉa Kết quả Cách triển khai HOPE Hạn chế của HOPE Thông tin thêm Cắt tỉa chuyên gia bậc cao trong các mô hình ngôn ngữ kết hợp chuyên gia Giới thiệu Các mô hình kết hợp chuyên gia (MoE) đã giúp các mô hình ngôn ngữ lớn (LLM) tiên tiến nhất mở rộng quy mô lên tới hàng trăm tỷ tham số. Tuy nhiên, kiến trúc này đi kèm một hạn chế căn bản và tốn kém: mỗi khối MLP chuyên gia đều phải chiếm dụng bộ nhớ tại thời điểm suy luận, dù phần lớn các chuyên gia đều ở trạng thái nhàn rỗi đối với một token bất kỳ. Đơn cử, mô hình Qwen3.5-122B có 256 chuyên gia trong mỗi tầng thuộc 48 tầng MoE; 95% dung lượng bộ nhớ tham số (khoảng 250 GB) bị chiếm dụng hoàn toàn bởi riêng các khối MLP chuyên gia này. Mặc dù vậy, đối với mỗi token bất kỳ, chỉ có 8 chuyên gia ở mỗi tầng thực sự được sử dụng. Cắt tỉa chuyên gia (expert pruning) là một trong những giải pháp trực tiếp nhất nhằm giải quyết điểm nghẽn bộ nhớ này, cụ thể là việc xóa vĩnh viễn các chuyên gia ít hữu dụng nhất. Phương pháp cắt tỉa giúp loại bỏ các vấn đề về độ trễ vốn khiến việc nạp/dỡ động các chuyên gia không khả thi trong thực tế; phương pháp này không đòi hỏi huấn luyện lại và có thể kết hợp với kỹ thuật lượng tử hóa (quantization). Nhờ những ưu điểm vượt trội cùng tính chất đơn giản, cắt tỉa chuyên gia đã trở thành phương pháp hàng đầu để thu nhỏ kích thước các mô hình MoE. Thách thức cốt lõi nằm ở việc xác định chuyên gia nào an toàn nhất để loại bỏ. Các phương pháp cắt tỉa hiện hành đều đánh giá từng chuyên gia một cách độc lập, gán cho mỗi chuyên gia một điểm tầm quan trọng dạng vô hướng (dựa trên tập dữ liệu hiệu chuẩn) và loại bỏ những chuyên gia ít quan trọng nhất (độc lập ở từng tầng). Đây là các phương pháp bậc một, xuất phát từ giả định rằng đóng góp của mỗi chuyên gia không phụ thuộc vào các chuyên gia khác. Trên thực tế, các chuyên gia tạo thành các nhóm hợp tác. Trong các thử nghiệm, nhóm tác giả ghi nhận những cụm chuyên gia đồng kích hoạt nhất quán, và các nghiên cứu độc lập cũng chỉ ra rằng sự hợp tác giữa các chuyên gia là một đặc tính ổn định của kiến trúc MoE, đóng vai trò quan trọng đối với hiệu năng mô hình. Việc bỏ qua các tương tác này dẫn đến kết quả cắt tỉa kém tối ưu, đặc biệt là ở các tỷ lệ cắt tỉa sâu. Công trình nghiên cứu mới nhất của nhóm tác giả đã đề xuất HOPE (Higher-Order Pruning of Experts - Cắt tỉa chuyên gia bậc cao), một phương pháp bậc hai tính đến các tương tác từng cặp giữa các chuyên gia. Ở mức cắt tỉa 50%, HOPE đạt thứ hạng trung bình tốt nhất trong tất cả các phương pháp, với mức cải thiện hiệu năng lên tới +6,1% trong các tác vụ lập trình dạng tác tử (agentic coding) so với phương pháp cắt tỉa tốt thứ hai. Bài viết này sẽ làm rõ cơ chế hoạt động của HOPE, chỉ ra những khía cạnh mà phương pháp này vượt trội so với các giải pháp hiện tại, đồng thời hướng dẫn cách áp dụng cho các mô hình cụ thể. Đối với độc giả chưa quen thuộc với kiến trúc MoE, có thể tham khảo bài viết Kiến trúc kết hợp chuyên gia (MoE) trong các mô hình Transformer (Mixture of Experts in Transformers). Các chuyên gia không hoạt động độc lập Trong một mô hình MoE tiêu chuẩn, mỗi tầng gồm EEE chuyên gia và mỗi token đầu vào xxx được định tuyến độc lập tới KKK chuyên gia (K = 8 là lựa chọn phổ biến). Việc định tuyến được thực hiện bởi một tầng duy nhất, tạo ra trọng số cổng chuẩn hóa bằng softmax gk(x)g_{k}(x)gk​(x) cho từng chuyên gia kkk; trong đó KKK chuyên gia có trọng số cổng cao nhất được lựa chọn để tạo thành tập hợp chuyên gia kích hoạt, T(x)⊂{1,..,E}T(x) \subset\{1,..,E\}T(x)⊂{1,..,E}. Đầu ra của tầng này là ∑k∈T(x)gk(x)fk(x)\sum\limits_{k\in T(x)}g_{k}(x)f_{k}(x)k∈T(x)∑​gk​(x)fk​(x), với fk(x)f_{k}(x)fk​(x) là đầu ra của chuyên gia kkk đối với token xxx. Bên trái: tầng MoE (Mô hình kết hợp các chuyên gia) điển hình, trong đó mỗi token được định tuyến đến top-K chuyên gia. Bên phải: các phương pháp bậc một tiến hành xếp hạng và loại bỏ các chuyên gia dựa trên điểm số tầm quan trọng dạng vô hướng; tuy nhiên, các quyết định cắt tỉa tối ưu nhất cũng sẽ xem xét mức độ tương tác giữa các chuyên gia. Đáng chú ý, các chuyên gia trong tập hợp được chọn T(x) không hoạt động độc lập. Các chuyên gia hình thành các nhóm hợp tác ổn định và thường xuyên được đồng kích hoạt cùng nhau. Hiện tượng này cũng từng được ghi nhận trong các công trình nghiên cứu trước đây: các mô hình đồng lựa chọn chuyên gia xuất hiện từ giai đoạn đầu của quá trình huấn luyện và duy trì ổn định xuyên suốt. Điều này đồng nghĩa với việc khi thực hiện cắt tỉa các chuyên gia khỏi một tầng MoE, các quyết định cắt tỉa cần phải tính đến các tác động bậc cao giữa những chuyên gia này. Việc loại bỏ riêng lẻ chuyên gia A có thể không gây ảnh hưởng rõ rệt, nhưng nếu chuyên gia B—vốn thường xuyên hợp tác và phụ thuộc vào A—giữ vai trò đặc biệt quan trọng, thì việc loại bỏ A sẽ làm tan rã cả một nhóm hợp tác chỉ qua một thao tác xóa duy nhất. Các phương pháp bậc một hoàn toàn bỏ qua yếu tố này do chấm điểm A và B một cách riêng biệt. Tác động này càng gia tăng khi tỷ lệ cắt tỉa ở mức cao. Khi loại bỏ tới 50% số lượng chuyên gia, nguy cơ phá vỡ nhiều liên kết hợp tác là rất lớn. Đây chính là điều kiện mà phương pháp cắt tỉa bậc hai phát huy tối đa ưu thế. Cách thức HOPE xác định tập hợp cắt tỉa (Xem Phụ lục A trong bài báo nghiên cứu tương ứng để nắm trọn vẹn phép suy dẫn hàm mục tiêu của HOPE) Khi loại bỏ một tập hợp P chuyên gia khỏi một tầng MoE nhất định, tập hợp chuyên gia được chọn T(x) (đối với bất kỳ token x nào) có thể bị thay đổi. Các chuyên gia bị cắt tỉa—vốn theo dự kiến sẽ được lựa chọn—được thay thế bằng các chuyên gia có trọng số cổng kế tiếp cao nhất. Sự thay đổi kết quả đầu ra của tầng tương ứng được gọi là sai số cắt tỉa. Mục tiêu đặt ra là xác định tập hợp cắt tỉa P (trong giới hạn ngân sách cắt tỉa |P| được định sẵn) nhằm giảm thiểu sai số cắt tỉa phát sinh (trên các token x từ tập hiệu chuẩn). Tuy nhiên, việc trực tiếp tối thiểu hóa sai số cắt tỉa trên P là một bài toán bất khả thi về mặt tính toán. Sai số cắt tỉa phụ thuộc vào việc xác định các chuyên gia thay thế, trong khi yếu tố này lại phụ thuộc vào chính tập hợp cắt tỉa P. Phương pháp HOPE giải quyết vấn đề này bằng cách thiết lập một đại lượng thay thế khả dĩ Z, vốn là cận trên chặt chẽ cho thành phần chi phối của sai số cắt tỉa: Z = [\sum\limits_{j \in P\cap T(x)} g_{j}(x)\Vert f_j(x)\Vert_{2}]^{2} \geq \text{true error} Do Z là một tổng bình phương, phép khai triển tự nhiên sẽ làm xuất hiện các số hạng chéo g_{i}(x)g_{j}(x)\Vert f_{i}(x)\Vert_{2}\Vert f_{j}(x)\Vert_{2} giữa