DeepSeek DSpark: Bí quyết giải mã suy đoán giúp tăng tốc LLM 400%

DeepSeek DSpark: Giải mã suy đoán giúp tăng tốc LLM lên 400% Hội nghị AI tương lai nhất của Ấn Độ đã trở lại – Lớn hơn, Sắc nét hơn, Táo bạo hơn DeepSeek DSpark: Giải mã suy đoán đằng sau việc tăng tốc LLM lên 400% Mô-đun DSpark mới của DeepSeek mang tính năng giải mã suy đoán đến DeepSeek-V4. Mặc dù có vẻ như đây là một tinh chỉnh suy luận chuyên biệt, nhưng trong thực tế sản xuất, nó đã tăng tốc độ tạo ra cho mỗi người dùng lên 60 đến 85% mà không làm giảm chất lượng mô hình. Điều làm nên sự khác biệt của DSpark là nó giải quyết đồng thời hai vấn đề tồn tại lâu nay: chất lượng bản nháp kém và sự lãng phí trong việc xác minh bản nháp, trong khi các phương pháp trước đây chỉ giải quyết một trong hai. Trong bài viết này, chúng tôi sẽ phân tích cách nó giải quyết cả hai vấn đề và lý do tại sao điều đó lại quan trọng ở quy mô sản xuất. Mục lục Giải mã suy đoán là gì? Ý tưởng cốt lõi: Soạn thảo bán tự động Bắt đầu với DeepSpec Thực hành: Huấn luyện và đánh giá mô hình nháp Bước 1: Chọn cấu hình Bước 2: Huấn luyện mô hình Bước 3: Đánh giá Kết quả thử nghiệm Những điểm cần lưu ý và những vấn đề thường gặp Kết luận Các câu hỏi thường gặp Giải mã suy đoán là gì? Việc tạo ra LLM chậm vì mỗi token cần một lượt chuyển tiếp đầy đủ qua mô hình. Giải mã suy đoán tăng tốc quá trình này bằng một mô hình nháp nhỏ hơn, dự đoán nhiều token trong tương lai cùng một lúc, sau đó mô hình mục tiêu sẽ xác minh trong một lượt duy nhất. Nếu mô hình nháp đưa ra dự đoán tốt, một số token có thể được tạo ra từ một lần chuyển tiếp duy nhất thông qua mô hình đích. Nếu mô hình nháp đưa ra dự đoán kém, nó sẽ trở lại tốc độ bình thường. Chất lượng đầu ra vẫn được duy trì vì mô hình đích xác minh các dự đoán dựa trên phân phối xác suất của chính nó. Vấn đề cốt lõi là phát triển một mô hình nháp phù hợp: Khi mô hình nháp tuần tự và chính xác trong các dự đoán dài, nó không thể theo kịp mô hình đích và không tạo ra nhiều token trước khi mô hình đích hoàn thành. Trong trường hợp này, độ trễ tiếp tục tăng dựa trên số lượng khối đang được xử lý. Bằng cách làm cho mô hình nháp nhanh hơn và song song thay vì tuần tự, các dự đoán trở nên kém chính xác hơn ở phần sau của khối. DSpark trình bày một giải pháp giải quyết cả hai yếu tố cùng một lúc. Ý tưởng cốt lõi: Soạn thảo bán tự hồi quy Đây là một mô hình dự đoán: trong ngữ cảnh tự hồi quy (ví dụ: Eagle3), mỗi token được tạo ra được điều kiện hóa bởi tất cả các token đã được tạo ra trước đó. Mặc dù điều này đại diện cho việc đào tạo máy học truyền thống, nhưng nó không hiệu quả, vì mô hình trải qua sự gia tăng độ trễ tuyến tính khi số lượng token được tạo ra càng dài. Trong ngữ cảnh song song (ví dụ: DFlash), mô hình tạo ra toàn bộ khối token trong một lần chuyển tiếp duy nhất. Điều này tạo ra đầu ra rất nhanh. Tuy nhiên, mỗi token được ước tính độc lập với các token khác được định vị trong khối. Như bạn có thể tưởng tượng, đầu ra từ một mô hình như vậy có thể tạo ra một sự kết hợp kỳ lạ của các từ. Lấy "of" và "problem" làm ví dụ: mỗi từ tạo thành một cụm từ hợp lý ("of course" và "no problem"), nhưng khi được sử dụng cùng nhau ("of problem") chúng không còn có ý nghĩa gì nữa. Nguồn: X DSpark kết hợp một cấu trúc song song lớn để đạt tốc độ (nhiều đường xử lý độc lập) với một cấu trúc tuần tự nhỏ bổ sung các phụ thuộc cục bộ giữa các token. Cùng với nhau, đây là một phương pháp chủ yếu song song với một lớp tự hồi quy mỏng ở trên để khắc phục sự không nhất quán trong chuỗi. Bài báo trình bày hai cấu trúc tuần tự: Một đầu Markov chỉ sử dụng token đứng trước cộng với một ma trận hạng thấp, đạt được gần như không có chi phí. Một đầu RNN duy trì trạng thái đệ quy tối thiểu trong toàn bộ khối, cung cấp nhiều ngữ cảnh hơn so với đầu Markov. DeepSeek nhận thấy đầu Markov mang lại gần như tất cả các lợi ích với độ phức tạp thấp hơn nhiều, vì vậy đó là cái mà họ đưa vào sản xuất. Bắt đầu với DeepSpec DeepSeek đã công bố mã nguồn mở để đào tạo và đánh giá cho dr của họ.