Phương pháp tiết kiệm chi phí nhất để tinh chỉnh (fine-tune) Llama trên H100 là gì?

Phương pháp tinh chỉnh (fine-tune) mô hình Llama tiết kiệm chi phí nhất trên một GPU H100 là lựa chọn giải pháp nhẹ nhất phù hợp với dung lượng (LoRA đối với Llama 3.1 8B và QLoRA đối với phiên bản 70B), thiết lập điểm kiểm tra (checkpoint) định kỳ sau mỗi vài phút và chỉ tính phí trong thời gian tác vụ thực tế vận hành. Nodus niêm yết đơn giá thuê GPU H100 SXM ở mức 2,60 USD/giờ trên trang biểu phí, dừng tính cước ngay khi tác vụ hoàn thành và tự động khôi phục điểm kiểm tra gần nhất trên hệ thống máy mới nếu tài nguyên GPU bị thu hồi. Trong ví dụ tính toán thực tế dưới đây, giải pháp này giúp chi phí tinh chỉnh LoRA cho mô hình Llama 3.1 8B với quy mô 50 triệu token duy trì ở mức 8,35 USD; trong khi đó, chỉ cần một giờ máy nhàn rỗi hoặc một lần bị thu hồi tài nguyên (preemption) mà không có cơ chế bảo vệ, chi phí sẽ tăng lên mức 10,95 USD hoặc 15,50 USD. Nội dung bài viết do đơn vị phát triển Nodus thực hiện, do đó cần được xem xét một cách khách quan. Các số liệu về bộ nhớ và tốc độ dưới đây được trích xuất từ Hugging Face, torchtune và Unsloth; mức giá của các nền tảng khác được dẫn chiếu trực tiếp từ các trang chủ tương ứng, đồng thời mọi chi phí đều đi kèm công thức tính toán cụ thể. Phương pháp tinh chỉnh nào phù hợp với Llama trên một GPU H100? Các phương pháp LoRA và QLoRA đều đáp ứng tốt phiên bản 8B, trong khi phiên bản 70B chỉ có thể vận hành với QLoRA. Các số liệu dưới đây là ước tính gần đúng do Hugging Face công bố trong bài viết ra mắt Llama 3.1: Phương pháp Llama 3.1 8B Llama 3.1 70B Khả năng đáp ứng trên một GPU H100 80 GB? Tinh chỉnh toàn phần (Full fine-tuning) 60 GB 500 GB Chỉ phiên bản 8B, với các thiết lập tiết kiệm bộ nhớ LoRA (nền tảng 16-bit) 16 GB 160 GB 8B: Có, 70B: Không QLoRA (nền tảng 4-bit) 6 GB 48 GB Cả hai phiên bản Trên một GPU H100 dung lượng 80 GB, phiên bản 70B chỉ có duy nhất một lựa chọn là QLoRA. Con số ước tính đối với phương pháp tinh chỉnh toàn phần cần được xem xét kỹ lưỡng. Theo lý thuyết tiêu chuẩn trong bài báo khoa học về ZeRO, chi phí huấn luyện với độ chính xác hỗn hợp (mixed-precision) sử dụng thuật toán tối ưu hóa AdamW đòi hỏi 16 byte cho mỗi tham số. Llama 3.1 8B có 8.030.261.248 tham số, tương đương 128 GB trước khi tính đến bộ nhớ kích hoạt (activations). Mức 60 GB thấp hơn của Hugging Face và mức 18,9 GiB của torchtune trên GPU RTX 4090 24 GB (theo tài liệu hướng dẫn README) đạt được là nhờ việc áp dụng trạng thái tối ưu hóa ở độ chính xác thấp hơn cùng các kỹ thuật tiết kiệm bộ nhớ khác. Đối với phiên bản 70B, Unsloth cho biết trong bài viết về Llama 3.3 rằng phương pháp QLoRA áp dụng cho Llama 3.3 70B chỉ tiêu tốn 41 GB bộ nhớ. Trong khi đó, phương pháp LoRA 16-bit đòi hỏi từ hai GPU H100 trở lên, nội dung này đã được phân tích chi tiết trong tài liệu hướng dẫn về VRAM cho mô hình 70B. QLoRA có tiết kiệm chi phí hơn LoRA đối với Llama 3.1 8B trên GPU H100 hay không? Thực tế cho thấy câu trả lời thường là không. QLoRA giúp tiết kiệm bộ nhớ, nhưng trên một card đồ họa 80 GB, phiên bản 8B không cần đến sự tối ưu này; ngược lại, nền tảng 4-bit có thể làm chậm tốc độ xử lý ở từng bước huấn luyện. Công cụ torchtune đã tiến hành đo lường cả hai phương pháp trên cùng một cấu hình phần cứng. Đối với Llama 3.1 8B trên GPU RTX 4090, LoRA đạt tốc độ huấn luyện 3.083 token/giây trong khi QLoRA đạt 2.413 token/giây, đồng nghĩa QLoRA cần nhiều thời gian GPU hơn 28% (3.083 / 2.413 = 1,28). Đối với Llama 3.2 3B trên GPU A100, mức chênh lệch là không đáng kể: 8.210 so với 8.035 token/giây. Cần lưu ý đây là các số liệu do torchtune thực hiện trên các dòng GPU nêu trên, không phải kết quả đo lường trực tiếp trên H100. Mức độ suy giảm tốc độ của QLoRA dao động từ 2% đến 22% trong các thử nghiệm của torchtune, và chi phí sẽ gia tăng theo từng giây phát sinh. Thời gian sử dụng GPU chính là căn cứ tính cước; do đó, phương pháp vừa đáp ứng dung lượng với khoảng dự phòng bộ nhớ lớn nhất, vừa có tốc độ vận hành nhanh nhất sẽ là lựa chọn tiết kiệm nhất. Đối với mô hình 8B trên GPU H100, phương án tối ưu là LoRA 16-bit. Trong trường hợp chuỗi dữ liệu (sequence) dài, cần đo lường cả hai phương pháp qua 100 bước thử nghiệm, do tương quan hiệu năng có thể thay đổi. Chi phí cho mỗi lượt tinh chỉnh hoàn tất của Llama là bao nhiêu? Tổng chi phí được tính bằng đơn giá theo giờ nhân với toàn bộ số giờ bị tính cước, không chỉ giới hạn ở thời gian huấn luyện thực tế. Công thức tính toán được xác định như sau: chi phí cho mỗi lượt chạy hoàn tất = đơn giá x (số token huấn luyện / số token mỗi giây / 3.600 + thời gian khởi động + thời gian nhàn rỗi + thời gian làm lại tính theo giờ) Dưới đây là một ví dụ tính toán cụ thể dựa trên các giả định đưa ra, không phải kết quả đo đạc từ một lượt chạy thực tế. Tác vụ được thực hiện là tinh chỉnh LoRA cho mô hình Llama 3.1 8B: tập dữ liệu 25 triệu token, 2 chu kỳ (epoch), tương ứng tổng cộng 50 triệu token huấn luyện. Về tốc độ xử lý, số liệu tham chiếu sử dụng thông số từ torchtune là 4.699 token/giây đối với Llama 3.1 8B LoRA trên một GPU RTX A6000. Do chưa ghi nhận số liệu công bố chính thức cho H100 trên cấu hình tương đương, thông số của A6000 được sử dụng làm giá trị tạm tính; người dùng có thể thay thế bằng tốc độ token/giây đo đạc trong thực tế. Thời gian khởi động và giải phóng tài nguyên được tính là 15 phút có tính phí, tương tự như trong bài viết về chi phí theo tác vụ của H100 và B200. Quá trình huấn luyện kéo dài 50.000.000 / 4.699 = 10.641 giây, tương đương 2,96 giờ. Với mức giá 2,60 USD/giờ, chi phí huấn luyện là 7,70 USD cộng thêm 0,65 USD chi phí khởi động, trong điều kiện không phát sinh sự cố: Kịch bản Số giờ tính phí Chi phí Vận hành thông thường, ngừng tính phí ngay khi kết thúc tác vụ 2,96 + 0,25 = 3,21 8,35 USD Hệ thống tiếp tục hoạt động 1 giờ sau khi kết thúc huấn luyện 3,21 + 1 = 4,21 10,95 USD Bị thu hồi tài nguyên ở mốc 2,5 giờ, không có điểm kiểm tra (checkpoint) khả dụng 3,21 + 2,5 chạy lại + 0,25 khởi động lại = 5,96 15,50 USD Bị thu hồi tài nguyên ở mốc 2,5 giờ, lưu điểm kiểm tra định kỳ 10 phút một lần 3,21 + tối đa 0,17 chạy lại + 0,25 khởi động lại = 3,63 9,44 USD Mức giá được niêm yết là 2,60 USD/giờ trên trang biểu phí của Nodus đối với phiên bản H100 SXM 80 GB. Mức giá được đối soát vào ngày 28/10/2026. Một lần bị thu hồi tài nguyên khi không có điểm kiểm tra làm phát sinh thêm 7,15 USD cho lượt chạy; trong khi nếu lưu điểm kiểm tra định kỳ 10 phút một lần, chi phí phát sinh chỉ là 1,09 USD. Bài học rút ra đối với mô hình Llama trên H100 là các khoản lãng phí phát sinh lớn hơn bất kỳ mức chênh lệch giá thuê nào có thể tìm kiếm trên thị trường. Thời gian chạy không tải một giờ làm tăng thêm 2,60 USD, tương đương 31% chi phí của lượt chạy. Việc mất toàn bộ quá trình chạy khiến chi phí tăng gần gấp đôi. Vì sao chi phí lưu điểm kiểm tra LoRA đủ thấp để có thể lưu định kỳ vài phút một lần? Do LoRA chỉ huấn luyện một phần rất nhỏ của mô hình, tệp điểm kiểm tra phục hồi có dung lượng rất thấp. Mô hình Llama 3.1 8B có 32 lớp (layer), kích thước ẩn (hidden size) là 4.096, phép chiếu khóa và giá trị (key/value projection) là 1.024, và kích thước MLP là 14.336, căn cứ theo cấu hình mô hình (được tham chiếu từ bản công khai trên Hugging Face). Một adapter bậc 16 (rank-16) trên toàn bộ bảy lớp tuyến tính sẽ bổ sung 16 x (đầu vào + đầu ra) tham số trên mỗi lớp: 16 x [(4.096 + 4.096) x 2 + (4.096 + 1.024) x 2 + (4.096 + 14.336) x 3] = 1.310.720 tham số trên mỗi lớp Trên 32 lớp, tổng số tham số có thể huấn luyện là 41.943.040, chiếm 0,52% mô hình. Quá trình tinh chỉnh toàn phần (full fine-tune) phải lưu trạng thái bộ tối ưu hóa (optimizer) cho toàn bộ 8 tỷ tham số, khiến việc lưu điểm kiểm tra thường xuyên trở nên tốn kém. Đối với LoRA, tác động này không đáng kể, do đó phương án lưu định kỳ 10 phút trong bảng số liệu nêu trên là hoàn toàn khả thi. Nodus hỗ trợ khôi phục tiến trình từ các điểm kiểm tra đầy đủ bao gồm trạng thái bộ tối ưu hóa, bộ lập lịch (scheduler) và bộ sinh số ngẫu nhiên (RNG), theo đúng tài liệu hướng dẫn huấn luyện. Khi có thông báo thu hồi tài nguyên, hệ thống đồng thời yêu cầu tác vụ lưu điểm kiểm tra khẩn cấp; điểm kiểm tra được hoàn tất trong thời gian thông báo này vẫn được tính là hợp lệ, căn cứ theo tài liệu hướng dẫn về số lần thử lại và phục hồi. Hướng dẫn về xử lý thu hồi tài nguyên dạng spot cũng áp dụng quy trình tương tự cho các tập lệnh tự phát triển. Quy trình thực hiện tác vụ Llama LoRA trên Nodus Trước hết, người dùng cần có quyền truy cập vào bộ trọng số mô hình. Các mô hình Llama trên Hugging Face thuộc diện kiểm soát tiếp cận: người dùng cần chấp thuận giấy phép của Meta trên trang thông tin mô hình, ví dụ meta-llama/Llama-3.1-8B-Instruct, sau đó sử dụng mã định danh (token) Hugging Face từ tài khoản đó. Các điều khoản được quy định trong Giấy phép Cộng đồng Llama 3.1 (Llama 3.1 Community License). Tiếp theo, tiến hành cài đặt giao diện dòng lệnh (CLI), đăng nhập và lưu mã định danh dưới dạng một Secret. Các câu lệnh này được sao chép từ