FlashProve của Anthropic: Ý nghĩa của mức tăng chi phí tính toán gấp 72 lần và giới hạn 1.024 token đối với việc xác thực mô hình phản hồi

Tóm tắt nội dung Trong tuần này, Anthropic đã công bố FlashProve (các nguồn tin ghi nhận vào ngày 2 đến ngày 3/11). Đây là một nguyên mẫu mã nguồn mở (giấy phép Apache 2.0) cho phép nhà cung cấp mô hình chứng minh một câu trả lời cụ thể được tạo ra từ một tập hợp trọng số đã cam kết cụ thể mà không cần tiết lộ các trọng số đó. Trên mô hình kết hợp chuyên gia (mixture-of-experts) quy mô 400 tỷ tham số (Llama 4 Maverick, trọng số 4-bit), một chip H100 tạo bằng chứng cho khoảng 110 token/giây; bằng chứng cho một yêu cầu 1.024 token có dung lượng khoảng 19 MB và một CPU có thể kiểm tra trong khoảng 17 giây. Hệ thống mã nguồn mở trước đó được nhóm tác giả dùng để so sánh cần tới tệp bằng chứng dung lượng 93,6 GB và mất gần một ngày để xác minh. Các số liệu trên thể hiện bước tiến lớn, song những hạn chế của hệ thống đáng chú ý hơn sự gia tăng tốc độ. Cơ chế chứng minh này áp dụng cho mô hình số nguyên dưới thuật toán giải mã tham lam (greedy decoding); ngữ cảnh bị giới hạn ở 1.024 token; và chi phí tạo bằng chứng tiêu tốn thời gian GPU gấp khoảng 72 đến 95 lần so với suy luận thông thường. Dựa trên tính toán với giả định về chi phí thuê H100, việc tạo bằng chứng tốn khoảng 6 USD cho mỗi một triệu token, so với mức chỉ vài xu khi chạy suy luận thông thường. Điều này đồng nghĩa với việc không khả thi để chứng minh cho mọi lượt hội thoại; tuy nhiên, giải pháp này giúp việc kiểm toán ngẫu nhiên có chi phí thấp: theo tính toán minh họa, việc chứng minh cho 300 yêu cầu mẫu khiến nhà cung cấp tiêu tốn chưa tới 2 USD. Tất cả các số liệu về FlashProve dưới đây được trích xuất từ trang nghiên cứu của Anthropic và đã được đối chiếu với thông tin báo chí. Toàn bộ các nội dung được ghi chú là "minh họa" hoặc "tính toán riêng" do người viết tự suy luận và phụ thuộc vào các giả định đã nêu. Anthropic đã công bố những gì? Bài viết nghiên cứu có tiêu đề "Progress on provable inference for large language models" (Tiến bộ về suy luận có thể chứng minh cho các mô hình ngôn ngữ lớn), được đăng tải tại địa chỉ anthropic.com/research/provable-inference. Mã nguồn, mô tả giao thức, báo cáo kỹ thuật và các chứng minh trên Lean được lưu trữ trong kho lưu trữ anthropics/FlashProve theo giấy phép Apache 2.0. Anthropic gọi đây là một nguyên mẫu nghiên cứu và cho biết hệ thống chưa được triển khai trên API riêng của hãng. Báo cáo của TechCrunch cũng cho biết thêm hiện chưa có thông báo nào về việc triển khai hệ thống này vào môi trường sản xuất. Cơ chế hoạt động dựa trên đối số ngắn gọn không tiết lộ tri thức (zkSNARK). Nhà cung cấp thực hiện một bước ngoại tuyến duy nhất nhằm cam kết các trọng số mô hình. Cam kết đó có dung lượng khoảng 6,5 MB và mất khoảng 39 phút để tạo; báo cáo cho thấy một cam kết có hiệu lực cho khoảng 16 triệu yêu cầu. Với mỗi yêu cầu, nhà cung cấp sau đó có thể tạo một bằng chứng xác nhận mô hình đã cam kết, khi xử lý câu lệnh (prompt) được đưa ra, sẽ tạo ra chính xác các token đầu ra như đã công bố. Bất kỳ ai nắm giữ cam kết, câu lệnh và phản hồi đều có thể vận hành bộ xác minh mà không cần quyền truy cập vào các trọng số và không cần GPU. Tốc độ của hệ thống so với các giải pháp trước đây ra sao? Các tác giả đã thử nghiệm một mô hình kết hợp chuyên gia quy mô 400 tỷ tham số, trong đó có khoảng 17 tỷ tham số hoạt động cho mỗi token, sử dụng các trọng số 4-bit công khai được chuyển đổi sang biểu diễn số nguyên. Các thông số nổi bật bao gồm: Chỉ số đo lường FlashProve Hệ thống mã nguồn mở trước đó (VerInf) Thông lượng tạo bằng chứng, cùng mô hình 400 tỷ tham số khoảng 110 token/giây trên một chip H100 khoảng 0,02 token/giây Dung lượng bằng chứng cho mỗi yêu cầu khoảng 19 MB (18,78 MB) cho 1.024 token 93,6 GB Thời gian xác minh 17 giây trên 24 luồng, 21 giây trên một luồng gần một ngày Mức tiêu hao tài nguyên so với thời gian GPU của vLLM khoảng 72 lần ở mức thông thường, khoảng 94 lần ở mức tải thử nghiệm cao nhất (tám chip H100, FP8) không thể so sánh Theo số liệu được báo cáo, mức chênh lệch thông lượng đạt khoảng 5.500 lần và dung lượng bằng chứng giảm khoảng 5.000 lần. Việc kiểm tra tính nhất quán nhanh trên các số liệu cho thấy: 24 yêu cầu gồm 1.024 token được tạo bằng chứng trong khoảng 223 giây, tương đương 110 token/giây; trong khi mức 0,02 token/giây đồng nghĩa với việc mất khoảng 14 giờ cho 1.000 token, trùng khớp với con số "hơn 14 giờ" mà báo chí đã trích dẫn đối với hệ thống cũ. Chi phí tạo bằng chứng trên mỗi token và mỗi yêu cầu là bao nhiêu? Các bằng chứng xác thực được khởi tạo sau khi xử lý theo từng lô song song, do đó tốc độ phản hồi trực tiếp không bị chậm lại, dù bằng chứng sẽ được gửi tới sau. Chi phí tiêu tốn tập trung vào thời gian vận hành GPU. Theo số liệu công bố, một yêu cầu gồm 1.024 token tiêu tốn khoảng 9,3 giây xử lý trên chip H100 (H100-giây) để tạo bằng chứng. Do chi phí thuê H100 thực tế của các nhà cung cấp chưa được xác định cụ thể, các số liệu quy đổi bằng USD dưới đây được tính toán dựa trên ba mức giá thuê giả định và có thể tùy chỉnh theo thực tế. TOKENS_PER_REQ = 1024 BATCH, BATCH_SECONDS = 24, 223 # số liệu công bố: 24 yêu cầu được chứng thực trong khoảng 223 giây trên 1 H100 OVERHEAD = 72 # số liệu công bố: gấp khoảng 72 lần thời gian GPU của vLLM prove_tok_s = BATCH * TOKENS_PER_REQ / BATCH_SECONDS print(f"proving throughput : {prove_tok_s:.0f} tok/s") print(f"H100-seconds/request: {BATCH_SECONDS / BATCH:.2f}") for rate in (1.5, 2.5, 4.0): # GIẢ ĐỊNH giá thuê, USD mỗi H100-giờ prove = 1e6 / prove_tok_s / 3600 * rate print(f"${rate:.2f}/h: prove 1M tokens ${prove:.2f} | plain (prove/{OVERHEAD}) ${prove/OVERHEAD:.3f}") Output: proving throughput : 110 tok/s H100-seconds/request: 9.29 $1.50/h: prove 1M tokens $3.78 | plain (prove/72) $0.053 $2.50/h: prove 1M tokens $6.30 | plain (prove/72) $0.088 $4.00/h: prove 1M tokens $10.08 | plain (prove/72) $0.140 Cột "plain" thể hiện chi phí tạo bằng chứng được chia cho hệ số 72 lần theo báo cáo. Đây là con số ước tính gián tiếp, bởi phép so sánh gấp 72 lần được thực hiện với vLLM theo cấu hình riêng, trong khi con số 94 lần xuất phát từ một thiết lập khác. Số liệu này chủ yếu có giá trị tham khảo về bậc độ lớn: việc tạo bằng chứng tiêu tốn vài USD cho mỗi một triệu token, trong khi chi phí cung cấp dịch vụ thông thường cho một mô hình 4-bit chỉ ở mức vài cent. Việc kiểm tra bằng chứng xác thực có đủ rẻ để triển khai trên quy mô lớn? Quá trình xác thực mất 17 giây khi chạy 24 luồng và 21 giây khi chạy một luồng. Hai con số này cho thấy công cụ xác thực gần như không xử lý song song, song điều này lại mang lại lợi thế: nếu các bằng chứng độc lập với nhau, một thiết bị 24 nhân có thể xử lý đồng thời 24 phép kiểm tra đơn luồng. Theo tính toán dựa trên giả định mức 21 giây vẫn duy trì ổn định khi 24 tác vụ kiểm tra chạy song song (nội dung này chưa qua thử nghiệm thực tế), năng lực xử lý đạt khoảng 1.170 token được xác thực mỗi giây trên một máy chủ 24 nhân. Chi phí kiểm tra rẻ hơn đáng kể so với việc tạo bằng chứng và không yêu cầu trọng số mô hình (weights), do đó khách hàng, kiểm toán viên hoặc cơ quan quản lý đều có thể tự thực hiện. Bằng chứng xác thực không thể hiện những điều gì? Tiêu đề có thể dẫn tới những cách hiểu chưa chuẩn xác, do đó cần làm rõ các giới hạn đã được công bố trực tiếp trong tài liệu nghiên cứu. Chỉ áp dụng giải mã tham lam (greedy decoding). Bằng chứng này được xây dựng cho mô hình số nguyên vận hành theo cơ chế giải mã tham lam, tức chỉ lựa chọn duy nhất token có xác suất cao nhất tại mỗi bước. Các sản phẩm trò chuyện trực tuyến có áp dụng cơ chế lấy mẫu theo nhiệt độ (temperature) không nằm trong phạm vi này. Mô hình đã qua lượng tử hóa, không phản ánh toàn bộ hệ thống máy chủ vận hành. Trường hợp nhà cung cấp triển khai dịch vụ bằng mô hình dấu phẩy động (floating-point)