Mở, tiện lợi và dễ dự đoán: Giới thiệu Provisioned Throughput

Chúng tôi hân hạnh giới thiệu Provisioned Throughput, dung lượng suy luận (inference) dành riêng cho các mô hình mở tiên tiến với giá theo token và SLA (Thỏa thuận cấp độ dịch vụ) đảm bảo thời gian hoạt động 99%. Các mô hình trọng số mở đã trở thành thành phần thiết yếu cho bất kỳ công ty nào mong muốn một tương lai AI phong phú. Tuy nhiên, trong quá khứ, để sử dụng các mô hình trọng số mở, các công ty phải lựa chọn giữa dịch vụ phi máy chủ (serverless) tiện lợi nhưng không đảm bảo hiệu suất hoặc suy luận chuyên dụng (dedicated inference) mạnh mẽ nhưng có thể điều chỉnh. Provisioned Throughput là một yếu tố hình thức suy luận mới, cung cấp một lựa chọn thay thế, mang đến cho khách hàng sự đơn giản của các mô hình được tối ưu hóa sẵn với giá theo token cùng với khả năng dự đoán về dung lượng được đảm bảo với SLA về tính khả dụng. Chi phí có thể thấp hơn tới 90% so với Claude Opus 4.8 theo giá niêm yết. Hiện đã có sẵn cho MiniMax M3 và GLM-5.2, với dung lượng tại Bắc Mỹ, EMEA và các khu vực khác, cùng thời hạn tối thiểu một tháng. Chi phí suy luận đã trở thành một khoản mục được hội đồng quản trị quan tâm. Trong tương lai không xa, mỗi nhân viên tri thức sẽ có nhiều tác nhân (agent) làm việc thay mặt họ, nhưng các công ty đang gặp khó khăn trong việc đạt được điều này nếu không có ngân sách suy luận khổng lồ. Để thành công, các công ty cần sử dụng một loạt các mô hình trải dài trên đường biên Pareto, phù hợp với độ khó của nhiệm vụ với chất lượng (và chi phí) của mô hình. Các mô hình mã nguồn mở (open weight models) chiếm một phần ngày càng lớn của đường biên đó. Khi các công ty chuyển sang thiết lập đa mô hình, đa nền tảng (multi-model, multi-harness), các mô hình mã nguồn mở đang cung cấp năng lượng cho ngày càng nhiều tác nhân hàng ngày của họ cho các lĩnh vực: lập trình, tài chính, tiếp thị và tự động hóa quy trình làm việc. Các công ty đã thực hiện chuyển đổi báo cáo chi phí suy luận thấp hơn 6-20 lần trên các mô hình mã nguồn mở so với các lựa chọn thay thế độc quyền. Chúng tôi nhận thấy sự thay đổi trong số liệu của chính mình: Trong chín tháng, khối lượng token thông qua các API của Together AI đã tăng từ 30 tỷ lên hơn 400 nghìn tỷ token mỗi tháng. Một phần đáng kể của lưu lượng truy cập đó là các khối lượng công việc từng chạy trên các API đóng. Điều còn thiếu: Dung lượng token đáng tin cậy AI phong phú đòi hỏi nhiều hơn các mô hình mã nguồn mở trên đường biên Pareto. AI phong phú cũng đòi hỏi sự an tâm: dung lượng cam kết, giá cả có thể dự đoán (và có thể tác động), và một SLA (Thỏa thuận cấp độ dịch vụ) mà khách hàng có thể tin cậy. Cho đến nay, thị trường mô hình mã nguồn mở cung cấp hai lựa chọn, và cả hai đều không phù hợp với hình dạng đó. Suy luận phi máy chủ (serverless inference) chủ yếu là nỗ lực tốt nhất: tốt cho phát triển, nhưng không thể đoán trước cho các khối lượng công việc sản xuất. Suy luận chuyên dụng (dedicated inference) (tức là GPU chuyên dụng) cung cấp cho bạn các đảm bảo và toàn quyền kiểm soát môi trường phục vụ, nhưng nhiều nhóm không muốn quản lý sự phức tạp của một nền tảng suy luận có thể cấu hình hoàn chỉnh. Họ muốn một nhà cung cấp mô hình đáng tin cậy đằng sau một API đơn giản, không phải tính toán giờ GPU, lập kế hoạch dung lượng và cấu hình một ngăn xếp phục vụ. Điều các nhóm thực sự muốn rất đơn giản: Thỏa thuận dung lượng dựa trên token tương tự như họ đã có với nhà cung cấp mô hình đóng của họ, hướng đến các mô hình mã nguồn mở tiên tiến. Đó là sản phẩm chúng tôi đã xây dựng. Giới thiệu Thông lượng được cung cấp (Provisioned Throughput) Trong khi suy luận phi máy chủ của Together AI là "trả tiền cho những gì bạn sử dụng" với SLA nỗ lực tốt nhất, Thông lượng được cung cấp là "trả tiền cho dung lượng được đảm bảo để sử dụng" với SLA thời gian hoạt động. Bạn mua Đơn vị thông lượng được cung cấp (PTU). Mỗi PTU là một phần dung lượng cố định: một tốc độ token được đảm bảo mỗi phút cho mô hình bạn đang chạy, được giữ độc quyền cho bạn, với giá 0,05 USD mỗi PTU mỗi phút. Thông lượng được cung cấp tính đến các biến thể trong lưu lượng truy cập của bạn; token đầu vào, đầu vào được lưu trong bộ nhớ cache và token đầu ra đốt cháy PTU khác nhau cho phép bạn tối ưu hóa chi tiêu cho các mẫu lưu lượng truy cập của mình. Không có tính toán giờ GPU và không có cơ sở hạ tầng để quản lý. API suy luận cho Thông lượng được cung cấp, Suy luận chuyên dụng và Suy luận phi máy chủ là giống hệt nhau. Thông lượng được cung cấp hiện có sẵn cho MiniMax M3 và GLM-5.2, với nhiều mô hình hơn sẽ ra mắt. Chúng tôi có dung lượng có sẵn ở Bắc Mỹ, EMEA và các khu vực khác, với thời hạn tối thiểu một tháng và giảm giá ở các cấp độ cam kết cao hơn. "Các mô hình của chúng tôi được xây dựng cho các khối lượng công việc sản xuất đòi hỏi khắt khe và Thông lượng được cung cấp của Together AI mang đến cho các nhóm một cách để chạy chúng với độ tin cậy mà các khối lượng công việc đó yêu cầu. Khi các nhóm chuyển khối lượng từ các API đóng, cơ sở hạ tầng của Together AI cho phép họ áp dụng M3 ở quy mô lớn với các cam kết mà họ có thể xây dựng một doanh nghiệp. Đó chính xác là loại quyền truy cập mà chúng tôi muốn cho các mô hình của mình." — Linda Sheng, Chủ tịch Kinh doanh Toàn cầu, MiniMax Kinh tế học Một PTU bao gồm ba các loại lưu lượng truy cập: mã thông báo đầu vào, mã thông báo đầu vào được lưu trong bộ nhớ cache và mã thông báo đầu ra, mỗi loại tiêu tốn dung lượng của bạn với tốc độ khác nhau. Trên MiniMax M3, một PTU cung cấp 138.840 mã thông báo đầu vào mỗi phút, 694.200 mã thông báo đầu vào được lưu trong bộ nhớ cache mỗi phút, 23.140 mã thông báo đầu ra mỗi phút hoặc bất kỳ sự kết hợp nào của ba loại này. PTU được sử dụng cho các token đầu vào, token đầu vào được lưu trữ trong bộ nhớ đệm và token đầu ra. Các khối lượng công việc thực tế có hình dạng khác nhau. Lưu lượng truy cập nặng về đầu ra tiêu thụ dung lượng nhanh hơn lưu lượng truy cập hiệu quả về bộ nhớ đệm, nhưng hình dạng lưu lượng truy cập không bao giờ làm thay đổi SLA (Thỏa thuận mức dịch vụ). Nó chỉ thay đổi tốc độ tiêu thụ dung lượng của bạn. Khi sử dụng hết công suất, một PTU trên MiniMax M3 có giá khoảng 0,36 USD cho mỗi triệu token đầu vào và 2,16 USD cho mỗi triệu token đầu ra, so với giá niêm yết 5 USD và 25 USD trên Claude Opus 4.8. Trên ba cấu hình sản xuất tiêu biểu: Các mô hình mở tiên tiến đã thu hẹp đáng kể khoảng cách hiệu suất so với các mô hình đóng, trong khi chi phí thấp hơn 90% đối với các khối lượng công việc thực tế. Đây là những ước tính. Việc sử dụng PTU thực tế sẽ thay đổi tùy theo hình dạng lưu lượng truy cập của bạn. Hãy tự tính toán trong công cụ tính giá. Trường hợp phù hợp Serverless là cách nhanh nhất để bắt đầu xây dựng trên các mô hình mở. Provisioned Throughput (Thông lượng được cấp phát) dành cho các khối lượng công việc sản xuất trên các mô hình mở tiêu chuẩn cần đảm bảo. Nếu bạn cần một mô hình được tinh chỉnh hoặc tùy chỉnh với khả năng kiểm soát sâu rộng môi trường phục vụ, Dedicated Inference (Suy luận chuyên dụng) là lựa chọn phù hợp. Nếu bạn đang chạy lưu lượng truy cập sản xuất trên một API độc quyền mà một mô hình mở tiên tiến có thể xử lý, thì lộ trình di chuyển hiện đã hoàn tất: các mô hình chất lượng tiên tiến, định giá dựa trên token mà bạn có thể lập kế hoạch, và các đảm bảo độ tin cậy mà khách hàng của bạn có thể tin cậy, với chi phí thấp hơn tới 90%. → Ước tính của bạn