Tự lưu trữ (self-host) suy luận LLM: Hướng dẫn về chi phí và rủi ro

Bạn có nên tự lưu trữ suy luận (inference)? Thực tế kinh tế khi tự vận hành mô hình của bạn, và điểm hòa vốn mà hầu hết các nhóm thường tính toán sai. Paolo Perrone Ngày 18/7/2026 18 8 1 Chia sẻ Tự lưu trữ suy luận sẽ mang lại lợi ích trong hai trường hợp: bạn xử lý vượt quá khoảng hai triệu token mỗi ngày, hoặc dữ liệu của bạn không được phép rời khỏi mạng lưới của bạn theo quy định pháp luật. Dưới ngưỡng đó, một API được lưu trữ sẽ rẻ hơn, và nó giúp đội ngũ của bạn không phải vận hành GPU. Đối với hầu hết các công ty, thiết lập tối ưu nằm ở giữa, một hệ thống lai (hybrid) định tuyến mỗi yêu cầu dựa trên mức độ nhạy cảm và khối lượng của nó. 🧭 Phần 10 của khóa học ⚡ Phần cứng & Suy luận Tóm tắt API là lựa chọn mặc định, và dưới khoảng một triệu token mỗi ngày, nó cũng là lựa chọn rẻ nhất. Không cần quản lý GPU, và các mô hình thông minh nhất chỉ cách bạn một cuộc gọi. Tự lưu trữ thắng thế về khối lượng và khả năng kiểm soát. Bạn mua nó để có chủ quyền dữ liệu và khả năng mở rộng, và bạn phải trả giá bằng thời gian kỹ thuật. Điểm giao thoa nằm gần hai triệu token mỗi ngày, với một đến hai triệu là một sự cân nhắc thực sự. Dưới một triệu, API thắng thế hoàn toàn về chi phí. Trên mười triệu mỗi ngày, phần cứng sở hữu riêng sẽ hoàn vốn trong sáu đến mười hai tháng. Chi phí thuê nhân sự MLOps cao hơn chi phí GPU. Một kỹ sư MLOps duy nhất có chi phí lương khoảng 160.000 đô la mỗi năm, trong khi phần cứng dưới quyền họ chỉ vài nghìn đô la. Ai đó phải vá lỗi CUDA lúc 2 giờ sáng và theo dõi độ trễ, và khoản lương đó là mục chi phí mà các nhóm thường bỏ quên. Hầu hết các nhóm chọn giải pháp lai, và nó giúp tiết kiệm từ 40 đến 70 phần trăm so với việc sử dụng hoàn toàn API. Công việc nhạy cảm và khối lượng lớn được giữ cục bộ, suy luận phức tạp được chuyển đến một mô hình tiên tiến qua mạng. 📬 Mới đến đây? Đăng ký để nhận miễn phí mọi số của The AI Engineer, và trở nên thành thạo một cách đáng kinh ngạc về kỹ thuật AI. Đăng ký Ba cách để vận hành một mô hình Bạn đã triển khai một tính năng trên một API được lưu trữ. Nó hoạt động. Sau đó, bộ phận tài chính chuyển cho bạn hóa đơn. Chi phí đã tăng gấp ba lần trong một quý, vì chi tiêu API tăng theo mỗi người dùng mới bạn tiếp nhận. Cùng tuần đó, trưởng nhóm bảo mật của bạn chỉ ra rằng hồ sơ khách hàng được gửi kèm trong mỗi lời nhắc (prompt), trực tiếp đến máy chủ của OpenAI. Ai đó trong cuộc họp giao ban cuối cùng đã nói to: chúng ta có nên tự vận hành không? Đó là câu hỏi đúng. Câu trả lời theo phản xạ, rằng sở hữu phần cứng chắc chắn sẽ rẻ hơn, thường là sai. Suy luận (Inference) là công việc phục vụ một mô hình đã được huấn luyện. Mỗi lời nhắc khiến GPU nhân ma trận văn bản của bạn với các trọng số của mô hình để tạo ra phản hồi từng token một. Đó là chi phí vĩnh viễn của AI, và chúng ta đã phân tích nó trong bài "Tại sao suy luận chậm và đắt?". Hôm nay chúng ta không so sánh các mô hình hay công cụ phục vụ. Chúng ta đang so sánh nơi mô hình thực sự chạy, bởi vì lựa chọn đó quyết định hóa đơn của bạn, tư thế tuân thủ của bạn và bao nhiêu thời gian trong tuần của nhóm bạn dành cho cơ sở hạ tầng. Có ba nơi để vận hành một mô hình: Một API được lưu trữ. Người khác sở hữu GPU. Bạn gửi văn bản, bạn nhận văn bản, bạn trả tiền theo token. Một triển khai được quản lý. Bạn thuê GPU từ một nhà cung cấp cũng vận hành ngăn xếp phục vụ cho bạn, nhưng trọng số mô hình và dữ liệu của bạn vẫn nằm trong môi trường đám mây của riêng bạn. Một điểm cuối API mà không cần sở hữu phần cứng hoặc thuê nhân sự vận hành. Tự lưu trữ hoàn toàn. Trọng số của bạn, GPU của bạn, công cụ phục vụ của bạn. Không có gì rời đi, và bạn sở hữu mọi lớp và mọi lỗi. Ba yếu tố quyết định giữa chúng: Khối lượng: số lượng token bạn xử lý mỗi ngày. Chủ quyền: liệu dữ liệu của bạn có được phép rời khỏi mạng lưới của bạn theo quy định pháp luật hay không. Con người: liệu bạn có kỹ sư để duy trì hoạt động của GPU hay không. Và yếu tố thứ tư bao trùm tất cả: khả năng tiếp cận mô hình. Các mô hình mạnh nhất là mô hình đóng trọng số (closed-weight), do đó nhà sản xuất không bao giờ công bố trọng số đã huấn luyện mà người dùng có thể tải lên GPU của mình. Điều này có nghĩa là mô hình tốt nhất mà người dùng có thể sở hữu là mô hình mở trọng số (open-weight) tốt nhất, và bất kỳ khối lượng công việc nào cần một mô hình mạnh hơn đều phải gọi một API được lưu trữ (hosted API), bất kể ba yếu tố còn lại nói gì. Cân nhắc bốn yếu tố này và câu trả lời sẽ rõ ràng. Hãy đánh giá từng lựa chọn dựa trên các yếu tố đó, bắt đầu từ lựa chọn đơn giản nhất. **API được lưu trữ (Hosted API)** Tóm lại: một bên khác vận hành GPU; người dùng gửi văn bản, nhận văn bản và thanh toán theo token mà không cần cài đặt gì. 👍 **Ưu điểm:** Không có cơ sở hạ tầng nào cần sở hữu, vì vậy một kỹ sư có thể triển khai trong một buổi chiều. Người dùng có được các mô hình tiên tiến, thuộc cấp độ GPT-5, Claude Opus và Gemini, mà không phần cứng tiêu dùng nào có thể chạy được. Người dùng chỉ trả tiền cho những gì sử dụng, không có GPU nào nằm không giữa các yêu cầu. Chi phí năng lượng cho mỗi truy vấn cũng nhỏ: các nhà nghiên cứu độc lập ước tính một truy vấn GPT-4o (mô hình chủ lực của OpenAI) điển hình tiêu thụ khoảng 0,3 watt-giờ, tương đương với một tìm kiếm trên web. Chi phí lớn trong AI nằm ở việc huấn luyện mô hình một lần, và việc phục vụ sau đó là rẻ1. 👎 **Nhược điểm:** Mọi lời nhắc (prompt) đều rời khỏi mạng của người dùng, và 44% công ty coi quyền riêng tư dữ liệu là rào cản hàng đầu để áp dụng AI chính vì lý do này. Chi phí tăng theo mức sử dụng, người dùng cũng phải chịu giới hạn tốc độ (rate limits) và bất kỳ thay đổi giá nào mà nhà cung cấp đưa ra tiếp theo2. 🎯 **Phù hợp nhất cho:** lưu lượng truy cập đột biến hoặc không thể đoán trước, khối lượng thấp đến trung bình, và bất kỳ thứ gì cần mô hình thông minh nhất hiện có. ⚠️ **Giới hạn:** chuyển đổi khi đạt một trong hai ngưỡng sau: Khối lượng trở nên ổn định và lớn. Vượt quá khoảng hai triệu token ổn định mỗi ngày, chi phí đánh dấu trên mỗi token mà người dùng trả cho nhà cung cấp sẽ lớn hơn chi phí GPU và lương mà người dùng đang tránh, và việc thuê không còn là lựa chọn rẻ. Yêu cầu tuân thủ trở nên nghiêm ngặt. Khoảnh khắc dữ liệu không được phép rời khỏi mạng của người dùng, mọi lời nhắc gửi đến một API được lưu trữ đều trở thành một vi phạm. 📡 **Tín hiệu từ người thực hành:** nhiều người tự lưu trữ vẫn chạy công việc thực tế của họ thông qua một mô hình được lưu trữ3. Một kỹ sư trên r/selfhosted giữ một ngăn xếp cục bộ để thử nghiệm và chuyển mọi công việc nghiêm túc đến một mô hình tiên tiến được lưu trữ, vì chi phí token là không đáng kể so với điện năng mà phần cứng của chính anh ta sẽ tiêu thụ. **Triển khai được quản lý (Managed Deployment)** Tóm lại: một nhà cung cấp vận hành GPU và ngăn xếp phục vụ bên trong môi trường đám mây (cloud tenancy) của người dùng, do đó dữ liệu của người dùng vẫn ở trong hệ thống và người dùng không bao giờ phải thuê đội ngũ suy luận (inference team). 👍 **Ưu điểm:** Dữ liệu vẫn nằm trong môi trường đám mây của người dùng, điều này đáp ứng hầu hết các đánh giá tuân thủ. Người dùng không cần thuê kỹ sư MLOps, và hầu hết các nhà cung cấp đều cung cấp một điểm cuối (endpoint) tương thích với OpenAI: cùng định dạng yêu cầu mà mã của người dùng đã gửi, vì vậy việc chuyển đổi chỉ là thay đổi một dòng URL cơ sở. Tinh chỉnh (Fine-tunin)