Tôi vận hành một cổng API (giao diện lập trình ứng dụng) cho 15 mô hình AI của Trung Quốc. Dưới đây là những gì tôi đã học được sau một tháng theo dõi việc sử dụng thực tế.

Tôi vận hành một cổng API (API gateway) cho 15 mô hình AI của Trung Quốc. Dưới đây là những điều tôi đã học được sau một tháng theo dõi việc sử dụng thực tế. Người dùng không quan tâm đến số lượng mô hình của bạn Tôi đã ra mắt với tiêu đề "15 mô hình, một điểm cuối". DeepSeek, Qwen, GLM, Moonshot Kimi. Bốn nhà cung cấp. Phát trực tuyến (Streaming). Gọi hàm (Function calling). Chế độ JSON. Tôi nghĩ rằng sự đa dạng là điểm bán hàng. Hóa ra, 62% tổng số cuộc gọi trên nền tảng thử nghiệm (playground) đều đến một mô hình duy nhất: Kimi K3. Không phải vì người dùng đã đọc tài liệu và quyết định K3 là tốt nhất. Mà vì nền tảng thử nghiệm mặc định là Kimi K3, nó trả về kết quả ấn tượng và không ai bận tâm chuyển đổi. Số lượng mô hình ít quan trọng hơn việc "điều đầu tiên tôi thấy hoạt động là gì". Một lựa chọn mặc định tuyệt vời tốt hơn mười lăm lựa chọn khi ai đó đang cố gắng đánh giá sản phẩm của bạn trong 30 giây. Gói miễn phí đang thực hiện nhiệm vụ kép 500.000 token miễn phí mỗi tháng. Không yêu cầu thẻ tín dụng. Tôi lo lắng nó sẽ bị lạm dụng. Đúng là vậy – nhưng không theo cách tôi mong đợi. 19 người dùng đã vượt quá 500.000 token. Một số đạt 685.000. Việc kiểm tra hạn mức có một điều kiện tranh chấp (race condition) cho phép các yêu cầu đồng thời (concurrent requests) lọt qua. Tôi đã khắc phục bằng cách kiểm tra nguyên tử (atomic check) bên trong khóa hiện có. Đọc, xác minh, khấu trừ – tất cả trong một phần quan trọng (critical section). Bài học rút ra: gói miễn phí không chỉ là tiếp thị. Đó là một bài kiểm tra tải (load test). Nó phơi bày các lỗi đồng thời trong mã thanh toán của bạn trước khi có tiền thật liên quan. Khoảng cách trong quá trình giới thiệu người dùng là có thật và có thể đo lường được 68% người dùng đã đăng ký chưa bao giờ thực hiện một cuộc gọi API nào. Họ nhận được khóa, mở bảng điều khiển, thấy thanh sử dụng và danh sách các mô hình... rồi rời đi. Giải pháp là một trang giới thiệu sau khi đăng nhập. Khóa API hiển thị trên màn hình với nút sao chép. Một lệnh curl. Mã SDK (Software Development Kit) Python. 30 giây từ khi đăng nhập đến phản hồi đầu tiên. Tỷ lệ người dùng không hoạt động đã giảm từ 68% xuống 65%. Ba điểm phần trăm nghe có vẻ nhỏ. Tổng cộng là 110 người dùng – tức là ba hoặc bốn người thực sự sử dụng sản phẩm mà trước đây họ sẽ không sử dụng. Ở giai đoạn này, điều đó có ý nghĩa. Bot sẽ tìm thấy quy trình đăng ký của bạn trong vài ngày Ngay khi GitHub OAuth hoạt động và việc đăng ký trở nên dễ dàng hơn cho con người, nó cũng trở nên dễ dàng hơn cho bot. Lượt yêu cầu đến /auth/send-verification-code đã tăng từ mức thấp lên 2.600 yêu cầu mỗi ngày trong một tuần. Năm dòng mã giới hạn tốc độ (rate limiting) trong bộ nhớ – một yêu cầu mỗi địa chỉ IP mỗi phút – đã giảm con số đó xuống 0. Không cần Redis. Không cần CAPTCHA. Không cần dịch vụ bên ngoài. Chỉ một từ điển (dictionary), một khóa (lock) và một dấu thời gian (timestamp). Các vấn đề đơn giản không phải lúc nào cũng cần giải pháp phức tạp. Thư viện gợi ý (Prompt libraries) là công cụ giới thiệu cho trí tưởng tượng Hiểu biết sâu sắc nhất: người dùng không thất bại vì API khó. Họ thất bại vì một hộp nhập liệu trống là một bài kiểm tra mà hầu hết mọi người không thể vượt qua. 24 gợi ý sẵn sàng sử dụng, sáu danh mục, mỗi danh mục đề xuất một mô hình. "Tìm lỗi → Kimi K3." "Dịch → Qwen Max." Một cú nhấp chuột sẽ điền vào nền tảng thử nghiệm. Đó là sự khác biệt giữa "tôi nên hỏi gì" và "ồ, tôi có thể làm điều đó". Những gì tôi sẽ nói với bản thân một tháng trước Hãy ra mắt nền tảng thử nghiệm trước tài liệu. Trước SDK. Trước bất cứ thứ gì. Một mô hình mặc định tuyệt vời tốt hơn một danh sách thả xuống gồm mười lăm mô hình. Hãy theo dõi gói miễn phí – đó là "chim hoàng yến" của bạn để phát hiện lỗi thanh toán. Khoảng cách giữa "có khóa" và "đã thực hiện cuộc gọi" là nơi người dùng bỏ cuộc. Năm dòng mã giới hạn tốc độ tốt hơn một tích hợp của nhà cung cấp. Sản phẩm vẫn còn ở giai đoạn đầu. 110 người dùng. 0 lượt chuyển đổi trả phí cho đến nay. Nhưng kênh bán hàng đang được thắt chặt hơn, và tôi có thể thấy những chỗ rò rỉ. AIBridge – 15 mô hình AI Trung Quốc đằng sau một điểm cuối tương thích OpenAI. Nền tảng thử nghiệm miễn phí. Đăng nhập GitHub. Thư viện gợi ý. 500.000 token miễn phí/tháng. → aibridge-api.com/playground.html → aibridge-api.com/prompts.html