Tại sao hạ tầng AI phải phát triển vì trải nghiệm của tác nhân — Akshat Bubna, CTO Modal

Chúng tôi đã thực hiện một loạt bài về Agent Cloud, khảo sát tất cả các nhà cung cấp dịch vụ suy luận/tính toán/đám mây hàng đầu, từ Databricks đến Daytona, Railway và xa hơn nữa là E2B. Chúng tôi rất vui khi kết thúc loạt bài này bằng việc quay trở lại Modal, công ty vừa huy động được 355 triệu USD trong vòng Series C. Điện toán đám mây được xây dựng cho các nhà phát triển. Nhưng các tác nhân (agent) hiện đang thay đổi điều đó. Hệ thống hạ tầng cũ được thiết kế cho con người, những người có thể đọc tài liệu, suy luận qua YAML và hiểu các bảng điều khiển để tìm ra những gì họ cần khi có sự cố. Mặc dù điều này gây khó khăn cho các nhà phát triển, nhưng nó vẫn hoạt động vì họ có thể tự bổ sung ngữ cảnh còn thiếu trong đầu. Tuy nhiên, các tác nhân không có được sự xa xỉ đó. Trong kỷ nguyên mới của các tác nhân này, mọi thứ phải chặt chẽ hơn. Các tác nhân cũng cần trải nghiệm phát triển tốt – Modal Blog Chúng cần một nơi để viết mã, chạy mã, kiểm tra đầu ra, thay đổi môi trường, gỡ lỗi các lỗi và thử lại. Vòng lặp phản hồi và lặp lại nhanh chóng với tất cả ngữ cảnh cần thiết là rất quan trọng để các tác nhân hoạt động đúng cách. Hơn nữa, các sandbox là một minh chứng rõ ràng cho sự thay đổi này vì các tác nhân có thể dễ dàng tạo ra các môi trường biệt lập. Hạ tầng lập trình này thậm chí còn mở rộng sang nghiên cứu: Hai năm trước, chúng tôi là một trong những người đầu tiên đưa tin về Modal với CEO Erik Bernhardsson và Alessio đã thiết kế hình thu nhỏ LS yêu thích nhất mọi thời đại của chúng tôi: Vào thời điểm đó, Modal chỉ là một công ty nhỏ với 17 triệu USD trong vòng Series A. Ngày nay, sau khi huy động được 355 triệu USD trong vòng Series C, Modal là một trong những ví dụ rõ ràng nhất về tương lai của điện toán đám mây tác nhân đang được xây dựng trong thời gian thực: một nền tảng đám mây vượt qua các giả định ứng dụng web truyền thống để hướng tới các khối lượng công việc mà AI thực sự tạo ra, chẳng hạn như suy luận đàn hồi, sandbox, tăng tốc GPU, hậu đào tạo, tác nhân nền và hạ tầng mà chính các tác nhân có thể vận hành. Trong tập này, CTO của Modal, Akshat Bubna, cùng với swyx và Vibhu, sẽ giải thích lý do tại sao các ứng dụng AI không phù hợp với các giả định đám mây truyền thống, tại sao Kubernetes không bao giờ được thiết kế cho các khối lượng công việc nặng tính toán, đột biến và tại sao Modal hiện đang chuyển từ trải nghiệm nhà phát triển sang trải nghiệm tác nhân. Chúng tôi đi sâu vào kiến trúc hạ tầng AI của Modal: các hàm không máy chủ, hạ tầng dựa trên decorator, suy luận đàn hồi cho các mô hình tùy chỉnh, chụp nhanh GPU, DeFlash, giải mã suy đoán, Auto Endpoints, sandbox, lưu trữ liên tục, container mạng, IPv6 riêng tư, RDMA, đào tạo đa nút và nhóm dung lượng của Modal trên 17 nhà cung cấp đám mây. Akshat cũng giải thích lý do tại sao các lần triển khai RL có thể yêu cầu 100.000 sandbox, tại sao các tác nhân sản xuất cần các hàng rào bảo vệ cứng, tại sao khả năng quan sát có thể quan trọng hơn việc đọc mã và tại sao AI đã làm cho hạ tầng trở nên thú vị trở lại. Chúng tôi thảo luận: Tại sao Kubernetes không được xây dựng cho các khối lượng công việc AI đột biến Modal bắt đầu như một thời gian chạy tốt hơn trước khi trở thành một đám mây AI như thế nào Tại sao Modal thêm GPU trước ChatGPT Sự chuyển đổi từ trải nghiệm nhà phát triển sang trải nghiệm tác nhân Tại sao khả năng quan sát lại quan trọng khi các tác nhân đang viết mã Suy luận đàn hồi cho các mô hình tùy chỉnh trên âm thanh, video, robot và sinh học tính toán Chụp nhanh GPU, khởi động lạnh và tại sao khối lượng công việc suy luận lại đột biến như vậy Tại sao các lần triển khai RL có thể yêu cầu 100.000 sandbox DeFlash, giải mã suy đoán và hiệu suất suy luận cấp độ tiên tiến Auto Endpoints và việc triển khai suy luận tối ưu dễ dàng hơn Những gì Modal bổ sung ngoài vLLM, SGLang và thuê GPU thô Nhóm dung lượng 17 đám mây của Modal và chiến lược siêu đám mây Sandbox mạng, sidecar, IPv6 riêng tư và RDMA Huấn luyện đa nút phi máy chủ cho các tác vụ hậu huấn luyện và nghiên cứu Nghiên cứu tự động, quét theo mô hình và các tác nhân khởi chạy thử nghiệm GPU Chiến lược tính toán, lập kế hoạch năng lực và các cấp độ xử lý theo lô Lý do các tác nhân sản xuất cần môi trường thử nghiệm chuyên biệt và các rào cản cứng Quan điểm của Modal về các tác nhân được quản lý, CI, Gitpod/Ona, Python, TypeScript và Modal Bench Akshat Bubna LinkedIn: https://www.linkedin.com/in/akshat-bubna-188885103 X: https://x.com/akshat_b Modal Trang web: https://modal.com Dấu thời gian 00:00:00 Giới thiệu 00:00:39 Nguồn gốc của Modal và lý do Kubernetes chưa đủ 00:04:32 Trải nghiệm nhà phát triển → Trải nghiệm tác nhân 00:06:21 Các nguyên thủy đám mây AI của Modal 00:09:14 Môi trường thử nghiệm, vòng lặp tác nhân và proto-Cognition 00:12:12 Suy luận đàn hồi, chụp nhanh GPU và 100.000 môi trường thử nghiệm 00:15:24 DeFlash, giải mã suy đoán và Auto Endpoints 00:19:59 Suy luận cấp độ sản xuất vượt ra ngoài GPU thô 00:22:00 Các tác nhân nền, Ramp Inspect và vòng đời tác nhân 00:24:08 Chiến lược siêu đám mây 17 đám mây của Modal 00:26:40 Môi trường thử nghiệm nối mạng, IPv6 riêng tư và RDMA 00:32:48 Huấn luyện đa nút, hậu huấn luyện và nghiên cứu tự động 00:37:36 Chiến lược tính toán, lập kế hoạch năng lực và các cấp độ xử lý theo lô 00:40:55 Các mô hình mở, AI thời gian thực và hạ tầng tác nhân sản xuất 00:43:06 Các rào cản cứng, tác nhân được quản lý và môi trường thử nghiệm chuyên biệt 00:46:06 Lý do AI khiến hạ tầng trở nên thú vị trở lại 00:48:30 API mô hình, sản phẩm khác biệt và video tác nhân 00:51:50 CI, hạ tầng tác nhân mã hóa, SDK và Modal Bench 00:57:28 Lời kết Bản ghi Giới thiệu: Modal, Series C và Bữa tiệc nghệ thuật Swyx [00:00:00]: Chúng tôi có mặt ở đây với Akshat, CTO của Modal, cùng với Vibhu. Chúc mừng Series C của quý vị. Akshat [00:00:10]: Cảm ơn. Swyx [00:00:11]: Bữa tiệc hôm qua của quý vị thật tuyệt vời. Akshat [00:00:15]: Vâng. Swyx [00:00:15]: Từ tất cả các bức ảnh và tất cả các món quà lưu niệm. Akshat [00:00:17]: Chúng tôi có một loạt các tác phẩm nghệ thuật, thật thú vị khi thấy các sản phẩm của chúng tôi trên bệ cạnh các tác phẩm của Rodin. Swyx [00:00:25]: Rất hay. Rất hay. Khi quý vị bắt đầu, đó không phải là công ty suy luận GPU. Có lẽ nó đã có trong tâm trí quý vị. Hãy đưa chúng tôi trở lại câu chuyện khởi nguồn. Nguồn gốc của Modal: Một thời gian chạy mới vượt ra ngoài Kubernetes Akshat [00:00:39]: Lần đầu tiên tôi gặp Eric, CEO, thông qua một nhà đầu tư. Khi đó Eric đã nghĩ đến việc xây dựng một thời gian chạy mới, và anh ấy đã nghĩ đến lý do tại sao các sản phẩm điều phối quy trình làm việc lại khó sử dụng đến vậy. Đó là vì bạn phải chạy chúng trên Kubernetes. Kubernetes khó quản lý. Nó không phải là