Bài thuyết trình: Xây dựng nền tảng GenAI tại DoorDash

Trang chủ InfoQ Các bài thuyết trình Xây dựng Nền tảng GenAI tại DoorDash AI, ML & Kỹ thuật Dữ liệu Xây dựng Nền tảng GenAI tại DoorDash Thích Danh sách đọc Xem bài thuyết trình Dọc Ngang Toàn màn hình Tốc độ: 1x 1.25x 1.5x 2x Tải xuống Các trang trình bày 50:53 Tóm tắt Ông Swaroop Chitlur và ông Sidd Kodwani chia sẻ hành trình xây dựng nền tảng GenAI (Trí tuệ nhân tạo tạo sinh) nội bộ của DoorDash. Họ thảo luận về các lựa chọn kiến trúc cốt lõi, quá trình chuyển đổi từ các thiết lập ưu tiên nhà cung cấp sang các mô hình mã nguồn mở, cách điều hướng các cổng LLM (Mô hình ngôn ngữ lớn) và tác nhân, cũng như việc cân bằng độ chính xác, độ trễ và chi phí cho hơn 5.000 người dùng nội bộ. Tiểu sử Ông Siddharth Kodwani là Kỹ sư phần mềm thuộc nhóm Nền tảng GenAI tại DoorDash, chuyên xây dựng cơ sở hạ tầng cho các tác nhân AI nhằm tăng tốc độ phát triển và cải thiện độ tin cậy trong sản xuất. Ông Swaroop Chitlur dẫn dắt Nền tảng AI tạo sinh tại DoorDash, xây dựng cơ sở hạ tầng cho suy luận LLM, tinh chỉnh, đánh giá và các tác nhân AI. Về hội nghị QCon AI là sự kiện do các chuyên gia thực hành dẫn dắt, tập trung hoàn toàn vào kỷ luật kỹ thuật cần thiết để mở rộng quy mô các khối lượng công việc này một cách an toàn. Sự kiện cung cấp quyền truy cập trực tiếp vào các kế hoạch kiến trúc và số liệu thất bại mà các tổ chức đồng cấp sử dụng trong sản xuất. **Bản ghi** **Swaroop Chitlur:** Tôi là Swaroop. Đây là Sidd. Chúng tôi đã thành lập đội ngũ mang tên Nền tảng GenAI tại DoorDash, và đây là câu chuyện của chúng tôi về những điều đã thực hiện để xây dựng một nền tảng thành công. Chúng tôi sẽ chia sẻ về các nguyên tắc, các quyết định đầu tư, các lần điều chỉnh và ý nghĩa của thành công. Có bao nhiêu quý vị đang triển khai các dự án dựa trên GenAI tại nơi làm việc? Có bao nhiêu quý vị đang làm việc trong một chức năng nền tảng, nơi quý vị hỗ trợ các đội ngũ khác đạt được thành công trong lĩnh vực này? Hy vọng một số điều chúng tôi chia sẻ sẽ tạo được sự đồng cảm với quý vị. Hành trình của chúng tôi thực sự bắt đầu vào khoảng tháng 4 năm 2023. Như quý vị đã biết, tháng 11 năm 2022 là thời điểm bùng nổ của ChatGPT. Vài tháng sau đó, chúng tôi nhận thấy cần bắt đầu sử dụng OpenAI. Tôi được giao nhiệm vụ ký hợp đồng này và tôi nhớ mình đã rất lo lắng, liệu chúng tôi có thực sự chi nhiều tiền đến vậy không? Tất nhiên, nhìn lại thì con số đó giờ đây có vẻ nhỏ. Cảm giác lúc đó rất thật, bởi vì vào thời điểm đó, tôi nghĩ rằng nếu công nghệ này phát triển mạnh, làm thế nào chúng tôi có thể hỗ trợ nó trong một công ty lớn như vậy? Làm thế nào để chúng tôi biến nó thành công cụ hiệu quả? Làm thế nào để chúng tôi đảm bảo trách nhiệm giải trình? Điều đó đã định hình cho những gì chúng tôi đang lên kế hoạch. Luận điểm của bài nói chuyện này rất đơn giản. Chúng tôi đã có những nguyên tắc và quyết định ban đầu. Khi ngành công nghiệp phát triển và bắt đầu thực hiện những điều mới mẻ hơn, chúng tôi đã thích nghi tương ứng. Chúng tôi vẫn có thể vượt qua những thay đổi này vì chúng tôi đã có những nguyên tắc đó. Tất nhiên, chúng tôi đã chuyển từ mô hình sang quy trình làm việc rồi đến tác nhân. Đó là nơi chúng tôi sẽ dẫn dắt quý vị qua hành trình của mình và những quyết định đã đưa ra, đồng thời nói về các dự án kỹ thuật trong một số trường hợp. Quý vị sẽ có được sự cân bằng giữa chiến lược của chúng tôi, bằng chứng kỹ thuật và kết quả. Hy vọng đó sẽ là những bài học quý giá cho quý vị ở cuối buổi. **Mô hình vận hành** Khi nói về các nguyên tắc, chúng tôi muốn nói đến điều gì? Khi chúng tôi thành lập đội ngũ này, chúng tôi được trao một trang giấy trắng. Quý vị sẽ làm gì tiếp theo? Tôi không biết. Sau đó, quý vị bắt đầu suy nghĩ, trước tiên hãy quyết định cách chúng ta sẽ vận hành? Chúng ta sẽ quyết định điều gì? Chúng tôi không tự nghĩ ra những điều này. Đây đã là một phần trong nền tảng hoặc nguyên lý của chúng tôi. Hãy lấy khách hàng làm trung tâm. Tập trung vào các đội ngũ và các trường hợp sử dụng. Không xây dựng chỉ vì mục đích xây dựng sản phẩm. Xây dựng sản phẩm, không phải hệ thống. Khách hàng của chúng tôi là kỹ sư sản phẩm. Đừng tạo ra những thứ mà khách hàng của quý vị phải ghép nối các quy trình làm việc khác nhau. Hãy cố gắng nghĩ về một quy trình làm việc từ đầu đến cuối. Hãy nghĩ về việc giới thiệu, nghĩ về hỗ trợ. Hãy suy nghĩ như một đội ngũ sản phẩm, không chỉ xây dựng hệ thống. Hãy làm cho điều đúng đắn trở nên dễ dàng. Nếu quý vị nói, hãy thực hiện các phương pháp hay nhất, sẽ không ai làm theo. Quý vị cần tích hợp các phương pháp hay nhất vào cách nền tảng của quý vị vận hành. Trong suốt quá trình này, chúng tôi phải chứng minh giá trị của mình, giá trị đối với khách hàng và giá trị đối với các bên liên quan. **Chương 1 - Khách hàng đã thay đổi** Nói về việc lấy khách hàng làm trung tâm, khi chúng tôi bắt đầu với những nguyên tắc này, chúng tôi đã nghĩ rằng mình không biết phải xây dựng gì. Chúng tôi không biết điều gì sẽ đến. Vậy thì, tại sao chúng ta không nói chuyện với khách hàng và xem họ đang xây dựng gì, và xem chúng ta phù hợp ở đâu trong bức tranh này. Đó là nơi chúng tôi bắt đầu. Điều đầu tiên là khách hàng đã thay đổi. Tôi nhớ chúng tôi là một phần của đội ngũ nền tảng ML. Nền tảng GenAI trở thành một đội ngũ thuộc tổ chức nền tảng ML. Chúng tôi đã quen với việc suy nghĩ và nói chuyện với các kỹ sư học máy. Tôi nhớ trong một cuộc trò chuyện, tôi đã nói, chúng tôi muốn thử điều này? Chỉ cần sử dụng một sổ ghi chép. Họ đã nói, sổ ghi chép là gì? Sau đó, chúng tôi ngay lập tức nhận ra rằng chúng tôi không còn nói chuyện với các kỹ sư ML nữa. đối tượng của chúng tôi là các kỹ sư. Khán giả của chúng tôi là tất cả các kỹ sư, điều này giờ đây có vẻ hiển nhiên khi nhìn lại. Hãy nhớ rằng, chúng ta đang nói về giai đoạn năm 2023, 2024. Đó là lúc chúng tôi nhận ra rằng, chúng tôi cần ưu tiên các giao diện lập trình ứng dụng (API). Chúng tôi cần tư duy theo hướng bộ công cụ phát triển phần mềm (SDK). Chúng tôi không nên tư duy theo hướng sổ ghi chép (notebook) hay bộ xử lý đồ họa (GPU) hoặc việc tiếp cận tài nguyên tính toán (compute). Thay vào đó, chúng tôi cần tư duy nhiều hơn theo hướng API. Một quyết định khác mà chúng tôi đưa ra trong quá trình này là sẽ tập trung vào tác động kinh doanh. Chúng tôi không muốn xây dựng một chatbot khác. Tất nhiên, vào thời điểm đó chưa có các tác nhân lập trình (coding agent). Nếu áp dụng cùng nguyên tắc, chúng tôi đã quyết định rõ ràng rằng nhóm này sẽ tập trung vào tác động kinh doanh và sản phẩm, chứ không phải về phía tác nhân lập trình hay phía chatbot. Đó là một quyết định có ý thức mà chúng tôi đã đưa ra. Chúng tôi muốn tập trung mạnh mẽ vào loại trường hợp sử dụng mà các kỹ sư sản phẩm của chúng tôi đang xây dựng. Khi chúng tôi nói chuyện với họ, chúng tôi bắt đầu nhận thấy một số xu hướng, bắt đầu thấy một số nhóm lớn: tự động hóa, đề xuất, cá nhân hóa. Một lần nữa, đây là vào năm 2024. Chúng tôi nhận thấy rằng tự động hóa...