Trình bày: Duy trì tốc độ của ChatGPT khi quá trình phát triển AI tăng tốc

Trang chủ InfoQ Các bài thuyết trình Duy trì tốc độ của ChatGPT khi quá trình phát triển AI tăng tốc AI, ML & Kỹ thuật dữ liệu Duy trì tốc độ của ChatGPT khi quá trình phát triển AI tăng tốc Thích Danh sách đọc Xem bài thuyết trình Dọc Ngang Toàn màn hình Tốc độ: 1x 1.25x 1.5x 2x 50:14 Tóm tắt Ông Martin Spier giải thích cách các quy trình làm việc theo tác nhân (agentic workflows) làm tăng đáng kể khối lượng thay đổi mã tại OpenAI. Ông thảo luận về các chi phí hiệu suất hệ thống tiềm ẩn của việc triển khai nhanh chóng vượt ra ngoài GPU, đồng thời chia sẻ cách triển khai các tác nhân AI luôn hoạt động tự động hóa việc lập hồ sơ, phát hiện hồi quy và tối ưu hóa liên tục để duy trì tốc độ và khả năng mở rộng của sản phẩm ở quy mô toàn cầu. Tiểu sử Ông Martin Spier phụ trách Hiệu suất ChatGPT tại OpenAI, nơi ông làm việc để giúp ChatGPT nhanh hơn, đáng tin cậy hơn và dễ dàng hơn cho các nhóm kỹ thuật vận hành ở quy mô lớn. Công việc của ông bao gồm cơ sở hạ tầng AI và đám mây, kỹ thuật hiệu suất, khả năng quan sát, độ tin cậy, kỹ thuật nền tảng và năng suất của nhà phát triển. Về hội nghị QCon AI là một sự kiện do các chuyên gia thực hành dẫn dắt, tập trung hoàn toàn vào kỷ luật kỹ thuật cần thiết để mở rộng quy mô các khối lượng công việc này một cách an toàn. Sự kiện này cung cấp quyền truy cập trực tiếp vào các kế hoạch kiến trúc và số liệu lỗi mà các tổ chức đồng cấp sử dụng trong sản xuất. Martin Spier: Hôm nay, tôi muốn kể cho các bạn nghe một câu chuyện về hai sự tăng tốc đang diễn ra gần như đồng thời. Đầu tiên là về tăng trưởng, cách chúng ta đang phát triển cơ sở người dùng nhanh hơn bao giờ hết. Không chỉ OpenAI, ChatGPT, mà nói chung, các công ty đang đạt được vài triệu người dùng đầu tiên nhanh hơn rất nhiều so với trước đây. Thứ hai là cách quy trình làm việc phát triển của chúng ta đang thay đổi nhờ lập trình tác nhân (agentic coding) và tất cả những điều đó, cũng như cách điều này đang thay đổi tốc độ triển khai sản phẩm mà chúng ta đưa ra thị trường, và cách điều đó thực sự ảnh hưởng đến việc chúng ta duy trì sản phẩm nhanh chóng, hiệu quả, tức là kỹ thuật hiệu suất tổng thể. Tên tôi là Martin. Tôi lãnh đạo nhóm hiệu suất ChatGPT tại OpenAI. Gần như toàn bộ sự nghiệp kỹ thuật của tôi là về kỹ thuật hiệu suất. Tôi nghĩ tôi đã làm công việc đó khoảng 16 năm hoặc hơn. Phần lớn thời gian đó là ở Netflix, nơi tôi đã làm việc gần 9 năm. Dio đã đề cập đến những ngày đầu của điện toán đám mây, đó là khoảng thời gian tôi gia nhập, khi mọi người nghĩ, liệu tôi có thực sự để dữ liệu của mình trên đám mây không? Đó là một điều kỳ diệu. Cảm giác như thời điểm hiện tại cũng tương tự. Tôi đã dành thời gian ở Snowflake, Expedia và một vài công ty khác để làm công việc đó. Trước OpenAI, tôi làm việc cho một công ty AI khác tên là Parasail. Chúng tôi cung cấp dịch vụ suy luận (inference as a service). Tôi đã lãnh đạo toàn bộ nhóm kỹ thuật ở đó. Trước đó, tôi làm việc tại một công ty fintech ở Brazil tên là PicPay, nơi tôi lãnh đạo toàn bộ nền tảng hạ tầng và trải nghiệm nhà phát triển. Như bạn có thể hình dung, toàn bộ sự nghiệp của tôi thực sự nằm trong các tổ chức trung tâm này. Đó là một lĩnh vực tôi thực sự thích. Tôi gọi đó là "hệ thống ống nước của ngôi nhà". Không ai thấy nó ở đó, nhưng một khi nó tắc nghẽn và hỏng hóc, mọi thứ sẽ hỗn loạn. Đó luôn là một phần thú vị của công ty để làm việc. Tốc độ tăng trưởng Ba điều đã thay đổi. Điều đầu tiên là tốc độ tăng trưởng. Không chỉ OpenAI, như tôi đã đề cập. Các công ty đang đạt được một triệu, 10 triệu, 100 triệu, có thể nhiều hơn người dùng đầu tiên nhanh hơn rất nhiều so với trước đây. Các đường cong là hàm mũ, nhưng nhanh hơn rất nhiều so với trước đây. Ngoài ra, chúng ta đang triển khai nhiều mã hơn và nhiều thứ hơn. Chúng ta đang đưa ra nhiều sản phẩm hơn với phát triển tác nhân (agentic development). Có lẽ có một số cuộc nói chuyện ở đây về "AI slop" và mọi thứ đang diễn ra. Chúng ta đang triển khai nhiều logic hơn. Điều thứ ba là, trước đây, chúng ta luôn có giả định rằng có một con người hiểu tất cả các thay đổi đang diễn ra. Giống như ai đó thực sự đã mã hóa và kiến trúc nó và biết điều gì đang xảy ra trước khi họ quyết định triển khai một cái gì đó. Điều đó không hoàn toàn đúng nữa, ít nhất là theo quan điểm của tôi ngày nay. Tôi biết có thể có một chút bong bóng, nhưng lớp trừu tượng (abstraction layer) cao hơn một chút. Mọi người đang ủy quyền nhiều thứ hơn cho các tác nhân (agents), vì vậy họ không biết chi tiết về mọi thứ có thể được triển khai. Đó là điều chúng ta cần lưu ý. Tất nhiên, với tất cả những điều đó, nó gây áp lực không chỉ lên hiệu suất. Hiệu suất là một trong những vấn đề đó, nhưng mọi thứ khác xung quanh nó cũng vậy. Có ai từ GitHub, GitLab ở đây, hay bất cứ thứ gì tương tự không? Nó đang gây rất nhiều áp lực lên cơ sở hạ tầng đó, nhưng hiệu suất cũng vậy. Chúng ta chỉ đang sử dụng ngày càng nhiều tài nguyên. Chúng ta đang thêm logic làm tăng độ trễ. Nó tạo ra rất nhiều thách thức, và chúng ta cần phải theo kịp. Chúng ta cần phát triển các phương pháp của mình để có thể theo kịp tốc độ tăng trưởng nhanh chóng và tốc độ phát triển nhanh chóng đó. Đi sâu vào ChatGPT, một chút lịch sử, chỉ để cung cấp cho bạn một chút bối cảnh. Về quy mô mà tôi đang đề cập. ChatGPT không được ra mắt vào cuối năm 2022 dưới dạng một ứng dụng hoàn chỉnh dành cho người tiêu dùng, được xây dựng từ đầu để hỗ trợ hàng trăm triệu người dùng. Nó được ra mắt dưới dạng bản xem trước nghiên cứu. Đây là nó. Nó khá thú vị. Các bạn nên dùng thử. Nhanh chóng, người dùng bắt đầu đến. Một khi có những người dùng đến và đến khá nhanh, bản xem trước nghiên cứu đó sẽ trở thành một sản phẩm, và sản phẩm có những yêu cầu. Bạn có yêu cầu về độ trễ. Bạn có yêu cầu về độ tin cậy. Bạn có yêu cầu về hỗ trợ và mọi thứ diễn ra đằng sau hậu trường để làm cho điều đó hoạt động cho một lượng lớn người dùng, đặc biệt nếu họ đang dựa vào đó cho công việc hàng ngày của họ về những điều họ cần làm. Sự tăng trưởng khá ấn tượng. Tôi nghĩ rất ít công ty có thể nói rằng họ đã đạt được một triệu người dùng đầu tiên trong năm ngày kể từ khi ra mắt trong một bản xem trước nghiên cứu. Điều này khá thú vị. Chúng tôi có một triệu người dùng ở đây. Bạn có thể tưởng tượng đội ngũ hỗ trợ cơ sở hạ tầng đằng sau hậu trường đã làm việc như thế nào.