Các quy trình công việc AI độc lập với thời gian chạy: Một mô hình cho độ bền sản xuất và lặp lại đánh giá nhanh

Trang chủ InfoQ Bài viết Quy trình làm việc AI độc lập với thời gian chạy: Một mô hình cho độ bền sản xuất và lặp lại đánh giá nhanh AI, ML & Kỹ thuật dữ liệu Quy trình làm việc AI độc lập với thời gian chạy: Một mô hình cho độ bền sản xuất và lặp lại đánh giá nhanh Ngày 06/8/2026 12 phút đọc bởi Mateus Moury được đánh giá bởi Anthony Alford Theo dõi chúng tôi trên Youtube 232K người theo dõi Linkedin 26K người theo dõi Instagram Mới RSS 19K người đọc X 57.1k người theo dõi Facebook 21K lượt thích Bluesky Mới Nghe bài viết này - 0:00 Âm thanh sẵn sàng phát Trình duyệt của bạn không hỗ trợ phần tử âm thanh. 0:00 0:00 Bình thường 1.25x 1.5x Thích Danh sách đọc Những điểm chính Các quy trình làm việc AI có hai nhu cầu đối lập trực tiếp. Chạy đáng tin cậy trong sản xuất đòi hỏi phải duy trì và phân phối mọi bước để nó tồn tại qua các sự cố, triển khai và khởi động lại. Nhưng chính cơ chế đó lại khiến các lần chạy trở nên quá nặng nề đối với vòng lặp nhanh, dùng một lần mà bạn cần để kiểm tra chất lượng đầu ra của LLM. Các thuộc tính mang lại độ bền lại là những thứ giết chết tốc độ lặp lại. Bạn có thể đáp ứng cả hai nhu cầu bằng cách viết quy trình làm việc dưới dạng logic nghiệp vụ thuần túy không biết nó chạy ở đâu, sau đó cắm thời gian chạy vào, để cùng một logic chính xác chạy không thay đổi trong sản xuất và đánh giá. Khi chỉ có một phiên bản logic, phiên bản trải qua đánh giá được đảm bảo khớp với phiên bản được phát hành. Cách tiếp cận này loại bỏ toàn bộ một loại lỗi do các phiên bản logic khác nhau trôi dạt theo thời gian. Việc giữ cho logic độc lập với nơi nó chạy không thể dựa vào kỷ luật của nhà phát triển. Kiến trúc phải làm cho cách đúng là cách dễ nhất để viết một quy trình làm việc. Bất cứ khi nào ai đó viết mã không độc lập, bản dựng phải thất bại. Việc tách rời không phải là miễn phí. Điều phối mất quyền truy cập trực tiếp vào các tính năng gốc của mỗi thời gian chạy. Mọi khả năng mới phải được kết nối thông qua lớp độc lập. Thiết kế này chỉ có hiệu quả khi một dự án thực sự cần cả độ tin cậy sản xuất và đánh giá nhanh. Một quy trình làm việc AI là một chuỗi các bước được nối với nhau để hoàn thành một tác vụ, trong đó một hoặc nhiều bước đó bao gồm các lệnh gọi đến một mô hình ngôn ngữ lớn (LLM). Logic kết hợp các bước này (thứ tự và phân nhánh của chúng) được gọi là logic điều phối của quy trình làm việc. Các quy trình làm việc này mang cùng các yêu cầu sản xuất mà bất kỳ hệ thống phân tán chạy dài nào đã có trong một thập kỷ: Chúng cần tồn tại qua các triển khai và sự cố, thử lại một cách bất biến và mở rộng theo chiều ngang. Các công cụ quy trình làm việc đã giải quyết loại vấn đề này từ nhiều năm trước. Điều làm cho các quy trình làm việc AI khác biệt là chất lượng đầu ra của bước LLM có thể thay đổi theo mỗi lần điều chỉnh lời nhắc hoặc thay đổi mô hình, vì vậy nó phải được kiểm tra bằng các đánh giá, các lần chạy ngoại tuyến của quy trình làm việc đối với một tập dữ liệu được gắn nhãn để chấm điểm đầu ra của nó. Các nhà tài trợ liên quan Điều này đòi hỏi một thứ mà công cụ quy trình làm việc cổ điển không được thiết kế để đáp ứng: một vòng lặp đánh giá nhanh, đủ rẻ để chạy lại hàng trăm lần. Hai yêu cầu này kéo theo hai hướng đối lập. Độ bền trong sản xuất đòi hỏi một thời gian chạy phân tán, bền bỉ, nặng ký. Lặp lại đánh giá đòi hỏi một vòng lặp nhẹ, tạm thời, trong quy trình mà bạn có thể chạy lại trong vài giây. Hầu hết các ngăn xếp được xây dựng xung quanh một trong các thời gian chạy này. Các thời gian chạy ưu tiên độ bền có cung cấp môi trường thử nghiệm, nhưng chúng cần thiết lập các hộp cát, hàng đợi tác vụ và máy chủ thử nghiệm cho một vòng lặp đánh giá không cần đến bất kỳ thứ gì trong số đó. Bài viết này mô tả mô hình chúng tôi đã sử dụng để loại bỏ sự đánh đổi đó. Mô hình này xuất phát từ nền tảng quy trình làm việc AI của Brex. Nền tảng được viết bằng TypeScript và được duy trì bởi một nhóm gồm năm kỹ sư. Các worker của nó chạy trên cụm Kubernetes của Brex và kết nối với Temporal Cloud, dịch vụ Temporal được quản lý, để thực thi các tác nhân chạy dài. Các tác nhân tiếp cận LLM thông qua Vercel AI SDK, định tuyến đến một LLM Gateway nội bộ tập trung việc giới hạn tốc độ và xác thực. Các đánh giá chạy trên nền tảng nội bộ của chúng tôi. Sự đánh đổi giữa độ bền sản xuất và đánh giá ngoại tuyến nhanh Hãy bắt đầu với các tính năng của công cụ quy trình làm việc. Thực thi bền bỉ yêu cầu kết quả của mỗi bước phải được lưu trữ trước khi bước tiếp theo chạy. Nếu quy trình gặp sự cố, được triển khai lại hoặc được lên lịch lại trên một worker khác, công cụ sẽ phát lại lịch sử và tiếp tục chính xác từ nơi nó đã dừng lại. Trạng thái tồn tại lâu hơn bất kỳ quy trình đơn lẻ nào. Đó chính xác là điều bạn muốn đối với một tác nhân nghiên cứu sâu chạy trong một giờ qua hàng chục cuộc gọi LLM và lời gọi công cụ: Bạn không thể chấp nhận mất bốn mươi phút làm việc vì một pod đã được tái chế. Bây giờ hãy xem xét các tính năng lặp lại đánh giá. Bạn đang điều chỉnh một lời nhắc hoặc một quyết định phân nhánh. Bạn muốn thay đổi một dòng, tải một tập dữ liệu gồm vài trăm ví dụ và xem điểm tổng hợp. Vòng lặp là cục bộ, trong quy trình và tạm thời. Không có gì nên được lưu trữ hoặc lên lịch trên một cụm. Không có gì nên tồn tại sau khi chạy. Bạn muốn mô phỏng các phần phụ thuộc để đầu ra của chúng được giữ cố định, cô lập LLM (phần bạn thực sự đang đánh giá) là thứ duy nhất thay đổi giữa các lần chạy. Vòng lặp vẫn đủ rẻ để chạy hàng trăm lần một giờ. Chạy các đánh giá của bạn thông qua một công cụ quy trình làm việc là một sự không phù hợp về loại. Bạn kế thừa tính bền bỉ, hàng đợi tác vụ, worker và ngữ nghĩa phát lại. Đây là chi phí chung chống lại vòng lặp chặt chẽ mà bạn cần. Ngược lại, chạy sản xuất thông qua một bộ kiểm tra đánh giá không cung cấp cho bạn bất kỳ đảm bảo độ bền nào mà bạn