Ba thế hệ tự động mở rộng quy mô — Và tại sao lưu lượng truy cập đại lý lại phá vỡ tất cả chúng

AI đặc vụ Ba thế hệ tự động mở rộng quy mô — Và tại sao lưu lượng truy cập đại lý lại phá vỡ tất cả chúng Làm thế nào các đại lý tự trị đã phá vỡ kế hoạch năng lực trong hai thập kỷ - và thay vào đó cần xây dựng những gì Shoumik Chakravarty Ngày 17 tháng 8 năm 2026 đọc 12 phút Chia sẻ Tất cả hình ảnh được tác giả tạo bằng [Power Point / Copilot] giới thiệu Tất cả hình ảnh được tác giả tạo bằng [Power Point / Copilot] Trong tổ chức của mình, tôi đã từng làm kỹ sư phụ trợ và kiến trúc sư. Trách nhiệm chính của tôi là đảm bảo các dịch vụ mà chúng tôi thiết kế đáp ứng các yêu cầu về chức năng nhưng cũng có thể mở rộng quy mô tới hàng triệu yêu cầu mỗi phút, duy trì thời gian hoạt động 99,99% và duy trì đủ hiệu quả về mặt chi phí để luôn kiểm soát OPEX. Trong phần lớn sự nghiệp của tôi, lưu lượng truy cập vào các dịch vụ đó tuân theo xu hướng mà tôi có thể lý giải - do con người điều khiển, có thể dự đoán được, tự giới hạn. Điều đó đã thay đổi. Lưu lượng truy cập của tác nhân không hoạt động theo cách đó và cả hai mô hình mở rộng quy mô phổ biến (theo yêu cầu và không có máy chủ) mà chúng tôi đã xây dựng đều phá vỡ mô hình đó. Trong bài viết này, tôi sẽ trình bày sự thay đổi tư duy cần thiết khi mở rộng quy mô cho lưu lượng truy cập đại lý — và các mẫu cụ thể đáng xem xét. Nếu bạn từng làm việc trong lĩnh vực kỹ thuật AI, bạn đã chứng kiến ​​sự thay đổi này xảy ra. Lưu lượng truy cập đến các điểm cuối của bạn, các cổng mô hình của bạn không giống như giao diện của lưu lượng truy cập trước đây hoặc cách hoạt động của lưu lượng truy cập của con người trước đây. Lưu lượng truy cập đại lý xuất hiện theo từng đợt không thể đoán trước. Nó lặp đi lặp lại và thử lại không ngừng. Nó làm giảm đáng kể chi phí mở rộng quy mô của bạn so với lưu lượng truy cập do con người tạo ra. Tôi muốn tìm hiểu lý do tại sao giả định đó hiện không còn hiệu lực, tại sao hai mô hình mở rộng quy mô phổ biến (theo yêu cầu và không có máy chủ) mà chúng tôi đã xây dựng lại kế thừa vấn đề và giải pháp cho vấn đề sẽ như thế nào. Giả định bên dưới mọi thứ Mọi khung mở rộng mà chúng tôi đã xây dựng đều giả định lưu lượng truy cập trông giống như cách mọi người tạo ra nó. So sánh những gì ở bên trái của bảng này với những gì hiện có ở bên phải Thứ nguyên Lưu lượng truy cập do con người điều khiển Hình dạng Đường cong ngày với các đỉnh có thể dự đoán được. Ngày mai cũng như hôm nay. Không có lịch trình. Các đợt bùng phát được kích hoạt bởi các sự kiện phối hợp chứ không phải do đồng hồ. Bản thân mô hình này sẽ thay đổi khi các tác nhân và lời nhắc thay đổi. Tốc độ khởi phát Tăng dần theo giây đến phút; bạn có thể xem nó được xây dựng. Gần như tức thời. Phân xuất song song hoặc vòng lặp chặt chẽ đạt tốc độ tối đa tính bằng mili giây — nhanh hơn tốc độ phản hồi của quy mô phản ứng. Người dùng độc lập đồng thời; tổng thể được làm mịn theo quy luật số lượng lớn. Phân tán tương quan từ một lần kích hoạt. Một sự phối hợp tạo ra nhiều cuộc gọi đồng bộ. Không làm mịn thống kê.RetriesBounded. Mọi người bỏ cuộc, thỉnh thoảng làm mới, rút ​​lui vì thất vọng. Có lập trình và không ngừng nghỉ. Nếu không có ngân sách thử lại rõ ràng, một tác nhân sẽ biến một lỗi thành một cơn bão thử lại. Dung sai độ trễ Dưới giây hoặc người dùng bỏ qua. Thường cho phép từ vài giây đến vài phút - lý luận chạy ở chế độ nền. Sự chậm trễ này có thể bị khai thác. Số lượng yêu cầu trình điều khiển chi phí gần như theo dõi chi phí. Số lượng yêu cầu được tách khỏi chi phí. Một chuỗi lý luận nặng nề có thể tiêu thụ nhiều điện toán hơn một nghìn cuộc gọi nhẹ. Chế độ thất bại Suy thoái nhanh chóng — người dùng bỏ cuộc. Tự khuếch đại. Vòng lặp làm cạn kiệt tài nguyên và trên serverless, tính phí cho bạn đối với mọi cuộc gọi dư thừa trước khi bất kỳ tín hiệu nào kích hoạt. Lưu lượng truy cập tác nhân vi phạm tất cả bảy giả định này cùng một lúc. Đó là lý do tại sao câu trả lời không phải là phiên bản tốt hơn của một trong hai mô hình mà chúng tôi đã có - về cơ bản đó là một nơi khác để đưa thông tin thông minh vào. Hãy để tôi chỉ cho bạn ý của tôi bằng cách xem qua nguyên tắc mở rộng quy mô đã phát triển như thế nào. Thế hệ 1: Dự đoán (trường hợp theo yêu cầu) Trước đây trong sự nghiệp của tôi, khi làm việc trên các chương trình phụ trợ phát trực tuyến video quy mô lớn phục vụ hàng triệu người xem đồng thời, việc lập kế hoạch năng lực là một công việc của con người. Khi một sự kiện trực tiếp lớn sắp bắt đầu, chúng tôi biết chính xác khi nào mức tăng đột biến sắp xảy ra, độ dốc của nó và khi nào nó sẽ ổn định. Công việc nằm trong dự kiến: khởi động trước các đội EC2 trong nhiều ngày tới, thiết lập giới hạn tỷ lệ tự động tối thiểu/tối đa, bố trí nhân sự cho phòng chiến tranh trong suốt sự kiện. Giao thông có hình dáng con người. Nó có một đường cong, một đỉnh, một cái đuôi. Bạn có thể lý luận về nó và chuẩn bị cho nó. Tôi đã từng dành hàng giờ trong phòng chiến tranh. Quá trình này thường bắt đầu vài giờ trước khi sự kiện diễn ra, đảm bảo tất cả các nhóm EC2 đều được cấu hình sẵn, các loại phiên bản đã được cập nhật, quá trình kiểm tra tình trạng hoạt động tốt, các bộ cân bằng tải đều hoạt động tốt và mạng ở trạng thái tốt. Chúng tôi thường xuyên theo dõi mức tăng đột biến về số lượng cuộc gọi và số lần thất bại. Có những trường hợp dự đoán nhu cầu không phù hợp do số lượng cuộc gọi phía khách hàng bị định cấu hình sai, khiến chúng tôi phải thay đổi chính sách nhóm tự động mở rộng quy mô trong sự kiện và thậm chí phải chịu một khoảng thời gian lỗi ngắn. Sau khi sự kiện kết thúc, chúng tôi sẽ thấy lưu lượng truy cập giảm và sau sự kiện, chúng tôi cần quay trở lại mức công suất trước đó đã được tăng cường - để tiết kiệm OPEX. Giả định cốt lõi của Thế hệ 1: mức tăng đột biến có thể dự đoán được, vì vậy hãy cung cấp trước nó. Thế hệ 2: Tin cậy phản ứng (serverless) Sau đó, chúng tôi bắt đầu xây dựng serverless, điều này đã thay đổi trò chơi — API Gateway, Lambda, Step Functions và cuộc trò chuyện về việc cung cấp phần lớn đã biến mất. Bạn đã ngừng làm ấm trước và bắt đầu tin tưởng nền tảng sẽ phản ứng. Điều đó có hiệu quả vì lưu lượng truy cập chủ yếu vẫn do con người điều khiển: người dùng mở ứng dụng, điều hướng, tương tác và đóng ứng dụng. Nhu cầu vẫn có thể dự đoán được và thời gian phản ứng của nền tảng đủ nhanh vì quá trình khởi phát diễn ra từ từ. Giả định cốt lõi của Thế hệ 2: bạn không cần phải dự đoán vì nền tảng phản ứng nhanh hơn mức tăng nhu cầu. Vấn đề mấu chốt: tại sao việc điều phối máy lại phá vỡ cả hai cùng một lúc Sự phối hợp máy không xác định - các tác nhân tự trị, chuỗi gọi công cụ nhiều bước, vòng lặp truy xuất - phá vỡ cả hai mô hình cùng một lúc. Nó đánh bại Gen 1 vì không có lịch trình dự kiến. Lưu lượng truy cập đại lý không có đồng hồ và bạn có thể