Nghiên cứu: Nubank rút ngắn chu kỳ cập nhật AI agent từ 3 tuần xuống dưới 5 ngày

Khoa học máy tính > Trí tuệ nhân tạo arXiv:2609.30137 (cs) [Đệ trình ngày 24/9/2026] Tiêu đề: Sàng lọc trước khi phục vụ: Mô phỏng dành cho các tác nhân AI phụ trách trải nghiệm khách hàng trong môi trường vận hành thực tế ở quy mô 140 triệu người dùng Tác giả: Edesio Alcoba, Kevin Rossell, Aman Gupta, Shao Tang, Jiwoo Hong, Pabel Carrillo-Mendoza, Wanderson Conceição Ferreira, Alvaro Tedeschi, Zayd Simjee, Shreya Rajpal, Bruno Finardi Hime, Christian Sousa, Luis Moneda, Herbert Fei, Daniel Silva, Rohan Ramanath Xem bản PDF của bài báo khoa học có tiêu đề Sàng lọc trước khi phục vụ: Mô phỏng dành cho các tác nhân AI phụ trách trải nghiệm khách hàng trong môi trường vận hành thực tế ở quy mô 140 triệu người dùng, bởi Edesio Alcoba và 15 tác giả khác Xem PDF HTML (thử nghiệm) Tóm tắt: Các tác nhân trải nghiệm khách hàng (CX) sử dụng các công cụ và mô hình ngôn ngữ lớn để xử lý yêu cầu của khách hàng cũng như điều hướng các tương tác đối thoại đối với các sản phẩm của một tổ chức. Việc cải thiện các tác nhân này, đặc biệt trong các ngành chịu sự giám sát quản lý chặt chẽ, gặp nhiều khó khăn: hệ thống phải nhận diện được ý định, tuân thủ các chính sách vận hành phức tạp và sử dụng công cụ một cách đáng tin cậy. Phương pháp kiểm thử toàn diện thủ công (end-to-end) có phạm vi bao phủ hạn chế, trong khi các thử nghiệm trực tiếp lại đẩy rủi ro lỗi về phía khách hàng, có thể làm suy giảm niềm tin. Chúng tôi giới thiệu một quy trình mô phỏng định hướng theo giả thuyết nhằm sàng lọc các tác nhân CX tiềm năng trước khi triển khai. Khách hàng nhân tạo phản hồi các câu trả lời của tác nhân và các đầu ra công cụ mô phỏng cho phép kích hoạt các quy trình tự trị nhiều bước mà không cần gọi đến hệ thống máy chủ vận hành thực tế. Chúng tôi sử dụng trình mô phỏng Snowglobe trên tác nhân Card Delivery của Nubank và phiên bản kế nhiệm mở rộng Card Management - tác nhân hỗ trợ trò chuyện có lưu lượng lớn nhất của Nubank tại Brazil. Qua 4 phiên bản được triển khai, điểm số đánh giá nhị phân ở cấp độ phiên bản giữa mô phỏng và thực tế cho thấy mối tương quan cao. Quá trình lặp lại dưới sự dẫn dắt của mô phỏng đã giúp tăng điểm mức độ hài lòng theo giao dịch (tNPS) thêm 36,69 điểm trong một thử nghiệm A/B trực tiếp. Chúng tôi cũng tiến hành sàng lọc các cấu hình mô hình mở (open-weight) trong hơn 16.000 cuộc hội thoại mô phỏng. Trong một thử nghiệm A/B trực tiếp tiếp theo, mô hình được chọn đã nâng tỷ lệ tự phục vụ (SSR) thêm 8,82 điểm phần trăm lên mức cao nhất từng được ghi nhận tại Nubank, trong khi không làm thay đổi chỉ số tNPS ở mức có ý nghĩa thống kê. Mô phỏng đã giúp việc khám phá trên diện rộng các mô hình, thiết lập suy luận và câu lệnh trở nên khả thi mà không gây tác động trực tiếp tới khách hàng, tạo điều kiện cho các cải tiến vận hành thực tế vốn khó có thể đạt được nếu chỉ dựa vào thử nghiệm trực tiếp. Ghi chú: 17 trang, 11 hình vẽ Chủ đề: Trí tuệ nhân tạo (cs.AI); Tính toán và Ngôn ngữ (cs.CL) Trích dẫn: arXiv:2609.30137 [cs.AI] (hoặc arXiv:2609.30137v1 [cs.AI] cho phiên bản này) https://doi.org/10.48550/arXiv.2609.30137 Tìm hiểu thêm DOI do arXiv cấp qua DataCite Lịch sử đệ trình Từ: Kevin Rossell [xem email] [v1] Thứ Năm, ngày 24/9/2026 17:07:38 UTC (2.728 KB) Liên kết toàn văn: Tiếp cận bài báo: Xem bản PDF của bài báo khoa học có tiêu đề Sàng lọc trước khi phục vụ: Mô phỏng dành cho các tác nhân AI phụ trách trải nghiệm khách hàng trong môi trường vận hành thực tế ở quy mô 140 triệu người dùng, bởi Edesio Alcoba và 15 tác giả khác Xem PDF HTML (thử nghiệm) Mã nguồn TeX xem giấy phép Tính năng bổ sung Tóm tắt âm thanh Ngữ cảnh duyệt hiện tại: cs.AI < trước | tiếp > mới | gần đây | 2026-09 Chuyển duyệt theo: cs cs.CL Tài liệu tham khảo và Trích dẫn NASA ADS Google Scholar Semantic Scholar xuất trích dẫn BibTeX Đang tải... Trích dẫn định dạng BibTeX &times; đang tải... Dữ liệu được cung cấp bởi: Đánh dấu Công cụ thư mục Công cụ thư mục và trích dẫn Bật/tắt Bibliographic Explorer Bibliographic Explorer (Bibliographic Explorer là gì?) Bật/tắt Connected Papers Connected Papers (Connected Papers là gì?) Bật/tắt Litmaps Litmaps (Litmaps là gì?) Bật/tắt scite.ai Trích dẫn thông minh scite (Trích dẫn thông minh là gì?) Mã nguồn, Dữ liệu, Đa phương tiện Mã nguồn, dữ liệu và đa phương tiện liên quan đến bài báo này Bật/tắt alphaXiv alphaXiv (alphaXiv là gì?) Bật/tắt liên kết mã nguồn Công cụ tìm kiếm mã nguồn cho bài báo CatalyzeX (CatalyzeX là gì?) Bật/tắt DagsHub DagsHub (DagsHub là gì?) Bật/tắt GotitPub Gotit.pub (GotitPub là gì?) Bật/tắt Hugging Face Hugging Face (Hugging Face là gì?) Bật/tắt ScienceCast ScienceCast (ScienceCast là gì?) Bản thử nghiệm Bản thử nghiệm Bật/tắt Replicate Replicate (Replicate là gì?) Bật/tắt Spaces Hugging Face Spaces (Spaces là gì?) Bật/tắt Spaces TXYZ.AI (TXYZ.AI là gì?) Bài báo liên quan Công cụ đề xuất và tìm kiếm Liên kết đến Influence Flower Influence Flower (Influence Flower là gì?) Bật/tắt công cụ đề xuất CORE Công cụ đề xuất CORE (CORE là gì?) Tác giả Nơi công bố Cơ quan nghiên cứu Chủ đề Giới thiệu về arXivLabs arXivLabs: các dự án thử nghiệm hợp tác cùng cộng đồng arXivLabs là khuôn khổ cho phép các đối tác hợp tác phát triển và chia sẻ các tính năng mới của arXiv trực tiếp trên trang mạng của hệ thống. Mọi cá nhân và tổ chức tham gia hợp tác với arXivLabs đều tôn trọng và cam kết tuân thủ các giá trị cốt lõi về tính mở, tinh thần cộng đồng, chất lượng vượt trội và quyền bảo mật dữ liệu người dùng. arXiv kiên định với các giá trị này và chỉ hợp tác với các đối tác nghiêm túc chấp hành. Độc giả có ý tưởng dự án nhằm gia tăng giá trị cho cộng đồng arXiv có thể tìm hiểu thêm thông tin về arXivLabs. Tác giả nào của bài báo này là người chứng thực? | Vô hiệu hóa MathJax (MathJax là gì?)