Các phòng thí nghiệm AI hàng đầu mua sắm những gì: Phân tích dữ liệu chuyên sâu cùng Handshake AI — Garrett Lord và cộng sự

Đây là chương trình phân tích chuyên sâu đầu tiên của Latent Space với một doanh nghiệp dữ liệu AI. Trong khoảng một năm kể từ khi ra mắt, mảng kinh doanh đào tạo AI của Handshake đã đạt tổng doanh thu quy năm 1 tỷ USD. Các phòng thí nghiệm AI hàng đầu đang chi tiêu ở quy mô này vào những hạng mục nào? Đâu là các bài đánh giá mà mô hình AI hiện vẫn chưa thể tiệm cận trình độ con người? Ông Garrett Lord cùng đội ngũ phát triển các môi trường học tăng cường (reinforcement learning) đã trực tiếp giới thiệu và trải nghiệm các hệ thống này. Để bao quát quy mô hoạt động của Handshake, chương trình đã tổ chức sản xuất với sự phối hợp đặc biệt giữa các ban nội dung về Khoa học, Kỹ thuật, Nghiên cứu và Tài chính, do hoạt động kinh doanh của Handshake trải rộng trên tất cả các lĩnh vực này. Sau phần giới thiệu tổng quan, chương trình gồm ba nội dung chính: Tài chính: Trong phần thử nghiệm tài chính, tác tử AI (agent) phải tìm nhiệm vụ trong thư điện tử của ngân hàng, xác định các tệp tài liệu điều chỉnh giao dịch và xuất ra một bảng tính hoàn chỉnh. Đáng chú ý là diễn biến xử lý một dòng thông tin trong thư của khách hàng liên quan đến lợi thế thương mại hiện có. Tác tử AI đã đưa số liệu này vào mã lệnh Python và thực hiện phép trừ. Chuyên gia Collin chỉ ra rằng mô hình có thể giải thích cách xử lý thuế khi được hỏi trực tiếp; tuy nhiên, sai sót xuất hiện khi mô hình phải nhận diện đúng dòng mã lệnh cụ thể cần áp dụng quy tắc này. Sinh học: Các chuyên gia Nick Magazine và Jonas Mueller giới thiệu VIALS, bộ tiêu chuẩn đánh giá của Handshake dùng để phân tích các hình ảnh khoa học chuyên ngành. Chuyên gia Nick Magazine trình chiếu chín tiêu bản mô khối u não và yêu cầu xác định hai tiêu bản thể hiện tình trạng hoại tử mạch máu tiến triển nặng nhất. Chuyên gia lựa chọn tiêu bản H và I; trong khi đó, mô hình AI chọn hai tiêu bản này và chọn thêm tiêu bản G. Việc theo dõi chuyên gia chỉ ra những đặc điểm mô học còn thiếu mang lại giá trị tham khảo rõ ràng hơn so với việc chỉ quan sát điểm số đánh giá. Lập trình: Trong tác vụ mô phỏng quyền truy cập tệp, nhóm nghiên cứu có thể kiểm tra các tệp mà tác tử AI đã đọc, việc xác minh các bản sao và các thao tác tác tử này thực hiện trên lịch sử lệnh (shell history). Bản ghi câu trả lời cuối cùng của tác tử sẽ không phản ánh được phần lớn các yếu tố mà hai chuyên gia Steve Kelling và Nishant Ranka đang đánh giá. Thành phần tham gia 🟣 Mảng kinh doanh dữ liệu AI — Các ông Garrett Lord, Sahil Bhaiwala và Nishant Ranka mở đầu và kết thúc chương trình với nội dung về thị trường dữ liệu chuyên gia. 🌸 Khoa học đời sống — Các chuyên gia Nick Magazine và Jonas Mueller trình bày các tác vụ liên quan đến điện di gel và mô não. 🟢 Tài chính — Các chuyên gia Collin Schweiker và Sahil Bhaiwala giới thiệu dự án Project Falcon cùng công cụ chấm điểm tự động trên Excel. 🟠 Căn chỉnh AI (Alignment) — Các chuyên gia Steve Kelling và Nishant Ranka theo dõi các lệnh gọi công cụ của tác tử AI qua các kịch bản mô phỏng an toàn. Ghi chú chương trình ATLAS-Finance — Tìm hiểu bộ tiêu chuẩn đánh giá dành cho các tác tử AI hoạt động trên hệ thống hộp thư, tài liệu và mô hình tài chính mô phỏng của ngân hàng. Bên trong ngân hàng — Handshake theo dõi một giao dịch công khai khác mang tên Project Osprey, từ thư điện tử của khách hàng đến quyết định chấm điểm. Giao dịch được trình chiếu trong buổi phỏng vấn là Project Falcon. Các tác vụ mẫu của VIALS — Tham khảo các câu hỏi về hình ảnh khoa học, bao gồm các tác vụ về điện di gel và mô não trong chương trình. Phương pháp Handshake huấn luyện mô hình đọc biểu đồ khoa học — Nhóm nghiên cứu mô tả việc sử dụng các mô tả hình ảnh trung gian để huấn luyện và đánh giá mô hình thị giác - ngôn ngữ (vision-language model). Mốc thời gian 0:00 Bên trong Handshake AI 0:39 Garrett, Sahil và Nishant trao đổi về dữ liệu huấn luyện mô hình tiên phong 5:15 Phương thức xây dựng môi trường ngân hàng cho tác tử AI (agent) 13:07 Cách thức các phòng thí nghiệm tiên phong thu mua dữ liệu 15:51 Quy trình đánh giá tập dữ liệu mới của phòng thí nghiệm 20:01 Kiểm thử dữ liệu huấn luyện trên các mô hình mở 27:38 Giới hạn của tiêu chí chấm điểm so với đánh giá từ chuyên gia 31:30 Nick và Jonas giới thiệu bộ tiêu chuẩn đánh giá VIALS 35:52 Năng lực đọc cấu trúc phân tử và bản đồ plasmid 43:48 Huấn luyện mô hình thị giác diễn giải hình ảnh khoa học 47:17 Nhiệm vụ một: Đọc vạch điện di trên gel 50:59 Nhiệm vụ hai: Nhận diện hoại tử trong mô não 55:49 Liệu công cụ Python có thể hỗ trợ khả năng thị giác của mô hình? 1:02:52 Liệu các mô hình sinh học có thể tự cải thiện? 1:06:19 Các giải pháp phòng thí nghiệm sinh học có thể tiếp cận từ Handshake 1:12:33 Chuyên đề Atlas Finance cùng Collin và Sahil 1:18:56 Khám phá môi trường ngân hàng đầu tư mô phỏng 1:25:45 Sai sót trong mô hình tài chính của tác tử AI 1:31:18 Phương thức chuyên viên ngân hàng thẩm định bảng tính 1:41:12 Bẫy phạt điểm, cổng phụ thuộc và cơ chế ghi nhận điểm từng phần 1:46:41 Cách thức tác tử AI vượt qua hệ thống chấm điểm Excel 1:48:52 Các yếu tố giúp chuyên viên ngân hàng AI phát huy hiệu quả 1:54:48 Vấn đề an toàn và căn chỉnh cùng Steve và Nishant 1:58:25 Bộ tiêu chuẩn CAREBench và giới hạn của cơ chế từ chối 2:04:42 Phương thức phản hồi an toàn được tích hợp vào huấn luyện mô hình 2:07:21 Trường hợp tác tử AI gửi sai tệp tin 2:11:14 Kiểm tra tính công bằng trong cho vay qua hồ sơ tín dụng 2:16:09 Thiết kế bộ tiêu chuẩn đánh giá chuyên biệt cho doanh nghiệp 2:25:37 Ban lãnh đạo chia sẻ về sứ mệnh của Handshake 2:28:36 Thời điểm doanh nghiệp cần xây dựng mô hình riêng 2:33:03 Thị trường năng lực tính toán và dữ liệu chuyên gia 2:39:12 Lý do các phòng thí nghiệm bảo mật nhiệm vụ đánh giá 2:43:01 Công tác tuyển dụng tại Handshake AI