Xây dựng tác tử pháp lý khi không thể tiếp cận dữ liệu - Jacob Lauritzen, Giám đốc Công nghệ (CTO) của Legora

Legora không thể tiếp cận bất kỳ dữ liệu nhật ký hoạt động nào về các tác vụ mà tác tử (agent) thực hiện cho luật sư. Dữ liệu thuộc quyền sở hữu của khách hàng các công ty luật. Làm thế nào để xây dựng và thử nghiệm một agent khi không thể trực tiếp theo dõi quá trình xử lý công việc? Ông Jacob Lauritzen là Giám đốc công nghệ (CTO) của Legora, một trong những doanh nghiệp có tốc độ tăng trưởng nhanh nhất trong lịch sử lĩnh vực công nghệ pháp lý (legal tech). Đội ngũ sáng lập khởi đầu tại một tầng hầm ở Stockholm với ChatGPT, hệ thống luật pháp Thụy Điển và một công cụ tìm kiếm. Hiện nay, luật sư có thể sử dụng Legora để soạn thảo, chỉnh sửa tài liệu Word, rà soát 10.000 hợp đồng trên một bảng biểu duy nhất hoặc thực hiện thẩm định chuyên sâu (due diligence). Agent này cũng điều phối công việc giữa luật sư, khách hàng và các agent khác. Trong các thương vụ mua lại của chính mình, Legora cũng sử dụng công cụ này để phục vụ công tác thẩm định. Nội dung trao đổi • Lý do Legora từ chối bổ sung tính năng lựa chọn mô hình trong nhiều năm và nguyên nhân cuối cùng đưa tính năng này vào vận hành • Đánh giá của ông Jacob về việc các mô hình hiện đã xử lý tốt khoảng 60% công việc pháp lý, và lý do phần còn lại đòi hỏi một mô hình thông minh hơn • Cách thức ba kỹ sư và ba luật sư xây dựng môi trường thử nghiệm mô phỏng công việc của khách hàng, tương tự các "thế giới" trong học tăng cường (reinforcement learning) • Vấn đề trích dẫn nguồn khi mô hình ban đầu đạt độ chính xác 70%, sau đó đạt 99% chỉ sau một bản cập nhật mà Legora không cần thay đổi bất kỳ yếu tố nào • Lý do Legora vận hành toàn bộ hệ thống trên Azure và không sử dụng ElevenLabs • Tabular Review, bảng tính quy mô một triệu ô dữ liệu đã bị toàn ngành sao chép đến từng tên gọi • Quy trình tiếp nhận yêu cầu (intake), cách các agent tạo danh mục và cách một danh mục có thể kích hoạt một agent khác • Nhiệm vụ cụ thể của kỹ sư pháp lý và kỹ sư triển khai thực địa (forward-deployed engineer), cùng phân định về quyền hạn viết mã • Bản trình chiếu về 300 chiến binh Sparta từng được ông Jacob sử dụng để lập luận rằng 20 kỹ sư là đủ cho mọi giai đoạn phát triển; hiện quy mô đã lên tới 100 kỹ sư và đội ngũ vẫn thiếu nhân lực • Lý do ông Jacob đánh giá Fable và Opus diễn giải quá dài dòng đối với tác vụ soạn thảo và đánh giá cao văn phong súc tích của Astra • Bản chất của việc soạn thảo một hợp đồng dài là bài toán tìm kiếm • Khả năng các phòng thí nghiệm phát triển mô hình sẽ ngắt quyền tiếp cận của các công cụ pháp lý tương tự cách họ từng áp dụng với các công cụ lập trình • Tương lai của mô hình công ty luật hợp danh, phương thức tính phí theo giờ và việc làm của các luật sư tập sự Legora hiện đang tuyển dụng kỹ sư tại New York, Stockholm và London. Các phần nội dung 0:00 Phần mở đầu 0:40 Giới thiệu ông Jacob Lauritzen, CTO của Legora 1:05 Khởi nghiệp từ vị thế khiêm tốn tại tầng hầm ở Stockholm 1:54 Quá trình Legora phát triển từ ChatGPT kết hợp luật Thụy Điển thành agent pháp lý 4:12 Bước chuyển từ trợ lý ảo sang agent 5:23 Các mô hình Legora đang sử dụng và lý do bổ sung tính năng chọn mô hình 7:48 Các mô hình hiện nay đã đủ đáp ứng yêu cầu của giới luật sư? 8:20 Những tác vụ agent chưa thể thực hiện cách đây chín tháng 9:18 Thử nghiệm agent trong các môi trường mô phỏng và phòng dữ liệu 10.000 tệp 10:07 Đội ngũ đánh giá (evals) và 100 kỹ sư pháp lý của Legora 11:03 Thời điểm công tác đánh giá chưa cho thấy hiệu quả và bước đột phá nâng độ chính xác trích dẫn từ 70% lên 99% sau một bản cập nhật 12:18 Triển vọng hoạt động hành nghề luật trong 5 đến 10 năm tới 14:18 Mô hình công ty luật hợp danh liệu có tiếp tục tồn tại? 16:40 Tác động đối với trợ lý pháp lý và luật sư tập sự 18:00 Phương thức tính phí theo giờ và nguyên nhân các công cụ legal tech trước đây chưa đạt kỳ vọng 19:39 Dòng tiền đầu tư hiện nay đang chảy về đâu 22:44 Cách Legora sử dụng sản phẩm nội bộ phục vụ thẩm định thương vụ mua lại 23:59 Khác biệt giữa các công ty luật Thụy Điển và Mỹ 26:12 Các chỉ số sản phẩm khi không thể truy cập dữ liệu nhật ký hoạt động 27:41 Kỹ thuật diễn giải lại dữ liệu nhật ký và thu hẹp các lỗi sai về 10 hoặc 20 nhóm cụ thể 28:42 Lý do bảo mật dữ liệu khiến Legora vận hành toàn bộ hệ thống trên Azure 30:04 Các mô hình trọng số mở (open-weight) và kinh doanh chênh lệch mô hình (model arbitrage) 30:55 Các mô hình chuyển đổi giọng nói thành văn bản và lý do Legora không sử dụng ElevenLabs 33:33 Hệ thống agent, Tabular Review, các dự án và add-in cho Word 34:24 Cách luật sư sử dụng Tabular Review 35:51 Lý do bảng tính phát huy hiệu quả và những dữ liệu rút ra từ 10 hàng đầu tiên 37:53 Cơ chế vận hành của bot tiếp nhận yêu cầu pháp lý trong Slack 39:11 Cơ chế tác tử tạo danh sách và danh sách khởi chạy tác tử 40:15 Phát triển sản phẩm từ các cấu phần nền tảng và thương vụ mua lại Wexler 42:37 Nhiệm vụ của các kỹ sư triển khai thực địa (forward-deployed engineer) tại Legora 43:52 Quy trình kỹ sư pháp lý và kỹ sư triển khai thực địa tiếp nhận khách hàng lớn 46:43 Định hướng phát triển của đội ngũ triển khai thực địa trong năm tới 47:24 Lý do Legora từng trì hoãn việc xây dựng API 49:26 Khả năng tác tử đảm nhận vai trò của một API 50:12 Bản trình bày "300 chiến binh Sparta" và kế hoạch duy trì quy mô 20 kỹ sư 51:32 Những quyết định mang tính chiến lược của Legora 53:05 Hậu huấn luyện các mô hình trọng số mở (open-weight model) phục vụ nghiên cứu pháp lý 54:05 Tìm kiếm, truy xuất và cơ chế tương tác muộn (late interaction) 54:51 Tiêu chuẩn của một khung điều phối tác tử pháp lý hiệu quả và sự phụ thuộc của việc soạn thảo vào hoạt động tìm kiếm 56:25 Đánh giá mô hình có năng lực soạn thảo văn bản tốt nhất 57:03 Hiện tượng ảo giác (hallucination) và hệ thống trích dẫn của Legora 57:41 Khả năng luật sư kiểm tra chéo các nguồn trích dẫn 58:19 Lựa chọn giữa MapReduce và cửa sổ ngữ cảnh đơn kích thước lớn đối với hợp đồng quy mô một triệu token 1:00:16 Thu thập dữ liệu mẫu ẩn danh và ý tưởng mua lại công ty luật để khai thác dữ liệu 1:01:53 Lý do Jacob khuyến cáo không sử dụng các mô hình nhúng (embeddings) mặc định 1:02:44 Xu hướng luật sư làm việc trực tiếp trên nền tảng Legora hay thông qua Claude 1:03:26 Nguy cơ các phòng thí nghiệm mô hình AI ngừng cấp quyền truy cập cho Legora 1:04:24 Các trường luật và học bổng dành cho sinh viên chuyên ngành khoa học máy tính 1:05:28 Hoạt động tuyển dụng tại New York, Stockholm và London 1:06:09 Nguyên nhân phần lớn công việc sau cùng đều mang tính chất pháp lý Khách mời — Jacob Lauritzen, Giám đốc Công nghệ (CTO) của Legora https://legora.com Đồng dẫn chương trình — swyx, Latent Space Dẫn chương trình — Basil Chatha, Forward Deployed https://forwardeployed.com