Phát triển AI phục vụ giới luật sư - Jacob Lauritzen, Giám đốc công nghệ (CTO) của Legora

Trong chương trình kỳ này, chúng tôi có cuộc trao đổi với ông Jacob Lauritzen, Giám đốc Công nghệ (CTO) của Legora, sau khi doanh nghiệp này công bố vòng gọi vốn Series E trị giá 550 triệu USD với mức định giá 8,8 tỷ USD cách đây hai tuần. Nội dung cuộc trao đổi xoay quanh quá trình xây dựng các tác tử AI (AI agent) phục vụ giới luật sư, cũng như những kinh nghiệm hữu ích dành cho các nhà phát triển công nghệ trong lĩnh vực này. Legora khởi đầu từ một tầng hầm tại Stockholm với sản phẩm ban đầu khá đơn giản: ChatGPT, cơ sở dữ liệu luật pháp Thụy Điển và một công cụ tìm kiếm. Ông Jacob từng tham gia chương trình của Y Combinator (YC) với dự án khởi nghiệp riêng trước khi hỗ trợ ông Max Junestrand làm hồ sơ đăng ký cho Leya (hiện đổi tên thành Legora). Sau đó, ông gia nhập doanh nghiệp với vai trò Trưởng bộ phận Kỹ thuật và hiện đảm nhiệm vị trí CTO. Hiện nay, tác tử AI của công ty có khả năng soạn thảo và chỉnh sửa văn bản Word, rà soát hàng nghìn hợp đồng cùng lúc, đồng thời điều phối công việc giữa luật sư, khách hàng và các tác tử AI khác. Vào tháng 4, chưa đầy 18 tháng sau khi ra mắt, doanh thu định kỳ hằng năm (ARR) của công ty đã vượt mốc 100 triệu USD, phục vụ hơn 1.800 khách hàng. Doanh nghiệp đã huy động được 550 triệu USD vào tháng 3 với mức định giá 5,55 tỷ USD, sau đó tiếp tục gọi vốn thêm 550 triệu USD vào tháng 10 với mức định giá 8,8 tỷ USD. Thương vụ mua lại Wexler gần đây là thương vụ sáp nhập thứ năm của công ty chỉ riêng trong năm nay. Chúng tôi đã trao đổi với ông Jacob về phương pháp đánh giá tác tử AI khi không thể tiếp cận dữ liệu của khách hàng, những tác vụ vẫn đòi hỏi các mô hình tiên tiến hơn, cách phân chia công việc giữa kỹ sư pháp lý và kỹ sư triển khai thực địa, cũng như nguyên nhân mô hình tính phí theo giờ làm việc truyền thống đang bị thay đổi căn bản. Theo dõi toàn bộ cuộc trao đổi trên YouTube → Mở video trên YouTube ↗ Những thay đổi đối với mô hình tính phí theo giờ làm việc Khi lần đầu đọc hồ sơ đăng ký YC của Leya, ông Jacob đưa ra một nhận định: đã có rất nhiều nỗ lực phát triển công nghệ pháp lý nhưng đều không thành công. Nếu luật sư tính phí theo giờ, việc rút ngắn thời gian xử lý đồng nghĩa với việc sụt giảm thu nhập. Do đó, các công ty luật không có động lực chi trả cho một công cụ như vậy. Theo ông, yếu tố thay đổi căn bản hiện nay là áp lực đè nặng lên các công ty luật. Tại Mỹ, các công việc thường nhật như rà soát văn bản quy mô nhỏ đang dần chuyển sang hình thức tính phí trọn gói theo dự án. Một số công ty thậm chí thực hiện miễn phí để giữ chân khách hàng. Nguồn thu đang dịch chuyển sang các lĩnh vực mua bán và sáp nhập (M&A), tranh tụng và thời gian tư vấn trực tiếp với khách hàng. Trả lời câu hỏi về việc liệu các công ty luật có còn cần đến trợ lý pháp lý và luật sư tập sự hay không, ông Jacob cho biết thực tế tại Legora không cho thấy điều đó. Một nhân sự cấp dưới có năng lực hiện nay có giá trị cao hơn so với hai năm trước nhờ hiệu suất công việc vượt trội, tương tự như trong lĩnh vực kỹ thuật phần mềm. Chuyển đến phần thảo luận về mô hình tính phí → Đánh giá mô hình khi không tiếp cận dữ liệu khách hàng Phần lớn các nhóm phát triển cải thiện tác tử AI bằng cách phân tích dữ liệu vết (trace). Tuy nhiên, Legora hoàn toàn không thể làm điều này. Hầu hết thông tin do người dùng tải lên đều mang tính bảo mật và phần lớn thuộc quyền sở hữu của khách hàng, không thuộc về công ty luật. Do đó, đội ngũ đánh giá phải mô phỏng lại các quy trình công việc của khách hàng. Ba kỹ sư cùng ba luật sư đã thiết lập các môi trường học tăng cường (RL) để tái hiện công việc thực tế. Một ví dụ tiêu biểu là phòng dữ liệu ảo chứa 10.000 tệp tin, nơi tác tử AI tiến hành thẩm định chi tiết và phải lập báo cáo nhận diện chính xác các rủi ro pháp lý. Nhóm nghiên cứu biểu diễn kết quả trên bản đồ nhiệt theo từng lĩnh vực chuyên môn và tác vụ cụ thể. Một mô hình mới thường mang lại hiệu quả tốt hơn ở một số nghiệp vụ pháp lý, nhưng lại có thể kém hơn ở các nghiệp vụ khác. Nhóm nghiên cứu huy động mạng lưới khoảng 100 kỹ sư pháp lý, gồm các luật sư từng có ba đến bốn năm kinh nghiệm tại các hãng luật lớn và thường có thêm bằng khoa học máy tính. Trong môi trường vận hành thực tế, Legora phân loại các trường hợp lỗi thành 10 đến 20 dạng xác định, đồng thời chạy các quy trình kiểm tra chi phí thấp bằng LLM sau các cờ tính năng (feature flag). Những rào cản này cũng quyết định hạ tầng công nghệ mà Legora có thể sử dụng. Toàn bộ hệ thống được vận hành trên Azure, bởi ở thời điểm Legora mới thành lập, các công ty luật chưa chấp nhận AWS hay GCP, trong khi Microsoft đã là nhà cung cấp được cấp phép thông qua bộ giải pháp Microsoft 365. Chuyển đến phần đánh giá mô hình không sử dụng dữ liệu vết → Những lĩnh vực vẫn đòi hỏi mô hình thông minh hơn Legora đã từ chối tích hợp tính năng lựa chọn mô hình trong một thời gian dài trước khi chấp nhận thay đổi. Quan điểm của ông Jacob là luật sư không cần phải tự quyết định xem một hợp đồng phù hợp với tác vụ Sonnet-high hay Opus-mid. Trách nhiệm của Legora là tìm kiếm giải pháp cân bằng tối ưu giữa chất lượng, chi phí, độ trễ, năng lực quản trị và tính sẵn sàng theo khu vực. Ông ước tính các mô hình hiện xử lý rất tốt khoảng 60% khối lượng công việc pháp lý. Đối với các tác vụ này, vấn đề hiện nay nằm ở chi phí và độ trễ. Trong khi đó, việc phân tích phức tạp và chỉnh sửa các hợp đồng dài hàng triệu token vẫn đòi hỏi năng lực xử lý thông minh hơn. Legora đã bắt đầu quá trình hậu đào tạo (post-training) các mô hình trọng số mở (open-weight) cho các tác vụ hẹp như nghiên cứu pháp lý, và không có kế hoạch tự đào tạo mô hình tiên phong (frontier model). Đối với hoạt động soạn thảo, ông Jacob đánh giá Fable và Opus quá dài dòng, trong khi Astra ngắn gọn hơn. Nhằm khắc phục hiện tượng ảo giác (hallucination), mọi nội dung do tác tử (agent) khởi tạo đều được đính kèm trích dẫn, làm nổi bật khung giới hạn (bounding box) trong tệp PDF nguồn qua nhiều tầng dữ liệu. Chuyển đến phần thảo luận về mô hình → Một số cấu phần nền tảng, đa dạng sản phẩm Sau sáu tháng đảm nhận công việc, ông Jacob đã trình chiếu cho đội ngũ hình ảnh 300 chiến binh Sparta và tuyên bố Legora sẽ duy trì quy mô 20 kỹ sư dài hạn. Hiện tại, doanh nghiệp có 100 kỹ sư và ông cho rằng quy mô này vẫn còn khiêm tốn. Nhiệm vụ hiện nay của ông là xây dựng một hệ thống cho phép đội ngũ chỉ cần phát hành một số lượng ít tính năng nhưng khách hàng vẫn nhận được giá trị toàn diện. Đội ngũ phát triển tập trung vào một số cấu phần cơ bản: các dự án lưu trữ tệp, tác tử, Tabular Review và danh sách. Danh sách là cơ sở dữ liệu linh hoạt theo phong cách Notion, tích hợp các bộ kích hoạt và tự động hóa. Các tác tử có thể tạo và đọc danh sách, đồng thời những thay đổi trên danh sách có thể khởi động một tác tử. Intake là một bot trên Slack có chức năng chuyển đổi yêu cầu thành phiếu ghi nhận trên danh sách. Tabular Review là giải pháp được toàn ngành sao chép, kể cả tên gọi. Mỗi hàng là một tài liệu, mỗi cột là một câu hỏi. Người dùng có thể đưa vào 10.000 hợp đồng lao động và yêu cầu trích xuất thời hạn chấm dứt, điều khoản chuyển giao quyền sở hữu trí tuệ và các điều kiện trợ cấp thôi việc. Hệ thống hỗ trợ tới một triệu ô dữ liệu, nhưng ban đầu chỉ hiển thị 10 hàng để người dùng hoàn thiện câu lệnh (prompt) trước khi áp dụng cho phần còn lại. Các kỹ sư pháp lý định cấu hình các sản phẩm mới dựa trên các cấu phần cơ bản này mà không cần viết mã. Ngay cả sản phẩm thông tin thực tế của Wexler cũng vận hành trên cùng những cấu phần nền tảng nói trên. Chuyển đến phần thảo luận về cấu phần cơ bản → Ưu tiên kỹ sư pháp lý, tiếp đến là kỹ sư triển khai trực tiếp Legora đã tuyển dụng kỹ sư triển khai trực tiếp (forward deployed engineer) đầu tiên cách đây khoảng chín tháng tại New York: Di Qi, người từng hai lần sáng lập doanh nghiệp thuộc YC và từng làm việc trong mảng tìm kiếm tại Meta. Các kỹ sư pháp lý định cấu hình sản phẩm như những người dùng nâng cao và không viết mã. Trong khi đó, các kỹ sư triển khai trực tiếp phụ trách đưa mã nguồn vào môi trường vận hành, xây dựng các liên kết tích hợp vào hệ thống CRM hoặc hệ thống quản lý tài liệu của công ty, và đẩy