DeepFinance: Liệu AI có thể thẩm định một thương vụ trị giá 100 triệu USD?
Đường dẫn bài viết: https://www.juliusresearch.ai/blog/deep-finance Đường dẫn bình luận: https://news.ycombinator.com/item?id=50399493 Điểm: 4 Số bình luận: 2
Ngày 5/11/2026 · Julius Research
DeepFinance: Liệu AI có thể thẩm định một thương vụ trị giá 100 triệu USD?
Triết lý tiếp cận
Hạn chế của các phương pháp đánh giá hiện nay
Phương pháp luận
Xây dựng tác vụ
Tác vụ mẫu
Đánh giá và chấm điểm
Bảo đảm chất lượng
Hạ tầng kiểm thử
Kết quả
Phân tích định lượng
Phân tích định tính
Lộ trình hướng tới AGI trong hoạt động giao dịch
Tài liệu tham khảo
Trích dẫn công trình
Các tác giả đóng góp
Mục lục · 8 phần
Triết lý tiếp cận
Hạn chế của các phương pháp đánh giá hiện nay
Phương pháp luận
Xây dựng tác vụ
Tác vụ mẫu
Đánh giá và chấm điểm
Bảo đảm chất lượng
Hạ tầng kiểm thử
Kết quả
Phân tích định lượng
Phân tích định tính
Lộ trình hướng tới AGI trong hoạt động giao dịch
Tài liệu tham khảo
Trích dẫn công trình
Các tác giả đóng góp
DeepFinance là bộ tiêu chuẩn đánh giá dài hạn chuyên sâu, đo lường năng lực của các mô hình trên quy trình thực tế thuộc lĩnh vực quỹ đầu tư tư nhân (PE) và ngân hàng đầu tư (IB). Thông thường, một chuyên gia nhân sự cần từ 20 đến 30 giờ để hoàn thành các quy trình này. DeepFinance được xây dựng và thẩm định bởi các chuyên gia PE và IB đến từ các tập đoàn tài chính như J.P. Morgan, UBS, Evercore, cùng các cơ sở đào tạo như Harvard Business School, Wharton và Columbia Business School.
Số lượng tác vụ: 21
Thời gian xử lý trung bình của con người: 27,1 giờ/tác vụ
Tiêu chí đánh giá trung bình: 84 tiêu chí/tác vụ
Quy mô môi trường dữ liệu trung bình: 19 tệp/phòng dữ liệu
Độ dài câu lệnh (prompt) trung bình: 240 từ, ngắn hơn khoảng 29% so với các câu lệnh của GDPval1
Bảng xếp hạng DeepFinance
Claude Opus 5.5 (max): đạt điểm 54,8%, khoảng tin cậy 95% từ 46,2% đến 64,4%.Claude Opus 5.5 (max)
54,8% ±9,1%
Claude Sonnet 5.5 (max): đạt điểm 54,6%, khoảng tin cậy 95% từ 46,0% đến 63,9%.Claude Sonnet 5.5 (max)
54,6% ±9,0%
GPT-6 Astra (xhigh): đạt điểm 54,2%, khoảng tin cậy 95% từ 46,4% đến 62,6%.GPT-6 Astra (xhigh)
54,2% ±8,1%
GPT-6.1 Sol (xhigh): đạt điểm 52,9%, khoảng tin cậy 95% từ 45,3% đến 61,0%.GPT-6.1 Sol (xhigh)
52,9% ±7,9%
Claude Fable 5.1 (max): đạt điểm 45,6%, khoảng tin cậy 95% từ 40,7% đến 51,3%.Claude Fable 5.1 (max)
45,6% ±5,3%
Muse Wonder 1.0 (max): đạt điểm 44,2%, khoảng tin cậy 95% từ 38,8% đến 50,3%.Muse Wonder 1.0 (max)
44,2% ±5,8%
GPT-6.1 Terra (xhigh): đạt điểm 43,5%, khoảng tin cậy 95% từ 37,1% đến 50,5%.GPT-6.1 Terra (xhigh)
43,5% ±6,7%
Gemini 4 Argon (high): đạt điểm 41,4%, khoảng tin cậy 95% từ 34,6% đến 48,8%.Gemini 4 Argon (high)
41,4% ±7,1%
Claude Haiku 5.5 (max): đạt điểm 40,0%, khoảng tin cậy 95% từ 35,5% đến 44,8%.Claude Haiku 5.5 (max)
40,0% ±4,6%
Muse Spark 1.3 (max): đạt điểm 37,0%, khoảng tin cậy 95% từ 32,6% đến 41,8%.Muse Spark 1.3 (max)
37,0% ±4,6%
Kimi K3.1 Pro (max): đạt điểm 34,6%, khoảng tin cậy 95% từ 30,3% đến 39,2%.Kimi K3.1 Pro (max)
34,6% ±4,5%
Grok 4.7 (xhigh): đạt điểm 34,1%, khoảng tin cậy 95% từ 29,9% đến 38,7%.Grok 4.7 (xhigh)
34,1% ±4,4%
Qwen 3.8 Max (xhigh): đạt điểm 30,3%, khoảng tin cậy 95% từ 26,3% đến 34,6%.Qwen 3.8 Max (xhigh)
30,3% ±4,2%
Inkling 2 Small (max): đạt điểm 29,8%, khoảng tin cậy 95% từ 26,1% đến 33,5%.Inkling 2 Small (max)
29,8% ±3,7%
GLM 5.3 (max): đạt điểm 27,5%, khoảng tin cậy 95% từ 23,8% đến 31,2%.GLM 5.3 (max)
27,5% ±3,7%
DeepSeek V4.1 Flash (max): đạt điểm 27,3%, khoảng tin cậy 95% từ 23,6% đến 31,3%.DeepSeek V4.1 Flash (max)
27,3% ±3,9%
GPT-6 Luna (xhigh): đạt điểm 24,6%, khoảng tin cậy 95% từ 20,0% đến 29,2%.GPT-6 Luna (xhigh)
24,6% ±4,6%
Mistral Large 4 (high): đạt điểm 21,5%, khoảng tin cậy 95% từ 17,3% đến 25,9%.Mistral Large 4 (high)
21,5% ±4,3%
DeepSeek V4 Pro (max): đạt điểm 20,3%, khoảng tin cậy 95% từ 16,3% đến 24,6%.DeepSeek V4 Pro (max)
20,3% ±4,2%
Nemotron 3 Ultra (high): đạt điểm 14,5%, khoảng tin cậy 95% từ 11,3% đến 17,8%.Nemotron 3 Ultra (high)
14,5% ±3,3%
Inkling (max): đạt điểm 13,1%, khoảng tin cậy 95% từ 9,3% đến 17,2%. Inkling (max)
13,1% ±3,9%
Inkling Small (max): đạt điểm 10,9%, khoảng tin cậy 95% từ 7,3% đến 14,8%. Inkling Small (max)
10,9% ±3,8%
0% 25% 50% 75% 100%
Thanh sai số thể hiện khoảng tin cậy 95%.
Triết lý tiếp cận
Hiện tồn tại một khoảng cách căn bản trong phương pháp đánh giá các mô hình AI đối với các nghiệp vụ tài chính cao cấp trong thực tế. Khoảng cách này bắt nguồn từ nhận thức chưa chuẩn xác về cách thức các chuyên viên phân tích tài chính cao cấp thực hiện các nhiệm vụ chuyên môn thực tế.
Các bộ tiêu chuẩn đánh giá hiện nay đo lường mô hình theo hai khía cạnh: khả năng trích xuất câu trả lời từ một tập hợp tài liệu tài chính và khả năng đưa ra kết quả số liệu cuối cùng chính xác. Tuy nhiên, quy trình làm việc thực tế trong lĩnh vực Quỹ đầu tư tư nhân (PE) và Ngân hàng đầu tư (IB) phức tạp hơn rất nhiều.
Trong các bộ kiểm chuẩn phần mềm (như SWE-bench và DeepSWE), các mô hình được chấm điểm dựa trên khả năng vượt qua các bài kiểm thử của kết quả đầu ra. Khi các bài kiểm thử được thông qua và lỗi được khắc phục, lộ trình thực hiện của tác tử AI không còn mang tính quyết định. Lĩnh vực tài chính không có hệ thống kiểm thử tương tự. Một mô hình định giá tài chính cao cấp tương tự như một yêu cầu cập nhật mã nguồn (pull request) cần được rà soát chi tiết từng dòng, trong đó mỗi con số đều phải trích dẫn nguồn và mọi giả định đều phải bảo đảm tính thuyết phục trước Giám đốc điều hành (MD), Hội đồng đầu tư (IC) và khách hàng.
Trong lĩnh vực PE và IB, dù hai chuyên viên phân tích có thể đưa ra kết quả số liệu giống nhau cho cùng một nhiệm vụ, một trong hai kết quả vẫn có thể dựa trên những giả định hoàn toàn sai lệch. Chỉ cần thay đổi một con số ở bước đầu vào, toàn bộ quy trình xử lý sau đó sẽ mất đi tính hợp lý. Lộ trình của một nhiệm vụ tài chính cao cấp với chu kỳ dài hạn luôn đòi hỏi nhiều giả định và nhận định mang tính chuyên môn. Nếu không thể kiểm tra chi tiết các bước thực hiện và khả năng phán đoán của chuyên viên phân tích, các chuyên gia tài chính cao cấp không thể đặt trọn niềm tin vào kết quả được trình bày.
Những hạn chế cố hữu của các bộ đánh giá hiện hành
Các bộ chuẩn đánh giá tài chính cao cấp hiện nay bộc lộ hai hạn chế chính trong phương thức thẩm định mô hình:
Quá chú trọng vào khả năng hỏi - đáp từ các tài liệu tài chính
Phương thức chấm điểm chỉ giới hạn ở độ chính xác về mặt số học của các kết quả đầu ra
Các bộ chuẩn đánh giá hiện nay thường không phản ánh sát môi trường làm việc thực tế mà các chuyên gia tài chính cao cấp đối mặt hằng ngày. Một tập hợp các tài liệu tài chính và các bản chỉnh sửa dưới nhiều định dạng, chuỗi thư điện tử kéo dài, biên bản cuộc họp vắn tắt cùng các dữ liệu khác trong phòng dữ liệu số (data room) hầu như luôn chứa đựng thông tin mâu thuẫn đòi hỏi phải xử lý, dung hòa. Khả năng đánh giá và lựa chọn dữ liệu từ các nguồn chồng chéo của mô hình hiện rất hiếm khi được đưa vào thước đo.
FinanceBench: Hệ thống câu hỏi còn đơn giản và quá dễ; nội dung này không mang tính thực tế và không đại diện cho các nghiệp vụ giao dịch phức tạp mà các chuyên viên phân tích được tuyển dụng để thực hiện.
Nguồn tin: Hacker News AI — Tác giả: jacksongrove. Bản dịch tiếng Việt do AI thực hiện, có thể có sai sót.