Năm trường hợp bị phát hiện không tạo nên một công cụ phát hiện gian lận hiệu quả

Một thông báo của Bộ Lao động Hoa Kỳ (DOL) yêu cầu các nhà cung cấp “chỉ ra một người sử dụng lao động đang tìm cách trục lợi chính sách”. Phân tích định lượng dưới đây xem xét giá trị thực tế mà một buổi trình diễn như vậy có thể mang lại cho bên mua. Xác suất một buổi trình diễn gồm năm tình huống “vượt qua kiểm tra” đối với hệ thống nhận diện yếu và hệ thống nhận diện mạnh. Biểu đồ do tác giả lập từ mô phỏng. Toàn bộ phần phân tích và mã nguồn do tác giả tự xây dựng, có sử dụng công cụ AI hỗ trợ biên tập văn bản. Mọi số liệu và tài liệu tham khảo đều được kiểm tra thủ công. Qua nghiên cứu nhiều hồ sơ mời thầu công, phần lớn các câu hỏi thường dài và thận trọng. Tuy nhiên, câu hỏi lần này rất ngắn gọn và đáng lưu tâm. Vào tháng 9/2026, Bộ Lao động Hoa Kỳ (DOL) đã công bố yêu cầu cung cấp thông tin (RFI) về các nền tảng liên kết danh tính đã xác thực của người lao động với văn bằng, chứng chỉ và các hồ sơ như chi trả tiền lương, huấn luyện an toàn, thanh tra điều kiện ăn ở và phương tiện đi lại, cùng việc phân công địa điểm làm việc. Nền tảng này cần phát hiện các dấu hiệu bất thường trên các hồ sơ đó và gửi cảnh báo để con người thẩm định. Trong danh sách câu hỏi dành cho các nhà cung cấp tại ngày hội kết nối doanh nghiệp, câu hỏi số 15 được đưa ra ngắn gọn: “Hãy chỉ ra một người sử dụng lao động đang tìm cách trục lợi chính sách”. Về mặt lý thuyết, yêu cầu này hợp lý: bên mua công cụ phát hiện gian lận luôn muốn thấy hệ thống hoạt động hiệu quả trên thực tế. Tuy nhiên, xét kỹ hơn, một buổi trình diễn như vậy mang lại ít thông tin tin cậy hơn nhiều so với kỳ vọng. Một số dòng mã Python đã được thiết lập nhằm kiểm chứng mức độ hạn chế đó. Cần lưu ý hai điểm trước khi đi vào chi tiết: Thông báo này mang tính chất khảo sát thị trường, chưa phải là hợp đồng mua sắm chính thức. Do đó, quy trình của DOL không có vi phạm. Ngoài ra, mọi số liệu dưới đây đều xuất phát từ các mô phỏng quy mô nhỏ với các giả định mang tính thử nghiệm, không phải là dữ liệu của DOL. Thông báo khảo sát Thông báo có tiêu đề “Công cụ minh bạch thị trường lao động và phát hiện gian lận - RFI/Ngày hội kết nối doanh nghiệp” (Mã thông báo: OAA-26-11111), do Văn phòng Trợ lý Bộ trưởng phụ trách Quản trị và Quản lý thuộc DOL ban hành vào ngày 9/9/2026. Đây là thông báo tìm kiếm nguồn cung ứng, thời hạn phản hồi đến ngày 17/9/2026. Hồ sơ này được trích dẫn như một trường hợp nghiên cứu. Toàn văn thông báo được đăng tải trên cổng SAM.gov [1]. DOL dự kiến tổ chức ngày hội kết nối doanh nghiệp trực tuyến vào các ngày 24 và 25/9/2026. Một trong những nội dung các nhà cung cấp có thể phải chứng minh là phương thức nền tảng phát hiện sự thiếu nhất quán giữa nhiều bộ hồ sơ và đưa ra cảnh báo để chuyên viên kiểm tra. DOL cũng đưa ra một danh sách dài các câu hỏi, trong đó đáng chú ý gồm: “Các biện pháp nào được áp dụng để giảm thiểu kết quả dương tính giả?” “DOL nên cân nhắc những chỉ số đo lường hiệu suất nào khi đánh giá giải pháp này?” Lựa chọn một cảnh báo và truy vết lại từng điểm dữ liệu cấu thành, xác định rõ dữ liệu nào đã được xác thực và dữ liệu nào do đối tượng tự báo cáo. “Hãy chỉ ra một người sử dụng lao động đang tìm cách trục lợi chính sách.” Như vậy, DOL đã lường trước rủi ro cảnh báo sai và tham vấn các nhà cung cấp về hệ chỉ số cần áp dụng. Đây là mối quan tâm xác đáng. Tuy nhiên, một buổi trình diễn trực tiếp theo yêu cầu “chỉ ra” không thể giải quyết được vấn đề này. Vấn đề thứ nhất: Quy mô mẫu năm tình huống là quá nhỏ Giả định một nhà cung cấp trình diễn năm tình huống gian lận và hệ thống đều phát hiện thành công cả năm. Kết quả này phản ánh điều gì về độ bao phủ (recall) - tức tỷ lệ phát hiện trên tổng số các vụ gian lận thực tế? Công cụ phân tích tiêu chuẩn được áp dụng là khoảng tin cậy nhị thức chính xác theo nghiên cứu năm 1934 của Clopper và Pearson [2]. Đối với trường hợp “phát hiện được k trường hợp trên tổng số n trường hợp đưa ra”, giới hạn dưới một phía ở mức độ tin cậy 95% của độ bao phủ (recall) được xác định dựa trên phân phối beta: import numpy as np from scipy.stats import beta def recall_lower_bound(caught, shown, conf=0.95): """One-sided Clopper-Pearson lower bound for recall.""" if caught == 0: return 0.0 return beta.ppf(1 - conf, caught, shown - caught + 1) for n in [1, 3, 5, 10, 29, 59]: print(n, round(recall_lower_bound(n, n), 3)) # hệ thống phát hiện toàn bộ n trường hợp. Giới hạn dưới Clopper-Pearson một phía 95% đối với recall khi mọi trường hợp thử nghiệm đều được phát hiện. Bảng do tác giả lập. Việc phát hiện chính xác cả năm trường hợp chỉ đủ cơ sở khẳng định “recall đạt tối thiểu khoảng 55%”. Một trường hợp được phát hiện chỉ khẳng định “tối thiểu 5%”. Chỉ dừng lại ở đó. Khi không bỏ sót trường hợp nào, giới hạn này đơn giản là 0,05^(1/n). Do đó, để khẳng định chỉ số recall đạt 90% với độ tin cậy 95%, cần có 29 trường hợp không sai sót. Đối với mức recall 95%, con số này là 59 trường hợp. Công thức chung là n ≥ ln(0,05) / ln(r), trong đó r là mức recall cần khẳng định. Trong thống kê y khoa cũng có một quy tắc rút gọn tương tự mang tên “quy tắc số ba”: khi không có thất bại nào trong n lần thử nghiệm, giới hạn trên 95% của tỷ lệ thất bại xấp xỉ 3/n (tham khảo bài báo trên tạp chí JAMA của Hanley và Lippman-Hand [3]). Vấn đề thứ hai: buổi thử nghiệm không bao giờ phản ánh các cảnh báo giả Buổi thử nghiệm chỉ cho thấy các trường hợp gian lận bị cảnh báo, không cho thấy có bao nhiêu người sử dụng lao động trung thực cũng bị cảnh báo nhầm. Số liệu thứ hai này phụ thuộc rất lớn vào mức độ phổ biến của hành vi gian lận. Đây đơn thuần là định lý Bayes: def alert_precision(prevalence, sensitivity=0.90, specificity=0.95): true_alerts = sensitivity * prevalence false_alerts = (1 - specificity) * (1 - prevalence) return true_alerts / (true_alerts + false_alerts)Giả định hệ thống phát hiện 90% gian lận và cảnh báo nhầm 5% hồ sơ trung thực. Các số liệu này do tác giả giả định, song đối với một hệ thống phát hiện thực tế, đây là kết quả tương đối tốt. Số lượng cảnh báo trên 10.000 hồ sơ đối với hệ thống phát hiện 90% gian lận và cảnh báo nhầm 5% hồ sơ trung thực. Bảng do tác giả lập. Với tỷ lệ gian lận 1%, khoảng 85% số cảnh báo là giả. Một điều tra viên phải kiểm tra khoảng 6 đến 7 cảnh báo mới phát hiện được một trường hợp thực tế. Ở mức 0,1%, con số này lên tới khoảng 56 cảnh báo cho mỗi trường hợp thực tế. Một buổi thử nghiệm với một trường hợp được cài cắm sẵn không thể phản ánh thực tế này, và đây chính là bản chất số liệu đằng sau câu hỏi của DOL (Bộ Lao động Mỹ) về tỷ lệ dương tính giả. Vấn đề thứ ba: ai là người lựa chọn các trường hợp thử nghiệm? Đây là nội dung mang lại nhiều bất ngờ nhất trong quá trình vận hành thử nghiệm. Giả sử nhà cung cấp sở hữu một tập hợp các trường hợp gian lận thực tế và chọn ra năm trường hợp được hệ thống chấm điểm cao nhất. Buổi thử nghiệm được coi là “đạt yêu cầu” nếu cả năm trường hợp đều bị cảnh báo. Mô hình được thiết lập đơn giản: Các hồ sơ trung thực nhận điểm số từ một phân phối chuẩn có kỳ vọng bằng 0 và độ lệch chuẩn bằng 1. Các hồ sơ gian lận tuân theo cùng một đường cong phân phối nhưng dịch chuyển sang phải một khoảng μ. Giá trị μ được xác định từ chỉ số AUC của hệ thống, do với hai đường cong này, AUC = Φ(μ/√2). Ngưỡng cảnh báo được thiết lập sao cho 5% hồ sơ trung thực bị cảnh báo nhầm. Với thiết lập này, một hệ thống có AUC bằng 0,80 sẽ phát hiện được 32,5% gian lận, và hệ thống có AUC bằng 0,95 sẽ phát hiện được 75,2%. from scipy.stats import norm, binom threshold = norm.ppf(0.95) # cảnh báo nhầm 5% hồ sơ trung thực def auc_to_mu(auc): return np.sqrt(2) * norm.ppf(auc) def p_flag(auc): """Xác suất một trường hợp gian lận thực tế đạt điểm số