AI của bạn có biết khi nào nó có thể sai không?

Toàn bộ câu chuyện về hiệu chuẩn — thuộc tính tôi hiện đang kiểm tra trước độ chính xác Ngoài độ chính xác · Đánh giá mô hình (#4) Đây là điều đã dạy tôi về việc xây dựng một lớp đánh giá trung thực. Hiện tại nó đang chạy trên một mô hình dàn dựng tổng hợp — Tôi tạo ra các bệnh nhân, nên tôi biết chính xác sự thật cơ bản, đó là cách rõ ràng nhất để nghiên cứu một thước đo như hiệu chuẩn trước khi tin tưởng nó vào bất cứ thứ gì có thật. Tầm nhìn là phát triển nó hướng tới một bức tranh đầy đủ hơn, đa phương thức — hình ảnh và lâm sàng cùng nhau — và trên dữ liệu thực như bộ bệnh Parkinson. Mọi thứ dưới đây đều bắt nguồn từ tác phẩm đó. Một mô hình mà tôi đang đánh giá đã đạt được độ chính xác 88% trong nhiệm vụ dàn dựng lâm sàng bốn giai đoạn. Đáng kính trọng. Sau đó, tôi xem xét những sai lầm mà nó đã mắc phải — và 44% trong số đó là do mô hình đã chắc chắn hơn 80% về bản thân nó. Đôi khi nó không sai. Chắc chắn là nó sai và không có gì về con số chính xác cảnh báo tôi. Khoảng cách — giữa mức độ chắc chắn của một mô hình và tần suất nó thực sự đúng — có một cái tên. Nó có thể là điều quan trọng nhất mà độ chính xác không thể đo lường được và một khi bạn đã nhìn thấy nó, bạn không thể bỏ qua nó. Nó được gọi là hiệu chuẩn. Phần này là phiên bản dài: tại sao chúng tôi hiệu chỉnh, hiệu chuẩn là gì (và những điều mọi người nghĩ sai về nó), nó đo lường chính xác những gì, bạn tính toán nó như thế nào, nó lặng lẽ che giấu điều gì và làm thế nào — cẩn thận — bạn khắc phục nó. Tại sao lại hiệu chỉnh? Bởi vì sự tự tin là điều bạn hành động. Trong thế giới thực, bạn hiếm khi hành động theo nhãn mác một mình. Bạn hành động dựa trên sự tự tin gắn liền với nó. Một mô hình X quang gắn cờ kết quả quét ở mức 51% sẽ gửi bệnh nhân đi xét nghiệm khác. Mô hình tương tự ở mức 99% có thể bắt đầu điều trị. Điểm gian lận là 51% sẽ được xem xét lần thứ hai; ở mức 99% nó sẽ đóng băng tài khoản. Một chatbot phòng ngừa rủi ro sẽ khiến bạn kiểm tra hoạt động của nó; người trả lời bằng giọng tự tin, trôi chảy sẽ khiến bạn tin tưởng. Trong mọi trường hợp, lớp được dự đoán có thể giống hệt nhau — độ tin cậy sẽ quyết định bước đi tiếp theo. Vì vậy, nếu sự tự tin đó là không trung thực thì mọi quyết định dựa trên nó cũng không trung thực. Hiệu chuẩn là đặc tính giúp cho số tin cậy được an toàn để thực hiện. Độ chính xác hỏi mô hình có đúng không? Hiệu chuẩn hỏi nó có trung thực về độ chắc chắn của nó không? Đó là hai câu hỏi khác nhau — và hầu hết các đánh giá chỉ trả lời câu hỏi đầu tiên. Hiệu chuẩn là gì — và bốn điều không phải là Đây là định nghĩa rõ ràng, được mượn từ những người chuẩn xác nhất trên trái đất: các nhà dự báo thời tiết. Khi người dự báo thời tiết nói “70% khả năng sẽ có mưa”, thực tế trời sẽ mưa vào khoảng 70% số ngày họ nói điều đó. Sự tự tin của họ đã kiếm được. Một mô hình được hiệu chỉnh tốt khi có cùng giá trị: trong tất cả các trường hợp nó nói “chắc chắn 90%”, mô hình đó đúng khoảng 90% — không phải 100, không phải 60. Bây giờ là những quan niệm sai lầm, bởi vì mỗi quan niệm đều là một cái bẫy mà tôi đã chứng kiến những người thông minh rơi vào: Nó không phải là độ chính xác. Một mô hình có thể chính xác nhưng lại bị tính toán sai một cách tồi tệ (thường xuyên đúng nhưng cực kỳ quá mức hoặc không chắc chắn lắm), hoặc được hiệu chỉnh một cách hoàn hảo và vô dụng (dự đoán lãi suất cơ bản cho mọi người — luôn “trung thực”, không bao giờ hữu ích). Độ chính xác và hiệu chuẩn là hai trục khác nhau. Bạn muốn cả hai. Nó không phải là thước đo xem mô hình có đúng hay không. Đó là thước đo xem độ chắc chắn của mô hình có đáng tin cậy hay không. Một mô hình đã hiệu chỉnh có thông báo “60%” và sai thì vẫn chưa thất bại trong quá trình hiệu chuẩn — nó bảo bạn đừng dựa vào nó. Điểm lỗi thấp không có nghĩa là “an toàn”. Như bạn sẽ thấy bên dưới, điểm hiệu chỉnh một số tiêu chuẩn có thể trông rất tuyệt vời trong khi ẩn chứa một loạt các dự đoán tự tin, sai lầm, có tính rủi ro cao. Hiệu chỉnh lại không phải lúc nào cũng có ích. “Sửa lỗi” hậu hoc n làm cho việc hiệu chuẩn trở nên tồi tệ hơn. Tôi có biên lai. Sự tự tin là gì và nó đến từ đâu? Trước khi có thể hỏi liệu sự tự tin của một người mẫu có trung thực hay không, chúng ta nên làm rõ “sự tự tin” là gì — bởi vì đó không phải là cảm giác mà người mẫu có. Đó là một con số mà nó tính toán và bạn nên xem cách thực hiện. Trình phân loại không thực sự đưa ra một câu trả lời duy nhất. Tóm lại, đối với mọi câu trả lời có thể, trước tiên nó sẽ tạo ra một điểm thô — những người học máy gọi đây là logits. Logit chỉ là một điểm số không được chuẩn hóa: điểm lớn hơn có nghĩa là "có nhiều khả năng hơn", nhưng bản thân các con số chưa có ý nghĩa gì. Chúng có thể tiêu cực và không bổ sung thêm bất cứ điều gì một cách gọn gàng. Để biến đống điểm thô đó thành những con số mà chúng ta thực sự có thể đọc dưới dạng xác suất, mô hình sẽ chạy chúng qua một bước gọi là softmax. Bạn có thể hình dung softmax như một cách hợp lý để chuyển đổi điểm số thành tỷ lệ phần trăm: nó nén chúng sao cho mọi tùy chọn đều nằm trong khoảng từ 0% đến 100%, và — đây là phần quan trọng — để tất cả chúng cộng lại chính xác 100% trên các tùy chọn. Điểm thô lớn nhất trở thành xác suất lớn nhất; một số điểm lớn vượt xa trở thành một điều gần như chắc chắn. Tùy chọn nào đứng đầu là dự đoán của mô hình và xác suất nằm trên tùy chọn hàng đầu đó là độ tin cậy của nó — sự chắc chắn được nêu rõ trong câu trả lời mà nó vừa đưa ra. Nếu mô hình xuất ra {khỏe mạnh: 10%, nhẹ: 5%, trung bình: 85%}, thì mô hình sẽ dự đoán “trung bình” với độ tin cậy 85%. Hiệu chỉnh là về con số đó — sự tự tin đã nêu — chứ không phải về lựa chọn nào thắng. Vì vậy, câu trả lời trung thực cho câu hỏi mà mọi người đặt ra — là hiệu chuẩn đo lường độ chính xác hay độ tin cậy vào độ chính xác? — chắc chắn là thứ hai. Hiệu chuẩn đo lường độ tin cậy về độ chính xác. Đó là trục thứ hai, dựa trên tính chính xác, kiểm tra con số mà mô hình gắn với sự chắc chắn của chính nó. Cách chúng tôi đo lường: thùng, sơ đồ độ tin cậy và ECE Bạn không thể đánh giá hiệu chuẩn của một dự đoán duy nhất — một lần đoán là đúng hay sai, 0 hoặc 1. Vì vậy, bạn nhóm các dự đoán theo độ tin cậy đã nêu vào các nhóm (ví dụ: 5 nhóm trên phạm vi) và trong mỗi nhóm bạn hỏi: độ tin cậy trung bình ở đây là bao nhiêu và độ chính xác thực tế ở đây là bao nhiêu? Vẽ biểu đồ độ tin cậy trung bình theo từng thùng một — trên trục x, độ chính xác thực tế trên trục y — và bạn sẽ có được sơ đồ độ tin cậy. Hiệu chuẩn hoàn hảo là đường chéo 45°: độ tin cậy tương đương với độ chính xác ở mọi nơi. Các điểm bên dưới đường này có nghĩa là quá tự tin (nó khẳng định sự chắc chắn hơn mức nó kiếm được); điểm trên có nghĩa là thiếu tự tin (