Điểm số thô được chuyển đổi thành xác suất như thế nào?

Softmax, bước cuối cùng của hầu hết mọi bộ phân loại, được giải thích qua ba con số. Khi một mạng nơ-ron phân tích một bức ảnh và đưa ra kết luận "mèo", hệ thống không đi thẳng đến câu trả lời ngay lập tức. Lớp cuối cùng của mạng sẽ tạo ra một điểm số thô cho từng lớp (class) có thể xảy ra. Những điểm số này hữu ích nhưng chưa phải là xác suất. Softmax là hàm số chuyển đổi các điểm số đó thành xác suất. Quá trình này gồm hai bước và đều có thể tính toán thủ công. Điểm số thô không phải là xác suất Giả sử một mạng nơ-ron có ba lớp phân loại: mèo, chó và chim. Đối với một hình ảnh, lớp cuối cùng đưa ra các điểm số thô (thường gọi là logits) như sau: Mèo: 2 Chó: 1 Chim: 0 Mèo rõ ràng đạt điểm cao nhất. Tuy nhiên, các con số này có hai hạn chế nếu xem xét dưới dạng xác suất: giá trị có thể âm và tổng không bằng 1. Điểm số 2 không phản ánh mức độ chắc chắn của mạng nơ-ron. Lớp cuối cùng của mạng đưa ra một điểm số thô cho mỗi lớp: mèo 2, chó 1, chim 0. Bước 1: Tính hàm mũ Trước hết, softmax lấy hằng số e (khoảng 2,718) nâng lên lũy thừa của từng điểm số. Thao tác này được gọi là tính hàm mũ. Mèo: e² ≈ 7,4 Chó: e¹ ≈ 2,7 Chim: e⁰ = 1 Hàm mũ có đặc tính hữu ích: kết quả luôn mang giá trị dương, ngay cả khi điểm số là số âm. Điểm số −3 sẽ thành e⁻³ ≈ 0,05, một giá trị nhỏ nhưng vẫn dương. Phép tính này cũng nới rộng khoảng cách, giúp các điểm số cao hơn bứt phá xa hơn. Bước 1: Phép tính hàm mũ chuyển đổi 2, 1 và 0 thành xấp xỉ 7,4; 2,7 và 1. Mọi kết quả đều mang giá trị dương. Bước 2: Chia cho tổng số Tiếp theo, cộng ba kết quả lại: 7,4 + 2,7 + 1 ≈ 11,1. Sau đó chia từng giá trị cho tổng số này. Mèo: 7,4 ÷ 11,1 ≈ 67% Chó: 2,7 ÷ 11,1 ≈ 24% Chim: 1 ÷ 11,1 ≈ 9% Tổng các giá trị bằng 100%. Lúc này, các con số đã trở thành xác suất thực sự: đều dương và có tổng bằng 1. Dưới dạng công thức, đối với một lớp có điểm số zᵢ: softmax(zᵢ) = e^(zᵢ) ÷ (tổng của e^(z) trên tất cả các lớp). Bước 2: Chia từng giá trị hàm mũ cho tổng số. Mèo đạt 67%, chó 24% và chim 9%, với tổng bằng 100%. Bản chất của "cực đại mềm" (soft max) Phép cực đại tuyệt đối (hard max) chỉ đơn thuần chọn kết quả cao nhất và gán toàn bộ tỷ trọng cho kết quả đó: mèo 100%, chó 0%, chim 0%. Cách làm này loại bỏ thông tin về mức độ cạnh tranh giữa các lựa chọn. Softmax là phiên bản mềm hóa. Lớp dẫn đầu nhận tỷ trọng lớn nhất, nhưng các lớp còn lại vẫn giữ một tỷ lệ nhất định. Điều này có ý nghĩa quan trọng trong quá trình huấn luyện, giúp mạng nơ-ron có thể học hỏi từ mức độ tin cậy của dự đoán, thay vì chỉ biết kết quả đúng hay sai. Hard max sẽ gán toàn bộ cho mèo và triệt tiêu các lựa chọn khác. Softmax giữ lại một phần tỷ trọng cho mỗi lớp. Kiểm tra nhanh Cộng thêm 10 vào mỗi điểm số: mèo 12, chó 11, chim 10. Xác suất giữ nguyên hay tỷ trọng của mèo sẽ tăng lên? Câu trả lời: Xác suất giữ nguyên. Việc cộng thêm 10 tương đương với việc nhân mỗi giá trị hàm mũ với cùng một lượng là e¹⁰. Thừa số chung này sẽ bị triệt tiêu khi chia cho tổng số. Do đó, chỉ sự chênh lệch giữa các điểm số mới mang tính quyết định. Những điểm mấu chốt Lớp cuối cùng của bộ phân loại xuất ra các điểm số thô, vốn có thể mang giá trị âm và có tổng không bằng 1. Softmax tính hàm mũ của từng điểm số, đưa mọi giá trị về số dương. Sau đó, hàm thực hiện phép chia cho tổng số để các kết quả có tổng bằng 100%. Các điểm số 2, 1 và 0 trở thành khoảng 67%, 24% và 9%. Việc tịnh tiến mọi điểm số theo cùng một lượng không làm thay đổi kết quả. Chỉ khoảng cách chênh lệch mới mang tính quyết định. Bài viết này thuộc chuỗi nội dung Deep Learning, Visually của Logit Solutions AI: các video giải thích ngắn trực quan, tập trung vào từng khái niệm đơn lẻ, đi kèm bài viết tương ứng.