Hàm kích hoạt GELU: Cơ chế hoạt động và lý do được ứng dụng trong các mô hình Transformer

--> Hàm kích hoạt GELU: Cơ chế hoạt động trong các mô hình Transformer Hội nghị AI mang tính tương lai lớn nhất Ấn Độ chính thức trở lại – Quy mô hơn, sắc bén hơn, bứt phá hơn --> ngày : giờ : phút : giây Xem chi tiết --> DeepSeek--> Khóa học miễn phí Khóa học miễn phí--> Lộ trình học tập--> Chương trình Tăng tốc --> Chương trình Tăng tốc --> Mới --> Chương trình GenAI Pinnacle--> GenAI Pinnacle Plus Tiên phong trong Agentic AI Mới--> Đăng nhập Chuyển chế độ Đăng xuất --> Chuẩn bị phỏng vấn Sự nghiệp GenAI Kỹ thuật tạo câu lệnh ChatGPT LLM Langchain RAG AI Agents Học máy Học sâu Công cụ GenAI LLMOps Python NLP SQL Dự án AIML Danh mục bài đọc Lộ trình học tập Chuyên viên phân tích dữ liệu Lộ trình toàn diện để trở thành Chuyên viên phân tích dữ liệu năm 2025 Lộ trình học tập Tableau Lộ trình học tập toàn diện về Tableau năm 2025 Lộ trình học tập NLP Lộ trình học tập toàn diện về NLP năm 2025 Lộ trình học tập Nhà khoa học dữ liệu Lộ trình trở thành Nhà khoa học dữ liệu năm 2025 Lộ trình học tập Kỹ sư dữ liệu Lộ trình từng bước để trở thành Kỹ sư dữ liệu năm 2025 Lộ trình học tập MLOps Lộ trình học tập toàn diện về MLOps: Phiên bản năm 2025 Lộ trình học tập Kỹ sư AI Lộ trình trở thành Kỹ sư AI năm 2025 Lộ trình học tập Thị giác máy tính Lộ trình học tập toàn diện để làm chủ Thị giác máy tính năm 2025 Lộ trình học tập Trí tuệ nhân tạo tạo sinh Lộ trình tối ưu để học Trí tuệ nhân tạo tạo sinh năm 2025 Lộ trình Trí tuệ nhân tạo tạo sinh cho doanh nghiệp Lộ trình GenAI cho doanh nghiệp Lộ trình nghiên cứu LLM Giải mã các mô hình ngôn ngữ lớn: Lộ trình cho người mới bắt đầu Lộ trình học tập Kỹ sư tạo câu lệnh Lộ trình trở thành Chuyên gia kỹ thuật tạo câu lệnh Trang chủ Học sâu Giải thích về hàm kích hoạt GELU: Cơ chế hoạt động và lý do Transforme... Giải thích về hàm kích hoạt GELU: Cơ chế hoạt động và lý do các mô hình Transformer ứng dụng Janvi Kumari Cập nhật lần cuối: Ngày 31/10/2026 8 phút đọc Vì sao các mô hình Transformer như BERT lại sử dụng GELU thay vì hàm kích hoạt ReLU truyền thống? Câu trả lời nằm ở phương thức xử lý thông tin của các hàm này. Trong khi ReLU loại bỏ hoàn toàn các giá trị đầu vào âm, GELU sử dụng cơ chế mượt mà, phụ thuộc vào giá trị đầu vào để xác định lượng thông tin được phép truyền qua. Sự khác biệt toán học nhỏ này có thể tác động trực tiếp đến khả năng học các mô hình dữ liệu phức tạp của mạng nơ-ron. Bài viết này phân tích hàm kích hoạt GELU, làm rõ cơ sở toán học, so sánh với ReLU và hướng dẫn triển khai cả hai hàm bằng ngôn ngữ Python. Mục lục Hàm kích hoạt GELU là gì? So sánh trực quan giữa GELU và ReLU Cơ sở toán học của GELU Vì sao GELU sử dụng phân phối Gauss? GELU và ReLU: Những khác biệt then chốt Vì sao GELU được sử dụng trong Transformer? Phương pháp xấp xỉ GELU để tối ưu hóa hiệu năng tính toán Thực hành: So sánh GELU và ReLU bằng Python Ưu điểm và hạn chế của GELU Khi nào nên sử dụng GELU? Kết luận Các câu hỏi thường gặp Hàm kích hoạt GELU là gì? GELU là viết tắt của Gaussian Error Linear Unit (Đơn vị tuyến tính sai số Gauss). Đây là hàm kích hoạt phi tuyến do Dan Hendrycks và Kevin Gimpel giới thiệu vào năm 2016. Hàm kích hoạt xác định cách một nơ-ron biến đổi dữ liệu đầu vào trước khi truyền thông tin sang lớp tiếp theo. Nếu không có các hàm kích hoạt phi tuyến tính, việc xếp chồng các lớp tuyến tính vẫn chỉ tạo ra một phép biến đổi tuyến tính tổng thể, từ đó giới hạn khả năng học của mạng nơ-ron. GELU tiếp cận theo hướng khác biệt so với các hàm kích hoạt truyền thống. Thay vì áp dụng một ngưỡng cứng, hàm này điều chỉnh tỷ lệ từng giá trị đầu vào một cách mượt mà dựa trên chính giá trị đó. Nguyên lý trực quan khá đơn giản: Các giá trị đầu vào dương lớn được giữ nguyên gần như hoàn toàn. Các giá trị đầu vào gần 0 bị triệt tiêu một phần. Các giá trị đầu vào âm lớn bị kéo dần về 0. Các giá trị đầu vào âm vừa phải có thể giữ lại một giá trị đầu ra âm nhỏ. Báo cáo khoa học gốc về GELU đã đánh giá hàm này trên các tác vụ thị giác máy tính, xử lý ngôn ngữ tự nhiên cùng nhận dạng giọng nói, đồng thời ghi nhận những cải tiến so với nhiều hàm kích hoạt truyền thống trong các thử nghiệm. So sánh trực quan giữa GELU và ReLU ReLU là viết tắt của Rectified Linear Unit (Đơn vị tuyến tính chỉnh lưu). Định nghĩa toán học của hàm này như sau: Với giá trị đầu vào là -1, ReLU trả về 0. Với giá trị đầu vào là 2, hàm trả về 2. GELU hoạt động theo cơ chế khác. Giá trị đầu vào -1 tạo ra kết quả xấp xỉ -0,159, trong khi giá trị đầu vào 2 tạo ra kết quả xấp xỉ 1,954. Điều này đồng nghĩa với việc GELU không đơn thuần phân loại các giá trị đầu vào thành âm hoặc dương. Hàm áp dụng một phép biến đổi liên tục, điều chỉnh tỷ lệ của các giá trị khác nhau theo những mức độ khác nhau. Đáng chú ý, GELU không đồng biến trên toàn bộ miền xác định. Miền giá trị âm của hàm có một vùng lõm nông trước khi tiệm cận mức 0 đối với các giá trị đầu vào rất âm. Cơ sở toán học của GELU Hàm kích hoạt GELU được định nghĩa như sau: Trong đó, Φ(x) biểu thị hàm phân phối tích lũy (CDF) của phân phối chuẩn tắc. Phân phối chuẩn tắc có giá trị trung bình bằng 0 và độ lệch chuẩn bằng 1. Hàm CDF có thể được biểu diễn như sau: Do đó, GELU cũng có thể được biểu diễn dưới dạng: Trong đó, erf là hàm sai số (error function), một hàm toán học có mối liên hệ chặt chẽ với phân phối Gauss. Ví dụ số học đơn giản Giả sử một nơ-ron tiếp nhận giá trị đầu vào là 1. Giá trị CDF của phân phối chuẩn tắc tại điểm 1 xấp xỉ bằng 0,8413. Xét trường hợp giá trị đầu vào là -1. Có thể nhận thấy giá trị đầu vào dương phần lớn được giữ lại, trong khi giá trị đầu vào âm bị suy giảm đáng kể. Đặc tính mượt mà này là tư tưởng cốt lõi của hàm GELU. Lý do GELU sử dụng phân phối Gauss Phân phối Gauss mang lại phương thức mượt mà để gán trọng số cho các giá trị đầu vào khác nhau. Đối với các giá trị đầu vào âm lớn, hàm CDF tiệm cận mức 0. Đối với các giá trị đầu vào dương lớn, hàm tiệm cận mức 1. Tại điểm 0, giá trị của hàm đạt chính xác 0,5. Hình 2. Hàm CDF Gauss cung cấp hệ số trọng số biến thiên từ 0 đến 1. Điểm khác biệt cốt lõi