Xây dựng Neumathway: Kết hợp GNN với các công cụ ký hiệu nhằm loại bỏ hoàn toàn hiện tượng ảo giác

Xây dựng Neumathway: Toán học nơ-ron - ký hiệu (Neuro-Symbolic Math) triệt tiêu hoàn toàn hiện tượng ảo giác (Zero Hallucinations) Tác giả: Christopher Alberto Hamonangan *Neumathway là một dự án mã nguồn mở thử nghiệm và hoan nghênh sự đóng góp từ cộng đồng. GitHub: https://github.com/christopherhamonangan/Neumathway Hugging Face: https://huggingface.co/BhinnekaAI/neumathwork-v1 *Báo cáo nghiên cứu đang được hoàn thiện. Một bài báo khoa học chính thức ghi nhận kiến trúc, phương pháp luận và đánh giá thực nghiệm của Neumathway hiện đang trong quá trình xây dựng. Giới thiệu Trí tuệ nhân tạo (AI) đã trở thành động lực quan trọng trong quá trình phát triển công nghệ hiện đại, bao gồm các lĩnh vực như Học máy (ML), Thị giác máy tính (CV) và Xử lý ngôn ngữ tự nhiên (NLP). Trong bối cảnh đó, các mô hình ngôn ngữ lớn (LLM) nổi lên như một bước tiến quan trọng về năng lực xử lý và tạo lập ngôn ngữ con người của máy móc. Một dấu mốc lớn là sự ra đời của GPT-1 do OpenAI phát triển vào năm 2018, chứng minh tiềm năng của phương pháp tiền huấn luyện tạo sinh trên nền tảng mạng nơ-ron Transformer. Các bước phát triển tiếp theo đã thúc đẩy nhanh chóng việc ứng dụng AI tạo sinh, chuyển đổi các mô hình ngôn ngữ từ các hệ thống nghiên cứu thành các công cụ tiếp cận rộng rãi trong giáo dục, phát triển phần mềm, nghiên cứu khoa học và nhiều ứng dụng thực tiễn khác. Tuy nhiên, sự tiến bộ này không phải là kết quả của một mô hình đơn lẻ, mà là một chuỗi cải tiến liên tục về kiến trúc nơ-ron, phương pháp huấn luyện, tài nguyên tính toán và nguồn dữ liệu sẵn có. Quá trình phát triển của các LLM hiện đại được định hình bởi nhiều cột mốc quan trọng. Kiến trúc Transformer, được giới thiệu vào năm 2017, đã thiết lập cơ chế chú ý (attention mechanisms) làm nền tảng cho nhiều mô hình ngôn ngữ đương đại. Tiếp đó, GPT-1 và BERT ra đời vào năm 2018, trong khi GPT-2 và T5 thúc đẩy khả năng tạo lập văn bản và hiểu ngôn ngữ vào năm 2019. Đến năm 2020, GPT-3 đã chứng minh năng lực của việc mô hình hóa ngôn ngữ quy mô lớn với 175 tỷ tham số. Việc phát hành công khai ChatGPT vào năm 2022 đã mở rộng khả năng tiếp cận AI hội thoại, tiếp nối là các hệ thống như GPT-4, Claude và Gemini trong những năm sau đó. Các bước phát triển trong năm 2024 và năm 2025 tiếp tục nhấn mạnh vào khả năng xử lý đa phương thức, năng lực suy luận và các phương pháp huấn luyện hiệu quả hơn. Dù có những điểm khác biệt, các hệ thống này đều có chung nền tảng là học các biểu diễn từ dữ liệu và sử dụng các biểu diễn đó để thực hiện các tác vụ liên quan đến ngôn ngữ. Lịch sử phát triển các mô hình ngôn ngữ lớn (LLM). Nguồn: https://www.scribbledata.io/ Về mặt kỹ thuật, một LLM thường xử lý văn bản thông qua một chuỗi các biến đổi số học. Bộ tách từ (tokenizer) trước tiên chia văn bản đầu vào thành các token, sau đó các token này được ánh xạ thành các mã định danh số và chuyển đổi thành các vectơ nhúng (embedding vectors). Thông tin vị trí được tích hợp để thể hiện thứ tự của các token. Các biểu diễn này sau đó được xử lý bởi các lớp mạng nơ-ron, phổ biến nhất là kiến trúc Transformer dạng chỉ giải mã (decoder-only) trong các mô hình ngôn ngữ tự hồi quy. Trong mỗi khối Transformer, cơ chế tự chú ý (self-attention) sử dụng các biểu diễn Query, Key và Value để xác định mức độ đóng góp thông tin từ các token đứng trước vào biểu diễn ngữ cảnh của từng vị trí. Các mạng truyền thẳng (feed-forward networks), kết nối phần dư (residual connections) và các lớp chuẩn hóa tiếp tục biến đổi các biểu diễn này. Bằng cách xếp chồng nhiều khối, mô hình học được các mẫu ngữ cảnh ngày càng phức tạp, hỗ trợ việc tạo ra các chuỗi văn bản mạch lạc. Các kỹ thuật triển khai như Grouped-Query Attention, FlashAttention và tính toán độ chính xác hỗn hợp (mixed-precision computation) cũng có thể nâng cao hiệu quả tính toán hoặc bộ nhớ e hiệu quả. Kiến trúc bên trong của mô hình Transformer. Nguồn: https://deeprevision.github.io/posts/001-transformer/#ref-vaswani2017attentionNăng lực của một mô hình ngôn ngữ lớn (LLM) được phát triển thông qua quá trình huấn luyện, trong đó các tham số của mô hình được tối ưu hóa bằng các tập dữ liệu quy mô lớn. Các mô hình tạo sinh thường áp dụng mục tiêu dự đoán token tiếp theo, học cách ước tính phân phối xác suất của token kế tiếp dựa trên ngữ cảnh phía trước. Hàm mất mát thu được được sử dụng để cập nhật các tham số mô hình thông qua phương pháp lan truyền ngược và các thuật toán tối ưu hóa như AdamW. Tùy thuộc vào từng mô hình, các giai đoạn bổ sung có thể bao gồm tinh chỉnh có giám sát, tối ưu hóa theo sở thích hoặc học tăng cường nhằm nâng cao khả năng tuân thủ chỉ dẫn và hiệu suất thực hiện tác vụ. Trong quá trình suy luận, mô hình tạo kết quả đầu ra bằng cách liên tục dự đoán và lựa chọn các token tiếp theo theo một chiến lược giải mã. Quá trình này cho phép tạo sinh ngôn ngữ linh hoạt, song cũng đồng nghĩa với việc kết quả đầu ra của mô hình phụ thuộc vào các biểu diễn thống kê đã học được, thay vì tự động tuân thủ các quy tắc tính toán tường minh. Kiến trúc mô hình, dữ liệu huấn luyện, phương pháp tối ưu hóa và các thiết lập suy luận đều đóng góp vào năng lực tổng thể của hệ thống. Quy trình và huấn luyện LLM. Nguồn: https://livephysics.com/infographics/cs-how-llms-trained/Hiện nay, các LLM hỗ trợ đa dạng ứng dụng, bao gồm trợ giúp giáo dục, sinh mã nguồn, phân tích tài liệu khoa học, xử lý văn bản và giao diện đàm thoại. Các hệ thống đa phương thức đã mở rộng hơn nữa những năng lực này sang các định dạng đầu vào như hình ảnh, âm thanh và video; trong khi việc tích hợp công cụ cho phép một số mô hình tương tác với các phần mềm và hệ thống tính toán bên ngoài. Những bước tiến này chứng minh tính linh hoạt của các mô hình ngôn ngữ mạng nơ-ron và vai trò ngày càng tăng của công nghệ này trong lĩnh vực AI hiện đại. Việc nắm vững kiến trúc, quy trình huấn luyện và cơ chế suy luận của các mô hình cung cấp nền tảng quan trọng để nghiên cứu các phương pháp tính toán khác cùng các hệ thống AI chuyên dụng. Bối cảnh tổng thể này tạo lập cơ sở kỹ thuật để nghiên cứu phương thức thiết kế và đánh giá các kiến trúc mô hình khác nhau cho từng lĩnh vực bài toán cụ thể. Động lực nghiên cứu Năng lực suy luận toán học là một khả năng thiết yếu trong trí tuệ nhân tạo, bởi tác vụ này đòi hỏi nhiều hơn việc nhận diện mẫu hoặc tạo ra các chuỗi văn bản có vẻ hợp lý. Các bài toán liên quan đến những biểu thức có cấu trúc, các toán tử được xác định rõ ràng, các mối quan hệ đại số và các quy tắc ràng buộc tính hợp lệ của những phép biến đổi. F