LLM (và thế giới xung quanh) đã thay đổi vĩnh viễn như thế nào — Giai đoạn 2022 - 2026

Trước khi bàn về khái niệm token, cần điểm lại bối cảnh thời điểm đó — bởi năm 2022 dường như không chỉ cách hiện tại bốn năm, mà tựa như thuộc về một kỷ nguyên hoàn toàn khác. Về địa chính trị: Tháng 2/2022, Nga phát động chiến dịch quân sự toàn diện tại Ukraine — cuộc chiến tranh trên bộ có quy mô lớn nhất tại châu Âu kể từ năm 1945. Thế giới phản ứng bằng hàng loạt biện pháp trừng phạt, kéo theo sự biến động dữ dội của giá năng lượng. Về tài chính (Mỹ): Cục Dự trữ Liên bang Mỹ (Fed) liên tục tăng mạnh lãi suất quỹ liên bang nhằm kiềm chế lạm phát, đạt mức 4,25–4,50% vào tháng 12. Lợi suất trái phiếu kho bạc Mỹ kỳ hạn 10 năm duy trì ở mức khoảng 3,88%. Về định nghĩa: "lãi suất quỹ liên bang" là lãi suất qua đêm áp dụng cho các khoản vay giữa các ngân hàng — do ngân hàng trung ương trực tiếp điều hành, chi phối toàn bộ thị trường tài chính ngắn hạn (thẻ tín dụng, khoản vay doanh nghiệp, tiền gửi tiết kiệm). Trong khi đó, "lợi suất trái phiếu kho bạc 10 năm" phản ánh mức chi phí vay vốn của Chính phủ Mỹ do thị trường xác định, dựa trên kỳ vọng tăng trưởng, lạm phát và mức độ thận trọng của các nhà đầu tư. Một số chỉ số đáng chú ý khác: 1 USD = 131 Yên Nhật Nợ công của Mỹ = 31.000 tỷ USD Tổng nợ (Microsoft, Meta, Alphabet, Oracle) ≈ 140 tỷ USD Giá dầu Brent = 93 USD/thùng Chính trong bối cảnh đó, ngày 30/11/2022, một ứng dụng chatbot khiêm tốn đã chính thức xuất hiện. Năm 2022 — Bước chuyển từ công cụ thử nghiệm thành hiện tượng toàn cầu ChatGPT được ra mắt dựa trên nền tảng GPT-3.5 — phiên bản tinh chỉnh từ GPT-3, một mô hình transformer chỉ giải mã (decoder-only) với 175 tỷ tham số (cấu trúc chính xác của GPT-3.5 chưa từng được công bố). Nền tảng cốt lõi của công nghệ này là kiến trúc transformer được giới thiệu trong bài báo khoa học "Attention Is All You Need" năm 2017, vốn đã trải qua 5 năm âm thầm định hình lĩnh vực Xử lý Ngôn ngữ Tự nhiên (NLP). Khái quát về phương thức vận hành của một mô hình ngôn ngữ lớn (LLM) gồm 6 bước cơ bản: 1) Phân tách từ tố (Tokenizer), 2) Nhúng từ (Embedding), 3) Mã hóa vị trí (Position encoding), 4) Cơ chế chú ý (Attention), 5) Mạng truyền thẳng (Feedforward network), 6) Hàm Softmax. Cả 6 giai đoạn này đều trở thành tâm điểm chạy đua đổi mới sáng tạo trong suốt 4 năm sau đó. Chi phí xử lý dữ liệu trí tuệ nhân tạo (qua API) vào cuối năm 2022: Mô hình cao cấp nhất của OpenAI có mức giá khoảng 20 USD trên 1 triệu token. Bản thân ChatGPT được cung cấp miễn phí dưới dạng bản thử nghiệm nghiên cứu, sau đó được ghi nhận là ứng dụng tiêu dùng có tốc độ phát triển nhanh nhất lịch sử, đạt mốc 100 triệu người dùng chỉ sau hai tháng. Năm 2023 — Kỷ nguyên của GPT-4, RAG và sự gia nhập của các LLM mã nguồn mở Nếu năm 2022 là đốm lửa khởi đầu, thì năm 2023 là giai đoạn bùng nổ — thời điểm các doanh nghiệp bắt đầu tìm kiếm giải pháp tích hợp công nghệ này vào thực tiễn. Các mô hình tiên phong tiêu biểu: GPT-4 (Tháng 3/2023): Có khả năng xử lý đa phương thức — xử lý văn bản khi ra mắt và bổ sung tính năng thị giác vào cuối năm 2023. Mô hình ghi nhận bước tiến lớn về năng lực suy luận và giảm thiểu đáng kể các câu trả lời sai lệch. Mức giá được ấn định là 30 USD cho dữ liệu đầu vào và 60 USD cho dữ liệu đầu ra trên mỗi 1 triệu token — cao gấp 10 lần so với GPT-3.5, phản ánh chi phí công nghệ không hề thấp. Tính năng gọi hàm (Function calling - Tháng 6/2023): Cho phép mô hình tạo các lệnh JSON có cấu trúc để kết nối với các công cụ bên ngoài — đặt nền móng cho các hệ thống "tác tử" (agent) hiện nay. Trình thông dịch mã (Code Interpreter - Tháng 7/2023): Cho phép ChatGPT viết và thực thi mã Python để xử lý vấn đề — tiền thân của các tác tử phân tích dữ liệu hiện hành. GPT-4 Turbo (Tháng 11/2023): Mở rộng dung lượng ngữ cảnh lên 128.000 token, cập nhật dữ liệu tri thức đến tháng 4/2023 và giảm giá sâu xuống mức 10/30 USD trên mỗi 1 triệu token, tạo điều kiện thuận lợi cho việc ứng dụng thực tế. Gemini 1.0 (Tháng 12/2023): Động thái đáp trả từ Google — mô hình đa phương thức ngay từ ban đầu, với ba phiên bản quy mô khác nhau (Ultra, Pro, Nano). Sự trỗi dậy của RAG: Kỹ thuật Tạo tăng cường truy xuất (Retrieval-Augmented Generation) trở thành xu hướng chủ đạo. Thay vì tái huấn luyện mô hình bằng dữ liệu nội bộ (vừa tốn kém, vừa chậm chạp), hệ thống sẽ truy xuất các tài liệu liên quan và đưa trực tiếp vào cửa sổ ngữ cảnh đầu vào. Nhờ đó, các LLM có thể tiếp cận nguồn dữ liệu bên ngoài — từ hồ sơ pháp lý, hồ sơ y tế, đến thông tin doanh nghiệp. các trang wiki nội bộ của công ty mà không cần trải qua quá trình huấn luyện từ trước trên các dữ liệu này. Các phiên bản phát hành then chốt (mô hình mã nguồn mở): Llama 2 của Meta (tháng 7/2023): Mở trọng số (open weights), được phép ứng dụng thương mại, quy mô từ 7 tỷ đến 70 tỷ tham số. Meta đặt cược rằng việc cung cấp miễn phí mô hình này sẽ biến tầng công nghệ mà hãng chưa chiếm ưu thế thành hàng hóa phổ thông, qua đó củng cố vị thế ở tầng công nghệ mà hãng đang nắm quyền chi phối. Mistral 7B (tháng 9/2023): Một mô hình kích thước nhỏ của Pháp nhưng đạt hiệu năng vượt trội so với các mô hình có quy mô lớn hơn nhiều lần. Mistral cũng phổ biến hóa kiến trúc Mixture-of-Experts (MoE) trong cộng đồng nguồn mở: mỗi token chỉ kích hoạt một vài mạng con “chuyên gia”, giúp một mô hình khổng lồ vận hành với chi phí chỉ bằng một phần nhỏ. Kiến trúc Sparse MoE đã trở thành cấu trúc mang tính định hình cho kỷ nguyên tiếp theo. Mixtral 8x7B (tháng 12/2023): Dấu mốc của MoE mã nguồn mở — gồm 8 chuyên gia, tổng cộng khoảng 47 tỷ tham số, kích hoạt khoảng 13 tỷ tham số cho mỗi token. Đây là bản thiết kế nền tảng mà DeepSeek sẽ sớm hoàn thiện sau đó. Các mô hình mã nguồn mở thời điểm đó vẫn tụt hậu đáng kể so với nhóm dẫn đầu thị trường. Nguồn mở chỉ đóng vai trò là giải pháp thay thế ở thế yếu — hữu ích, chi phí thấp, nhưng rõ ràng vẫn thuộc phân khúc hạng hai. Một sự xuất hiện khác không gây nhiều chú ý trong năm 2023 là DeepSeek. Được thành lập vào tháng 7/2023 bởi Liang Wenfeng — một nhà quản lý quỹ đầu tư định lượng từng âm thầm tích trữ GPU Nvidia trong hai năm "như một sở thích" — phòng thí nghiệm này đã phát hành các mô hình đầu tiên vào tháng 11: DeepSeek Coder (ngày 2/11) và DeepSeek LLM 7B/67B (ngày 29/11). Thời điểm đó, hầu như không ai bên ngoài Trung Quốc để mắt tới diễn biến này. Các mô hình có năng lực tốt, tương đương phân khúc Llama 2 và mở trọng số. Tuy nhiên, mô hình phát triển đã sớm định hình: công bố báo cáo kỹ thuật, phát hành trọng số và chuẩn bị cạnh tranh hạ giá đối với toàn thị trường. Trong vòng 15 tháng, mô hình này đã làm rung chuyển toàn bộ thị trường công nghệ Mỹ. Chi phí token vào cuối năm 2023: Giá của GPT-3.5 Turbo đã giảm xuống còn 0,50/1,50 USD cho mỗi triệu token, trong khi GPT-4 Turbo ở mức 10/30 USD. Chi phí trung bình cho mỗi cặp câu lệnh và câu trả lời đã giảm từ mức tương đương "một tách cà-phê" xuống chỉ còn "một phần nhỏ của một xu". Năm 2024 — Trung Quốc trỗi dậy, các mô hình học cách tư duy và tác tử AI (agents) ra đời Đến cuối năm 2023, nền kinh tế dịch vụ bọc ngoài (wrapper economy) bùng nổ mạnh mẽ — nhưng cấu trúc nền tảng bên dưới chuẩn bị được tái lập hoàn toàn. DeepSeek và bước đột phá MoE: Tiếp sau DeepSeekMoE — phiên bản kiến trúc Mixture-of-Experts đầu tiên (tổng cộng 16 tỷ tham số, chỉ kích hoạt 2,7 tỷ tham số cho mỗi token) — là DeepSeekMath vào tháng 2, giới thiệu thuật toán Group Relative Policy Optimization (GRPO), một phương pháp học tăng cường (reinforcement learning) tiết kiệm bộ nhớ dùng để huấn luyện và tinh chỉnh các LLM, đặc biệt cho các tác vụ suy luận nhiều bước như toán học, lập trình và giải quyết vấn đề có cấu trúc. Thời khắc mang tầm ảnh hưởng toàn cầu diễn ra với DeepSeek-V2 (tháng 5/2024): tổng quy mô 236 tỷ tham số với 21 tỷ tham số kích hoạt, cửa sổ ngữ cảnh 128K và cơ chế Multi-head Latent Attention (MLA) — một giải pháp nén "bộ nhớ" (KV cache —