Điểm cân bằng tối ưu: Một bộ não duy nhất và các vi điều hợp có thể cứu vãn AI mở như thế nào

Một lõi chung kết nối với các bộ điều hợp chuyên dụng từ phía trên. Tác phẩm minh họa ý tưởng do AI tạo ra. Kiến trúc AI / Suy luận cục bộ (Local inference) Điểm cân bằng tối ưu: Mô hình một "bộ não" nền tảng kết hợp hàng nghìn vi điều hợp có thể cứu vãn AI nguồn mở như thế nào Một khung xương chung, hàng nghìn chuyên gia tinh gọn và bộ nhớ đệm ngữ cảnh nhỏ hơn. Ngày 5/11/2026 · Thời gian đọc: 5 phút Một phòng nghiên cứu công bố mô hình nguồn mở mang tính đột phá. Trọng số được công khai, kết quả thử nghiệm hiệu năng ngang tầm các tập đoàn công nghệ sở hữu mô hình độc quyền, cộng đồng lập trình viên đón nhận nồng nhiệt. Tuy nhiên, rào cản xuất hiện khi xem xét yêu cầu hệ thống. Việc tải mô hình đòi hỏi hàng trăm gigabyte bộ nhớ băng thông cao trên một hệ thống giá đỡ cạc đồ họa cấp doanh nghiệp. Trọng số được mở, nhưng chi phí phần cứng trở thành một bức tường vô hình. Vấn đề này xuất phát từ khoảng cách giữa các tham số kích hoạt và tổng số tham số. Trong các kiến trúc kết hợp chuyên gia (MoE) hiện đại, việc tạo ra một từ duy nhất có thể chỉ kích hoạt 30 tỷ tham số. Về mặt tính toán, mức này tương đối thấp. Tuy nhiên, toàn bộ 600 tỷ tham số vẫn phải nạp sẵn trong bộ nhớ để chờ được gọi. Đối với một nhà cung cấp dịch vụ đám mây quy mô siêu lớn phục vụ hàng nghìn người dùng đồng thời, khoản đầu tư đó mang lại hiệu quả kinh tế. Song đối với một lập trình viên cá nhân hoặc một nhóm nhỏ vận hành trợ lý ảo cục bộ, việc chi trả cho một hệ thống bộ nhớ nhàn rỗi khổng lồ khiến việc tự vận hành trên máy chủ nội bộ (self-hosting) gần như bất khả thi. Để AI độc lập và bảo đảm tính riêng tư có thể tồn tại bên ngoài các trung tâm dữ liệu tập trung, cách thức xây dựng các hệ thống này cần được tư duy lại. Rào cản phần cứng từng được đề cập trong bài viết "AI Is Getting Better. Running It Yourself Is Getting Harder" (AI ngày càng hoàn thiện, tự vận hành ngày càng khó khăn). Vấn đề này tiếp tục phát triển từ câu hỏi trong bài "How Small Can We Slice an AI Model?" (Có thể phân tách một mô hình AI nhỏ đến mức nào?): dung lượng của mô hình cần duy trì trong bộ nhớ tốc độ cao cùng một thời điểm là bao nhiêu? Hướng đi tiếp theo không phải là xây dựng các mô hình nguyên khối ngày càng lớn hơn. Thay vào đó, mô hình có thể được phân tách thành một khung sườn cố định duy nhất kết hợp với một thư viện gồm hàng nghìn vi chuyên gia tinh gọn. Trọng tâm của cấu trúc là một mô hình nền tảng đã được nén và lượng tử hóa. Phần lõi này đảm nhiệm ngữ pháp phổ quát, tri thức thông thường và khả năng lập luận chung. Mô hình duy trì tải thường trực trong bộ nhớ GPU cục bộ, nhưng không lưu trữ toàn bộ các lĩnh vực ngách, cú pháp lập trình ít phổ biến hay các chính sách doanh nghiệp. Các năng lực chuyên biệt được lưu trữ trong một tập hợp mở rộng các bộ điều hợp hạng thấp (LoRA). Thay vì mỗi chuyên gia là một mạng nơ-ron toàn phần có dung lượng hàng gigabyte, mỗi vi chuyên gia chỉ là một sự hiệu chỉnh toán học tối giản được nén qua một điểm thắt hẹp. Ở mức hạng thấp, một chuyên gia chỉ có dung lượng từ 2 đến 5 megabyte. Việc điều hướng hàng nghìn bộ điều hợp này mà không làm giảm tốc độ xử lý đòi hỏi một bộ định tuyến phân tầng hai bước: Cổng phân loại lĩnh vực (Domain Gate): Bộ định tuyến cấp cao đánh giá phạm vi tổng quát của câu lệnh (prompt), thu hẹp từ 10.000 phương án tiềm năng xuống còn 20 đến 30 chuyên gia phù hợp. Bộ vi định tuyến (Micro-Router): Bộ định tuyến thứ cấp tiến hành chấm điểm chỉ trong nhóm nhỏ đó và chọn ra hai hoặc ba vi điều hợp tối ưu nhất phục vụ cho câu văn cần xử lý ngay tức thì. Số lượng tham số mới chỉ là một nửa bài toán. Một yếu tố khác âm thầm gây quá tải phần cứng tiêu dùng là bộ nhớ đệm ngữ cảnh (context cache): phần bộ nhớ mô hình dùng để theo dõi các từ ngữ đã xuất hiện trước đó trong hội thoại. Ở giai đoạn đầu của kiến trúc Transformer, cơ chế Chú ý Đa đầu (Multi-Head Attention) tiêu chuẩn yêu cầu lưu trữ các khóa (key) và giá trị (value) ở độ phân giải đầy đủ cho từng token trên mỗi đầu chú ý. Khi cửa sổ ngữ cảnh mở rộng lên đến hàng chục nghìn token, vùng nhớ đệm tạm thời này đã chiếm dụng toàn bộ bộ nhớ nhanh nhất trên chip. Các phòng nghiên cứu đã thử nghiệm giải pháp buộc các đầu chú ý phải chia sẻ bộ nhớ (như Multi-Query Attention và Grouped-Query Attention), nhưng phương pháp này làm suy giảm khả năng lập luận tinh vi. Bước đột phá xuất hiện cùng cơ chế Chú ý Ẩn Đa đầu (Multi-Head Latent Attention - MLA). Thay vì lưu bộ nhớ đệm các vector ở độ phân giải đầy đủ, MLA nén trạng thái lịch sử của từng token thành một vector ẩn thu gọn (thường chỉ gồm 512 chỉ số). Thông qua các tối ưu hóa đại số tuyến tính, mô hình tính toán cơ chế chú ý trực tiếp trên các con số đã nén này mà không cần giải nén bộ nhớ đệm lịch sử trở lại dạng cồng kềnh ban đầu. Quá trình nén này đạt hiệu quả do hoạt động giao tiếp của con người chịu sự chi phối của tính cục bộ chủ đề và tính cục bộ thời gian: Tính cục bộ chủ đề: Con người không chuyển đổi ngẫu nhiên giữa hàng nghìn khái niệm không liên quan từ câu này sang câu khác. Khi một cuộc thảo luận tập trung vào một nhiệm vụ cụ thể, từ vựng, cú pháp và tính logic sẽ duy trì trong phạm vi đó qua nhiều câu văn. Phần lớn không gian khái niệm rộng lớn của mô hình tạm thời không cần sử dụng đến. Tính cục bộ thời gian: Các ý tưởng được triển khai theo từng chuỗi nối tiếp. Những từ xuất hiện gần nhau về mặt thời gian mang mối liên kết ngữ pháp và logic chặt chẽ nhất, trong khi ngữ cảnh trước đó chỉ cần lưu giữ các điểm neo trung tâm thay vì toàn bộ chi tiết riêng lẻ. Do ý nghĩa thực tế của một cuộc hội thoại chỉ nằm trên một lát cắt hình học có số chiều thấp hơn nhiều, hệ thống không cần phải mở rộng mọi từ ngữ trong quá khứ trên hàng trăm chiều không gian để dự phòng. Cơ chế chú ý ẩn bảo toàn các tọa độ thu gọn của cuộc thảo luận, giảm khoảng 90% dung lượng bộ nhớ đệm ngữ cảnh mà vẫn duy trì năng lực suy luận sắc bén. Lợi ích vận hành thực tế thể hiện rõ nhất trong quá trình luân chuyển dữ liệu qua phần cứng vật lý. Việc hoán đổi một chuyên gia (expert) có dung lượng trọn vẹn 2 GB từ bộ nhớ RAM hệ thống qua khe cắm PCIe giữa các từ mất nhiều thời gian, khiến tốc độ tạo văn bản bị đình trệ. Ngược lại, việc truyền một adapter dung lượng 5 MB chỉ mất từ một đến hai mili-giây. Do các tác vụ của con người duy trì sự tập trung vào các chủ đề cụ thể trong thời gian dài, hệ thống không cần xử lý đồng thời hàng nghìn tệp dữ liệu: Card đồ họa cục bộ lưu trữ mô hình xương sống trung tâm và 50 adapter phổ biến nhất trong bộ nhớ tốc độ cao. Khi cuộc hội thoại đề cập đến một chủ đề hiếm gặp, chẳng hạn như một điều khoản pháp lý ít phổ biến hoặc một định dạng cơ sở dữ liệu chuyên biệt, hệ thống sẽ truyền adapter 5 MB đó từ bộ nhớ RAM thông thường hoặc ổ cứng thể rắn tốc độ cao chỉ trong một phần nhỏ của mili-giây. Khi nhiệm vụ hoàn thành, vùng nhớ được giải phóng để sẵn sàng cho công cụ tiếp theo. Các phòng thí nghiệm tiên phong sẽ tiếp tục huấn luyện các cụm mô hình dày đặc có quy mô hàng trăm tỷ tham số nhằm thiết lập các kỷ lục mới. Tuy nhiên, tầng cung cấp dịch vụ đang hướng tới một thực tế khác: một mô hình nền tảng dùng chung điều phối linh hoạt đến hàng nghìn adapter gọn nhẹ.