Có thể chia nhỏ một mô hình AI đến mức nào?

Một mô hình, được phân tách thành mạng lưới các điểm tính toán nhỏ hơn. ↳ AI vượt ra ngoài trung tâm dữ liệu Mô hình AI có thể được phân tách nhỏ đến mức nào? Câu hỏi có thể thay đổi đối tượng có quyền vận hành mô hình. Ngày 1/11/2026 · 6 phút đọc Định kỳ vài tháng một lần, giới quan sát lại chỉ ra thực trạng thế giới đang dư thừa năng lực tính toán nhàn rỗi. Máy tính xách tay không hoạt động trên bàn làm việc. Điện thoại thông minh tiêu hao phần lớn pin trong trạng thái chờ. Trong khi đó, các tập đoàn công nghệ độc quyền vẫn rót hàng trăm tỷ USD vào những trung tâm dữ liệu quy mô lớn, tiêu tốn lượng nước khổng lồ và vận hành các cụm máy chủ cao cấp để huấn luyện cũng như chạy những mô hình ngôn ngữ hiện đại. Giải pháp thay thế trực quan rất rõ ràng: phân chia mô hình và vận hành trên thiết bị của người dùng. Tuy nhiên, mỗi khi triển khai AI phi tập trung, các nỗ lực đều gặp phải rào cản tương tự. Các dự án như Petals và BloomBee đã chứng minh khả năng thực hiện suy luận qua mạng internet công cộng, nhưng các dự án này chủ yếu tiếp cận theo phương thức song song hóa đường ống (pipeline parallelism)—tức phân bổ toàn bộ các lớp (layer) cho từng máy tính riêng lẻ. Hạn chế của chiến lược này nằm ở điều kiện tham gia. Nếu Lớp 14 đòi hỏi 8 GB hoặc 16 GB bộ nhớ, mọi thiết bị chỉ còn trống 2 GB hoặc 4 GB RAM đều bị loại bỏ. Kết quả là mạng lưới trở thành một chuỗi liên kết lỏng lẻo gồm các máy chủ cấu hình khiêm tốn, thay vì một mạng lưới tính toán toàn diện thực sự. Bước đột phá thực sự không nằm ở việc phân phối theo từng lớp, mà ở việc phân tách ngay trong các lớp con (sub-layer). Hai động cơ của một lớp Một khối Transformer tiêu chuẩn được cấu thành từ hai động cơ tính toán riêng biệt: khối truyền thẳng/MLP (feed-forward/MLP) và cơ chế chú ý (attention mechanism). Cách thức thông tin biến đổi khi đi qua các khối chức năng này từng được phân tích trong bài viết "The words are the shadow". Trọng tâm hiện nay là phương thức phân chia quá trình tính toán đó trên nhiều thiết bị. Trước đây, cả hai động cơ đều đòi hỏi quá trình nhân ma trận dày đặc, liên tục trên toàn bộ các tham số hoạt động. Song các cải tiến kiến trúc gần đây—với động lực từ các mô hình mở tiên tiến như DeepSeek-V4-Flash—đã phá vỡ cấu trúc nguyên khối này về mặt căn bản. 1. Lớp MLP: Tính chất thưa triệt để và các chuyên gia dạng hạt nhỏ (Granular Experts) Các mô hình hỗn hợp chuyên gia (MoE) hiện đại không còn sử dụng một khối MLP nguyên khối duy nhất cho mỗi lớp. Cấu trúc này chia nhỏ bước truyền thẳng thành nhiều mạng con biệt lập, chuyên biệt hóa. Trong một mô hình có 284 tỷ tham số, chỉ một phần nhỏ—khoảng 13 tỷ tham số—được kích hoạt cho mỗi token nhất định. Do các khối chuyên gia hoạt động độc lập, hệ thống không đòi hỏi một thiết bị phải lưu trữ toàn bộ lớp MLP, thậm chí không cần lưu trữ trọn vẹn một khối chuyên gia đơn lẻ: Phân mảnh ở cấp độ chuyên gia (Expert-level sharding): Một thiết bị có thể lưu trữ một khối chuyên gia biệt lập, hoặc thậm chí một tập hợp con các trọng số bên trong ma trận chiếu của khối chuyên gia đó. Kích hoạt có mục tiêu: Thay vì chuyển các trạng thái ẩn (hidden states) dung lượng lớn đến mọi nơi, một lớp định tuyến thông minh sẽ chỉ chuyển token đến đúng các nút mạng chứa khối chuyên gia được chọn cho bước xử lý cụ thể đó. Chi phí gia nhập tối thiểu: Trong thiết kế đề xuất này, một máy tính chỉ với 500 MB đến 1 GB RAM trống có thể lưu trữ một phần nhỏ ma trận chuyên gia và chỉ kích hoạt khi phần dữ liệu này được yêu cầu. Đây là mức dự toán bộ nhớ mục tiêu, chưa tính đến chi phí vận hành (runtime) và phụ phí truyền thông tin. 2. Cơ chế chú ý: Thu gọn bộ nhớ đệm KV (KV Cache) Điểm nghẽn thứ hai từ trước đến nay là bộ nhớ đệm Khóa - Giá trị (KV cache). Trong cơ chế Đa đầu Chú ý (Multi-Head Attention) truyền thống, khi ngữ cảnh mở rộng, bộ nhớ cần thiết để lưu trữ các trạng thái chú ý tăng đột biến, khiến việc suy luận ngữ cảnh dài gần như bất khả thi trên các nút mạng cá nhân phân tán. Những bước phát triển gần đây đã làm thay đổi bài toán này: Nén biến tiềm ẩn (Latent compression): Các kỹ thuật như Cơ chế chú ý tiềm ẩn đa đầu (Multi-Head Latent Attention - MLA) nén các phép chiếu khóa (key) và giá trị (value) thành các véc-tơ tiềm ẩn hạng thấp có kích thước nhỏ. Trong thiết kế phân tán, các nút mạng có thể trao đổi các biểu diễn tiềm ẩn đã được nén khi cấu trúc phân vùng cho phép. Khối chú ý thích ứng (Adaptive attention blocks): Thay vì để mọi token đều chú ý đến toàn bộ các vị trí liền trước trên toàn bộ cửa sổ ngữ cảnh, cơ chế chú ý thưa (sparse attention) và bỏ qua tính toán (computation skipping) giúp giảm bớt các kết nối ngữ cảnh hoặc khối lượng tính toán. Đây là các kỹ thuật độc lập mà mô hình bầy đàn (swarm design) có thể kết hợp. Tiết giảm lưu lượng (Traffic suppression): Mục tiêu là kết hợp nén trạng thái với việc giảm tải lưu lượng bộ nhớ đệm (cache), qua đó khối lượng xử lý cơ chế chú ý có thể được phân mảnh (shard) qua các thiết bị biên mà không làm nghẽn băng thông tải lên của người dùng phổ thông. Phá vỡ nút thắt cổ chai tại các trung tâm dữ liệu Quan điểm thông thường cho rằng việc vận hành song song tensor (tensor parallelism) bên ngoài các tủ rack máy chủ là điều bất khả thi, do độ trễ của mạng Wi-Fi dân dụng lớn hơn nhiều bậc so với các kết nối nội bộ tốc độ cao trong máy chủ. Nhận định này đúng nếu cố gắng tái lập một siêu máy tính xử lý dày đặc (dense supercomputer) trên đường truyền băng thông rộng gia đình. Tuy nhiên, điều này không nhất thiết đúng nếu kiến trúc được xây dựng dựa trên tính thưa (sparsity) và tính cục bộ (localization): So sánh cấu trúc đường ống (pipeline) hiện tại với các mục tiêu thiết kế bầy đàn phân lớp phụ (sub-layer swarm) được đề xuất: Tiêu chí | Song song hóa đường ống truyền thống | Bầy đàn thiết bị biên phân lớp phụ đề xuất Độ chi tiết | Toàn bộ các lớp được gán cho toàn bộ máy | Các mảnh siêu nhỏ (micro-shard) của từng chuyên gia (expert) và khối lượng xử lý chú ý Bộ nhớ thiết bị | Phụ thuộc vào mô hình, lượng tử hóa và vị trí đặt khối | Mục tiêu thiết kế từ 500 MB đến 2 GB RAM của thiết bị dân dụng thông thường Kích hoạt token | Token đi qua các giai đoạn phân lớp tuần tự, vốn có thể đã chứa MoE | Thực thi thưa: chỉ vận hành các chuyên gia được chỉ định và các đường dẫn chú ý được chọn Dung lượng mạng | Kích hoạt trạng thái ẩn giữa các giai đoạn; bộ nhớ đệm KV có thể lưu tại các lớp lưu trữ | Biểu diễn nén (nơi được hỗ trợ), kết hợp giao tiếp giữa các mảnh tensor Bảng so sánh trên mô tả một kiến trúc được đề xuất, không phải là kết quả đo lường từ một đợt triển khai thực tế. Các phân mảnh nhỏ hơn giúp giảm dung lượng bộ nhớ trọng số cần thiết trên mỗi thiết bị; tuy nhiên, lưu lượng truyền thông phát sinh vẫn cần tiếp tục được thiết kế kỹ thuật và đo kiểm chuẩn. Khi các nút mạng được tổ chức theo cấu trúc liên kết mạng (topology), bộ định tuyến sẽ điều phối các token dựa trên cả tính chuyên biệt ngữ nghĩa lẫn khoảng cách vật lý. Các phân mảnh chuyên gia liền kề có thể đặt tại các nút chia sẻ mạng nội bộ có độ trễ thấp, loại bỏ các chu trình truyền dữ liệu xuyên đại dương không cần thiết. 1. Những đơn vị đang xây dựng mô hình bầy đàn phi tập trung? (Các giao thức) Về phía biên phi tập trung, một số dự án lớn đang xây dựng hạ tầng để lưu trữ, phân mảnh và định tuyến mô hình một cách linh hoạt trên các thiết bị phân tán: Petals (BigScience / Mã nguồn mở): Đây là mô hình triển khai trực tiếp khái niệm "BitTorrent cho AI". Được xây dựng