Kỹ thuật ẩn đằng sau mọi mô hình AI: Lưu trữ, tính toán và quy trình dữ liệu ít được nhắc đến

Mọi mô hình AI đều được xây dựng dựa trên hạ tầng kỹ thuật, không phải phép thuật. AI vận hành dựa trên hạ tầng kỹ thuật Khi nói về trí tuệ nhân tạo, người ta thường nhắc đến các mô hình như GPT, Claude, Gemini, những đột phá, các tiêu chuẩn đánh giá và những khả năng dường như tiệm cận khoa học viễn tưởng. Tuy nhiên, điều ít khi được đề cập đến là hạ tầng kỹ thuật bên dưới. Thực tế mà mọi kỹ sư học máy đều biết nhưng không ai viết bài trên Medium là: mô hình là phần dễ. Phần khó – phần chiếm 80% thời gian, 90% ngân sách và gây ra 95% thất bại – là tất cả những gì diễn ra trước và xung quanh mô hình. Đó là đường ống dữ liệu, kiến trúc lưu trữ, điều phối tính toán, kỹ thuật đặc trưng (feature engineering), giám sát và cơ sở hạ tầng âm thầm cung cấp, huấn luyện, phục vụ và duy trì hoạt động của các hệ thống AI mà thế giới đang rất quan tâm. Với tư cách là một kỹ sư máy tính, tôi cho rằng lớp vô hình này xứng đáng được chú ý. Bởi vì, để hiểu cách AI thực sự hoạt động, cần phải hiểu rõ hạ tầng kỹ thuật – không chỉ là phần nổi. Vấn đề tảng băng chìm Tảng băng chìm AI Hãy hình dung một tảng băng chìm. Phần nổi trên mặt nước – 10% có thể nhìn thấy – chính là mô hình AI. Kiến trúc, các tham số, thuật toán huấn luyện. Đó là những gì được công bố trong các bài báo, trình diễn trong các buổi giới thiệu và thảo luận trên Twitter. 90% còn lại – cấu trúc khổng lồ ẩn dưới bề mặt – là cơ sở hạ tầng: Thu thập và nhập dữ liệu – Dữ liệu huấn luyện đến từ đâu? Nó được thu thập như thế nào? Làm sạch và chuẩn bị dữ liệu – Làm thế nào để loại bỏ trùng lặp, sửa lỗi, xử lý các giá trị bị thiếu và cấu trúc dữ liệu thô thành dạng có thể sử dụng được? Kiến trúc lưu trữ – Tất cả dữ liệu này được lưu trữ ở đâu? Nó được tổ chức, quản lý phiên bản và truy cập nhanh chóng như thế nào? Kỹ thuật đặc trưng (Feature engineering) – Làm thế nào để biến dữ liệu thô thành các đầu vào cụ thể mà mô hình cần? Điều phối tính toán – Làm thế nào để điều phối hàng nghìn GPU trong nhiều ngày hoặc nhiều tuần huấn luyện? Phục vụ mô hình – Làm thế nào để triển khai một mô hình đã được huấn luyện để hàng triệu người có thể sử dụng đồng thời? Giám sát và khả năng quan sát – Làm thế nào để biết mô hình vẫn hoạt động chính xác sau khi triển khai? Mỗi yếu tố này đều là một lĩnh vực kỹ thuật chuyên sâu. Và nếu bất kỳ yếu tố nào trong số đó gặp sự cố, mô hình sẽ không hoạt động – bất kể thuật toán có xuất sắc đến đâu. Giai đoạn 1: Thu thập dữ liệu – "Rác vào, rác ra" (ở quy mô lớn) Mọi mô hình AI đều bắt đầu bằng dữ liệu. Và quy mô dữ liệu cần thiết cho các mô hình hiện đại là rất lớn. Một mô hình ngôn ngữ lớn như GPT-4 hoặc Claude được huấn luyện trên hàng nghìn tỷ token – về cơ bản là hàng nghìn tỷ từ được thu thập từ sách, trang web, kho mã nguồn, bài báo khoa học và các bộ dữ liệu công khai. Một mô hình thị giác có thể được huấn luyện trên hàng tỷ hình ảnh. Một mô hình đa phương thức cần cả hai, cộng thêm âm thanh, video và dữ liệu có cấu trúc. Tuy nhiên, dữ liệu thô thường lộn xộn. Internet chứa đầy các bản sao, thư rác, thông tin lỗi thời, nội dung độc hại, tài liệu có bản quyền và những nội dung vô nghĩa. Thu thập dữ liệu ở quy mô lớn thì dễ. Thu thập dữ liệu tốt ở quy mô lớn là một cơn ác mộng kỹ thuật. Các hệ thống thu thập dữ liệu web (web crawling) truy cập hàng tỷ trang web, trích xuất văn bản và lưu trữ ở định dạng thô. Nhưng một tỷ lệ đáng kể trong số đó là rác – các đoạn văn bản lặp lại, menu điều hướng, quảng cáo, thông báo cookie và nội dung tự động tạo. Các thuật toán loại bỏ trùng lặp so sánh từng phần văn bản với các phần khác để loại bỏ nội dung gần như giống hệt nhau. Ở quy mô hàng nghìn tỷ token, điều này đòi hỏi chi phí tính toán lớn và yêu cầu... các cấu trúc dữ liệu chuyên biệt như MinHash và băm nhạy cảm cục bộ (locality-sensitive hashing). Việc lọc chất lượng sử dụng các bộ phân loại – thường là các mô hình AI nhỏ hơn – để đánh giá chất lượng nội dung. Nội dung chất lượng thấp, độc hại hoặc không liên quan sẽ bị loại bỏ. Nội dung chất lượng cao, giàu thông tin sẽ được giữ lại. Một sự thật khó chịu là: Các tổ chức thường xuyên báo cáo rằng họ sử dụng AI trong ít nhất một chức năng kinh doanh, nhưng phần lớn không thấy kết quả thực sự. Nút thắt cổ chai hiếm khi nằm ở mô hình – mà là ở cơ sở hạ tầng dữ liệu cũ kỹ, dễ hỏng hóc cung cấp cho nó. Giai đoạn 2: Đường ống dữ liệu – Dây chuyền lắp ráp không ai thấy Từ dữ liệu thô đến tập dữ liệu huấn luyện. Khi dữ liệu được thu thập, nó cần được di chuyển. Liên tục. Đáng tin cậy. Với quy mô lớn. Một đường ống dữ liệu là hệ thống vận chuyển dữ liệu từ nơi nó được tạo ra đến nơi nó cần – thông qua một loạt các phép biến đổi trên đường đi. Hãy hình dung nó như một dây chuyền lắp ráp nhà máy, nhưng thay vì các bộ phận vật lý, dữ liệu thô đi vào một đầu và các tập dữ liệu sẵn sàng để huấn luyện xuất hiện từ đầu kia. Sự phát triển: ETL → ELT → Truyền phát thời gian thực Thế giới đường ống dữ liệu đã trải qua ba kỷ nguyên chính: ETL (Extract, Transform, Load) là phương pháp ban đầu. Trích xuất dữ liệu từ các nguồn, biến đổi nó sang định dạng phù hợp, sau đó tải nó vào kho dữ liệu. Điều này hoạt động cho kinh doanh thông minh truyền thống – báo cáo hàng tháng, tóm tắt hàng quý. Nhưng nó chậm và cứng nhắc. ELT (Extract, Load, Transform) đã đảo ngược thứ tự. Tải dữ liệu thô trước vào bộ nhớ đám mây giá rẻ (hồ dữ liệu), sau đó biến đổi nó theo yêu cầu bằng cách sử dụng sức mạnh tính toán khổng lồ của các công cụ đám mây hiện đại như Snowflake hoặc Databricks. Điều này nhanh hơn và linh hoạt hơn. Năm 2026, biên giới là các kiến trúc lai – truyền phát sự kiện liên tục kết hợp với ELT. Các hệ thống như Apache Kafka truyền phát dữ liệu theo thời gian thực, trong khi xử lý hàng loạt xử lý phân tích lịch sử. Sự kết hợp này – đôi khi được gọi là "kiến trúc huy chương" – cho phép các tổ chức chạy cả suy luận AI thời gian thực và huấn luyện mô hình quy mô lớn từ cùng một cơ sở hạ tầng dữ liệu. Một đường ống dữ liệu AI hiện đại thực sự trông như thế nào Một trường dữ liệu duy nhất được đưa vào một đường ống sản xuất có thể chạm tới sáu hệ thống con phải được đồng bộ hóa hoàn hảo: Các thanh ghi cấu hình – định nghĩa dữ liệu nào tồn tại và nơi nó được lưu trữ Logic định tuyến – quyết định dữ liệu nào đi đến bước xử lý nào Thành phần DAG – tổ chức các bước xử lý thành một đồ thị tuần hoàn có hướng (cây phụ thuộc) Các quy tắc xác thực – kiểm tra chất lượng dữ liệu ở mọi bước