Hệ sinh thái mô hình mở kết hợp như thế nào

Lưu ý: Tính năng thuyết minh cho các bài đăng có tường phí có sẵn cho người đăng ký trả phí trong ứng dụng podcast nếu bạn nhấp vào cài đặt trên Kết nối, sau đó quản lý mô tả của mình. Cảm ơn đã lắng nghe! Hầu hết công việc tính toán để xây dựng một mô hình biên giới hàng đầu đều xuất phát từ chi phí R&D, thay vì tính toán để đào tạo mô hình lớn cuối cùng từ đầu đến cuối. Trong một hệ sinh thái như Trung Quốc, nơi tất cả những công ty hàng đầu đều mở cửa, điều này tạo ra một lợi thế tiềm ẩn có ý nghĩa về cơ cấu chi phí, cho phép các phòng thí nghiệm tiếp tục xây dựng lâu hơn những gì các nhà quan sát bên ngoài mong đợi. Có hai nghiên cứu gần đây, một từ Ai2 ghi lại quá trình phát triển của Olmo 3 và một từ Epoch AI nghiên cứu tài liệu công khai về chi phí từ các phòng thí nghiệm biên giới khác nhau, đưa ra ước tính chi phí điện toán cho R&D thay vì mô hình cuối cùng là khoảng 80% (với các thanh lỗi có ý nghĩa). Trong một thế giới mà nghiên cứu và phát triển chủ yếu là tính toán, hệ thống của Trung Quốc được thiết kế nhằm nhanh chóng học hỏi từ các đồng nghiệp của bạn và tránh chi tiêu gấp đôi cho tính toán nghiên cứu - hay nỗ lực về cơ sở hạ tầng. Nó còn lâu mới hoàn hảo, nhưng nó là hệ sinh thái tương tự gần nhất với hệ sinh thái OSS mà người ta có thể có được để xây dựng LLM. Cuộc thảo luận công khai về AI luôn nhấn mạnh rằng các mô hình đắt tiền theo cách khiến người đọc thụ động một cách tự nhiên nghĩ rằng đây là tính toán chỉ dành riêng cho tạo tác - như chúng ta đã thấy với DeepSeek V3. Chia sẻ Điều này khiến tôi phải xem lại vấn đề cốt lõi của AI nguồn mở và cách nó không có các vòng phản hồi giống như người dùng phần mềm nguồn mở (OSS) quay lại chính quá trình sáng tạo, điều đó tạo ra giá trị to lớn theo quy luật của Linus là “có đủ nhãn cầu, mọi lỗi đều nông cạn”. Việc tự củng cố OSS này làm cho việc triển khai trên quy mô lớn trở thành kết quả rẻ nhất có thể - tất cả người dùng cùng nhau chia sẻ chi phí sửa lỗi và bổ sung các tính năng. Trong AI nguồn mở, gần như toàn bộ chi phí đều rơi vào tay nhà phát triển mô hình. Đồng thời, việc phát hành mô hình một cách công khai sẽ mang lại những lợi ích to lớn giúp giảm chi phí nhưng chúng chỉ giúp giảm chi phí phát triển và triển khai trong tương lai cho chính người sáng tạo mà quan trọng hơn là cho hệ sinh thái rộng rãi. Các mô hình, công cụ, cơ sở hạ tầng AI mở và mọi thứ ở giữa đều giúp giảm chi phí phát triển chứ không phải giảm chi phí cắm và chạy đối với các giải pháp hoặc sản phẩm táo bạo. Nếu ai đó chỉ sử dụng AI có sẵn với số lần lặp lại hoặc phát triển nội bộ tối thiểu, thì việc sử dụng các mô hình mở hầu như sẽ luôn đắt hơn. Việc sử dụng các giải pháp đóng, tích hợp, được lưu trữ sẽ đạt được mức giá thấp nhờ tính kinh tế nhờ quy mô trong phạm vi sử dụng chung. Hệ sinh thái nguồn mở chỉ có thể cố gắng phản ánh mức tăng hiệu suất và tài chính theo kiểu OSS trong hiệu suất liên tục. Các phòng thí nghiệm Trung Quốc, thông qua các báo cáo kỹ thuật cực kỳ kỹ lưỡng và chia sẻ kiến thức có chủ ý giữa các phòng thí nghiệm một cách hiệu quả, đang giảm thiểu rủi ro cho các công ty ngang hàng của họ để không nhất thiết phải đầu tư nhiều nguồn lực vào. Để điều này có hiệu quả, tiêu chuẩn hiện tại về việc các công ty AI phân nhánh các công cụ nguồn mở để phát triển chúng thành các phiên bản chỉ dành cho nội bộ có thể sẽ cần phải bị loại bỏ. Việc các công ty AI nguồn mở có lợi thế bán hàng là hoạt động tốt hơn thông qua các thỏa thuận doanh nghiệp hoặc các công cụ nội bộ là điều quá phổ biến, vì các công cụ mở hoàn toàn mà mọi người bắt đầu sử dụng đang bị tụt hậu về khả năng truy cập. Một ví dụ điển hình là đào tạo RL quy mô lớn cho các mô hình MoE - không có công thức mở thực sự nào tồn tại. Không rõ liệu các công cụ hỗ trợ mở nhưng đóng một phần như Tinker của Think Machine và Prime Intellect's Lab có thể đủ mở để tận dụng lợi thế của hệ sinh thái mở để tự duy trì hay không. Ngăn xếp càng mở và càng có nhiều thông tin được chia sẻ thì chi phí càng giảm trong các lần lặp lại trong tương lai. Lý do tương tự khiến các công ty phân tách các công cụ nguồn mở để tạo ra các phiên bản nội bộ cũng áp dụng cho lý do tại sao không có một mô hình nền tảng chung, duy nhất mà mọi người đều xây dựng dựa trên đó. Việc xây dựng mô hình tốt nhất ngày nay trở thành một nghệ thuật tích hợp phần cứng, dữ liệu và cơ sở hạ tầng của bạn, đồng thời phát triển tất cả chúng ở tốc độ tương đối cao cho phép bạn theo kịp giới hạn hiệu suất. Cho rằng tất cả các dấu hiệu đều cho thấy LLM tiếp tục tiến trình cải thiện hiệu suất ổn định trong nhiều năm, có vẻ như khó có thể mong đợi trạng thái cân bằng này sẽ thay đổi trong thời gian tới. Đây chính xác là lý do tại sao tôi viết bài đăng của mình về nhu cầu tất yếu đối với một tập đoàn mô hình mở - tài nguyên được chia sẻ này hiệu quả hơn nhiều và có thể trở thành cách khả thi về mặt tài chính duy nhất để cạnh tranh ở quy mô biên giới trong tương lai với các mô hình mở. Tất nhiên, cần lưu ý rằng các phòng thí nghiệm đóng cửa cũng xem các cuộc điều tra của các công ty theo mô hình biên giới mở và có thể hưởng lợi từ chúng, nhưng với giả định rằng các phòng thí nghiệm đóng cửa đi trước vài tháng trong sơ đồ phát triển, họ thường đương nhiên được hưởng lợi ít hơn từ những hiểu biết được chia sẻ. Cộng đồng nguồn mở càng mạnh thì càng có nhiều động lực chi phí để các công ty khác nhau tương đối gần nhau trên cùng một đường cong hiệu suất Pareto. Việc nhận ra sự khác biệt giữa chi phí phát triển hoặc công nghệ tập trung vào quy trình, thay vì một số nền tảng chung mà tất cả các phòng thí nghiệm đều trực tiếp xây dựng là câu hỏi mà tôi nhận được trong phản hồi về bản tóm tắt chuyến đi Trung Quốc gần đây của mình. Câu hỏi là: &#8220 ;Có cơ hội nào để hệ sinh thái Trung Quốc hội tụ vào một mô hình cơ sở duy nhất để tiết kiệm chi phí không?” Phần tiếp theo của câu hỏi này là liệu có bất kỳ công ty trọng lượng mở nào ở Trung Quốc đang sử dụng nguồn mở theo những cách có ý nghĩa chiến lược hay không. Có nhiều câu hỏi hữu ích hơn để hỏi ở đây, đặc biệt là khi cố gắng tìm hiểu các mô hình hoạt động khác nhau của hệ sinh thái. Mô hình phát triển mô hình nền tảng của Trung Quốc Tôi nhận thấy cuộc phỏng vấn sau đây do Bill Gurley thực hiện với Dan Wang, tác giả cuốn Breakneck, và Patrick McGee, tác giả cuốn Apple ở Trung Quốc, (cả hai cuốn sách tôi thực sự khuyên bạn nên đọc – phải đọc) đều khơi gợi rất nhiều suy nghĩ về vấn đề lớn nhất.