Sự hoảng loạn chưng cất

'Các cuộc tấn công chưng cất' là một thuật ngữ khủng khiếp cho những gì đang xảy ra ngay bây giờ. Có, một số phòng thí nghiệm của Trung Quốc đang hack hoặc bẻ khóa các API để cố gắng trích xuất thêm tín hiệu từ các API mô hình - việc ngăn chặn điều này là rất quan trọng để duy trì vị trí dẫn đầu của Hoa Kỳ về khả năng AI. Gọi điều này là cuộc tấn công chưng cất sẽ liên kết tất cả các hoạt động chắt lọc với hành vi này một cách không thể thay đổi được và việc chắt lọc nói chung là một kỹ thuật cốt lõi cần thiết để phổ biến rộng rãi các khả năng của AI thông qua các hoạt động học thuật và kinh tế. Chúng tôi đã trải qua quá trình chuyển đổi ngôn ngữ này bằng cuộc tranh luận về nguồn mở và trọng lượng mở. Tất cả các thuật ngữ chỉ được rút gọn thành các mô hình mở - rất ít người trong cộng đồng AI rộng lớn biết chính xác nguồn mở khác với trọng lượng mở như thế nào. Và thuật ngữ cũng quan trọng, vì những người ít hiểu biết hơn vẫn quan tâm - và gây ảnh hưởng - đến công nghệ bị ràng buộc bởi các thuật ngữ khác nhau mà họ sử dụng. Nếu chúng ta không cẩn thận với diễn ngôn xung quanh quá trình chưng cất, nhiều người có thể liên tưởng kỹ thuật rộng rãi này được sử dụng để nghiên cứu và phát triển các mô hình mới như một hành động ở ranh giới giữa thao túng doanh nghiệp và tội phạm. Chia sẻ Gần đây tôi đã viết một bài mang tính kỹ thuật hơn về việc ước tính mức độ ảnh hưởng của các phương pháp chưng cất tiên tiến đối với các mẫu máy hàng đầu của Trung Quốc và phần này nhằm thúc đẩy sự thận trọng trong bất kỳ hành động vội vàng nào nhằm nhắm tới các phương pháp này bằng chính sách. Để chuẩn bị, hãy nhớ lại bài đăng trên blog gần đây của Anthropic, trong đó họ trình bày chi tiết về “các cuộc tấn công chưng cất” do 3 phòng thí nghiệm Trung Quốc thực hiện. Các phòng thí nghiệm này đã sử dụng một kỹ thuật gọi là "chưng cất", bao gồm việc đào tạo một mô hình kém năng lực hơn về kết quả đầu ra của một mô hình mạnh hơn. Chưng cất là một phương pháp đào tạo hợp pháp và được sử dụng rộng rãi. Ví dụ: các phòng thí nghiệm AI biên giới thường xuyên chắt lọc các mô hình của riêng họ để tạo ra các phiên bản nhỏ hơn, rẻ hơn cho khách hàng của họ. Nhưng quá trình chưng cất cũng có thể được sử dụng cho các mục đích bất hợp pháp: các đối thủ cạnh tranh có thể sử dụng nó để có được những khả năng mạnh mẽ từ các phòng thí nghiệm khác trong một khoảng thời gian ngắn và với một phần chi phí cần thiết để phát triển chúng một cách độc lập. Đây là một đoạn văn thông minh, trong đó họ bình thường hóa việc chưng cất nói chung và giải thích cách một số người có thể sử dụng nó một cách bất hợp pháp mà không nêu chi tiết cách sử dụng bất hợp pháp thường liên quan đến các hành vi rõ ràng khác như bẻ khóa, hack hoặc giả mạo danh tính của API. Bản thân quá trình chưng cất là một tiêu chuẩn công nghiệp. Nó được sử dụng rộng rãi, chủ yếu trong giai đoạn sau đào tạo, bởi những người chơi nhỏ hơn để tạo ra các mô hình chuyên dụng hoặc nhỏ hơn. Trong cuốn sách sắp ra mắt vào mùa hè này, tôi mô tả nó như sau: Thuật ngữ chắt lọc là hình thức thảo luận mạnh mẽ nhất xung quanh vai trò của dữ liệu tổng hợp trong các mô hình ngôn ngữ. Chắt lọc như một thuật ngữ xuất phát từ một định nghĩa kỹ thuật về việc chắt lọc kiến ​​thức giữa giáo viên và học sinh từ tài liệu học sâu. Chưng cất thông thường đề cập đến việc sử dụng kết quả đầu ra từ một mô hình mạnh hơn để huấn luyện một mô hình nhỏ hơn. Trong quá trình đào tạo sau, khái niệm chung về quá trình chưng cất này có hai dạng phổ biến: Là một công cụ dữ liệu để sử dụng trên nhiều quy trình sau đào tạo: Hoàn thành hướng dẫn, dữ liệu ưu tiên (hoặc AI Hiến pháp) hoặc xác minh cho RL. Để chuyển các kỹ năng cụ thể từ mô hình mạnh hơn sang mô hình yếu hơn, việc này thường được thực hiện cho các kỹ năng cụ thể như lý luận toán học hoặc mã hóa. Với định nghĩa này, thật dễ dàng để thấy quá trình chưng cất có nhiều hình thức như thế nào. Tất nhiên, nếu bạn chỉ lấy kết quả đầu ra từ GPT-5.5 và huấn luyện một mô hình cơ sở trọng lượng mở gần đây để lưu trữ một sản phẩm cạnh tranh thì đó là một chuyện. Tuy nhiên, rất nhiều thứ nằm trong quá trình chưng cất là các quy trình phức tạp, nhiều giai đoạn làm ảnh hưởng đến tác động chính xác của mô hình mà bạn đã chắt lọc. Các quy trình LLM hiện đại có thể giống như sử dụng API GPT để xây dựng lô dữ liệu tổng hợp ban đầu nhằm xây dựng mô hình xử lý dữ liệu nhỏ chuyên dụng. Một ví dụ điển hình là một mô hình như olmOCR (hoặc nhiều mô hình khác trong danh mục này) được đào tạo để chuyển đổi tệp PDF thành văn bản sạch. Mô hình chuyên biệt này sẽ được sử dụng để tạo ra lượng lớn dữ liệu. Cuối cùng, bạn huấn luyện một mô hình khác (thường là từ đầu) với dữ liệu mới mà bạn đã tạo. Mô hình cuối cùng này có phải được chắt lọc từ GPT không? Khi được thực hiện thông qua mô hình khép kín, dựa trên API, quá trình chưng cất nằm trong vùng màu xám của điều khoản dịch vụ mà bạn đồng ý khi đăng ký nền tảng Claude hoặc GPT. Họ thường cấm sử dụng API để tạo ra các sản phẩm mô hình ngôn ngữ cạnh tranh, nhưng thuật ngữ này phần lớn không được thực thi. Cộng đồng nguồn mở từng vô cùng lo lắng về việc bị cắt khỏi các API tiên tiến này để thực hiện nghiên cứu hoặc tạo bộ dữ liệu công khai, nhưng cho đến nay chỉ có một trường hợp nổi bật về việc tài khoản doanh nghiệp bị hạn chế (ít nhất là cho đến các công ty Trung Quốc gần đây). Tất cả những điều này để nói lên rằng quá trình chưng cất là một kỹ thuật tiêu chuẩn của ngành và việc sử dụng các API đóng để thực hiện quá trình chưng cất luôn là một vùng xám. Các mẫu Nemotron mới nhất của Nvidia, là một trong những mẫu duy nhất có bộ dữ liệu sau đào tạo mở, về mặt kỹ thuật phần lớn được chắt lọc từ các mẫu có trọng lượng mở của Trung Quốc. Các mô hình Olmo mà chúng tôi xây dựng tại Ai2 được chắt lọc từ sự kết hợp giữa các mô hình mở và đóng. Vùng màu xám này lại được đưa lên hàng đầu khi hóa ra xAI đã được chắt lọc từ OpenAI. Trích dẫn từ quá trình xét xử gần đây giữa Elon và OpenAI: Luật sư của OpenAI hỏi Musk rằng liệu xAI có từng “chắt lọc” công nghệ từ OpenAI hay không. Musk: “Nói chung các công ty AI đều chắt lọc các công ty AI khác.” “Có phải vậy không?” Savitt hỏi. Musk: “Một phần.” xAI có thể là công ty AI lớn nhất và thành công nhất sẵn sàng giải quyết vấn đề khó khăn từ các đối thủ cạnh tranh của họ. Mặt khác, phần lớn các công ty khởi nghiệp và nhóm nghiên cứu có ít nguồn lực hơn họ rất có thể sẽ tham gia vào việc chắt lọc một số năng lực từ các mô hình Claude, GPT hoặc Gemini. Interconnects AI là một ấn phẩm được người đọc hỗ trợ. có