Tạm biệt Ai2

Tôi rời Viện AI Allen (Ai2), nơi tôi có đặc ân được làm việc với các mô hình Olmo, để phát triển, học hỏi và tạo ra những tác động rộng lớn, lâu dài. Bài viết này nhằm mục đích suy ngẫm về lý do tại sao những gì chúng tôi đã làm lại có ảnh hưởng, mặc dù rõ ràng là còn xa so với hiệu suất hàng đầu (ngay cả trong cùng phân khúc kích thước), và điều này phản ánh như thế nào về các con đường khác nhau để tạo ra tác động trong AI ngày nay. Để bắt đầu, tôi đã chia sẻ thông báo sau với công ty vào ngày hôm qua: Kính gửi Ai2, Như nhiều người trong số các bạn đã biết, hôm nay là ngày làm việc cuối cùng của tôi tại Ai2. Tôi gia nhập Ai2 phần lớn là một sự tình cờ. Tôi đã gặp Luca tại ICML 2023 ở Hawaii và nhận ra rằng tôi có thể nâng cao đáng kể công việc hậu huấn luyện mở của mình nếu tôi có cơ hội tham gia. Khi nhận được lời đề nghị, đó là một quyết định không cần suy nghĩ, đó là một môi trường rất thân thiện và thú vị. Đó là một hành trình tuyệt vời đã thay đổi cuộc đời tôi, và tôi không thể tự hào hơn về công việc chúng tôi đã làm cùng nhau. Ai2 có một văn hóa khoa học tuyệt vời ở cốt lõi và tôi rất vui khi thấy điều này tiếp tục. Tôi cảm thấy rất may mắn khi được ở đây và cá nhân tôi đã hưởng lợi rất nhiều từ tất cả những người đã làm việc chăm chỉ để vun đắp văn hóa và môi trường đó. Đó là và đã là một nỗ lực của cả nhóm. Điều này bao gồm tất cả những người mà tương tác lâu nhất của họ với tôi là những cuộc trò chuyện ngắn tại máy pha cà phê. Tôi đã nhận được rất nhiều năng lượng và sự phấn khích từ tất cả những cách khác nhau mà mọi người tại Ai2 đã thể hiện vì sứ mệnh. Tôi đã cảm ơn trực tiếp phần lớn nhóm OE, nhưng tôi muốn cảm ơn tất cả những người khác đã đóng góp vào việc này. Pháp lý, IT, Truyền thông và nhóm Văn phòng đều làm rất tốt việc hỗ trợ và nâng cao công việc nghiên cứu của chúng tôi. Đó thường là công việc bị lãng quên, nằm ngoài ánh đèn sân khấu, hoặc được nhớ đến vào phút cuối, nhưng tất cả đều rất quan trọng để đạt được mục tiêu của chúng tôi. Tôi rất vui khi tiếp tục ghé thăm không gian Northlake tuyệt vời trong những năm tới. Mặc dù tôi sẽ rời đi, tôi vẫn hào hứng hơn bao giờ hết về sứ mệnh của Ai2. Ai2 hoạt động trong một lĩnh vực hiếm hoi giữa học thuật và công nghiệp, nơi chúng ta có thể khám phá và ảnh hưởng đến công nghệ quan trọng nhất trong cuộc đời chúng ta. Thực hiện điều này một cách cởi mở là cách tốt nhất để đảm bảo công nghệ được phổ biến an toàn đến tất cả những người có thể hưởng lợi. Ai2 cần phải duy trì tham vọng cao nhất có thể, cố gắng ảnh hưởng đến những tiến bộ hàng đầu của AI và những vấn đề lớn nhất của lĩnh vực này. Đừng né tránh những thách thức này – AI cần những tiếng nói độc lập khi nó ngày càng trở nên địa chính trị, gây rối loạn xã hội và trung tâm của nền kinh tế. Tôi sẽ vẫn làm việc trong lĩnh vực này, cố gắng làm cho hệ sinh thái mở được phối hợp tốt hơn và hữu ích hơn. Vì vậy, khi tôi đi thử một điều gì đó mới, đừng xa lạ. Tôi sẽ luôn có thể liên lạc được tại nathan@natolambert.com và vẫn sẽ sống ở Seattle trong phần lớn thời gian trong năm. Nathan Tôi đã yêu và sẽ vẫn yêu Ai2. Ai2 có một văn hóa sâu sắc về việc quan tâm đến quy trình nghiên cứu, các kết quả được chia sẻ và quan trọng nhất là những người thực hiện công việc. Đây là lý do tại sao tổ chức tạo ra vô số người tuyệt vời đi và truyền bá thông điệp trong cộng đồng nghiên cứu. Văn hóa cốt lõi này sẽ vẫn tồn tại trong quá trình tái cấu trúc, và có rất nhiều nguồn lực để thực hiện nghiên cứu có tác động trên toàn bộ phổ AI. Trong hai năm cuối cùng của tôi tại Ai2, tôi đã thực hiện rất nhiều công việc có ý nghĩa. Tất nhiên Olmo là ưu tiên hàng đầu và là ưu tiên của tôi, nhưng việc dành thời gian cho việc thực hành nhất quán ở đây trên Interconnects, các buổi học cấp tốc cuối tuần cho ATOM, và cả cuốn sách RLHF thú vị đã tạo nên hoặc một danh sách khiến tôi tự hỏi làm thế nào mình đã hoàn thành tất cả. Rõ ràng tôi đã bị ám ảnh bởi công việc, nhưng không đến mức mất ngủ hay ảnh hưởng đến sức khỏe tổng thể. Đó là một cách tiếp cận dài hạn đúng đắn. Danh sách ấn tượng này là nơi tôi đã kiên quyết từ chối những điều không quan trọng và hoàn thành tất cả công việc để chúng được công bố. Tôi không có dự án quy mô vừa nào thất bại trong vài năm qua. Điều này khiến tôi tự hỏi liệu mình có đang không chấp nhận đủ rủi ro hay không. Nó cho thấy bạn thực sự có thể làm được rất nhiều việc với thời gian của mình, và thực tế là khó hơn để tìm ra những vấn đề và môi trường phù hợp để thực hiện điều đó. Nhiều người đang ở trong môi trường mà công việc của họ không bao giờ được công khai hoặc họ buộc phải thay đổi chủ đề liên tục. Chia sẻ Từ con số 0 đến người hùng Để bắt đầu, tôi muốn tóm tắt ngắn gọn về con đường của mình đến Ai2 để cho thấy Ai2 cũng là một câu chuyện phát triển đối với tôi, giống như một câu chuyện thực thi. Tôi học kỹ thuật điện ở bậc đại học, tập trung vào toán học hệ thống tuyến tính và vi điện tử. Tôi được nhận vào chương trình Tiến sĩ EECS của UC Berkeley để nghiên cứu hệ thống vi cơ điện tử (MEMS). Tôi đến Berkeley vào tháng 8/2017 và nhận ra AI rõ ràng là điều tôi nên làm. Tôi đã hỏi những người như Sergey Levine hoặc Pieter Abbeel liệu họ có thể cố vấn cho tôi không – họ đã từ chối. Tôi dồn hết năng lượng để học những gì có thể về AI. Tôi đã có cơ hội được cố vấn bởi một trong những nghiên cứu sinh sau tiến sĩ của Sergey vào năm 2018 hoặc 2019. Tôi đã dốc toàn lực vào đó, tôi đã đấu tranh để có được tài trợ, tôi đã đấu tranh để có một bài báo về AI. Quá trình này đã thành công vào cuối chương trình Tiến sĩ của tôi vào năm 2022: Tôi có quyền tiếp cận tòa nhà Berkeley AI Research (BAIR) và các hợp tác trong khoa. Đó là một con đường gập ghềnh. Tôi muốn làm nghiên cứu trong ngành công nghiệp, để có một công việc được trả lương tốt với sự tự do trí tuệ, một cái gì đó như FAIR hoặc Google Brain vào thời điểm đó. HuggingFace là công việc duy nhất phù hợp với yêu cầu đó, rất dễ để đồng ý. Tôi gia nhập HuggingFace vào tháng 5/2022 và đã dành thời gian của mình tại công ty cho đến khi ChatGPT được phát hành. Tôi đã sử dụng kiến thức về RL của mình để viết một bài đăng trên blog về RLHF đã lan truyền rộng rãi. HuggingFace quyết định sẽ tốt cho tôi nếu thành lập một nhóm dựa trên thành công này. Năm 2023, tôi đã học NLP và về các mô hình ngôn ngữ. Tôi đã có rất nhiều niềm vui và xây dựng một cộng đồng ban đầu. Tôi đã kiệt sức vì làm việc từ xa với sự chênh lệch múi giờ lớn. Tôi đã gặp Luca Soldaini tại ICML ở Hawaii, nơi tôi đang hướng dẫn một buổi hướng dẫn về RLHF, và họ nói với tôi rằng Ai2 đang tuyển dụng. Tôi đã nhận được công việc tại Ai2 phần lớn là do sự nhiệt tình của tôi và cách tôi đã nói