Tải xuống: Bước tiến lớn tiếp theo trong các mô hình ngôn ngữ lớn (LLM) và cách nghiên cứu học thuật về trí tuệ nhân tạo (AI) đang thay đổi.

Đây là ấn bản hôm nay của The Download, bản tin hàng ngày trong tuần cung cấp thông tin cập nhật về những gì đang diễn ra trong thế giới công nghệ. Các công ty khởi nghiệp này đang theo đuổi bước đột phá tiếp theo trong lĩnh vực LLM Chín năm sau khi các nhà nghiên cứu của Google giới thiệu kiến trúc transformer, họ mạng thần kinh này đã trở thành động cơ bên trong mọi mô hình ngôn ngữ lớn (LLM) quan trọng. Tuy nhiên, các transformer đang bắt đầu bộc lộ những hạn chế. Khi các LLM ngày càng lớn hơn và tốt hơn, transformer đã trở thành một nút thắt cổ chai. Cơ chế chú ý dày đặc của chúng ngày càng tốn kém khi lượng văn bản tăng lên, và chúng không giỏi trong việc theo dõi nhiều thông tin cùng lúc. Dưới đây là bốn ý tưởng mới để giải quyết vấn đề của transformer—những đổi mới có thể thay đổi các LLM mãi mãi, giúp chúng nhanh hơn, hiệu quả hơn nhiều và (có thể) thậm chí thông minh hơn. —Will Douglas Heaven Câu chuyện này nằm trong loạt bài What’s Next của MIT Technology Review, chuyên phân tích các ngành công nghiệp, xu hướng và công nghệ để mang đến cái nhìn đầu tiên về tương lai. Độc giả có thể đọc phần còn lại của loạt bài tại đây. Các giáo sư AI đang đàm phán về những thực tế mới của nghiên cứu học thuật —Grace Huckins Tuần trước, tôi đã đến một khách sạn ở Mountain View, California, để gặp gỡ một số nhà nghiên cứu AI tài năng nhất và triển vọng nhất thế giới. Tôi đã chủ trì các cuộc phỏng vấn bàn tròn và phát biểu tại một buổi đào tạo truyền thông cho hội nghị của chương trình AI2050 của Schmidt Sciences, một sáng kiến do Eric và Wendy Schmidt tài trợ nhằm hỗ trợ các học giả có công trình liên quan đến AI. Danh sách các thành viên là những nhân vật nổi bật trong lĩnh vực AI, và mặc dù không phải tất cả đều có mặt tại Vùng Vịnh, nhưng mỗi khi tôi rẽ một góc, tôi lại thấy một nhà khoa học mà tôi đã phỏng vấn trước đây hoặc có nghiên cứu mà tôi ngưỡng mộ. Đây là một thời điểm kỳ lạ đối với các nhà nghiên cứu AI tại các trường đại học, những người chiếm phần lớn trong nhóm AI2050. Độc giả hãy đọc câu chuyện của Grace để tìm hiểu lý do tại sao và những gì có thể xảy ra tiếp theo. Câu chuyện này nằm trong The Algorithm, bản tin AI hàng tuần của chúng tôi. Đăng ký để nhận bản tin vào hộp thư đến của bạn mỗi thứ Hai. Những bài viết không thể bỏ qua Tôi đã tìm kiếm trên internet để mang đến cho độc giả những câu chuyện thú vị/quan trọng/đáng sợ/hấp dẫn nhất về công nghệ hôm nay. 1. Nvidia đã huy động được 500 tỷ USD từ Phố Wall cho hạ tầng AI. Công ty đã ký kết thỏa thuận với BlackRock, Goldman Sachs và bốn đối tác khác. (BBC) + Điều này cho thấy sức hút của điện toán AI đối với các nhà đầu tư tổ chức. (Reuters $) + Và hạ tầng AI đang trở thành một loại tài sản mới. (CNBC) 2. Tuyên ngôn mới của Mark Zuckerberg cho rằng AI mã nguồn mở có thể cứu nước Mỹ. Tuyên ngôn này trình bày một tầm nhìn không tưởng về "siêu trí tuệ" được cá nhân hóa. (Guardian) + Và được công bố cùng ngày với mô hình mã nguồn mở mới của Meta. (NYT $) + Zuckerberg cho biết ông dự định ra mắt thêm nhiều mô hình như vậy. (WSJ $) + Và đặt Meta vào thế cạnh tranh với các nhà phát triển mã nguồn mở của Trung Quốc. (SCMP) 3. Thượng nghị sĩ Bernie Sanders đã kêu gọi Thung lũng Silicon "tạm dừng phát triển AI". Ông lưu ý rằng các gã khổng lồ AI đã cam kết làm điều này nếu cần thiết vì lý do an toàn. + Và cảnh báo rằng các nhà lập pháp sẽ can thiệp nếu không có hành động nào được thực hiện. (Guardian) + Các nghị sĩ Dân chủ tại Hạ viện đã gây áp lực lên các lãnh đạo AI về các mô hình AI "ngoài tầm kiểm soát". (WP $) + Một làn sóng phản đối mang tính dân túy đang nổi lên chống lại AI. (MIT Technology Review) 4. Một tòa án Mỹ sẽ cho phép hàng nghìn vụ kiện mạng xã hội tiếp tục. Các vụ kiện nhắm vào các cơ chế gây nghiện được sử dụng bởi Meta, TikTok, Google và Snapchat. (Axios) + Họ cáo buộc các nền tảng này được thiết kế để thu hút người dùng trẻ tuổi. (Reuters $) + Liệu chúng ta có thể sửa chữa internet? (MIT Technology Review) 5. Đợt IPO của Unitree đã được các nhà đầu tư nhỏ lẻ đăng ký mua vượt mức hơn 8.000 lần. Công ty robot hình người của Trung Quốc đã huy động được 900 triệu USD trước khi niêm yết. (Reuters $) + Giá chào bán cho đợt IPO tại Thượng Hải định giá công ty ở mức 9 tỷ USD. (FT $) 6. Camera giám sát ô tô của Flock đang đối mặt với sự phản đối lưỡng đảng. Mạng lưới giám sát này đã lan rộng nhanh chóng khắp nước Mỹ. (NYT $) + Flock cũng có kế hoạch truy đuổi những kẻ trộm cắp bằng máy bay không người lái. (MIT Technology Review) 7. Trung Quốc đang phá vỡ các mối quan hệ AI. Bắc Kinh đã ban hành các quy định mới cho AI tương tác cảm xúc. (Rest of World) + Thật đáng ngạc nhiên khi dễ dàng "phải lòng" một chatbot. (MIT Technology Review) 8. Một công cụ AI tuyên bố chọn ra 1% bài báo khoa học tốt nhất. Nhưng các nhà nghiên cứu nghi ngờ rằng AI có thể đánh giá chất lượng khoa học một cách đáng tin cậy. (Nature) 9. Làn sóng phản đối nội dung AI kém chất lượng đang có hiệu quả. Điều này đang thúc đẩy các nền tảng hạn chế nội dung do AI tạo ra. (Wired $) 10. Một phụ nữ 82 tuổi đã từ chối 26 triệu USD để biến trang trại của mình thành trung tâm dữ liệu. Bà đã chỉ trích những tác động môi trường của các trung tâm dữ liệu. (Fortune) Trích dẫn trong ngày “Chưa quá muộn để tránh thảm họa. Hãy ngừng chế tạo những cỗ máy mà con người không thể kiểm soát.” —Thượng nghị sĩ Bernie Sanders kêu gọi Sam Altman, Dario Amodei và Mark Zuckerberg tạm dừng mọi hoạt động phát triển AI trong một bức thư. Một điều nữa Cuộc đua tạo ra em bé hoàn hảo đang tạo ra một mớ hỗn độn về đạo đức Một lĩnh vực khoa học mới đang sử dụng giải trình tự gen để dự đoán một phôi thai có thể trở thành người như thế nào. Một số cha mẹ tìm đến các xét nghiệm này để tránh các rối loạn di truyền nghiêm trọng, trong khi một nhóm nhỏ hơn sẵn sàng chi hàng chục nghìn đô la để tối ưu hóa trí thông minh, ngoại hình và tính cách. Tuy nhiên, khách hàng có thể không nhận được những gì họ đã trả tiền. Các chuyên gia di truyền học đã chỉ ra những thiếu sót tiềm ẩn của loại xét nghiệm này trong nhiều năm, trong khi những giả định cơ bản của nó đã khiến các công ty này trở thành tâm điểm chính trị. Khi công nghệ này tiến gần hơn đến xu hướng chủ đạo, các nhà khoa học và nhà đạo đức học đang chạy đua để đối mặt với những tác động – đối với khế ước xã hội của chúng ta, đối với các thế hệ tương lai và đối với chính sự hiểu biết của chúng ta về ý nghĩa của việc làm người. Đọc toàn bộ câu chuyện. —Julia Black Chúng ta vẫn có thể có những điều tốt đẹp Một nơi mang lại sự thoải mái, niềm vui và sự giải trí để làm bừng sáng ngày của bạn. (Bạn có ý tưởng nào không? Hãy cho chúng tôi biết.) + Một chú chó chăn cừu Border Collie tinh mắt đang đưa trò chơi nhặt đồ vật (fetch) sang một cấp độ mới. + musicForprogramming đã nỗ lực đáng kể để tạo ra những giai điệu hoàn hảo giúp duy trì sự tập trung. + Khi trẻ em thiết kế sân chơi, chúng tạo ra một sự kết hợp vui nhộn giữa cờ vua khổng lồ, sân bóng rổ màu hồng – và dung nham. + Phiên bản power metal này