
Đàn ngẫu nhiên và vấn đề quan trọng của AI 'hữu ích'
URL bài viết: https://www.techpolicy.press/stochastic-flocks-and-the-critical-problem-of-useful-ai/ URL nhận xét: https://news.ycombinator.com/item?id=48168516 Điểm: 1 # Bình luận: 0
Phối cảnh
Đàn ngẫu nhiên và vấn đề quan trọng của AI 'hữu ích'
Eryk Salvaggio / 22 tháng 2 năm 2026Quốc hội các loài chim, một bức tranh sơn dầu thế kỷ 18 của Karl Wilhelm de Hamilton Wikimedia
Công nghệ AI đang tiến bộ. Bất cứ ai có tư duy phê phán về các mô hình ngôn ngữ lớn và tác động của chúng đối với xã hội giờ đây phải đối mặt với một thách thức phức tạp hơn: bước ngoặt tác nhân.
Trong ngành, AI tác nhân đề cập đến các hệ thống lý tưởng có khả năng “lập kế hoạch”: tạo mã để viết nhiều mã hơn, thực hiện các hành động nhiều bước trên các ứng dụng và mô hình cũng như thích ứng một cách tự động. Các đại lý được bán ít hơn dưới dạng hệ thống biết nhiều thứ mà là hệ thống xây dựng mọi thứ. Thay vì chỉ tạo ra văn bản hoặc phương tiện khác để đáp lại lời nhắc, các hệ thống tác nhân tạo ra mã: phần mềm tùy chỉnh được thiết kế để thực hiện hành động trên thế giới. Những đổi mới về cấu trúc, chẳng hạn như tạo ra nhiều đầu ra hơn và tính trung bình hoặc xác minh kết quả với các tác nhân khác, đang giải quyết một số vấn đề về độ tin cậy gây khó khăn cho các mô hình trước đó. Mã chuyển LLM sang một miền nơi các lỗi được coi là dễ đọc và có thể sửa được.
Những phát triển này đang tạo ra những cải tiến thực sự về trải nghiệm người dùng của LLM - nhưng đó có thực sự là minh chứng cho dự án AI không? Báo chí không thiếu những bài viết có quan điểm thay đổi giọng điệu cho rằng những mô hình mới này có tính chất biến đổi và đòi hỏi những khuôn khổ khái niệm mới để xem xét tác động của chúng. Điều quan trọng là hai trong số những công ty lớn nhất về AI, OpenAI và Anthropic, được cho là đang tăng cường phát hành cổ phiếu lần đầu ra công chúng trong những tháng tới; Tất nhiên, chúng ta nên mong đợi sự cường điệu hóa sẽ leo thang khi các đối thủ cố gắng thổi phồng định giá thị trường. Nhưng chúng ta cũng nên mong đợi những tiến bộ thực sự trong các mẫu xe họ đang bán.
Hai điều này có thể đúng cùng một lúc. Sản phẩm của các công ty này cho cảm giác phản ứng nhanh hơn và có khả năng hơn, giải quyết hiệu quả các nhiệm vụ phức tạp. Họ có thể viết mã để giải quyết vấn đề và tiếp tục viết lại cho đến khi mã hoạt động. Đây không phải là lúc để phủ nhận những gì có vẻ rõ ràng đối với nhiều người dùng, mà là lúc để nhấn mạnh rằng những mối quan tâm cơ bản về công việc quan trọng vẫn còn đó, bất chấp mọi sự đồng thuận phổ biến về 'tính hữu ích' của công nghệ.
Vị trí quan trọng
Trong một bài báo cơ bản năm 2021, Emily M. Bender, Timnit Gebru, Angelina McMillan-Major và Margaret Mitchell đã mô tả LLM như những con vẹt ngẫu nhiên—các hệ thống tái tạo các mẫu có khả năng thống kê từ dữ liệu huấn luyện. Khung giữ. Nhưng giờ đây, các hệ thống này phức tạp hơn và thậm chí khó hiểu hơn, và sự cám dỗ gán ý định chu đáo cho văn bản giờ đây phải được mở rộng sang mã.
Hệ thống tác nhân xếp những con vẹt này thành những đầu ra tương tác - một đàn ngẫu nhiên. Nó tương tự như các thuật toán giao dịch chứng khoán tần số cao, nhưng để sản xuất mã và ngôn ngữ. (Một cách thích hợp, danh từ số nhiều của một đàn vẹt là một đại dịch.)
Trải nghiệm người dùng và ứng dụng của công nghệ có thể thay đổi, nhưng sự thiếu hụt cơ bản về trách nhiệm giải trình cũng như cơ sở hạ tầng vật chất và tư tưởng cơ bản của ngành AI vẫn tồn tại. Câu hỏi trọng tâm của bài báo, “Các mô hình ngôn ngữ có thể quá lớn không?” vẫn phù hợp như 5 năm trước với những khoản đầu tư lớn vào việc thu thập và xử lý dữ liệu. Các nhà nghiên cứu khác, những người đặt nền tảng để xác định sai lệch thuật toán, theo dõi chi phí đào tạo môi trường, thách thức thực tiễn lao động trong sản xuất dữ liệu hoặc phản đối chính đáng việc áp dụng AI một cách thiếu phê phán trong giới học thuật không chỉ đơn giản là nói không vì lợi ích của nó. Họ đưa ra các điều kiện tối thiểu của con người để triển khai nó và vẫn phù hợp. Đàn chỉ làm tăng thêm mối lo ngại về sự thiên vị, suy nghĩ sai lầm và sự kém hiệu quả.
Phân biệt phê bình hệ thống với đánh giá mô hình không phải là một sự nhượng bộ đối với sự cường điệu hóa
e: nó có nghĩa là tập trung vào lợi ích và tác hại tập thể hơn là sử dụng cá nhân. Chúng ta có thể nói về những gì người mẫu không thể hoặc không nên làm mà không phủ nhận những gì họ có thể làm.
Ý nghĩa của AI tác nhân
Sóng của phần mềm cẩu thả
Một sản phẩm của bước ngoặt tác nhân là phần mềm slopware: các ứng dụng phần mềm do AI tạo ra được sản xuất nhanh hơn mức chúng có thể được xem xét một cách có ý nghĩa, thường nhằm vào các vấn đề ngắn hạn. Mã được tạo theo cách này thường tập trung vào nhu cầu của người dùng hơn tất cả những thứ khác. Phân phối phần mềm này cho những người dùng khác hoặc cho phép nó tương tác và bạn tạo ra một điều kiện tương tự như một vùng trời không được kiểm soát, với hàng loạt các quyết định riêng lẻ, không kết nối tạo ra tình trạng hỗn loạn.
Nội dung của chúng tôi được gửi tới hộp thư đến của bạn.
Tham gia bản tin của chúng tôi về các vấn đề và ý tưởng ở điểm giao thoa giữa công nghệ và dân chủ
Đăng ký
Đang tải...
Cảm ơn bạn!
Bạn đã tham gia thành công danh sách người đăng ký của chúng tôi.
Mã dường như có thể hoạt động trong những trường hợp hạn chế thông qua tất cả các loại hack nhằm che giấu những lỗi cơ bản. Không giống như phần mềm độc hại, phần mềm slopware không cố ý gây rối; nó gây gián đoạn do sơ suất: chính biến số được mã hóa cứng giúp máy tính tài chính gia đình của một người đàn ông hoạt động nhưng lại dẫn đến phí thấu chi khi bà mẹ đơn thân sử dụng. Việc thiết kế phần mềm đòi hỏi sự nhẹ nhàng trong việc quyết định những giá trị và mức độ ưu tiên mà nó mã hóa cũng như cách nó bóp méo, loại bỏ hoặc trình bày sai dữ liệu mà nó xử lý. Việc truy tìm điều này đòi hỏi trình độ hiểu biết về kỹ thuật cũng như khả năng phán đoán về cách mã bổ sung hoặc làm giảm bớt các vấn đề mà nó giải quyết.
Tổng hợp các lỗi kỹ thuật
Mặc dù nhận thức về độ tin cậy ngày càng tăng, LLM không bao giờ có thể là cỗ máy sự thật. Cái gọi là ảo giác không thể loại bỏ về mặt toán học, và do đó, nhận thức về độ tin cậy tăng lên sẽ làm tăng nguy cơ đánh giá quá cao sự phù hợp của LLM đối với một nhiệm vụ. Trong trường hợp một mô hình ngôn ngữ tạo ra văn bản hoặc phương tiện truyền thông khác có tính thuyết phục và có khả năng sai lệch, thì một hệ thống tác nhân sẽ tạo ra mã thuyết phục. Mã này được tạo theo cách khó bị gián đoạn, theo dõi hoặc kiểm tra hơn so với đầu ra của một mô hình duy nhất. Bạn không thể ghi lại quá trình suy nghĩ một cách đáng tin cậy đối với mã được tạo mà không cần suy nghĩ, vì vậy mã phải được coi là không đáng tin cậy cho đến khi được xác minh.
Tổng hợp những thất bại về trách nhiệm giải trình
Các lỗi trong hệ thống tác nhân chồng lên nhau một cách vô hình cho đến khi có thứ gì đó phá vỡ bề ngoài

Nguồn tin: Hacker News AI — Tác giả: bryanrasmussen. Bản dịch tiếng Việt do AI thực hiện, có thể có sai sót.