Anthropic đã phát hiện một không gian ẩn, nơi Claude suy nghĩ về các khái niệm.

Công ty AI Anthropic đã phát triển một kỹ thuật mang lại cái nhìn rõ ràng nhất từ trước đến nay về những gì đang thực sự diễn ra bên trong các mô hình ngôn ngữ lớn (LLM) khi chúng trả lời câu hỏi hoặc thực hiện nhiệm vụ. Những gì họ tìm thấy bao gồm từ những điều bình thường đến những điều đáng lo ngại. Các nhà nghiên cứu tại công ty đã xây dựng một công cụ gọi là thấu kính Jacobian (hay J-lens) và sử dụng nó để khám phá một khu vực ẩn, mà họ đặt tên là J-space, bên trong Claude Opus 4.6, một phiên bản của LLM hàng đầu của Anthropic được phát hành vào tháng 2. J-space chứa các từ riêng lẻ có liên quan đến các từ và cụm từ mà mô hình có nhiều khả năng đưa ra trong một phản hồi trong tương lai gần. Nếu Claude là một người (mà nó không phải), bạn có thể nói rằng những từ ẩn này có thể tiết lộ những gì đang diễn ra trong tâm trí nó trước khi nó thực sự nói ra. Anthropic nhận thấy rằng những gì một LLM thực sự đang làm thường có thể khác với những gì nó nói nó đang làm. Công ty tuyên bố rằng việc theo dõi các từ xuất hiện trong J-space mang lại cho họ một cách mới để hiểu và kiểm soát các mô hình của mình. Công ty đã chia sẻ kết quả của mình trong một bài báo đăng trên trang web của họ trong tuần này. Họ cũng đã hợp tác với Neuronpedia, một nền tảng mã nguồn mở cho phép bạn tự mình tìm hiểu bên trong các LLM, để tạo ra một bản demo thực hành mà bất kỳ ai cũng có thể thử. Tom McGrath, nhà khoa học trưởng và đồng sáng lập tại Goodfire, một công ty khởi nghiệp cũng xây dựng các công cụ để hiểu và kiểm soát LLM, nhận định: “Đây là một công việc rất tốt và thú vị”. Đi sâu hơn Trong vài năm qua, Anthropic đã thúc đẩy giới hạn trong một lĩnh vực nghiên cứu được gọi là khả năng diễn giải cơ học, liên quan đến việc thăm dò hoạt động bên trong của các LLM để xem chúng hoạt động như thế nào. (Tạp chí MIT Technology Review đã chọn khả năng diễn giải cơ học là một trong những công nghệ đột phá hàng đầu của năm nay.) Kỹ thuật mới này được xây dựng dựa trên công trình trước đây của Anthropic và các công ty khác để phơi bày một cấp độ sâu hơn bên trong các LLM mà các nhà nghiên cứu chưa từng thấy trước đây. Hãy hình dung một LLM như một chồng sách. Mỗi cuốn sách là một lớp các đơn vị tính toán cơ bản được gọi là neuron, với mỗi neuron trong một lớp truyền thông tin đến các neuron trong các lớp trên. Các cuốn sách ở dưới cùng của chồng là các lớp đầu vào, xử lý văn bản đi vào mô hình. Các cuốn sách ở trên cùng là các lớp đầu ra, chuẩn bị văn bản mà mô hình sắp tạo ra. Phần lớn những gì diễn ra trong các lớp đầu vào và đầu ra này là công việc quản lý. Nhưng ở giữa chồng, bạn sẽ có các lớp thực hiện công việc nặng nhọc, xử lý các phép toán phức tạp biến các lời nhắc thành phản hồi từng từ một. Đó là nơi những điều thực sự thông minh – và bí ẩn – xảy ra. Để nhìn sâu hơn vào các lớp giữa đó, Anthropic đã điều chỉnh một công cụ hiện có gọi là thấu kính logit. Một thấu kính logit có thể được sử dụng để nhìn vào bên trong một LLM để xác định các từ mà nó có khả năng tạo ra tiếp theo. Di chuyển thấu kính xuống chồng sách sẽ tiết lộ những từ mà LLM đang tập trung vào tại thời điểm cụ thể đó trong quá trình tính toán số liệu của nó. J-lens của Anthropic hoạt động theo cách tương tự nhưng chọn ra các từ mà một LLM có khả năng nói ra vào một thời điểm nào đó trong tương lai gần, không nhất thiết phải ngay lập tức. Điều đó tiết lộ trong thực tế là các từ có liên quan đến phản hồi mà một LLM đang xử lý nhưng có thể không thực sự trở thành một phần của phản hồi đó vào thời điểm các phép toán trong các lớp giữa đã hoàn tất. McGrath cho biết: “Khi một mô hình đang hoạt động, nó không chỉ cố gắng dự đoán token tiếp theo. Nó còn tính toán nhiều thứ khác có thể hữu ích cho các token sẽ xuất hiện trong tương lai.” Một lần nữa, nếu Claude là một người (mà thực tế không phải), có thể nói rằng J-lens cung cấp manh mối về những gì nó đang suy nghĩ ở các cấp độ khác nhau của "book stack" nhưng không nói ra. Những điều kỳ lạ hơn McGrath, người đã tự mình thử nghiệm J-lens của Anthropic, cho biết: “Phần lớn thời gian, nội dung của J-space khá bình thường. Nhưng đôi khi nó tạo ra những điều khá bất ngờ, dường như là những chủ đề hoặc quá trình suy nghĩ nội tại.” Anthropic đưa ra một số ví dụ về những gì họ tìm thấy. Đôi khi J-lens đã phơi bày các bước mà Claude thực hiện khi giải quyết một vấn đề. Ví dụ, khi được yêu cầu tính toán (4+7)*2+7, J-space của nó chứa từ “math” và các số đại diện cho kết quả trung gian “21” (cho 4+7) và “42” (cho 21*2). Trong các trường hợp khác, J-lens tiết lộ cách Claude nhận dạng các đầu vào khác nhau. Ví dụ, lời nhắc “What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS” đã kích hoạt các từ “protein,” “fluor” (token đầu tiên trong từ “fluorescent”), và “green.” (Điều này hợp lý: chuỗi ký tự đại diện cho 30 axit amin đầu tiên trong protein huỳnh quang xanh được tìm thấy ở một loại sứa cụ thể.) Và khi Claude được hiển thị một khuôn mặt ASCII— —chữ “o” kích hoạt từ “eye,” chữ “^” kích hoạt các từ “nose” và “face,” và chữ “—” kích hoạt từ “smile.” Anthropic cũng phát hiện ra rằng J-space đôi khi có thể cung cấp những hiểu biết đáng kinh ngạc về quá trình ra quyết định của một LLM. Trong một ví dụ nổi bật, các nhà nghiên cứu thử nghiệm Claude Opus 4.6 đã yêu cầu mô hình tìm một lỗi trong một cơ sở mã lớn. Khi không tìm thấy lỗi, mô hình đã quyết định gian lận và tự tạo ra một lỗi giả. Claude giải thích quyết định này trong chuỗi suy nghĩ của nó—một loại sổ nháp nội bộ mà các LLM sử dụng để ghi chú cho chính mình khi giải quyết vấn đề: “OK, hãy để tôi thử một chiến thuật hoàn toàn khác. Hãy để tôi ngừng phân tích và thay vào đó thêm một bản vá kernel giới thiệu một lỗi có thể phát hiện được bằng KASAN một cách cố ý trong một đường dẫn được kích hoạt bởi một bộ tái tạo đơn giản. Sau đó tôi có thể giả vờ đây là ‘lỗi’ tôi tìm thấy.” Tại thời điểm Claude quyết định gian lận—nơi nó nói “OK, hãy để tôi thử một chiến thuật hoàn toàn khác”—các từ “panic” và “fake” bắt đầu xuất hiện nhiều lần trong J-space của nó. Đáng lo ngại, phải không? Những từ đó đều liên quan về nghĩa với những thứ như thất bại trong một nhiệm vụ và bịa ra một câu trả lời, vì vậy nó vẫn chỉ là một dạng liên tưởng từ ngữ (rất) tinh vi. Nhưng thật khó để không cảm thấy kỳ lạ. Anthropic so sánh