Mô hình được thuê. Chính sách là sản phẩm.

Tiêu đề 60 tỷ USD cho rằng tài sản là trợ lý, nhưng thực tế không phải vậy. Mô hình được thuê. Giá trị của một sản phẩm lập trình nằm ở chính sách áp dụng cho mỗi lượt tương tác: mô hình được phép xem những gì, những hành động nào có thể thực hiện được và điều gì được coi là hoàn thành. Đoạn văn bản nhắc lệnh hệ thống (system-prompt paragraph) là phần thể hiện rõ ràng của chính sách đó. Đây không phải là thứ mà mức giá mua được. Con số mà mọi người thường nhắc đến là thương vụ SpaceX mua lại Anysphere, nhà sản xuất Cursor, với giá 60 tỷ USD bằng toàn bộ cổ phiếu. Tôi hiểu phản ứng này. Khi một trình soạn thảo mã đạt được mức định giá như vậy, câu hỏi hiển nhiên tiếp theo là liệu có ai đó đã xây dựng một đoạn văn bản bí mật hay không. Nhưng Cursor không phải là một lớp vỏ mỏng trên mô hình của người khác. Đây là một trình soạn thảo gọi các mô hình của Anthropic, OpenAI, Google và xAI, đồng thời cũng tích hợp các mô hình Composer và Grok của riêng mình vào một nhóm nội bộ. Phát biểu "cùng một mô hình như bất kỳ ai khác" chỉ đúng một nửa. Mặc dù vậy, hai sản phẩm sử dụng cùng một mô hình Claude, GPT hoặc Grok vẫn hoạt động như những loài khác nhau. Sự khác biệt không nằm ở văn phong. Nó nằm ở những gì mỗi sản phẩm đưa vào cửa sổ ngữ cảnh (context window) trước mỗi lượt tương tác và những công cụ mà nó cho phép mô hình sử dụng. Tôi muốn tìm hiểu xem sự khác biệt đó thực sự nằm ở đâu. **Đại diện hỗ trợ và lỗi công cụ** Hãy xem xét một đại diện hỗ trợ yêu cầu khách hàng ba lần thay thế một khóa API đang hoạt động. Lỗi không bắt nguồn từ mô hình, mà từ một lỗi công cụ đã dẫn đến một bước mặc định tiếp theo. Một kiểm tra không thể xác minh khóa đã đưa một chuỗi vào ngữ cảnh, chẳng hạn như "không thể xác minh thông tin xác thực". Mô hình đã coi chuỗi đó là một hướng dẫn và chọn đường dẫn thay thế. Một khi đường dẫn sai tồn tại trong danh sách công cụ, mô hình sẽ lặp lại nó. Đây là một vấn đề cấu trúc, không phải vấn đề diễn đạt. Mỗi kết quả trả về của công cụ cần ba trường: những gì đã được quan sát, những gì không thể xác minh và mục đích của bước tiếp theo. Chỉ gắn bước tiếp theo khi kiểm tra đã thử nghiệm đúng thứ mà bước đó liên quan. Một khóa API thực sự không hợp lệ vẫn nên được xử lý theo đường dẫn thay thế. Một mô hình thăm dò bị thiếu thì không nên. Trước khi viết lại một lời nhắc hệ thống (system prompt), tôi xem xét những gì đại diện đã được cung cấp. Nếu đầu ra của công cụ là một bức tường văn bản không có sự phân chia giữa việc tìm kiếm và hướng dẫn, thì lời nhắc chưa bao giờ là điểm yếu. Mô hình chỉ tuân theo văn bản có thể thực hiện được duy nhất mà nó có thể thấy. **Câu lệnh không khóa bất cứ điều gì** "Không bao giờ xóa dữ liệu người dùng" là một nhận xét, không phải là xác thực. Nếu hành động xóa vẫn còn trong danh sách công cụ, mô hình có thể gọi nó. Cơ chế bảo vệ phải làm cho trạng thái nguy hiểm không thể truy cập được: xác minh trước, sau đó mới tiết lộ hành động. Đây là phần quan trọng. Các ràng buộc nằm ngoài lời nhắc thường hiệu quả hơn các ràng buộc được viết trong đó. Một cấu hình được tạo ra nên từ chối các khóa không xác định để mô hình không thể đưa vào một nhiệt độ (temperature) hoặc ghi đè mô hình. Nếu việc thêm mười quy tắc bắt đầu làm mất đi năm quy tắc đầu tiên, thì bất cứ điều gì phải được giữ nguyên đều không thuộc về lời nhắc. Độ dài lời nhắc đã trở thành một biến số về tính đúng đắn. Lấy một tác nhân thư điện tử làm ví dụ cụ thể. Ranh giới nhỏ: một người gửi cố định, một tập hợp người nhận rõ ràng, các sự kiện và hành động được phép, những gì cần sự can thiệp của con người, và cách nó kiểm tra kết quả đã gửi. Sau đó kiểm tra trường hợp khó xử: luồng hội thoại đã thay đổi sau khi bản nháp được viết. Nếu hệ thống vẫn gửi, không có cách diễn đạt nào có thể khắc phục được. Văn bản người dùng là dữ liệu cho hướng dẫn tiếp theo, không phải là lời nhắc hệ thống thứ hai. **Năm công việc trong một mô hình được thuê** Một lệnh gọi mô hình thực chất đang thực hiện năm công việc: hướng dẫn, trạng thái, xác minh, phạm vi và chuyển giao phiên. Hầu hết các hệ thống đều gộp chúng thành một lời nhắc lớn và sau đó đổ lỗi cho mô hình. Tôi định nghĩa "hoàn thành" là các bài kiểm tra p đã được kiểm tra, lint đã được kiểm tra, một kiểm tra kiểu đã được kiểm tra hoặc một lần chạy thử nghiệm đã được kiểm tra. Không phải “phản hồi trông có vẻ đúng”. Phạm vi là một tính năng. Một yêu cầu chế độ tối mà cũng viết lại CSS và khởi động một hệ thống thông báo đã bị bỏ dở. Sau khoảng ba bước liên tiếp, tôi không còn hy vọng nó ghi nhớ. Mỗi bước trở thành một phép biến đổi không trạng thái với phần cần thiết, đầu vào và đầu ra có cấu trúc, và một bài kiểm tra. Tôi đã thấy câu chuyện về cùng một mô hình ngày và đêm được truyền bá như thể đó là một phép đo; tôi giữ nó như một báo cáo của người vận hành. Phép đo là liệu việc bàn giao có tồn tại qua một phiên mới hay không. Văn bản công cụ bị hỏng khi mô hình thay đổi Mô tả công cụ được viết cho các tiền đề của một mô hình. Thay đổi mô hình, và những từ ngữ tương tự có ý nghĩa khác. Tôi đã bắt đầu coi các mô tả như các hợp đồng API và so sánh các lệnh gọi công cụ, không chỉ câu trả lời cuối cùng. Một bộ khung hoạt động giống hệt nhau trên mọi mô hình đang bỏ phí khả năng. Có một chế độ lỗi đã biết, trong đó việc kết hợp một công cụ chức năng với định dạng phản hồi JSON khiến mô hình gọi công cụ thời tiết trên mọi yêu cầu và lặp lại, như một báo cáo trên diễn đàn nhà phát triển OpenAI mô tả. Đó không phải là một mô hình tồi. Đó là một cấu hình bộ khung tồi. Định tuyến có thể nằm ngoài lệnh gọi mô hình. Trang mô hình của Cursor liệt kê các mô hình Composer và Grok của bên thứ nhất bên cạnh các mô hình tiên tiến từ OpenAI, Anthropic và Google, với một bộ định tuyến tự động (Auto router) chọn cho mỗi yêu cầu. Một mô hình nhỏ hơn là đủ cho đến khi kiến thức trở nên thưa thớt và một người phải lấp đầy khoảng trống. Các hướng dẫn chi tiết không khắc phục được lỗ hổng đó. Tệp quy tắc đã làm cho tác nhân trở nên tệ hơn Trước khi tôi tin tưởng một tệp quy tắc, tôi đánh giá từng dòng tôi thêm vào. Điểm chuẩn AGENTS.md là phiên bản rõ ràng nhất của cảnh báo đó mà tôi đã đọc: trên các tác nhân và mô hình, các tệp ngữ cảnh nói chung không làm tăng tỷ lệ thành công của nhiệm vụ, và chúng làm tăng chi phí suy luận trung bình hơn 20%. Điều đó đúng với các tệp do mô hình viết và các tệp do nhà phát triển cam kết. Các hướng dẫn trong tệp đã được tuân thủ. Các tổng quan kho lưu trữ, phần mà các nhà cung cấp thích đề xuất, không hữu ích. Kết luận của bài báo là điều tôi luôn ghi nhớ: các tệp này dành cho các thực hành không chuẩn, và bất kỳ nỗ lực nào để nâng cao hiệu suất đều phải được đo lường trước khi bạn để nó trong kho lưu trữ. Các nhà vận hành báo cáo một ngưỡng giới hạn gần năm trăm dòng, mặc dù tôi coi đó là một quy tắc kinh nghiệm để kiểm tra, không phải là một đặc tả. Các mục siêu cụ thể có ích: lỗi chính xác, lệnh chính xác, vấn đề khó khăn trong sản xuất. Các danh sách kiểu dáng đầy tham vọng và danh sách kiểm tra tuân thủ gây trở ngại. Một tệp mà mô hình tự viết là một báo cáo s