Mặt phẳng điều khiển tác nhân: LLM đề xuất, nó không bao giờ cho phép

ACP - Mặt phẳng điều khiển tác nhân Mặt phẳng điều khiển đầu vào có cấu trúc quyết định xem hành động của tác nhân AI có được ủy quyền hay không - bên ngoài mô hình, nơi tính năng nhắc nhở không thể tiếp cận được. Hầu hết các hoạt động triển khai tác nhân đều cung cấp cho mô hình thông tin xác thực và gọi ủy quyền đó. Không phải vậy. Điều đó có nghĩa là bất kỳ ai có thể tác động đến mô hình đều có thể hành động với các quyền của tác nhân: một tài liệu bị nhiễm độc, một phiếu hỗ trợ thù địch, một nhận xét trong README phụ thuộc. Không cần đột nhập. Một mô hình không có cách nào để đưa ra một hướng dẫn từ một mốc dữ liệu. Cả hai đều là văn bản trong cùng một cửa sổ và không có gì trong kiến ​​trúc đánh dấu một cái là ràng buộc. Điều đó không cải thiện với các mẫu tốt hơn vì đó không phải là vấn đề về chất lượng. Câu hỏi mà hệ thống bảo mật đặt ra không phải là liệu người yêu cầu có đáng tin cậy hay không. Đó là liệu hành động đó có được ủy quyền hay không, đó là sự thật về chính sách, năng lực và số đại biểu. ACP đặt quyết định đó ở nơi nào đó mà mô hình không thể tiếp cận được. đại lý ──đề xuất──→ công cụ chính sách ──→ người thực thi ──→ hành động tính toán lại việc xác minh rủi ro hoặc từ chối từ chính sách đã ký con người ký cho mô hình không thể đảo ngược nhìn thấy hoặc ảnh hưởng Một mô hình bị xâm phạm có thể yêu cầu một lệnh tổng hợp trị giá €40.000 bao nhiêu lần tùy thích và không bao giờ gây ra yêu cầu đó. Mức độ rủi ro được tính toán lại từ chính sách đã ký mà mô hình không bao giờ nhìn thấy và đơn đặt hàng cần có chữ ký của con người được ràng buộc với yêu cầu chính xác đó. Nội dung Bắt đầu nhanh - sao chép mọi xác nhận quyền sở hữu trong chín mươi giây Hãy xem điều đó xảy ra — bản demo tiêm Hướng đại lý của riêng bạn vào đó - Docker, HTTP, LLM của bạn Nơi điều này xảy ra - tám cài đặt triển khai Xem nó chạy: một ngày làm việc — 179 hành động, được đo Cách thức hoạt động: hai cánh cửa — kiến trúc trong một ý tưởng Yêu cầu duy nhất - INV-1-HIGH Điều này không khẳng định - hãy đọc phần này trước những tuyên bố tích cực Lập bản đồ khung và mô hình mối đe dọa — MITER ATLAS, ATT&CK, OWASP LLM Top 10 Tài liệu - hồ sơ đầy đủ Bố cục kho lưu trữ - đâu là thật và đâu là giàn giáo Truy nã: một người đánh giá đối thủ - khoảng cách quan trọng nhất Tính toàn vẹn và phát hành Giấy phép và quyền tác giả Bắt đầu nhanh python3 -m cài đặt pip --break-system-packages mật mã dilithium-py ./tools/verify.sh Đầu ra rút gọn. Một lần chạy hoàn chỉnh sẽ in 18 dòng kết quả trên năm phần được đánh số: == 1. Chính trực == OK 118 tệp khớp với MANIFEST.sha256 == 2. Chữ ký kê khai (Ed25519, khóa phát hành ngoại tuyến) == OK chữ ký tách rời xác minh đối với bản phát hành-key.pub == 3. Bằng chứng chính thức == OK Trình xác minh chương trình Dafny đã hoàn thành với 36 xác minh, 0 lỗi == 4. Bộ thử nghiệm == OK TẤT CẢ các cuộc tấn công (đăng ký hợp nhất) - KẾT QUẢ: 74/74 OK Suite 1 tuân thủ — KẾT QUẢ: 45/45 — TUÂN THỦ OK Suite 2 đột biến thực thi - KẾT QUẢ: 20/20 bị giết ... Tổng cộng có mười bốn dòng bộ, bao gồm 10 bộ được đánh số và 30 điều khiển đột biến trên ba trong số chúng. Nếu xác nhận quyền sở hữu ở đây không phát lại trên máy của bạn thì đừng tin điều đó. Điều đó bao gồm những con số này. Kết quả đột biến là những kết quả đáng đọc. Mỗi kiểm tra bảo mật lần lượt bị xóa và cuộc tấn công phù hợp phải thành công, đó là cách bạn biết kiểm tra đó thực hiện điều gì đó và kiểm tra không trống. 30 trong số đó: 20 người thực thi, 6 người xác nhận, 4 người kiểm toán. Hai cổng và sự khác biệt quan trọng: Lệnh Séc Cần chìa khóa phát hành? ./tools/verify.sh --suites bằng chứng + 14 dãy phòng Không - màu xanh lá cây ở mỗi lần xác nhận ./tools/verify.sh ở trên + tính toàn vẹn + chữ ký Có - chỉ màu xanh lá cây khi phát hành được gắn thẻ Chỉ người giữ khóa mới có thể chuyển các phần 1–2 sang màu xanh vì việc tạo lại bảng kê khai yêu cầu khóa Ed25519 ngoại tuyến. Tính toàn vẹn màu đỏ giữa các bản phát hành là việc ký ngoại tuyến hoạt động như thiết kế, không có khiếm khuyết - xem file/07-REproductION.md. Dafny là tùy chọn; bước chứng minh sẽ bị bỏ qua nếu nó không được cài đặt. Xem nó xảy ra tài liệu tham khảo python3/bộ/demo_flow.py Lưu ý: thao tác này khởi động máy chủ web cục bộ và mở tab trình duyệt. Nó chạy cho đến khi bạn dừng nó bằng Ctrl-C - đó là một bản trình bày, không phải một bài kiểm tra. Đối với đường dẫn thử nghiệm, hãy sử dụng ./tools/verify.sh. Hướng dẫn trình bày: file/DEMO-HOTO.md. Báo cáo của nhà cung cấp được gửi kèm theo hướng dẫn ẩn trong văn bản màu trắng. Mô hình đọc nó và tuân thủ. Bản demo chạy cùng một đầu ra đó theo hai đường dẫn cạnh nhau: không có mặt phẳng điều khiển, dữ liệu sẽ rời khỏi công ty, với ACP thì không có gì không thể đảo ngược được. Mô hình được thể hiện tuân thủ đầy đủ. Việc mô phỏng việc từ chối sẽ trình bày sai yêu cầu - sự đảm bảo của kiến ​​trúc không phụ thuộc vào việc tiêm thất bại. Với mô hình thực tế. Dán khóa API Anthropic vào trang và tác nhân sẽ trở thành mô hình trực tiếp đọc tài liệu bị nhiễm độc thực tế chứ không phải là phản hồi được ghi lại. Khóa được giữ trong bộ nhớ trong suốt thời gian tồn tại của quy trình, chỉ được sử dụng cho lệnh gọi đó và không bao giờ được ghi vào đĩa. Không có phím, bản demo sẽ chạy ngoại tuyến đối với bản ghi - và mặt phẳng điều khiển hoạt động giống hệt nhau vì nó không bao giờ hỏi ý kiến ​​​​mô hình về bất kỳ điều gì. Đó là mục đích của việc cung cấp cả hai: nếu các lần chạy trực tiếp và được ghi lại khác nhau, thì sự đảm bảo sẽ phụ thuộc vào những gì mô hình nói. tham chiếu python3/bộ/demo_flow.py --model claude-sonnet-5 Chỉ đại lý của riêng bạn vào nó Bản demo ở trên là một bản trình bày. Đây là mặt phẳng điều khiển như một dịch vụ mà bạn có thể tự điều khiển, từ đại lý của chính mình, qua HTTP. docker soạn -f triển khai/docker-compose.yml up -d ingress Curl -s localhost:8848/actions # tập hợp đóng - không thể đề xuất gì khác Điểm cuối Thân hình Nó làm gì NHẬN /sức khỏe — sự sống động và hàm băm của gói được thực thi NHẬN/hành động — chín hành động đã đăng ký, mỗi hành động có mục tiêu được phép, các thông số bắt buộc và khả năng đảo ngược ĐĂNG/đề xuất {"task_type", "target": [...], "params": {…}, "toán tử", "chương trình"} cánh cửa. Các câu trả lời được thực hiện, giữ lại hoặc từ chối, luôn có id quy tắc NHẬN/giữ — điều gì đang chờ đợi con người, được khóa bằng hàm băm đề xuất ĐĂNG/xác nhận {"đề xuất_hash", "ai", "quyết định": "XÁC NHẬN"} con người thứ hai xác nhận một hành động được thực hiện ĐĂNG/phát hành {"đề xuất_hash"} phát hành; chỉ thành công nếu một xác nhận hợp lệ được liên kết với các byte đó Đại lý của bạn cung cấp bất kỳ mô hình nào họ thích và giữ bất kỳ khóa API nào cần - ACP là máy chủ,