Stillsane: Phát hiện sự suy giảm chất lượng âm thầm trong các ứng dụng LLM đã triển khai

stillsane 0.0.6 Biết khi nào ứng dụng LLM của bạn ngừng hoạt động một cách âm thầm. pip install stillsane Sao chép hướng dẫn PIP Mô tả dự án. Tiêu điểm sẽ được chuyển đến phần mô tả. Mô tả Tệp. Tiêu điểm sẽ được chuyển đến các tệp dự án. Tải xuống tệp Lịch sử phát hành. Tiêu điểm sẽ được chuyển đến bảng lịch sử phát hành. Lịch sử phát hành stillsane Một công cụ phát hiện sự trôi dạt cho các ứng dụng và tác nhân LLM đã triển khai. Ứng dụng LLM của bạn không gặp sự cố khi hiệu suất kém đi. Nó vẫn trả về mã 200, độ trễ có vẻ bình thường, tỷ lệ lỗi bằng 0, nhưng đầu ra lại âm thầm kém chính xác hơn so với tháng trước. Bạn chỉ phát hiện ra khi người dùng phàn nàn. stillsane chạy một tập hợp nhỏ các lời nhắc (prompt) đối với điểm cuối trực tiếp của bạn theo lịch trình, so sánh từng phản hồi với một đường cơ sở đã lưu trữ và thông báo cho bạn khi hành vi đã vượt ra ngoài phạm vi mà công cụ thăm dò thường dao động. Nó quan sát từ bên ngoài, qua giao thức HTTP thuần túy. Không có gì để đo lường, không có SDK để nhập, không có tài khoản và không có dịch vụ lưu trữ. Trạng thái: giai đoạn đầu, v0.0.6. Mọi thứ được mô tả dưới đây đều hoạt động. Định dạng cấu hình có thể vẫn thay đổi trước phiên bản 0.1. Xem Trạng thái. Giao diện Một công cụ thăm dò trích xuất tổng số và ngày đáo hạn dưới dạng JSON. Mô hình đã được cập nhật và bắt đầu tự giải thích. Các con số vẫn chính xác và vẫn hiện diện, nhưng mọi trình gọi thực hiện json.loads(response) hiện đều gặp lỗi. DRIFT extract_invoice @ prod semantic_distance 0.133 band <=0.05626 z=+8.9 length_chars 106 band 36..52 (floor) z=+23.2 completion_tokens 26 band 7..15 (floor) z=+11.2 valid_json 0% valid band >=1 5 tín hiệu khác không thay đổi đường cơ sở (v1, 31/7/2026): {"due_date": "2026-07-01", "total": 1240.50} hiện tại: Chắc chắn rồi! Tôi đã tìm thấy những điều sau: {"total": 1240.5, "due_date": "2026-07-01"} Rất vui được hỗ trợ thêm về hóa đơn. ------------------------------------------------------------ 1 drift -> DRIFT Mã thoát 1, vì vậy điều này làm lỗi một bản dựng. Không có gì bị lỗi, không có gì chậm hơn và không có công cụ giám sát thông thường nào có thể nhận ra. Dải <=0.05626 đó không phải là một con số được chọn. Đường cơ sở đã quan sát công cụ thăm dò này dao động về khoảng trắng, định dạng số và thứ tự khóa, và đã học được giá trị của nó. Phiên bản được bao bọc bằng văn xuôi nằm gần chín lần ngoài phạm vi đó. Hai dải vẫn được đánh dấu (floor) là công cụ trung thực về cách nó có được những con số đó: ví dụ này chạy với một mô hình gọn gàng mà độ dài và số lượng token hầu như không thay đổi, vì vậy có quá ít sự phân tán để đo lường và chúng đã quay trở lại một giá trị sàn tích hợp. stillsane cho biết điều nào trong hai điều đã xảy ra thay vì trình bày một số mặc định như một số đã đo lường. stillsane bands báo cáo đầy đủ. Bạn có thể chạy chính xác điều này trong khoảng ba mươi giây, không cần khóa API, từ examples/invoice-extract/. Bắt đầu nhanh pip install stillsane stillsane init # viết cấu hình khởi đầu, sau đó trỏ nó đến điểm cuối của bạn stillsane baseline # ghi lại "bình thường" trông như thế nào. Rõ ràng, không bao giờ tự động. stillsane check # so sánh với nó. Thoát với mã khác 0 khi có sự trôi dạt. Đặt stillsane check theo lịch trình trong CI và bạn đã hoàn tất. Xem In CI để biết quy trình làm việc bạn có thể sao chép. Vấn đề Ba cách một ứng dụng LLM suy giảm mà không bao giờ gặp lỗi: Nhà cung cấp đã thay đổi mô hình. Các nhà cung cấp dịch vụ lưu trữ cập nhật mô hình đằng sau một điểm cuối mà không thay đổi chuỗi phiên bản. Cuộc gọi tương tự có thể quay lại kết quả đầu ra sẽ khác đi một cách có ý nghĩa vào những tháng sau đó và điều này hoàn toàn nằm ngoài khả năng của bạn kiểm soát. Ai đó đã chỉnh sửa lời nhắc. Chỉnh sửa lời nhắc hệ thống hoặc mô tả công cụ phá vỡ một hành vi ba bước xuôi dòng mà không có thử nghiệm nào thực hiện được. Việc thu hồi bị trôi dạt. Thay đổi ngữ cảnh RAG, chất lượng truy xuất các slide, nhận được câu trả lời mơ hồ hơn. Trong cả ba trường hợp, ứng dụng vẫn tiếp tục hoạt động. Độ trễ là ổn. Tỷ lệ lỗi bằng không. Chất lượng tệ hơn. Không ai được phân trang. Đây là chế độ lỗi tương tự như cảm biến trôi dạt trên cơ sở hạ tầng không được giám sát: a tiếng va chạm rất lớn và bạn phát hiện ra ngay lập tức, nhưng có vẻ sai số được tin tưởng. Cách khắc phục là giám sát tổng hợp: thực hiện toàn bộ đường ống một lịch trình, xác nhận những gì quay trở lại, cảnh báo trước khi có thông báo của con người. tĩnh lặng là cái đó, chỉ vào một LLM. Bạn có nên sử dụng cái này? Có lẽ là không, nếu bạn đã có thứ gì đó: Bạn muốn biết lời nhắc có phù hợp hay không trước khi gửi nó. Sử dụng một khung đánh giá trước khi xuất xưởng. Có một số mã nguồn mở tốt và vẫn ổn sẽ không giúp bạn. Đó không phải là sự khiêm tốn giả tạo. Đánh giá trước khi xuất xưởng là một sự khác biệt vấn đề và các công cụ được xây dựng để giải quyết vấn đề đó tốt hơn bao giờ hết một công cụ thuộc phạm vi này ý chí. Bạn đã chạy một nền tảng theo dõi hoặc đánh giá. Bạn có điểm đánh giá trên lưu lượng sản xuất thực tế. Xem những cái đó. Thêm stillsane mua cho bạn xem dấu vân tay của nhà cung cấp và không nhiều thứ khác. Bạn sẵn sàng trang bị cho ứng dụng của mình. Sau đó, cụ nó. Truy tìm thấy mọi yêu cầu thực sự; stillsane chỉ nhìn thấy một số thăm dò bạn đã viết. Đó là một bất lợi thực sự và vĩnh viễn. stillsane dành cho trường hợp không có trường hợp nào trong số đó: bạn đã vận chuyển một đại lý hoặc LLM đường ống, rất có thể chủ yếu được hỗ trợ bởi AI, bạn không có đánh giá và không có khả năng quan sát, bạn sẽ không bao giờ thêm SDK theo dõi và ngay bây giờ bạn sẽ tìm hiểu về sự xuống cấp từ khiếu nại của người dùng. Nếu đó là bạn thì đây là một tập tin cấu hình và một lệnh. Làm thế nào nó so sánh tĩnh lặng Khung đánh giá trước khi xuất xưởng Nền tảng truy tìm Câu trả lời "lời nhắc này có hiệu quả không?" không vâng một phần Câu trả lời "những gì tôi vận chuyển vẫn ổn chứ?" vâng không vâng Ghi điểm lưu lượng sản xuất thực tế không không vâng Yêu cầu trang bị ứng dụng của bạn không không vâng Yêu cầu tài khoản/dịch vụ lưu trữ không thường không thường Tìm hiểu phương sai trên mỗi đầu dò vâng không không Cảnh báo về sự thay đổi dấu vân tay của nhà cung cấp vâng không hiếm khi Độ rộng của các nhà cung cấp thu hẹp rộng rãi rộng rãi Thư viện khẳng định/eval tối thiểu lớn lớn Cả hai cột còn lại bao gồm một loạt các công cụ khác nhau đáng kể; chúng là một hình dạng thô, không phải là một đặc điểm kỹ thuật. Trường hợp các lựa chọn thay thế giành chiến thắng hoàn toàn: phạm vi bảo hiểm của nhà cung cấp, bánh mì khẳng định