Hiển thị HN: Proxy truyền phát PII Zero-Egress PII LLM-Shield-Proxy (RAM 55 MB)

LLM-Shield-Proxy 🛡️ Proxy ngược bảo tồn ngữ cảnh và biên tập PII an toàn, nhanh chóng và có sẵn cho các Mô hình Ngôn ngữ Lớn. Tuân thủ SOC 2 Loại II và HIPAA cho các luồng LLM mà không làm gián đoạn độ trễ thời gian thực. LLM-Shield-Proxy là proxy đảo ngược phần mềm trung gian mã nguồn mở, không đầu ra được triển khai trực tiếp trong VPC công ty của bạn. Nó chặn các yêu cầu API LLM tương thích với OpenAI, sắp xếp lại Thông tin nhận dạng cá nhân (PII) và các bí mật thô trước khi chúng rời khỏi cơ sở hạ tầng của bạn, đồng thời cung cấp lại một cách xác định các phản hồi trò chuyện Sự kiện do máy chủ gửi (SSE) theo thời gian thực với độ trễ luồng cực thấp. Được thiết kế để bỏ chặn việc tuân thủ quyền riêng tư của doanh nghiệp (SOC 2, HIPAA, HITRUST mà không phá vỡ độ trễ phát trực tuyến theo thời gian thực). Tích hợp ngược dòng & bối cảnh Kho lưu trữ này cung cấp kiến trúc proxy tham chiếu và bộ điểm chuẩn để giải quyết phân mảnh luồng SSE trong hộp cát doanh nghiệp, như được đề xuất trong: Đề xuất ngược dòng: NVIDIA/OpenShell #2763 Bản in trước: DOI: 10.5281/zenodo.21955770 ⚡ Khởi động và triển khai nhanh trong 60 giây 🔄 Bằng chứng đăng nhập (Tích hợp Zero-SDK) Vì LLM-Shield-Proxy về cơ bản bắt chước đặc tả OpenAI nên bạn không cần phải viết lại mã ứng dụng của mình. Bạn chỉ cần thay đổi base_url trong SDK hoặc điểm cuối trong lệnh cuộn tròn của mình. Proxy chặn tải trọng, sắp xếp lại nó và tự động dịch lược đồ sang nhà cung cấp ngược dòng chính xác. # ❌ Trước: Gửi PHI thô trực tiếp tới OpenAI cuộn tròn https://api.openai.com/v1/chat/completions \ -H "Ủy quyền: Bearer sk-openai-key" \ -d '{"tin nhắn": [{"role": "người dùng", "nội dung": "SSN của tôi là 000-00-0000"}]}' # ✅ Sau: Gửi payload qua LLM-Shield (Zero Egress) cuộn tròn http://localhost:8000/v1/chat/completions \ -H "Ủy quyền: Người mang lá chắn-khóa ảo" \ -d '{"tin nhắn": [{"role": "người dùng", "nội dung": "SSN của tôi là 000-00-0000"}]}' 🚀 Bắt đầu nhanh (Docker) - 3 dòng Bash Tăng cường proxy không đầu ra và chạy bản demo PII phát trực tiếp trong 3 dòng: # 1. Bật vùng chứa proxy ở chế độ nền docker soạn thảo -d #2. Xác minh thăm dò sức khỏe cuộn tròn http://localhost:8000/healthz #3. Chạy script demo trực tiếp ví dụ về python/demo.py 📦 Tùy chọn cài đặt & Chiến lược cấu hình LLM-Shield-Proxy có tính mô-đun cao. Bạn có thể định cấu hình công cụ dựa trên các ràng buộc về bộ nhớ và ROI tuân thủ cụ thể của mình: Cấp cài đặt Lệnh Khả năng bao gồm Trường hợp sử dụng / Đánh đổi Chế độ tiêu chuẩn (Proxy micro giây) pip cài đặt llm-shield-proxy Cấp 1 (Regex) & Cấp 2 (Shannon Entropy) Tốt nhất cho DevOps & Secrets: Hoạt động với bộ nhớ cực thấp (RAM <60 MB) và thông lượng tối đa. Phạm vi bảo hiểm: Tỷ lệ bắt xác định 100% đối với dữ liệu tuân thủ có cấu trúc (SSN, Email, IP/MAC) và bí mật mật mã có entropy cao (Khóa API, mã thông báo Hex). Bỏ lỡ tên đàm thoại/văn bản tự do. Chế độ NLP đầy đủ (NER theo ngữ cảnh) cài đặt pip "llm-shield-proxy [ner]" Thêm cấp 3 (ONNX Runtime NER) Tốt nhất cho HIPAA/GDPR: Thêm mô hình BERT-NER được lượng tử hóa thông qua thời gian chạy ONNX để trích xuất PII đàm thoại (Tên bệnh nhân, Tổ chức) từ văn bản tự do. Phạm vi bao phủ: >95% F1 Thu hồi các thực thể theo ngữ cảnh trên bộ dữ liệu điểm chuẩn tiêu chuẩn, phù hợp với độ chính xác của API NLP đám mây doanh nghiệp (AWS Comprehend, Google Cloud DLP, Microsoft Presidio) ở mức bộ nhớ thấp hơn 10 lần. Đánh đổi: Yêu cầu thêm ~45 MB–65 MB RAM cho phiên suy luận và trọng số mô hình ONNX được lượng tử hóa. Bật ONNX NER cấp 3: Khi được cài đặt với [ner], hãy bật trích xuất thực thể thần kinh sâu bằng cách đặt ENABLE_TIER3_ONNX_NER=true trong .env hoặc các biến môi trường của bạn (và tùy chọn trỏ ONNX_MODEL_PATH vào trọng số mô hình tùy chỉnh). Nếu bị vô hiệu hóa hoặc không được cài đặt, động cơ sẽ tự động vượt qua Cấp 3 một cách nhẹ nhàng mà không tốn chi phí khởi động. 🧠 Mang theo mô hình của riêng bạn (BYOM): Máy biến áp ONNX tùy chỉnh LLM-Shield-Proxy không bị khóa trong một mô hình NER duy nhất. Kiến trúc doanh nghiệp có thể cắm vào bất kỳ biến áp Hugging Face dành riêng cho miền nào được xuất sang ONNX bằng cách trỏ ONNX_MODEL_PATH (cùng với tokenizer.json của nó): Chăm sóc sức khỏe & HIPAA: Tải các mô hình BioBERT, ClinicBERT hoặc Med-BERT được lượng tử hóa để sắp xếp lại các ghi chú và hồ sơ y tế của bệnh nhân lâm sàng. GDPR toàn cầu & đa ngôn ngữ: Tải XLM-RoBERTa hoặc mBERT để trích xuất thực thể theo ngữ cảnh bằng tiếng Pháp, tiếng Đức, tiếng Tây Ban Nha và đa ngôn ngữ. Công nghệ & Tài chính Pháp lý: Tải Legal-BERT hoặc FinBERT cho các hợp đồng chuyên biệt, NDA và các quy trình kiểm toán tài chính. Chi phí bằng 0 khi bị vô hiệu hóa: Nếu ENABLE_TIER3_ONNX_NER=false, thời gian chạy ONNX hoàn toàn bị bỏ qua, duy trì RAM <60 MB và dấu chân cực thấp. 🛡️ Mang theo Regex của riêng bạn (BYOR): Nội quy quy tắc doanh nghiệp Việc tuân thủ của doanh nghiệp thường yêu cầu quét các định dạng nội bộ độc quyền (ví dụ: ID nhân viên tùy chỉnh, tên mã dự án nội bộ hoặc mã thông báo thanh toán độc quyền). LLM-Shield-Proxy cho phép bạn đưa vào các quy tắc biểu thức chính quy tùy chỉnh được đánh giá cùng với Cấp 1 mà không gặp rủi ro về ReDoS (Từ chối Dịch vụ Biểu thức Thông thường) thảm khốc. Để chèn các biểu thức chính quy tùy chỉnh, hãy gắn tệp custom_regex.yaml vào proxy và trỏ CUSTOM_REGEX_PATH vào đó. Bảo mật & khả năng miễn dịch ReDoS: Các proxy ngược ngây thơ có thể gặp sự cố khi được đánh giá dựa trên các biểu thức chính quy quay lại được viết kém như (a+)+$. Để ngăn chặn điều này, LLM-Shield-Proxy tận dụng công cụ google-re2 C++ cho tất cả các mẫu tùy chỉnh BYOR. Nó phân tích cấu hình YAML của bạn thông qua Pydantic trong sự kiện khởi động vòng đời FastAPI và biên dịch tất cả các mẫu bằng cách sử dụng re2, đảm bảo về mặt toán học $O(N)$ thời gian thực thi bất kể biểu thức chính quy của bạn phức tạp đến mức nào hoặc tải trọng phát trực tuyến đối nghịch như thế nào. Điều này đảm bảo khả năng miễn dịch hoàn toàn trước các cuộc tấn công ReDoS mà không phải hy sinh chi phí độ trễ micro giây. # custom_regex.yaml custom_patterns: - tên: INTERNAL_EMPLOYEE_ID mẫu: "(?i)EMP-[A-Z]{3}-\\d{5}" mô tả: "Khớp với ID nhân viên nội bộ của Acme Corp" # Khởi động máy chủ proxy cục bộ trên cổng 8000 llm-shield-proxy --host 0.0.0.0 --port 8000 --workers 1 🐳 Chạy trực tiếp qua Docker docker chạy -d -p 8000:8000 \ -e OPENAI_API_KEY="sk-your-openai-api-k