Show HN: LLM-cost-watch – Truy vấn Claude về nguyên nhân hóa đơn LLM tăng đột biến

llm-cost-watch Máy chủ Giao thức Ngữ cảnh Mô hình (Model Context Protocol - MCP) phục vụ phân tích chi phí và độ trễ của mô hình ngôn ngữ lớn (LLM). "Truy vấn Claude về nguyên nhân gia tăng chi phí LLM." Tổng quan về llm-cost-watch Thay vì theo dõi qua các bảng điều khiển web phức tạp, llm-cost-watch cho phép người dùng truy vấn trực tiếp Claude trên các nền tảng Claude Desktop, Claude Code hoặc Antigravity: Người dùng: "Claude, vì sao chi phí LLM tăng 40% trong tuần này, và điểm nghẽn độ trễ đang nằm ở đâu?" Claude: [Gọi công cụ llm-cost-watch: cost_by_feature và slow_calls] "Quy trình 'knowledge_base_rag' chiếm 66,1% tổng chi phí (0,082 USD qua 3 lần chạy thử nghiệm) và đẩy độ trễ p95 lên mức 3.120 ms do khung ngữ cảnh 7.000 token chưa qua nén dữ liệu. Trong khi đó, tính năng 'customer_intent_classifier' hiện được điều hướng qua GPT-4o để phân loại dữ liệu 14 token. Việc chuyển hướng tính năng này sang GPT-4o-mini sẽ giảm 94% chi phí và đưa độ trễ p95 xuống còn 320 ms." Ba công cụ MCP cốt lõi cost_by_feature(timeframe="7d"): Xác định tính năng hoặc quy trình làm việc tiêu tốn ngân sách lớn nhất. slow_calls(limit=5, min_latency_ms=1200): Xác định các trường hợp ngoại lệ có độ trễ cao (p50, p95, p99) và chẩn đoán nguyên nhân tắc nghẽn (dung lượng câu lệnh prompt không giới hạn, vòng lặp công cụ đệ quy, đình trệ suy luận). routing_suggestions(savings_threshold_pct=20): Phân tích các câu lệnh prompt ngắn có cấu trúc đang chạy trên các mô hình tiên tiến chi phí cao, đồng thời tính toán cụ thể mức tiết kiệm tài chính khi chuyển đổi sang Claude 3.5 Haiku hoặc GPT-4o-mini. Quy trình cài đặt nhanh (dưới 5 phút) 1. Cài đặt và sao chép mã nguồn git clone https://github.com/rohith0707/llm-cost-watch.git cd llm-cost-watch pip install -r requirements.txt 2. Kết nối với Claude Desktop Thêm cấu hình sau vào tệp claude_desktop_config.json: { "mcpServers": { "llm-cost-watch": { "command": "python", "args": ["-m", "tools.llm-cost-watch.server"] } } } 3. Ghi nhật ký các lệnh gọi trong mã nguồn (một dòng lệnh) from logger import watch_llm @watch_llm(feature="customer_intent_classifier", task_type="classification", model="gpt-4o") def classify_intent(message: str) -> str: # Lệnh gọi OpenAI / Anthropic thông thường return client.chat.completions.create(...) Chạy thử nghiệm python test_server.py Cấp phép thương mại và kiểm toán kiến trúc Phiên bản cốt lõi miễn phí: Mã nguồn mở theo giấy phép MIT. Gói SLA doanh nghiệp và kiểm toán chi phí / xử lý đồng thời trong 14 ngày (2.500 USD): Liên hệ Rohith Balsa (balsarohith7@gmail.com | linkedin.com/in/rohithbalsa).