Hiển thị HN: Coalent – ​​bộ đệm câu trả lời LLM không hợp lệ khi tài liệu nguồn thay đổi

Bối cảnh thời gian thực, không hợp lệ về xuất xứ cho các tác nhân AI & RAG. Xây dựng sự hiểu biết một lần. Tái sử dụng nó ở mọi nơi. Giữ nó luôn mới - tự động. 📖 Tài liệu  ·  Colent.ai  ·  💬 Discord Bắt đầu nhanh · Có gì mới trong v0.6 · Thang cổng · Mang theo ngăn xếp của riêng bạn · MCP · LangChain · Điểm chuẩn · CLI Nhân viên hỗ trợ của bạn đọc lại các nguồn giống nhau trong mỗi cuộc gọi — và ngay khi nguồn thay đổi, mọi câu trả lời được lưu trong bộ nhớ đệm đều sai âm thầm. Coalent xây dựng sự hiểu biết một lần, lưu trữ nó vào bộ nhớ đệm theo ý nghĩa của truy vấn và vô hiệu hóa nó ngay lập tức khi nguồn cơ bản thay đổi. Chính xác như việc đọc lại mọi thứ, với chi phí thấp - và không bao giờ cũ. Tại sao là than Mỗi lớp ngữ cảnh buộc phải đánh đổi ba thứ. Coalent được xây dựng để chứa cả ba cùng một lúc: 🧠 Hiểu biết mang tính khai thác, không phải hiểu biết từng mảng. Nó lưu trữ một tập hợp các xác nhận nguyên tử, dựa trên nguồn gốc, không phụ thuộc vào truy vấn mà LLM của bạn đã trích xuất — lưu giữ mọi con số và dữ kiện — vì vậy một đơn vị được lưu trong bộ nhớ đệm sẽ trả lời nhiều câu hỏi khác nhau sau này. Bằng chứng thô được giữ lại với mỗi đơn vị, do đó, một lần truy cập bao quát được một truy vấn sẽ quay trở lại để truy xuất thay vì trả lời sơ sài. ♻️ Tái sử dụng trên các truy vấn, tác nhân — và tài liệu. Bộ đệm ngữ nghĩa được khóa theo ý nghĩa truy vấn: hỏi lại hoặc từ một tác nhân khác và đó là một thành công vang dội. Nhóm thu hồi giữa các đơn vị yêu cầu giữa các đơn vị để trả lời các câu hỏi có nhiều bước nhảy có bằng chứng trải rộng trên các tài liệu - không cần thêm cuộc gọi LLM nào. 🌿 Tươi ngon theo xuất xứ. Mỗi đơn vị đều nhớ chính xác các nguồn mà nó đã sử dụng. Khi một cái thay đổi, chỉ những đơn vị thực sự sử dụng nó mới trở nên cũ kỹ - một cách chính xác, tự động và lười biếng. Coalent nằm phía trên khả năng truy xuất - mang theo bất kỳ công cụ truy xuất nào (DB vectơ, tìm kiếm kết hợp, GraphRAG, công cụ, API). Đó là lớp làm mới và tái sử dụng, chứ không phải một công cụ truy xuất khác — có chủ ý trái ngược với thuế trả trước cho toàn bộ biểu đồ của GraphRAG: các đơn vị nhẹ, độc lập, chỉ được xây dựng một cách lười biếng khi một truy vấn thực sự cần một đơn vị và được làm mới bằng cách làm bẩn một đơn vị duy nhất (không cần phẫu thuật biểu đồ). Tính năng mới trong v0.6 — đường dẫn đọc nhóm (read_path="pool"): mỗi lần đọc sẽ phục vụ nhóm yêu cầu mới được xếp hạng toàn cầu, được phân bổ ngân sách bằng mã thông báo. Được đo lường dựa trên điểm chuẩn tin tức gồm 605 câu hỏi (xếp hạng nghiêm ngặt): độ chính xác 0,731 @ 981 mã thông báo bối cảnh — khớp với top 9 ngây thơ (0,711 @ 1.311) với số mã thông báo ít hơn ~ 25% và điểm đo tốt nhất của ngây thơ (top 12: 0,731 @ 1.729) ở mức ít hơn ~ 43%. Cộng với ngăn xếp hành vi TẮT mặc định — các khoảng dư → dự phòng từ chối → chỉ sửa chữa nối thêm → khóa truy vấn — được đo ở mức từ chối −33% và +3,1 điểm trên cùng một cửa hàng. Tất cả đều chọn tham gia; đường dẫn đọc mặc định không thay đổi hành vi v0.5. Xem Có gì mới. Tính năng mới trong v0.6.1 — máy chủ MCP: Coalent-mcp đặt bộ đệm cách xa Claude Code, Cursor hoặc bất kỳ ứng dụng khách MCP nào một dòng (Sử dụng nó từ Claude Code / Cursor) và langchain-coalent làm cho LangChain hiện tại của bạn xếp chồng lên nền của bộ đệm. Cả hai đều chỉ có chất phụ gia. cài đặt pip cài đặt than # lõi không có phụ thuộc cần thiết Bắt đầu nhanh Chạy nguyên trạng — StubSynthesizer không cần khóa API, do đó bạn có thể cảm nhận được vòng lặp trong mười giây: từ nhập liên kết SemanticCache, InMemoryRetriever, StubSynthesizer # 1. Bất kỳ trình truy xuất nào - DB vector, công cụ, API. (Ở đây có bản demo trong bộ nhớ.) người truy tìm = InMemoryRetriever() Retriever.add("confluence:hr", "Chính sách nghỉ phép: 21 ngày nghỉ phép hàng năm mỗi năm.") # 2. Xây dựng bộ đệm. Trao đổi StubSynthesizer để lấy LLM thực sự bên dưới. cache = SemanticCache(retriever, StubSynthesizer()) # 3. Hỏi. Cuộc gọi đầu tiên xây dựng sự hiểu biết và lưu trữ nó; tiếp theo là một hit ấm áp. result = cache.get("chính sách nghỉ phép của chúng tôi là gì?") print(result.context["hiểu biết"]) print(result.cache_hit) # Sai (lạnh) -> Đúng trong cuộc gọi tiếp theo #4. Nguồn bị thay đổi? Chỉ những thiết bị sử dụng nó mới trở nên cũ kỹ - về mặt phẫu thuật. cache.source_changed("confluence:hr", text="Chính sách nghỉ phép: bây giờ là 25 ngày.") # lần đọc phù hợp tiếp theo chỉ xây dựng lại một đơn vị đó, một cách lười biếng Kết nối trong một mô hình thực - mọi LLM văn bản vào / ra đều hoạt động. Trong phiên bản 0.4, bộ tổng hợp xây dựng sự hiểu biết trích xuất theo mặc định (các tuyên bố nguyên tử độc lập với truy vấn giữ mọi dữ kiện) và bộ nhớ đệm thực hiện thu hồi nhiều đơn vị - cả hai đều tự động bật: từ nhập khẩu liên hợp SemanticCache, LLMSynthesizer, OpenAIProvider, OpenAIEmbedder bộ đệm = SemanticCache( người săn mồi, LLMSynthesizer(OpenAIProvider(), model="gpt-4o-mini"), # extract=True theo mặc định (v0.4) embedder=OpenAIEmbedder(), # khớp truy vấn theo Ý NGHĨA (được khuyến nghị để sử dụng thực tế) ) # Multi-hop trên các tài liệu? thu hồi đã được bật; nâng kích hoạt của nó lên các đơn vị cầu nối: # SemanticCache(retriever, synth, embedder=...,recall_threshold=0.7) Đường dẫn đọc nhóm v0.6 — chọn tham gia và mỗi lần đọc sẽ phục vụ nhóm yêu cầu mới được xếp hạng toàn cầu, được đóng gói theo ngân sách thay vì một đơn vị được định tuyến. Phân bổ là thứ duy nhất cần kết nối: một pool_header 3 dòng có thể gọi được ánh xạ từng đơn vị tới [title | nguồn | date] từ siêu dữ liệu kho văn bản của riêng bạn. Đây là con đường vàng được đo lường - trên điểm chuẩn tin tức gồm 605 câu hỏi (xếp hạng nghiêm ngặt), độ chính xác 0,68 với tiêu đề trần được tích hợp sẵn so với 0,73 với cùng một truy vấn, cùng một cửa hàng, có thể gọi được này: DOC_META = { # siêu dữ liệu kho văn bản của bạn, được khóa theo id tạo tác "docs:azure-refresh": {"title": "Làm mới vùng Azure", "source": "CloudWire", "date": "2026-05-02"}, } def pool_header(unit) -> str: # the [title | nguồn | ngày] con đường vàng — 3 dòng meta = DOC_META.get(unit.evidence[0].artifact_id if unit.evidence else "") return f"[{meta['title']} | {meta['source']} | {meta['date']}]" if meta else f"[source: {unit.id}]" cache = SemanticCache(truy xuất, tổng hợp, embedder=OpenAIEmbedder(), read_path="pool", pool_header=pool_header) result = cache.get("khu vực nào được làm mới?") result.context["pool"] # tải trọng xác nhận quyền sở hữu được đóng gói, phân bổ — chuyển nó cho mô hình câu trả lời của bạn Bản demo không có khóa API có thể chạy được, bao gồm vòng lặp từ chối: ví dụ/pool_read_path.py. Sử dụng nó từ Mã Claude/Con trỏ (MCP) Coalent-mcp cung cấp các thông tin mới, được quy kết từ bộ đệm Coalent cho bất kỳ ứng dụng khách MCP nào — và sự thật sẽ bị vô hiệu ngay khi nguồn của chúng thay đổi. Một đường dây để nối nó vào Mã Claude: insta pip