Quan sát tác nhân với LangSmith, Langfuse và Arize: So sánh thực tế

Quan sát tác nhân: So sánh LangSmith, Langfuse và Arize Hội nghị AI tương lai nhất của Ấn Độ đã trở lại – Lớn hơn, Sắc nét hơn, Táo bạo hơn d : h : m : s Nhận thông tin chi tiết Các khóa học miễn phí Các khóa học miễn phí Lộ trình học tập Chương trình tăng tốc Chương trình tăng tốc Mới Chương trình GenAI Pinnacle GenAI Pinnacle Plus Người tiên phong AI tác nhân Mới DeepSeek Hội nghị thượng đỉnh DataHack 2025 DHS 2026 Các khóa học miễn phí Đăng nhập Chuyển chế độ Đăng xuất Chuẩn bị phỏng vấn Sự nghiệp GenAI Kỹ thuật nhắc nhở ChatGPT LLM Langchain RAG Tác nhân AI Học máy Học sâu Công cụ GenAI LLMOps Python NLP SQL Dự án AIML Danh sách đọc Lộ trình học tập của nhà phân tích dữ liệu Cách trở thành nhà phân tích dữ liệu vào năm 2025: Lộ trình hoàn chỉnh Lộ trình học tập Tableau Lộ trình học tập toàn diện về Tableau vào năm 2025 Lộ trình học tập NLP Lộ trình học tập NLP toàn diện 2025 Lộ trình học tập của nhà khoa học dữ liệu Lộ trình học tập để trở thành nhà khoa học dữ liệu vào năm 2025 Lộ trình học tập của kỹ sư dữ liệu Lộ trình từng bước để trở thành kỹ sư dữ liệu vào năm 2025 Lộ trình học tập MLOps Lộ trình học tập MLOps toàn diện: Phiên bản 2025 Lộ trình học tập của kỹ sư AI Lộ trình để trở thành kỹ sư AI vào năm 2025 Lộ trình học tập thị giác máy tính Lộ trình học tập toàn diện để thành thạo thị giác máy tính vào năm 2025 Lộ trình học tập AI tạo sinh Lộ trình tốt nhất để học AI tạo sinh vào năm 2025 Lộ trình AI tạo sinh cho doanh nghiệp Lộ trình GenAI cho doanh nghiệp Lộ trình LLM Các mô hình ngôn ngữ lớn được giải mã: Lộ trình dành cho người mới bắt đầu Lộ trình kỹ sư nhắc nhở Lộ trình học tập để trở thành chuyên gia kỹ thuật nhắc nhở Trang chủ Tác nhân AI Quan sát tác nhân với LangSmith, Langfuse và Arize: So sánh thực tế Quan sát tác nhân với LangSmith, Langfuse và Arize: So sánh thực tế Riya Bansal Cập nhật lần cuối: 03 tháng 6 năm 2026 8 phút đọc Tác nhân AI của bạn hoạt động tốt trong thử nghiệm. Sau đó, bạn triển khai nó và một cái gì đó hơi trục trặc. Một công cụ lặp vô tận, như thể nó không bao giờ học được. Một bước truy xuất trả về dữ liệu rác và chi phí tăng vọt. Bạn hoàn toàn không biết tại sao. Đó là vấn đề quan sát tác nhân. Và nếu bạn đang xây dựng với các mô hình ngôn ngữ lớn (LLM), bạn cần giải quyết nó trước khi sản xuất, không phải sau đó. Bài viết này sẽ phân tích ba công cụ quan sát được sử dụng nhiều nhất: LangSmith, Langfuse và Arize. Chúng ta sẽ thiết lập từng công cụ, theo dõi cùng một tác nhân và so sánh những gì bạn thực sự nhận được. Mục lục Quan sát tác nhân là gì? Thiết lập tác nhân thử nghiệm LangSmith: Theo dõi Langchain gốc Langfuse: Mã nguồn mở và không phụ thuộc vào framework Arize: Quan sát học máy cấp độ sản xuất Bạn nên chọn công cụ nào để quan sát tác nhân? Kết luận Quan sát tác nhân là gì? Giám sát ứng dụng truyền thống theo dõi các yêu cầu, lỗi và độ trễ, nhưng điều đó không đủ cho các tác nhân. Một tác nhân có thể gọi nhiều công cụ theo trình tự, với mỗi bước LLM có lời nhắc, mức sử dụng token, độ trễ và điểm lỗi tiềm ẩn riêng. Một truy xuất hoặc cuộc gọi công cụ không thành công có thể dẫn đến phản hồi cuối cùng không chính xác. Khả năng quan sát của tác nhân (agent observability) ghi lại toàn bộ biểu đồ thực thi: mọi bước, quyết định, đầu vào và đầu ra của LLM, lệnh gọi công cụ, đối số, kết quả, mức sử dụng token, độ trễ và điểm đánh giá. Nếu không có khả năng hiển thị này, việc gỡ lỗi hành vi của tác nhân sẽ trở thành phỏng đoán. Thiết lập tác nhân thử nghiệm Chúng tôi sẽ sử dụng một tác nhân LangChain rất đơn giản để so sánh chúng. Tác nhân nhận một câu hỏi từ người dùng, truy xuất ngữ cảnh liên quan và phản hồi bằng cách sử dụng một hoặc nhiều công cụ để đưa ra câu trả lời. Đầu tiên, bạn cần tạo tác nhân thử nghiệm và cài đặt tất cả các thư viện cần thiết. Hãy xem xét tác nhân cơ sở với hai phương thức (search_docs và get_order_status). Đây sẽ là nền tảng cơ bản của chúng tôi để so sánh với ba công cụ quan sát. """ Tác nhân cơ sở được sử dụng trong cả ba bản demo quan sát. Hoán đổi biến môi trường OPENAI_API_KEY hoặc gọi build_agent() từ bất kỳ tệp demo nào. """ import os from dotenv import load_dotenv from langchain.agents import AgentExecutor, create_openai_tools_agent from langchain.tools import tool from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder from langchain_openai import ChatOpenAI load_dotenv() @tool def search_docs(query: str) -> str: """Tìm kiếm tài liệu nội bộ để biết thông tin liên quan.""" # Truy xuất mô phỏng — hoán đổi với kho vector thực tế của bạn docs = { "refund": ( "Hoàn tiền được xử lý trong vòng 5-7 ngày làm việc. " "Các mặt hàng phải được trả lại trong vòng 30 ngày." ), "shipping": ( "Vận chuyển tiêu chuẩn mất 3-5 ngày làm việc. " "Chuyển phát nhanh là 1-2 ngày." ), "account": ( "Bạn có thể đặt lại mật khẩu của mình qua trang đăng nhập. " "Liên hệ hỗ trợ để biết các vấn đề về tài khoản." ), } for keyword, content in docs.items(): if keyword in query.lower(): return content return f"Tìm thấy tài liệu chung liên quan đến: {query}" @tool def get_order_status(order_id: str) -> str: """Tra cứu trạng thái của một đơn hàng theo ID.""" # Tra cứu đơn hàng mô phỏng statuses = { "ORD-001": "Đã vận chuyển — dự kiến giao hàng 30/5/2026", "ORD-002": "Đang xử lý — chưa vận chuyển", "ORD-003": "Đã giao vào 25/5/2026", } return statuses.get( order_id, f"Không tìm thấy đơn hàng {order_id} trong hệ thống.", ) def build_agent() -> AgentExecutor: llm = ChatOpenAI( model="gpt-4o", temperature=0, api_key=os.environ["OPENAI_API_KEY"], ) tools = [search_docs, get_order_status] prompt = ChatPromptTemplate.from_messages( [ ( "system", "Bạn là một trợ lý hỗ trợ khách hàng hữu ích. " "Sử dụng các công cụ khi cần thiết.", ), ("user", "{input}"), MessagesPlaceholder(variable_name="agent_scratchpad"), ] ) agent = create_openai_tools_agent(