Bản phát hành mới của LLM bổ sung hỗ trợ cho dấu vết suy luận, phản hồi từ OpenAI, công cụ phía máy chủ và tính năng ghi nhật ký thông minh hơn.

Bản phát hành mới của LLM bổ sung hỗ trợ cho dấu vết suy luận, phản hồi OpenAI, công cụ phía máy chủ và ghi nhật ký thông minh hơn Blog của Simon Willison Đăng ký Được tài trợ bởi: AWS — Chuyển từ SaaS sang Agentic SaaS với các tài nguyên dành cho ISV ở mọi lớp của ngăn xếp. Khám phá cách AI dành cho ISV biến tầm nhìn thành kết quả Bản phát hành mới của LLM bổ sung hỗ trợ cho dấu vết suy luận, phản hồi OpenAI, công cụ phía máy chủ và ghi nhật ký thông minh hơn Ngày 4/8/2026 Tôi đã phát hành LLM 0.32 vào sáng nay, đây là phiên bản mới quan trọng nhất của LLM kể từ khi dự án ra mắt lần đầu. Phiên bản mới bao gồm hỗ trợ cho dấu vết suy luận hiển thị, công cụ nhà cung cấp phía máy chủ, nhật ký SQLite có thể định địa chỉ nội dung được thiết kế lại, các mô hình mới và các tính năng mới được kích hoạt bởi API phản hồi của OpenAI. Tôi cũng đã phát hành một phiên bản mới của plugin llm-anthropic với những cập nhật đáng kể của riêng nó. Các tính năng nổi bật dành cho người dùng LLM CLI Chạy LLM với các mô hình suy luận hiện hiển thị dấu vết suy luận của chúng ra lỗi tiêu chuẩn, để bạn có thể thấy chúng đang “suy nghĩ” gì mà không cần thông tin đó được đưa vào đầu ra tiêu chuẩn mà bạn có thể chuyển đến một công cụ khác. Thêm -R/--hide-reasoning để tắt tính năng này. LLM bao gồm hỗ trợ sẵn có cho dòng mô hình GPT-5.6, và mô hình mặc định mới được sử dụng với llm "prompt" hiện là GPT-5.6 Luna, một mô hình không đắt nhưng có khả năng. Các lệnh gọi LLM hiện có thể sử dụng các công cụ phía máy chủ từ nhiều nhà cung cấp khác nhau. OpenAI cung cấp môi trường thực thi mã dưới dạng công cụ phía máy chủ; LLM hiện có thể chạy các lời nhắc tận dụng điều đó như sau: llm --tool CodeInterpreter 'Show current python and SQLite versions' OpenAI cũng có một công cụ WebSearch. Plugin llm-anthropic bổ sung WebSearch, WebFetch, CodeExecution và AnthropicMCP, trông như thế này: llm -m claude-sonnet-5 -T 'AnthropicMCP("https://datasette.simonwillison.net/-/mcp")' \ 'how many rows in the blog_blogmark table?' Điều đó khiến Anthropic thực hiện các lệnh gọi MCP đối với plugin datasette-mcp mới của tôi như một phần của tương tác yêu cầu/phản hồi duy nhất với API của họ. Lệnh llm openai endpoint mới cung cấp một công cụ để thực hiện các lời nhắc đối với bất kỳ điểm cuối tương thích OpenAI nào dưới dạng một dòng. Những lệnh này không được ghi nhật ký, điều này làm cho nó trở thành một công cụ tiện dụng để chạy các lời nhắc một lần đối với bất kỳ thứ gì nói ngôn ngữ chung của thế giới API LLM. Đây là cách tôi sử dụng nó để chạy các lời nhắc đối với Gemma 4 12B đang chạy trong API LM Studio cục bộ của tôi, thông qua uvx (không cần cài đặt LLM) và kết hợp plugin công cụ llm-tools-quickjs để có hiệu quả tốt: uvx --with llm-tools-quickjs \ llm openai endpoint http://localhost:1234/v1 -m google/gemma-4-12b \ -T QuickJS 'Use QuickJS to multiply 3434 * 2434' --td Các tính năng mới trong API Python API Python của LLM trước đây yêu cầu bạn tạo một cuộc hội thoại và sau đó gửi tin nhắn cho nó từng cái một. Đây là một sự trừu tượng hóa về bản chất thực sự của LLM, nơi mỗi yêu cầu mang một lịch sử hoàn chỉnh của các tin nhắn trước đó. Sự trừu tượng hóa đó bắt đầu gây cản trở cho một số trường hợp nâng cao hơn, vì vậy bản phát hành mới giới thiệu tham số model.prompt(messages=[]) có thể được sử dụng như sau: import llm from llm import user, assistant, system model = llm.get_model("gpt-5.6-luna") response = model.prompt(messages=[ system("You are a helpful pirate."), user("What is the capital of France?"), assistant("Paris, matey."), user("And Germany?"), ]) print(response.text()) Trước đây, LLM trả về một chuỗi các chuỗi có thể lặp lại từ mỗi lời nhắc. Điều này hoạt động tốt khi các mô hình trả về phản hồi dạng chuỗi, nhưng không thể dự đoán được hình dạng kỳ lạ mà các mô hình sẽ phát triển. Ngày nay, nhiều mô hình trả về sự kết hợp giữa văn bản lý luận, chuỗi đầu ra, lệnh gọi công cụ và thậm chí cả tệp đính kèm hình ảnh. Với LLM 0.32, người dùng có thể thực hiện như sau: for event in model.prompt("Explain cats").stream_events(): if event.type == "reasoning": print(f"[thinking] {event.chunk}", end="", flush=True) elif event.type == "text": print(event.chunk, end="", flush=True) else: print(f"Other event: {event}") Kết hợp các tính năng này, chúng ta cuối cùng có thể cung cấp một triển khai mạnh mẽ của API hoàn thành cuộc trò chuyện OpenAI bán tiêu chuẩn, mà tôi hiện đã phát hành dưới dạng plugin llm-chat-completions-server: llm install llm-chat-completions-server llm chat-completions-server --port 9000 # Máy chủ hiện đang chạy trên http://127.0.0.1:9000/v1 Giờ đây, người dùng có thể chạy các lời nhắc đối với LLM thông qua máy chủ đó, sử dụng lệnh llm openai endpoint mới! llm openai endpoint http://127.0.0.1:9000/v1 'hello' -m gpt-5.4-mini Thách thức lớn hơn với loại API đó liên quan đến việc ghi nhật ký. Nếu chúng ta hỗ trợ mô hình trong đó chuỗi tin nhắn được thêm vào trong mỗi yêu cầu, lý tưởng nhất là chúng ta có thể tránh ghi nhật ký tất cả JSON trùng lặp đó cho mỗi lượt. Giải pháp là kho lưu trữ tin nhắn có địa chỉ nội dung mới, được mô hình hóa theo Git. Người dùng có thể xem lược đồ mới cho điều đó trong tài liệu, nhưng các lệnh llm logs và llm logs --json đều đã được nâng cấp để chuyển đổi định dạng đó trở lại thành một định dạng dễ sử dụng. Và phần còn lại Có rất nhiều điều khác trong bản phát hành này. Ghi chú phát hành 0.32 khá toàn diện, và ghi chú cho 0.32rc2, 0.32rc, 0.32a3, 0.32a2, và 0.32a0 sẽ bổ sung bất kỳ thiếu sót nào. Tất cả các plugin LLM hiện có đều sẽ tiếp tục hoạt động, nhưng các plugin cung cấp thêm mô hình sẽ cần được nâng cấp lên 0.32 để tham gia đầy đủ vào hệ thống sự kiện truyền trực tuyến mới. Có một hướng dẫn để triển khai các plugin với tin nhắn có cấu trúc và sự kiện truyền trực tuyến trong tài liệu. Tôi đã cập nhật một số plugin của riêng mình: llm-anthropic 0.26 bổ sung hỗ trợ cho dòng mô hình Claude 5, cùng với các công cụ phía máy chủ WebSearch, WebFetch, CodeExecution và AnthropicMCP. llm-gemini và llm-openrouter và llm-mistral gần như đã hoàn thành, các bản phát hành sẽ sớm ra mắt. Tôi đoán LLM hiện là một framework tác nhân Khá nhiều thay đổi công cụ cấp thấp hơn trong bản phát hành này được thúc đẩy bởi nhu cầu của Datasette Agent. Khi tôi bắt đầu làm việc với LLM, thuật ngữ "tác nhân" có một định nghĩa mơ hồ đến mức tôi từ chối sử dụng nó. Vào tháng 9