Một mô hình ngôn ngữ lớn cục bộ (Local LLM) có thể vận hành trợ lý AI của tôi không?

AI tác nhân Liệu một mô hình ngôn ngữ lớn cục bộ (Local LLM) có thể vận hành trợ lý AI của tôi? Tôi đã chạy lại 27 tác vụ sản xuất thực tế thông qua qwen3-coder:30b trên chiếc RTX 3090 tại nhà để xem liệu một mô hình tự lưu trữ có thể thay thế Claude làm bộ não đằng sau Jarvis hay không – chất lượng, chi phí và độ tin cậy đã được đo lường. Arsen Apostolov Ngày 11/8/2026 14 phút đọc Thiết bị đã chạy vòng thứ hai. Ảnh của tác giả. Tóm tắt: Tôi đã chạy lại 27 tác vụ thực tế từ tác nhân AI của riêng mình với hai mô hình cục bộ, cách nhau một lần nâng cấp phần cứng, chấm điểm cả hai so với cùng một đường cơ sở Claude cố định. Trên một chiếc RTX 3090 duy nhất với giới hạn ngữ cảnh 16K, một mô hình 30B đạt 22,8/100 so với 89,4 của Claude, và làm rò rỉ cú pháp gọi công cụ bị lỗi vào một phần tư số câu trả lời của nó – hỏng, không chỉ tệ hơn. Trên ba chiếc 3090 với ngữ cảnh 256K, một mô hình 122B đạt 80,0 điểm, loại bỏ hoàn toàn các cuộc gọi bị lỗi (0 trên 27), và có chi phí 0,000969 USD mỗi tác vụ so với 0,763 USD của Claude – rẻ hơn khoảng 787 lần. Tác nhân của tôi hiện đang chạy trên mô hình cục bộ; tôi đã hủy Claude Max và giữ lại Pro. Lưu ý trung thực: kích thước mô hình và ngân sách ngữ cảnh đã thay đổi cùng nhau và tôi không chạy thử nghiệm đối chứng, vì vậy điều này đo lường một bản nâng cấp hệ thống, không phải hiệu ứng mô hình riêng lẻ. Jarvis là tác nhân AI cá nhân của tôi – một tác nhân phản ứng LangGraph được kết nối với khoảng 90 công cụ: email, lịch, ghi chú, tệp, Office, WhatsApp, Discord, tạo hình ảnh, thậm chí tạo ra các tác nhân phụ cho các công việc dài hơn. Nó đã chạy trên Claude ngay từ ngày tôi xây dựng, vì Claude là mô hình tôi tin tưởng. Một tháng trước, tôi đã cố gắng thay thế bộ não đó bằng một mô hình chạy trên phần cứng của riêng mình. Mọi việc diễn ra không suôn sẻ, và tôi đã viết chi tiết về mức độ tệ hại của nó. Sau đó, tôi đã thay đổi phần cứng và thử lại, và nhận được một kết quả khác. Cả hai lần thử đều được trình bày dưới đây, được đo lường theo cùng một cách, bởi vì khoảng cách giữa chúng chính là phát hiện thực tế. Lần trước, trên một quy mô nhỏ hơn Bài viết trước đó – Các tác nhân LLM cục bộ trên RTX 3090 – đã thử nghiệm 5 mô hình cục bộ trên 2 khung tác nhân với 17 tác vụ: 12 tác vụ lập trình, 5 tác vụ tác nhân tổng quát. qwen3-coder:30b đã đứng đầu bảng xếp hạng đó một cách rõ ràng. Đó là một thử nghiệm công bằng, và nó đã nói lên sự thật trong phạm vi đó. Jarvis là một phạm vi hoàn toàn khác. Không phải 17 tác vụ trong một bộ kiểm tra sạch sẽ – khoảng 90 công cụ thực tế, một lời nhắc hệ thống ngữ cảnh cá nhân, và nhiều năm yêu cầu thực tế lộn xộn được ghi lại trong Langfuse, hệ thống theo dõi tự lưu trữ của Jarvis. Nếu chiến thắng trong điểm chuẩn có thể khái quát hóa ở bất cứ đâu, thì nó phải khái quát hóa ở đây. Thiết lập: một lần chạy lại, không phải chạy mới Tôi đã lấy 28 lời nhắc tác vụ lịch sử thực tế trực tiếp từ các dấu vết Langfuse của Jarvis (trong cửa sổ 90 ngày), được phân tầng theo 7 danh mục – lịch, mã, email, tệp, tổng quát, nhắn tin, ghi chú – mỗi loại 4 tác vụ. Phía Claude của so sánh là câu trả lời sản xuất lịch sử thực tế của nó, đã được ghi lại trong Langfuse. Tôi không chạy lại nó. Việc chạy lại Claude thông qua một bộ kiểm tra được cách ly sẽ có nghĩa là cung cấp cho nó dữ liệu công cụ giả mạo mà nó chưa bao giờ thực sự thấy, điều này làm giảm hiệu suất của nó mà không có lý do chính đáng – đường cơ sở trung thực là câu trả lời mà nó thực sự đã đưa ra, với dữ liệu thực tế mà nó thực sự có. Đường cơ sở đó được cố định: nó giống hệt nhau trong cả hai vòng dưới đây. Chỉ có mô hình cục bộ được chạy lại. Phần cục bộ là một lần chạy mới thông qua một môi trường thử nghiệm (sandboxed replay harness): mã tác nhân Jarvis LangGraph thực tế, hoạt động nội bộ, với mọi công cụ có khả năng ghi (gửi email, ghi vào lịch, đăng lên Discord/WhatsApp, ghi tệp) đều bị chặn để không có hành động thực tế nào xảy ra. Các công cụ chỉ đọc tương tác với hệ thống bên ngoài thực tế — Outlook COM cho email và lịch — cũng bị chặn, nhưng bản mô phỏng cung cấp đầu ra thực tế đã được ghi lại từ dấu vết Langfuse gốc của tác vụ đó khi có, chứ không phải một đoạn mã giả chung chung. Mô hình cục bộ suy luận dựa trên cùng nội dung hộp thư đến và lịch thực tế mà Claude đã thấy, không phải văn bản giữ chỗ được tạo ra. Trình bao bọc mặc định là từ chối: bất kỳ công cụ nào không nằm trong danh sách cho phép rõ ràng ngắn gọn đều bị mô phỏng. Chi tiết này đã chứng tỏ giá trị của nó — giữa hai vòng, Jarvis đã phát triển các công cụ mới, và việc từ chối mặc định có nghĩa là chúng tự động bị chặn thay vì âm thầm thực thi trên các tài khoản thực của tôi. Chất lượng được chấm điểm độc lập — không theo cặp, để tránh sai lệch vị trí — bởi một giám khảo LLM (claude-opus-4-8) trên thang điểm 1–5 được ánh xạ thành 0–100, áp dụng giống hệt nhau cho mọi câu trả lời trong cả hai vòng. Cần thẳng thắn nêu rõ: giám khảo là một mô hình Claude, chấm điểm các câu trả lời của chính Claude cùng với các câu trả lời cục bộ. Đây là sai lệch tự ưu tiên — một hiệu ứng đã được ghi nhận trong các thiết lập LLM làm giám khảo, nơi một mô hình có xu hướng đánh giá đầu ra từ dòng họ của nó một cách ưu ái hơn. Tôi không thể loại trừ hoàn toàn điều này, và nó có thể làm Claude được đánh giá cao hơn. Đây là một hạn chế thực sự của phương pháp luận này, không phải một ghi chú nhỏ để che giấu — và nó càng quan trọng hơn ở vòng 2, nơi mô hình cục bộ đủ gần để một sự thiên vị nhỏ có thể thay đổi cách đọc kết quả. Chi phí là một nửa còn lại của sự so sánh, và nó cần một công cụ đo lường. Phía Claude dễ dàng — Langfuse đã ghi lại hóa đơn API thực tế cho mọi cuộc gọi lịch sử. Phía cục bộ là điện năng, thứ mà không có gì tính phí bạn theo từng tác vụ. Mỗi lần chạy cục bộ được ghi lại như một thử nghiệm có giá trong HomeLab Monitor, bộ công cụ giám sát mã nguồn mở mà tôi duy trì: nó gán năng lượng GPU đo được cho khoảng thời gian mỗi lần chạy chiếm dụng và chuyển đổi theo biểu giá kép thực tế của tôi. Cả hai phía của sự so sánh chi phí đều không phải là ước tính. Ba lần chạy thử trước khi con số đáng tin cậy Cần một đoạn văn, vì các con số dưới đây chỉ đáng công bố nếu quy trình tạo ra chúng được duy trì. Lần chấm điểm đầu tiên có một lỗi ngầm: mô hình giám khảo gói phản hồi của nó trong một danh sách các khối nội dung, không phải một chuỗi đơn giản, và trình phân tích cú pháp JSON của người chấm điểm bị lỗi ở khoảng 40 trong số 54 cuộc gọi giám khảo — được phát hiện, ghi lại và âm thầm thay thế bằng một điểm dự phòng trung lập thay vì báo lỗi công khai. Lần chạy đó cho thấy Claude 71,6 so với qwen 43,5. Chủ yếu là nhiễu. Sau khi sửa lỗi và chạy lại, khoảng cách trở nên cực đoan hơn — Claude 89,2, qwen được xếp vào nhóm chính xác 15 hoặc 45 trên gần như mọi tác vụ. Điều tra cho thấy vấn đề thực sự: 16 trong số 28 tác vụ là lịch, email, ghi chú hoặc nhắn tin — phân loại.