Tôi đã từ bỏ LM Studio để chuyển sang llama.cpp và mô hình ngôn ngữ lớn (LLM) cục bộ của tôi không hề có cảm giác kém hơn.

Tôi đã từ bỏ LM Studio để chuyển sang llama.cpp, và mô hình ngôn ngữ lớn (LLM) cục bộ của tôi không còn cảm giác như một sự xuống cấp nữa. Bởi Nolen Jonker Đăng ngày 23/5/2026, 6:00 PM EDT Nolen bắt đầu sự nghiệp viết lách vào năm 2019, với ba năm chuyên trách biên tập mục Sáng tạo tại MakeUseOf. Chuyên môn của họ nằm ở giao điểm giữa công nghệ và sự sáng tạo, bao gồm các lĩnh vực như nhiếp ảnh, chỉnh sửa video và thiết kế đồ họa. Ngoài công việc, Nolen thường dành thời gian đọc sách, viết truyện hoặc chơi trò chơi điện tử. Đăng nhập vào tài khoản XDA của bạn Thêm chúng tôi vào Tóm tắt Tạo bản tóm tắt của câu chuyện này Theo dõi Đã theo dõi Thích Thích Luồng 13 Đăng nhập Dưới đây là bản tóm tắt dựa trên sự thật về nội dung câu chuyện: Hãy thử một cái gì đó khác: Cho tôi xem các sự kiện Giải thích như thể tôi 5 tuổi Cho tôi một bản tóm tắt nhẹ nhàng LM Studio đã là ứng dụng chạy mặc định của tôi kể từ khi tôi chạy LLM cục bộ, quá lâu để gọi nó là một phần công việc hàng ngày của tôi chứ không chỉ là thứ tôi đang thử nghiệm nữa. Điểm hấp dẫn của LM Studio nằm ở chỗ nó có GUI, cài đặt chỉ bằng một cú nhấp chuột và không có nội dung dòng lệnh để thực hiện. Phát triển không phải là lĩnh vực của tôi, ngay cả việc sử dụng thiết bị đầu cuối cũng không thuộc phạm vi đó, vì vậy, trình chạy thân thiện với người dùng rất quan trọng đối với tôi và là điều khiến tôi cảm thấy thoải mái với AI tự lưu trữ ngay từ đầu. Nhưng càng dựa vào các mô hình địa phương cho những thứ mà tôi thực sự không muốn chatbot trên đám mây chạm vào, tôi càng bắt đầu chạm đến giới hạn mà LM Studio thực sự có thể làm. Một số kiểu máy không hoạt động bình thường trong đó, vì vậy một số tính năng hàng đầu trong các mẫu mới hơn không được xử lý vì người chạy của tôi chưa hỗ trợ chúng. Một đồng nghiệp đã đề cập đến llama.cpp với tôi cách đây không lâu và lúc đầu tôi đã gửi nó làm tùy chọn nhà phát triển, nhưng cuối cùng khi tôi nhượng bộ, rõ ràng là tôi đã tự ngăn mình khỏi một thứ gì đó dễ tiếp cận hơn nhiều so với những gì tôi nghĩ. Bạn muốn cập nhật thông tin mới nhất về AI? Bản tin XDA AI Insider được phát hành hàng tuần với các thông tin chuyên sâu, đề xuất công cụ và nội dung thực hành mà bạn sẽ không tìm thấy ở bất kỳ nơi nào khác trên trang web. Đăng ký bằng cách sửa đổi bản tin của bạn. Á hậu dựa trên thiết bị đầu cuối mà tôi tránh không có lý do thực sự Tôi đã chạy nó trong năm phút Trong thời gian dài nhất, llama.cpp tồn tại trong đầu tôi như một lựa chọn để bạn tốt nghiệp nếu bạn thực sự biết mình đang làm gì. Mọi hướng dẫn thiết lập mà tôi cuộn qua sẽ mở ra với nội dung nào đó về cách cài đặt trình biên dịch và tôi sẽ đóng tab trước khi trang tải xong. Tuy nhiên, không điều nào trong số đó hóa ra đúng với trường hợp sử dụng của tôi. Trang phát hành GitHub có các tệp nhị phân dựng sẵn cho Windows, Mac và Linux, với các bản dựng riêng biệt tùy thuộc vào phần cứng của bạn. Theo nghĩa đen, tất cả những gì cần làm là tải xuống, giải nén, chạy một lệnh trong thiết bị đầu cuối và thế là xong. llama.cpp là thời gian chạy C++ mã nguồn mở để chạy cục bộ các mô hình ngôn ngữ lớn, được Georgi Gerganov xây dựng vào tháng 3 năm 2023 ngay sau khi Meta bỏ trọng số LLaMA. Và trên thực tế, llama.cpp là công cụ phụ trợ cốt lõi cho LM Studio, Ollama và hầu hết các ứng dụng AI cục bộ khác mà bạn từng nghe đến. Về cơ bản, chúng là các trình bao bọc được xây dựng xung quanh nó, do đó, việc trực tiếp sẽ loại bỏ người trung gian. Nó cũng đi kèm với llama-server và giao diện người dùng web tích hợp mà bạn truy cập thông qua trình duyệt của mình, do đó, cuộc trò chuyện thực tế có thể diễn ra trong một GUI rõ ràng. Có những lý do thực sự để sử dụng nó trên trình chạy GUI. Trình bao bọc bổ sung thêm chi phí nên cùng một mô hình trên cùng một phần cứng chạy trong llama.cpp nhanh hơn đáng kể so với trong LM Studio, trong khoảng 5-20% tùy thuộc vào thiết lập của bạn. llama.cpp cũng có xu hướng hỗ trợ các mô hình mới trước tiên vì đây là dự án thượng nguồn, mọi thứ khác đều được xây dựng trên đó, trong khi LM Studio và Ollama phải chờ chu kỳ cập nhật. Vì vậy, bạn không phải đợi người chạy của mình bắt kịp để sử dụng tạ mở mới nhất. Liên quan Ollama vẫn là cách dễ nhất để bắt đầu LLM cục bộ, nhưng lại là cách tệ nhất để tiếp tục vận hành chúng Ollama là công cụ tuyệt vời để giúp bạn bắt đầu... nhưng đừng chần chừ. bài viết 12 Bởi Adam Conway