Hệ sinh thái mã nguồn mở đang tạo điều kiện thuận lợi hơn cho những người đam mê và nhà phát triển AI xây dựng, tùy chỉnh và vận hành các tác nhân (agent) ngày càng mạnh mẽ trên thiết bị cục bộ.
Trong suốt tháng 8, NVIDIA vinh danh các đối tác và cộng đồng mã nguồn mở đang thúc đẩy AI cục bộ phát triển, cùng với các mô hình, ứng dụng và công cụ mới nổi trong toàn bộ hệ sinh thái. Điều này bao gồm các mô hình, phần mềm và công cụ dành cho nhà phát triển mã nguồn mở mới nhất của NVIDIA, cùng với các tài nguyên về điện toán tăng tốc, thư viện và giáo dục giúp người dùng bắt đầu.
Đây hứa hẹn sẽ là một tháng quan trọng đối với các tác nhân. Hãy theo dõi để cập nhật những phát triển mới nhất trong lĩnh vực này.
Hệ sinh thái mã nguồn mở đang giúp những người đam mê và nhà phát triển AI dễ dàng xây dựng, tùy chỉnh và chạy các tác nhân (agent) ngày càng mạnh mẽ hơn trên thiết bị cục bộ.
Trong suốt tháng 8, NVIDIA vinh danh các đối tác và cộng đồng mã nguồn mở đang thúc đẩy AI cục bộ phát triển, cùng với các mô hình, ứng dụng và công cụ đang nổi lên trong toàn bộ hệ sinh thái. Điều này bao gồm các mô hình mở, phần mềm và công cụ phát triển mới nhất của NVIDIA, cùng với các tài nguyên về điện toán tăng tốc, thư viện và giáo dục giúp người dùng bắt đầu.
Đây hứa hẹn là một tháng quan trọng đối với các tác nhân. Hãy theo dõi những phát triển mới nhất trong loạt bài blog đặc biệt về NVIDIA Local AI này, với các cập nhật mới được bổ sung trong những tuần tới.
Theo dõi NVIDIA RTX Spark trên X, Instagram, TikTok và Facebook — và cập nhật thông tin bằng cách đăng ký nhận bản tin RTX AI PC. Theo dõi NVIDIA Workstation trên LinkedIn và X.
Thứ Ba, ngày 11/8, 8:00 sáng theo giờ PT
Tăng cường hiệu suất DGX Spark với NVIDIA Sync Cluster Assistant
Các mô hình mở mới như GLM 5.2 và DeepSeek V4 Flash đang mang trí thông minh cấp độ đám mây đến các hệ thống cục bộ, cho phép thực hiện các tác vụ nâng cao như tác nhân mã hóa và nghiên cứu. Tuy nhiên, việc chạy các mô hình lớn hơn này có thể yêu cầu nhiều GPU hoặc các hệ thống DGX Spark hoạt động cùng nhau.
Các bản cập nhật ứng dụng NVIDIA Sync giúp dễ dàng nhóm nhiều hệ thống DGX Spark lại với nhau, cung cấp dung lượng bộ nhớ, hiệu suất suy luận và thông lượng đào tạo cần thiết để chạy các mô hình lớn hơn, nhanh hơn.
Có sẵn cho Windows và macOS, NVIDIA Sync tự động phát hiện các hệ thống được kết nối, cung cấp quyền truy cập từ xa riêng tư và an toàn thông qua Tailscale, đồng thời cho phép các nhà phát triển khởi chạy ứng dụng trên một hoặc nhiều hệ thống DGX Spark mà không cần cấu hình mạng thủ công hoặc sao chép lệnh terminal.
Cluster Assistant trong NVIDIA Sync tự động cấu hình hai hoặc nhiều hệ thống DGX Spark thành một cụm tốc độ cao. Các nhà phát triển kết nối các hệ thống thông qua cổng NVIDIA ConnectX-7 của chúng, và NVIDIA Sync cấu hình mạng, định tuyến khối lượng công việc giữa các nút và giám sát tình trạng hệ thống.
Để bắt đầu với AI tác nhân trên DGX Spark, hãy xem các hướng dẫn trên NemoClaw, OpenClaw, Hermes Agent và OpenShell.
Xem thông báo liên quan đến thông tin sản phẩm phần mềm.
Thứ Ba, ngày 11/8, 8:00 sáng theo giờ PT
Các cập nhật bổ sung cho DGX Spark
Hai tính năng mới thú vị dành cho nhà phát triển sẽ ra mắt vào cuối tháng 8.
DGX Spark sẽ có Google Chrome dưới dạng bản dựng ARM64 Linux gốc — được cài đặt chỉ bằng một cú nhấp chuột từ DGX Dashboard. Điều đó có nghĩa là đồng bộ hóa tài khoản Google, toàn bộ hệ sinh thái tiện ích mở rộng, tính liên tục giữa các thiết bị và tất cả các tính năng tiêu chuẩn trên mọi nền tảng khác hiện đều có thể truy cập trên DGX Spark của bạn. Đăng nhập một lần và môi trường trình duyệt sẽ theo từ máy tính xách tay đến Spark.
NVIDIA Sync Resource Monitor mới sẽ cung cấp chế độ xem thời gian thực và lịch sử về mức sử dụng CPU và GPU trên một DGX Spark riêng lẻ hoặc toàn bộ cụm — mà không yêu cầu phần mềm giám sát hoặc thiết lập bổ sung. Các hình ảnh trực quan giúp người dùng theo dõi tiến độ khối lượng công việc, kiểm tra dung lượng khả dụng trước khi thêm công việc hoặc mô hình, và nhanh chóng xác định các nút thắt cổ chai hoặc hành vi bất thường. Tính năng phóng to vùng chọn (marquee zooming) cho phép người dùng chuyển từ bức tranh tổng thể sang các khoảnh khắc cụ thể trong một khối lượng công việc, giúp họ khắc phục sự cố nhanh hơn và khai thác tối đa hệ thống của mình.
Thứ Ba, ngày 11/8, 6:00 sáng theo giờ PT
NVIDIA giới thiệu Nemotron 3.5 Lightning cho các tác vụ tác nhân chuyên biệt, tốc độ cao
Hôm nay, NVIDIA đã mở rộng dòng mô hình Nemotron 3 với Nemotron 3.5 Lightning, một mô hình hỗn hợp chuyên gia (MoE) mở 30B có thể tùy chỉnh, dành cho các tác nhân hoạt động liên tục.
Nemotron 3.5 Lightning mang lại tốc độ tạo token nhanh hơn tới 4 lần và thời gian hoàn thành nhanh hơn 30% so với các mô hình mở cùng loại.
Và bởi vì Nemotron 3.5 Lightning là mô hình mã nguồn mở, những người đam mê AI và các nhà phát triển có thể tinh chỉnh nó bằng các ví dụ của riêng họ để phù hợp hơn với các tác vụ, sở thích và quy trình làm việc cụ thể. Ví dụ, họ có thể huấn luyện mô hình để:
Viết theo phong cách ưa thích: Tuân thủ các giọng điệu, định dạng và thuật ngữ đã thiết lập khi viết email, báo cáo hoặc các tài liệu khác.
Học một chuyên ngành: Hiểu rõ hơn về ngôn ngữ và các tác vụ phổ biến liên quan đến các lĩnh vực như nhiếp ảnh, trò chơi điện tử hoặc thiết kế 3D.
Lập trình theo một cách nhất định: Tuân thủ các quy ước mã hóa, khung công tác và phương pháp kiểm thử ưa thích khi viết, xem xét hoặc tái cấu trúc mã.
Khi kết hợp với quyền truy cập vào các ứng dụng, tệp và các công cụ khác, các mô hình đã được tinh chỉnh này có thể cung cấp trải nghiệm AI tác nhân cục bộ được cá nhân hóa hơn – từ một trợ lý giúp quản lý email và lịch, đến một tác nhân nhà thông minh xử lý các công việc hàng ngày, đến một người bạn đồng hành lập trình làm việc cùng các nhà phát triển trên một cơ sở mã cục bộ.
NVIDIA đã hợp tác với vLLM, Ollama, llama.cpp và LM Studio để cung cấp trải nghiệm triển khai cục bộ tốt nhất cho các mô hình Nemotron 3.5 Lightning – mang đến cho các nhà phát triển lựa chọn định dạng NVFP4 và GGUF của mô hình. Unsloth cũng cung cấp hỗ trợ ngay lập tức với các mô hình được tối ưu hóa và lượng tử hóa để triển khai cục bộ hiệu quả thông qua Unsloth Studio.
Nemotron 3.5 Lightning chạy cục bộ trên các máy tính NVIDIA RTX, NVIDIA DGX Spark và hệ thống OEM GB10, cũng như NVIDIA Jetson, và có thể mở rộng lên các máy trạm RTX PRO, NVIDIA DGX Station và hệ thống để bàn GB300, trung tâm dữ liệu và môi trường đám mây. Với các hệ thống NVIDIA Blackwell có sẵn từ Acer, ASUS, Dell Technologies, Exxact, GIGABYTE, HP, Lenovo, MSI và Supermicro, người dùng có thể lựa chọn từ nhiều loại thiết bị và yếu tố hình thức để phù hợp với nhu cầu của mình.
Khi việc áp dụng AI tạo sinh ngày càng tăng, các doanh nghiệp đang tìm cách kiểm soát chi phí token tăng cao mà không phải hy sinh quyền truy cập vào trí tuệ tiên tiến. NVIDIA NeMo Switchyard, một thư viện định tuyến mã nguồn mở, tự động định hướng từng bước của quy trình làm việc tác nhân đến mô hình phù hợp nhất dựa trên độ chính xác, tốc độ và chi phí. Nó cũng mang lại cho các nhà phát triển sự linh hoạt để làm việc trên nhiều mô hình và nhà cung cấp cho các tác vụ khác nhau.
Các thử nghiệm nội bộ cho thấy NeMo Switchyard, bằng cách định tuyến từng bước qua một hệ thống mô hình, đã giúp duy trì mức độ hoàn thành tác vụ tiên tiến trong khi giảm chi phí hoàn thành thử nghiệm xuống khoảng một phần ba so với Op.
Nguồn tin: NVIDIA AI Blog — Tác giả: NVIDIA Writers. Bản dịch tiếng Việt do AI thực hiện, có thể có sai sót.