Luật sư tự lắp ráp máy chủ AI riêng với tám GPU Nvidia V100 đã qua sử dụng

Ngành Công nghệ Trí tuệ nhân tạo Một luật sư tự lắp ráp máy chủ AI riêng với tám GPU Nvidia V100 đã qua sử dụng — đạt tốc độ xử lý lên tới 215 token/giây để lưu trữ hồ sơ pháp lý ngoại tuyến, với chi phí khoảng 2.400 USD cho mỗi bo mạch bốn GPU Tin tức Tác giả Shane Downing Xuất bản Ngày 9/11/2026 Người lắp ráp ước tính khoảng 50% đến 60% khối lượng công việc AI hiện có thể vận hành trên hệ thống này mà không cần sử dụng các mô hình hàng đầu, chỉ cần cấp nguồn từ hai mạch điện văn phòng. a]:text-inherit [&>a]:underline"> Khi mua hàng qua các liên kết trên trang web của chúng tôi, chúng tôi có thể nhận được hoa hồng liên kết. Cơ chế hoạt động như sau. (Nguồn ảnh: u/TumbleweedNew6515 trên Reddit) {alert('Link copied')}).catch(err => {console.error('Failed to copy: ', err)})" data-platform="copy_link" data-action="" class="font-ui-heading py-2 text-sm text-neutral-700 hover:bg-neutral-100 transition-colors no-underline block cursor-pointer border-0 bg-transparent w-full text-left normal-case" aria-label="Copy link" role="menuitem" data-analytics-id="article-social" analytics-label="utility-bar-social-share-copy-link" analytics-name="utility-bar-secondary" data-mrf-recirculation="article-social"> Sao chép liên kết Facebook X Whatsapp Reddit Pinterest Flipboard Email Chia sẻ bài viết này 9 Tham gia thảo luận Theo dõi chúng tôi Đặt chúng tôi làm nguồn tin ưu tiên trên Google Bản tin Đăng ký nhận bản tin của chúng tôi Một luật sư đã đăng tải thông tin trên diễn đàn Reddit về máy chủ AI riêng được chế tạo từ tám GPU trung tâm dữ liệu Nvidia Tesla V100 đời 2018 đã qua sử dụng, nhằm bảo đảm hồ sơ vụ án không phải chuyển ra bên ngoài văn phòng. Với hai bo mạch SXM2 NVLink bốn card, bốn bộ chuyển mạch PEX và hệ thống cáp SlimSAS dày đặc — cùng một đầu nối nguồn bị cháy — người dùng này hiện đang vận hành mô hình mã nguồn mở DeepSeek V4.1 Flash với toàn bộ các thành phần chuyên gia đều nằm trong bộ nhớ GPU, đạt tốc độ lên tới 215 token/giây. Các bo mạch bốn GPU có giá khoảng 2.400 USD mỗi chiếc tại thời điểm được người này thu mua. Hệ thống thử nghiệm V100 của luật sư, cập nhật: hai bo mạch SXM2 NVLink bốn card, bốn bộ chuyển mạch PEX, cáp SlimSAS khắp nơi, một đầu nối nguồn bị cháy và một mô hình dung lượng 250 GB vận hành hoàn toàn trong VRAM với tốc độ trên 200 token/giây từ r/homelabTám card Tesla V100-SXM2-32GB, mỗi card sở hữu 32 GB bộ nhớ HBM2 với băng thông 900 GB/s, được cắm vào cổng SXM2 — socket trung gian của Nvidia dành cho GPU trung tâm dữ liệu, thay vì các khe cắm PCIe — và được phân bổ trên hai bo mạch chủ. Trên mỗi bo mạch, cả bốn card đều được kết nối qua NVLink — công nghệ liên kết trực tiếp giữa các GPU của Nvidia — mang lại dung lượng 128 GB cho mỗi bo mạch, nhưng hai bo mạch này chỉ giao tiếp với nhau qua chuẩn PCIe. Mỗi bo mạch kết nối với máy chủ qua hai card chuyển mạch PEX (PLX) bằng cáp SlimSAS, tổng cộng có bốn bộ chuyển mạch, với mỗi bộ xử lý hai GPU ở tốc độ PCIe 3.0 x8 qua một đường truyền tải lên (uplink) x16 riêng. Tuy nhiên, mức giá nêu trên hiện đã là quá khứ: các card V100 SXM2 32GB đã qua sử dụng hiện được niêm yết trên eBay với giá khoảng 900 USD, cao hơn gấp đôi mức khoảng 400 USD mỗi chiếc như trong bài viết, và các danh mục bán hàng cho thấy giá vẫn đang tiếp tục tăng. Hệ thống này cũng được trang bị sẵn một số linh kiện thiết yếu khác: một bo mạch chủ Gigabyte Threadripper Pro đi kèm CPU 3945WX 12 nhân tương thích, 8 thanh RAM DDR4 RDIMM 32 GB, một nút NUMA và hai bộ nguồn (PSU) với tổng công suất 2.800 W được cắm vào các mạch điện văn phòng thông thường riêng biệt. Đây là một trường hợp thực tế cho thấy việc tận dụng phần cứng trung tâm dữ liệu đã qua sử dụng là giải pháp kinh tế để tập hợp một lượng lớn VRAM tốc độ cao tại một hệ thống duy nhất. Video mới nhất từ Tom's Hardware Xem toàn bộ video tại đây: Hiện tại, máy chủ này được đưa vào sử dụng hằng ngày nhằm phục vụ khâu xử lý sơ bộ các hồ sơ vụ việc: đọc thư mục tài liệu, trích xuất dữ kiện, thời gian cùng số liệu, tóm tắt và thực hiện bản thảo bước đầu cho các công việc thường quy. Quy trình tuân thủ nguyên tắc: "không phát hành bất kỳ tài liệu nào nếu chưa qua khâu rà soát thực tế" – một cơ chế kiểm soát có con người tham gia (human-in-the-loop) hiệu quả. Phương thức này cũng góp phần bảo đảm tính bảo mật cho những vụ việc có hồ sơ khách hàng không thể gửi lên điện toán đám mây hay các mô hình tiên tiến (frontier model). Các cơ sở dữ liệu RAG và lệnh gọi công cụ (tool call) đã được tích hợp; kỹ thuật viên vận hành có thể điều khiển hệ thống thông qua giao diện tương tự Discord bằng giao thức SSH, trong trường hợp này là từ một máy tính Windows. Trước mắt, hệ thống chỉ xử lý mỗi lần một yêu cầu. Mô hình DeepSeek V4.1 Flash tại đây được nén chủ yếu xuống định dạng 2-bit, và tổng dung lượng trọng số vẫn đạt 248,8 GB. Các "chuyên gia" (expert) của mô hình – bộ phận đảm nhiệm phần lớn khối lượng tính toán cho từng từ – nằm hoàn toàn trong bộ nhớ GPU, trong khi khoảng 110 GB bảng tra cứu, được gọi là bảng Engram, được lưu trên bộ nhớ RAM thông thường của hệ thống. Việc truy xuất dữ liệu từ RAM mất khoảng 0,12 mili-giây cho mỗi bước; theo người thiết lập, độ trễ này gần như không ảnh hưởng đến các chỉ số tốc độ. Có thể quan tâm Người dùng Reddit chi 35 USD mua dàn máy đào tiền mã hóa bị bỏ lại trong ga-ra và thu về 54 GB VRAM với giá 65 cent mỗi GB Doanh nghiệp thuê bốn GPU Nvidia H200 nhằm kiểm chứng tuyên bố DeepSeek 'tiết kiệm chi phí gấp 80 lần' Người đam mê hệ thống tự xây (homelab) sử dụng các thanh bộ nhớ Optane thế hệ thứ hai để vận hành mô hình AI 2,8 nghìn tỷ tham số chỉ bằng CPU Nửa đầu các lớp của mô hình (từ 0 đến 19) vận hành trên bo mạch SXM2 thứ nhất, và nửa sau (từ 20 đến 39) vận hành trên bo mạch thứ hai. Mỗi bo mạch tự xử lý lưu lượng truyền tải lớn thông qua kết nối NVLink nội bộ, do đó mỗi bước chỉ cần một lần chuyển giao dữ liệu qua đường truyền PCIe có tốc độ thấp hơn giữa các bo mạch. Trong một bài viết trước đó, người xây dựng hệ thống nhận thấy việc phân chia từng lớp trên toàn bộ tám card đồ họa đã khiến tốc độ "sụt giảm nghiêm trọng" vì độ trễ của bước chuyển tiếp PCIe này. Hiệu năng đạt mức ấn tượng đối với một mô hình có quy mô kích thước như trên. Tác vụ xử lý mã nguồn đạt tốc độ nhanh nhất, lên tới 215 token/giây, nhờ một mô hình phác thảo nhỏ tích hợp sẵn trong DeepSeek dự đoán trước năm token, cùng đặc tính mã nguồn vốn dễ phán đoán. Tác vụ soạn thảo văn bản pháp lý – mục đích sử dụng chính của máy chủ này – đạt tốc độ tối đa 118 token/giây. Cập nhật công nghệ tiên tiến: Đăng ký nhận Bản tin của Tom's Hardware Nhận các tin tức nổi bật và bài đánh giá chuyên sâu từ Tom's Hardware gửi trực tiếp đến hộp thư điện tử. Đăng ký nhận tin tức và ưu đãi từ các thương hiệu khác của Future; Nhận thư điện tử thay mặt cho các đối tác hoặc nhà tài trợ đáng tin cậy; Bằng việc gửi thông tin, người gửi xác nhận từ 16 tuổi trở lên và đồng ý với các Điều khoản & Điều kiện cùng Chính sách Quyền riêng tư. Các tài liệu dung lượng lớn đòi hỏi nhiều thời gian hơn để khởi động: mô hình đọc dữ liệu đầu vào (prompt) với tốc độ khoảng 2.200 token/giây, do đó với độ dài 128 nghìn token, token đầu tiên sẽ được đưa ra sau khoảng một phút. Hệ thống có khả năng tiếp nhận ngữ cảnh lên tới 524 nghìn token. Ba ngày trước thời điểm đăng bài, chính mô hình này khi vận hành trên bốn card chỉ đạt 36–38 token/giây. Bước nhảy vọt về tốc độ diễn ra sau khi lắp đặt bo mạch thứ hai, yếu tố được cho là có thể giúp tăng gấp đôi hiệu năng trong điều kiện lý tưởng