Trình bày: Kỹ thuật hỗn loạn trên các cụm GPU

Trang chủ InfoQ Các bài thuyết trình Kỹ thuật hỗn loạn (Chaos Engineering) các cụm GPU DevOps Kỹ thuật hỗn loạn các cụm GPU Thích Danh sách đọc Xem bài thuyết trình Dọc Ngang Toàn màn hình Tốc độ: 1x 1,25x 1,5x 2x 50:22 Tóm tắt Ông Bryan Oliver thảo luận về biên giới của hạ tầng AI: kỹ thuật hỗn loạn cho các cụm GPU quy mô lớn. Ông chia sẻ cách các nhà lãnh đạo kỹ thuật có thể xử lý các cấu trúc liên kết phức tạp, các giao thức mạng như RDMA và các sai lệch NUMA. Khám phá bảy chiến lược chèn lỗi thực tế để tối đa hóa hiệu quả phần cứng trị giá hàng triệu USD và xây dựng các vòng lặp quan sát mạnh mẽ. Tiểu sử Ông Bryan Oliver là một kỹ sư chuyên thiết kế và xây dựng các hệ thống phân tán phức tạp. Trong 3 năm qua, ông đã tập trung vào Nền tảng, Hạ tầng GPU và điện toán đám mây tại Thoughtworks. Ông được mời phát biểu tại các hội nghị trên toàn cầu. Ông cũng là tác giả của nhiều cuốn sách được xuất bản bởi Manning, "Effective Platform Engineering", và bởi O'Reilly, "Designing Cloud Native Delivery Systems". Về hội nghị QCon AI là một sự kiện do các chuyên gia thực hành dẫn dắt, tập trung hoàn toàn vào kỷ luật kỹ thuật cần thiết để mở rộng quy mô các khối lượng công việc này một cách an toàn. Sự kiện cung cấp quyền truy cập trực tiếp vào các kế hoạch kiến trúc và số liệu lỗi mà các tổ chức đồng cấp sử dụng trong môi trường sản xuất. Bryan Oliver: Tôi làm việc tại Thoughtworks Radar. Đây là một ấn phẩm chúng tôi xuất bản hai lần một năm. Về cơ bản, đây là một ấn phẩm nơi chúng tôi chia sẻ quan điểm và ý kiến về các công nghệ trên toàn cầu và giữa các khách hàng của Thoughtworks. Tôi đang viết cuốn sách thứ hai với O'Reilly, vì tôi không thích thời gian rảnh. Thực ra, chúng tôi vừa đổi tên thành "Thiết kế hệ thống phân phối thông minh" vì chúng tôi đang phản ứng với nhiều mô hình lập lịch mới nổi lên trong các triển khai AI. Tôi thường xuyên diễn thuyết và đôi khi đóng góp cho Kubernetes và các dự án mã nguồn mở khác. Bạn có thể đoán rằng điều đó có nghĩa là tôi đủ điều kiện để trình bày bài nói chuyện này. Câu trả lời là không, tôi không đủ điều kiện. Lĩnh vực này vô cùng phức tạp. Điều tôi đang nói đến thay đổi mỗi ngày. Tôi không nghĩ bất kỳ ai trong chúng ta có hơn một năm kinh nghiệm trong lĩnh vực này ở quy mô này. Tôi không nghĩ ai thực sự có, nhưng chúng ta sẽ thử. GPU cực lớn là gì? Để nói về kỹ thuật hỗn loạn (chaos engineering) đối với card đồ họa, trước tiên chúng ta cần hiểu khá nhiều về card đồ họa quy mô lớn vì đây không phải là GPU trong máy tính của bạn. Đây là những GPU đang chạy Claude, GPT và những thứ tương tự. Hãy cùng tìm hiểu một chút về quy mô đó. Máy tính để bàn chơi game của bạn, nơi bạn chơi Fortnite và Rocket League, có lẽ là một chiếc 5080 hoặc 4090 hoặc tương tự. Nó có 16 GB VRAM, có thể 24 GB nếu bạn may mắn, 10.000 nhân CUDA. Một NVIDIA H100 có 94 GB VRAM mỗi GPU, 16.000 nhân CUDA và băng thông mạng 400 GB với tổng cộng 752 GB VRAM, vì những thứ này được triển khai và mua theo nhiều cấu hình, không chỉ một chip duy nhất. Khá lớn. Hãy đi xa hơn. Nếu bạn đã từng nghe nói đến, đó là GB200 Grace Blackwell Superchip. Thứ này là một con quái vật. Nó có tổng cộng 384 GB VRAM mỗi chip và được triển khai trên hệ thống quy mô rack này với 72 chiếc trong một rack duy nhất. Nó được triển khai và kiến trúc theo cách mà nó hoạt động như một GPU duy nhất trên toàn bộ hệ thống. Thực tế, nó có khoảng 13 TB đến 14 TB tổng bộ nhớ ảo trên một GPU duy nhất. Lần cuối cùng tôi nói về một số khái niệm này, ai đó hỏi: "Nó có giá bao nhiêu?". Tôi trả lời: "Đó là một câu hỏi hay". Một trong những rack đó có giá khoảng 3 triệu USD. Giá cả luôn thay đổi và dao động, nhưng đó là một chi phí gần đúng. Bạn sẽ hiểu rõ hơn điều đó khi chúng ta bắt đầu nói về một số chi tiết của bài nói chuyện này. Khái niệm cơ bản về GPU: Phần cứng Có một vài thuật ngữ bạn cần hiểu cho bài nói chuyện này. Đầu tiên là lỗi XID. Đây về cơ bản chỉ là các mã lỗi GPU. Nó giống như kernel panic trong thế giới lập trình. ECC là Mã sửa lỗi (Error Correcting Code). Đây là tính năng bảo vệ bộ nhớ phát hiện và sửa lỗi lật bit. Điều quan trọng là phải biết điều này, nhưng sẽ không sao nếu bạn không biết. Bộ xử lý đa luồng (Streaming multiprocessor), đây là các đơn vị tính toán bên trong GPU. NVLink, đây là kết nối tốc độ cao giữa GPU với GPU của NVIDIA. Chúng ta sẽ nói thêm về điều này. Điều tiết nhiệt (Thermal throttling). Thật thú vị khi biết GPU thực sự chậm lại khi quá nóng. Bạn có thể biết điều này nếu bạn đang chơi nhiều trò chơi thực sự khó trên máy tính để bàn của mình. Hóa ra trong một GPU H100 duy nhất, tôi nghĩ có khoảng 90 cảm biến nhiệt khác nhau, tất cả đều có thể kích hoạt điều tiết trong bất kỳ tình huống nào. DCGM, đây là viết tắt của Data Center GPU Manager. Đây là một bộ gồm hai chương trình, không phải một chương trình, được tạo bởi NVIDIA. Một trong số đó được gọi là dcgmi, và một cái khác là DCGM-Exporter. Một trong số đó có thể được kiểm soát và thực hiện các tác vụ với GPU, điều mà chúng ta sẽ thảo luận. Cái còn lại chỉ dùng để quan sát, chủ yếu trong môi trường Kubernetes. Cụm GPU Hãy cùng bàn về các cụm GPU, bởi vì đó là lý do chúng ta có mặt ở đây, với rất nhiều nút (node) có GPU. Nếu quay trở lại năm 2004, có một nhóm các nhà nghiên cứu tại Đại học Stony Brook, thuộc Trung tâm Tin học Hình ảnh (Center for Visual Computing). Họ muốn mô hình hóa cách một cuộc tấn công hóa học và sinh học sẽ lây lan qua các khu vực đô thị của Manhattan, cụ thể là Quảng trường Thời đại (Times Square). Về cơ bản, họ đang cố gắng tìm hiểu động lực học trong không khí từ các kiểu tấn công khác nhau để giúp bảo vệ và mô hình hóa phòng thủ cho thành phố. Họ đã sử dụng một phương pháp từ động lực học chất lỏng tính toán (computational fluid dynamics). Tôi thậm chí không thể giải thích ý nghĩa của nó, cách nó hoạt động, hay cách mô hình đó hoạt động, nhưng họ đã sử dụng Phương pháp Lattice Boltzmann, và họ đã phát triển một mô phỏng để thực hiện.