Bài trình bày: Từ Fab đến Token - Tình hình thị trường

Trang chủ InfoQ Bài thuyết trình Từ Fab Đến Token - Trạng thái của thị trường AI, ML & Kỹ thuật dữ liệu Từ Fab Đến Token - Trạng thái của thị trường thích Danh sách đọc Xem bản trình bày Dọc ngang Đầy đủ Tốc độ: 1x 1,25 lần 1,5 lần 2x Tải xuống Trang trình bày 51:11 Tóm tắt Jordan Nanos thảo luận về những hạn chế về chất bán dẫn, việc mở rộng trung tâm dữ liệu và các tắc nghẽn mạng ảnh hưởng như thế nào đến kiến trúc phần mềm AI. Rút ra từ nghiên cứu SemiAnalysis, anh ấy chia sẻ những hiểu biết sâu sắc về hiệu suất điểm chuẩn, khả năng mở rộng GPU và kinh tế học mã thông báo từ nhà máy chip đến suy luận mô hình. Tiểu sử Jordan Nanos là Thành viên Nhân viên Kỹ thuật tại SemiAnalysis và là cựu Kỹ thuật viên Xuất sắc tại HPE. Về hội nghị QCon AI là một sự kiện do người thực hành chủ trì, tập trung hoàn toàn vào lĩnh vực kỹ thuật cần thiết để mở rộng quy mô khối lượng công việc này một cách an toàn. Nó cung cấp trực tiếp quyền truy cập vào sổ tay kiến trúc và số liệu về lỗi mà các tổ chức ngang hàng sử dụng trong sản xuất. bảng điểm Jordan Nanos: Tên tôi là Jordan. Tôi làm việc tại SemiAnalysis. Tôi thuộc đội ngũ kỹ thuật. Tôi chủ yếu làm việc trong một dự án tên là ClusterMAX, dự án mà tôi sẽ nói ở phần cuối. Chủ đề của bài thuyết trình là From Fab to Token. Tôi sẽ cố gắng hướng dẫn các bạn một chút về những gì SemiAnalysis thực hiện liên quan đến nghiên cứu AI và nghiên cứu chuỗi cung ứng chất bán dẫn. Mục đích của bài nói này hơi khác một chút so với một số bài nói chuyện khác. Tôi là một học viên. Tôi sử dụng các mô hình. Tôi phát triển phần mềm. Tôi làm điều này để phục vụ việc phân tích phần cứng. Tôi có thể nói tôi là một người làm phần cứng. Chúng tôi quan tâm rất nhiều đến việc thử nghiệm GPU mới, đo lường hiệu suất, thử nghiệm các nhà cung cấp đám mây. Những gì tôi sắp thử làm ở đây là giúp bạn hiểu được việc hiểu phần cứng có thể giúp cung cấp thông tin cho việc phát triển phần mềm tuyệt vời như thế nào và ngược lại. Đối với tôi, thật khó để sử dụng AI và cảm thấy như tôi thực sự hiểu chuyện gì đang xảy ra mà không cần hiểu gì về chip, trung tâm dữ liệu, hệ thống, thậm chí toàn bộ chuỗi cung ứng liên quan đến nó. Hôm nay tôi sẽ cố gắng hướng dẫn các bạn một số điều đó. SemiAnalysis là ai? SemiAnalysis là một công ty nghiên cứu chất bán dẫn và AI. Chúng tôi là công ty con số một trong lĩnh vực công nghệ. Bản tin ba cấp của chúng tôi có tới 280.000 người đăng ký. Bây giờ chúng tôi có hơn 85 thành viên trong nhóm. Vì giá trị của nó, tôi đã tham gia vào mùa hè năm ngoái. Tôi là nhân viên số 31, vì vậy chúng tôi đang phát triển rất nhanh. Chúng tôi thường tham dự hơn 100 hội nghị mỗi năm như hội nghị này để cố gắng tìm hiểu và theo dõi những gì đang diễn ra trong ngành. Điều cốt lõi mà chúng tôi làm là bán các sản phẩm nghiên cứu. Chúng tôi bán đăng ký để thích một nguồn cấp dữ liệu cụ thể. Nếu bạn quan tâm đến trung tâm dữ liệu, chip, hệ thống mã hóa, thiết bị chế tạo tấm bán dẫn hoặc bất kỳ thứ gì tương tự, thì cả nhà đầu tư và các công ty trong ngành sẽ đăng ký tham gia nghiên cứu này. Bạn nhận được email trong hộp thư đến của mình và bạn nhận được các mô hình, biểu đồ tài chính và những thứ tương tự. Câu hỏi quan trọng mà tôi sẽ hỏi và cố gắng trả lời trong buổi nói chuyện này là điểm nghẹt thở là gì? Hiện tại, chúng tôi nghĩ rằng có rất nhiều người đang đặt những câu hỏi như thế này, có thể họ cũng đặt câu hỏi liệu đây có phải là bong bóng không? Tôi sẽ cố gắng đi qua và trả lời câu hỏi đó một chút. Bây giờ tôi sẽ đề cập đến bốn thứ khác nhau trên thị trường. Đầu tiên là chip. Những hạn chế là gì? Chúng ta đang sản xuất chúng như thế nào? Hai là trung tâm dữ liệu. Làm thế nào chúng ta có thể trực tuyến hóa các cơ sở năng lượng và trung tâm dữ liệu để có thể lắp đặt những con chip này? Thứ ba là hiệu suất hệ thống. Đây là cốt lõi của những gì tôi làm tại SemiAnalysis. Tôi làm việc trong một dự án có tên ClusterMAX. Chúng tôi cũng có một cái tên là InferenceX. Trong ClusterMAX, chúng tôi thử nghiệm thực tế tất cả các nhà cung cấp đám mây trong ngành. Đây là siêu quy mô, neoclouds. Chúng tôi kiểm tra thực tế hơn 100 trong số đó, viết ra những phát hiện của mình và đưa ra nghiên cứu đó miễn phí. Sau đó, trên InferenceX, những gì chúng tôi làm là tự kiểm tra các con chip. Chúng tôi so sánh NVIDIA, AMD, TPU, Trainium, nhiều công ty khởi nghiệp. Chúng tôi chạy các mô hình nguồn mở phổ biến và chạy trên tất cả phần cứng mới nhất. Tôi cũng cho nó miễn phí. Đó là tại inferencex.com. Bạn có thể kiểm tra dữ liệu đó ngay bây giờ nếu bạn quan tâm đến những loại chủ đề đó. Sau đó, điều thứ tư là nhu cầu của người dùng cuối. Chúng tôi gọi đây là tokenomics, nền kinh tế suy luận. Chúng ta có thể nói một chút về sự phát triển của ChatGPT, Claude Code so với Codex, điều gì đang xảy ra với OpenAI và Anthropic? Giá trị xuất hiện ở đâu trên ngăn xếp và những thứ tương tự . Phần 1: Chip Phần một là chip. Tôi sẽ hiển thị rất nhiều biểu đồ trong bài trình bày này. Trước hết, các nhà sản xuất siêu quy mô hiện đang chi rất nhiều tiền vào chip. Nếu bạn nhìn vào biểu đồ này, những gì bạn có thể thấy là thanh màu vàng là CapEx đồng thuận từ các nhà phân tích và màu xanh lam là số tiền họ thực sự sẽ chi tiêu vào năm 2026. Google, Amazon, Meta và Microsoft đã điều chỉnh lại số tiền họ chi tiêu chủ yếu cho chip cũng như CapEx dành cho các trung tâm dữ liệu, một số tiền cực kỳ lớn. Nhiều người có thể đã nhìn thấy con số 1 nghìn tỷ USD trong tương lai. Phần lớn số tiền này rõ ràng sẽ được chuyển thành chip. Không có trục y trên biểu đồ này, nhưng đây là một số nghiên cứu mang tính thể chế của chúng tôi để cho bạn thấy số tiền thực sự được chi cho các máy tăng tốc AI mỗi năm. Nó đang tăng tốc rất nhanh. Điểm mấu chốt ở đây thực sự là TSMC không theo kịp tốc độ tăng trưởng của nhu cầu. Nếu bạn nhìn vào số lượng tấm wafer mà TSMC sản xuất mỗi quý, bạn có thể chỉ cần nhìn vào biểu đồ này. Nó không theo cấp số nhân như những cách khác. Sự phân tích trên slide ở đây là về các nút quy trình khác nhau. Màu vàng là hàng cũ, 6 nanomet, 7 nanomet, 4 và 5 màu xanh lam. Màu đỏ là quy trình 3 nanomet, hiện là nút hàng đầu. yo