Xây dựng trực giác về số lượng tham số của LLM

Xây dựng trực giác về số lượng tham số của LLM :: blog của Giles blog của Giles Viết bài đăng mà tôi ước mình đã tìm thấy khi bắt đầu học bất cứ điều gì... Giới thiệu Liên hệ Lưu trữ Danh mục Blogroll Tháng 7 năm 2026 (3) Tháng 6 năm 2026 (7) Tháng 5 năm 2026 (2) Tháng 4 năm 2026 (11) Tháng 3 năm 2026 (3) Tháng 2 năm 2026 (4) Tháng 1 năm 2026 (4) Tháng 12 năm 2025 (1) Tháng 11 năm 2025 (3) Tháng 10 năm 2025 (9) Tháng 9 năm 2025 (3) Tháng 8 năm 2025 (5) Tháng 7 năm 2025 (1) Tháng 6 năm 2025 (2) Tháng 5 năm 2025 (3) Tháng 4 năm 2025 (2) Tháng 3 năm 2025 (7) Tháng 2 năm 2025 (10) Tháng 1 năm 2025 (6) Tháng 12 năm 2024 (7) Tháng 9 năm 2024 (1) Tháng 8 năm 2024 (2) Tháng 7 năm 2024 (2) Tháng 5 năm 2024 (2) Tháng 4 năm 2024 (2) Tháng 2 năm 2024 (2) Tháng 4 năm 2023 (1) Tháng 3 năm 2023 (2) Tháng 9 năm 2022 (1) Tháng 2 năm 2022 (1) Tháng 11 năm 2021 (1) Tháng 3 năm 2021 (1) Tháng 2 năm 2021 (2) Tháng 8 năm 2019 (1) Tháng 11 năm 2018 (1) Tháng 5 năm 2017 (1) Tháng 12 năm 2016 (1) Tháng 4 năm 2016 (1) Tháng 8 năm 2015 (1) Tháng 12 năm 2014 (1) Tháng 8 năm 2014 (1) Tháng 3 năm 2014 (1) Tháng 12 năm 2013 (1) Tháng 10 năm 2013 (3) Tháng 9 năm 2013 (4) Tháng 8 năm 2013 (2) Tháng 7 năm 2013 (1) Tháng 6 năm 2013 (1) Tháng 2 năm 2013 (1) Tháng 10 năm 2012 (1) Tháng 6 năm 2012 (1) Tháng 5 năm 2012 (1) Tháng 4 năm 2012 (1) Tháng 2 năm 2012 (1) Tháng 10 năm 2011 (1) Tháng 6 năm 2011 (1) Tháng 5 năm 2011 (1) Tháng 4 năm 2011 (1) Tháng 3 năm 2011 (1) Tháng 2 năm 2011 (1) Tháng 1 năm 2011 (1) Tháng 12 năm 2010 (3) Tháng 11 năm 2010 (1) Tháng 10 năm 2010 (1) Tháng 9 năm 2010 (1) Tháng 8 năm 2010 (1) Tháng 7 năm 2010 (1) Tháng 5 năm 2010 (3) Tháng 4 năm 2010 (1) Tháng 3 năm 2010 (2) Tháng 2 năm 2010 (3) Tháng 1 năm 2010 (4) Tháng 12 năm 2009 (2) Tháng 11 năm 2009 (5) Tháng 10 năm 2009 (2) Tháng 9 năm 2009 (2) Tháng 8 năm 2009 (3) Tháng 7 năm 2009 (1) Tháng 5 năm 2009 (1) Tháng 4 năm 2009 (1) Tháng 3 năm 2009 (5) Tháng 2 năm 2009 (5) Tháng 1 năm 2009 (5) Tháng 12 năm 2008 (3) Tháng 11 năm 2008 (7) Tháng 10 năm 2008 (4) Tháng 9 năm 2008 (2) Tháng 8 năm 2008 (1) Tháng 7 năm 2008 (1) Tháng 6 năm 2008 (1) Tháng 5 năm 2008 (1) Tháng 4 năm 2008 (1) Tháng 1 năm 2008 (4) Tháng 12 năm 2007 (3) Tháng 3 năm 2007 (3) Tháng 2 năm 2007 (1) Tháng 1 năm 2007 (2) Tháng 12 năm 2006 (4) Tháng 11 năm 2006 (18) AI (90) TIL deep dives (77) Python (72) LLM from scratch (48) Resolver One (34) PyTorch (21) TIL (21) Blogkeeping (18) PythonAnywhere (17) Linux (16) Khởi nghiệp (15) Thiết bị điện tử (13) Hugging Face (13) Dự án sao lưu ngoài trang NSLU2 (13) Hài hước (11) Suy tư (11) Tài chính (10) Tinh chỉnh LLM (10) C (9) Cá nhân (8) Người máy (8) Thiết kế trang web (8) JAX (7) 3D (5) Liên kết nhanh (5) Phàn nàn (5) Mật mã học (4) JavaScript (4) Âm nhạc (4) Những điều kỳ lạ (4) Bài nói chuyện (4) Khí cầu (3) Eee (3) Ảnh chế (3) Chính trị (3) Django (2) Điện toán GPU (2) LaTeX (2) MathML (2) OLPC XO (2) Mô hình ngôn ngữ cổ điển (2) Không gian (2) VoIP (2) Bản quyền (1) Golang (1) Dự án nhỏ (1) Hộp huấn luyện poppy (1) Raspberry Pi (1) Công cụ phát triển phần mềm (1) Trừu tượng linh hoạt Astral Codex Ten :: (Bloggable a) => a -> IO () Substack của David Friedman Kinh tế & Năng lượng Sự khéo léo của doanh nhân Đối với một số giá trị của "Phép thuật" Hackaday Bản tin kaleidic.ai Knowing.NET Language Log Millennium Hand ntoll.org Tuân thủ quy trình kiểm thử! PK Tin tức PythonAnywhere Weblog của Simon Willison Societive Nhà phát triển phần mềm Một số ý kiến, được giữ với các mức độ chắc chắn khác nhau tartley.com Xây dựng trực giác về số lượng tham số LLM Đăng ngày 10/7/2026 trong AI Khi xây dựng triển khai GPT-2 của tôi trong JAX, tôi bắt đầu chỉ với các nhúng token cho đầu vào và một đầu ra riêng biệt (vì tôi không sử dụng liên kết trọng số). Đó không phải là một LLM – không có khối Transformer, không có cơ chế chú ý, không có mạng truyền thẳng. Tôi khá ngạc nhiên khi nhận thấy ngay cả mô hình tối giản đó cũng có 77 triệu tham số với các cài đặt "nhỏ" mà tôi đang sử dụng để huấn luyện – cụ thể là kích thước nhúng là 768. Tuy nhiên, tôi nhận ra mình không nên ngạc nhiên – với kích thước từ vựng là 50.257, mỗi thành phần đó về cơ bản là một ma trận 768×50.257, và đó thực sự là hơn 38 triệu số. Nhưng LLM hoàn chỉnh ở cuối dự án chỉ có 163 triệu tham số – điều đó có nghĩa là các thành phần đầu vào và đầu ra