Show HN: Xem những gì LLM đã học được, được sắp xếp dưới dạng cây có thể duyệt

HyperSAE: Bộ mã hóa tự động thưa thớt Hyperbol hiệu suất cao hypersae là một công cụ có khả năng diễn giải cơ học hiệu suất cao được thiết kế để trích xuất các bản thể luận khái niệm phân cấp từ Mô hình ngôn ngữ lớn (LLM). Bằng cách tách hình học hyperbol khỏi chuyển tiếp, nó cung cấp khả năng thực thi độ trễ bằng 0 của Bộ mã hóa tự động thưa thớt Euclide tiêu chuẩn cùng với khả năng ánh xạ ngữ nghĩa của độ cong âm Riemannian. Cài đặt Cài đặt trực tiếp qua PyPI: cài đặt pip hypersae Hoặc cài đặt cục bộ từ nguồn: bản sao git https://github.com/vishal-dehurdle/hypersae.git siêu âm cd cài đặt pip -e . 1. Kiến trúc cốt lõi: Chính quy hóa không gian-trọng lượng tách rời Để duy trì thông lượng GPU cao và khả năng tương thích mô hình, hypersae tách việc thực thi thành hai tốc độ tính toán: Đường dẫn nhanh (Đường chuyển tiếp Euclide): Khối lượng lớn dữ liệu mã thông báo đang hoạt động vẫn hoàn toàn nằm trong không gian Euclide phẳng, tốc độ cao ($\mathbb{R}^d$). Điều này tránh được độ trễ của đa tạp Riemannian, tôn trọng việc chuẩn hóa mô hình cơ sở (ví dụ: RMSNorm) và duy trì khả năng tương thích định hướng nhân quả trực tiếp. Đường dẫn chậm (Chính quy hóa trọng lượng hyperbol): Các mối quan hệ cấu trúc, phân cấp của các khái niệm được thực thi độc quyền trong không gian tham số từ điển trong quá trình tối ưu hóa thông qua phép chiếu bóng Poincaré $(\mathcal{B}^d, g_{\mathbf{x}})$. đồ thị TD sơ đồ con Fast_Path["Đường dẫn nhanh: Đường chuyển tiếp Euclide (bfloat16)"] X["Kích hoạt mã thông báo chuẩn hóa x"] --> ENC["Bộ mã hóa Euclide"] ENC --> F["Kích hoạt thưa thớt f"] F --> DEC["Bộ giải mã Euclide (W_dec)"] DEC --> X_HAT["Kích hoạt được xây dựng lại x̂"] kết thúc sơ đồ con Slow_Path["Đường dẫn chậm: Tối ưu hóa trọng lượng hyperbol (Upcast lên float32)"] W_dec["Trọng lượng giải mã (W_dec)"] & R_deep["Độ sâu vô hướng (r_i)"] --> MAP["Phép chiếu đa dạng Poincaré"] MAP --> H_coords["Tọa độ Hyperbol (h_i)"] H_coords --> MOCO["Hàng đợi đồng kích hoạt"] MOCO --> MẤT ["Tổn thất theo yêu cầu Poincaré không đối xứng"] kết thúc MẤT -.->|"Cập nhật trình tối ưu hóa kép (AdamW / RiemannianAdam)"| W_dec Đang tải 2. Kết quả điểm chuẩn thực nghiệm (Lớp Gemma-2-2B 13) Được đánh giá trên quy mô lớn trên Google Gemma-2-2B Kích hoạt luồng dư Lớp 13 ($d=2304$, kích thước chính tả $M=16384$) phát trực tuyến hơn 20 triệu mã thông báo FineWeb-Edu trên cụm GPU NVIDIA L4: Lưu giữ lý luận xuôi dòng (Thay thế mã thông báo đơn) Điểm chuẩn Đường cơ sở Gemma-2-2B FlatSAE (Đường cơ sở) HyperSAE (Của chúng tôi) Công suất giữ lại tương đối MMLU-Pro (12.032 câu hỏi) 17,69% 16,11% 16,26% HyperSAE duy trì độ chính xác vượt trội (+0,15%) Tái thiết Pareto & Hiệu suất thưa thớt Kiến trúc mô hình $L_1$ Phạt Tính năng đang hoạt động / Mã thông báo ($L_0$) Tái thiết MSE ($\downarrow$) % phục hồi tổn thất CE ($\uparrow$) Mất CE với móc HyperSAE (Của chúng tôi) 0,005 54,2 4.1232 78,9% 6.1164 FlatSAE (Đường cơ sở) 0,005 52,4 4.5724 75,5% 6.3861 HyperSAE (Của chúng tôi) 0,001 988,8 1.3965 97,7% 4.6036 FlatSAE (Đường cơ sở) 0,001 744,5 1.7364 97,2% 4.6499 HyperSAE (Của chúng tôi) 0,0005 2285.4 0,7666 98,1% 4.5721 FlatSAE (Đường cơ sở) 0,0005 1511.8 1,0112 97,0% 4.6608 Bài học rút ra: HyperSAE đạt được mức giảm 9,8% trong MSE tái thiết và tăng +3,4% trong Khả năng phục hồi mất mát Entropy chéo so với các SAE phẳng ở mức độ thưa thớt phù hợp ($ L_0 \approx 53$). 3. Ví dụ khởi động nhanh ngọn đuốc nhập khẩu từ hypersae nhập HyperSAE, CoActivationQueue, TriPartiteLoss, HyperSAETrainer device = "cuda" if torch.cuda.is_available() khác "cpu" # 1. Khởi tạo mô hình HyperSAE, CoActivationQueue và TriPartiteLoss sae = HyperSAE(d_model=2304, dict_size=16384).to(device) queue = CoActivationQueue(dict_size=16384).to(device) loss_fn = TriPartiteLoss(l1_coeff=0,005, đòi hỏi_coeff=0,01) #2. Khởi tạo HyperSAETrainer trainer = HyperSAETrainer(model=sae, queue=queue, loss_fn=loss_fn, lr=1e-3) #3. Train bước trên đợt kích hoạt luồng dư x = torch.randn(64, 2304, device=device) số liệu = trainer.train_step(x) print(f"Tổng tổn thất: {metrics['loss_total']:.4f}") print(f"MSE tái thiết: {metrics['loss_recon']:.4f}") print(f"Hình phạt yêu cầu Poincaré: {metrics['loss_entail']:.4f}") 4. Kiến trúc phần mềm hypersae.HyperSAE: Mô-đun mô hình cốt lõi triển khai chuyển tiếp tuyến tính và độ sâu xuyên tâm có thể học được $r_i \in [0, 1)$. hypersae.FlatSAE: Đường cơ sở Euclide tiêu chuẩn để so sánh điểm chuẩn. hypersae.TriPartiteLoss: Bộ điều phối tổn thất kết hợp MSE, độ thưa $L_1$ và các hình phạt kéo theo hình nón Poincaré. hypersae.CoActivationQueue: Tính năng theo dõi hàng đợi bộ nhớ GPU không đồng bộ xuất hiện đồng thời mà không tăng trưởng bộ nhớ $\mathcal{O}(M^2)$. hypersae.hooks: Tiện ích móc chuyển tiếp PyTorch và TransformerLens để điều khiển và can thiệp. 5. Tài liệu nghiên cứu & ấn phẩm Bài viết lý thuyết: Thoát khỏi vùng đất bằng: Chính quy hóa không gian trọng lượng và hình học hyperbol trong khả năng diễn giải cơ học Bài viết thực nghiệm: Bộ mã hóa tự động thưa thớt Hyperbol: Xác thực thực nghiệm về hình học đa dạng Poincaré trên kích hoạt LLM Giấy phép Dự án này được cấp phép theo Giấy phép MIT - xem tệp GIẤY PHÉP để biết chi tiết.