Bỏ qua tới nội dung chính
Quay lại tin tức

Show HN: Giảm độ phức tạp ngữ cảnh của LLM từ O(N^2) xuống O(k)

Hacker News LLM· samamatariq· 31/10/2026general

Đường dẫn bài viết: https://github.com/samamatariq3527/Deferred-Cognitive-Architecture Đường dẫn bình luận: https://news.ycombinator.com/item?id=50317629 Điểm: 2 Số bình luận: 0

Kiến trúc Nhận thức Trì hoãn (DCA) Tác giả: Samama Tariq Bản PDF Sách trắng: Tải toàn văn Sách trắng Mã định danh trích dẫn chính thức DOI: https://doi.org/10.5281/zenodo.23839670 Tóm tắt Các Mô hình Ngôn ngữ Lớn (LLM) hiện đại chịu độ phức tạp tính toán bậc hai $O(N^2)$ khi quy mô độ dài ngữ cảnh mở rộng, dẫn đến tiêu hao năng lượng nghiêm trọng, gia tăng độ trễ và suy giảm chất lượng xử lý ngữ cảnh (hiện tượng "Lost in the Middle" - thất lạc thông tin ở giữa). Kiến trúc Nhận thức Trì hoãn (DCA) thay thế cơ chế thực thi nguyên khối bằng một khung cấu trúc ba tầng theo mô hình mô-đun, vận hành theo giao thức "Truy xuất trước, Tư duy sau". Bằng cách tách biệt tác vụ truy xuất nhập/xuất (I/O) cơ học sang các vi quy trình tiêu thụ điện năng thấp và trì hoãn hoạt động lập luận chuyên sâu của Hệ thống 2 cho đến khi dữ liệu được lọc trước, DCA đạt độ phức tạp tính toán dưới tuyến tính $O(k)$, khả năng truy xuất xác định 100% và loại bỏ hoàn toàn hiện tượng ảo giác dữ kiện do nhiễu ngữ cảnh. Kiến trúc Hệ thống Cốt lõi Tầng 1: Động cơ Nhập/Xuất Cơ học và Định tuyến Động Định tuyến điểm-tới-điểm mang tính tiền định sử dụng các mô hình siêu nhẹ hoặc cơ chế khớp khóa chính xác. Chi phí tài nguyên tính toán thấp (thời gian tra cứu $O(1)$). Tầng 2: Bộ Chuyển tiếp Bất đồng bộ Nhà sản xuất - Người tiêu dùng Các hàng đợi nhập/xuất (I/O) không chặn, giúp tách biệt độ trễ truy xuất khỏi các công cụ suy luận. Lập chỉ mục độc lập ngoài luồng, cho phép cập nhật kho lưu trữ véc-tơ động theo thời gian thực mà không cần đánh chỉ mục lại các cửa sổ ngữ cảnh. Tầng 3: Động cơ Lập luận Trì hoãn (Hệ thống 2) Kích hoạt LLM có số lượng tham số lớn chỉ sau khi dữ liệu ngữ cảnh đã được tinh lọc và cấu trúc hóa. Giảm tải chi phí ngữ cảnh từ $N$ tổng số lượng thẻ dữ liệu (token) xuống còn $k$ thẻ dữ liệu liên quan ($k \ll N$). 🧪 Nguyên mẫu Tham chiếu Thư mục prototype/ chứa bản triển khai tham chiếu tối giản bằng ngôn ngữ Python (dca_core.py), minh họa Kiến trúc Nhận thức Trì hoãn ba tầng: Tầng 1 (Bộ định tuyến cơ học): Lọc tiền định $O(1)$ để trích xuất $k$-token liên quan. Tầng 2 (Bộ chuyển tiếp bất đồng bộ): Tiếp nhận dữ liệu vào hàng đợi nền không chặn. Tầng 3 (Lập luận trì hoãn): Kích hoạt mô hình Hệ thống 2 chỉ trên các gói dữ liệu sạch, đã qua sàng lọc trước ($k \ll N$). Vận hành Nguyên mẫu Cục bộ Sao chép kho lưu trữ hoặc truy cập vào thư mục cục bộ: git clone https://github.com/samamatariq3527/Deferred-Cognitive-Architecture.git cd Deferred-Cognitive-Architecture Trích dẫn Trường hợp sử dụng hoặc tham chiếu DCA trong nghiên cứu hoặc thiết kế hệ thống, xin trích dẫn theo định dạng: @publication{tariq_samama_2026_dca, author = {Samama Tariq}, title = {Deferred Cognitive Architecture (DCA): Resolving Context Degradation \& Compute Bottlenecks in Large Language Models}, year = 2026, publisher = {Zenodo}, doi = {10.5281/zenodo.23839670}, url = {[https://doi.org/10.5281/zenodo.23839670](https://doi.org/10.5281/zenodo.23839670)} }

Nguồn tin: Hacker News LLM — Tác giả: samamatariq. Bản dịch tiếng Việt do AI thực hiện, có thể có sai sót.