[Bài báo khoa học trên arXiv] Công thức mới cho siêu trí tuệ AI

Luận văn "Does Scaling Toward AGI Depend on What System‑1 Lets System‑2 Execute?" (arXiv:2610.39497): Các luận điểm chính theo từng chương và diễn giải phổ thông Nghiên cứu đến từ Khoa Tự động hóa, Đại học Thanh Hoa. Quan điểm cốt lõi: Con đường tiến tới trí tuệ nhân tạo tổng quát (AGI) không thể chỉ dựa vào việc gia tăng quy mô các mô hình lớn (System‑2) một cách cơ học, mà cần đồng thiết kế một mô-đun dự đoán sơ bộ tinh gọn (System‑1); thông qua chu trình khép kín "dự đoán ‑ sàng lọc ‑ thực thi ‑ cập nhật", năng lực tính toán tốn kém sẽ chỉ được phân bổ cho các tương tác mang lại giá trị thực sự. Giải thích thuật ngữ: System‑2: Mô hình lớn tiêu tốn nhiều năng lực tính toán, đảm nhiệm tư duy sâu, suy luận hoặc gọi công cụ (thành phần xử lý chính, chi phí cao, tiêu hao nhiều bộ nhớ và tài nguyên tính toán). System‑1: Mô hình nhỏ gọn, đóng vai trò dự đoán trước mức độ cần thiết của tác vụ (bộ lọc chi phí rất thấp, không thực hiện suy luận phức tạp, chỉ chấm điểm đánh giá). Tương tác (interaction): Một lượt suy luận chuỗi tư duy (CoT), một lượt gọi công cụ, một bước hành động của robot trong môi trường, hoặc việc huấn luyện một mẫu dữ liệu đều được tính là một tương tác. $\boldsymbol{\rho_u}$: Mật độ tương tác hữu ích, tức tỷ lệ các tương tác thực sự mang lại giá trị học tập hoặc lợi ích trong tổng số các tương tác tiềm năng; $\rho_u$ càng nhỏ thì lượng tương tác dư thừa càng lớn. Tương tác có điều kiện (conditional interaction): Toàn bộ chu trình khép kín bao gồm "System‑1 chấm điểm và sàng lọc, System‑2 chỉ thực thi các tác vụ được phê duyệt, kết quả sau đó được dùng để huấn luyện ngược lại cho System‑1". Tóm tắt (Abstract) Các luận điểm chính Lộ trình phát triển AGI hiện nay chủ yếu dựa vào việc mở rộng System‑2: mô hình lớn hơn, nhiều dữ liệu hơn, năng lực tính toán cao hơn, suy luận dài hơn và nhiều tác tử hơn. Đề xuất hướng tiếp cận mới: Đồng thiết kế System‑1 và System‑2. Hệ thống System‑1 tinh gọn sẽ dự đoán giá trị của từng tương tác trước khi thực thi, bảo đảm System‑2 chỉ thực hiện các tương tác xứng đáng với chi phí đầu tư. Cơ chế cốt lõi: Chu trình khép kín dự đoán ‑ sàng lọc điều kiện ‑ thực thi ‑ cập nhật, bao quát toàn bộ các kịch bản huấn luyện, suy luận và gọi công cụ của tác tử. Trong điều kiện lý tưởng, tài nguyên tính toán có thể được tối ưu hóa tiệm cận mức $1/\rho_u$; các yếu tố như sai số dự đoán, quá trình thăm dò và sự dịch chuyển phân phối sẽ làm giảm mức tiết kiệm này. Giả thuyết: $\rho_u$ là chỉ số then chốt để đo lường hiệu quả mở rộng quy mô; năng lực tính toán mang thông tin hữu ích (informative compute) phản ánh quy luật mở rộng mô hình chính xác hơn tổng năng lực tính toán thuần túy. Diễn giải phổ thông Phương thức phát triển mô hình lớn hiện thời tập trung tối đa vào việc gia tăng quy mô của "mô hình thực thi System‑2". Tuy nhiên, nhiều tác vụ, mẫu dữ liệu và bước suy luận không mang lại hiệu quả, gây lãng phí tài nguyên phần cứng. Giải pháp phù hợp là tích hợp một System‑1 quy mô nhỏ với chi phí thấp đóng vai trò bộ lọc: tiến hành đánh giá nhanh để xác định tính cần thiết của tác vụ đối với mô hình lớn; chỉ bàn giao các tác vụ giá trị cho mô hình lớn xử lý; kết quả thực thi sau đó được dùng để nâng cao độ chính xác dự đoán của System‑1. Nếu trong 100 tác vụ chỉ có 10 tác vụ hữu ích ($\rho_u=0,1$), năng lực tính toán trong trạng thái lý tưởng có thể giảm xuống còn 1/10. Dù vậy, bộ lọc nhỏ vẫn có thể xuất hiện sai số, làm giảm hiệu quả thực tế. Đánh giá sự tiến bộ của mô hình cần căn cứ vào phần năng lực tính toán thực sự tạo ra giá trị, thay vì chỉ dựa vào tổng năng lực tính toán. Chương 1: Thách thức tương tác ở quy mô lớn (The Interaction Problem at Scale) Các luận điểm chính Sự phát triển của AI trải qua ba giai đoạn: Giai đoạn 1 (2012‑2020): Đơn thuần gia tăng số lượng tham số của mô hình. Giai đoạn 2 (2020‑2025): Gia tăng quy mô dữ liệu và năng lực tính toán (hướng đi chủ đạo hiện nay). Giai đoạn 3 (từ năm 2026 trở đi): Đồng thiết kế System‑1 và System‑2, ưu tiên lựa chọn các tương tác có giá trị cao. Nút thắt cổ chai không chỉ nằm ở sự thiếu hụt dữ liệu hay năng lực tính toán: Nhiều tương tác sau khi hoàn thành hầu như không mang lại thông tin mới, dẫn đến lợi nhuận cận biên liên tục giảm sút. Bối cảnh số (huấn luyện mô hình lớn): Trong học tăng cường dựa trên quy tắc có thể kiểm chứng (RLVR), nhiều câu lệnh (prompt) tạo ra câu trả lời hoàn toàn đúng hoặc hoàn toàn sai, không cung cấp tín hiệu đạo hàm hiệu quả, dẫn đến việc lãng phí tài nguyên chạy thử nghiệm (rollout). Bối cảnh vật lý (robot): Hành động trong thế giới thực đòi hỏi chi phí rất cao, không thể tiến hành thử sai một cách vô hạn định. "Giả thuyết Siêu Vẹt" (Super Parrot Hypothesis): Tiến trình phát triển của AI gồm ba bước: 1) Mô phỏng văn bản của con người; 2) Suy luận CoT có thể hiểu được bởi con người; 3) Tự mã hóa biểu diễn, tự tiến hóa với logic nội tại vượt ngoài khả năng nhận thức của con người. Khi AI tự tạo ra ngày càng nhiều dữ liệu huấn luyện, việc chọn lọc những tương tác tự sinh xứng đáng được thực thi trở thành bài toán then chốt về hiệu quả. Vấn đề nghiên cứu cốt lõi: Liệu System‑2 với chi phí đắt đỏ có thể xác định giá trị của một tương tác trước khi thực thi hay không? Bản thân System‑2 không thể tự đảm nhiệm việc này, do chi phí tự đánh giá giá trị là quá lớn. Diễn giải phổ thông Hệ thống hiện nay đang đối mặt với quy luật hiệu suất giảm dần: dù đầu tư thêm nhiều thiết bị phần cứng, phần lớn các bước suy luận, mẫu dữ liệu và hành động của robot vẫn là những thao tác không hiệu quả. Đơn cử trong việc huấn luyện mô hình toán học, đối với những bài toán mô hình đã nắm vững hoàn toàn, việc lặp lại huấn luyện không mang lại tri thức mới; tương tự, robot thử nghiệm các thao tác ngẫu nhiên sẽ làm tiêu tốn thời gian thực tế. Trong tương lai, khi AI tự tạo dữ liệu huấn luyện cho chính mình, việc xử lý toàn bộ dữ liệu mà không qua chọn lọc sẽ càng không khả thi. Tuy nhiên, việc để mô hình lớn tự đánh giá tính khả thi của một tác vụ sẽ tạo ra chi phí quá cao, do đó cần một công cụ hỗ trợ chi phí thấp như System‑1. Ví von: Tương tự như học sinh luyện đề (System‑2). Thay vì giải toàn bộ bài tập một cách dàn trải, cần có một trợ lý (System‑1) rà soát nhanh các đề mục, chỉ chọn lọc những phần kiến thức còn yếu và có khả năng nâng điểm để thực hành; kết quả làm bài sau đó sẽ giúp trợ lý hiểu rõ hơn những dạng bài cần ưu tiên tiếp theo. Chương 2: Tương tác có điều kiện: Chiến lược đồng thiết kế (Conditional Interaction As A Co‑Design Strategy) Các luận điểm chính Phân biệt giữa mô hình phân tầng tĩnh và đồng thiết kế thích ứng: Mô hình phân tầng tĩnh: Mô hình nhỏ phân phối tác vụ đơn giản, mô hình lớn thực thi; mô hình nhỏ không được cập nhật dựa trên kết quả thực thi (tương tự một số sản phẩm System‑1 hiện có). Đồng thiết kế được đề xuất: System‑1 không chỉ định tuyến yêu cầu; kết quả sau khi System‑2 thực thi được dùng để liên tục huấn luyện System‑1; cả hai được tối ưu hóa đồng thời. Định nghĩa "Chiến lược tương tác có điều kiện": System‑1 đưa ra điểm số hữu dụng dự đoán; thiết lập ngưỡng thích ứng, chỉ chuyển giao tác vụ cho System‑2 khi điểm số vượt ngưỡng; có thể áp dụng phương pháp lấy mẫu mềm hoặc thuật toán tham lam để chọn phương án tối ưu. Độ hữu dụng (utility): Lượng thông tin hoặc giá trị học tập thu được sau tương tác, có thể định nghĩa qua mức gia tăng thông tin, giảm thiểu rủi ro, hoặc giá trị tác vụ. Chỉ số hiệu quả thông tin tương tác (IIE): Lượng giá trị hữu ích thu được trên mỗi đơn vị chi phí hệ thống. Sàng lọc lý tưởng: Mức tiết kiệm năng lực tính toán tiệm cận $1/\rho_u$; Trường hợp System‑1 xuất hiện sai sót (loại bỏ nhầm tương tác hữu ích, bỏ sót tương tác rác), hiệu quả tiết kiệm sẽ giảm sút. Mục tiêu tối ưu hóa chính: Lựa chọn dựa trên điểm số kèm ràng buộc ngân sách, về bản chất là bài toán cái túi; cần tính đến sự chênh lệch chi phí giữa các tương tác. Phương pháp này có giới hạn ứng dụng cụ thể: Phù hợp: Chi phí tương tác đắt đỏ; giá trị tương tác phân hóa mạnh; có thể dự đoán giá trị với chi phí thấp. Không phù hợp: Tương tác có chi phí rất thấp; chi phí dự đoán gần tương đương chi phí thực thi. > Cần duy trì cơ chế thăm dò: Khi xảy ra dịch chuyển phân phối hoặc dự đoán thiếu chính xác, hệ thống cần chủ động thực thi một phần các tương tác bị System‑1 đánh giá là "không hữu ích" nhằm tránh bỏ sót thông tin quan trọng; thiết lập cơ chế lấy mẫu kiểm toán. Diễn giải phổ thông Nhiều giải pháp hiện nay chỉ dừng lại ở việc dùng mô hình nhỏ để phân phối yêu cầu cho mô hình lớn, sau đó mô hình nhỏ giữ nguyên trạng thái mà không tiếp tục học hỏi. Nghiên cứu này yêu cầu một quy trình khép kín: kết quả làm việc của mô hình lớn được sử dụng để huấn luyện ngược lại cho bộ lọc System‑1, giúp bộ lọc ngày càng hoàn thiện. Cần lưu ý tính toán chi phí: bản thân bộ lọc cũng tiêu tốn tài nguyên nhất định, nếu chi phí vận hành bộ lọc quá cao, hiệu quả tổng thể sẽ suy giảm. Bộ lọc không thể loại bỏ tác vụ một cách tuyệt đối, nhằm tránh rủi ro loại bỏ nhầm các tác vụ quan trọng. Do đó, cần giữ lại một tỷ lệ ngẫu nhiên các tác vụ bị sàng lọc để thực thi, phục vụ việc hiệu chỉnh sai số cho System‑1. Ví von về việc học: Trợ lý không thể chỉ chọn những bài tập được cho là khó; đôi khi cần làm thử một số bài được đánh giá là dễ để kiểm tra tính chính xác trong phán đoán của chính mình. Chương 3: Đồng thiết kế hai hệ thống: Kiến trúc và mở rộng quy mô đồng bộ (Co‑Designing the Two Systems) Các luận điểm chính Phân rã toán tử: Các toán tử cập nhật riêng biệt của hai hệ thống: System‑2 cập nhật mô hình dựa trên các tương tác đã qua sàng lọc; System‑1 cập nhật dự đoán chấm điểm dựa trên kết quả thực tế do System‑2 phản hồi; hai hệ thống vận hành theo các thang thời gian khác nhau. System‑1 (bộ dự đoán) cập nhật với tần suất nhanh hơn; System‑2 (mô hình lớn thực thi) cập nhật chậm hơn. Kết luận cốt lõi về mở rộng quy mô đồng bộ (Co‑Scaling): Khi System‑2 ngày càng tốn kém, quy mô tối ưu của System‑1 không nên thu nhỏ mà cần được gia tăng ở mức độ hợp lý. Chi phí của System‑2 càng cao, hiệu quả kinh tế của việc đầu tư nâng cao độ chính xác cho System‑1 càng lớn. Tuy nhiên, nghiên cứu mới chỉ đưa ra định hướng định tính, chưa xác định tỷ lệ mở rộng cụ thể, đặt ra vấn đề mở cho các thử nghiệm tiếp theo. Kiến trúc hoàn chỉnh gồm bốn bước: Biểu diễn → Dự đoán → Sàng lọc điều kiện → Học tập và cập nhật 1) Biểu diễn: Chuyển đổi tác vụ/tương tác thành véc-tơ; 2) System‑1 dự đoán điểm số giá trị; 3) Cổng điều kiện, điều chỉnh ngưỡng thích ứng để kiểm soát tỷ lệ tác vụ được thông qua; 4) Phản hồi kết quả thực thi để cập nhật System‑1, đồng thời lưu giữ các mẫu kiểm toán. Ba nhóm giao diện: Giao diện tri thức, giao diện biểu diễn, giao diện phản hồi; hỗ trợ cơ chế cổng điều kiện lồng nhau nhiều cấp. Diễn giải phổ thông Khi System‑2 ngày càng lớn và tiêu tốn nhiều tài nguyên, quy mô của System‑1 không thể bị thu hẹp. Do chi phí vận hành mô hình lớn rất cao, việc đầu tư thêm một phần tài nguyên tính toán để nâng cao độ chính xác của bộ lọc sẽ giúp cắt giảm lượng lớn các thao tác thực thi tốn kém và không hiệu quả, mang lại lợi ích tổng thể đáng kể. Quy trình kiến trúc: Chuyển đổi tác vụ thành véc-tơ, mô hình nhỏ tiến hành chấm điểm, sử dụng ngưỡng để kiểm soát số lượng tác vụ chuyển tiếp cho mô hình lớn; sau khi thực thi, dữ liệu phản hồi được dùng để huấn luyện mô hình nhỏ. Hệ thống có thể thiết lập theo phân tầng: sử dụng nhiều lớp lọc nối tiếp, sàng lọc tác vụ lớn trước rồi mới đến các tác vụ phụ. Ví von: Khi chi phí học phụ đạo (System‑2) ở mức rất cao, người học cần dành thời gian thích đáng (System‑1) để chọn lọc kỹ lưỡng những nội dung thực sự giúp cải thiện kết quả, thay vì đăng ký tham gia toàn bộ các khóa học một cách thiếu chọn lọc. Chương 4: Lợi ích từ dự đoán và lý do mô hình System-1 quy mô nhỏ đáp ứng được yêu cầu Nội dung trọng tâm Lợi ích sàng lọc (Screening Gain) Phương pháp truyền thống "thực thi toàn bộ, lọc sau": Mọi tương tác ứng viên đều được vận hành toàn bộ, dẫn đến chi phí rất lớn. Sàng lọc dự đoán bằng System-1: Hệ thống chỉ đánh giá điểm số với chi phí thấp cho các ứng viên và chỉ thực thi các tác vụ vượt qua vòng sàng lọc. Trong điều kiện lý tưởng, chi phí tiệm cận $\rho_u + r$ ($r$ là chi phí tương đối để System-1 chấm điểm). Giảm đồng thời dung lượng bộ nhớ: Không cần cấp phát trước bộ nhớ vận hành của mô hình lớn cho lượng lớn ứng viên, chỉ phân bổ tài nguyên cho các tác vụ đã qua sàng lọc. Biên lý thuyết về mức độ hối tiếc lựa chọn (regret): Nếu sai số dự đoán của System-1 đủ nhỏ, thấp hơn chênh lệch giá trị giữa các tương tác, quá trình sàng lọc gần như không chọn sai tác vụ; nếu sai số tăng lên, mức độ tổn thất sẽ gia tăng. Ba góc độ lý thuyết tiếp cận khung nghiên cứu này: 1) Suy luận chủ động (lý thuyết thông tin): System-1 ước tính mức độ cập nhật niềm tin (lợi ích thông tin) sau khi hoàn thành tác vụ, trừ đi chi phí để quyết định có thực thi hay không. 2) Góc độ mô hình tạo sinh: Tương tác tương đương với bước chuyển trạng thái của môi trường/mô hình; System-1 không cần mô phỏng toàn bộ tiến trình mà chỉ cần ước tính giá trị của bước chuyển, do đó có thể duy trì quy mô rất nhỏ. 3) Lý thuyết điều khiển (điều khiển dự báo mô hình - MPC): Coi toàn bộ hệ thống học tập là đối tượng điều khiển; System-1 lập kế hoạch, chỉ thực thi nhóm tương tác tối ưu nhất, sau đó quan sát kết quả để tái lập kế hoạch. Diễn giải khái quát Phương pháp cũ: Vận hành toàn bộ tác vụ, hoàn thành xong mới biết tác vụ nào không hiệu quả, làm tiêu tốn lượng kinh phí lớn. Phương pháp mới: Đánh giá điểm số trước với chi phí thấp, chỉ vận hành các tác vụ điểm cao. Đồng thời tiết kiệm bộ nhớ, không cần dành sẵn dung lượng VRAM của mô hình lớn cho lượng tác vụ khổng lồ. Hệ thống System-1 quy mô nhỏ *không cần mô phỏng đầy đủ mọi diễn biến sẽ xảy ra, chỉ cần đưa ra điểm số xác định "tác vụ này có đáng thực hiện hay không"*, do đó có thể tinh gọn tối đa. Tư duy này tương đồng với phương pháp điều khiển dự báo mô hình trong lĩnh vực điều khiển tự động: Dự đoán trước một loạt phương án, chỉ thực thi nhóm tối ưu nhất, thu thập kết quả thực tế và dự đoán lại cho chu kỳ tiếp theo. Ví dụ tương tự du lịch: Không cần trực tiếp đến trải nghiệm toàn bộ các điểm tham quan mới biết điểm đến đó có hấp dẫn hay không; người dùng có thể tham khảo cẩm nang để chấm điểm nhanh, chỉ đến các điểm điểm số cao; sau chuyến đi sẽ cập nhật nhận thức về các địa điểm đó. Chương 5: Tương tác có điều kiện trên các lĩnh vực số hóa và vật lý Nội dung trọng tâm Bối cảnh số hóa (Huấn luyện mô hình lớn) Tinh chỉnh mô hình suy luận RLVR: Lượng lớn câu lệnh (prompt) tạo ra kết quả hoàn toàn đúng hoặc hoàn toàn sai, không thể tạo ra gradient. Trước đây, quy trình là lọc sau khi tạo; phương pháp mới dự đoán giá trị huấn luyện của prompt trước khi tạo, bỏ qua các prompt không có giá trị, từ đó giảm chi phí tạo chuỗi hành động (rollout). Bối cảnh vật lý (Robot, mô phỏng) Ngẫu nhiên hóa miền (Domain Randomization): Trước đây hệ thống tạo ngẫu nhiên lượng lớn tác vụ mô phỏng, trong đó nhiều tác vụ robot đã thành thạo; phương pháp mới sử dụng System-1 để dự đoán rủi ro thích ứng của tác vụ, ưu tiên huấn luyện các tác vụ có mức rủi ro cao. So sánh với các nghiên cứu hiện có: Khác biệt với học chủ động thông thường và định giá dữ liệu. Học chủ động thông thường áp dụng cho tập dữ liệu tĩnh; trong khung nghiên cứu này, kho tác vụ và bản thân mô hình luôn biến đổi, giá trị sẽ thay đổi theo năng lực của mô hình. Diễn giải khái quát Ví dụ số hóa: Khi huấn luyện mô hình lớn về suy luận, có những bài toán mô hình đã nắm vững toàn bộ, vận hành thêm cũng không tiếp thu thêm kiến thức. System-1 nhận diện trước, bỏ qua trực tiếp và không tiến hành tạo sinh. Ví dụ robot: Trong môi trường mô phỏng, nhiều tác vụ robot đã thao tác thuần thục, việc huấn luyện lặp lại không mang lại hiệu quả; mô hình nhỏ dự đoán các tác vụ robot dễ gặp lỗi để ưu tiên đưa vào huấn luyện. Điểm mấu chốt: Khi mô hình nâng cao năng lực, giá trị của cùng một tác vụ sẽ thay đổi; bộ lọc phải liên tục cập nhật theo năng lực mô hình, không thể duy trì cố định. Chương 6: Tương tác có điều kiện trong giai đoạn kiểm thử suy luận Nội dung trọng tâm Không chỉ giới hạn ở giai đoạn huấn luyện, giai đoạn suy luận và triển khai vận hành thực tế cũng có thể áp dụng cấu trúc System-1 và System-2 này. Định nghĩa tương tác tại thời điểm kiểm thử: Một bước suy luận CoT (Chain-of-Thought), một lần lấy mẫu, một lần gọi công cụ hay một hành động tác động vào môi trường đều được tính là tương tác. Mở rộng quy mô năng lực tính toán tại thời điểm kiểm thử: Không phải mọi truy vấn (query) đều cần CoT quá dài hoặc lấy mẫu với số lượng lớn. System-1 dự đoán việc suy luận thêm có giúp nâng cao chất lượng câu trả lời hay không; nếu lợi ích thấp hơn ngưỡng quy định, hệ thống sẽ dừng suy luận sớm để tiết kiệm chi phí. Gọi công cụ tác tử (agent): System-1 dự đoán giá trị thông tin của việc gọi công cụ, đặt câu hỏi, tư duy; chỉ khi lợi ích lớn hơn chi phí (thời gian, tài chính, rủi ro) mới thực hiện, tránh việc lạm dụng gọi công cụ liên tục. Cung cấp bảng đối chiếu 4 kịch bản: kiểm thử, huấn luyện, robot, tác tử, gồm các yếu tố: bản chất tương tác, hiệu dụng, chi phí, ngưỡng kiểm soát (gate threshold). Rủi ro: Lợi ích đơn bước cục bộ có thể thấp nhưng mang lại lợi ích lớn sau nhiều bước; cơ chế kiểm soát đơn bước có thể dừng quá sớm, do đó cần tính đến giá trị duy trì tiếp nối. Diễn giải khái quát Khi vận hành suy luận thực tế, không nên áp dụng tối đa thời gian tư duy hoặc lạm dụng gọi công cụ cho mọi câu hỏi một cách máy móc. Với câu hỏi đơn giản, không cần tư duy kéo dài; System-1 đánh giá "nghĩ thêm cũng không cải thiện câu trả lời" sẽ lập tức dừng suy luận, tiết kiệm token và thời gian. Tác tử không nên tùy tiện gọi công cụ; bộ lọc nhỏ cần đánh giá trước việc gọi công cụ có mang lại thông tin hữu ích hay không và chi phí có tương xứng hay không. Trở ngại: Đôi khi xét riêng một bước thì không thấy lợi ích, nhưng sau nhiều bước lại đem lại hiệu quả lớn; việc dự đoán đơn bước đơn giản sẽ kết thúc sớm tiến trình, do đó cần tính đến giá trị tiếp nối dài hạn. Chương 7: Giả thuyết mở rộng quy mô có thể kiểm chứng và các vấn đề mở Nội dung trọng tâm Giả thuyết năng lực tính toán mang thông tin (Informative Compute Hypothesis) Định luật mở rộng quy mô truyền thống dùng tổng năng lực tính toán $C$ để dự đoán độ suy hao (loss) của mô hình; bài báo đề xuất cần theo dõi năng lực tính toán mang thông tin $C_{info}$, tức tổng năng lực tính toán thực sự dành cho các tương tác có giá trị cao. Giả thuyết: Khi mô hình mạnh hơn, $\rho_u$ (tỷ lệ tương tác hữu ích) sẽ suy giảm dần, giải thích cho hiện tượng hiệu suất cận biên giảm dần. Trong điều kiện lý tưởng, đường cong mở rộng quy mô khi dùng tương tác có điều kiện tương đương với việc dịch chuyển đường cong gốc sang trái. Trở ngại lớn nhất: Sai lệch nhãn có chọn lọc (Censoring) System-1 quyết định tương tác nào được thực thi; chỉ những tương tác được chấp thuận mới có phản hồi kết quả thực tế để huấn luyện System-1; các tương tác bị loại bỏ sẽ không có giá trị thực nghiệm. Dẫn đến vòng luẩn quẩn: System-1 đánh giá không hữu ích $\rightarrow$ không thực thi $\rightarrow$ không bao giờ nhận được giá trị thực của tác vụ $\rightarrow$ System-1 không thể học cách khắc phục sai sót này. > Giải pháp: Lấy mẫu kiểm toán, bắt buộc thực thi một phần nhỏ tác vụ bị loại; sử dụng phương pháp tính trọng số xác suất nghịch đảo để điều chỉnh sai lệch. Một số vấn đề mở Đo lường đường cong suy giảm thực tế của $\rho_u$ là thực nghiệm quan trọng nhất; Tỷ lệ phân bổ năng lực tính toán tối ưu giữa System-1 và System-2; Môi trường đa tác tử, nơi giá trị tương tác phụ thuộc vào niềm tin liên kết của nhiều tác tử; Sự cân bằng giữa khám phá (exploration) và khai thác (exploitation). Diễn giải khái quát Nghiên cứu về mở rộng quy mô hiện nay chỉ tập trung vào việc "đã tiêu tốn bao nhiêu năng lực tính toán của chip xử lý đồ họa". Bài báo chỉ ra điều đó là chưa đủ, cần xem xét lượng tài nguyên thực sự dùng cho các tác vụ hữu ích. Khi mô hình ngày càng hoàn thiện, số lượng tác vụ đáng để học tập sẽ ít dần đi, $\rho_u$ giảm xuống, đây chính là một trong những nguyên nhân dẫn đến hiệu suất giảm dần. Trở ngại lớn nhất: Với các tác vụ bị bộ lọc loại bỏ, hệ thống sẽ không bao giờ biết được giá trị thực tế của chúng. Nếu bộ lọc nhận định sai là tác vụ không hữu ích, tác vụ đó sẽ vĩnh viễn không được thực thi và hệ thống sẽ không bao giờ