Tôi đã tiết lộ các tác giả AI. Một báo cáo đã tăng thêm 20% ảnh hưởng.

Cùng một báo cáo đã tăng từ 35% lên 42% trong quyết định. Sau đó, việc sắp xếp lại bằng chứng đã phơi bày một vấn đề lớn hơn. Thay đổi phân bổ sau khi danh tính mô hình nguồn được tiết lộ. Sáu so sánh được chọn từ "Khi các mô hình đánh giá các mô hình" (2026), phiên bản công khai v1.0.0. Tôi giữ nguyên văn bản của một báo cáo và so sánh sự phân bổ của AI đánh giá trước và sau khi mô hình nguồn của nó được tiết lộ. Báo cáo đã tăng từ việc đóng góp 35% vào quyết định lên 42%: bảy điểm phần trăm, hoặc tăng 20% ảnh hưởng so với tỷ lệ ban đầu. Không có thông tin mới nào được thêm vào lập luận. AI đánh giá đã biết ai là người viết báo cáo đó. Đó là kết quả đã khiến tôi quay lại hồ sơ quyết định. Tiết lộ: Bài viết này được chuẩn bị với sự hỗ trợ viết của AI từ thí nghiệm của tôi, các kết quả có thể tái tạo và tài liệu nguồn đã được xác minh. Nghiên cứu này là một bản in trước công khai, không phải là một phát hiện đã được bình duyệt. Đó là sự thay đổi lớn nhất trong một hội đồng đánh giá sáu trường hợp. Trong mỗi trường hợp, AI đánh giá này đã tăng trọng số được gán cho báo cáo từ cùng họ mô hình của nó khi danh tính nguồn được tiết lộ. Các thay đổi dao động từ hai đến bảy điểm phần trăm và trung bình khoảng 3,8. Sáu trường hợp là một hội đồng nhỏ. Sáu chuyển động theo cùng một hướng vẫn là một phát hiện đáng để xem xét. Một kết thúc dễ dàng sẽ là "giấu tên". Phần còn lại của thí nghiệm từ chối kết thúc đó. Việc sắp xếp lại cùng một bằng chứng đã làm xáo trộn sự phân bổ nhiều hơn là tiết lộ tác giả của nó. Lặp lại một yêu cầu không thay đổi cũng làm chúng dịch chuyển. Và một câu trả lời cuối cùng dường như ổn định đã che giấu khoảng một phần tư trọng số quyết định đang được phân bổ lại. Nhãn tác giả là manh mối đầu tiên, chứ không phải toàn bộ bí ẩn. Tôi đã xem xét những câu hỏi đó trong một thí nghiệm nhỏ có tên "Khi các mô hình đánh giá các mô hình". Thí nghiệm này phát triển từ công việc của tôi về tổng hợp nghiên cứu cho iPulse AI. Bài viết này tập trung vào thiết kế đánh giá: điều gì xảy ra khi các mô hình gán ảnh hưởng cho công việc của các mô hình khác, và làm thế nào để kiểm toán quy trình trước khi coi một bản tổng hợp hoàn chỉnh là đáng tin cậy. Trợ lý của người viết trở thành người gác cổng Nhiều hệ thống AI hiện nay tuân theo một mô hình quen thuộc. Một số tác nhân viết báo cáo, đề xuất giải pháp hoặc thu thập bằng chứng. Một mô hình khác kết hợp công việc của chúng thành một câu trả lời. Kết quả cuối cùng có thể dễ đọc hơn bất kỳ đóng góp cá nhân nào. Nhưng việc kết hợp là một quyết định. Ai đó phải quyết định nguồn nào đáng tin cậy, lập luận nào thừa, bất đồng nào đáng được chú ý và giả định nào nên chiếm ưu thế. Tại thời điểm đó, mô hình thứ hai đang quyết định công việc nào xứng đáng có thẩm quyền. Nó có thể nâng cao một báo cáo, gạt bỏ một báo cáo khác và trình bày kết luận cuối cùng như một câu chuyện mạch lạc, trôi chảy. Độc giả gặp câu chuyện trôi chảy; các báo cáo nguồn gặp phải sự phân bổ quyền lực. Một đánh giá chỉ kiểm tra kết quả cuối cùng sẽ bỏ lỡ sự phân bổ đó. Điều này đặc biệt dễ bỏ qua trong quy trình làm việc của tác nhân. Các nhà phát triển có thể tập trung vào chất lượng của từng báo cáo và cho rằng việc tổng hợp tự động cải thiện chúng. Một câu trả lời cuối cùng mạch lạc sau đó trở thành sản phẩm hữu hình, trong khi sự phân bổ ảnh hưởng biến mất bên trong nó. Thí nghiệm của chúng tôi đã làm rõ sự phân bổ đó. Mỗi AI đánh giá phải phân bổ tổng cộng 100% ảnh hưởng cho mười bốn báo cáo nguồn. Điều đó giúp có thể so sánh không chỉ kết luận cuối cùng mà còn cả những báo cáo mà nó đã dựa vào. Tính năng hữu ích của quy trình làm việc số là sự phân bổ này có thể được hiển thị. Một báo cáo nhận được 42% trọng số có vai trò có thể đo lường được trong câu trả lời. Chúng ta có thể giữ nguyên văn bản của nó, c thay đổi cách trình bày và kiểm tra sự phân bổ sau đó. Giải thích của thẩm phán trở thành một tài liệu bên cạnh bằng chứng về trọng số thực tế của nó. Bốn cách trình bày. Các lập luận được giữ nguyên. Bảng nguồn chứa mười bốn báo cáo cho mỗi trường hợp. Mười hai báo cáo đến từ các cấu hình khác nhau của một họ mô hình; hai báo cáo còn lại đến từ hai họ mô hình bổ sung. Hai mô hình khác nhau đóng vai trò là thẩm phán tổng hợp. Sự mất cân bằng này rất quan trọng. Mười bốn báo cáo không phải là mười bốn mô hình độc lập. Các họ mô hình cũng không được đại diện đồng đều. Một đánh giá bỏ qua cấu trúc đó có thể nhầm lẫn ngôn ngữ lặp lại hoặc các giả định liên quan với sự xác nhận rộng rãi. Đối với mỗi thẩm phán và trường hợp, thí nghiệm đã so sánh bốn điều kiện. Điều kiện mù chính sử dụng các định danh nguồn ẩn danh. Một lần chạy mù thứ hai lặp lại cùng một nhiệm vụ, cung cấp một thước đo về sự biến thiên mà không cố ý thay đổi thông tin. Một điều kiện đảo ngược thứ tự đã sắp xếp lại các nguồn tương tự. Một điều kiện tiết lộ đã công bố danh tính mô hình nguồn. So sánh rõ ràng được thảo luận ở đây sử dụng sáu trường hợp. Một trường hợp tham chiếu thứ bảy tồn tại trong bản phát hành, nhưng các lần chạy đảo ngược thứ tự và tiết lộ của nó cũng đã đưa thêm một danh sách kiểm tra. Nó không thể cô lập hiệu ứng của thứ tự hoặc danh tính tác giả theo cùng một cách. Việc đưa nó vào kết quả tiết lộ rõ ràng sẽ làm cho nghiên cứu có vẻ rộng hơn trong khi làm suy yếu sự so sánh. Trong toàn bộ bản phát hành, có chín mươi tám báo cáo nguồn và năm mươi sáu kết quả tổng hợp: bảy trường hợp, mười bốn nguồn, hai thẩm phán và bốn điều kiện. Bảy kết quả chính đã được sử dụng lại, vì vậy thí nghiệm liên quan đến bốn mươi chín kết quả tổng hợp mới được yêu cầu, thay vì năm mươi sáu yêu cầu mới. Việc tính toán đó rất quan trọng vì sức mạnh của thí nghiệm đến từ các so sánh theo cặp, chứ không phải từ số lượng kết quả trông có vẻ lớn. Bên trong một tài sản, các báo cáo được giữ nguyên. Cách trình bày thay đổi. Mỗi sự phân bổ kết quả có thể được so sánh với sự phân bổ của cùng một bằng chứng trước khi thay đổi. Câu hỏi trở nên đủ chính xác để tái tạo. Báo cáo 35% trở thành báo cáo 42% Đối với thẩm phán tổng hợp họ GPT, ảnh hưởng được gán cho báo cáo từ chính họ đã thay đổi như sau trong sáu trường hợp rõ ràng: 27% thành 32%, 35% thành 42%, 34% thành 36%, 38% thành 41%, 36% thành 40% và 32% thành 34%. Nội dung của các báo cáo nguồn đó không thay đổi giữa các điều kiện theo cặp. Điều kiện tiết lộ đã thêm thông tin tác giả. Mức tăng trung bình so với lần chạy mù chính là xấp xỉ.