Auto-itera – công cụ thử nghiệm tự động cho các quyết định kỹ thuật AI

🧪 auto-itera Công cụ thử nghiệm tự động cho các quyết định kỹ thuật AI. Xác định mục tiêu. Cung cấp các ứng viên. Nhận lại phán quyết chấp thuận hoặc loại bỏ có cơ sở trong vài giờ – được lấy từ dữ liệu sản xuất thực tế, chấm điểm song song trên các nhánh, lặp lại nhanh chóng một cách kỷ luật và được phê duyệt trên một bộ thử nghiệm đã niêm phong. Từ thử nghiệm thủ công đến tìm kiếm khoa học tự động Mọi nhóm phát triển sản phẩm LLM đều phải đối mặt với những quyết định như sau: Tối ưu hóa lời nhắc (prompt optimization) – lời nhắc hệ thống mới có thực sự tốt hơn lời nhắc hiện tại không? Lựa chọn mô hình – Sonnet, Haiku hay Opus cho bước này? Chiến lược truy xuất – BM25, dense hay hybrid trên các truy vấn thực tế của khách hàng? Điều chỉnh quy trình làm việc – điều phối một lần gọi hay hai lần gọi; đồng bộ hay xếp hàng? Thử nghiệm kiến trúc – việc thêm một LLM định tuyến có hữu ích hay chỉ làm tăng độ trễ? Hiện nay, hầu hết các nhóm trả lời những câu hỏi này dựa trên cảm tính, so sánh trực quan hoặc các sổ ghi chép mà họ đã âm thầm điều chỉnh hệ thống. auto-itera tự động hóa phiên bản nghiêm ngặt của công việc này: bạn nêu mục tiêu, cung cấp các ứng viên và vòng lặp sẽ chạy đến một phán quyết mà bạn có thể bảo vệ trong quá trình xem xét mã. Vòng lặp Bạn cung cấp (3 đầu vào): Mục tiêu – câu hỏi bạn muốn được trả lời ("prompt-v2 có tốt hơn v1 trong phân loại không?") Các ứng viên – các nhánh cụ thể để so sánh (một đường cơ sở + 1–3 lựa chọn thay thế) Ngưỡng – kích thước hiệu ứng đã đăng ký trước + ngưỡng mất mát trên mỗi phân đoạn ("chấp thuận nếu tổng hợp ≥5pp VÀ không có phân đoạn nào giảm >2pp") auto-itera chạy (5 giai đoạn tự động): Nguồn – lấy mẫu dữ liệu sản xuất thực tế, phân tầng theo đối tượng/lớp, chia thành tập huấn luyện / phát triển / thử nghiệm đã niêm phong Chấm điểm – chạy đường cơ sở + mọi nhánh song song trên tập phát triển, với đường cơ sở phương sai (≥3 lần thử) + kiểm tra tính hợp lệ chéo Chẩn đoán – so sánh từng hàng với đường cơ sở, xác định thắng/thua theo cụm, đưa ra giả thuyết cho thay đổi tiếp theo Lặp lại – chạy nhanh tối đa 3 lần lặp dựa trên giả thuyết, sau đó là một cổng tổng quát hóa loại bỏ việc ghi nhớ tập phát triển. Tiếp tục hoặc khóa. Phán quyết – MỘT lần chạy trên tập thử nghiệm đã niêm phong. Điểm trên mỗi phân đoạn. Chấp thuận / giới hạn phạm vi / loại bỏ – với tài liệu kết luận và ba biểu đồ chất lượng xuất bản. Đầu ra: một tài liệu kết luận dài một trang nhúng các hình ảnh biểu đồ thanh, biểu đồ rừng và số liệu chi phí so với độ chính xác, cùng với danh sách kiểm tra tự kiểm toán kỷ luật. Mã nguồn là thứ có thể bỏ đi; kết luận là thứ tích lũy. Giới hạn kỳ vọng trung thực auto-itera tự động hóa việc thực hiện thử nghiệm + lặp lại. Các tiêu chí đánh giá vẫn thuộc về bạn, theo thiết kế. Bạn cung cấp (3 đầu vào đã đăng ký trước): Các nhánh ứng viên – các lời nhắc / mô hình / chiến lược cụ thể để so sánh Chỉ số + người đánh giá – điều gì được coi là "tốt hơn" và ai chấm điểm Ngưỡng + ngưỡng mất mát trên mỗi phân đoạn – điều gì được coi là "đáng để chấp thuận" auto-itera tự động thiết kế và chạy (mọi thứ khác): Chiến lược lấy mẫu + phân chia tập huấn luyện/phát triển/thử nghiệm được điều chỉnh theo ngưỡng hiệu ứng của bạn Chấm điểm song song với đường cơ sở phương sai + kiểm tra tính hợp lệ chéo Chẩn đoán từng hàng, chạy nhanh dựa trên giả thuyết, cổng tổng quát hóa Chạy thử nghiệm đã giữ lại + phán quyết trên mỗi phân đoạn + tài liệu kết luận Sự phân chia này là có chủ ý, không phải là một lỗ hổng về khả năng. Một chỉ số mà hệ thống tự chọn là một chỉ số mà hệ thống có thể trôi dạt về phía đó – để người đánh giá tự thiết kế tiêu chí chấm điểm của mình là cách các nhóm vô tình đạt được +12% điểm chuẩn nhưng lại giảm 8% trong sản xuất. Việc đăng ký trước là kỷ luật giúp phán quyết đáng tin cậy. Hãy coi đây là một công cụ chạy thử nghiệm tự động, không phải là một nhà khoa học AI tự động phát minh ra giả thuyết VÀ chấm điểm nó. Tại sao lại là một vòng lặp chạy nhanh và tổng quát hóa Lựa chọn thiết kế thú vị nhất nằm ở giai đoạn 7. Việc "lặp lại cho đến khi trông tốt hơn" một cách ngây thơ sẽ tối ưu hóa tập dữ liệu phát triển (dev set) – mọi cải tiến không vượt qua được thử nghiệm trên tập dữ liệu kiểm tra (held-out test) đều là sự quá khớp (overfitting) được ngụy trang. Quy tắc cứng nhắc "dừng lại sau 3 lần lặp" ngăn chặn điều đó, nhưng cũng cản trở việc khám phá sâu hơn một cách hợp lý. auto-itera dung hòa hai cách tiếp cận này: lặp lại × tối đa 3 lần ↓ cổng tổng quát hóa (generalization gate) ↓ ├── mọi thay đổi đều là một cơ chế phổ quát (hoặc được nâng cấp thành một cơ chế phổ quát) → bắt đầu đợt chạy nước rút tiếp theo ├── tín hiệu phát triển đã bão hòa → khóa và chạy thử nghiệm └── các thay đổi chủ yếu là mã hóa cứng "nếu đầu vào X trả về Y" → loại bỏ nhánh này Số 3 trong một đợt chạy nước rút là giới hạn bộ nhớ làm việc (con người không thể đáng tin cậy gán kết quả cho hơn khoảng 3 giả thuyết được chỉnh sửa đồng thời). Cổng giữa các đợt chạy nước rút phân tách quá trình lặp lại có nguyên tắc (tìm kiếm các cơ chế sâu hơn) khỏi việc ghi nhớ tập dữ liệu phát triển (thêm các quy tắc thắng các hàng cụ thể nhưng sẽ không vượt qua được thử nghiệm). Hầu hết các quyết định hội tụ trong 1–2 đợt chạy nước rút. Sau 3 đợt chạy nước rút, ưu tiên chuyển sang "cổng đang không phát hiện được việc ghi nhớ tập dữ liệu phát triển" – động thái đúng đắn là kiểm tra cổng, chứ không phải tiếp tục lặp lại. Các biện pháp bảo vệ — 22 cách auto-itera từ chối lừa dối bạn Tính tự chủ mà không có sự trung thực là một kết quả tồi tệ hơn so với các đánh giá dựa trên cảm tính – ít nhất cảm tính không giả vờ là khoa học. auto-itera đi kèm với 22 biện pháp bảo vệ rõ ràng ngăn chặn các động thái cụ thể trông có vẻ hợp lý nhưng làm sai lệch phán quyết. Năm chế độ lỗi thực tế, rút ra từ các sản phẩm AI thực tế đã được triển khai và bị thoái hóa: Những gì nhóm sẽ triển khai Những gì auto-itera đã phát hiện "Prompt v3 tăng 12% trong đánh giá. Triển khai thôi." "Cải thiện" đến từ các hàng mà kỹ sư đã đọc trong quá trình gỡ lỗi. Tập dữ liệu kiểm tra bị nhiễm bẩn. Sản phẩm thực tế giảm 8%. "GPT-4o đã đánh bại Claude trong đánh giá 50 hàng của chúng tôi." Đánh giá quá nhỏ. Khoảng cách là 5 điểm phần trăm (pp), nhiễu nội bộ là 4pp. Không phải là tín hiệu thực sự. "Độ chính xác tổng hợp tăng 6pp trên tất cả khách hàng." Một phân khúc khách hàng lớn bị giảm -8pp. Người chiến thắng tổng hợp không phải là người chiến thắng khi một phân khúc lớn bị thua. "Thử nghiệm tốt nhất trong 5 lần: độ chính xác 91%." Trung bình là 84% ± 4pp. "Tốt nhất trong N" bị thiên lệch cao khoảng ~√log N. "Tiêu chí mới cuối cùng đã nắm bắt được điều quan trọng." Tiêu chí đã được viết lại sau khi xem điểm số. Nó tình cờ ủng hộ nhánh mà họ muốn thắng. Mỗi trường hợp là một mô hình phản tác dụng cụ thể với một biện pháp bảo vệ cụ thể. Các biện pháp bảo vệ khác bao gồm niêm phong tập dữ liệu kiểm tra được giữ lại, các chỉ số đã đăng ký trước, kiểm tra nhiễu sàn phương sai, cổng tổng quát hóa, kiểm tra tính hợp lý chéo của người đánh giá và sàn thua lỗ trên mỗi phân khúc. Danh sách đầy đủ – cùng với bảng "Lý giải phổ biến" liệt kê các lý do mà các kỹ sư thường đưa ra...