Xây dựng một tác nhân hỗ trợ tiếp cận có mục đích chung—và những điều chúng tôi đã học được trong quá trình này

Sẽ là thiếu thuyết phục khi nói rằng các tác nhân đã trở thành một cách phổ biến để làm việc với mã. GitHub đã áp dụng tính năng tạo và chỉnh sửa mã dựa trên tác nhân cho nhiều sáng kiến ​​của mình, bao gồm cả việc thử nghiệm một tác nhân để hỗ trợ cam kết của chúng tôi về khả năng tiếp cận. GitHub hiện đang thử nghiệm một tác nhân trợ năng đa năng thử nghiệm để đạt được hai mục tiêu chính: Cung cấp cho các kỹ sư những câu trả lời đáng tin cậy, kịp thời cho các câu hỏi về khả năng tiếp cận trong GitHub Copilot CLI và tích hợp Copilot VS Code. Nắm bắt và tự động khắc phục các sự cố tiếp cận đơn giản, khách quan trước khi đưa vào sản xuất. Đối với mục đích số hai, tác nhân trợ năng được thiết lập để tự động đánh giá các thay đổi sửa đổi mã giao diện người dùng của chúng tôi. Đến nay, đại lý đã xem xét 3.535 yêu cầu kéo, với tỷ lệ giải quyết là 68%. Theo thứ tự xảy ra, năm loại vấn đề hàng đầu xoay quanh: Làm rõ cấu trúc và mối quan hệ với các công nghệ hỗ trợ Cung cấp tên rõ ràng và ngắn gọn cho các điều khiển tương tác Đảm bảo người dùng biết các thông báo quan trọng Đảm bảo có các lựa chọn thay thế văn bản cho nội dung phi văn bản Di chuyển tiêu điểm bàn phím qua các trang và chế độ xem theo thứ tự hợp lý Mỗi loại vấn đề này đều thể hiện sự xích mích và các rào cản được tự động loại bỏ mà lẽ ra sẽ hạn chế việc sử dụng GitHub đối với những người sử dụng và dựa vào công nghệ hỗ trợ. Đây là một ảnh chụp màn hình của nó đang hoạt động: Quan tâm? Chúng tôi sẽ phác thảo những thành công và bài học rút ra từ thử nghiệm này, với hy vọng rằng nó có thể giúp ích cho hành trình tiếp cận của các nhóm khác. LLM và đại lý là gì? Lưu ý: Bài đăng này giả định ít nhất một số hiểu biết về LLM, tác nhân và các khái niệm liên quan của chúng. Nếu chưa quen, bạn có thể tìm hiểu thêm về LLM trên blog của chúng tôi. Một số bài viết cụ thể bạn có thể thấy hữu ích là: Hướng dẫn quyết định sử dụng mô hình AI nào trong GitHub Copilot GitHub dành cho người mới bắt đầu: Cách khiến LLM làm được điều bạn muốn Cách viết một Agent.md tuyệt vời: Bài học từ hơn 2.500 kho lưu trữ Quy trình làm việc đa tác nhân thường thất bại. Đây là cách thiết kế những cái không có. Tư duy Mô hình xã hội về khuyết tật dạy chúng ta rằng các rào cản tiếp cận—và hậu quả là sự suy giảm khả năng—có thể được tạo ra do cách xây dựng môi trường. Suy nghĩ tương tự cũng áp dụng cho trải nghiệm kỹ thuật số. Với tác nhân hỗ trợ tiếp cận, chúng tôi không cố gắng “giải quyết” khả năng tiếp cận một cách riêng biệt. Thay vào đó, chúng tôi đang cố gắng tăng cường nỗ lực của các đồng nghiệp để giúp họ loại bỏ tốt hơn các rào cản có thể được tạo ra do cách chúng tôi xây dựng giao diện người dùng của GitHub. Tác nhân hỗ trợ tiếp cận không phải là “viên đạn bạc” có thể tự động giải quyết mọi tình huống giả định. Hiểu, tôn trọng và xã hội hóa điều này tốt hơn sẽ giúp thiết lập phạm vi trách nhiệm của đại lý. Điều này đã đẩy nhanh quá trình triển khai thử nghiệm, dẫn đến nỗ lực được đầu tư nhiều hơn. Những nỗ lực trong quá khứ Đạo luật tiếp cận châu Âu hiện đang có hiệu lực. Tiêu đề II của Đạo luật Người khuyết tật Hoa Kỳ được thiết lập để thiết lập cuộc họp WCAG 2.1 AA như định nghĩa pháp lý được thực hiện vào tháng 4 năm 2027. Các đại lý LLM có thể đọc và thực hiện hành động trên cây khả năng tiếp cận. Nói một cách rõ ràng: Các tổ chức sẽ gặp bất lợi nếu họ chưa đầu tư vào việc xác định và khắc phục các vấn đề về khả năng tiếp cận theo cách thủ công. Có nhiều lý do cho việc này, bao gồm cả việc xây dựng một tác nhân hỗ trợ tiếp cận. Đến thời điểm đó, GitHub đã có sẵn một hệ thống hoàn thiện để ghi lại các vấn đề về khả năng truy cập cũng như xác minh các bản sửa lỗi cho các vấn đề đang hoạt động như dự kiến. Điều này bao gồm: Mẫu có cấu trúc để báo cáo sự cố Các bước để tái tạo vấn đề Lớp siêu dữ liệu phong phú về mức độ nghiêm trọng của sự cố, khu vực dịch vụ và tiêu chí thành công WCAG hiện hành Liên kết chéo đến Yêu cầu kéo giải quyết vấn đề Tiêu chí chấp nhận Ngoài ra, tất cả các vấn đề đều được tập trung vào một kho lưu trữ duy nhất. Mặc dù nỗ lực ghi nhật ký sự cố này có trước sự bùng nổ về mức độ phổ biến của công cụ LLM, nhưng tính chất có cấu trúc và tính nhất quán cao của nó đã khiến nó trở thành kho nội dung lý tưởng để tác nhân trợ năng tham khảo. Vì lý do này, chúng tôi đã hướng dẫn nhân viên điều tra những vấn đề này để xem liệu có đoạn mã và ngôn ngữ liên quan nào mà nó có thể ngoại suy hay không. Đây là một lĩnh vực mà hành vi “khớp mờ” không xác định của LLM đóng vai trò như một tài sản hơn là một khoản nợ có thể có. Vàng cũ Giống như bất kỳ lĩnh vực chuyên môn nào khác, những hướng dẫn mơ hồ trong hồ sơ kỹ năng sẽ không hiệu quả. Yêu cầu LLM “sử dụng các phương pháp hay nhất về khả năng truy cập” bằng một danh sách ngắn các ví dụ sẽ không hiệu quả. Khi tạo mã, LLM có một khuynh hướng đáng tiếc là tạo ra các phản mẫu có khả năng truy cập vì mọi LLM chính hiện có đều được đào tạo về mã không thể truy cập được trong nhiều thập kỷ. Để chống lại điều này, tác nhân cần có nội dung tốt hơn để rút ra. Vì vậy, tôi nhiệt tình khuyên bạn nên đầu tư vào việc lập danh mục thủ công và khắc phục các vấn đề về khả năng tiếp cận. Sau một số tiến bộ, dữ liệu này có thể được tích hợp vào tác nhân. Các vấn đề và yêu cầu kéo tương ứng của chúng cung cấp các ví dụ có tính ngữ cảnh cao để LMM tham khảo, được viết bằng cách sử dụng các quy ước do tổ chức mà nó được triển khai thiết lập. Tập hợp các vấn đề và mã này cho đến nay là một trong những tài sản mạnh nhất mà tác nhân rút ra. Tiêu thụ token hiệu quả Khả năng truy cập là mối quan tâm toàn diện, giao thoa với mã, thiết kế, viết quảng cáo và nhiều nguyên tắc khác liên quan đến việc tạo giao diện người dùng. Rất nhiều công việc về khả năng tiếp cận cũng mang tính bối cảnh cao, nghĩa là ai đó thường cần bức tranh toàn cảnh về vấn đề trước khi họ có thể đưa ra lời khuyên thích hợp về những việc cần làm. Do hai yếu tố này, tác nhân trợ năng đa năng có thể sử dụng rất nhiều mã thông báo khi thực hiện công việc. Điều này có ba kết quả tiêu cực: Lượng đầu ra không đáng tin cậy tăng lên Thời gian phản hồi chậm hơn Tăng chi phí hoạt động Nó &