Cách thức hoạt động của tính năng thủy vân văn bản của Claude

Sau đây là minh họa ngắn gọn về cách thức hoạt động của công nghệ thủy vân (watermarking) của Claude (dựa trên các tài liệu đã công bố). Thông thường, khi chúng ta tạo ra các token, có thể có nhiều token đạt điểm cao tại một số vị trí từ tiếp theo. Chúng ta thường lấy mẫu bằng phương pháp top-k hoặc top-p để token có điểm cao nhất thường được chọn (nếu lặp lại việc lấy mẫu nhiều lần), nhưng các token khác cũng có thể được chọn. Với công nghệ thủy vân, có một khóa quy định token nào trong số các token đạt điểm cao nhất (lý tưởng là ngang nhau) sẽ được chọn. Cụ thể hơn, khóa bí mật và token trước đó sẽ ảnh hưởng đến tính ngẫu nhiên ở đây. Nếu lặp lại quá trình này tại nhiều vị trí token, điều này sẽ tạo ra thủy vân, vì nó sẽ là một mẫu có khả năng thống kê khó xuất hiện theo cách khác (do tính tổ hợp). Nói tóm lại, có thể coi kỹ thuật thủy vân này là việc sử dụng các hạt giống ngẫu nhiên cụ thể tại các vị trí nhất định theo một khóa bí mật. Về lý thuyết, điều này không làm cho văn bản được tạo ra kém chất lượng hơn vì về cơ bản nó chỉ thay đổi hạt giống ngẫu nhiên, nhưng nó làm cho văn bản có thể "truy vết". Hình 1. Minh họa việc lấy mẫu token có và không có thủy vân, tiếp theo là ví dụ về cách các lựa chọn token phụ thuộc vào khóa lặp lại tạo ra một mẫu có thể phát hiện được. Tất nhiên, thủy vân này có thể bị loại bỏ bằng cách chỉnh sửa và diễn đạt lại ở mức độ vừa phải đến nghiêm trọng thông qua một mô hình ngôn ngữ lớn (LLM) khác không sử dụng thủy vân. Tuy nhiên, điều này có thể làm cho văn bản kém chất lượng hơn vì nó sẽ yêu cầu thực hiện một số thay đổi đối với văn bản bằng cách thay thế các từ (vì chúng ta không biết các vị trí có thủy vân, một công cụ loại bỏ thủy vân hiệu quả sẽ phải chỉnh sửa nhiều vị trí). Một điều tôi băn khoăn là: Về cơ bản, họ nói rằng họ PHẢI làm điều này cho tất cả mọi người do quy định của EU. Tại sao? Chắc chắn rồi, nhưng đây là một kỹ thuật tại thời điểm suy luận không yêu cầu đào tạo lại hoặc đào tạo một mô hình riêng biệt, vậy nếu muốn, họ có thể chỉ làm điều đó cho người dùng EU? Chỉnh sửa: Ai đó đã chỉ ra cho tôi: Để trả lời câu hỏi của bạn về lý do tại sao điều này không chỉ áp dụng cho người dùng EU: Anthropic là nhà cung cấp và thuộc phạm vi Đạo luật AI của EU vì họ cung cấp Claude trên thị trường EU (Điều 2) và các sản phẩm đầu ra của họ có thể có trụ sở tại EU. Điều đó có nghĩa là nghĩa vụ tuân thủ quy định về tính minh bạch (Điều 50) thuộc về nhà cung cấp. Tại thời điểm tạo ra, Anthropic không thể biết các sản phẩm đầu ra sẽ được sử dụng ở đâu. Cách đáng tin cậy duy nhất để tuân thủ luật pháp là đánh dấu văn bản trong quá trình tạo ra và thực hiện điều đó trên toàn cầu thay vì phân đoạn theo người dùng hoặc địa điểm. Phản biện của tôi là: Tuy nhiên, nhìn chung, tôi thấy quy định này rất nghiêm ngặt. Ví dụ, tôi đang nghĩ đến một kịch bản mà một nhà sản xuất dược phẩm không thể sản xuất và cung cấp loại thuốc đó cho bệnh nhân ở Hoa Kỳ vì ai đó có thể xuất khẩu nó sang EU nơi nó chưa được phê duyệt. Tức là, trong trường hợp này, người xuất khẩu có nên chịu trách nhiệm pháp lý thay vì nhà sản xuất không? Nguồn: phiên bản trang web của ghi chú Substack của tôi.