Cách AI xây dựng câu trả lời: Mã thông báo, ngữ cảnh và dự đoán

Bạn đặt câu hỏi cho một trợ lý AI. Một lát sau, câu trả lời bắt đầu xuất hiện từng từ một. Điều này có thể tạo cảm giác như AI đã hiểu câu hỏi của bạn, tìm kiếm trong bộ nhớ, hình thành ý kiến và sau đó viết phản hồi. Tuy nhiên, quá trình thực tế lại khác – và việc hiểu rõ điều này sẽ giúp bạn sử dụng AI hiệu quả hơn. Về cơ bản, một mô hình ngôn ngữ lớn là một hệ thống dự đoán. Nó xử lý đầu vào của bạn và dự đoán token tiếp theo nên là gì. Sau đó, nó lặp lại quá trình đó, từng token một, cho đến khi hoàn thành phản hồi. Nghe có vẻ đơn giản. Nhưng cơ chế đằng sau những dự đoán đó thì không. Bước 1: Lời nhắc của bạn trở thành các token Một mô hình AI không đọc văn bản chính xác như cách bạn đọc. Trước khi xử lý lời nhắc của bạn, nó chia văn bản thành các đơn vị nhỏ hơn gọi là token. Một token có thể là: Một từ hoàn chỉnh Một phần của từ Dấu câu Một đoạn văn bản nhỏ khác Cách chia chính xác phụ thuộc vào mô hình và bộ mã hóa (tokenizer) của nó. Do đó, một câu ngắn có thể sử dụng nhiều token hơn số từ hiển thị. Tại sao điều này lại quan trọng? Các mô hình có giới hạn ngữ cảnh được đo bằng token, và việc mã hóa ảnh hưởng đến lượng thông tin có thể chứa trong một cuộc hội thoại. Nó cũng giúp giải thích tại sao các lỗi chính tả bất thường, tài liệu dài và ngôn ngữ chuyên ngành cao đôi khi khó để mô hình xử lý hơn. Bước 2: Mô hình sử dụng ngữ cảnh Mô hình chuyển đổi các token thành các biểu diễn số và xử lý các mối quan hệ giữa chúng. Một cơ chế gọi là "sự chú ý" (attention) giúp nó đánh giá phần nào của ngữ cảnh có sẵn quan trọng cho dự đoán tiếp theo. Nếu bạn hỏi: “Giải thích quá trình quang hợp cho một đứa trẻ 10 tuổi bằng ba gạch đầu dòng.” Mô hình nhận được một số tín hiệu hữu ích: Chủ đề là quang hợp Đối tượng là một đứa trẻ 10 tuổi Lời giải thích nên đơn giản Định dạng nên gồm ba gạch đầu dòng Một lời nhắc mơ hồ cung cấp ít tín hiệu hữu ích hơn. Một lời nhắc cụ thể thu hẹp phạm vi các câu trả lời chấp nhận được. Bước 3: Nó dự đoán token tiếp theo Sau khi xử lý ngữ cảnh, mô hình gán xác suất cho các token tiếp theo có thể có. Ví dụ, sau văn bản “Thủ đô của Pháp là,” token đại diện cho “Paris” sẽ nhận được xác suất cao. Mô hình chọn một token tiếp theo theo cấu hình của nó, thêm token đó vào ngữ cảnh và dự đoán lại. Chu trình này tiếp tục nhanh chóng: Ngữ cảnh → dự đoán → token tiếp theo → ngữ cảnh được cập nhật → một dự đoán khác Câu trả lời hiển thị được tạo ra tuần tự. Mô hình không đơn thuần lấy một đoạn văn hoàn chỉnh từ một tủ hồ sơ ẩn. Dự đoán không có nghĩa là sao chép-dán Việc gọi AI là một hệ thống dự đoán có thể khiến nó nghe giống như tính năng tự động hoàn thành nâng cao. So sánh đó hữu ích, nhưng chưa đầy đủ. Trong quá trình huấn luyện, một mô hình lớn học các mẫu thống kê liên quan đến ngôn ngữ, khái niệm, phong cách, cấu trúc và mối quan hệ từ lượng dữ liệu khổng lồ. Những mẫu đã học đó cho phép nó tạo ra các kết hợp có thể không xuất hiện từng từ một trong tài liệu huấn luyện của nó. Các trợ lý AI hiện đại cũng có thể được cải thiện thông qua huấn luyện hậu kỳ, các kỹ thuật suy luận chuyên biệt, hệ thống truy xuất, máy tính, thực thi mã, tìm kiếm web và các công cụ khác. Dự đoán token tiếp theo là nền tảng của việc tạo văn bản – không phải là mô tả đầy đủ mọi tính năng trong một sản phẩm AI hiện đại. Tại sao một câu trả lời trôi chảy vẫn có thể sai Nhiệm vụ tức thời của mô hình là tạo ra một phần tiếp theo hợp lý. Tính hợp lý và sự thật không giống nhau. Nếu mô hình thiếu thông tin đáng tin cậy, hiểu sai ngữ cảnh hoặc tuân theo một khuôn mẫu sai lệch, nó có thể đưa ra một tuyên bố nghe có vẻ tự tin nhưng lại sai sự thật. Hiện tượng này thường được gọi là "ảo giác" (hallucination). Đó là lý do tại sao không bao giờ nên coi một văn bản được trau chuốt là bằng chứng. Các mô hình tốt hơn và quy trình làm việc có sự hỗ trợ của công cụ có thể giảm thiểu lỗi, nhưng chúng không loại bỏ nhu cầu xác minh – đặc biệt đối với thông tin y tế, pháp lý, tài chính, an toàn quan trọng hoặc có tính thời sự. Điều này thay đổi gì về việc ra lệnh (prompting) Khi đã hiểu cơ chế cơ bản, việc ra lệnh tốt hơn sẽ bớt bí ẩn hơn. Mục tiêu của người dùng là cung cấp ngữ cảnh giúp mô hình dễ dàng tạo ra câu trả lời mong muốn. Hãy thử bao gồm năm yếu tố: Mục tiêu (Goal): Mô hình nên tạo ra gì? Ngữ cảnh (Context): Mô hình cần thông tin nền tảng nào? Đối tượng (Audience): Câu trả lời dành cho ai? Ràng buộc (Constraints): Độ dài, định dạng, giọng văn hoặc giới hạn nào là quan trọng? Xác minh (Verification): Mô hình có nên trích dẫn nguồn, hiển thị tính toán hoặc nêu rõ sự không chắc chắn không? So sánh các lệnh sau: Lệnh yếu: “Giải thích lãi kép.” Lệnh mạnh hơn: “Giải thích lãi kép cho người mới bắt đầu trong không quá 150 từ. Sử dụng ví dụ về 1.000 USD kiếm được 5% hàng năm và hiển thị số dư sau năm thứ nhất và thứ hai. Giải thích cách tính toán và nêu rõ mọi giả định.” Lệnh mạnh hơn không chứa một cụm từ thần kỳ. Nó chỉ đơn giản là cung cấp ngữ cảnh tốt hơn và mục tiêu rõ ràng hơn. Mô hình tư duy hữu ích đơn giản nhất Hãy coi một trợ lý AI hiện đại là một hệ thống được xây dựng từ nhiều lớp có thể có: Các khuôn mẫu đã học + ngữ cảnh của người dùng + tạo từng token + lý luận và công cụ tùy chọn Nó không tự động là một cơ sở dữ liệu, công cụ tìm kiếm, nhà tiên tri hay trí óc con người. Đó là một hệ thống mạnh mẽ để tạo và chuyển đổi thông tin – và nó trở nên đáng tin cậy hơn khi người dùng cung cấp hướng dẫn rõ ràng và xác minh các tuyên bố quan trọng. Mô hình tư duy đó giải thích rất nhiều điều: tại sao cách diễn đạt thay đổi kết quả, tại sao ngữ cảnh quan trọng, tại sao câu trả lời khác nhau và tại sao sự tự tin không giống với sự chính xác. Phần nào của AI nên được AutoNomouS đơn giản hóa tiếp theo?