Liệu người sử dụng có đang chi trả cho các câu lệnh LLM vô ích?

Ngày 28/10/2026 · Thời gian đọc: 11 phút AI · Prompt Engineering · Đánh giá LLM Mở đầu Một quan niệm phổ biến trong cộng đồng LLM là chỉ dẫn mô hình “không được mắc lỗi”, với ngụ ý rằng việc định hướng cách thức xử lý của mô hình có thể cải thiện đáng kể kết quả cuối cùng. Theo xu hướng này, một quy tắc thường được trích dẫn trong kỹ thuật prompt engineering là giao cho mô hình một vai trò cụ thể1. Ví dụ: “Bạn là một chuyên gia vật lý. Hãy trả lời câu hỏi vật lý này.” Phương pháp này được gọi là kỹ thuật câu lệnh nhập vai (“persona” prompting). Mặc dù kỹ thuật nhập vai có thể phát huy tác dụng đối với phong cách phản hồi — ví dụ như việc yêu cầu một LLM đóng vai người tiền sử2 có thể làm giảm độ dài và độ phức tạp của câu trả lời — nhiều quan điểm vẫn mặc định rằng vai trò giả định cũng có thể nâng cao tính chính xác về mặt dữ liệu trong câu trả lời của mô hình. Cách đây hai tháng, tác giả đã kiểm chứng giả thuyết về kỹ thuật câu lệnh nhập vai trong một thử nghiệm quy mô nhỏ và công bố trên LinkedIn. Do kết quả cho thấy mức độ cải thiện gần như không đáng kể, tác giả quyết định mở rộng phạm vi thử nghiệm. Tuy nhiên, trước khi đi sâu vào thử nghiệm toàn diện, việc nhận diện những khoảng trống trong các nghiên cứu hiện nay về kỹ thuật câu lệnh nhập vai là điều cần thiết. Các nghiên cứu hiện có Ảnh hưởng của vai trò giả định đối với tính chính xác của dữ liệu đã được khảo sát trong các tài liệu học thuật. Trong báo cáo “Prompting Science Report 4: Playing Pretend”3, các nhà nghiên cứu đã thử nghiệm sáu mô hình ngôn ngữ trên hai bộ tiêu chuẩn đánh giá (benchmark) câu hỏi khoa học dạng trắc nghiệm. Kết quả cho thấy việc áp dụng vai trò chuyên gia mang lại rất ít hoặc không đem lại tác động đối với tính chính xác của câu trả lời, trong khi các vai trò có mức tri thức thấp — như “đóng vai một đứa trẻ mới biết đi” — lại làm giảm độ chính xác. Trong công trình “Scientific Agents:…”4, Timothy Kassis từ K-Dense đã đánh giá kho lưu trữ gồm 503 hồ sơ AGENTS.md chuyên biệt theo ngành nghề bằng mô hình Gemini 3.8 flash. Qua chín bộ benchmark dạng văn bản độc lập, Kassis nhận thấy độ chính xác trung bình không có sự cải thiện rõ rệt về mặt thống kê so với mức cơ sở, song các mô hình lại tiêu tốn lượng token đầu ra gấp từ 1,5 đến 2,3 lần. Báo cáo “When ‘A Helpful Assistant’ Is Not Really Helpful”5 cũng đưa ra kết quả tương tự, khi 162 vai trò áp dụng trên 2.410 câu hỏi không đem lại bất kỳ sự cải thiện đáng tin cậy nào về mặt hiệu năng. Nghiên cứu “Expert Personas Improve LLM Alignment but Damage Accuracy”6 chỉ ra rằng các vai trò có thể hữu ích trong việc nâng cao mức độ căn chỉnh an toàn nhằm tăng tỷ lệ từ chối phản hồi nguy hại, nhưng nhìn chung lại mang tính trung lập hoặc thậm chí làm tổn hại đến tính chính xác của dữ kiện, tùy thuộc vào từng mô hình và vị trí đặt prompt. Công trình “Principled Personas”7 khi khảo sát các vai trò trên nhiều quy mô mô hình khác nhau cũng kết luận: vai trò chuyên gia không mang lại sự cải thiện ngoại trừ một số trường hợp rất đặc thù, trong khi các vai trò không liên quan lại gây ra tác động tiêu cực đáng kể. Các tài liệu nghiên cứu hiện nay đều chỉ ra rằng kỹ thuật prompt với vai trò chuyên gia đem lại rất ít hoặc không có tác động tích cực, thậm chí trong một số trường hợp còn gây tác động tiêu cực. Mặc dù vậy, các nghiên cứu trước đây dường như chỉ tập trung chủ yếu vào tính chính xác của dữ kiện, trong khi các yếu tố về chi phí và tốc độ xử lý chưa được quan tâm đúng mức. Ý nghĩa thực tiễn Trong bối cảnh thực tế khi LLM đang được triển khai để giải quyết các bài toán cụ thể, các kỹ sư thường nhận được khuyến nghị tích hợp các prompt dạng nhập vai vào các hệ thống vận hành chính thức (production)18. Đáng quan ngại hơn, các vai trò này thường được cài sẵn vào câu lệnh hệ thống (system prompt) hoặc đặt làm mặc định trong khung kiểm thử (harness), khiến người dùng cuối hoàn toàn không nhận biết được sự hiện diện của chúng9. Do đó, bài toán đặt ra cho các nhà phát triển là liệu có nên áp dụng kỹ thuật câu lệnh nhập vai trong các hệ thống tùy chỉnh hay không, và liệu việc loại bỏ các vai trò này khỏi các phần mềm hiện hữu có thực sự đem lại hiệu quả tương xứng với nỗ lực bỏ ra hay không. Các nghiên cứu chỉ ra rằng, nếu xét thuần túy về độ chính xác thực tế, việc thiết lập vai trò (persona) không mang lại tác động rõ rệt theo bất kỳ chiều hướng nào. Tuy nhiên, trong bối cảnh chi phí và tốc độ ngày càng đóng vai trò quan trọng đối với các ứng dụng LLM trong môi trường vận hành thực tế, vấn đề đặt ra là: kỹ thuật nhắc lệnh theo vai trò (persona prompting) ảnh hưởng như thế nào đến chi phí và tốc độ? Liệu việc bổ sung vai trò có làm tăng chi phí cho mỗi câu trả lời hoặc kéo dài thời gian phản hồi hay không? Thử nghiệm Nhằm giải quyết câu hỏi này, một thử nghiệm đã được thiết lập để đo lường độ chính xác, chi phí và tốc độ trên bốn mô hình và năm vai trò khác nhau. Bộ dữ liệu gồm 5.000 câu hỏi trắc nghiệm thuộc chín lĩnh vực chuyên môn được lấy mẫu ngẫu nhiên từ tập dữ liệu MMLU-Pro 10; các mô hình sau đó được vận hành với từng vai trò trên toàn bộ tập câu hỏi. Mỗi yêu cầu xử lý từ mô hình đều bao gồm một trong năm điều kiện tại trường câu lệnh hệ thống (system prompt): Trung tính: “Bạn là một trợ lý hữu ích. Bạn luôn sẵn lòng hỗ trợ mọi câu hỏi của người dùng. Bạn cố gắng bảo đảm tính chính xác, suy nghĩ kỹ lưỡng về vấn đề và trả lời một cách rõ ràng.” Mức cơ sở (không có system prompt): [Để trống] Chuyên gia ngắn: “Bạn là một chuyên gia.” Chuyên gia tiêu chuẩn: “Bạn là một chuyên gia đẳng cấp thế giới về vật lý, hóa học, sinh học, khoa học máy tính, kỹ thuật, toán học, kinh tế, luật và lịch sử. Bạn có nhiều thập kỷ kinh nghiệm và không bao giờ mắc sai lầm.” Chuyên gia chi tiết: “Bạn là một chuyên gia đẳng cấp thế giới về vật lý, hóa học, sinh học, khoa học máy tính, kỹ thuật, toán học, kinh tế, luật và lịch sử. Bạn có nhiều thập kỷ kinh nghiệm trong cả giới học thuật lẫn công nghiệp, đã xuất bản nhiều công trình và giảng dạy ở trình độ cao nhất, đồng thời không bao giờ mắc sai lầm. Hãy tiếp cận mọi câu hỏi bằng sự cẩn trọng và nghiêm ngặt của một chuyên gia dày dạn kinh nghiệm trong ngành.” đồng thời, một chỉ dẫn đứng trước câu hỏi được đưa vào trường thông điệp người dùng: “Hãy trả lời câu hỏi trắc nghiệm dưới đây. Chỉ phản hồi bằng chữ cái tương ứng với đáp án đúng, ví dụ: ‘A’. Không kèm theo bất kỳ lời giải thích nào.” Do phản hồi hợp lệ của mô hình chỉ là một ký tự duy nhất (ví dụ: “B”), lượng token suy luận (reasoning token) tiêu thụ giữa các mô hình đã được đưa ra so sánh: mô hình đã suy nghĩ trong bao lâu trước khi đưa ra câu trả lời? Suy luận càng nhiều đồng nghĩa chi phí càng lớn và thời gian phản hồi càng dài. Bốn mô hình đã được lựa chọn từ nền tảng OpenRouter 11: Claude Haiku 5.5, chế độ suy luận cực cao (thinking xhigh) Deepseek V4 Flash 0423, chế độ suy luận cực cao (thinking xhigh) Ling 3.0 Flash, kích hoạt suy luận (thinking enabled) GLM 5.3 Flash, chế độ suy luận cao (thinking high) Kết quả Tổng cộng 20 lượt thử nghiệm (4 mô hình x 5 vai trò/điều kiện) đã được hoàn thành trên 5.000 câu hỏi. Sau khi hoàn tất các lượt chạy, số liệu về độ chính xác, tổng chi phí và lượng token suy luận theo từng vai trò đã được tổng hợp, cùng với biểu đồ so sánh tương quan giữa độ chính xác và chi phí giữa các mô hình. Độ chính xác được tính bằng tỷ lệ câu hỏi trả lời đúng trên tổng số lượt gọi, trong đó các phản hồi bị trống hoặc bị cắt ngắn đều bị tính là không chính xác. Độ chính xác Hình 1: Độ chính xác theo từng điều kiện Hình 1 cho thấy độ chính xác không có sự biến động đối với Claude và