Trình bày: 300 Token Phù Hợp Hơn 100.000 Token Nhiễu: Kiến trúc của Kỹ thuật Ngữ cảnh (Context Engineering)

Trang chủ InfoQ Các bài thuyết trình 300 Token phù hợp đánh bại 100.000 Token nhiễu: Kiến trúc kỹ thuật ngữ cảnh AI, ML & Kỹ thuật dữ liệu 300 Token phù hợp đánh bại 100.000 Token nhiễu: Kiến trúc kỹ thuật ngữ cảnh Thích Danh sách đọc Xem bài thuyết trình Dọc Ngang Toàn màn hình Tốc độ: 1x 1.25x 1.5x 2x Tải xuống Các slide 50:32 Tóm tắt Baruch Sadogursky và Patrick Debois thảo luận lý do các tác nhân mã hóa (coding agents) thất bại do cửa sổ ngữ cảnh cồng kềnh và các lời nhắc (prompts) bị nhồi nhét. Họ giải thích các giải pháp kỹ thuật ngữ cảnh thực tế, bao gồm các kỹ năng được tải theo yêu cầu (lazy-loaded skills), các tạo phẩm ngữ cảnh được lập phiên bản (versioned context artifacts), các ngân hàng bộ nhớ bên ngoài (externalized memory banks) và đánh giá LLM-as-a-judge. Các kiến trúc sư phần mềm và lãnh đạo kỹ thuật sẽ học cách biến các tệp markdown thô thành các quy trình làm việc tác nhân (agentic workflows) đáng tin cậy. Tiểu sử Patrick Debois là một chuyên gia thực hành, nhà nghiên cứu và người học hỏi không ngừng, khám phá cách các tác nhân AI đang định hình lại quá trình phát triển phần mềm – không chỉ cho các cá nhân mà còn trên các nhóm và tổ chức. Baruch Sadogursky dẫn dắt DevRel và Quản lý Kỹ thuật Ngữ cảnh tại Tessl AI. Ông là Java Champion, Microsoft MVP và cựu Đại sứ CNCF. Về hội nghị Phần mềm đang thay đổi thế giới. QCon London thúc đẩy phát triển phần mềm bằng cách tạo điều kiện phổ biến kiến thức và đổi mới trong cộng đồng nhà phát triển. Là một hội nghị do các chuyên gia thực hành điều hành, QCon được thiết kế dành cho các trưởng nhóm kỹ thuật, kiến trúc sư, giám đốc kỹ thuật và quản lý dự án, những người có ảnh hưởng đến sự đổi mới trong các nhóm của họ. Baruch Sadogursky: Tôi muốn cho quý vị thấy điều này. Tôi có tệp CLAUDE.md, trong đó tôi đã cung cấp mọi thông tin về dự án của mình. Tệp này chứa các mẫu mã, toàn bộ tài liệu, các phương pháp hay nhất và mọi thứ cần thiết. Bây giờ, tất cả những gì tôi muốn làm là thêm phần xử lý lỗi vào một trong các điểm cuối (endpoint) của mình. Tôi đã cung cấp rất nhiều ngữ cảnh, lẽ ra nó phải xử lý được. Hãy xem điều gì đang xảy ra. Patrick Debois: Tôi nghĩ bây giờ thì dễ rồi. Baruch Sadogursky: Lẽ ra phải dễ. Đây là một dự án nhỏ và tôi đã cung cấp rất nhiều ngữ cảnh, vậy hãy xem điều gì đang xảy ra. Hãy xem. Nó thêm khối try và catch, điều này tốt. Bài kiểm tra thất bại. Nhìn kìa. Xem chuyện gì đang xảy ra. Patrick Debois: Làm sao có thể như vậy? Baruch Sadogursky: Vâng, có một AssertionError ở đây, "Expected 404 for missing order, and got 500" (Dự kiến lỗi 404 cho đơn hàng bị thiếu, nhưng nhận được lỗi 500). Patrick Debois: Nó không hoạt động. Baruch Sadogursky: Chuyện gì đang xảy ra vậy? Patrick Debois: Có lẽ anh đã nhồi nhét quá nhiều thứ vào đó? Anh nghĩ sao? Baruch Sadogursky: Ai nghĩ rằng nó đã vượt quá cửa sổ ngữ cảnh (context window) và cần thêm cửa sổ ngữ cảnh? Patrick Debois: Có lẽ là thiết lập cấp độ. Ai đã sử dụng Claude Code để lập trình? Ai đã từng hết cửa sổ ngữ cảnh? Xin chúc mừng. Quý vị đã thực hiện bước đầu tiên. Nhiều người nói, hãy thử một mô hình khác, xem nó có hoạt động không, một mô hình lớn hơn. Rõ ràng, nhiều người đang tìm kiếm mô hình lý tưởng. Đến một lúc nào đó, tất cả họ sẽ gặp cùng một vấn đề, đó là có một cửa sổ ngữ cảnh tối đa, chúng ta càng nhồi nhét nhiều vào đó, như Baruch đã trình bày với một tệp CLAUDE.md lớn mà chúng ta đưa vào, nhưng thậm chí còn có những phần khác liên quan đến điều đó. Hãy nhớ rằng, Claude là một tác nhân lập trình (coding agent), nó có lời nhắc hệ thống (system prompt) của riêng mình, vốn đã chiếm một phần lớn trong đó. Có cuộc trò chuyện của quý vị, điều đó cũng vậy. Mọi thứ quý vị tiếp tục gõ và mọi thứ nó trả về cũng đi vào cửa sổ ngữ cảnh. Tất cả những điều đó cùng nhau cuối cùng sẽ làm tràn cửa sổ ngữ cảnh của quý vị. Baruch Sadogursky: Để tôi hiểu rõ. Anh đang nói rằng hệ thống không trạng thái (stateless), và mỗi lần, bất cứ điều gì anh gửi đi, nó sẽ đi đi lại lại mãi mãi? Patrick Debois: May mắn thay, nếu không nó sẽ giữ tất cả các cuộc trò chuyện của chúng ta trên máy chủ của họ và tất cả những thứ đó. Baruch Sadogursky: Tôi không biết cái nào tốt hơn, đó sẽ là vấn đề của họ. Patrick Debois: Vâng, tùy thuộc vào người anh nói chuyện. Baruch Sadogursky: Nếu tôi dán một tệp nhật ký (log file) vào ngữ cảnh của mình, như vào cửa sổ trò chuyện của tôi, nó sẽ đi đi lại lại? Patrick Debois: Vâng, như một phần của phiên làm việc của quý vị, và nó cứ tiếp tục thêm vào toàn bộ sự việc đó. Đó là một trong những điều gây hiểu lầm. Mọi người nghĩ rằng đó chỉ là cuộc trò chuyện của quý vị, nhưng thực ra nó luôn gửi toàn bộ gói dữ liệu qua đường truyền đến LLM. Đó là lý do tại sao cửa sổ ngữ cảnh này, ngay cả khi quý vị gõ những tin nhắn nhỏ, cũng sẽ đầy lên. Baruch Sadogursky: Họ đã nói dối chúng ta. Ai mà ngờ được? Điều đó liên quan gì đến kỹ thuật? Patrick Debois: Nó giống như, tại sao chúng ta cứ nhồi nhét mọi thứ vào đó? Phải có một cách tốt hơn. Anh nghĩ sao? Baruch Sadogursky: Vâng. Có rất nhiều cuộc thảo luận về kỹ thuật nhắc lệnh (prompt engineering). Kỹ thuật nhắc lệnh và kỹ thuật ngữ cảnh (context engineering) có phải là cùng một thứ không? Patrick Debois: Nhắc lệnh là cách tạo ra truy vấn hoặc nhắc lệnh hoàn hảo để thực hiện chính xác những gì quý vị muốn, nhưng nó chỉ là một phần của toàn bộ cuộc trò chuyện, đó là ngữ cảnh của quý vị. Đó là cách chúng liên quan. Ban đầu, mọi người đều bị ám ảnh bởi nhắc lệnh. Làm thế nào để có được câu thần chú hoàn hảo để mô hình thực hiện trong một lần. Quý vị có thể gửi nó để thực hiện. Sau đó, khi chúng ta có được các thủ thuật với ex dấu chấm than và tất cả những điều thú vị khác, và nó giống như việc coi đó là vấn đề sống còn, nó đã trở thành một phần của việc cung cấp ngữ cảnh phù hợp. Chúng tôi bắt đầu đưa vào ngày càng nhiều ngữ cảnh hơn. Bối cảnh Baruch Sadogursky: Tên tôi là Baruch Sadogursky. Tôi là một chuyên gia về ngữ cảnh (context sommelier) vì tôi yêu thích kỹ thuật ngữ cảnh (context engineering) và rượu vang tại Tessl AI. Đây là Patrick Debois, cha đẻ của DevOps. Người đàn ông thực sự đã phát minh ra thuật ngữ DevOps. Bây giờ chúng ta hãy nói về AI. Trang trình bày quan trọng nhất trong tất cả những điều này là đây. Nếu bạn truy cập speaking.jbaru.ch, bạn sẽ tìm thấy các trang trình bày cùng với ghi chú của diễn giả. Mã tác nhân (agent code) và các bản ghi demo, cũng như cuộc trò chuyện về những gì chúng ta sẽ thảo luận, và tất cả các liên kết, đều được đặt thuận tiện ở cuối mỗi trang trình bày.