Đọc, viết, chia sẻ và tương tác với thế giới thông qua video

Video là dấu vết của một thế giới Tóm tắt: Video được xem là một quan sát mang tính bộ phận, suy hao thông tin và có thứ tự thời gian về một thế giới không ngừng vận động, bất kể máy quay có ghi nhận hay không. Bốn thao tác kết nối hai yếu tố này gồm: đọc (video → thế giới), viết (thế giới → video), chia sẻ (một mô hình thực hiện cả hai) và tương tác (thế giới biến chuyển theo hành động). Bốn thao tác này tích hợp các lĩnh vực hiểu video, tạo sinh video, mô hình thống nhất và mô hình thế giới video vào một hệ thống lý giải chung. Thách thức lớn nhất không nằm ở việc dựng các khung hình chân thực, mà là chứng minh mô hình có khả năng theo dõi thế giới ẩn sau những khung hình đó. Bài báo khoa học: https://arxiv.org/abs/2610.31668 Trang dự án: https://vid-gen.github.io/video-world-model-survey Danh mục tài liệu: https://github.com/vid-gen/awesome-video-world-model Chiếc xe phía sau bức tường Một chiếc xe màu xanh lam chạy trên đường phố. Ven đường có một bức tường gạch. Trong chốc lát, chiếc xe khuất sau bức tường và khung hình video hoàn toàn không còn hình ảnh chiếc xe. Người quan sát không bao giờ cho rằng chiếc xe đã biến mất. Con người hiểu rằng phương tiện vẫn đang di chuyển, dự liệu nó sẽ xuất hiện ở đầu bên kia bức tường, và nhận thức được rằng nếu xe phanh gấp lúc đó thì tình huống sẽ khác. Đối với con người, đây là điều hiển nhiên. Đối với một mô hình, đây là ranh giới phân định giữa việc xử lý từng khung hình và việc mô phỏng thế giới đã tạo ra các khung hình đó. Ranh giới trên chính là trọng tâm của bài khảo sát này. Trong ba năm qua, bốn cộng đồng nghiên cứu đã hình thành xoay quanh lĩnh vực video: Hiểu video. Các mô hình Video-LLM như Video-LLaVA cho phép tương tác hội thoại với video; Qwen3-VL mở rộng ngữ cảnh lên 256.000 token. Tạo sinh video. Sora, Wan, HunyuanVideo, Movie Gen và Seedance 2.0 có khả năng tạo ra các đoạn phim dài theo quy mô phút với khả năng kiểm soát cao. Mô hình thống nhất. Emu3, Show-o và UniVideo tích hợp năng lực hiểu và tạo sinh vào một mô hình duy nhất thông qua các token, không gian tiềm ẩn hoặc giao diện chung. Mô hình thế giới. Genie, GAIA, Cosmos, V-JEPA 2 và Dreamer 4 dự đoán sự biến đổi của môi trường và hỗ trợ việc lập kế hoạch. Các định hướng này đang có xu hướng hội tụ. Một mô hình thế giới video phải suy luận trạng thái từ các quan sát, dự đoán tiến trình biến đổi và thường phải kết xuất ngược lại thành video. Các mô hình tạo sinh ngày càng tiếp nhận nhiều hành động và trạng thái dưới dạng điều kiện đầu vào. Các mô hình thống nhất liên kết chặt chẽ giữa khả năng hiểu và tổng hợp. Các nghiên cứu tổng quan hiện nay mới chỉ tiếp cận từng nhánh riêng lẻ — mô hình thế giới tổng quát, mô hình thế giới video tương tác, mô hình hóa thế giới 3D/4D, mô hình thế giới hiện thân — nhưng chưa công trình nào luận giải bản chất của sự hội tụ này. Do đó, toàn bộ lĩnh vực được cấu trúc lại xoay quanh một câu hỏi then chốt: Mô hình học được mối quan hệ nào giữa video quan sát được và thế giới không ngừng vận động đã tạo ra video đó? Góc nhìn phân tích: một thế giới, nhiều góc nhìn bộ phận Khung lý thuyết được xây dựng dựa trên ba đối tượng: Một thế giới thời gian tiềm ẩn W = (wₜ): một quá trình ngẫu nhiên có trạng thái chứa các thực thể, thuộc tính, mối quan hệ giữa chúng và các biến số vật lý chi phối. Một video quan sát V = (x₁, …, xₜ): mỗi khung hình được trích xuất từ một quá trình cảm biến dựa trên trạng thái thế giới và cấu hình máy quay. Đây là dạng dữ liệu mang tính bộ phận (một góc nhìn), suy hao thông tin (không phản ánh khối lượng, vận tốc hay nguyên nhân cốt lõi) và có thứ tự thời gian. Video quan sát hoặc được tạo sinh được định nghĩa là một dấu vết. Một trạng thái biểu diễn sₜ: toàn bộ thông tin mô hình lưu giữ nội bộ sau khi tiếp nhận dấu vết — hình học tường minh, các token video hoặc đặc trưng tiềm ẩn. Một hệ quả tất yếu cần được nêu rõ: việc sở hữu một véc-tơ tiềm ẩn không phải là bằng chứng cho thấy mô hình đã phục hồi được trạng thái vật lý. Khoảng cách giữa sₜ và wₜ chính là vấn đề trọng tâm mà bài khảo sát này phân tích. Bốn thao tác Dựa trên W, V và sₜ, bốn thao tác được xác định một cách logic: 🟠 Đọc (V → W) — suy luận các đặc tính của thế giới từ dấu vết: ngữ nghĩa, không gian, thời gian, vật lý, nhân quả. Được đánh giá dựa trên độ chính xác đối với các đ ...các đặc tính và mức độ không chắc chắn được hiệu chuẩn đối với những phần bị che khuất hoặc nằm ngoài khung hình. Đây là quá trình hiểu video (Chương 4). 🔵 Ghi (W → V) — lấy mẫu một chuỗi diễn biến từ một điều kiện đầu vào (văn bản, hình ảnh hoặc đoạn video mào đầu, âm thanh, chuyển động máy quay, quỹ đạo, bố cục). Điều kiện này chỉ xác định một phần thế giới; bộ tạo sinh sẽ xử lý phần còn lại. Quá trình này được đánh giá qua chất lượng cảm quan, mức độ tuân thủ điều kiện và tính nhất quán với thế giới thực. Đây là quá trình tạo video (Chương 5). 🟢 Chia sẻ (V ↔ W) — liên kết một sơ đồ đọc và một sơ đồ ghi thông qua ít nhất một thành phần chung: tham số, token hoặc biểu diễn, giao diện, hoặc mục tiêu huấn luyện. Quá trình này được đánh giá ở ba cấp độ: mức độ bao phủ năng lực, mức độ chia sẻ kiến trúc và tính hiệp đồng chức năng. Đây là các mô hình video hợp nhất (Chương 6). 🟣 Tương tác (W ↻) — vận hành một mô hình chuyển tiếp theo các hành động và điều kiện, chỉ giải mã các khung hình khi cần xuất kết quả trực quan. Quá trình này được đánh giá dựa trên việc liệu các thay đổi được dự đoán có bám sát dữ liệu đầu vào và duy trì tính nhất quán của thế giới hay không. Đây là các mô hình thế giới video (Chương 7). Đây không phải là các nhãn phân loại loại trừ lẫn nhau. Một công cụ biên tập hợp nhất sẽ đọc clip gốc trước khi ghi lại bản chỉnh sửa; một mô hình thế giới tương tác sẽ đọc lịch sử, ghi từng khung hình tiếp theo và cập nhật trạng thái của chính mô hình đó trong một mạng trục (backbone) duy nhất. Sự giao thoa này phản ánh đúng thực trạng của lĩnh vực, không phải là sự khiếm khuyết trong phân loại. Các phát hiện chính theo từng chương Mỗi chương về vận hành đều tuân theo cùng một bố cục — nhiệm vụ, dữ liệu và đánh giá; biểu diễn và kiến trúc; cơ chế suy luận và kiểm soát; ứng dụng — và kết thúc bằng một nhận định về căn cứ thực nghiệm. Đọc: Điểm nghẽn nằm ở trạng thái, không phải độ dài ngữ cảnh Các nhiệm vụ hiểu video được phân loại theo chiều trạng thái thế giới cần thiết (ngữ nghĩa, không gian, thời gian, vật lý, nhân quả), đồng thời áp dụng nghiêm ngặt các phương pháp kiểm soát phím tắt: các mốc đối chứng chỉ dùng văn bản, đơn khung hình, xáo trộn thứ tự và giới hạn ngữ cảnh, cùng các cặp video gần như giống hệt nhau nhưng có câu trả lời đối lập. Một làn sóng tiêu chuẩn đánh giá mới đang kiểm tra trạng thái ngoài tầm nhìn — đối tượng được di dời đã đi đâu, bố cục phía sau máy quay trông như thế nào — đây chính là tính vĩnh cửu của đối tượng mà một mô hình thế giới bắt buộc phải duy trì. Nhận định: Các bộ mã hóa nén dữ liệu quan sát, Video-LLM ánh xạ căn cứ thực nghiệm thành ngôn ngữ, các tác tử lựa chọn nội dung cần kiểm tra — song tất cả đều bị giới hạn bởi trạng thái mà chúng duy trì và xác thực, chứ không phải số lượng khung hình tiếp nhận. Ngữ cảnh dài hơn chỉ phát huy tác dụng khi giúp hiệu chỉnh hoặc ổn định trạng thái đó. Ghi: Độ trung thực và khả năng kiểm soát có trạng thái là các trục riêng biệt Chương này đề cập đến các biểu diễn tiềm ẩn (liên tục, rời rạc, lai tạp, ngữ nghĩa a