Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-03-25

Báo cáo được tạo tự động vào lúc 2026-03-26 10:10:37 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding (112 votes)​

Tác giả: Hejun Dong, Junbo Niu, Bin Wang, Weijun Zeng, Wentao Zhang, Conghui He

Xuất bản lúc: 2026-03-23

Tag: OCR, Diffusion Models, Vision-Language Models, Non-autoregressive decoding, Document Understanding, Curriculum Learning

I. Main Problem:​

Các hệ thống OCR hiện tại dựa trên giải mã tự hồi quy (autoregressive decoding), dẫn đến độ trễ tuần tự và khuếch đại lỗi trong các tài liệu dài, đặc biệt là với các bố cục phức tạp như bảng biểu và công thức. Phương pháp này cũng quá phụ thuộc vào các tiền đề ngôn ngữ, gây ra ảo giác ngữ nghĩa và lỗi tích lũy khi tín hiệu hình ảnh yếu hoặc cấu trúc ngữ nghĩa bị gián đoạn. Hơn nữa, việc triển khai khuếch tán toàn phần (full-attention diffusion) gặp phải giới hạn về độ phức tạp tính toán (O(L^2)) và sự bất ổn định vị trí.

II. Main Idea:​

Tái định nghĩa OCR tài liệu như một vấn đề kết xuất ngược (inverse rendering), lập luận rằng việc tạo ra theo thứ tự từ trái sang phải là một hạn chế của việc tuần tự hóa chứ không phải thuộc tính vốn có của nhiệm vụ. Đề xuất MinerU-Diffusion, một khuôn khổ dựa trên mô hình khuếch tán thống nhất, thay thế giải mã tuần tự tự hồi quy bằng quá trình khử nhiễu khuếch tán song song có điều kiện hình ảnh. MinerU-Diffusion sử dụng bộ giải mã khuếch tán theo khối (block-wise diffusion decoder) và chiến lược học tập theo chương trình giảng dạy dựa trên sự không chắc chắn (uncertainty-driven curriculum learning) hai giai đoạn để đảm bảo huấn luyện ổn định và suy luận hiệu quả cho chuỗi dài. Phương pháp này kết hợp cấu trúc tự hồi quy thô giữa các khối và tinh chỉnh khuếch tán song song trong từng khối, giải quyết các hạn chế về tính toán và sự bất ổn định vị trí của khuếch tán toàn phần.

III. Main Results:​

MinerU-Diffusion cải thiện độ bền vững một cách nhất quán trong khi đạt được tốc độ giải mã nhanh hơn tới 3,2 lần so với các phương pháp tự hồi quy. Trên điểm chuẩn Semantic Shuffle, nó cho thấy sự phụ thuộc ít hơn vào các tiền đề ngôn ngữ và khả năng OCR hình ảnh mạnh mẽ hơn. Về hiệu suất, MinerU-Diffusion đạt tốc độ tăng 2,12 lần với độ chính xác tương đối 99,9% và 3,01 lần với 98,8%. Trên OmniDocBench v1.5, nó đạt điểm Overall 88.94 trong cài đặt tự động hoàn toàn và 93.37 khi có thông tin bố cục (GT Layout) được cung cấp, chứng tỏ khả năng cạnh tranh cao và tiềm năng cải thiện hơn nữa trong phân tích bố cục.

IV. Conclusion & Future Works:​

MinerU-Diffusion cung cấp một kiến trúc khuếch tán có cấu trúc và có khả năng mở rộng tính toán, được tùy chỉnh cho OCR tài liệu. Nó đạt hiệu suất ngang bằng với các phương pháp tiên tiến trên nhiều điểm chuẩn phân tích tài liệu đầy thách thức và cài đặt nhiễu ngữ nghĩa, đồng thời đạt được sự cân bằng tốt hơn giữa độ chính xác nhận dạng, độ bền vững và hiệu quả giải mã. Hướng nghiên cứu trong tương lai có thể tập trung vào việc cải thiện khả năng dự đoán bố cục để thu hẹp khoảng cách hiệu suất trong phân tích tài liệu tự động hoàn toàn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các phương pháp cải thiện khả năng hiểu và dự đoán bố cục tài liệu của các mô hình khuếch tán, nhằm giảm sự phụ thuộc vào thông tin bố cục có sẵn và nâng cao hiệu suất trong các kịch bản phân tích tài liệu tự động hoàn toàn.
  2. Mở rộng MinerU-Diffusion để hỗ trợ hiệu quả các ngôn ngữ tài nguyên thấp và môi trường đa ngôn ngữ, bao gồm việc phát triển các chiến lược thu thập dữ liệu, tăng cường dữ liệu và kiến trúc mô hình phù hợp.
  3. Tối ưu hóa hơn nữa hiệu quả suy luận của mô hình khuếch tán cho các tài liệu cực dài, khám phá các cơ chế attention tiên tiến hoặc chiến lược giải mã khuếch tán mới để duy trì độ chính xác và tốc độ cao khi xử lý hàng nghìn token.

2. Patent:​

  1. Một ứng dụng quét tài liệu thông minh trên điện thoại di động, sử dụng công nghệ khuếch tán để nhanh chóng trích xuất văn bản, bảng biểu và công thức từ hình ảnh tài liệu với độ chính xác cao. Người dùng có thể ngay lập tức sao chép, tìm kiếm hoặc chỉnh sửa nội dung được số hóa mà không gặp độ trễ, đặc biệt hữu ích cho việc xử lý các tài liệu phức tạp.
  2. Một hệ thống nhập liệu tự động cho biểu mẫu trên điện thoại, tích hợp công nghệ OCR khuếch tán để nhận diện và điền thông tin từ các tài liệu chụp ảnh (như căn cước công dân, hóa đơn) vào các trường biểu mẫu số hóa. Tính năng này giúp giảm thiểu thao tác nhập liệu thủ công, tăng tốc độ và độ chính xác khi điền các đơn đăng ký, khảo sát hoặc thông tin cá nhân trên thiết bị di động.
  3. Một tính năng dịch thuật văn bản trên hình ảnh ngoại tuyến, cho phép người dùng chụp ảnh văn bản tiếng nước ngoài và nhận bản dịch chất lượng cao, giữ nguyên bố cục và định dạng gốc. Công nghệ khuếch tán tối ưu hóa quá trình xử lý để hoạt động nhanh chóng và chính xác ngay trên điện thoại di động mà không yêu cầu kết nối internet, lý tưởng cho việc du lịch hoặc đọc tài liệu nước ngoài.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.22458
ArXiv Abstracthttps://arxiv.org/abs/2603.22458
PDF Downloadhttps://arxiv.org/pdf/2603.22458.pdf
Github Repositoryhttps://github.com/opendatalab/MinerU-Diffusion

2. WildWorld: A Large-Scale Dataset for Dynamic World Modeling with Actions and Explicit State toward Generative ARPG (69 votes)​

Tác giả: Zhen Li, Zian Meng, Shuwei Shi, Wenshuo Peng, Yuwei Wu, Bo Zheng, Chuanhao Li, Kaipeng Zhang

Xuất bản lúc: 2026-03-24

Tag: World Models, Generative AI, Video Generation, Datasets, Reinforcement Learning, Action-conditioned generation, State-aware generation

I. Main Problem:​

Các hệ thống mô hình thế giới hiện tại gặp khó khăn trong việc học động lực thế giới có cấu trúc và duy trì sự nhất quán trong thời gian dài. Vấn đề chính là các tập dữ liệu hiện có thiếu không gian hành động đa dạng và có ý nghĩa ngữ nghĩa, đồng thời các hành động thường gắn trực tiếp với các quan sát hình ảnh thay vì được điều chỉnh bởi các trạng thái tiềm ẩn. Điều này dẫn đến việc các hành động bị vướng vào các thay đổi cấp độ pixel, gây khó khăn cho các mô hình trong việc phân tách chuyển đổi trạng thái khỏi các biến thể quan sát và dự đoán chính xác các kết quả hình ảnh trong tương lai, đặc biệt là khi các trạng thái ẩn (ví dụ: số lượng đạn còn lại) không thể suy ra chỉ từ hình ảnh.

II. Main Idea:​

Bài báo đề xuất WildWorld, một tập dữ liệu lớn để mô hình hóa thế giới động lực có điều kiện hành động với các chú thích trạng thái rõ ràng. WildWorld được thu thập tự động từ trò chơi nhập vai hành động AAA thực tế (Monster Hunter: Wilds), chứa hơn 108 triệu khung hình và hơn 450 hành động (di chuyển, tấn công, sử dụng kỹ năng). Dữ liệu được đồng bộ hóa với các chú thích từng khung hình về bộ xương nhân vật, trạng thái thế giới, tư thế camera và bản đồ độ sâu. Để đánh giá, WildBench được xây dựng với hai tiêu chí chính: Action Following (đo lường sự phù hợp giữa video được tạo và hành động thực tế) và State Alignment (đo lường độ chính xác của chuyển đổi trạng thái bằng cách theo dõi các điểm khớp xương). Các mô hình cơ sở như CamCtrl, SkelCtrl, StateCtrl và StateCtrl-AR đã được thiết kế và đánh giá để khám phá việc tạo video nhận biết trạng thái.

III. Main Results:​

WildWorld chứa 108 triệu khung hình, 119 cột chú thích mỗi khung, bao gồm 29 loài quái vật, 4 nhân vật người chơi, 4 loại vũ khí và 5 màn chơi đa dạng. Các tiêu chí Action Following và State Alignment của WildBench có độ tin cậy cao, đạt 85% sự đồng thuận với đánh giá của con người đối với Action Following và 43.23% độ chính xác tọa độ cho State Alignment trên các video ground-truth. Tất cả các phương pháp được đề xuất (CamCtrl, SkelCtrl, StateCtrl, StateCtrl-AR) đều cải thiện đáng kể các tiêu chí liên quan đến tương tác so với mô hình cơ sở. SkelCtrl, sử dụng tín hiệu hình ảnh làm đầu vào điều khiển, đạt được cải thiện gần 100% về Action Following và State Alignment nhưng lại giảm chất lượng video (AQ, IQ). StateCtrl và StateCtrl-AR cải thiện hiệu suất trên cả ba tiêu chí (Camera Control, Action Following, State Alignment) và duy trì chất lượng video tốt. Các mô hình tự hồi quy (StateCtrl-AR) cho thấy tiềm năng nhưng gặp phải vấn đề tích lũy lỗi trong dự đoán trạng thái dài hạn, dẫn đến giảm Action Following. Các tiêu chí chất lượng video chung (MS, DD) của VBench có vẻ đã "bão hòa", cho thấy cần có các tiêu chí đánh giá chi tiết và sắc thái hơn cho mô hình thế giới tương tác.

IV. Conclusion & Future Works:​

WildWorld và WildBench là những đóng góp quan trọng cho việc nghiên cứu mô hình hóa thế giới có điều kiện hành động. Kết quả thực nghiệm chỉ ra rằng các mô hình hiện tại vẫn còn nhiều thách thức trong việc mô hình hóa các hành động phong phú về mặt ngữ nghĩa và duy trì tính nhất quán của trạng thái trong thời gian dài. Điều này nhấn mạnh tầm quan trọng của việc tích hợp thông tin trạng thái rõ ràng để thúc đẩy việc tạo video có điều kiện hành động và mô hình hóa thế giới. Hướng nghiên cứu tương lai cần tập trung vào việc cải thiện mô hình chuyển đổi trạng thái, giải quyết vấn đề tích lũy lỗi trong các mô hình tự hồi quy và phát triển các tiêu chí đánh giá sâu sắc hơn cho các mô hình thế giới tương tác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mô hình hóa động lực trạng thái rõ ràng cho thế hệ video dài hạn nhất quán: Nghiên cứu các kiến trúc mô hình mới có khả năng học và duy trì tính nhất quán của các chuyển đổi trạng thái rõ ràng trong các chuỗi hành động dài, giải quyết vấn đề tích lũy lỗi trong các mô hình tự hồi quy.
  2. Phát triển các tiêu chí đánh giá nhận biết trạng thái cho các mô hình thế giới tương tác: Thiết kế và xác thực các tiêu chí đánh giá mới vượt ra ngoài chất lượng hình ảnh cấp độ pixel, tập trung vào việc đo lường độ chính xác của chuyển đổi trạng thái tiềm ẩn và sự tuân thủ các hành động ngữ nghĩa.
  3. Tạo ra môi trường chơi game tự động dựa trên mô hình thế giới có trạng thái: Khám phá việc sử dụng các mô hình thế giới được đào tạo trên WildWorld để tạo ra các kịch bản chơi game hoặc nội dung trò chơi mới, nơi các hành động của người chơi dẫn đến các chuyển đổi trạng thái và kết quả hình ảnh có thể dự đoán được.

2. Patent:​

  1. Hệ thống thực tế tăng cường (AR) tương tác thông minh: Một ứng dụng điện thoại di động sử dụng camera và các cảm biến để nhận diện hành động của người dùng (ví dụ: vẫy tay, chỉ trỏ). Ứng dụng sẽ mô hình hóa trạng thái của môi trường AR ảo (ví dụ: vật thể ảo di chuyển, thay đổi màu sắc) dựa trên hành động của người dùng, tạo ra trải nghiệm AR phản hồi và chân thực hơn mà không cần các thiết bị điều khiển phức tạp.
  2. Trợ lý ảo cá nhân hóa dựa trên dự đoán trạng thái người dùng: Một tính năng trên điện thoại di động học hỏi các hành vi và trạng thái sử dụng điện thoại của người dùng (ví dụ: mức pin, ứng dụng đang mở, vị trí). Dựa trên mô hình này, trợ lý có thể dự đoán các hành động tiếp theo hoặc nhu cầu của người dùng để đưa ra các đề xuất chủ động (ví dụ: bật chế độ tiết kiệm pin khi sắp hết, gợi ý mở ứng dụng bản đồ khi đang di chuyển) mà không cần người dùng yêu cầu rõ ràng.
  3. Hệ thống huấn luyện thể dục cá nhân hóa với phản hồi theo thời gian thực: Một ứng dụng di động sử dụng camera để theo dõi tư thế và chuyển động của người dùng trong quá trình tập luyện. Ứng dụng này sẽ sử dụng một mô hình thế giới để hiểu trạng thái cơ thể và hành động của người dùng, sau đó cung cấp phản hồi ngay lập tức (ví dụ: "lưng thẳng hơn", "hạ thấp trọng tâm") và điều chỉnh kế hoạch tập luyện dựa trên tiến độ và trạng thái thể chất thực tế của người dùng, giúp tối ưu hóa hiệu quả tập luyện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.23497
ArXiv Abstracthttps://arxiv.org/abs/2603.23497
PDF Downloadhttps://arxiv.org/pdf/2603.23497.pdf
Github Repositoryhttps://github.com/ShandaAI/WildWorld

3. SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning (43 votes)​

Tác giả: Haoyu Huang, Jinfa Huang, Zhongwei Wan, Xiawu Zheng, Rongrong Ji, Jiebo Luo

Xuất bản lúc: 2026-03-24

Tag: Agentic MLLMs, Speculative Decoding, Multimodal LLMs, Efficiency, Latency, Throughput, Cognitive Gating, Parallel Processing

I. Main Problem:​

Các mô hình ngôn ngữ lớn đa phương thức (MLLM) tác nhân hiện đại đạt được khả năng suy luận đáng kể thông qua việc gọi các công cụ thị giác lặp đi lặp lại. Tuy nhiên, các vòng lặp chồng chất của nhận thức, suy luận và gọi công cụ gây ra chi phí tuần tự đáng kể, được gọi là "độ sâu tác nhân" (agentic depth). Điều này dẫn đến hai vấn đề nghiêm trọng: (i) Độ trễ bùng nổ: Thời gian phản hồi tăng tuyến tính với độ sâu tác nhân vì mỗi chu trình suy luận và công cụ phải hoàn thành trước khi chu trình tiếp theo bắt đầu. (ii) Suy giảm đồng thời: Sự phụ thuộc dữ liệu nghiêm ngặt và trạng thái riêng cho mỗi truy vấn ngăn cản việc xử lý theo lô (GPU batching), khiến phần cứng song song bị bỏ không. Các phương pháp hiện có chỉ tập trung tăng tốc các bước bên trong vòng lặp tác nhân mà không giải quyết được vấn đề cơ bản về sự cần thiết của toàn bộ vòng lặp cho mọi truy vấn.

II. Main Idea:​

Chúng tôi đề xuất SpecEyes, một khung tăng tốc suy đoán ở cấp độ tác nhân, nhằm phá vỡ nút cổ chai tuần tự này. Insight chính là một MLLM nhẹ, không cần công cụ có thể đóng vai trò là công cụ lập kế hoạch suy đoán để dự đoán quỹ đạo thực thi, cho phép kết thúc sớm các chuỗi công cụ đắt đỏ mà không làm giảm độ chính xác. SpecEyes được cấu thành từ ba thành phần chính:

  1. Quy trình suy đoán bốn giai đoạn: Định tuyến mỗi truy vấn qua đánh giá heuristic về việc sử dụng công cụ, suy đoán bằng mô hình nhỏ, chuyển đổi dựa trên độ tin cậy và dự phòng tác nhân.
  2. Cơ chế cổng nhận thức (Cognitive gating): Sử dụng một chỉ số "khả năng tách biệt câu trả lời" (answer separability) mới (Ssep) để định lượng độ tin cậy của mô hình nhỏ mà không cần nhãn ground-truth, cung cấp ranh giới quyết định không cần hiệu chuẩn và bất biến theo tỷ lệ.
  3. Kiến trúc phục vụ song song dị thể (Heterogeneous parallel serving architecture): Khai thác tính song song không trạng thái của mô hình nhỏ để che giấu việc thực thi tuần tự có trạng thái của mô hình lớn, tối đa hóa thông lượng hệ thống. Mô hình nhỏ (MS) nhanh chóng tạo ra câu trả lời suy đoán cho các truy vấn đơn giản, trong khi mô hình lớn (ML) được dành cho các truy vấn yêu cầu tương tác công cụ đa bước.

III. Main Results:​

Các thử nghiệm rộng rãi trên V* Bench, HR-Bench và POPE cho thấy SpecEyes đạt được tốc độ tăng từ 1.1 đến 3.35 lần so với baseline tác nhân, đồng thời duy trì hoặc thậm chí cải thiện độ chính xác (lên đến +6.7%), và tăng thông lượng phục vụ dưới các khối lượng công việc đồng thời.

  • Với DeepEyes làm backbone, SpecEyes (min) đạt tốc độ tăng trung bình 1.73 lần và cải thiện độ chính xác trung bình từ 81.39% lên 84.26%.
  • Trên POPE, SpecEyes mang lại lợi ích lớn nhất với tốc độ tăng từ 2.13–2.19 lần, và độ chính xác được cải thiện (ví dụ: Adversarial: 78.43%→85.13%), cho thấy việc bỏ qua các quỹ đạo công cụ không cần thiết cũng có thể giảm lỗi ảo giác.
  • HR-Bench cho thấy tốc độ tăng vừa phải (1.08–1.13 lần) do các truy vấn thường xuyên đòi hỏi kiểm tra công cụ chi tiết.
  • Với Thyme làm backbone, SpecEyes (min) mang lại tốc độ tăng trung bình 1.42 lần và nâng độ chính xác từ 82.29% lên 83.99%.
  • Phương pháp "min aggregation" cho điểm separability (Smin_sep) liên tục mang lại hồ sơ độ chính xác-tốc độ tốt nhất.

IV. Conclusion & Future Works:​

SpecEyes là một khung tăng tốc suy đoán ở cấp độ tác nhân, nâng mô hình suy đoán từ các token riêng lẻ lên toàn bộ quy trình tác nhân. Bằng cách sử dụng một mô hình nhẹ, không cần công cụ để suy đoán trả lời các truy vấn không yêu cầu sử dụng công cụ đa bước, được điều khiển bởi cơ chế cổng nhận thức dựa trên khả năng tách biệt câu trả lời và được phục vụ thông qua một kênh song song dị thể, SpecEyes giảm độ trễ đầu cuối và cải thiện thông lượng trong khi vẫn giữ vững hoặc nâng cao độ chính xác. Công việc tương lai:

  • Suy đoán đa chiều (Multi-depth speculation): Mở rộng mô hình suy đoán để cho phép nó thực hiện một số lượng giới hạn các lệnh gọi công cụ nhẹ (D=1, 2, ..., n) trước khi chuyển giao. Chiến lược này sẽ chặn các truy vấn ở độ sâu đủ sớm nhất, giảm thiểu thêm các trường hợp dự phòng không cần thiết về mô hình tác nhân nặng, đặc biệt hữu ích cho các benchmark như HR-Bench nơi D=0 còn hạn chế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng suy đoán đa chiều (Multi-depth speculation) cho MLLM tác nhân: Nghiên cứu và phát triển một khung suy đoán cho phép mô hình nhẹ thực hiện một số bước gọi công cụ giới hạn (D=1, 2, ..., n) thay vì chỉ D=0, để xử lý hiệu quả hơn các tác vụ yêu cầu mức độ tương tác công cụ nông.
  2. Cơ chế cổng nhận thức thích ứng (Adaptive Cognitive Gating) với phản hồi thời gian thực: Phát triển các chiến lược cổng nhận thức tự điều chỉnh ngưỡng dựa trên hiệu suất thời gian thực, tải hệ thống, hoặc các đặc điểm của truy vấn/hình ảnh để tối ưu hóa liên tục giữa tốc độ và độ chính xác trong các môi trường triển khai động.
  3. Tối ưu hóa phân phối tài nguyên cho MLLM tác nhân lai (Hybrid Agentic MLLM Resource Allocation): Nghiên cứu các thuật toán lập lịch và phân bổ tài nguyên động trên các thiết bị biên hoặc đám mây, tận dụng kiến trúc song song dị thể của SpecEyes để tối đa hóa thông lượng và giảm độ trễ cho các tác vụ đa phương thức tác nhân dưới các ràng buộc tài nguyên khác nhau.

2. Patent:​

  1. Hệ thống trợ lý hình ảnh di động thông minh với phản hồi tức thì: Một ứng dụng trên điện thoại di động cho phép người dùng chụp ảnh hoặc tải ảnh lên và đặt câu hỏi. Hệ thống sẽ sử dụng một mô hình AI nhỏ gọn trên thiết bị để nhanh chóng đưa ra câu trả lời cho các câu hỏi đơn giản (ví dụ: "Cái này màu gì?", "Đây là loại cây gì?"). Đối với các câu hỏi phức tạp hơn yêu cầu phân tích sâu (ví dụ: "Có bao nhiêu chi tiết nhỏ trên sản phẩm này?"), hệ thống sẽ tự động chuyển giao cho một mô hình AI mạnh hơn trên đám mây hoặc trên thiết bị với độ trễ cao hơn một chút, nhưng vẫn đảm bảo độ chính xác. Bằng sáng chế sẽ tập trung vào cơ chế chuyển đổi thông minh và quản lý tài nguyên thiết bị để tối ưu hóa trải nghiệm người dùng.
  2. Công cụ kiểm tra chất lượng sản phẩm nhanh chóng trên điện thoại: Một ứng dụng di động cho phép người dùng quét nhanh sản phẩm (ví dụ: bao bì, linh kiện) bằng camera điện thoại. Một mô hình AI nhỏ gọn sẽ nhanh chóng xác định các lỗi rõ ràng hoặc thông tin cần thiết (ví dụ: nhận diện logo, kiểm tra tem nhãn). Nếu có bất kỳ sự không chắc chắn nào hoặc cần phân tích chi tiết hơn (ví dụ: kiểm tra vết xước nhỏ, đọc chữ in mờ), hệ thống sẽ tự động gửi phần hình ảnh đó đến một dịch vụ AI mạnh hơn để xác minh, sau đó trả về kết quả chính xác cho người dùng. Bằng sáng chế sẽ bao gồm quy trình sàng lọc ban đầu bằng AI nhẹ và cơ chế chuyển tiếp thông minh để đảm bảo độ tin cậy và hiệu quả.
  3. Trợ lý học tập và nghiên cứu hình ảnh hiệu quả cho điện thoại: Một ứng dụng cho phép học sinh hoặc nhà nghiên cứu chụp ảnh tài liệu, biểu đồ, hoặc vật thể. Đối với các câu hỏi đơn giản như "Tên của đối tượng này là gì?" hoặc "Giải thích biểu tượng này", một mô hình AI nhanh trên thiết bị sẽ cung cấp câu trả lời tức thì. Nếu câu hỏi yêu cầu phân tích sâu hơn, chẳng hạn như "Phân tích mối quan hệ giữa các thành phần trong sơ đồ này" hoặc "Giải thích chi tiết về cấu trúc này", ứng dụng sẽ tự động chuyển sang mô hình AI mạnh hơn, có khả năng gọi công cụ (như phóng to, OCR) để cung cấp giải thích toàn diện mà không làm người dùng phải chờ đợi quá lâu cho các tác vụ đơn giản. Bằng sáng chế sẽ bảo vệ phương pháp tối ưu hóa thời gian phản hồi cho các truy vấn học thuật đa dạng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.23483
ArXiv Abstracthttps://arxiv.org/abs/2603.23483
PDF Downloadhttps://arxiv.org/pdf/2603.23483.pdf
Github Repositoryhttps://github.com/MAC-AutoML/SpecEyes

4. From Static Templates to Dynamic Runtime Graphs: A Survey of Workflow Optimization for LLM Agents (43 votes)​

Tác giả: Ling Yue, Kushal Raj Bhandari, Ching-Yun Ko, Dhaval Patel, Shuxin Lin, Nianjun Zhou, Jianxi Gao, Pin-Yu Chen, Shaowu Pan

Xuất bản lúc: 2026-03-23

Tag: LLM Agents, Workflow Optimization, Agentic Computation Graphs, Static Workflows, Dynamic Workflows, Multi-agent systems, AI

I. Main Problem:​

Các hệ thống dựa trên mô hình ngôn ngữ lớn (LLM) ngày càng được sử dụng để giải quyết các tác vụ phức tạp thông qua các quy trình làm việc (workflows) có thể thực thi, kết hợp các lệnh gọi LLM, truy xuất thông tin, sử dụng công cụ, thực thi mã, cập nhật bộ nhớ và xác minh. Vấn đề cốt lõi là cần một khung thống nhất để thiết kế và tối ưu hóa cấu trúc của các quy trình làm việc này, vì cấu trúc ảnh hưởng lớn đến hiệu quả, hiệu suất, độ bền vững và chi phí. Các khảo sát hiện có thường coi cấu trúc quy trình làm việc là một yếu tố đã được định sẵn, thay vì là mục tiêu tối ưu hóa chính.

II. Main Idea:​

Bài khảo sát này xem xét các phương pháp thiết kế và tối ưu hóa quy trình làm việc cho các tác nhân LLM, coi chúng là các đồ thị tính toán tác nhân (Agentic Computation Graphs - ACGs). Tác giả tổ chức tài liệu dựa trên thời điểm cấu trúc quy trình làm việc được xác định: các phương pháp tĩnh (cấu trúc cố định trước khi triển khai) và các phương pháp động (cấu trúc được chọn, tạo hoặc sửa đổi trước hoặc trong quá trình thực thi). Bài viết cũng phân loại theo ba chiều khác: phần nào của quy trình được tối ưu hóa (nút, đồ thị hoặc kết hợp), tín hiệu đánh giá nào hướng dẫn tối ưu hóa (ví dụ: chỉ số tác vụ, tín hiệu xác minh, sở thích hoặc phản hồi từ vết thực thi), và cơ chế cập nhật. Ngoài ra, bài viết phân biệt rõ ràng giữa các mẫu quy trình làm việc có thể tái sử dụng, các đồ thị thực tế được triển khai cho từng lần chạy và các vết thực thi. Cuối cùng, bài viết đề xuất một quan điểm đánh giá có nhận thức về cấu trúc, bổ sung các thuộc tính cấp đồ thị, chi phí thực thi, độ bền vững và sự biến đổi cấu trúc vào các chỉ số tác vụ truyền nhiệm.

III. Main Results:​

Là một bài khảo sát, công trình này không trình bày kết quả thử nghiệm mới mà tổng hợp và phân loại các công trình hiện có. Các đóng góp chính bao gồm:

  • Giới thiệu ACG làm khái niệm trừu tượng thống nhất cho các quy trình làm việc tập trung vào LLM.
  • Phân biệt rõ ràng giữa 'ACG template' (mẫu có thể tái sử dụng), 'realized graph' (đồ thị được sử dụng cho một lần chạy cụ thể) và 'execution trace' (vết thực thi).
  • Đề xuất một phân loại dựa trên 'Graph determination time' (GDT: offline, pre-execution, in-execution) và 'Graph plasticity mode' (GPM: none, select, generate, edit) để so sánh các phương pháp tối ưu hóa cấu trúc.
  • Tổng hợp tài liệu theo ba trục chính: mục tiêu tối ưu hóa (nút, đồ thị hoặc kết hợp), nguồn bằng chứng (chỉ số, xác minh, sở thích hoặc vết thực thi) và cơ chế cập nhật.
  • Đề xuất một giao thức báo cáo tối thiểu cho việc đánh giá, tách biệt hiệu suất tác vụ với các thuộc tính của đồ thị, chi phí thực thi, độ bền vững và sự biến đổi cấu trúc giữa các đầu vào, nhằm làm cho việc đánh giá quy trình làm việc trở nên dễ so sánh và tái sản xuất hơn.
  • Biên soạn danh mục gồm 77 công trình liên quan và 27 tài nguyên đánh giá phù hợp với quy trình làm việc.

IV. Conclusion & Future Works:​

Mục tiêu của bài khảo sát là cung cấp một từ vựng rõ ràng, một khung thống nhất để định vị các phương pháp mới, một cái nhìn so sánh hơn về các tài liệu hiện có và một tiêu chuẩn đánh giá có thể tái sản xuất hơn cho công việc tương lai trong việc tối ưu hóa quy trình làm việc cho các tác nhân LLM. Bài viết cũng phác thảo một quan điểm đánh giá có nhận thức về cấu trúc, bổ sung các thuộc tính cấp đồ thị, chi phí thực thi, độ bền vững và sự biến đổi cấu trúc giữa các đầu vào, làm nền tảng cho các hướng nghiên cứu tiếp theo.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển các phương pháp tối ưu hóa luồng công việc động (Dynamic Workflow Optimization) tiên tiến, đặc biệt tập trung vào khả năng chỉnh sửa cấu trúc trong thời gian thực (in-execution editing) để thích ứng với các tình huống không lường trước và cải thiện độ bền vững của tác nhân LLM.
  2. Thiết kế các tín hiệu phản hồi (Feedback Signals) mới và cơ chế cập nhật hiệu quả hơn cho việc tối ưu hóa cấu trúc đồ thị, vượt ra ngoài các chỉ số nhiệm vụ truyền thống, bao gồm phản hồi từ người dùng hoặc thông tin chi phí chi tiết để tối ưu hóa cân bằng chất lượng-chi phí.
  3. Xây dựng các tiêu chuẩn và giao thức đánh giá (Evaluation Protocol) mới cho các hệ thống tác nhân LLM, không chỉ dựa trên hiệu suất nhiệm vụ cuối cùng mà còn tích hợp các thuộc tính cấp đồ thị (graph-level properties), chi phí thực thi, và khả năng thích ứng cấu trúc trên nhiều bộ dữ liệu và môi trường.

2. Patent:​

  1. Hệ thống điều chỉnh quy trình hỗ trợ cá nhân thông minh trên điện thoại: Một ứng dụng di động có khả năng tự động điều chỉnh trình tự các bước để hoàn thành yêu cầu của người dùng, ví dụ như đặt lịch hẹn, tìm kiếm thông tin hoặc soạn email. Hệ thống sẽ học cách người dùng tương tác và các công cụ họ sử dụng (lịch, danh bạ, trình duyệt) để tạo ra một chuỗi hành động tối ưu cho từng tác vụ cụ thể, sau đó tự động thực hiện hoặc gợi ý các bước tiếp theo, giúp tiết kiệm thời gian và công sức của người dùng.
  2. Ứng dụng quản lý tác vụ đa năng với khả năng tự phục hồi lỗi trên điện thoại: Một ứng dụng trên điện thoại giúp người dùng thực hiện các tác vụ phức tạp (ví dụ: lên kế hoạch chuyến đi, quản lý dự án nhỏ) bằng cách kết nối nhiều dịch vụ và ứng dụng khác nhau. Nếu một bước trong quy trình bị lỗi (ví dụ: không thể đặt vé máy bay qua một ứng dụng cụ thể), hệ thống sẽ tự động nhận diện lỗi đó và điều chỉnh quy trình, có thể thử một ứng dụng đặt vé khác hoặc gợi ý các bước thay thế cho người dùng, thay vì dừng lại hoàn toàn.
  3. Công cụ tạo kịch bản tự động cho các tác vụ lặp lại trên điện thoại: Một tính năng trên điện thoại cho phép người dùng mô tả một tác vụ lặp lại hàng ngày (ví dụ: tổng hợp tin tức từ các nguồn khác nhau và gửi vào một nhóm chat, hoặc tự động tải ảnh từ một ứng dụng về thư viện ảnh và xóa ảnh gốc sau một thời gian). Hệ thống sẽ tự động tạo ra một chuỗi các hành động cần thiết (mở ứng dụng, đọc nội dung, sao chép, dán, gửi) và tối ưu hóa thứ tự các bước để hoạt động hiệu quả nhất, giảm thiểu thao tác thủ công cho người dùng. Người dùng có thể xem trước và chỉnh sửa kịch bản nếu cần.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.22386
ArXiv Abstracthttps://arxiv.org/abs/2603.22386
PDF Downloadhttps://arxiv.org/pdf/2603.22386.pdf
Github Repositoryhttps://github.com/IBM/awesome-agentic-workflow-optimization

5. DA-Flow: Degradation-Aware Optical Flow Estimation with Diffusion Models (36 votes)​

Tác giả: Jaewon Min, Jaeeun Lee, Yeji Choi, Paul Hyunbin Cho, Jin Hyeon Kim, Tae-Young Lee, Jongsik Ahn, Hwayeong Lee, Seonghyun Park, Seungryong Kim

Xuất bản lúc: 2026-03-24

Tag: Optical Flow, Diffusion Models, Image Restoration, Video Processing, Deep Learning, Computer Vision, Degradation-Aware, Attention Mechanisms

I. Main Problem:​

Các mô hình ước tính dòng quang (optical flow) hiện có hoạt động kém hiệu quả khi đối mặt với các video thực tế bị suy giảm chất lượng nghiêm trọng (như mờ, nhiễu, nén). Thách thức là làm thế nào để ước tính chính xác chuyển động giữa các pixel (dense correspondence) từ đầu vào video bị suy giảm, nơi các chi tiết và ranh giới chuyển động đã bị mất, khiến bài toán trở nên khó giải quyết.

II. Main Idea:​

Đề xuất một nhiệm vụ mới: "Degradation-Aware Optical Flow" nhằm ước tính dòng quang chính xác từ các video bị suy giảm. Giải pháp cốt lõi là tận dụng các đặc trưng trung gian của mô hình Diffusion phục hồi hình ảnh (image restoration diffusion models) vì chúng vốn nhạy cảm với suy giảm và bảo toàn cấu trúc hình học. Để khắc phục việc thiếu nhận thức thời gian của các mô hình này, nghiên cứu đã nâng cấp chúng bằng cách tích hợp cơ chế attention không gian-thời gian đầy đủ (full spatio-temporal attention) giữa các khung hình kề nhau, đồng thời duy trì các đặc trưng không gian độc lập cho từng khung. Dựa trên phát hiện này, DA-Flow, một kiến trúc lai (hybrid architecture), được giới thiệu để kết hợp các đặc trưng Diffusion đã được nâng cấp với các đặc trưng từ bộ mã hóa CNN thông thường trong một khung tinh chỉnh lặp lại (iterative refinement framework) dựa trên RAFT. DA-Flow được huấn luyện bằng cách sử dụng dòng quang giả lập (pseudo ground-truth flow) từ video chất lượng cao, với đầu vào là các khung hình bị suy giảm.

III. Main Results:​

Các đặc trưng từ mô hình Diffusion phục hồi hình ảnh đã được nâng cấp (lifted diffusion features) chứng minh khả năng tương ứng hình học "zero-shot" mạnh mẽ, ổn định qua các bước khử nhiễu và cho EPE (End-Point Error) thấp hơn đáng kể so với baseline. DA-Flow vượt trội đáng kể so với các phương pháp ước tính dòng quang hiện có (RAFT, SEA-RAFT, FlowSeek) trên các benchmark bị suy giảm như Sintel, Spring, và TartanAir, đạt EPE thấp hơn và tỷ lệ ngoại lai (outlier rates) tốt hơn dưới điều kiện suy giảm nghiêm trọng. Ví dụ, trên Sintel, DA-Flow đạt EPE 6.912, cải thiện đáng kể so với 10.185 của SEA-RAFT.

IV. Conclusion & Future Works:​

Nghiên cứu đã định nghĩa nhiệm vụ "Degradation-Aware Optical Flow" và giới thiệu DA-Flow, một phương pháp hiệu quả để ước tính dòng quang từ video bị suy giảm bằng cách kết hợp sức mạnh của mô hình Diffusion phục hồi hình ảnh với cơ chế attention không gian-thời gian. Các hướng nghiên cứu trong tương lai có thể bao gồm việc khám phá các cơ chế attention hiệu quả hơn để tăng cường tương tác không gian-thời gian, tích hợp các loại suy giảm phức tạp hơn trong quá trình huấn luyện, hoặc mở rộng ứng dụng DA-Flow sang các nhiệm vụ thị giác video khác đòi hỏi sự nhận biết suy giảm.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc tích hợp các mô hình nền tảng đa phương thức (multi-modal foundation models) lớn hơn, không chỉ tập trung vào phục hồi hình ảnh mà còn cả hiểu biết ngữ nghĩa để cải thiện độ chính xác của ước tính dòng quang trong các cảnh phức tạp và bị suy giảm nặng.
  2. Phát triển một phương pháp huấn luyện tự giám sát (self-supervised learning) hoặc không giám sát (unsupervised learning) cho ước tính dòng quang nhận biết suy giảm, giảm sự phụ thuộc vào dữ liệu giả lập chất lượng cao và tăng khả năng khái quát hóa cho các loại suy giảm chưa từng thấy.
  3. Khám phá việc áp dụng các cơ chế attention không gian-thời gian thích ứng (adaptive spatio-temporal attention) để mô hình có thể điều chỉnh mức độ tương tác giữa các khung hình dựa trên mức độ và loại suy giảm hiện có, tối ưu hóa giữa việc bảo toàn chi tiết không gian và thu thập thông tin chuyển động.

2. Patent:​

  1. Hệ thống ổn định video trên điện thoại di động thông minh trong điều kiện ánh sáng yếu hoặc rung lắc: Sử dụng công nghệ DA-Flow để phân tích chuyển động pixel chính xác từ video bị mờ hoặc nhiễu do rung tay hoặc ánh sáng yếu. Dữ liệu dòng quang này sau đó được dùng để bù trừ chuyển động, tạo ra video ổn định hơn mà không làm mất đi chi tiết, cải thiện đáng kể trải nghiệm quay video trong điều kiện khó khăn.
  2. Ứng dụng chỉnh sửa ảnh/video tự động "khôi phục chuyển động" cho di động: Một ứng dụng cho phép người dùng chụp ảnh hoặc quay video trong môi trường thiếu sáng hoặc có chuyển động nhanh. Công nghệ DA-Flow sẽ tự động phát hiện và phục hồi các chi tiết chuyển động bị mờ hoặc nhiễu, giúp làm sắc nét các đối tượng đang di chuyển và cải thiện chất lượng tổng thể của nội dung đa phương tiện chỉ với một chạm.
  3. Hệ thống nhận diện cử chỉ/hành động trên thiết bị đeo tay (wearable devices) trong môi trường thực tế: Tích hợp một phiên bản nhẹ của DA-Flow vào các thiết bị đeo tay như kính thông minh hoặc đồng hồ để phân tích cử chỉ của người dùng trong các điều kiện ánh sáng khác nhau hoặc khi có nhiễu hình ảnh. Điều này cho phép điều khiển thiết bị hoặc tương tác với môi trường ảo một cách đáng tin cậy hơn, ngay cả khi chất lượng video đầu vào bị suy giảm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.23499
ArXiv Abstracthttps://arxiv.org/abs/2603.23499
PDF Downloadhttps://arxiv.org/pdf/2603.23499.pdf
Github Repositoryhttps://github.com/cvlab-kaist/DA-Flow

6. PEARL: Personalized Streaming Video Understanding Model (36 votes)​

Tác giả: Yuanhong Zheng, Ruichuan An, Xiaopeng Lin, Yuxing Liu, Sihan Yang, Huanyu Zhang, Haodong Li, Qintong Zhang, Renrui Zhang, Guopeng Li, Yifan Zhang, Yuheng Li, Wentao Zhang

Xuất bản lúc: 2026-03-20

Tag: Personalized model, Streaming video understanding, Vision-Language Models, AI assistants, Benchmark, Memory Systems, Retrieval-Augmented Generation

I. Main Problem:​

Các phương pháp cá nhân hóa đa phương thức hiện tại bị giới hạn ở hình ảnh tĩnh hoặc video ngoại tuyến, làm mất kết nối giữa đầu vào thị giác liên tục và phản hồi tức thì trong thế giới thực. Điều này hạn chế khả năng của chúng trong việc cung cấp các phản hồi cá nhân hóa, tương tác và thời gian thực cần thiết cho các trợ lý AI trong tương lai. Các phương pháp hiện có gặp khó khăn trong việc duy trì ngữ cảnh hình ảnh streaming và tiếp thu các khái niệm mới ngay lập tức mà không cần huấn luyện lại tốn kém.

II. Main Idea:​

Để giải quyết vấn đề trên, nghiên cứu này đề xuất và định nghĩa chính thức nhiệm vụ mới: Hiểu video streaming cá nhân hóa (Personalized Streaming Video Understanding - PSVU). Để thúc đẩy nghiên cứu trong lĩnh vực này, nhóm giới thiệu PEARL-Bench, một bộ benchmark toàn diện đầu tiên được thiết kế để đánh giá khả năng phản hồi các khái niệm cá nhân hóa tại các mốc thời gian chính xác, bao gồm hai chế độ: cấp độ khung hình và cấp độ video.

Ngoài ra, nghiên cứu đề xuất PEARL, một chiến lược plug-and-play, không cần huấn luyện, đóng vai trò là một baseline mạnh mẽ. PEARL có Hệ thống bộ nhớ hai cấp (Dual-grained Memory System) tách biệt kiến thức tập trung vào khái niệm khỏi các quan sát tập trung vào luồng, lưu trữ các clip video liên tục và đăng ký các khái niệm do người dùng định nghĩa một cách linh hoạt. Để đảm bảo phản hồi nhanh chóng và chính xác, PEARL cũng giới thiệu Thuật toán truy xuất nhận biết khái niệm (Concept-aware Retrieval Algorithm), sử dụng các mô tả khái niệm đã lưu trữ để truy xuất chính xác bằng chứng hình ảnh lịch sử liên quan.

III. Main Results:​

PEARL đạt hiệu suất tiên tiến nhất trên 8 mô hình ngoại tuyến và trực tuyến. Đáng chú ý, nó mang lại những cải tiến PSVU nhất quán khi được áp dụng cho 3 kiến trúc khác nhau, chứng tỏ là một chiến lược hiệu quả và mạnh mẽ. Cụ thể, PEARL đạt mức tăng hiệu suất trung bình 13.79% ở cấp độ khung hình và 12.80% ở cấp độ video.

PEARL-Bench bao gồm 132 video độc đáo và 2.173 chú thích chi tiết với dấu thời gian chính xác, đảm bảo sự đa dạng về khái niệm và chất lượng chú thích cao thông qua quy trình kết hợp tạo tự động và xác minh thủ công.

IV. Conclusion & Future Works:​

Công trình này thúc đẩy khả năng cá nhân hóa của các mô hình thị giác-ngôn ngữ (VLM) và truyền cảm hứng cho các nghiên cứu sâu hơn về các trợ lý AI cá nhân hóa streaming. Chúng tôi hy vọng công việc này sẽ mở đường cho thế hệ trợ lý AI tương tác tiếp theo.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển các kiến trúc bộ nhớ động và thích ứng cho PSVU, vượt ra ngoài hệ thống bộ nhớ hai cấp hiện tại, để xử lý tốt hơn lượng dữ liệu video streaming không giới hạn và các khái niệm người dùng thay đổi liên tục.
  2. Nghiên cứu các phương pháp học tập liên tục (continual learning) để tích hợp các khái niệm cá nhân hóa mới vào VLMs mà không cần huấn luyện lại toàn bộ mô hình, tối ưu hóa hiệu suất và giảm chi phí tính toán cho PSVU.
  3. Ứng dụng mô hình PSVU trong các kịch bản thực tế như huấn luyện thể chất cá nhân hóa hoặc robot hỗ trợ xã hội, tập trung vào việc xử lý các hành động phức tạp và tương tác đa phương thức.

2. Patent:​

  1. Hệ thống Huấn luyện viên thể chất cá nhân hóa trên điện thoại: Một ứng dụng di động sử dụng camera của điện thoại để theo dõi các động tác tập luyện của người dùng trong thời gian thực. Người dùng có thể định nghĩa các khái niệm hành động cụ thể (ví dụ: "đây là động tác squat đúng của tôi") và AI sẽ cung cấp phản hồi tức thì, cá nhân hóa để điều chỉnh tư thế hoặc kỹ thuật dựa trên các khái niệm đã học.
  2. Trợ lý gia đình thông minh với nhận diện đối tượng động trên điện thoại: Một ứng dụng di động kết nối với camera an ninh hoặc camera của điện thoại, cho phép người dùng "dạy" AI về các đối tượng hoặc người mới (ví dụ: "đây là cây cảnh mới của tôi", "đây là người giao hàng mới") ngay lập tức. Sau đó, người dùng có thể đặt câu hỏi về các đối tượng này trong thời gian thực hoặc quá khứ (ví dụ: "cây cảnh mới của tôi có được tưới nước không?", "người giao hàng đã làm gì lúc 3 giờ chiều?").
  3. Chế độ học tập cá nhân hóa cho trẻ em trên điện thoại: Một ứng dụng giáo dục sử dụng camera điện thoại để theo dõi các vật thể trong môi trường của trẻ. Phụ huynh hoặc giáo viên có thể định nghĩa các khái niệm mới (ví dụ: "đây là hình dạng tam giác", "đây là con mèo của Bob") và ứng dụng sẽ giúp trẻ nhận diện và tương tác với các khái niệm đó trong video streaming, hỗ trợ học tập theo ngữ cảnh và cá nhân hóa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.20422
ArXiv Abstracthttps://arxiv.org/abs/2603.20422
PDF Downloadhttps://arxiv.org/pdf/2603.20422.pdf
Github Repositoryhttps://github.com/Yuanhong-Zheng/PEARL

7. SIMART: Decomposing Monolithic Meshes into Sim-ready Articulated Assets via MLLM (33 votes)​

Tác giả: Chuanrui Zhang, Minghan Qin, Yuang Wang, Baifeng Xie, Hang Li, Ziwei Wang

Xuất bản lúc: 2026-03-24

Tag: MLLM, 3D Generation, Articulated Objects, VQ-VAE, Kinematics, Simulation, Robotic Simulation, VR/AR

I. Main Problem:​

Các tài sản 3D có khớp nối chất lượng cao là không thể thiếu cho AI thể hiện và mô phỏng vật lý, nhưng việc tạo 3D hiện tại vẫn tập trung vào các mô hình tĩnh, tạo ra khoảng trống trong các đối tượng tương tác "sẵn sàng cho mô phỏng". Hầu hết các phương pháp tạo đối tượng có khớp nối gần đây dựa vào các quy trình nhiều giai đoạn tích lũy lỗi qua các module tách rời. Ngoài ra, việc mã hóa 3D dựa trên voxel dày đặc trong các MLLM dẫn đến chuỗi token 3D dài và chi phí bộ nhớ cao, hạn chế khả năng mở rộng cho các đối tượng có khớp nối phức tạp.

II. Main Idea:​

Chúng tôi đề xuất SIMART, một khuôn khổ MLLM thống nhất cùng thực hiện phân tách cấp độ bộ phận và dự đoán động học. Bằng cách giới thiệu Sparse 3D VQ-VAE, SIMART giảm số lượng token xuống 70% so với các token voxel dày đặc, cho phép lắp ráp nhiều bộ phận với độ trung thực cao. SIMART sử dụng kiến trúc Qwen3-VL làm xương sống MLLM, xử lý chuỗi đầu vào đa phương thức (hình ảnh, hình học 3D, văn bản) vào một không gian tiềm ẩn thống nhất. Nó tạo ra các tài sản sẵn sàng cho mô phỏng bằng cách tích hợp các thành phần hình học được tái tạo với siêu dữ liệu động học có cấu trúc (đặc tả URDF) và sử dụng thuật toán phân đoạn bề mặt dựa trên đồ thị để phân tách các bộ phận.

III. Main Results:​

SIMART đạt hiệu suất vượt trội trên các bộ dữ liệu PartNet-Mobility và AIGC, đồng thời cho phép mô phỏng robot dựa trên vật lý. Nó giảm số lượng token xuống 70% so với mã hóa voxel dày đặc. SIMART đạt hiệu suất tốt nhất trên tất cả các chỉ số độ chính xác khớp nối và độ trung thực hình học, bao gồm Type↑, Axis↓, Origin↓, IoU↑, và CD↓ trên cả các mục In-Domain và AI-generated. Cụ thể, trên các mục AI-generated, SIMART đạt Type↑ 0.831, Axis↓ 0.136, Origin↓ 0.145, IoU↑ 0.777, và CD↓ 0.079. SIMART cũng vượt trội đáng kể trong khả năng định vị bộ phận (part grounding) với IoU↑ 0.807 và CD↓ 0.018 trên các mục AI-generated.

IV. Conclusion & Future Works:​

SIMART là một khuôn khổ đa phương thức biến đổi các mô hình 3D tĩnh thành tài sản chức năng, sẵn sàng cho mô phỏng bằng cách tách rời suy luận động học khỏi tạo hình học. Việc sử dụng Sparse 3D VQ-VAE giải quyết các vấn đề cạn kiệt bộ nhớ và giảm 70% sự dư thừa token. Mặc dù có những tiến bộ này, sự khan hiếm và chất lượng không nhất quán của các bộ dữ liệu có khớp nối hiện có vẫn là một hạn chế chính đối với khả năng tổng quát hóa trong thế giới mở. Công việc trong tương lai sẽ tập trung vào việc sử dụng SIMART như một công cụ nền tảng để tạo ra các dự đoán khớp nối đã được xác minh trước, từ đó đẩy nhanh vòng lặp chú thích dữ liệu và tạo ra các bộ dữ liệu lớn hơn, đa dạng hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cải thiện khả năng tổng quát hóa của MLLM cho đối tượng có khớp nối trong môi trường mở thông qua học tập bán giám sát: Nghiên cứu cách sử dụng SIMART để tạo các dự đoán khớp nối đã được xác minh trước và kết hợp kỹ thuật học bán giám sát để mở rộng sang các danh mục đối tượng chưa từng thấy và các cấu trúc khớp nối phức tạp hơn, giải quyết vấn đề khan hiếm dữ liệu.
  2. Phân tích tác động của các chiến lược mã hóa không gian thưa thớt trong MLLM cho hiểu biết 3D về đối tượng phức tạp: Nghiên cứu sâu hơn về các chiến lược mã hóa không gian thưa thớt (ngoài Sparse 3D VQ-VAE) để xem xét các phương pháp biểu diễn 3D hiệu quả hơn nữa, tập trung vào việc duy trì độ trung thực hình học cho các đối tượng rất phức tạp trong khi giảm thiểu chi phí tính toán.
  3. Tích hợp phản hồi vật lý để học tập tăng cường trong tạo tài sản có khớp nối sẵn sàng cho mô phỏng: Khám phá việc sử dụng phản hồi từ các mô phỏng vật lý (ví dụ: NVIDIA Isaac Sim) để tinh chỉnh các mô hình MLLM, cho phép mô hình học cách tạo ra các đối tượng có khớp nối không chỉ chính xác về mặt hình học mà còn ổn định và hoạt động hiệu quả trong các môi trường mô phỏng động.

2. Patent:​

  1. Ứng dụng tái tạo vật thể 3D tương tác từ ảnh chụp điện thoại: Một ứng dụng di động cho phép người dùng chụp ảnh (hoặc quay video) một vật thể trong thế giới thực. Ứng dụng sẽ sử dụng công nghệ tương tự SIMART để tự động phân tích và tạo ra mô hình 3D của vật thể đó, bao gồm cả các bộ phận chuyển động và cách chúng tương tác (ví dụ: cánh cửa tủ lạnh, ngăn kéo bàn). Người dùng có thể xem, tương tác với mô hình 3D này trên điện thoại, hoặc xuất ra để sử dụng trong các ứng dụng thực tế tăng cường (AR)/thực tế ảo (VR).
  2. Hệ thống tạo vật thể AR động cho điện thoại di động thông qua giọng nói hoặc cử chỉ: Một tính năng trên điện thoại di động cho phép người dùng mô tả một vật thể có thể chuyển động (ví dụ: "một chiếc ghế có thể gập lại") bằng giọng nói hoặc cử chỉ. Điện thoại sẽ sử dụng mô hình ngôn ngữ đa phương thức (MLLM) để tạo ra một mô hình 3D của vật thể đó với các khớp nối và chuyển động được xác định. Sau đó, vật thể này có thể được đặt vào môi trường thực thông qua AR, và người dùng có thể tương tác với nó (ví dụ: gập ghế, mở ngăn kéo) trực tiếp trên màn hình điện thoại.
  3. Công cụ chỉnh sửa và tùy biến vật thể AR có khớp nối trên điện thoại di động: Một công cụ tích hợp trong ứng dụng AR trên điện thoại, cho phép người dùng chỉnh sửa các vật thể 3D có khớp nối đã được tạo hoặc nhập vào. Người dùng có thể thay đổi kích thước, màu sắc của từng bộ phận, hoặc thậm chí điều chỉnh các giới hạn chuyển động của khớp nối (ví dụ: góc mở của cánh cửa, phạm vi trượt của ngăn kéo) một cách trực quan trên màn hình cảm ứng, sau đó xem ngay kết quả trong môi trường AR.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.23386
ArXiv Abstracthttps://arxiv.org/abs/2603.23386
PDF Downloadhttps://arxiv.org/pdf/2603.23386.pdf
Github RepositoryN/A

8. UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation (30 votes)​

Tác giả: Jie Liu, Zilyu Ye, Linxiao Yuan, Shenhan Zhu, Yu Gao, Jie Wu, Kunchang Li, Xionghui Wang, Xiaonan Nie, Weilin Huang, Wanli Ouyang

Xuất bản lúc: 2026-03-24

Tag: Reinforcement Learning, Multimodal Generation, Flow Matching, LLMs, Policy Optimization, Vision-Language Action, MDP

I. Main Problem:​

Các mô hình tạo sinh đa phương thức thống nhất hiện tại gặp khó khăn trong việc tối ưu hóa đồng thời các chính sách tạo văn bản (suy luận) và tạo hình ảnh trong một khuôn khổ học tăng cường (RL) duy nhất. Các phương pháp RL hiện có cho tạo sinh hình ảnh (như FlowGRPO với CFG và hình phạt KL latent) không mở rộng hiệu quả cho các kịch bản tương tác đa vòng và đa điều kiện phức tạp do gánh nặng tính toán và vấn đề "đánh lừa phần thưởng" (reward hacking). Ngoài ra, cần nâng cao chất lượng tạo hình ảnh thông qua quá trình suy luận rõ ràng trong một mô hình thống nhất.

II. Main Idea:​

Đề xuất UniGRPO, một khuôn khổ học tăng cường thống nhất được thiết kế riêng cho việc tạo sinh xen kẽ (interleaved generation). Phương pháp này định hình toàn bộ quá trình "Prompt → Suy luận → Hình ảnh" thành một Quy trình Quyết định Markov (MDP) duy nhất với phần thưởng đầu cuối thưa thớt. UniGRPO tối ưu hóa đồng thời các chính sách tạo văn bản và hình ảnh bằng cách tích hợp GRPO tiêu chuẩn cho suy luận và FlowGRPO cho tổng hợp thị giác. Để đảm bảo khả năng mở rộng, UniGRPO giới thiệu hai sửa đổi quan trọng cho FlowGRPO: (1) loại bỏ Classifier-Free Guidance (CFG) trong quá trình huấn luyện để duy trì các "rollout" tuyến tính, không phân nhánh; và (2) thay thế hình phạt KL latent tiêu chuẩn bằng hình phạt MSE trực tiếp trên các trường vận tốc để cung cấp tín hiệu điều chuẩn mạnh mẽ và trực tiếp hơn, giảm thiểu hiệu quả việc "đánh lừa phần thưởng".

III. Main Results:​

UniGRPO đạt hiệu suất vượt trội, với điểm số 0.8381 trên TA (Text Alignment) và 0.90 trên GenEval. Khuôn khổ này nâng cao đáng kể chất lượng tạo hình ảnh thông qua suy luận, tạo ra các hình ảnh chân thực, chi tiết và phản ánh chính xác các yêu cầu phức tạp của người dùng. Việc tối ưu hóa đồng thời các chính sách suy luận và tổng hợp mang lại lợi ích vượt trội so với việc tối ưu hóa từng thành phần riêng lẻ. Các sửa đổi được đề xuất chứng minh hiệu quả: việc loại bỏ CFG giúp duy trì hiệu suất tương đương hoặc tốt hơn, đồng thời tăng tính hiệu quả về mặt tính toán; hình phạt MSE dựa trên vận tốc đảm bảo quá trình huấn luyện ổn định và ngăn chặn "đánh lừa phần thưởng". UniFPO, một khuôn khổ tương tự sử dụng FPO, đã không hội tụ, cho thấy lợi thế về sự ổn định của công thức dựa trên GRPO của UniGRPO.

IV. Conclusion & Future Works:​

Kết luận: UniGRPO là một khuôn khổ học tăng cường thống nhất, tích hợp suy luận tự hồi quy và tổng hợp thị giác dựa trên luồng vào một vòng lặp tối ưu hóa duy nhất. Phương pháp tối giản này, với việc loại bỏ CFG và điều chuẩn dựa trên vận tốc, thiết lập một công thức huấn luyện có thể mở rộng, giúp nâng cao chất lượng tạo hình ảnh thông qua suy luận và cung cấp một nền tảng mạnh mẽ cho việc huấn luyện hậu kỳ các mô hình đa phương thức xen kẽ hoàn chỉnh trong tương lai.

Các hướng nghiên cứu trong tương lai:

  1. Mở rộng sang tạo sinh xen kẽ đa vòng: Áp dụng UniGRPO cho các kịch bản phức tạp như chỉnh sửa hình ảnh tương tác, kể chuyện bằng hình ảnh và đối thoại đa lượt, nơi chiến lược "rollout" tuyến tính, không CFG của UniGRPO được kỳ vọng sẽ mang lại lợi thế tính toán và sự ổn định đáng kể.
  2. Mô hình phần thưởng quy trình đa phương thức (Multimodal Process Reward Models - PRMs): Giới thiệu phản hồi dày đặc về các bước suy luận trung gian để cải thiện hiệu quả phân bổ tín dụng, đảm bảo tính hợp lý của "suy nghĩ" và khả năng giải thích của mô hình trước khi hình ảnh được tạo ra.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu áp dụng UniGRPO cho các tác vụ tạo sinh hình ảnh phức tạp, đa vòng (multi-round) như chỉnh sửa hình ảnh tương tác hoặc tạo câu chuyện bằng hình ảnh, tập trung vào việc duy trì tính nhất quán ngữ cảnh và hiệu quả tính toán trong các tương tác dài hạn.
  2. Phát triển Mô hình Phần thưởng Quy trình Đa phương thức (Multimodal Process Reward Models) để cung cấp phản hồi dày đặc cho các bước suy luận trung gian của mô hình, cải thiện hiệu quả học tăng cường và khả năng giải thích bằng cách xác minh tính hợp lý của suy nghĩ trước khi tạo hình ảnh.
  3. Khám phá các chiến lược tối ưu hóa chính sách mới để tích hợp các loại phản hồi đa phương thức khác nhau (ví dụ: phản hồi từ người dùng, phản hồi từ các mô hình hiểu biết thị giác-ngôn ngữ) vào vòng lặp huấn luyện RL của UniGRPO, nhằm đạt được sự điều chỉnh linh hoạt hơn.

2. Patent:​

  1. Hệ thống trợ lý sáng tạo hình ảnh thông minh trên di động: Một ứng dụng di động cho phép người dùng nhập các ý tưởng tạo hình ảnh phức tạp bằng ngôn ngữ tự nhiên. Hệ thống sẽ tự động suy luận để mở rộng và làm rõ ý tưởng đó, sau đó tạo ra các biến thể hình ảnh chất lượng cao. Người dùng có thể tương tác để tinh chỉnh quá trình suy luận và tạo hình ảnh, ví dụ, yêu cầu "hãy nghĩ thêm về phong cách nghệ thuật" hoặc "tạo một kịch bản chi tiết hơn cho cảnh này".
  2. Tính năng chỉnh sửa ảnh theo đối thoại đa lượt trên điện thoại: Tích hợp vào ứng dụng chỉnh sửa ảnh trên điện thoại, cho phép người dùng thực hiện các chỉnh sửa phức tạp thông qua các cuộc đối thoại bằng văn bản hoặc giọng nói. Hệ thống sẽ ghi nhớ ngữ cảnh, suy luận về ý định của người dùng và thực hiện các thay đổi hình ảnh một cách liên tục qua nhiều lượt tương tác, ví dụ: "thay đổi bầu trời thành hoàng hôn" -> "và thêm một vài đám mây hồng" -> "ánh sáng có vẻ hơi tối, làm cho nó sáng hơn một chút".
  3. Công cụ tạo hình ảnh giáo dục và kể chuyện tương tác cho trẻ em trên di động: Một ứng dụng di động giúp trẻ em tạo ra các câu chuyện hoặc cảnh vật bằng hình ảnh thông qua các gợi ý đơn giản. Hệ thống sẽ sử dụng khả năng suy luận để phát triển câu chuyện, gợi ý các yếu tố mới và tạo ra hình ảnh minh họa theo từng bước tương tác, khuyến khích sự sáng tạo và học hỏi thông qua trải nghiệm trực quan.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.23500
ArXiv Abstracthttps://arxiv.org/abs/2603.23500
PDF Downloadhttps://arxiv.org/pdf/2603.23500.pdf
Github RepositoryN/A

9. RealMaster: Lifting Rendered Scenes into Photorealistic Video (22 votes)​

Tác giả: Dana Cohen-Bar, Ido Sobol, Raphael Bensadoun, Shelly Sheynin, Oran Gafni, Or Patashnik, Daniel Cohen-Or, Amit Zohar

Xuất bản lúc: 2026-03-24

Tag: Video Generation, Diffusion Models, Sim-to-Real, Video Editing, Generative Models, LoRA, Computer Graphics

I. Main Problem:​

Các mô hình tạo video hiện đại tạo ra sự chân thực đáng kinh ngạc nhưng thiếu khả năng kiểm soát chính xác để điều chỉnh nội dung được tạo theo các yêu cầu cảnh cụ thể và không đảm bảo tính nhất quán 3D. Ngược lại, các công cụ 3D cung cấp khả năng kiểm soát chi tiết và tính nhất quán 3D theo thiết kế, nhưng đầu ra của chúng thường mắc kẹt trong "uncanny valley" (thung lũng kỳ lạ), thiếu chi tiết tần số cao của cảnh quay thực tế. Thu hẹp khoảng cách "sim-to-real" đòi hỏi đồng thời độ chính xác cấu trúc (giữ nguyên hình học và động lực) và chuyển đổi ngữ nghĩa toàn cầu (biến đổi vật liệu, ánh sáng, kết cấu để đạt được sự chân thực). Các phương pháp chỉnh sửa video hiện có gặp khó khăn với sự căng thẳng này, hoặc không thay đổi đủ hoặc thay đổi quá nhiều, làm mất đi các chi tiết quan trọng.

II. Main Idea:​

RealMaster là một phương pháp tận dụng các mô hình khuếch tán video để nâng cấp video được render thành video chân thực, đồng thời duy trì sự liên kết hoàn toàn với đầu ra của công cụ 3D. Phương pháp này bao gồm hai giai đoạn chính:

  1. Tạo dữ liệu huấn luyện (Synthetic-to-Realistic Data Generation): Để giải quyết việc thiếu dữ liệu cặp, RealMaster sử dụng chiến lược truyền lan từ thưa đến dày (sparse-to-dense propagation). Đầu tiên, các khung hình đầu và cuối của video render được chỉnh sửa bằng một mô hình chỉnh sửa hình ảnh có sẵn để tạo ra các "neo" hình ảnh chân thực. Sau đó, diện mạo của các khung neo này được truyền lan qua các khung hình trung gian của chuỗi bằng cách sử dụng mô hình video có điều kiện (VACE), được hướng dẫn bởi các tín hiệu biên (edge maps) từ video đầu vào. Quá trình này tạo ra các cặp dữ liệu video render – video chân thực chất lượng cao.
  2. Huấn luyện mô hình (Model Training): Một bộ điều hợp IC-LoRA nhẹ được huấn luyện trên các cặp video đã tạo. Bộ điều hợp này chắt lọc hành vi của pipeline tạo dữ liệu vào một mô hình duy nhất, có khả năng tổng quát hóa tốt hơn các hạn chế của pipeline (ví dụ: không cần khung neo ở thời điểm suy luận, xử lý các đối tượng/nhân vật xuất hiện giữa chuỗi). Bằng cách tận dụng một mô hình nền tảng mạnh mẽ, mạng lưới học cách bỏ qua những điểm không hoàn hảo trong dữ liệu tổng hợp và tạo ra đầu ra chất lượng cao, trung thực với video render đầu vào.

III. Main Results:​

RealMaster vượt trội đáng kể so với các phương pháp chỉnh sửa video hiện có, cải thiện tính chân thực trong khi vẫn giữ nguyên hình học, động lực và danh tính được chỉ định bởi điều khiển 3D ban đầu, đặc biệt trên các chuỗi GTA-V phức tạp. Cụ thể:

  • Chất lượng ảnh và độ trung thực: Đạt điểm cao nhất về độ chân thực (GPT-RSno-ref 5.296, GPT-RSref 7.33) và bảo toàn danh tính nhân vật (ArcFace 0.473), đồng thời có điểm DINO thấp nhất (30.28) cho thấy độ trung thực cấu trúc tốt hơn so với các baseline (Runway-Aleph, LucyEdit, Editto).
  • Tính nhất quán theo thời gian: Cạnh tranh với các baseline mạnh nhất, đạt điểm Temporal Flickering tốt nhất (0.976) và Motion Smoothness tương đương (0.973).
  • Nghiên cứu người dùng: RealMaster được người dùng ưu tiên hơn tất cả các baseline về độ chân thực (73%), độ trung thực với video gốc (89%) và chất lượng hình ảnh tổng thể (80%).
  • Hiệu ứng thời tiết và tổng quát hóa: Có khả năng thêm hiệu ứng thời tiết động (mưa, tuyết) chỉ bằng cách thay đổi lời nhắc văn bản, mặc dù không được huấn luyện cho khả năng này. Mô hình cũng tổng quát hóa tốt cho các trình mô phỏng khác (ví dụ: từ SAIL-VOS/GTA-V sang CARLA-LOC/CARLA) mà không cần huấn luyện bổ sung, cho thấy nó học được một ánh xạ tổng quát từ diện mạo render sang thực tế.

IV. Conclusion & Future Works:​

RealMaster cung cấp một khuôn khổ hiệu quả cho dịch video sim-to-real, giải quyết vấn đề cân bằng giữa độ trung thực cấu trúc chính xác và chuyển đổi hình ảnh chân thực toàn cầu. Các kết quả nhấn mạnh rằng tính chân thực trong video được tạo không chỉ là vấn đề về diện mạo mà còn về tính nhất quán được duy trì theo thời gian, đòi hỏi sự neo giữ rõ ràng vào cấu trúc render cơ bản.

Hạn chế:

  • Độ chân thực của đầu ra bị giới hạn bởi khả năng của các mô hình chỉnh sửa hình ảnh hiện tại được sử dụng để tạo các neo chân thực.
  • Phương pháp không suy luận rõ ràng về chuyển động; động lực và cử chỉ cơ thể con người được kế thừa từ trình mô phỏng, có thể hạn chế tính chân thực trong các kịch bản chuyển động không hợp lý.

Hướng nghiên cứu tương lai:

  • Phát triển một biến thể truyền phát thời gian thực (real-time streaming variant) để dịch sim-to-real với độ trễ thấp, hỗ trợ các ứng dụng tương tác.
  • Đi xa hơn khỏi diện mạo và giải quyết trực tiếp hơn tính chân thực của chuyển động, kết hợp các tiền nghiệm được học về động lực và cử chỉ cơ thể để chỉnh sửa chuyển động cứng nhắc hoặc tổng hợp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. RealMaster-Live: Dịch Video Sim-to-Real Thời Gian Thực với Độ Trễ Thấp cho Ứng Dụng Tương Tác Nghiên cứu phát triển một kiến trúc mô hình và chiến lược huấn luyện cho phép dịch video từ môi trường mô phỏng sang chân thực theo thời gian thực và theo dòng (streaming), với độ trễ tối thiểu. Tập trung vào việc tối ưu hóa hiệu suất và hiệu quả tính toán để hỗ trợ các ứng dụng tương tác như thực tế ảo, trò chơi hoặc robot.
  2. Nâng Cao Tính Chân Thực Chuyển Động trong Video Sim-to-Real bằng Tiền Nghiệm Động Lực Học Cơ Thể Khám phá các phương pháp tích hợp các tiền nghiệm học được về động lực học cơ thể và cử chỉ của con người vào mô hình RealMaster. Mục tiêu là để mô hình không chỉ cải thiện diện mạo mà còn tinh chỉnh và chỉnh sửa các chuyển động cứng nhắc hoặc không thực tế được kế thừa từ trình mô phỏng, từ đó nâng cao tính chân thực tổng thể của chuyển động trong video đầu ra.
  3. Huấn Luyện Tăng Cường cho Dịch Sim-to-Real: Học Từ Phản Hồi Chân Thực để Cải Thiện Chất Lượng Ảnh Nghiên cứu việc sử dụng học tăng cường hoặc các kỹ thuật học từ phản hồi của con người (Human Feedback) để tinh chỉnh mô hình dịch sim-to-real. Mục tiêu là cho phép mô hình học hỏi từ sự không hoàn hảo trong các neo chân thực ban đầu và vượt qua giới hạn của các mô hình chỉnh sửa hình ảnh hiện có, tạo ra đầu ra với độ chân thực cao hơn và ít sai lệch hơn.

2. Patent:​

  1. Hệ thống Chuyển Đổi Video Game Thành Phim Điện Ảnh Tự Động Trên Di Động Một ứng dụng di động cho phép người dùng quay lại cảnh chơi game hoặc video được render từ các ứng dụng/game trên điện thoại, sau đó tự động chuyển đổi chúng thành video có chất lượng hình ảnh chân thực như phim điện ảnh. Hệ thống sẽ sử dụng công nghệ RealMaster để cải thiện vật liệu, ánh sáng và chi tiết tần số cao, đồng thời giữ nguyên chuyển động và cấu trúc cảnh gốc, giúp người dùng dễ dàng tạo ra các đoạn phim nổi bật từ trải nghiệm game của mình để chia sẻ.
  2. Công Nghệ Cải Thiện Thực Tế Ảo/Tăng Cường (AR/VR) Động Trên Thiết Bị Di Động Một giải pháp phần mềm tích hợp vào các nền tảng AR/VR trên điện thoại, cho phép các đối tượng 3D hoặc cảnh ảo được hiển thị trong môi trường thực tế ảo/tăng cường được "nâng cấp" tức thì để trông chân thực hơn. Điều này bao gồm việc cải thiện kết cấu, đổ bóng và phản chiếu ánh sáng của các vật thể ảo để chúng hòa nhập một cách liền mạch và thuyết phục hơn vào thế giới thực hoặc ảo được tạo ra, mang lại trải nghiệm nhập vai cao hơn cho người dùng di động.
  3. Hệ thống Tạo Hiệu Ứng Thời Tiết Động Thông Minh cho Video Quay Từ Điện Thoại Một tính năng trong ứng dụng chỉnh sửa video trên điện thoại, cho phép người dùng chọn một video đã quay và thêm các hiệu ứng thời tiết động như mưa, tuyết, sương mù một cách chân thực chỉ bằng cách nhập mô tả văn bản hoặc chọn từ danh sách. Công nghệ này sẽ sử dụng các tiền nghiệm được học từ mô hình khuếch tán video để tạo ra các chi tiết phức tạp như giọt mưa rơi, phản chiếu trên bề mặt ướt, hoặc tuyết tích tụ, mà không yêu cầu kiến thức kỹ thuật phức tạp về mô hình 3D hay hiệu ứng đặc biệt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.23462
ArXiv Abstracthttps://arxiv.org/abs/2603.23462
PDF Downloadhttps://arxiv.org/pdf/2603.23462.pdf
Github RepositoryN/A

10. 2Xplat: Two Experts Are Better Than One Generalist (20 votes)​

Tác giả: Hwasik Jeong, Seungryong Lee, Gyeongjin Kang, Seungkwon Yang, Xiangyu Sun, Seungtae Nam, Eunbyung Park

Xuất bản lúc: 2026-03-22

Tag: 3D Gaussian Splatting, Feed-Forward 3DGS, Novel-view Synthesis, Pose-free, Modular Design, Computer Vision

I. Main Problem:​

Các phương pháp 3D Gaussian Splatting (3DGS) tiên tiến hiện tại thường dựa vào kiến trúc nguyên khối (monolithic architectures) để cùng lúc ước tính tư thế camera và tổng hợp biểu diễn 3DGS từ hình ảnh đa góc nhìn chưa hiệu chuẩn. Thiết kế "tất cả trong một" này làm vướng mắc giữa lý luận hình học và mô hình hóa ngoại hình trong một biểu diễn chung, dẫn đến hiệu suất dưới mức tối ưu cho việc tạo ra 3DGS có độ trung thực cao. Ngoài ra, các kiến trúc nguyên khối gặp khó khăn trong việc kết hợp đầy đủ các cơ chế kiến trúc điều kiện theo tư thế tiên tiến và thường yêu cầu thời gian huấn luyện dài hơn.

II. Main Idea:​

Bài báo giới thiệu 2Xplat, một khung 3DGS feed-forward không cần tư thế dựa trên thiết kế hai chuyên gia, tách biệt rõ ràng việc ước tính hình học khỏi việc tạo Gaussian. Một chuyên gia hình học (geometry expert) chuyên dụng sẽ dự đoán tư thế camera, sau đó các tư thế này được truyền rõ ràng đến một chuyên gia ngoại hình (appearance expert) mạnh mẽ để tổng hợp 3D Gaussians. Phương pháp này tận dụng hai chuyên gia đã được huấn luyện trước (Depth Anything 3 cho hình học và Multi-view Pyramid Transformer cho ngoại hình) mà không cần khởi tạo các mô-đun mới, cho phép tinh chỉnh toàn bộ hệ thống một cách hiệu quả từ đầu đến cuối (hội tụ trong dưới 5K lần lặp). Thiết kế mô-đun này cho phép chuyên gia ngoại hình trở nên mạnh mẽ trước các ước tính tư thế camera nhiễu và dễ dàng tích hợp các cơ chế kiến trúc nhận biết tư thế tiên tiến.

III. Main Results:​

Phương pháp 2Xplat vượt trội đáng kể so với các phương pháp 3DGS feed-forward không cần tư thế trước đây và đạt hiệu suất ngang bằng với các phương pháp dựa trên tư thế tiên tiến nhất. Cụ thể, trong các thử nghiệm tổng hợp góc nhìn mới trên bộ dữ liệu DL3DV, 2Xplat (không cần tư thế) đạt PSNR 26.015, SSIM 0.826, LPIPS 0.129 với 12 góc nhìn đầu vào, vượt trội hơn hẳn so với YoNoSplat (20.383 PSNR, 0.602 SSIM, 0.229 LPIPS). Khi có thông tin tư thế chính xác, 2Xplat cũng thể hiện hiệu suất vượt trội (27.240 PSNR với 12 góc nhìn). Hệ thống hội tụ trong vòng chưa đầy 5K lần lặp huấn luyện, chứng tỏ hiệu quả huấn luyện vượt trội của thiết kế mô-đun.

IV. Conclusion & Future Works:​

Thiết kế hai chuyên gia của 2Xplat chứng minh tính hiệu quả cao, thách thức mô hình nguyên khối đang thịnh hành và gợi ý những lợi thế tiềm năng của các nguyên tắc thiết kế mô-đun cho các tác vụ ước tính hình học 3D phức tạp và tổng hợp ngoại hình. Phương pháp này mở đường cho việc loại bỏ nhu cầu về thông tin tư thế camera rõ ràng trong nhiều ứng dụng thực tế. Hướng nghiên cứu trong tương lai sẽ tập trung vào việc khám phá các cách tiếp cận có nguyên tắc hơn để chia sẻ lý luận hình học và thị giác cấp thấp giữa hai chuyên gia.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các cơ chế chia sẻ thông tin cấp thấp hiệu quả giữa chuyên gia hình học và chuyên gia ngoại hình: Khám phá các phương pháp mới để hai chuyên gia có thể tận dụng các đặc trưng thị giác chung mà không làm giảm tính độc lập nhiệm vụ, nhằm tối ưu hóa hiệu suất tổng thể và giảm khả năng xử lý trùng lặp.
  2. Mở rộng kiến trúc hai chuyên gia cho các tác vụ tạo nội dung 3D khác: Áp dụng nguyên tắc tách biệt chuyên gia cho các lĩnh vực như tái tạo đối tượng 3D từ một hình ảnh (single-image 3D reconstruction), tạo mô hình con người 3D (3D human avatar generation) hoặc các tác vụ chỉnh sửa cảnh 3D để kiểm tra tính tổng quát và khả năng thích ứng của phương pháp.
  3. Phát triển các chiến lược tinh chỉnh tự giám sát hoặc bán tự giám sát cho kiến trúc hai chuyên gia: Nghiên cứu cách huấn luyện và tinh chỉnh 2Xplat trên các bộ dữ liệu không có nhãn tư thế hoặc nhãn 3D đầy đủ, nhằm giảm sự phụ thuộc vào dữ liệu được hiệu chuẩn chính xác và tăng cường khả năng ứng dụng trong các môi trường thực tế.

2. Patent:​

  1. Hệ thống quét và tạo mô hình 3D tức thì cho vật thể nhỏ trên điện thoại di động: Một ứng dụng điện thoại cho phép người dùng quay video hoặc chụp nhiều ảnh của một vật thể nhỏ (ví dụ: đồ chơi, sản phẩm) từ các góc độ khác nhau. Hệ thống sẽ tự động ước tính tư thế camera và tạo ra một mô hình 3D Gaussian Splatting chi tiết của vật thể đó ngay lập tức, có thể xem được từ mọi góc nhìn, chia sẻ hoặc xuất sang các định dạng 3D phổ biến để in 3D hoặc sử dụng trong AR.
  2. Công cụ thực tế tăng cường (AR) với khả năng nhận diện môi trường thông minh không cần hiệu chuẩn: Một tính năng tích hợp trong ứng dụng camera điện thoại, cho phép người dùng quét nhanh một không gian (ví dụ: phòng khách, sân vườn). Công nghệ hai chuyên gia sẽ tự động xác định hình học và ngoại hình của môi trường, tạo ra một bản đồ 3D để đặt các vật thể ảo vào không gian thực với độ chính xác cao, duy trì tỷ lệ và tương tác ánh sáng chân thực mà không cần bất kỳ thiết bị cảm biến bổ sung hay hiệu chuẩn camera thủ công nào.
  3. Chức năng chỉnh sửa video 3D động cho người dùng phổ thông trên điện thoại: Một công cụ chỉnh sửa video tích hợp trên điện thoại, cho phép người dùng chọn một đối tượng trong video đã quay. Hệ thống sẽ tự động chuyển đổi đối tượng đó thành biểu diễn 3D Gaussian Splatting, cho phép người dùng thực hiện các thao tác 3D như xoay, phóng to, thu nhỏ, hoặc thay đổi vị trí của đối tượng trong cảnh quay một cách mượt mà và trực quan, tạo ra các hiệu ứng video chuyên nghiệp mà không yêu cầu kiến thức phức tạp về đồ họa 3D.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.21064
ArXiv Abstracthttps://arxiv.org/abs/2603.21064
PDF Downloadhttps://arxiv.org/pdf/2603.21064.pdf
Github Repositoryhttps://github.com/HwasikJeong/2Xplat

11. Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought (19 votes)​

Tác giả: Yunheng Li, Hangyi Kuang, Hengrui Zhang, Jiangxia Cao, Zhaojie Liu, Qibin Hou, Ming-Ming Cheng

Xuất bản lúc: 2026-03-24

Tag: Multimodal CoT, Reinforcement Learning, Vision-Language Models, Policy Optimization, Token-Level Optimization, Perceptual Grounding, Entropy, LVLMs

I. Main Problem:​

Các phương pháp Reinforcement Learning với phần thưởng có thể kiểm chứng (RLVR) hiện có cho suy luận Chain-of-Thought (CoT) đa phương thức thường tối ưu hóa ở mức độ hạt thô, xử lý CoT một cách đồng nhất mà không phân biệt mức độ căn cứ thị giác khác nhau của chúng. Điều này dẫn đến sự giám sát ở cấp độ chuỗi (sequence-level supervision) bỏ qua đóng góp của các bước CoT trung gian và không tận dụng đầy đủ các tín hiệu thị giác cũng như động lực khám phá.

II. Main Idea:​

Bài báo đề xuất Perception-Exploration Policy Optimization (PEPO), một khung tối ưu hóa chính sách cấp độ token, kết hợp nhận thức thị giác và khám phá để nâng cao suy luận CoT trong các mô hình Vision-Language lớn (LVLMs). PEPO phân tích các quỹ đạo suy luận đa phương thức ở cấp độ token, chỉ ra rằng suy luận thành công được đặc trưng bởi động lực token có cấu trúc phản ánh cả căn cứ thị giác (perceptual grounding) và suy luận khám phá (exploratory inference).

Ý tưởng cốt lõi của PEPO là:

  1. Mô hình hóa nhận thức: Tạo ra một "perception prior" từ độ tương đồng trạng thái ẩn (hidden state similarity) giữa các token phản hồi và token thị giác. Điều này là một ước tính nhẹ nhàng, không cần giám sát về mức độ căn cứ thị giác của mỗi token.
  2. Mô hình hóa khám phá: Sử dụng entropy cấp độ token từ các logits đầu ra của mô hình để nắm bắt sự không chắc chắn và các điểm chuyển đổi khám phá trong quá trình suy luận.
  3. Kết hợp nhận thức-khám phá: Sử dụng cơ chế cổng mượt (smooth gating mechanism) để hợp nhất độ tương đồng thị giác và entropy cấp độ token. Cơ chế này đảm bảo nhận thức chiếm ưu thế và điều kiện điều chỉnh dựa trên entropy đối với các token có căn cứ thị giác, tránh khuếch đại bừa bãi các token entropy cao nhưng không liên quan đến thị giác.
  4. Ưu điểm cấp độ token: Các trọng số được tạo ra từ cơ chế cổng này được sử dụng để tinh chỉnh lợi thế cấp độ chuỗi thành lợi thế cấp độ token, từ đó điều chỉnh các cập nhật gradient chính sách hướng tới các token suy luận có căn cứ thị giác và khám phá. PEPO tích hợp liền mạch với các khung RLVR hiện có như GRPO và DAPO mà không yêu cầu giám sát bổ sung hoặc các nhánh phụ trợ, chỉ với chi phí tính toán biên.

III. Main Results:​

  • Suy luận hình học: PEPO cải thiện hiệu suất đáng kể trên Geometry3K, MathVista-mini, MathVerse-mini và LogicVista. Ví dụ, trên Qwen2.5-VL-3B-Instruct, PEPO cải thiện điểm trung bình so với GRPO là +3.67 điểm và so với DAPO là +0.45 điểm. Trên InternVL3-2B-Instruct, mức cải thiện lần lượt là +3.51 và +5.15 điểm.
  • Căn cứ thị giác: Trên RefCOCO và LISA-Grounding, PEPO đạt được cải thiện +0.86 IoU@50 trên tập dữ liệu LISA-Grounding (ngoài miền) và tránh được tình trạng sụp đổ của phương pháp chỉ dựa trên entropy.
  • Phân loại Few-shot: PEPOG đạt được mức tăng trung bình +5.32 điểm trên FGVC Aircraft và +1.46 điểm trên Flower102 so với GRPO, đặc biệt hiệu quả trong các cài đặt dữ liệu hạn chế.
  • Giải đố thị giác: PEPO liên tục cải thiện hiệu suất trên PuzzleVQA và AlgoPuzzleVQA, cho thấy khả năng suy luận không gian thị giác nâng cao.
  • Khả năng mở rộng: PEPOG đạt hiệu suất trung bình cao hơn (+3.87 điểm so với GRPO) khi được đào tạo trên tập dữ liệu lớn ViRL39K và đánh giá trên nhiều tiêu chuẩn suy luận phức tạp.
  • Hiệu quả: Chi phí tính toán bổ sung của PEPO là không đáng kể (tỷ lệ chi phí ρ dưới 1%) và thông lượng (iterations per second) tương đương hoặc cao hơn GRPO, đồng thời có xu hướng tạo ra các phản hồi ngắn hơn.
  • Nghiên cứu cắt bỏ (Ablation Study): Phân tích cho thấy sự kết hợp đầy đủ giữa nhận thức và khám phá là cần thiết để đạt được kết quả tốt nhất, và việc loại bỏ lịch trình tăng dần, chuẩn hóa min-max hoặc cơ chế cổng làm giảm hiệu suất.

IV. Conclusion & Future Works:​

PEPO là một khung tối ưu hóa chính sách cấp độ token tiên phong cho các LVLM, khai thác vai trò bổ sung của các token có căn cứ thị giác và các token có entropy cao. Nó đạt được điều này bằng cách tạo ra một "perception prior" từ độ tương đồng trạng thái ẩn và tích hợp entropy thông qua cơ chế cổng mượt để tinh chỉnh ước tính lợi thế. PEPO mang lại những cải tiến nhất quán và mạnh mẽ trên nhiều tiêu chuẩn đa phương thức đa dạng, bao gồm suy luận hình học, căn cứ thị giác, giải đố thị giác và phân loại ít dữ liệu, trong khi vẫn duy trì động lực đào tạo ổn định và chi phí tính toán biên.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về cơ chế cổng thích ứng và động lực token trong suy luận đa phương thức: Tập trung vào việc phát triển các cơ chế cổng phức tạp hơn hoặc các mô hình động lực token mới để điều chỉnh sự cân bằng giữa nhận thức và khám phá một cách linh hoạt hơn, có thể dựa trên ngữ cảnh hoặc loại nhiệm vụ.
  2. Tối ưu hóa chính sách cấp độ token cho các nhiệm vụ tạo sinh đa phương thức với phản hồi không rõ ràng: Mở rộng PEPO để xử lý các nhiệm vụ tạo sinh phức tạp hơn, nơi phần thưởng có thể kiểm chứng không rõ ràng hoặc đòi hỏi nhiều bước suy luận hơn, khám phá cách áp dụng các tín hiệu cấp độ token để hướng dẫn tạo nội dung sáng tạo hoặc câu chuyện.
  3. Phân tích đa ngôn ngữ về căn cứ thị giác và động lực khám phá trong các mô hình Vision-Language lớn: Mở rộng phân tích cấp độ token của PEPO sang các ngôn ngữ khác ngoài tiếng Anh, điều tra xem các mẫu căn cứ thị giác và động lực khám phá có thay đổi như thế nào giữa các ngôn ngữ và làm thế nào để phát triển các khung tối ưu hóa chính sách đa ngôn ngữ hiệu quả.

2. Patent:​

  1. Hệ thống Hỗ trợ Học tập Thông minh trên Di động với Phản hồi Suy luận Tùy chỉnh: Một ứng dụng di động sử dụng công nghệ tương tự PEPO để phân tích quá trình suy luận của người dùng (ví dụ: khi giải bài toán hình học hoặc logic bằng cách nhập liệu hoặc vẽ trên màn hình). Hệ thống sẽ xác định các bước suy luận có căn cứ thị giác yếu hoặc các điểm không chắc chắn cao và cung cấp phản hồi hoặc gợi ý cá nhân hóa để cải thiện sự hiểu biết và căn cứ thị giác của người dùng, giúp họ học hỏi hiệu quả hơn.
  2. Trợ lý Ảo Nâng cao cho Thiết bị Di động với Khả năng "Hiểu" Ngữ cảnh Thị giác: Một trợ lý ảo trên điện thoại thông minh có thể phân tích cả lời nói và hình ảnh (ví dụ: chụp ảnh môi trường xung quanh) để đưa ra các đề xuất hoặc hành động thông minh hơn. Công nghệ này sẽ sử dụng các tín hiệu cấp độ token để "hiểu" những phần nào của yêu cầu của người dùng được căn cứ vào hình ảnh và những phần nào đòi hỏi suy luận khám phá, cho phép trợ lý đưa ra các câu trả lời chính xác và phù hợp hơn với ngữ cảnh thị giác thực tế (ví dụ: "Tìm cửa hàng cà phê gần cái cây đó" - trợ lý sẽ hiểu "cái cây đó" dựa trên hình ảnh).
  3. Công cụ Tối ưu hóa Trải nghiệm Người dùng Đa phương thức cho Ứng dụng Di động: Một công cụ tích hợp vào các ứng dụng di động (ví dụ: chỉnh sửa ảnh, mua sắm trực tuyến) để phân tích hành vi tương tác của người dùng ở cấp độ token (ví dụ: các cử chỉ chạm, vuốt, nhập liệu) cùng với nội dung thị giác trên màn hình. Bằng cách xác định các tương tác có căn cứ thị giác mạnh hoặc các điểm không chắc chắn trong ý định của người dùng, công cụ có thể tự động điều chỉnh giao diện, gợi ý tính năng hoặc tối ưu hóa luồng công việc để mang lại trải nghiệm người dùng mượt mà và trực quan hơn, đặc biệt trong các tác vụ phức tạp đòi hỏi nhiều bước.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.22847
ArXiv Abstracthttps://arxiv.org/abs/2603.22847
PDF Downloadhttps://arxiv.org/pdf/2603.22847.pdf
Github Repositoryhttps://github.com/xzxxntxdy/PEPO

12. Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing (14 votes)​

Tác giả: Baifeng Shi, Stephanie Fu, Long Lian, Hanrong Ye, David Eigen, Aaron Reite, Boyi Li, Jan Kautz, Song Han, David M. Chan, Pavlo Molchanov, Trevor Darrell, Hongxu Yin

Xuất bản lúc: 2026-03-12

Tag: MLLMs, Video Understanding, Token Reduction, Vision Transformer, Reinforcement Learning, Autoregressive, Multi-modal, High-Resolution Video, Long-Form Video, QA Benchmark

I. Main Problem:​

Các mô hình ngôn ngữ lớn đa phương thức (MLLM) hiện tại gặp khó khăn khi xử lý các video dài và độ phân giải cao do xử lý mọi pixel như nhau trong các bộ biến đổi thị giác (ViT) hoặc MLLM, dẫn đến lãng phí tính toán do dư thừa không gian-thời gian đáng kể. Các phương pháp giảm token hiện có thường chỉ cắt giảm token trong LLM, khiến ViT trở thành nút thắt cổ chai về tính toán và ngăn cản việc mở rộng quy mô. Ngoài ra, thiếu các bộ dữ liệu đánh giá đồng thời video dài và độ phân giải cao.

II. Main Idea:​

Giới thiệu AutoGaze, một mô-đun nhẹ (3M tham số) loại bỏ các phần hình ảnh (patch) dư thừa trước khi chúng được xử lý bởi ViT hoặc MLLM. Được huấn luyện bằng dự đoán token tiếp theo (next-token prediction) và học tăng cường (reinforcement learning) với phần thưởng tái tạo, AutoGaze tự động chọn một tập hợp tối thiểu các patch đa tỷ lệ có thể tái tạo video trong ngưỡng lỗi do người dùng chỉ định. Điều này giúp loại bỏ sự dư thừa trong khi vẫn giữ lại thông tin quan trọng. AutoGaze cũng tự động quyết định độ dài nhìn ngó (gazing length) và hỗ trợ nhìn ngó đa tỷ lệ (multi-scale gazing) và dự đoán đa token (multi-token prediction) để tăng tốc. Để kiểm tra khả năng mở rộng, tác giả cũng giới thiệu HLVid, một bộ dữ liệu QA video dài, độ phân giải cao mới.

III. Main Results:​

  1. AutoGaze giảm số lượng token thị giác từ 4 đến 100 lần. 2. Tăng tốc ViT và MLLM lên tới 19 lần và 10 lần tương ứng. 3. Cho phép MLLM xử lý video 1K khung hình, độ phân giải 4K. 4. Đạt hiệu suất vượt trội trên các bộ dữ liệu video (ví dụ: 67.0% trên VideoMME). 5. Trên bộ dữ liệu HLVid mới, MLLM được mở rộng với AutoGaze cải thiện 10.1% so với baseline và vượt trội hơn MLLM tốt nhất trước đó 4.5%. 6. AutoGaze ưu tiên các patch có chuyển động cao và sử dụng các tỷ lệ mịn hơn cho các patch chi tiết hơn, đồng thời tổng quát hóa tốt cho các video có phong cách và ngữ nghĩa ngoài phân phối (OOD). 7. Chỉ cần khoảng 1% patch cho video 30-FPS, 4K để đạt ngưỡng lỗi tái tạo 0.7 với mức giảm hiệu suất tối thiểu.

IV. Conclusion & Future Works:​

AutoGaze là một framework nhẹ giúp cải thiện hiệu quả của ViT và MLLM bằng cách loại bỏ các patch video dư thừa. Nó được huấn luyện thông qua pre-training NTP và post-training RL để chọn một tập hợp tối thiểu các patch đa tỷ lệ. Điều này giúp giảm đáng kể token thị giác và tăng tốc xử lý, cho phép hiểu video 1024 khung hình, độ phân giải 4K và cải thiện hiệu suất trên các benchmark video. Tác giả cũng giới thiệu HLVid, một benchmark QA video dài (5 phút), độ phân giải cao (4K), nơi MLLM với AutoGaze vượt trội hơn mô hình SOTA trước đó 4.5%.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa "Gazing" thích ứng cho các tác vụ video thời gian thực trên thiết bị biên: Nghiên cứu phát triển các thuật toán và kiến trúc AutoGaze được tinh chỉnh đặc biệt để hoạt động trên các thiết bị di động hoặc IoT với tài nguyên tính toán và năng lượng hạn chế. Tập trung vào việc đạt được khả năng "gazing" thích ứng theo ngữ cảnh để tối đa hóa hiệu suất và giảm thiểu độ trễ cho các ứng dụng như giám sát thông minh hoặc AR/VR trên thiết bị biên.
  2. "Gazing" đa phương thức: Hướng sự chú ý thị giác bằng các tín hiệu âm thanh và văn bản: Khám phá cách tích hợp thông tin từ các phương thức khác như âm thanh (ví dụ: giọng nói, tiếng động) hoặc văn bản (ví dụ: phụ đề, mô tả) để hướng dẫn cơ chế "gazing" của AutoGaze. Mục tiêu là giúp mô hình tập trung vào các vùng hình ảnh liên quan hơn đến nội dung đa phương thức, cải thiện hiểu biết ngữ cảnh và hiệu suất cho các tác vụ QA video phức tạp.
  3. Học "Gazing" tự giám sát để hiểu video chưa được gắn nhãn: Phát triển các phương pháp huấn luyện AutoGaze mà không cần dữ liệu "gazing" được gắn nhãn thủ công hoặc các mục tiêu tái tạo pixel truyền thống. Thay vào đó, sử dụng các tín hiệu tự giám sát từ cấu trúc không gian-thời gian của video hoặc các nhiệm vụ dự đoán tương lai để học cách chọn lọc thông tin hiệu quả, mở rộng khả năng áp dụng của AutoGaze cho dữ liệu video khổng lồ chưa được gắn nhãn.

2. Patent:​

  1. Hệ thống "Tiết kiệm Dữ liệu và Pin" cho ứng dụng gọi video trên điện thoại: Một công nghệ tích hợp vào ứng dụng gọi video (ví dụ: FaceTime, Zalo, Messenger) trên điện thoại thông minh. Hệ thống sẽ tự động xác định các vùng ít thay đổi hoặc không quan trọng trong khung hình video (như phông nền tĩnh) và giảm tần suất cập nhật hoặc độ phân giải của các vùng đó khi truyền tải. Điều này giúp giảm đáng kể lượng dữ liệu di động tiêu thụ và kéo dài thời lượng pin của điện thoại trong các cuộc gọi video dài mà không ảnh hưởng đến chất lượng hình ảnh của người nói hoặc các yếu tố tương tác chính.
  2. Tính năng "Xem trước Tóm tắt Nhanh" cho video dài trên điện thoại: Một công cụ trong ứng dụng thư viện ảnh/video của điện thoại cho phép người dùng xem nhanh nội dung chính của một video dài chỉ trong vài giây. Hệ thống sẽ phân tích video và tự động chọn ra các "khoảnh khắc vàng" hoặc các vùng hình ảnh chứa thông tin mới và quan trọng nhất. Sau đó, nó sẽ tạo một bản tóm tắt trực quan (ví dụ: một chuỗi ảnh động hoặc một video ngắn hơn nhiều) để người dùng có thể nắm bắt nội dung mà không cần xem toàn bộ video, rất hữu ích cho các video ghi lại sự kiện hoặc bài giảng.
  3. Công cụ "Tối ưu hóa Chất lượng Video Tùy chỉnh" trên điện thoại: Một cài đặt nâng cao trong camera hoặc trình chỉnh sửa video của điện thoại. Người dùng có thể chỉ định các vùng ưu tiên trong khung hình (ví dụ: khuôn mặt người, vật nuôi, đối tượng cụ thể) hoặc mức độ chuyển động quan trọng. Hệ thống sẽ tự động phân bổ tài nguyên xử lý để đảm bảo chất lượng hình ảnh và chi tiết cao nhất cho các vùng ưu tiên này, đồng thời tối ưu hóa các vùng khác để giảm dung lượng file và tăng tốc độ xử lý. Điều này cho phép tạo ra các video chất lượng cao hơn ở những điểm quan trọng mà vẫn giữ được hiệu quả về tài nguyên lưu trữ và tính toán.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.12254
ArXiv Abstracthttps://arxiv.org/abs/2603.12254
PDF Downloadhttps://arxiv.org/pdf/2603.12254.pdf
Github Repositoryhttps://github.com/NVlabs/AutoGaze

13. ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model (12 votes)​

Tác giả: Haichao Zhang, Yijiang Li, Shwai He, Tushar Nagarajan, Mingfei Chen, Jianglin Lu, Ang Li, Yun Fu

Xuất bản lúc: 2026-03-23

Tag: Latent World Model, V-JEPA, Vision-Language Model, LLMs, Multimodal, Forecasting, Trajectory Prediction

I. Main Problem:​

Các mô hình thế giới tiềm ẩn (latent world models) hiện tại như V-JEPA2 gặp phải hai hạn chế chính: (1) Giới hạn về ngữ cảnh thời gian do cửa sổ quan sát ngắn và lấy mẫu dày đặc, khiến chúng chỉ tập trung vào ngoại suy cục bộ, cấp thấp và khó nắm bắt ngữ nghĩa dài hạn. (2) Khả năng hiểu ngữ nghĩa và kiến thức chung yếu, làm hạn chế khả năng khái quát hóa. Mặt khác, các mô hình thị giác-ngôn ngữ (VLMs) mạnh về hiểu ngữ nghĩa nhưng không phù hợp làm bộ dự đoán dày đặc độc lập do: lấy mẫu thưa thớt theo tính toán, nút thắt cổ chai đầu ra ngôn ngữ làm nén các trạng thái tương tác chi tiết thành văn bản, và sự không phù hợp về chế độ dữ liệu khi thích ứng với các tập dữ liệu hành động nhỏ.

II. Main Idea:​

Để giải quyết các vấn đề trên, ThinkJEPA đề xuất một khuôn khổ mô hình hóa thế giới tiềm ẩn kiểu JEPA được hướng dẫn bởi VLM, kết hợp mô hình hóa động lực học khung hình dày đặc với hướng dẫn ngữ nghĩa dài hạn thông qua một lộ trình kép theo thời gian: một nhánh JEPA dày đặc để nắm bắt các tín hiệu chuyển động và tương tác chi tiết, và một nhánh VLM-thinker được lấy mẫu đồng nhất với bước nhảy thời gian lớn hơn để cung cấp hướng dẫn giàu kiến thức. Để truyền tải hiệu quả các tín hiệu suy luận tuần tự của VLM, ThinkJEPA giới thiệu một module trích xuất biểu diễn kim tự tháp phân cấp (hierarchical pyramid representation extraction) tổng hợp các biểu diễn VLM đa lớp thành các đặc trưng hướng dẫn tương thích với dự đoán tiềm ẩn. Hướng dẫn từ VLM được đưa vào bộ dự đoán JEPA thông qua điều chế tuyến tính theo đặc trưng (FiLM).

III. Main Results:​

Các thử nghiệm trên dự đoán quỹ đạo thao tác tay cho thấy phương pháp ThinkJEPA vượt trội so với cả baseline chỉ sử dụng VLM mạnh mẽ và baseline bộ dự đoán JEPA. ThinkJEPA cũng cho thấy hành vi triển khai (rollout) dài hạn mạnh mẽ hơn, với chất lượng biểu diễn được cải thiện và hiệu suất tốt hơn cho các tác vụ hạ nguồn. Kết quả được đánh giá trên các tập dữ liệu EgoDex và EgoExo4D sử dụng các chỉ số như ADE, FDE, Accuracy cho quỹ đạo và FD, SL1, CD cho dự đoán tiềm ẩn.

IV. Conclusion & Future Works:​

ThinkJEPA thành công trong việc tích hợp VLM như một "nhà tư duy" để cung cấp hướng dẫn ngữ nghĩa và kiến thức chung cho mô hình thế giới tiềm ẩn kiểu JEPA, giải quyết các hạn chế về ngữ cảnh thời gian và hiểu biết ngữ nghĩa của các mô hình hiện có. Việc sử dụng lộ trình kép theo thời gian và module trích xuất biểu diễn kim tự tháp phân cấp đã chứng minh hiệu quả trong việc kết hợp động lực học chi tiết với ngữ cảnh dài hạn. Kết luận chính là VLMs tốt nhất nên được sử dụng như các nhà cung cấp hướng dẫn ngữ nghĩa và kiến thức, thay vì các bộ dự đoán dày đặc độc lập. Dựa trên thành công này, các hướng nghiên cứu trong tương lai có thể tập trung vào việc áp dụng ThinkJEPA cho các nhiệm vụ phức tạp hơn hoặc tối ưu hóa hiệu suất.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các chiến lược tích hợp VLM đa dạng cho Mô hình Thế giới Tiềm ẩn: Khám phá các phương pháp mới để kết hợp các đặc trưng của VLM vào bộ dự đoán JEPA, vượt ra ngoài FiLM, ví dụ như thông qua cơ chế chú ý chéo hoặc các kiến trúc hợp nhất thích ứng động, nhằm tối ưu hóa sự cân bằng giữa động lực học chi tiết và hướng dẫn ngữ nghĩa dài hạn.
  2. Mở rộng ThinkJEPA cho các nhiệm vụ tương tác người-vật thể phức tạp: Áp dụng và đánh giá ThinkJEPA trên các tập dữ liệu và kịch bản phong phú hơn liên quan đến tương tác người-vật thể phức tạp, chẳng hạn như lắp ráp, sử dụng công cụ hoặc các hoạt động thể thao, để kiểm tra khả năng khái quát hóa và độ bền của mô hình trong việc dự đoán các chuỗi hành động đa dạng.
  3. Tối ưu hóa hiệu quả và khả năng mở rộng của mô hình thế giới được hướng dẫn bởi VLM: Phát triển các kỹ thuật để giảm chi phí tính toán và yêu cầu bộ nhớ của nhánh VLM-thinker, ví dụ như thông qua chưng cất mô hình (model distillation), lượng tử hóa hoặc các phương pháp lấy mẫu VLM hiệu quả hơn, nhằm cho phép triển khai ThinkJEPA trên các thiết bị biên hoặc trong các ứng dụng thời gian thực.

2. Patent:​

  1. Hệ thống dự đoán tương tác vật thể tăng cường thực tế (AR) trên điện thoại di động: Một ứng dụng điện thoại sử dụng camera để quan sát môi trường thực tế và dự đoán cách các vật thể thực tế sẽ tương tác với các yếu tố ảo trong AR. Ví dụ, khi người dùng đặt một vật thể ảo lên bàn thật, hệ thống sẽ dự đoán chính xác cách vật thể ảo đó sẽ phản ứng (ví dụ: lăn, trượt, rơi) dựa trên động lực học của vật thể và ngữ cảnh môi trường, giúp trải nghiệm AR trở nên chân thực hơn.
  2. Công nghệ điều khiển cử chỉ thông minh dự đoán trên điện thoại di động: Một hệ thống trên điện thoại di động cho phép người dùng điều khiển thiết bị hoặc các thiết bị thông minh khác bằng các cử chỉ tay phức tạp. Hệ thống này sử dụng camera để phân tích và dự đoán toàn bộ chuỗi cử chỉ từ những chuyển động ban đầu, ngay cả khi cử chỉ chưa hoàn thành, giúp tăng tốc độ phản hồi và độ chính xác. Ví dụ, người dùng có thể bắt đầu một cử chỉ vuốt phức tạp và điện thoại sẽ dự đoán ý định hoàn chỉnh để thực hiện hành động (ví dụ: mở ứng dụng, điều chỉnh âm lượng) trước khi cử chỉ kết thúc.
  3. Trợ lý thể dục và phục hồi chức năng cá nhân hóa dựa trên dự đoán chuyển động: Một ứng dụng di động sử dụng camera của điện thoại để theo dõi và phân tích các bài tập thể dục hoặc phục hồi chức năng của người dùng. Ứng dụng này có khả năng dự đoán quỹ đạo chuyển động của cơ thể hoặc các chi, sau đó cung cấp phản hồi hoặc chỉnh sửa theo thời gian thực để đảm bảo người dùng thực hiện đúng kỹ thuật, dựa trên sự hiểu biết ngữ nghĩa về mục tiêu của bài tập, ngay cả với những chuyển động tinh tế.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.22281
ArXiv Abstracthttps://arxiv.org/abs/2603.22281
PDF Downloadhttps://arxiv.org/pdf/2603.22281.pdf
Github RepositoryN/A

14. VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models (10 votes)​

Tác giả: Zixuan Wang, Yuxin Chen, Yuqi Liu, Jinhui Ye, Pengguang Chen, Changsheng Lu, Shu Liu, Jiaya Jia

Xuất bản lúc: 2026-03-23

Tag: VLA, Robotics, Visual Prompting, Manipulation, Multimodal Learning, Decomposition

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) hiện tại thường ánh xạ trực tiếp các quan sát hình ảnh và hướng dẫn ngôn ngữ thành tín hiệu điều khiển robot theo kiểu "hộp đen". Điều này buộc một lượt chuyển tiếp duy nhất phải đồng thời xử lý việc diễn giải hướng dẫn, định vị không gian và điều khiển cấp thấp, thường dẫn đến độ chính xác không gian kém và khả năng chống chịu hạn chế trong các kịch bản ngoài phân phối (out-of-distribution). Các khung VLA hiện có cũng thường quá khớp với các phân phối cảnh huấn luyện cụ thể thay vì thực sự định vị hướng dẫn trong môi trường, gây ra lỗi khi gặp các danh mục đối tượng mới hoặc vị trí không gian chưa từng thấy. Hơn nữa, chúng gặp khó khăn trong việc tích hợp hiệu quả suy luận cấp cao với thực thi cấp thấp trong các mô hình end-to-end.

II. Main Idea:​

VP-VLA đề xuất một khung kiến trúc hai hệ thống để tách rời suy luận cấp cao và thực thi cấp thấp thông qua một giao diện nhắc nhở hình ảnh có cấu trúc. Cụ thể, một "Bộ lập kế hoạch Hệ thống 2" (System 2 Planner) dựa trên VLM phân tách các hướng dẫn phức tạp thành các nhiệm vụ con và xác định các đối tượng mục tiêu cùng vị trí đích. Các điểm neo không gian này sau đó được phủ trực tiếp lên các quan sát hình ảnh dưới dạng nhắc nhở hình ảnh có cấu trúc (ví dụ: dấu thập và hộp giới hạn). Được hướng dẫn bởi các nhắc nhở này và được tăng cường bởi một mục tiêu định vị hình ảnh phụ trợ mới trong quá trình huấn luyện, một "Bộ điều khiển Hệ thống 1" (System 1 Controller) sẽ tạo ra các chuyển động thực thi cấp thấp chính xác một cách đáng tin cậy. Bộ lập kế hoạch hoạt động theo cơ chế định hướng sự kiện, chỉ kích hoạt khi có thay đổi trạng thái tương tác (ví dụ: trạng thái kẹp).

III. Main Results:​

VP-VLA cải thiện tỷ lệ thành công 5% trên bộ benchmark Robocasa-GR1-Tabletop, vượt qua các mô hình cơ sở như QwenOFT và GR00T-N1.6. Trên mô phỏng SimplerEnv, phương pháp này đạt được sự cải thiện tuyệt đối đáng kể +8.3%, vượt qua các mô hình VLA trước đó như π0.5. Trong các kịch bản thực tế phức tạp, VP-VLA liên tục cho thấy hiệu suất vượt trội trong cả đánh giá trong phân phối (in-distribution) và ngoài phân phối (out-of-distribution). Cụ thể, trên Robocasa-GR1-Tabletop, VP-VLA đạt tỷ lệ thành công trung bình 53.8%, cao hơn QwenOFT (48.8%). Trên SimplerEnv, VP-VLA đạt 58.3%, cao hơn QwenOFT (50.0%). Trong nhiệm vụ phân loại rác thải trong thế giới thực, VP-VLA đạt tỷ lệ thành công ID 87.5% và OOD 85%, vượt trội đáng kể so với QwenOFT (ID 80%, OOD 63.3%) và thể hiện khoảng cách tổng quát hóa tối thiểu.

IV. Conclusion & Future Works:​

Bài báo kết luận VP-VLA là một khung kiến trúc mới lạ tách rời suy luận cấp cao khỏi điều khiển cấp thấp thông qua giao diện nhắc nhở hình ảnh có cấu trúc. Phương pháp này giới thiệu một mục tiêu định vị hình ảnh phụ trợ trong quá trình huấn luyện, giúp tăng cường độ chính xác không gian và tính mạnh mẽ của các mô hình VLA. Các thí nghiệm trên Robocasa-GR1-Tabletop, SimplerEnv và kịch bản thế giới thực đã chứng minh VP-VLA đạt được những cải tiến nhất quán so với các phương pháp cơ sở mạnh mẽ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cách tạo các loại nhắc nhở hình ảnh phức tạp hơn, động hơn (ví dụ: đường dẫn, vùng tương tác dựa trên affordance) mà không cần đến tên đối tượng cụ thể, để hỗ trợ các nhiệm vụ thao tác phức tạp hơn và môi trường ít cấu trúc hơn.
  2. Mở rộng mục tiêu định vị hình ảnh phụ trợ để tích hợp hiệu quả các tín hiệu định vị từ nhiều chế độ đầu vào (ví dụ: xúc giác, âm thanh) cùng với hình ảnh. Điều này có thể tăng cường hơn nữa độ chính xác và khả năng thích ứng của bộ điều khiển trong các kịch bản tương tác vật lý phức tạp.
  3. Phát triển phương pháp học nhắc nhở hình ảnh tự giám sát, không cần chú thích thủ công, để tự động tạo ra các nhắc nhở hiệu quả từ dữ liệu robot quy mô lớn. Điều này sẽ giảm chi phí chuẩn bị dữ liệu và cho phép tổng quát hóa đến các nhiệm vụ và môi trường đa dạng hơn.

2. Patent:​

  1. Ứng dụng điện thoại di động sử dụng camera để nhận diện đối tượng và vị trí trong môi trường thực. Khi người dùng ra lệnh bằng giọng nói (ví dụ: "Đặt chìa khóa lên bàn"), ứng dụng sẽ hiển thị các dấu hiệu trực quan (ví dụ: vòng tròn trên chìa khóa, hộp giới hạn trên bàn) trên màn hình để hướng dẫn người dùng đặt vật đó chính xác. Điều này có thể dùng cho việc sắp xếp đồ đạc, hoặc hỗ trợ người có thị lực kém tương tác với môi trường.
  2. Ứng dụng thực tế tăng cường (AR) trên điện thoại giúp người dùng lắp ráp hoặc sửa chữa các thiết bị. Sau khi người dùng quét sản phẩm, ứng dụng sẽ phân tích hướng dẫn (ví dụ: "Gắn vít này vào lỗ đó") và chiếu các nhắc nhở hình ảnh (ví dụ: mũi tên chỉ vị trí vít, vòng tròn quanh lỗ) trực tiếp lên vật thể qua camera điện thoại, hướng dẫn từng bước một cách chính xác.
  3. Ứng dụng nấu ăn/làm bánh cá nhân hóa trên điện thoại sử dụng camera để theo dõi quá trình chuẩn bị món ăn. Khi người dùng làm theo công thức (ví dụ: "Cắt cà rốt thành lát mỏng"), ứng dụng sẽ hiển thị các nhắc nhở hình ảnh trực tiếp lên hình ảnh cà rốt trên màn hình (ví dụ: đường kẻ định vị cho lát cắt, vùng giới hạn cho kích thước) để đảm bảo độ chính xác và đồng đều, đặc biệt hữu ích cho người mới học nấu ăn hoặc làm bánh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.22003
ArXiv Abstracthttps://arxiv.org/abs/2603.22003
PDF Downloadhttps://arxiv.org/pdf/2603.22003.pdf
Github Repositoryhttps://github.com/JIA-Lab-research/VP-VLA