🤗 Daily Hugging Face Paper Digest - 2026-03-20

Báo cáo được tạo tự động vào lúc 2026-03-23 08:27:46 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding (84 votes)

Tác giả: Xianjin Wu, Dingkang Liang, Tianrui Feng, Kui Xia, Yumeng Zhang, Xiaofan Li, Xiao Tan, Xiang Bai

Xuất bản lúc: 2026-03-19

Tag: Video Generation Models, 3D Scene Understanding, Spatial Reasoning, Embodied AI, MLLMs, Diffusion Models

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) thường gặp phải tình trạng "mù không gian", tức là chúng gặp khó khăn trong việc suy luận hình học chi tiết và động lực vật lý. Các giải pháp hiện có thường dựa vào dữ liệu 3D rõ ràng hoặc các cấu trúc hình học phức tạp, bị hạn chế bởi sự khan hiếm dữ liệu và thách thức trong việc khái quát hóa. Các bộ mã hóa phân biệt truyền thống thường bỏ qua cấu trúc không gian chính xác, chỉ tập trung vào sự hiện diện ngữ nghĩa do cơ chế giám sát rời rạc và thưa thớt.

II. Main Idea:

Công trình này đề xuất một sự thay đổi mô hình bằng cách tận dụng các tiền đề không gian tiềm ẩn trong các mô hình tạo video quy mô lớn. Tác giả giới thiệu VEGA-3D (Video Extracted Generative Awareness), một khung công tác plug-and-play tái sử dụng một mô hình khuếch tán video được đào tạo trước làm "Mô phỏng Thế giới Tiềm ẩn" (Latent World Simulator). Bằng cách trích xuất các đặc trưng không-thời gian từ các mức nhiễu trung gian và tích hợp chúng với các biểu diễn ngữ nghĩa thông qua cơ chế hợp nhất cổng thích ứng cấp token, VEGA-3D làm giàu MLLMs với các tín hiệu hình học dày đặc mà không cần giám sát 3D rõ ràng. Khung công tác này ưu tiên các kiến trúc dựa trên DiT vì khả năng duy trì tính nhất quán đa góc nhìn mạnh mẽ của chúng.

III. Main Results:

VEGA-3D vượt trội đáng kể so với các phương pháp cơ sở hiện đại trên các điểm chuẩn về hiểu cảnh 3D (ScanRefer, Multi3DRefer, Scan2Cap, ScanQA, SQA3D), suy luận không gian (VSI-Bench) và thao tác vật thể (LIBERO). Ví dụ, VEGA-3D đạt xếp hạng trung bình 1.8 trên các điểm chuẩn hiểu cảnh 3D, vượt qua các mô hình mạnh mẽ khác như 3DRS (2.2) và Video-3D LLM (4.0). Các tiền đề tạo sinh bổ sung hiệu quả các đặc trưng ngữ nghĩa, mang lại những cải tiến đáng kể. Các tín hiệu không gian hữu ích nhất xuất hiện từ các biểu diễn trung gian và giai đoạn khử nhiễu giữa của mô hình tạo sinh, chứ không phải từ kết quả pixel cuối cùng. Tính nhất quán đa góc nhìn có mối tương quan mạnh mẽ với hiệu suất hiểu 3D, với các mô hình dựa trên DiT thể hiện tính nhất quán cao (>96%).

IV. Conclusion & Future Works:

Các mô hình tạo video hiện đại học được các tiền đề không-thời gian có thể chuyển giao, mã hóa cấu trúc và chuyển động nhất quán về mặt hình học, và những tiền đề này mang lại nhiều thông tin nhất ở các biểu diễn trung gian và giai đoạn khử nhiễu giữa. VEGA-3D là một khung công tác plug-and-play sử dụng mô hình tạo video làm "Mô phỏng Thế giới Tiềm ẩn" cho MLLMs, kết hợp mô-đun hợp nhất cổng thích ứng cấp token để tích hợp các không gian token tạo sinh và ngữ nghĩa không đồng nhất. Các thí nghiệm rộng rãi chứng minh những cải tiến nhất quán, xác nhận rằng các tiền đề tạo sinh cung cấp một nền tảng có thể mở rộng để hiểu thế giới vật lý. Điều này ngụ ý rằng những tiến bộ trong tạo video có thể dễ dàng được chuyển giao để cải thiện khả năng hiểu 3D trong các ứng dụng hạ nguồn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các cơ chế hợp nhất nâng cao cho đặc trưng tạo sinh và ngữ nghĩa trong MLLMs: Khám phá các chiến lược hợp nhất phức tạp hơn (ví dụ: dựa trên cơ chế chú ý, phân cấp) để tích hợp hiệu quả hơn các đặc trưng không gian tiềm ẩn từ mô hình tạo sinh với các biểu diễn ngữ nghĩa của MLLM, nhằm cải thiện khả năng suy luận 3D.
Mở rộng việc tận dụng tiền đề không gian từ các loại mô hình tạo sinh khác: Điều tra cách khai thác các tiền đề 3D tiềm ẩn từ các mô hình tạo sinh khác ngoài mô hình khuếch tán video (ví dụ: các mô hình dựa trên NeRF, GAN cho 3D, hoặc các mô hình tạo sinh đa phương thức mới nổi) để nâng cao khả năng hiểu cảnh 3D và suy luận không gian.
Ứng dụng VEGA-3D vào các tác vụ AI vật thể phức tạp hơn: Mở rộng việc tích hợp VEGA-3D vào các tác vụ AI vật thể đòi hỏi mức độ hiểu biết không gian và vật lý sâu sắc hơn, chẳng hạn như điều hướng tự động trong môi trường động, tương tác người-robot phức tạp, hoặc lập kế hoạch tác vụ dài hạn trong các kịch bản thực tế.
patent_ideas

2. Patent:

Công nghệ định vị và tương tác vật thể chính xác trong Thực tế Tăng cường (AR) trên điện thoại di động: Phát triển một hệ thống trên điện thoại di động sử dụng các tiền đề không gian ẩn từ mô hình tạo video để cải thiện độ chính xác của việc định vị và "neo" các vật thể ảo trong môi trường AR. Khi người dùng di chuyển điện thoại, hệ thống sẽ liên tục trích xuất thông tin cấu trúc 3D từ video camera, cho phép các vật thể ảo duy trì vị trí và tỷ lệ chính xác so với thế giới thực, mang lại trải nghiệm AR liền mạch và chân thực hơn.
Trợ lý ảo thông minh trên điện thoại có khả năng suy luận không gian: Tạo ra một trợ lý ảo tích hợp trên điện thoại di động có thể hiểu và phản hồi các câu hỏi phức tạp liên quan đến mối quan hệ không gian của các vật thể trong khung hình camera. Bằng cách kết hợp khả năng hiểu ngữ nghĩa của MLLM với thông tin cấu trúc 3D từ mô hình tạo video, trợ lý ảo có thể trả lời các câu hỏi như "Cái gì ở bên phải chiếc ghế này?" hoặc "Vật thể nào nằm trên bàn?" một cách chính xác, giúp người dùng tương tác tự nhiên hơn với thiết bị và môi trường xung quanh.
Công cụ chỉnh sửa video trên điện thoại với nhận thức không gian 3D: Thiết kế một ứng dụng chỉnh sửa video trên điện thoại thông minh cho phép người dùng thực hiện các thao tác chỉnh sửa dựa trên không gian 3D một cách trực quan. Ứng dụng này sẽ sử dụng các tiền đề hình học từ mô hình tạo video để cho phép người dùng dễ dàng di chuyển, thay đổi kích thước, hoặc xoay các vật thể trong video một cách hợp lý với bối cảnh 3D, hoặc áp dụng các hiệu ứng đặc biệt tuân theo các quy luật vật lý, giúp tạo ra nội dung video chuyên nghiệp hơn mà không cần phần mềm phức tạp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.19235
ArXiv Abstract	https://arxiv.org/abs/2603.19235
PDF Download	https://arxiv.org/pdf/2603.19235.pdf
Github Repository	https://github.com/H-EmbodVis/VEGA-3D

2. SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing (62 votes)

Tác giả: Xinyao Zhang, Wenkai Dong, Yuxin Song, Bo Fang, Qi Zhang, Jing Wang, Fan Chen, Hui Zhang, Haocheng Feng, Yu Lu, Hang Zhou, Chun Yuan, Jingdong Wang

Xuất bản lúc: 2026-03-19

Tag: Diffusion Models, Video Editing, Semantic Alignment, Motion Alignment, Zero-shot Learning, Self-supervised Learning, Generative AI, Computer Vision

I. Main Problem:

Các mô hình chỉnh sửa video theo hướng dẫn hiện tại gặp khó khăn trong việc cân bằng đồng thời giữa việc sửa đổi ngữ nghĩa chính xác và bảo toàn chuyển động trung thực. Các phương pháp hiện có thường dựa vào việc tiêm các tiền đề bên ngoài rõ ràng (như các đặc trưng VLM hoặc điều kiện cấu trúc), điều này làm hạn chế nghiêm trọng tính mạnh mẽ và khả năng khái quát hóa của mô hình. Tình trạng này dẫn đến xung đột: các thay đổi ngữ nghĩa quá mạnh có thể gây ra hiện vật cục bộ, trôi nhận dạng và bật kết cấu, trong khi việc áp đặt tính nhất quán tạm thời có thể làm loãng ý định chỉnh sửa và giảm độ trung thực của hướng dẫn.

II. Main Idea:

SAMA (factorized Semantic Anchoring and Motion Alignment) là một framework phân tách việc chỉnh sửa video thành lập neo ngữ nghĩa và mô hình hóa chuyển động để khắc phục những hạn chế trên. Đầu tiên, Semantic Anchoring thiết lập một neo hình ảnh đáng tin cậy bằng cách cùng dự đoán các token ngữ nghĩa và các latent video tại các khung neo thưa thớt, cho phép lập kế hoạch cấu trúc chỉ dựa trên hướng dẫn. Thứ hai, Motion Alignment tiền huấn luyện cùng một backbone trên các tác vụ khôi phục video tập trung vào chuyển động (như cube inpainting, speed perturbation và tube shuffle), cho phép mô hình nội hóa động lực học thời gian trực tiếp từ các video thô. SAMA được tối ưu hóa với quy trình hai giai đoạn: một giai đoạn tiền huấn luyện được phân tách để học các biểu diễn ngữ nghĩa-chuyển động nội tại mà không cần dữ liệu chỉnh sửa video-hướng dẫn theo cặp, sau đó là tinh chỉnh có giám sát trên dữ liệu chỉnh sửa theo cặp để giải quyết các xung đột còn lại và cải thiện độ trung thực hình ảnh.

III. Main Results:

SAMA đạt hiệu suất dẫn đầu trong số các mô hình mã nguồn mở và cạnh tranh với các hệ thống thương mại hàng đầu (ví dụ: Kling-Omni) trên các tiêu chí tuân thủ hướng dẫn, bảo toàn chuyển động và chất lượng hình ảnh tổng thể.
Cụ thể, SAMA đạt hiệu suất tổng thể tốt nhất trên các tác vụ 'Swap/Change' và 'Remove' trên VIE-Bench, cũng như đạt điểm tổng thể cao nhất trên OpenVE-Bench và ReCo-Bench.
Giai đoạn tiền huấn luyện được phân tách một mình đã mang lại khả năng chỉnh sửa video zero-shot mạnh mẽ, tạo ra các chỉnh sửa nhất quán trên nhiều khung hình trong khi vẫn bảo toàn phần nội dung không được chỉnh sửa.
Nghiên cứu cắt bỏ cho thấy Semantic Anchoring giúp tăng tốc độ hội tụ của mô hình khuếch tán và ổn định quá trình huấn luyện bằng cách giảm phương sai hàm mất mát, tạo ra các chỉnh sửa chất lượng cao hơn ở các giai đoạn huấn luyện sớm hơn.
Motion Alignment cải thiện tính nhất quán theo thời gian dưới chuyển động nhanh và giảm hiện tượng mờ chuyển động, đồng thời cải thiện độ sắc nét của hậu cảnh (ví dụ: văn bản trên màn hình rõ ràng hơn trong trường hợp chuyển động camera lớn).

IV. Conclusion & Future Works:

SAMA giới thiệu một quan điểm phân tách cho việc chỉnh sửa video theo hướng dẫn, tách biệt lập kế hoạch ngữ nghĩa khỏi mô hình hóa chuyển động, giảm sự phụ thuộc vào các tiền đề bên ngoài dễ vỡ. Bằng cách giới thiệu Semantic Anchoring và Motion Alignment thông qua tiền huấn luyện khôi phục video tập trung vào chuyển động, SAMA cho phép backbone khuếch tán nội hóa các biểu diễn ngữ nghĩa và thời gian mạnh mẽ. Mô hình đạt hiệu suất vượt trội so với các mô hình mã nguồn mở hiện có và cạnh tranh với các hệ thống thương mại hàng đầu. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc giải quyết các hạn chế quan sát được trong cài đặt zero-shot, bao gồm:

Tính không nhất quán tạm thời của các chỉnh sửa thuộc tính: Ví dụ, màu sắc của các đối tượng đã chỉnh sửa có thể thay đổi giữa các khung hình.
Hiện tượng mờ của các đối tượng mới được thêm vào: Các vật thể mới có thể xuất hiện hơi mờ.
Hiện tượng bóng mờ còn sót lại: Các chỉnh sửa xóa có thể để lại các vết bóng mờ.

V. Brainstorming Space:

1. Publish Papers:

- Phát triển các phương pháp tiên tiến để đảm bảo tính nhất quán thuộc tính tạm thời cho các chỉnh sửa đối tượng trong video, đặc biệt là trong các kịch bản chỉnh sửa zero-shot.
- Nghiên cứu các kỹ thuật mới nhằm giảm thiểu hiện tượng mờ của các đối tượng được thêm vào và loại bỏ hoàn toàn các vết bóng mờ còn sót lại sau khi xóa đối tượng trong quá trình chỉnh sửa video.
- Mở rộng khung SAMA để hỗ trợ các loại chỉnh sửa video phức tạp hơn, chẳng hạn như thay đổi hành vi hoặc tương tác phức tạp giữa nhiều đối tượng trong một cảnh quay.

2. Patent:

- Ứng dụng chỉnh sửa video bằng giọng nói thông minh trên điện thoại: Một ứng dụng di động cho phép người dùng chỉnh sửa video bằng cách đưa ra các câu lệnh bằng giọng nói hoặc văn bản đơn giản (ví dụ: 'Thay đổi màu áo của người đàn ông thành màu xanh' hoặc 'Xóa chiếc xe đạp ở phía sau'). Hệ thống sẽ tự động thực hiện các chỉnh sửa ngữ nghĩa chính xác trong khi vẫn duy trì chuyển động tự nhiên và chi tiết của video gốc một cách liền mạch, không yêu cầu kỹ năng chỉnh sửa phức tạp.
- Công cụ tạo hiệu ứng phong cách video nhất quán trên di động: Một tính năng tích hợp trong ứng dụng camera hoặc chỉnh sửa video trên điện thoại, cho phép người dùng áp dụng các phong cách nghệ thuật độc đáo (ví dụ: chuyển video thành tranh vẽ màu nước hoặc hoạt hình) cho toàn bộ video. Công cụ này đảm bảo rằng phong cách được áp dụng một cách nhất quán trên tất cả các khung hình và duy trì chuyển động mượt mà của các đối tượng trong video, mang lại kết quả chất lượng cao ngay trên thiết bị cầm tay.
- Hệ thống xóa đối tượng thông minh cho video di động với khả năng khôi phục hậu cảnh: Một công cụ trong ứng dụng chỉnh sửa video trên điện thoại cho phép người dùng dễ dàng loại bỏ các đối tượng không mong muốn khỏi video bằng cách chạm hoặc khoanh vùng. Hệ thống sẽ tự động phân tích và khôi phục hậu cảnh bị che khuất một cách tự nhiên và nhất quán theo thời gian, giúp loại bỏ hoàn toàn các vật thể không mong muốn mà không để lại dấu vết, tạo ra các video sạch và chuyên nghiệp chỉ với vài thao tác đơn giản.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.19228
ArXiv Abstract	https://arxiv.org/abs/2603.19228
PDF Download	https://arxiv.org/pdf/2603.19228.pdf
Github Repository	https://github.com/Cynthiazxy123/SAMA

3. 3DreamBooth: High-Fidelity 3D Subject-Driven Video Generation Model (51 votes)

Tác giả: Hyun-kyu Ko, Jihyeon Park, Younghyun Kim, Dongheok Park, Eunbyung Park

Xuất bản lúc: 2026-03-19

Tag: Subject-Driven Video Generation, 3D-Aware Video Generation, Video Diffusion Models, LoRA, Multi-view Conditioning, DreamBooth, Generative AI

I. Main Problem:

Các phương pháp tạo video theo chủ đề hiện có chủ yếu coi các chủ thể là thực thể 2D, thiếu các kiến thức không gian toàn diện cần thiết để tái tạo hình học 3D. Điều này dẫn đến việc khi tổng hợp các góc nhìn mới, chúng phải tạo ra các chi tiết khả thi nhưng tùy ý cho các vùng không nhìn thấy, thay vì bảo toàn nhận dạng 3D thực sự. Việc đạt được tùy chỉnh nhận biết 3D thực sự vẫn còn thách thức do sự khan hiếm của các bộ dữ liệu video đa góc nhìn, và việc tinh chỉnh các mô hình trên các chuỗi video hạn chế thường dẫn đến tình trạng overfitting theo thời gian. Ngoài ra, các phương pháp dựa trên văn bản thường gặp khó khăn trong việc nắm bắt các chi tiết tần số cao do giới hạn thông tin của embedding văn bản, và quá trình tối ưu hóa chậm, tốn kém tài nguyên.

II. Main Idea:

Bài báo giới thiệu một framework mới cho việc tùy chỉnh video nhận biết 3D, bao gồm 3DreamBooth và 3Dapter. 3DreamBooth tách rời hình học không gian khỏi chuyển động theo thời gian thông qua một mô hình tối ưu hóa 1 khung hình, hạn chế cập nhật vào các biểu diễn không gian để nhúng một prior 3D mạnh mẽ vào mô hình mà không cần huấn luyện dựa trên video tốn kém. Để tăng cường kết cấu chi tiết và tăng tốc độ hội tụ, 3Dapter được tích hợp như một module điều kiện hóa hình ảnh. Sau quá trình pre-training đơn góc nhìn, 3Dapter trải qua quá trình tối ưu hóa đa góc nhìn chung với nhánh tạo chính thông qua một chiến lược điều kiện hóa không đối xứng, cho phép module hoạt động như một bộ định tuyến chọn lọc động, truy vấn các gợi ý hình học cụ thể theo góc nhìn từ một tập hợp tham chiếu tối thiểu.

III. Main Results:

Framework đạt được khả năng tạo video điều kiện 3D, độ trung thực cao trong khi vẫn duy trì hiệu quả tính toán, được chứng minh qua các đánh giá định lượng và định tính. Đặc biệt, việc tích hợp 3Dapter giúp tăng tốc độ hội tụ đáng kể so với chỉ 3DreamBooth. Sự kết hợp 3Dapter và 3DreamBooth bảo toàn hoàn hảo các kết cấu phức tạp (ví dụ: chữ "RIO") sớm hơn nhiều. Framework này vượt trội so với các phương pháp baseline tham chiếu đơn lẻ và các biến thể ablation trong việc tạo ra các video nhận biết 3D và bảo toàn nhận dạng. Ngoài ra, bài báo còn giới thiệu 3D-CustomBench, một bộ tiêu chuẩn đánh giá được tuyển chọn cho tùy chỉnh video nhất quán 3D.

IV. Conclusion & Future Works:

Bài báo đã giải quyết vấn đề tùy chỉnh video nhận biết 3D bằng cách giới thiệu một framework điều kiện hóa đa góc nhìn, giúp giảm thiểu sự vướng mắc giữa nhận dạng không gian và động lực thời gian trong các mô hình khuếch tán video. Framework này đề xuất 3DreamBooth, một chiến lược tối ưu hóa 1 khung hình để tích hợp nhận dạng 3D cụ thể của chủ thể mà không yêu cầu bộ dữ liệu video đa góc nhìn, tận dụng hiệu quả nhận thức 3D vốn có của các mô hình video hiện đại. Ngoài ra, 3Dapter được giới thiệu như một module điều kiện hóa đa góc nhìn được huấn luyện qua quy trình hai giai đoạn, cho phép hội tụ hiệu quả và tạo video điều kiện 3D chính xác. Cuối cùng, bài báo giới thiệu 3D-CustomBench làm bộ tiêu chuẩn đánh giá cho tùy chỉnh video nhất quán 3D.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các chiến lược tối ưu hóa 1 khung hình khác nhau hoặc các phương pháp thay thế để tách rời học không gian và thời gian cho các chủ thể 3D động, không chỉ là các vật thể cứng nhắc.
Khám phá cách mở rộng 3Dapter để xử lý các thuộc tính vật liệu phức tạp hơn, tương tác ánh sáng thực tế hoặc kết hợp thông tin ngữ nghĩa sâu hơn để tạo ra các cảnh quay phức tạp hơn.
Phát triển các phương pháp để giảm nhu cầu về hình ảnh tham chiếu đa góc nhìn rõ ràng, có thể bằng cách tận dụng các prior 3D ngầm từ các mô hình lớn hơn một cách hiệu quả hơn hoặc tạo ra các góc nhìn mới từ một hình ảnh duy nhất với tính nhất quán 3D cao hơn.

2. Patent:

Ứng dụng tạo hình đại diện 3D tùy chỉnh trên điện thoại: Một ứng dụng di động cho phép người dùng chụp một vài bức ảnh của một vật thể (ví dụ: thú cưng, đồ chơi, hoặc thậm chí là khuôn mặt của họ) từ các góc khác nhau. Sau đó, ứng dụng sẽ sử dụng công nghệ tạo video nhận biết 3D để tạo ra một hình đại diện 3D sống động, có thể hoạt hình thành các video ngắn, biểu tượng cảm xúc tùy chỉnh hoặc nhân vật trong game trên điện thoại, duy trì tính nhất quán hình ảnh và hình học 3D từ mọi góc độ.
Trải nghiệm thử đồ ảo tăng cường 3D tùy chỉnh cho thương mại điện tử: Một tính năng trong ứng dụng mua sắm trên điện thoại di động, cho phép người dùng tải lên hình ảnh thiết kế tùy chỉnh của riêng họ (ví dụ: họa tiết cho giày, logo cho túi xách). Công nghệ sẽ render thiết kế tùy chỉnh này lên một mô hình 3D của sản phẩm, cho phép người dùng "thử" hoặc xem sản phẩm tùy chỉnh trong thực tế tăng cường (AR) trong môi trường thực của họ từ mọi góc độ, với ánh sáng động và chuyển động chân thực, giúp đưa ra quyết định mua hàng tốt hơn.
Công cụ tạo video quảng cáo sản phẩm 3D động cho doanh nghiệp nhỏ: Một công cụ di động dành cho các chủ doanh nghiệp nhỏ để nhanh chóng tạo ra các video quảng cáo sản phẩm 3D chuyên nghiệp từ một vài bức ảnh tĩnh. Công nghệ này sẽ cho phép sản phẩm được xem từ mọi góc độ với hình nền và chuyển động tùy chỉnh, giúp tăng tính hấp dẫn cho các cửa hàng trực tuyến, quảng cáo trên mạng xã hội và giới thiệu sản phẩm một cách hiệu quả, tất cả đều thực hiện được chỉ với điện thoại di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.18524
ArXiv Abstract	https://arxiv.org/abs/2603.18524
PDF Download	https://arxiv.org/pdf/2603.18524.pdf
Github Repository	https://github.com/Ko-Lani/3DreamBooth

4. FASTER: Rethinking Real-Time Flow VLAs (49 votes)

Tác giả: Yuxiang Lu, Zhe Liu, Xianzhe Fan, Zhenya Yang, Jinghua Hou, Junyi Li, Kaixin Ding, Hengshuang Zhao

Xuất bản lúc: 2026-03-19

Tag: VLA, Robotics, Real-Time Systems, Flow Matching, Action Chunking, Low Latency, Embodied AI

I. Main Problem:

Việc triển khai các mô hình Vision-Language-Action (VLA) trong thế giới vật lý đòi hỏi khả năng thực thi thời gian thực. Các phương pháp suy luận không đồng bộ hiện có chủ yếu tối ưu hóa độ mượt của quỹ đạo nhưng lại bỏ qua độ trễ quan trọng trong việc phản ứng với các thay đổi của môi trường. Thực tiễn áp dụng lịch trình lấy mẫu cố định trong các VLA dựa trên dòng chảy (flow-based VLAs) có thể không hiệu quả, buộc hệ thống phải hoàn thành tất cả các bước lấy mẫu trước khi bất kỳ chuyển động nào có thể bắt đầu, tạo thành nút thắt cổ chai trong độ trễ phản ứng. Điều này dẫn đến phản ứng chậm trễ trước các nhiễu động bất ngờ, tạo ra 'điểm mù' nguy hiểm trong điều khiển vòng kín và hạn chế sự mạnh mẽ của các chính sách tổng quát trong các kịch bản thế giới thực.

II. Main Idea:

Bài báo giới thiệu FASTER (Fast Action Sampling for ImmediaTE Reaction) để giải quyết vấn đề độ trễ phản ứng trong các chính sách phân đoạn hành động (action chunking policies). FASTER đề xuất Lịch trình nhận biết tầm nhìn (Horizon-Aware Schedule - HAS) để ưu tiên thích nghi các hành động sắp tới trong quá trình lấy mẫu dòng chảy (flow sampling). Điều này nén quá trình khử nhiễu của phản ứng tức thì (ví dụ: trong π0.5 và X-VLA) thành một bước duy nhất, đồng thời bảo toàn chất lượng quỹ đạo dài hạn. Kết hợp với một quy trình client-server truyền tải dữ liệu liên tục (streaming client-server pipeline), FASTER giảm đáng kể độ trễ phản ứng hiệu quả trên robot thực tế. FASTER là một giải pháp plug-and-play cho các VLA dựa trên dòng chảy, không yêu cầu sửa đổi kiến trúc hoặc đào tạo bổ sung.

III. Main Results:

FASTER đạt được khả năng tăng tốc gấp 10 lần so với các mô hình π0.5 và X-VLA gốc trong việc lấy mẫu hành động. Nó giảm đáng kể độ trễ phản ứng hiệu quả trên robot thực tế, đặc biệt khi triển khai trên các GPU tiêu dùng (như RTX 4060 và RTX 4090). Các thí nghiệm trong thế giới thực, bao gồm nhiệm vụ bóng bàn cực kỳ năng động, chứng minh rằng FASTER mở khóa khả năng phản ứng thời gian thực chưa từng có cho các chính sách tổng quát, cho phép tạo ra các quỹ đạo chính xác và mượt mà một cách nhanh chóng. FASTER giảm độ trễ suy luận, được phản ánh qua chỉ số Time to First Action (TTFA) thấp hơn, đồng thời tăng tần suất chu trình suy luận-thực thi thông qua sự kết hợp của đầu ra truyền tải liên tục và các chiến lược dừng sớm.

IV. Conclusion & Future Works:

FASTER là VLA thời gian thực đầu tiên tập trung rõ ràng vào khả năng phản ứng bằng cách tăng tốc lấy mẫu các hành động tức thì. Nó không yêu cầu sửa đổi kiến trúc, làm cho nó trở thành một giải pháp độc lập và bổ sung cho các kỹ thuật VLA hiệu quả đã được đề cập. Công trình này mở ra một con đường đầy hứa hẹn để đạt được các VLA thực sự thời gian thực.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng lịch trình nhận biết tầm nhìn (Horizon-Aware Schedule) cho các kiến trúc VLA khác: Nghiên cứu cách áp dụng và điều chỉnh lịch trình ưu tiên hành động tức thì của FASTER cho các mô hình VLA dựa trên các cơ chế tạo sinh khác, như mô hình khuếch tán (Diffusion Models) hoặc Transformer thuần túy, để đạt được độ trễ phản ứng thấp tương tự.
Học hỏi lịch trình phản ứng tối ưu: Phát triển các phương pháp để học tự động các tham số tối ưu (ví dụ: u_i, α) cho lịch trình nhận biết tầm nhìn, hoặc thậm chí một lịch trình thích ứng hoàn toàn dựa trên dữ liệu, thay vì các giá trị được xác định trước, nhằm tối đa hóa khả năng phản ứng và độ chính xác cho các nhiệm vụ cụ thể.
Tối ưu hóa pipeline client-server cho VLA phân tán và biên: Nghiên cứu sâu hơn về cách tối ưu hóa pipeline client-server truyền tải liên tục của FASTER để triển khai các hệ thống VLA phân tán hoặc trên các thiết bị biên (edge devices), nơi tài nguyên hạn chế và yêu cầu về độ trễ cực thấp là rất quan trọng.

2. Patent:

Hệ thống phản hồi tức thì cho giao diện người dùng dựa trên cử chỉ trên điện thoại di động: Một hệ thống sử dụng camera của điện thoại để nhận diện cử chỉ tay hoặc đầu của người dùng và thực hiện ngay lập tức hành động đầu tiên được dự đoán (ví dụ: cuộn trang, mở ứng dụng, điều khiển phát lại media) với độ trễ tối thiểu, mang lại trải nghiệm tương tác mượt mà và tự nhiên hơn.
Công nghệ tăng tốc phản hồi cho trợ lý ảo thông minh trên thiết bị di động: Áp dụng nguyên lý của FASTER để cải thiện tốc độ phản hồi của trợ lý ảo trên điện thoại khi người dùng đưa ra lệnh nói hoặc văn bản. Bằng cách ưu tiên xử lý và tạo ra phần đầu tiên của phản hồi (ví dụ: câu trả lời ban đầu, hành động khởi tạo), nó giúp trợ lý ảo "có vẻ" thông minh và nhanh nhạy hơn, giảm cảm giác chờ đợi của người dùng.
Phương pháp dự đoán hành động người dùng cho trải nghiệm AR/VR trên điện thoại: Trong các ứng dụng thực tế tăng cường (AR) hoặc thực tế ảo (VR) chạy trên điện thoại, hệ thống có thể dự đoán và chuẩn bị sẵn hành động tương tác đầu tiên của người dùng (ví dụ: chạm, chọn đối tượng) dựa trên chuyển động của điện thoại và hướng nhìn của người dùng, giúp giảm độ trễ khi người dùng thực sự thực hiện hành động, mang lại trải nghiệm nhập vai liền mạch hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.19199
ArXiv Abstract	https://arxiv.org/abs/2603.19199
PDF Download	https://arxiv.org/pdf/2603.19199.pdf
Github Repository	https://github.com/innovator-zero/FASTER

5. Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy Distillation (47 votes)

Tác giả: Zhuolin Yang, Zihan Liu, Yang Chen, Wenliang Dai, Boxin Wang, Sheng-Chieh Lin, Chankyu Lee, Yangyi Chen, Dongfu Jiang, Jiafan He, Renjie Pi, Grace Lam, Nayeon Lee, Alexander Bukharin, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

Xuất bản lúc: 2026-03-19

Tag: LLMs, Reinforcement Learning, Cascade RL, Distillation, MoE, Mathematical Reasoning, Coding Reasoning, Agentic Capabilities

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) cần mở rộng khả năng học tăng cường (RL) để giải quyết một loạt các môi trường và nhiệm vụ suy luận, tác nhân đa dạng và phức tạp hơn mà không làm mất ổn định quá trình huấn luyện. Thách thức chính là tích hợp thành công nhiều môi trường RL và các tác vụ suy luận, tác nhân rất đa dạng, đồng thời khắc phục các sự suy giảm hiệu suất (benchmark regressions) có thể xảy ra khi huấn luyện trong các môi trường RL ngày càng phức tạp.

II. Main Idea:

Các tác giả giới thiệu Nemotron-Cascade 2, một mô hình MoE 30B mở với 3B tham số được kích hoạt. Điểm cải tiến chính là mở rộng Cascade RL để bao phủ một phổ rộng hơn các miền suy luận và tác nhân. Ngoài ra, nhóm nghiên cứu còn đưa vào phương pháp chưng cất kiến thức theo chính sách đa miền (multi-domain on-policy distillation) từ các mô hình giáo viên trung gian mạnh nhất cho từng miền trong suốt quá trình Cascade RL, giúp phục hồi hiệu quả các suy giảm hiệu suất và duy trì mức tăng trưởng mạnh mẽ. Phương pháp này cũng tích hợp RL đa miền cho các nhóm tác vụ có định dạng phản hồi và chi phí xác minh tương tự để cải thiện hiệu quả huấn luyện.

III. Main Results:

Nemotron-Cascade 2 (30B MoE, 3B tham số kích hoạt) đạt hiệu suất dẫn đầu trong khả năng suy luận toán học và lập trình, giành huy chương Vàng tại Olympic Toán học Quốc tế (IMO) 2025, Olympic Tin học Quốc tế (IOI) 2025 và Chung kết Thế giới ICPC. Mô hình này thể hiện mật độ thông minh cao đáng kể với số lượng tham số ít hơn 20 lần so với các mô hình tiên phong khác. Nó vượt trội hơn Qwen3.5-35B-A3B và Nemotron-3-Super-120B-A12B trên hầu hết các điểm chuẩn về toán học, suy luận mã, căn chỉnh và tuân thủ hướng dẫn. Hiệu quả của quy trình huấn luyện Cascade RL kết hợp MOPD được chứng minh bằng việc vượt trội hơn Nemotron-3-Nano-30B-A3B.

IV. Conclusion & Future Works:

Nemotron-Cascade 2 chứng minh hiệu quả của quy trình huấn luyện Cascade RL và Multi-Domain On-Policy Distillation trong việc đạt được khả năng suy luận và tác nhân hàng đầu với kích thước mô hình nhỏ gọn. Dữ liệu huấn luyện, mã nguồn và chi tiết phương pháp được công khai để cộng đồng nghiên cứu có thể tái tạo, phân tích và mở rộng. Trong tương lai, cần tập trung vào việc tiền huấn luyện chuyên sâu hơn về kiến thức và RL tác nhân mạnh mẽ hơn để cải thiện hiệu suất trên các tác vụ chuyên sâu về kiến thức và tác vụ tác nhân, nơi mô hình vẫn còn kém hơn một số đối thủ.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các chiến lược tiền huấn luyện tăng cường kiến thức để cải thiện hiệu suất của LLM trên các tác vụ chuyên sâu về kiến thức, đặc biệt là khi kết hợp với các phương pháp hậu huấn luyện như Cascade RL.
Khám phá các phương pháp RL tác nhân tiên tiến hơn (Agentic RL) để nâng cao khả năng của LLM trong việc thực hiện các tác vụ phức tạp trong môi trường tương tác, bao gồm cả việc sử dụng công cụ và lập kế hoạch đa bước.
Phân tích và tối ưu hóa thứ tự các giai đoạn trong Cascade RL cho các tập hợp miền tác vụ khác nhau, đồng thời phát triển các cơ chế động để thích ứng thứ tự này dựa trên động lực học tập của mô hình và đặc điểm của nhiệm vụ.

2. Patent:

Một hệ thống trợ lý học tập thông minh trên điện thoại di động có khả năng giải thích các khái niệm toán học và lập trình phức tạp. Hệ thống này sử dụng một mô hình ngôn ngữ lớn được tối ưu hóa để cung cấp các giải pháp từng bước, phân tích lỗi và gợi ý cải tiến cho người dùng, tận dụng khả năng suy luận mạnh mẽ của mô hình với kích thước nhỏ gọn để xử lý trực tiếp trên thiết bị.
Một ứng dụng di động cho phép người dùng tương tác với các tác vụ kỹ thuật phần mềm cơ bản, chẳng hạn như gỡ lỗi mã, tạo các đoạn mã đơn giản hoặc tự động sửa lỗi trong môi trường lập trình di động. Ứng dụng này tích hợp công nghệ tương tự như khả năng tác nhân của Nemotron-Cascade 2 để hiểu và thực hiện các yêu cầu liên quan đến mã hóa một cách hiệu quả.
Một tính năng "Trợ lý giải quyết vấn đề đa lĩnh vực" tích hợp vào hệ điều hành điện thoại, cho phép người dùng đặt câu hỏi hoặc mô tả vấn đề trong các lĩnh vực như khoa học, toán học hoặc lập trình. Hệ thống sẽ sử dụng kỹ thuật chưng cất kiến thức đa miền để cung cấp các câu trả lời chính xác và toàn diện, đồng thời có thể thích ứng với các phong cách tương tác khác nhau của người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.19220
ArXiv Abstract	https://arxiv.org/abs/2603.19220
PDF Download	https://arxiv.org/pdf/2603.19220.pdf
Github Repository	N/A

6. Memento-Skills: Let Agents Design Agents (41 votes)

Tác giả: Huichi Zhou, Siyuan Guo, Anjie Liu, Zhongwei Yu, Ziqin Gong, Bowen Zhao, Zhixun Chen, Menglong Zhang, Yihang Chen, Jinsong Li, Runyu Yang, Qiangbin Liu, Xinlei Yu, Jianmin Zhou, Na Wang, Chunyang Sun, Jun Wang

Xuất bản lúc: 2026-03-19

Tag: LLMs, Agents, Reinforcement Learning, Continual Learning, Meta-Learning, Skill Learning, External Memory, Prompt Engineering

I. Main Problem:

Các tác nhân LLM truyền thống thường được triển khai dưới dạng mô hình "đóng băng" (frozen models) sau khi huấn luyện trước, điều này khiến chúng không thể học hỏi từ kinh nghiệm triển khai thực tế. Việc cập nhật tham số mô hình thông qua backpropagation đòi hỏi lượng lớn dữ liệu và tài nguyên tính toán, gây tốn kém và phức tạp cho việc học liên tục. Hơn nữa, các phương pháp hiện có thường dựa vào các tác nhân do con người thiết kế, thiếu khả năng tự động xây dựng và cải thiện tác nhân cho các nhiệm vụ mới.

II. Main Idea:

Memento-Skills giới thiệu một hệ thống tác nhân LLM tổng quát, có khả năng học liên tục, hoạt động như một "tác nhân thiết kế tác nhân". Nó tự động xây dựng, thích nghi và cải thiện các tác nhân cụ thể cho từng nhiệm vụ thông qua kinh nghiệm. Hệ thống này được xây dựng trên một framework học tăng cường dựa trên bộ nhớ với các prompt có trạng thái (stateful prompts). Các "kỹ năng có thể tái sử dụng" (reusable skills), được lưu trữ dưới dạng các tệp markdown có cấu trúc, đóng vai trò là bộ nhớ liên tục và phát triển.

Cơ chế chính là "Học phản chiếu Đọc–Viết" (Read–Write Reflective Learning):

Giai đoạn Đọc (Read): Một bộ định tuyến kỹ năng (skill router) có thể huấn luyện hành vi sẽ chọn kỹ năng phù hợp nhất dựa trên prompt có trạng thái hiện tại.
Giai đoạn Viết (Write): Tác nhân cập nhật và mở rộng thư viện kỹ năng của mình dựa trên kinh nghiệm mới, bao gồm việc gán lỗi (failure attribution), viết lại các tệp kỹ năng, tối ưu hóa các kỹ năng hiện có hoặc khám phá các kỹ năng hoàn toàn mới.

Thiết kế vòng lặp kín này cho phép học liên tục mà không cần cập nhật các tham số của LLM. Tất cả sự thích nghi đều được thực hiện thông qua sự tiến hóa của các kỹ năng và prompt bên ngoài. Hệ thống này cũng sử dụng RL ngoại tuyến một bước (single-step offline RL) để huấn luyện bộ định tuyến kỹ năng, tối ưu hóa cho sự thành công trong thực thi hơn là chỉ dựa vào sự tương đồng ngữ nghĩa. Các thay đổi đối với kỹ năng được bảo vệ bởi một cổng kiểm thử đơn vị tự động (automatic unit-test gate).

III. Main Results:

Memento-Skills đã chứng minh những cải thiện đáng kể trên các benchmark:

Trên benchmark General AI Assistants, đạt được cải thiện tương đối 26.2% về độ chính xác tổng thể.
Trên benchmark Humanity’s Last Exam, đạt được cải thiện tương đối 116.2% về độ chính xác tổng thể.
Hệ thống vượt trội đáng kể so với baseline Read-Write tĩnh, cải thiện độ chính xác kiểm thử lần lượt 13.7 và 20.8 điểm phần trăm trên GAIA và HLE.
Sự chuyển giao kiến thức giữa các nhiệm vụ (cross-task transfer) mạnh nhất khi thư viện kỹ năng học được phù hợp với cấu trúc miền của benchmark, cho thấy hiệu quả của bộ nhớ kỹ năng tự tiến hóa.

IV. Conclusion & Future Works:

Memento-Skills giới thiệu một cách tiếp cận đột phá cho các tác nhân LLM, cho phép chúng tự động học hỏi, thích nghi và cải thiện mà không cần cập nhật tham số mô hình tốn kém. Bằng cách sử dụng các kỹ năng có thể tái sử dụng làm bộ nhớ tiến hóa và cơ chế Học phản chiếu Đọc–Viết, hệ thống có thể thiết kế và tinh chỉnh các tác nhân cho các nhiệm vụ mới một cách hiệu quả. Hướng phát triển trong tương lai có thể tập trung vào việc khám phá các cơ chế khám phá kỹ năng phức tạp hơn, đảm bảo tính giải thích và an toàn của các kỹ năng được tạo ra tự động, và áp dụng framework này vào các môi trường thực tế, năng động với các nhiệm vụ không cố định để đánh giá tính bền vững và khả năng thích ứng của nó trong thời gian dài.

V. Brainstorming Space:

1. Publish Papers:

Cơ chế khám phá và tổng hợp kỹ năng tự động nâng cao cho tác nhân LLM: Nghiên cứu các phương pháp tiên tiến để tác nhân LLM tự động khám phá các kỹ năng mới từ các tương tác phức tạp, vượt ra ngoài việc tối ưu hóa hoặc tái cấu trúc kỹ năng hiện có. Điều này có thể bao gồm việc sử dụng các kỹ thuật học meta hoặc học chuyển giao để tạo ra các kỹ năng tổng quát hơn và có khả năng chuyển giao cao hơn.
Đảm bảo tính giải thích và an toàn trong các hệ thống tác nhân tự thiết kế: Phát triển các khuôn khổ và số liệu để đánh giá và cải thiện tính giải thích của các quyết định được đưa ra bởi bộ định tuyến kỹ năng và quá trình tiến hóa kỹ năng. Đồng thời, nghiên cứu các biện pháp để ngăn chặn việc tác nhân tự động tạo ra các kỹ năng không mong muốn hoặc không an toàn trong các ứng dụng quan trọng.
Đánh giá sự bền vững của tác nhân tự tiến hóa trong môi trường thực tế, không cố định: Thiết kế các thử nghiệm và benchmark dài hạn để đánh giá khả năng của Memento-Skills trong việc duy trì hiệu suất và thích nghi với các thay đổi liên tục trong các môi trường ứng dụng thực tế, nơi các nhiệm vụ và điều kiện có thể thay đổi theo thời gian.

2. Patent:

Trợ lý di động tự học hỏi tác vụ: Một hệ thống trên điện thoại di động có khả năng quan sát các chuỗi hành động lặp đi lặp lại của người dùng hoặc các yêu cầu thường xuyên. Thay vì chỉ thực hiện các lệnh đã được lập trình, hệ thống này tự động tạo ra các "mini-thói quen" hoặc "kỹ năng" mới để tự động hóa các tác vụ đó. Ví dụ, nếu người dùng thường xuyên tìm kiếm "thời tiết" rồi gửi tin nhắn cho "mẹ", điện thoại sẽ học và tạo ra một kỹ năng "gửi tin nhắn thời tiết cho mẹ" và tự động tinh chỉnh nó dựa trên phản hồi của người dùng, giúp điện thoại ngày càng thông minh hơn trong việc hỗ trợ các thói quen cá nhân.
Giao diện ứng dụng di động tự sửa lỗi và tối ưu hóa: Khi người dùng gặp lỗi hoặc khó khăn khi sử dụng một ứng dụng cụ thể trên điện thoại (ví dụ: không thể hoàn tất một giao dịch hoặc thực hiện một chức năng phức tạp), hệ thống sẽ ghi nhận và học hỏi từ các lần thử thất bại và các giải pháp thành công. Sau đó, nó sẽ tự động đề xuất một chuỗi hành động được tối ưu hóa hơn để hoàn thành tác vụ đó, hoặc thậm chí tự động tạo ra một "nút tắt" tùy chỉnh để thực hiện chuỗi hành động phức tạp một cách dễ dàng, giúp người dùng vượt qua các rào cản trong ứng dụng.
Hệ thống giáo dục di động cá nhân hóa và thích ứng: Một ứng dụng học tập trên điện thoại có khả năng phân tích các lỗi và điểm yếu cụ thể của một học sinh khi giải quyết bài tập (ví dụ: liên tục sai một dạng toán nhất định hoặc một quy tắc ngữ pháp). Dựa trên phân tích này, hệ thống sẽ tự động tạo ra các bài tập thực hành bổ sung, các ví dụ minh họa hoặc các "bài học nhỏ" được tùy chỉnh để giải quyết trực tiếp điểm yếu đó, thay vì chỉ cung cấp nội dung học cố định. Điều này giúp ứng dụng trở thành một gia sư cá nhân hóa, liên tục học hỏi cách dạy tốt nhất cho từng học sinh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.18743
ArXiv Abstract	https://arxiv.org/abs/2603.18743
PDF Download	https://arxiv.org/pdf/2603.18743.pdf
Github Repository	https://github.com/Memento-Teams/Memento-Skills

7. Bridging Semantic and Kinematic Conditions with Diffusion-based Discrete Motion Tokenizer (39 votes)

Tác giả: Chenyang Gu, Mingyuan Zhang, Haozhe Xie, Zhongang Cai, Lei Yang, Ziwei Liu

Xuất bản lúc: 2026-03-19

Tag: Diffusion Models, Motion Generation, Conditional Generation, Motion Tokenization, Kinematic Control, Semantic Conditioning, Perception-Planning-Control

I. Main Problem:

Các mô hình tạo chuyển động trước đây gặp khó khăn trong việc tích hợp hiệu quả các tín hiệu kiểm soát động học chi tiết, thay đổi theo thời gian trong khi vẫn duy trì ý định ngữ nghĩa cấp cao. Các mô hình khuếch tán liên tục vượt trội trong kiểm soát động học, còn bộ tạo dựa trên token rời rạc hiệu quả với điều kiện ngữ nghĩa, nhưng việc kết hợp điểm mạnh của cả hai là một thách thức. Các bộ mã hóa chuyển động hiện có thường làm rối loạn ngữ nghĩa cấp cao với các chi tiết chuyển động cấp thấp, đòi hỏi tốc độ token cao hoặc mã phân cấp, làm tăng gánh nặng cho các bộ tạo phía sau và làm phức tạp việc tạo chuyển động có thể kiểm soát được. Ngoài ra, các phương pháp trước đây thường suy giảm chất lượng dưới các ràng buộc động học mạnh mẽ hơn, buộc phải đánh đổi giữa khả năng kiểm soát và tính chân thực.

II. Main Idea:

Bài báo đề xuất một khung ba giai đoạn: Perception (Nhận thức), Planning (Lập kế hoạch) và Control (Điều khiển) để tạo chuyển động có thể kiểm soát được. Trọng tâm của khung này là MoTok, một bộ mã hóa chuyển động rời rạc dựa trên khuếch tán, tách biệt trừu tượng ngữ nghĩa khỏi tái tạo chi tiết cấp thấp bằng cách ủy quyền việc khôi phục chuyển động cho bộ giải mã khuếch tán. Điều này cho phép sử dụng các token một lớp nhỏ gọn mà vẫn giữ được độ chân thực của chuyển động. Đối với các điều kiện động học, các ràng buộc thô được sử dụng để hướng dẫn tạo token trong giai đoạn lập kế hoạch, trong khi các ràng buộc chi tiết hơn được áp dụng trong giai đoạn điều khiển thông qua tối ưu hóa dựa trên khuếch tán. Thiết kế này ngăn chặn các chi tiết động học làm gián đoạn việc lập kế hoạch token ngữ nghĩa, tránh sự đánh đổi giữa khả năng kiểm soát và tính chân thực.

III. Main Results:

Trên tập dữ liệu HumanML3D, phương pháp MoTok cải thiện đáng kể khả năng kiểm soát và độ chân thực so với MaskControl, đồng thời chỉ sử dụng một phần sáu số token. Nó giảm lỗi quỹ đạo từ 0.72 cm xuống 0.08 cm và chỉ số FID từ 0.083 xuống 0.029. Không giống như các phương pháp trước đây suy giảm chất lượng dưới các ràng buộc động học mạnh hơn, MoTok cải thiện độ chân thực, giảm FID từ 0.033 xuống 0.014. MoTok cũng đạt được FID thấp hơn so với các phương pháp dựa trên token mạnh mẽ khác trong tác vụ text-to-motion dưới sự nén dữ liệu mạnh mẽ (ví dụ: 0.039 so với 0.045 với một phần sáu token). Cụ thể, MoTok-DDM-4 giảm FID từ 0.061 xuống 0.027 và gần như giảm một nửa lỗi quỹ đạo (0.098 xuống 0.049) trong cài đặt "Pelvis".

IV. Conclusion & Future Works:

Bài báo đã đề xuất một mô hình ba giai đoạn Perception–Planning–Control thống nhất để tạo chuyển động có điều kiện, hỗ trợ cả bộ lập kế hoạch autoregressive (AR) và khuếch tán rời rạc (DDM) thông qua một giao diện chung. MoTok, một bộ mã hóa chuyển động rời rạc dựa trên khuếch tán, được giới thiệu để tách biệt trừu tượng ngữ nghĩa khỏi tái tạo chi tiết cấp thấp bằng cách ủy quyền khôi phục chuyển động cho bộ giải mã khuếch tán, cho phép sử dụng các token một lớp nhỏ gọn với ngân sách token giảm đáng kể. Cuối cùng, một lược đồ điều kiện từ thô đến tinh đã được phát triển để truyền tín hiệu động học dưới dạng ràng buộc thô trong giai đoạn lập kế hoạch và áp dụng các ràng buộc tinh chỉnh trong quá trình khử nhiễu khuếch tán, cải thiện khả năng kiểm soát và độ chân thực của chuyển động. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng framework này để xử lý các loại điều kiện phức tạp hơn, áp dụng cho các tác vụ tạo chuyển động đa dạng hơn ngoài text-to-motion và text-and-trajectory control, cũng như tối ưu hóa để triển khai trong các ứng dụng thực tế như hoạt hình, robot và các tác nhân có cơ thể.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng sang Tạo Chuyển Động Đa Người: Nghiên cứu áp dụng khung MoTok để tạo ra các tương tác phức tạp giữa nhiều nhân vật người, xem xét các mối quan hệ không gian và thời gian phức tạp giữa họ, mở rộng khả năng từ chuyển động đơn lẻ sang tương tác xã hội.
Tổng hợp Chuyển Động Thời Gian Thực cho Avatar trong VR/AR: Khám phá hiệu quả và độ trễ của MoTok để tạo ra chuyển động người thực tế trong môi trường thực tế ảo và tăng cường tương tác, có thể bao gồm các tối ưu hóa suy luận trên thiết bị di động để hỗ trợ các ứng dụng thời gian thực.
Lập Kế Hoạch Chuyển Động Robot Có Thể Kiểm Soát Bằng MoTok: Điều chỉnh lược đồ điều kiện từ thô đến tinh và giải mã dựa trên khuếch tán của MoTok để tạo ra các chuỗi thao tác hoặc di chuyển robot phức tạp dưới các ràng buộc ngữ nghĩa và động học cụ thể, giúp robot thực hiện các nhiệm vụ phức tạp hơn.

2. Patent:

Hệ thống Tạo Chuyển Động Nhân Vật Ảo Thông Minh trên Điện Thoại: Một ứng dụng di động cho phép người dùng nhập mô tả văn bản (ví dụ: "người nhảy múa vui vẻ") và vẽ một đường dẫn đơn giản trên màn hình. Ứng dụng sẽ sử dụng công nghệ tương tự MoTok để tạo ra một chuỗi chuyển động 3D chân thực cho nhân vật ảo theo mô tả và đường dẫn đã vẽ, có thể dùng trong game, mạng xã hội hoặc hoạt hình nhanh.
Công nghệ Điều Khiển Cử Chỉ Điện Thoại Bằng Lời Nói và Điểm Neo: Một tính năng trên điện thoại thông minh cho phép người dùng ra lệnh bằng giọng nói (ví dụ: "chạm vào biểu tượng này") kết hợp với việc chạm nhẹ vào một điểm trên màn hình. Hệ thống sẽ tạo ra một chuỗi cử chỉ tay ảo mượt mà và tự nhiên trên giao diện người dùng, di chuyển từ vị trí hiện tại của con trỏ (hoặc ngón tay ảo) đến điểm neo được chạm, thực hiện hành động được mô tả, giúp tăng cường khả năng tiếp cận và trải nghiệm người dùng.
Bộ Mã Hóa Chuyển Động Nén Cao cho Giao Tiếp Video: Một phương pháp nén dữ liệu chuyển động người trong các cuộc gọi video hoặc phát trực tiếp. Thay vì truyền toàn bộ hình ảnh, hệ thống sẽ mã hóa các chuyển động chính của người nói thành các "mã chuyển động" rất nhỏ gọn (tương tự như token MoTok). Ở phía người nhận, các mã này được giải mã bởi một mô hình khuếch tán để tái tạo lại chuyển động chân thực của người, giúp giảm đáng kể băng thông cần thiết mà vẫn duy trì chất lượng hiển thị chuyển động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.19227
ArXiv Abstract	https://arxiv.org/abs/2603.19227
PDF Download	https://arxiv.org/pdf/2603.19227.pdf
Github Repository	https://github.com/rheallyc/MoTok

8. MonoArt: Progressive Structural Reasoning for Monocular Articulated 3D Reconstruction (31 votes)

Tác giả: Haitian Li, Haozhe Xie, Junxiang Xu, Beichen Wen, Fangzhou Hong, Ziwei Liu

Xuất bản lúc: 2026-03-19

Tag: Monocular Articulated 3D Reconstruction, Progressive Structural Reasoning, Kinematic Estimation, 3D Generation, Part Segmentation, Transformers, Deep Learning

I. Main Problem:

Việc tái tạo các vật thể 3D có khớp nối từ một hình ảnh duy nhất đòi hỏi phải suy luận đồng thời về hình học, cấu trúc bộ phận và các thông số chuyển động từ bằng chứng trực quan hạn chế. Khó khăn chính nằm ở sự vướng mắc giữa các tín hiệu chuyển động và cấu trúc vật thể, điều này làm cho việc hồi quy khớp nối trực tiếp trở nên không ổn định. Các phương pháp hiện có thường giải quyết thách thức này thông qua giám sát đa góc nhìn, lắp ráp dựa trên truy xuất hoặc tạo video phụ trợ, thường hy sinh khả năng mở rộng hoặc hiệu quả. Ngoài ra, việc tạo ra các tài sản 3D có khớp nối, chất lượng cao với quy mô lớn vẫn đòi hỏi nỗ lực thủ công đáng kể.

II. Main Idea:

MonoArt là một khung thống nhất dựa trên suy luận cấu trúc tiến bộ. Thay vì dự đoán khớp nối trực tiếp từ các đặc trưng hình ảnh, MonoArt dần dần biến đổi các quan sát trực quan thành hình học chuẩn tắc, các biểu diễn bộ phận có cấu trúc và các embedding nhận biết chuyển động trong một kiến trúc duy nhất. Quá trình suy luận có cấu trúc này cho phép suy luận khớp nối ổn định và có thể giải thích được mà không cần các mẫu chuyển động bên ngoài hoặc các pipeline nhiều giai đoạn. Framework gồm bốn thành phần chính: 1) TRELLIS-based 3D Generator tạo ra hình dạng 3D chuẩn tắc. 2) Part-aware Semantic Reasoner chuyển đổi các đặc trưng điểm được căn chỉnh hình học thành các embedding cấp độ bộ phận theo ngữ cảnh toàn cục thông qua tổng hợp tri-plane và tinh chỉnh dựa trên transformer, có giám sát cấu trúc 3D. 3) Dual-Query Motion Decoder tách rời các điểm neo chuyển động không gian và các biểu diễn bộ phận ngữ nghĩa, thực hiện tinh chỉnh lặp lại để suy luận các mẫu chuyển động cấp độ thành phần. 4) Kinematic Estimator dự đoán các thông số khớp nối cấp độ bộ phận (trung tâm, mặt nạ, loại khớp, trục, gốc và giới hạn chuyển động) và suy luận cấu trúc cây động học, tạo ra một bản tái tạo 3D có khớp nối mạch lạc.

III. Main Results:

MonoArt đạt được hiệu suất tiên tiến trên PartNet-Mobility về cả độ chính xác tái tạo và tốc độ suy luận. Trên tập dữ liệu PartNet-Mobility (7 danh mục), MonoArt đạt F-score 0.728, độ chính xác loại khớp 88.26%, lỗi trục 0.209 rad và lỗi điểm xoay 0.085, vượt trội đáng kể so với các phương pháp trước đó. Đối với toàn bộ 46 danh mục, MonoArt vẫn vượt trội, đạt F-score 0.670, độ chính xác loại khớp 67.47% và lỗi điểm xoay 0.108, giảm lỗi điểm xoay hơn 40%, chứng minh khả năng suy luận cấu trúc mạnh mẽ trên các danh mục khớp nối đa dạng. Nó tạo ra hình học chân thực hơn và dự đoán khớp nối chính xác hơn, dẫn đến chuyển động khớp nối hợp lý hơn, đồng thời giảm đáng kể thời gian suy luận. Framework này cũng được tổng quát hóa cho các tác vụ thao tác robot và tái tạo cảnh 3D trong nhà.

IV. Conclusion & Future Works:

Việc nhúng các priors cấu trúc 3D đơn giản hóa việc tái tạo khớp nối từ một hình ảnh duy nhất bằng cách loại bỏ sự phụ thuộc vào việc tạo video, các mẫu chuyển động được thiết kế thủ công hoặc các priors thị giác-ngôn ngữ, cho phép phân tách bộ phận và suy luận khớp nối đáng tin cậy. MonoArt là một khung thống nhất, đầu cuối, dần dần suy luận từ hình học đến động học, tách biệt phục hồi hình dạng, mã hóa nhận biết bộ phận, giải mã chuyển động và hồi quy động học để suy luận khớp nối ổn định và có ý nghĩa vật lý. Framework này còn tổng quát hóa cho các tác vụ thao tác robot và tái tạo 3D trong nhà.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng MonoArt cho Tái tạo Đối tượng Khớp nối trong Cảnh Động: Nghiên cứu cách MonoArt có thể được mở rộng để tái tạo và mô hình hóa các đối tượng khớp nối trong các cảnh động, phức tạp từ một ảnh duy nhất, có thể tích hợp các tín hiệu thời gian nếu có chuỗi ảnh để cải thiện độ chính xác và độ ổn định.
Tái tạo Đối tượng Khớp nối Mạnh mẽ dưới Điều kiện Che khuất và Hỗn loạn: Phát triển các kỹ thuật để tăng cường khả năng của MonoArt trong việc xử lý các đối tượng khớp nối bị che khuất hoặc trong môi trường lộn xộn, tích hợp các phương pháp ước tính độ không chắc chắn hoặc suy luận nhận biết ngữ cảnh để cải thiện hiệu suất trong các kịch bản thực tế.
Tổng quát hóa đa danh mục cho các Đối tượng Khớp nối Mới: Khám phá các phương pháp để cải thiện khả năng của MonoArt trong việc tái tạo và hiểu các khớp nối của các danh mục đối tượng mới chưa từng thấy trong quá trình huấn luyện, tận dụng các kỹ thuật học ít dữ liệu (few-shot learning) hoặc học siêu dữ liệu (meta-learning) để đạt được khả năng thích ứng cao.

2. Patent:

Ứng dụng "Scan & Tương tác 3D" trên di động: Một ứng dụng điện thoại thông minh cho phép người dùng chụp ảnh một vật thể có khớp nối (ví dụ: ghế gấp, bàn lật, tủ) và ngay lập tức tạo ra một mô hình 3D tương tác của vật thể đó trên thiết bị. Người dùng có thể kéo các bộ phận để xem cách chúng chuyển động, kiểm tra kích thước hoặc thử nghiệm các tư thế khác nhau. Điều này hữu ích cho thiết kế nội thất ảo, mua sắm đồ đạc ảo hoặc hướng dẫn sửa chữa thiết bị.
Hệ thống "Phân tích & Hướng dẫn Lắp ráp Ảo" tích hợp camera: Một tính năng trên điện thoại thông minh sử dụng camera để nhận diện các bộ phận của một vật thể cần lắp ráp (ví dụ: đồ chơi, đồ nội thất lắp ghép) từ một bức ảnh đơn. Sau đó, nó tạo ra một mô hình 3D hướng dẫn từng bước lắp ráp, cho phép người dùng xoay, phóng to mô hình và xem cách các bộ phận khớp nối với nhau một cách chính xác, loại bỏ sự cần thiết của hướng dẫn sử dụng giấy và giảm sai sót trong quá trình lắp ráp.
Công cụ "Tạo Tài sản 3D cho Thực tế Tăng cường (AR) di động": Một công cụ tích hợp trong các ứng dụng thực tế tăng cường (AR) trên điện thoại di động, cho phép người dùng nhanh chóng tạo ra các mô hình 3D có khớp nối của các vật thể thực từ một ảnh chụp duy nhất. Các mô hình này có thể được sử dụng ngay lập tức trong môi trường AR, ví dụ như để đặt một chiếc ghế 3D có thể điều chỉnh vị trí trong phòng khách ảo hoặc tạo ra các nhân vật hoạt hình đơn giản có khả năng cử động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.19231
ArXiv Abstract	https://arxiv.org/abs/2603.19231
PDF Download	https://arxiv.org/pdf/2603.19231.pdf
Github Repository	https://github.com/Quest4Science/MonoArt

9. Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens (30 votes)

Tác giả: Yuqing Wang, Chuofan Ma, Zhijie Lin, Yao Teng, Lijun Yu, Shuai Wang, Jiaming Han, Jiashi Feng, Yi Jiang, Xihui Liu

Xuất bản lúc: 2026-03-19

Tag: Discrete Diffusion, Visual Generation, High-Dimensional Tokens, Multimodal AI, Transformer, Image Generation, Masked Modeling, Representation Learning

I. Main Problem:

Các phương pháp tạo ảnh rời rạc hiện tại bị giới hạn ở các token tiềm ẩn chiều thấp (thường 8-32 chiều), làm mất đi sự phong phú về ngữ nghĩa cần thiết cho việc hiểu. Mặc dù các biểu diễn tiền huấn luyện chiều cao (768-1024 chiều) có thể khắc phục hạn chế này, việc tạo ảnh rời rạc từ chúng đặt ra những thách thức cơ bản: 1) Cách lượng tử hóa các đặc trưng chiều cao mà vẫn duy trì chất lượng biểu diễn, và 2) Cách mô hình hóa các token rời rạc chiều cao này một cách hiệu quả, vì việc tạo ảnh tuần tự trực tiếp là không khả thi (tốn O(hwd) bước) và các phương pháp khuếch tán rời rạc tiêu chuẩn không thể nắm bắt các phụ thuộc bên trong vị trí.

II. Main Idea:

Bài báo giới thiệu Cubic Discrete Diffusion (CubiD), mô hình tạo ảnh rời rạc đầu tiên cho các biểu diễn chiều cao. CubiD sử dụng lượng tử hóa theo chiều (dimension-wise quantization) để rời rạc hóa các đặc trưng chiều cao từ các bộ mã hóa tiền huấn luyện (như DINOv2, SigLIP2) mà không cần huấn luyện lại, bảo toàn chất lượng ngữ nghĩa. Điểm mấu chốt là CubiD thực hiện che dấu (masking) chi tiết trên toàn bộ tensor 3D (chiều cao x chiều rộng x chiều sâu), cho phép bất kỳ chiều nào ở bất kỳ vị trí nào cũng có thể được che dấu và dự đoán từ các quan sát một phần. Điều này giúp mô hình học được các mối tương quan phong phú cả bên trong và giữa các vị trí không gian. Quá trình tạo ảnh chỉ yêu cầu một số bước cố định T (hàng trăm bước) bất kể số chiều của đặc trưng, biến quá trình tuần tự không khả thi thành các lần lặp song song hiệu quả.

III. Main Results:

CubiD đạt được kết quả tạo ảnh rời rạc tiên tiến (state-of-the-art) trên tập dữ liệu ImageNet-256 (256x256) với hành vi mở rộng mạnh mẽ từ 900M đến 3.7B tham số. Cụ thể, CubiD-XXL đạt điểm FID 1.88 với token rời rạc 768 chiều. Các token đã được rời rạc hóa này được xác nhận là vẫn giữ được khả năng biểu diễn gốc, chứng minh rằng chúng có thể phục vụ hiệu quả cho cả tác vụ hiểu và tạo ảnh. Các nghiên cứu loại bỏ đã xác nhận sự cần thiết của việc che dấu từng phần tử trên tensor 3D.

IV. Conclusion & Future Works:

CubiD là mô hình tạo ảnh rời rạc mới, lần đầu tiên mô hình hóa trực tiếp các token biểu diễn chiều cao gốc. Bằng cách thực hiện che dấu chi tiết trên toàn bộ tensor không gian-chiều, CubiD đã biến bài toán không khả thi là tạo ra hàng trăm nghìn token tuần tự thành các lần lặp song song có thể quản lý được. Công trình này chứng minh rằng việc tạo ảnh rời rạc với hàm mất mát cross-entropy tiêu chuẩn có thể đạt được kết quả tiên tiến ngay cả trong bối cảnh các token chiều cao đầy thách thức, mà không cần nén hoặc sắp xếp lại không gian biểu diễn gốc. Việc bảo toàn khả năng biểu diễn gốc cho phép cùng một token rời rạc phục vụ cả tác vụ hiểu và tạo ảnh, loại bỏ nhu cầu về các lược đồ token hóa riêng biệt. Tác giả hy vọng công trình này sẽ truyền cảm hứng cho các nghiên cứu trong tương lai về các kiến trúc đa phương thức thống nhất.

V. Brainstorming Space:

1. Publish Papers:

Khám phá ứng dụng CubiD cho các phương thức dữ liệu chiều cao khác như dữ liệu 3D hoặc chuỗi video, nơi sự phong phú về ngữ nghĩa là rất quan trọng để tạo ra nội dung chi tiết và nhất quán.
Nghiên cứu các chiến lược che dấu thích ứng hoặc che dấu phân cấp để tối ưu hóa hơn nữa hiệu quả và chất lượng tạo ảnh, đặc biệt đối với dữ liệu có số chiều cực lớn.
Điều tra việc tích hợp trực tiếp các token rời rạc chiều cao của CubiD vào các mô hình ngôn ngữ lớn (LLMs) để đạt được khả năng suy luận và tạo nội dung đa phương thức thực sự thống nhất, vượt ra ngoài việc chỉ tạo ảnh.

2. Patent:

Chức năng "Tạo Ảnh Chi Tiết" trên điện thoại di động: Một tính năng camera thông minh trên điện thoại sử dụng công nghệ tạo ảnh dựa trên token chiều cao để nâng cao chất lượng ảnh chụp, đặc biệt trong điều kiện ánh sáng yếu hoặc khi phóng to, bằng cách "điền vào" các chi tiết bị thiếu hoặc mờ. Người dùng có thể chỉ định các vùng ảnh để tăng cường độ chi tiết, hoặc thậm chí thay đổi phong cách của các chi tiết cụ thể trong ảnh bằng cách mô tả bằng văn bản.
Hệ thống "Nén & Tái Tạo Nội Dung Thông Minh" cho điện thoại: Phát triển một công nghệ nén và giải nén cho video và ảnh trên điện thoại di động sử dụng các token biểu diễn chiều cao. Công nghệ này cho phép lưu trữ và truyền tải nội dung đa phương tiện ở chất lượng cao nhưng với kích thước tệp nhỏ hơn đáng kể, đồng thời có khả năng tái tạo lại các chi tiết gốc một cách chính xác khi cần, tối ưu hóa dung lượng lưu trữ và băng thông mạng trên thiết bị.
Trợ lý ảo "Thị Giác Sâu" trên điện thoại: Một trợ lý ảo được tích hợp vào điện thoại có khả năng phân tích sâu sắc các hình ảnh do người dùng cung cấp (ví dụ: ảnh chụp vật thể, cảnh vật) bằng cách sử dụng các token biểu diễn chiều cao để nắm bắt ngữ nghĩa chi tiết. Trợ lý này có thể trả lời các câu hỏi phức tạp về nội dung hình ảnh, tạo ra các mô tả phong phú, hoặc thậm chí đề xuất các hành động liên quan dựa trên ngữ cảnh thị giác, mang lại trải nghiệm tương tác đa phương thức vượt trội.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.19232
ArXiv Abstract	https://arxiv.org/abs/2603.19232
PDF Download	https://arxiv.org/pdf/2603.19232.pdf
Github Repository	https://github.com/YuqingWang1029/CubiD

10. LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs (27 votes)

Tác giả: Keda Tao, Yuhua Zheng, Jia Xu, Wenjie Du, Kele Shao, Hesong Wang, Xueyi Chen, Xin Jin, Junhan Zhu, Bohan Yu, Weiqiang Wang, Jian Liu, Can Qin, Yulun Zhang, Ming-Hsuan Yang, Huan Wang

Xuất bản lúc: 2026-03-19

Tag: OmniLLMs, Audio-Video Understanding, Benchmark, Multimodal LLMs, Long-form video, Cross-modal reasoning

I. Main Problem:

Các đánh giá hiện tại về các mô hình ngôn ngữ lớn đa phương thức (OmniLLMs) chủ yếu tập trung vào các clip âm thanh và video ngắn (từ 10 giây đến 5 phút), không phản ánh được nhu cầu của các ứng dụng thực tế nơi video thường kéo dài hàng chục phút. Điều này tạo ra một khoảng trống lớn trong việc đánh giá khả năng hiểu biết đa phương thức thực sự của OmniLLM trong ngữ cảnh dài, nơi chúng gặp khó khăn với bộ nhớ dài hạn, định vị thời gian, hiểu biết chi tiết và căn chỉnh đa phương thức.

II. Main Idea:

Để giải quyết vấn đề này, chúng tôi giới thiệu LVOmniBench, một bộ dữ liệu đánh giá mới được thiết kế đặc biệt để hiểu biết đa phương thức của âm thanh và video dạng dài. LVOmniBench bao gồm 275 video chất lượng cao từ các nền tảng mở, có thời lượng từ 10 đến 90 phút (trung bình 34:29 phút), cùng với 1.014 cặp câu hỏi-trả lời (QA) được lựa chọn và chú thích thủ công nghiêm ngặt. Bộ dữ liệu này nhằm đánh giá các khả năng của OmniLLM trên nhiều lĩnh vực như bộ nhớ dài hạn, định vị thời gian, hiểu biết chi tiết và nhận thức đa phương thức. Các câu hỏi được phân loại theo nhiều loại (nhận thức, hiểu biết, suy luận, lý luận logic) và ba cấp độ khó để đánh giá phân cấp.

III. Main Results:

Đánh giá mở rộng của chúng tôi cho thấy các OmniLLM hiện tại gặp phải những thách thức đáng kể khi xử lý các đầu vào âm thanh-hình ảnh kéo dài. Các mô hình mã nguồn mở thường đạt độ chính xác dưới 35%, trong khi Gemini 3 Pro đạt độ chính xác cao nhất khoảng 65,8%. Ngay cả các mô hình tiên tiến cũng gặp khó khăn với các tác vụ cụ thể như Đếm (Counting) và Nhận thức Âm nhạc (Music Perception), đặc biệt là với các âm thanh phi ngôn ngữ và trừu tượng. Các kết quả này nhấn mạnh sự cần thiết phải cải thiện hơn nữa trong việc xử lý đầu vào âm thanh-hình ảnh dạng dài và căn chỉnh đa phương thức.

IV. Conclusion & Future Works:

LVOmniBench là bộ dữ liệu đánh giá đầu tiên toàn diện về khả năng hiểu biết của OmniLLM trong các kịch bản âm thanh-hình ảnh dạng dài. Chúng tôi hy vọng bộ dữ liệu này, cùng với các phát hiện thực nghiệm, sẽ thúc đẩy nghiên cứu sâu hơn và phát triển các mô hình tiên tiến có khả năng giải quyết các vấn đề hiểu biết đa phương thức phức tạp trong ngữ cảnh âm thanh-hình ảnh dạng dài. Cần có những cải tiến hơn nữa trong việc xử lý đầu vào âm thanh-hình ảnh mở rộng và căn chỉnh đa phương thức, đặc biệt đối với các lớp âm thanh phi ngôn ngữ.

V. Brainstorming Space:

1. Publish Papers:

Phát triển kiến trúc OmniLLM mới cho khả năng ghi nhớ dài hạn và định vị thời gian chính xác: Nghiên cứu các kiến trúc mô hình ngôn ngữ lớn đa phương thức mới có khả năng xử lý hiệu quả các chuỗi âm thanh-hình ảnh dài, tập trung vào việc cải thiện cơ chế bộ nhớ dài hạn và khả năng định vị các sự kiện theo thời gian một cách chính xác trong các video kéo dài hàng chục phút.
Cải thiện hiểu biết đa phương thức cho các tác vụ cụ thể như đếm và nhận diện âm nhạc phi ngôn ngữ: Phát triển các phương pháp huấn luyện hoặc module chuyên biệt trong OmniLLM để nâng cao hiệu suất trong các tác vụ khó khăn đã được xác định, ví dụ như đếm đối tượng hoặc sự kiện trong ngữ cảnh dài, và đặc biệt là cải thiện khả năng liên kết và hiểu các tín hiệu âm thanh phi ngôn ngữ (nhạc, tiếng động) với nội dung hình ảnh.
Nghiên cứu về căn chỉnh đa phương thức (cross-modal alignment) trong ngữ cảnh dài: Tập trung vào việc phát triển các kỹ thuật căn chỉnh hiệu quả giữa âm thanh và hình ảnh trong các video dài, đặc biệt là khi thông tin quan trọng có thể xuất hiện ở các thời điểm khác nhau hoặc cần suy luận qua một khoảng thời gian dài, nhằm giải quyết vấn đề "vulnerabilities remain in specific sub-tasks" và "robust cross-modal alignment for non-linguistic audio classes remains an urgent challenge".

2. Patent:

Trợ lý ghi chú và tóm tắt cuộc họp/bài giảng thông minh trên điện thoại: Một ứng dụng di động có thể ghi âm và quay video các cuộc họp hoặc bài giảng dài. Sau đó, nó sử dụng công nghệ hiểu biết âm thanh và hình ảnh để tự động tóm tắt các điểm chính, xác định người nói, và thậm chí đếm số lần một chủ đề cụ thể được nhắc đến. Người dùng có thể tìm kiếm thông tin theo từ khóa hoặc theo sự kiện trong video/âm thanh đã ghi.
Hệ thống giám sát an ninh gia đình với phân tích sự kiện dài hạn: Một hệ thống kết nối với camera an ninh gia đình (thông qua điện thoại) có khả năng phân tích các đoạn video dài (ví dụ, cả đêm). Thay vì chỉ phát hiện chuyển động đơn lẻ, nó có thể nhận diện các chuỗi sự kiện phức tạp hơn, như "có người lạ đi lại nhiều lần trong sân sau 5 phút" hoặc "tiếng chó sủa liên tục kèm theo hình ảnh chuyển động bất thường", và gửi cảnh báo thông minh đến điện thoại của chủ nhà.
Công cụ tạo nội dung video tự động với hiểu biết ngữ cảnh sâu: Một ứng dụng trên điện thoại giúp người dùng chỉnh sửa và tạo video dài (ví dụ, vlog du lịch, hướng dẫn nấu ăn). Ứng dụng này có thể tự động hiểu ngữ cảnh của video và âm thanh (nhận diện các hoạt động, đối tượng, âm nhạc, giọng nói) để đề xuất các điểm cắt, thêm hiệu ứng âm thanh/hình ảnh phù hợp, hoặc thậm chí tạo phụ đề tự động cho các phân đoạn nói chuyện, giúp người dùng tiết kiệm thời gian và công sức.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.19217
ArXiv Abstract	https://arxiv.org/abs/2603.19217
PDF Download	https://arxiv.org/pdf/2603.19217.pdf
Github Repository	https://github.com/KD-TAO/LVOmniBench

11. F2LLM-v2: Inclusive, Performant, and Efficient Embeddings for a Multilingual World (24 votes)

Tác giả: Ziyin Zhang, Zihan Liao, Hang Yu, Peng Di, Rui Wang

Xuất bản lúc: 2026-03-19

Tag: Embeddings, Multilingual NLP, LLMs, Knowledge Distillation, Matryoshka Representation Learning, Model Pruning, Semantic Search, RAG

I. Main Problem:

Mặc dù có những tiến bộ đáng kể, nghiên cứu về nhúng tiền tuyến hiện tại bị giới hạn bởi hai vấn đề đáng kể. Thứ nhất, tồn tại sự thiên vị tập trung vào tiếng Anh trong cả quá trình huấn luyện mô hình và đánh giá benchmark, bỏ qua các ngôn ngữ tài nguyên trung bình và thấp. Điều này dẫn đến nhiều mô hình hoạt động tốt bằng tiếng Anh nhưng thiếu tính ứng dụng toàn cầu. Thứ hai, có một khoảng cách về tính minh bạch trong cộng đồng nghiên cứu. Hầu hết các mô hình nhúng hiệu suất cao hàng đầu được phát hành dưới dạng API đóng hoặc mô hình mã nguồn mở nhưng không tiết lộ dữ liệu huấn luyện hoặc phương pháp luận cơ bản, cản trở khả năng tái tạo và hạn chế hiểu biết chung của chúng ta về cách xây dựng các hệ thống nhúng thực sự toàn diện, đa năng.

II. Main Idea:

Để giải quyết những thách thức này, F2LLM-v2 giới thiệu một họ mô hình nhúng đa ngôn ngữ, đa năng mới, được thiết kế để khắc phục sự mất cân bằng này. Các ý tưởng chính bao gồm:

Tập dữ liệu huấn luyện toàn diện: Xây dựng một kho dữ liệu huấn luyện lớn, chất lượng cao gồm 60 triệu mẫu, bao gồm 282 ngôn ngữ tự nhiên và hơn 40 ngôn ngữ lập trình, được thu thập từ các tài nguyên công khai. Tập dữ liệu này ưu tiên tính sẵn có của dữ liệu thực tế và tập trung vào các ngôn ngữ ít được phục vụ.
Kiến trúc và kích thước mô hình đa dạng: Cung cấp 8 kích thước mô hình riêng biệt, từ 80M đến 14B tham số, dựa trên kiến trúc bộ giải mã Transformer dày đặc tiêu chuẩn của Qwen3.
Quy trình huấn luyện hai giai đoạn hiệu quả: Áp dụng chiến lược huấn luyện hai giai đoạn, tập trung vào việc xây dựng nền tảng ngữ nghĩa mạnh mẽ và sau đó tinh chỉnh khả năng xử lý các ứng dụng hạ nguồn đa dạng.
Kỹ thuật nâng cao hiệu suất và hiệu quả: Tích hợp Matryoshka Representation Learning (MRL), cắt tỉa mô hình (model pruning) và chưng cất tri thức (knowledge distillation) để đảm bảo hiệu suất cao ngay cả trong môi trường hạn chế tài nguyên.
Minh bạch và mã nguồn mở: Phát hành tất cả các mô hình, dữ liệu, mã nguồn và các checkpoint trung gian để thúc đẩy nghiên cứu minh bạch và công bằng trong lĩnh vực nhúng.

III. Main Results:

Các đánh giá rộng rãi xác nhận rằng:

Mô hình F2LLM-v2-14B đứng đầu trên 11 benchmark MTEB, thiết lập tiêu chuẩn mới cho khả năng nhúng đa ngôn ngữ.
Các mô hình nhỏ hơn trong họ cũng đạt được hiệu suất vượt trội so với các mô hình tiên tiến trước đây cùng kích thước, đặc biệt là trong các ứng dụng bị hạn chế tài nguyên.
Các mô hình 330M và 0.6B liên tục vượt trội hơn Qwen3-Embedding và EmbeddingGemma trên hầu hết các benchmark cụ thể theo ngôn ngữ và benchmark mã nguồn.
Kỹ thuật chưng cất tri thức đã chứng minh hiệu quả, mang lại sự cải thiện hiệu suất nhất quán trên tất cả năm quy mô mô hình nhỏ hơn.
Matryoshka Representation Learning (MRL) thành công trong việc tập trung thông tin ngữ nghĩa quan trọng nhất vào các chiều biểu diễn ban đầu, cho phép người dùng linh hoạt lựa chọn sự cân bằng tối ưu giữa hiệu suất, chi phí suy luận và chi phí lưu trữ (ví dụ, mô hình 330M với nhúng 896 chiều hoạt động tương đương với các mô hình 8B và 14B khi nhúng của chúng được cắt ngắn xuống 32 chiều).

IV. Conclusion & Future Works:

F2LLM-v2 là thành viên mới nhất trong dòng mô hình nhúng Codefuse, giải quyết các khoảng trống hiện tại về sự mất cân bằng ngôn ngữ và tính thiếu minh bạch trong nghiên cứu mô hình nhúng. Nó đại diện cho một bước tiến đáng kể trong việc dân chủ hóa các mô hình nhúng hiệu suất cao. Với việc phát hành 8 mô hình cùng với công thức huấn luyện đầy đủ và các checkpoint trung gian, nhóm nghiên cứu hy vọng sẽ tạo điều kiện cho sự minh bạch trong nghiên cứu nhúng tiên tiến và đóng góp vào một tương lai với sự công bằng toàn cầu thực sự trong việc triển khai công nghệ AI.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các chiến lược thu thập và xử lý dữ liệu nâng cao cho các ngôn ngữ tài nguyên thấp nhằm cải thiện hiệu suất mô hình nhúng đa ngôn ngữ. Tập trung vào việc phát triển các phương pháp tự động hoặc bán tự động để tạo ra các tập dữ liệu chất lượng cao từ các nguồn công khai, đặc biệt cho các ngôn ngữ ít được đại diện.
Khám phá các kiến trúc mô hình và kỹ thuật nén tiên tiến (ví dụ: lượng tử hóa, kiến trúc chuyên biệt) để tạo ra các mô hình nhúng đa ngôn ngữ hiệu quả hơn nữa, có khả năng triển khai trên các thiết bị biên với tài nguyên hạn chế mà vẫn duy trì hiệu suất cạnh tranh.
Phát triển các phương pháp đánh giá mới và các bộ benchmark đa ngôn ngữ cân bằng hơn để khắc phục sự thiên vị hiện có đối với tiếng Anh và tiếng Trung. Nghiên cứu cách định lượng và giảm thiểu sự thiên vị ngôn ngữ trong quá trình huấn luyện và đánh giá mô hình nhúng.

2. Patent:

Bàn phím di động đa ngôn ngữ thông minh với dự đoán ngữ cảnh: Một hệ thống bàn phím trên điện thoại di động sử dụng mô hình nhúng đa ngôn ngữ hiệu quả để cung cấp các gợi ý từ, cụm từ và tự động sửa lỗi chính xác theo ngữ cảnh ngôn ngữ hiện tại của người dùng. Hệ thống này sẽ tự động phát hiện và chuyển đổi giữa các ngôn ngữ mà không cần người dùng phải thao tác thủ công, tối ưu hóa trải nghiệm gõ phím cho người dùng đa ngôn ngữ.
Tìm kiếm ngữ nghĩa trên thiết bị cho dữ liệu cá nhân: Một ứng dụng di động cho phép người dùng thực hiện tìm kiếm ngữ nghĩa nhanh chóng và riêng tư trên dữ liệu cá nhân được lưu trữ cục bộ (ví dụ: ghi chú, tin nhắn, tài liệu, ảnh có văn bản OCR) bằng cách sử dụng các mô hình nhúng nhỏ gọn, đa ngôn ngữ. Điều này giúp người dùng tìm kiếm thông tin bằng ngôn ngữ tự nhiên, ngay cả khi không có từ khóa chính xác, mà không cần gửi dữ liệu lên đám mây.
Trợ lý tóm tắt và dịch thuật nội dung đa ngôn ngữ tức thì trên điện thoại: Một trợ lý AI trên điện thoại di động có khả năng xử lý văn bản từ nhiều nguồn khác nhau (ví dụ: trang web, bài báo, tin nhắn) bằng nhiều ngôn ngữ. Sử dụng các mô hình nhúng hiệu quả, nó có thể cung cấp bản tóm tắt ngắn gọn hoặc dịch thuật theo yêu cầu của các phần cụ thể, giúp người dùng nhanh chóng nắm bắt thông tin từ nội dung đa ngôn ngữ mà không phụ thuộc vào xử lý trên đám mây hoặc yêu cầu tài nguyên lớn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.19223
ArXiv Abstract	https://arxiv.org/abs/2603.19223
PDF Download	https://arxiv.org/pdf/2603.19223.pdf
Github Repository	N/A

12. AndroTMem: From Interaction Trajectories to Anchored Memory in Long-Horizon GUI Agents (23 votes)

Tác giả: Yibo Shi, Jungang Li, Linghao Zhang, Zihao Dongfang, Biao Wu, Sicheng Tao, Yibo Yan, Chenxi Qin, Weiting Liu, Zhixin Lin, Hanqian Li, Yu Huang, Song Dai, Yonghua Hei, Yue Ding, Xiang Li, Shikang Wang, Chengdong Xu, Jingqi Liu, Xueying Ma, Zhiwen Zheng, Xiaofei Zhang, Bincheng Wang, Nichen Yang, Jie Wu, Lihua Tian, Chen Li, Xuming Hu

Xuất bản lúc: 2026-03-19

Tag: GUI Agents, MLLMs, Memory, Long-Horizon Tasks, Android, Benchmarking

I. Main Problem:

Các tác nhân giao diện người dùng (GUI agents) gặp khó khăn trong việc duy trì bộ nhớ tương tác hiệu quả khi thực hiện các tác vụ dài hạn (long-horizon), đặc biệt trên môi trường Android. Việc phát lại toàn bộ chuỗi tương tác gây dư thừa và nhiễu, trong khi các bản tóm tắt thường xóa bỏ thông tin quan trọng và khả năng truy vết các phụ thuộc. Các bộ dữ liệu hiện có không được thiết kế để đánh giá rõ ràng khả năng ghi nhớ dài hạn, và việc chẩn đoán lỗi trong các tác vụ dài hạn còn kém, làm lẫn lộn lỗi nhận thức, lỗi hành động cục bộ và lỗi bộ nhớ.

II. Main Idea:

Nghiên cứu giới thiệu AndroTMem, một khuôn khổ chẩn đoán cho bộ nhớ neo (anchored memory) trong các tác nhân GUI Android dài hạn. Trọng tâm của nó là AndroTMem-Bench, một bộ benchmark gồm 1.069 tác vụ với 34.473 bước tương tác, được thiết kế để thực thi các phụ thuộc nhân quả mạnh mẽ giữa các bước, làm cho các trạng thái trung gian thưa thớt nhưng thiết yếu trở nên quyết định đối với các hành động tiếp theo. Dựa trên chẩn đoán này, nghiên cứu đề xuất Anchored State Memory (ASM), một cơ chế bộ nhớ có cấu trúc tổ chức lịch sử tương tác thành một tập hợp nhỏ gọn các neo trạng thái trung gian có liên kết nhân quả, cho phép truy xuất có mục tiêu theo mục tiêu phụ và ra quyết định có nhận thức về thuộc tính.

III. Main Results:

Các tác nhân GUI hiện tại thể hiện hiệu suất tương đối thấp trên AndroTMem-Bench, cho thấy các tác vụ GUI Android dài hạn vẫn còn rất thách thức. Hiệu suất giảm dần khi chuỗi tương tác dài hơn, chủ yếu do lỗi bộ nhớ trong tác vụ chứ không phải lỗi nhận thức hoặc lỗi hành động cục bộ. ASM cải thiện đáng kể tỷ lệ hoàn thành tác vụ (TCR) từ 5% đến 30.16% và điểm khớp hành động (AMS) từ 4.93% đến 24.66% so với các phương pháp phát lại chuỗi đầy đủ và dựa trên tóm tắt, chứng tỏ rằng bộ nhớ có cấu trúc, được neo giữ giúp giảm thiểu hiệu quả nút thắt bộ nhớ tương tác trong các tác vụ GUI dài hạn.

IV. Conclusion & Future Works:

Nghiên cứu nhấn mạnh tầm quan trọng của bộ nhớ neo (anchored memory) như một khả năng cốt lõi cho các tác nhân GUI dài hạn đáng tin cậy và có khả năng mở rộng. AndroTMem-Bench là một bộ benchmark chẩn đoán hữu ích để đánh giá bộ nhớ trên các tác vụ dài hạn có phụ thuộc nhân quả. Các nghiên cứu trong tương lai có thể tập trung vào việc tự động hóa quá trình trích xuất và quản lý các "state anchors", phát triển các kiến trúc bộ nhớ thích ứng và mở rộng khái niệm ASM sang các tác vụ đa phương thức phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao khả năng trích xuất và quản lý tự động các State Anchors trong các tương tác GUI phức tạp: Nghiên cứu các phương pháp tiên tiến sử dụng MLLM để tự động trích xuất, phân loại và duy trì các "state anchors" một cách hiệu quả hơn từ các tương tác giao diện người dùng phức tạp, đặc biệt trong các tác vụ liên ứng dụng và dài hạn.
Mô hình hóa và học các phụ thuộc nhân quả động trong bộ nhớ tác nhân GUI: Phát triển các kiến trúc bộ nhớ có khả năng không chỉ lưu trữ các "state anchors" mà còn tự động học và cập nhật các mối quan hệ phụ thuộc nhân quả giữa chúng, cho phép các tác nhân GUI thích ứng tốt hơn với các luồng công việc thay đổi và các ngoại lệ không lường trước.
Mở rộng Anchored State Memory cho các tác vụ tác nhân đa phương thức: Áp dụng và điều chỉnh khái niệm Anchored State Memory (ASM) cho các tác nhân đa phương thức không chỉ tương tác với GUI mà còn với giọng nói, cử chỉ hoặc môi trường vật lý, tập trung vào cách các "neo trạng thái" có thể kết nối thông tin từ các phương thức khác nhau để hỗ trợ ra quyết định dài hạn và xuyên miền.

2. Patent:

Hệ thống Trợ lý Di động Ghi nhớ Tác vụ Đa Ứng dụng: Một công nghệ cho phép điện thoại của bạn tự động ghi nhớ các thông tin quan trọng (như giá sản phẩm, địa chỉ, lựa chọn đã chọn) khi bạn thực hiện một tác vụ dài qua nhiều ứng dụng (ví dụ: so sánh giá từ ứng dụng mua sắm A và B, sau đó tự động thêm sản phẩm rẻ hơn vào giỏ hàng trên ứng dụng A và chia sẻ thông tin đó qua ứng dụng nhắn tin). Hệ thống này sẽ làm cho việc chuyển đổi giữa các ứng dụng trở nên liền mạch hơn mà không cần bạn phải tự nhớ hoặc nhập lại thông tin.
Công nghệ "Neo Trạng thái" Thông minh để Hoàn thành Tác vụ Bị Gián đoạn trên Điện thoại: Một tính năng trên điện thoại di động giúp người dùng tiếp tục các tác vụ phức tạp bị gián đoạn (ví dụ: bạn đang đặt vé máy bay nhưng phải dừng lại để trả lời cuộc gọi). Hệ thống sẽ lưu trữ các "điểm mốc" thông tin quan trọng (như ngày đi, số lượng hành khách, điểm đến) và khi bạn quay lại, nó sẽ gợi ý các bước tiếp theo hoặc tự động điền lại thông tin, giúp bạn hoàn thành tác vụ một cách nhanh chóng và không mắc lỗi.
Giao diện Người dùng Dự đoán Hành động dựa trên "Mốc Thông tin": Một giao diện người dùng điện thoại thông minh có khả năng dự đoán các hành động tiếp theo của bạn trong một chuỗi tác vụ dài bằng cách theo dõi các "mốc thông tin" đã được xử lý. Ví dụ, nếu bạn vừa tìm kiếm một nhà hàng và xem thực đơn, hệ thống có thể tự động gợi ý các hành động như "Đặt bàn", "Chỉ đường" hoặc "Gọi điện" ngay cả khi bạn đã chuyển sang ứng dụng khác, giúp bạn tiết kiệm thời gian và công sức điều hướng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.18429
ArXiv Abstract	https://arxiv.org/abs/2603.18429
PDF Download	https://arxiv.org/pdf/2603.18429.pdf
Github Repository	N/A

13. ReactMotion: Generating Reactive Listener Motions from Speaker Utterance (23 votes)

Tác giả: Cheng Luo, Bizhu Wu, Bing Li, Jianfeng Ren, Ruibin Bai, Rong Qu, Linlin Shen, Bernard Ghanem

Xuất bản lúc: 2026-03-16

Tag: LLMs, Generative Models, Human Motion Generation, Dyadic Interaction, Multimodal AI, Preference Learning, Dataset Creation, AI in Social Robotics, Virtual Agents

I. Main Problem:

Bài báo giải quyết thách thức trong việc tạo ra các chuyển động cơ thể tự nhiên và có tính phản ứng cho người nghe, đáp lại lời nói của người nói trong giao tiếp song phương giữa con người. Các vấn đề cốt lõi bao gồm:

Tính phi xác định của phản ứng con người: Cùng một lời nói có thể gợi ra nhiều phản ứng hợp lệ khác nhau từ người nghe, gây khó khăn cho việc mô hình hóa.
Thiếu dữ liệu quy mô lớn: Không có bộ dữ liệu công khai đủ lớn chứa nhiều phản ứng chuyển động cơ thể của người nghe cho mỗi lời nói của người nói.
Khó khăn trong đánh giá tính phù hợp: Các số liệu chuyển động thông thường tập trung vào sự căn chỉnh đầu vào-chuyển động không đủ để đo lường tính phù hợp của phản ứng của người nghe.

II. Main Idea:

Các tác giả đề xuất ReactMotion, một khuôn khổ tạo sinh thống nhất, và ReactMotionNet, một bộ dữ liệu quy mô lớn, để giải quyết vấn đề.

Bộ dữ liệu ReactMotionNet: Xây dựng một bộ dữ liệu quy mô lớn (151.328 cặp) bằng cách tái sử dụng dữ liệu chuyển động hiện có thông qua một quy trình sử dụng các mô hình ngôn ngữ lớn (LLM). Bộ dữ liệu này chứa nhiều chuyển động ứng cử viên cho mỗi lời nói của người nói, được chú thích theo ba cấp độ ưu tiên (Gold, Silver, Negative) để nắm bắt tính chất một-nhiều của hành vi người nghe.
Giao thức đánh giá dựa trên ưu tiên: Phát triển các giao thức đánh giá mới tập trung vào ưu tiên, sử dụng tỷ lệ thắng so với các cấp độ Gold, Silver, Negative để đo lường tính phù hợp của phản ứng, vượt qua các hạn chế của các số liệu truyền thống.
Khuôn khổ ReactMotion: Đề xuất một mô hình tạo sinh hợp nhất, xử lý đồng thời văn bản, âm thanh và cảm xúc của người nói để tạo ra chuyển động cơ thể của người nghe. Mô hình này sử dụng kiến trúc Seq2Seq (T5-base) với các bộ mã hóa token riêng cho từng phương thức và được huấn luyện bằng mục tiêu học tập dựa trên ưu tiên theo nhóm (group-wise preference learning) để khuyến khích các phản ứng vừa phù hợp vừa đa dạng, tránh việc mô hình hội tụ về các hành vi trung bình hoặc an toàn.

III. Main Results:

ReactMotion vượt trội hơn các phương pháp cơ sở dựa trên truy xuất và các quy trình đường ống dựa trên LLM xếp tầng. Nó tạo ra các chuyển động của người nghe tự nhiên hơn, đa dạng hơn và phù hợp hơn. Những kết quả này đạt được thông qua các thí nghiệm sâu rộng sử dụng các giao thức đánh giá định hướng ưu tiên.

IV. Conclusion & Future Works:

Bài báo giới thiệu một nhiệm vụ mới về tạo chuyển động cơ thể phản ứng của người nghe từ lời nói của người nói trong tương tác song phương. Nó trình bày ReactMotionNet, một bộ dữ liệu mới với chú thích đa cấp (Gold/Silver/Negative) và một giao thức đánh giá nhận biết cấp độ cho tính phù hợp của phản ứng. Cuối cùng, ReactMotion được đề xuất như một mô hình tạo sinh đa phương thức thống nhất. Quy trình xây dựng tự động cho ReactMotionNet cho phép dễ dàng mở rộng sang các bộ dữ liệu lớn hơn. Các hướng nghiên cứu trong tương lai bao gồm khám phá sâu hơn về hành vi phản ứng phi ngôn ngữ của người nghe, có thể là các động lực tương tác phức tạp hơn hoặc các ứng dụng thời gian thực.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng mô hình ReactMotion cho tương tác đa nhân vật: Nghiên cứu cách mở rộng khuôn khổ ReactMotion để tạo ra phản ứng của người nghe trong các tình huống có nhiều người nói và/hoặc nhiều người nghe, nơi các phản ứng cần phải tính đến động lực nhóm và sự thay đổi tập trung chú ý.
Tích hợp phản hồi thời gian thực và khả năng thích ứng cảm xúc: Phát triển các phương pháp để mô hình ReactMotion có thể học cách điều chỉnh và cá nhân hóa phản ứng của người nghe dựa trên phản hồi liên tục từ người nói hoặc bối cảnh cảm xúc thay đổi, cho phép các tác nhân ảo có khả năng tương tác linh hoạt và biểu cảm hơn.
Đánh giá sự chân thực và biểu cảm cảm xúc trong chuyển động phản ứng: Thiết kế các số liệu và quy trình đánh giá mới, cả định tính và định lượng, để đo lường mức độ chân thực, biểu cảm cảm xúc và sự gắn kết xã hội của chuyển động phản ứng được tạo ra, đặc biệt trong các bối cảnh văn hóa đa dạng.

2. Patent:

Hệ thống trợ lý ảo tương tác trên điện thoại thông minh: Một ứng dụng trên điện thoại di động cho phép người dùng chọn một avatar ảo (ví dụ: trong các ứng dụng họp trực tuyến hoặc nền tảng mạng xã hội thực tế ảo). Hệ thống sẽ sử dụng công nghệ tương tự ReactMotion để phân tích lời nói của người dùng khác trong cuộc gọi và tự động tạo ra các chuyển động cơ thể phản ứng tự nhiên cho avatar của người dùng, giúp tăng tính chân thực và sự tham gia vào các tương tác ảo mà không yêu cầu người dùng phải tự điều khiển avatar.
Ứng dụng hỗ trợ giao tiếp xã hội cho người dùng điện thoại: Một ứng dụng trên điện thoại thông minh sử dụng phân tích lời nói của người đối diện để gợi ý các chuyển động cơ thể hoặc cử chỉ phù hợp cho người dùng. Ví dụ, nếu người nói đang thể hiện sự ngạc nhiên, ứng dụng có thể hiển thị gợi ý một cử chỉ lùi lại nhẹ hoặc mở rộng mắt, giúp người dùng cải thiện kỹ năng giao tiếp phi ngôn ngữ trong các tình huống xã hội đời thực.
Công cụ tạo nội dung video tự động trên di động với nhân vật ảo phản ứng: Một tính năng tích hợp trong các ứng dụng chỉnh sửa video trên điện thoại cho phép người dùng thêm các nhân vật ảo vào video của họ. Sau khi người dùng ghi âm lời thoại hoặc nhập văn bản cho nhân vật, công cụ sẽ tự động tạo ra các chuyển động cơ thể phản ứng phù hợp cho nhân vật ảo đó, giúp tạo ra các video hoạt hình hoặc nội dung mạng xã hội sống động và hấp dẫn mà không cần kỹ năng hoạt hình phức tạp hoặc chi phí cao.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.15083
ArXiv Abstract	https://arxiv.org/abs/2603.15083
PDF Download	https://arxiv.org/pdf/2603.15083.pdf
Github Repository	https://github.com/awakening-ai/ReactMotion

14. Cognitive Mismatch in Multimodal Large Language Models for Discrete Symbol Understanding (18 votes)

Tác giả: Yinghui Li, Jiayi Kuang, Peng Xing, Daixian Liu, Junnan Dong, Shu-Yu Guo, Yangning Li, Qingyu Zhou, Wenhao Jiang, Hai-Tao Zheng, Ying Shen, Liang Lin, Philip S. Yu

Xuất bản lúc: 2026-03-19

Tag: MLLMs, Discrete Symbols, Cognitive Mismatch, Benchmark, Visual Perception, Reasoning, Human-aligned AI, AGI, Semiotics, Vision-Language Models

I. Main Problem:

Trong khi các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) đã đạt được thành công đáng kể trong việc diễn giải các cảnh tự nhiên, khả năng xử lý các ký hiệu rời rạc – những khối xây dựng cơ bản của nhận thức con người như công thức toán học, cấu trúc hóa học và ký tự ngôn ngữ – vẫn là một thách thức lớn. Các MLLM hiện tại thường thất bại trong việc nhận diện ký hiệu cơ bản nhưng lại thành công trong các nhiệm vụ suy luận phức tạp, cho thấy chúng dựa vào xác suất ngôn ngữ hơn là nhận thức thị giác thực sự. Hiện tượng "không khớp nhận thức" này cho thấy một khoảng trống đáng kể trong khả năng AI hiện tại: sự khó khăn trong việc thực sự nhận thức và hiểu các ngôn ngữ biểu tượng làm nền tảng cho khám phá khoa học và tư duy trừu tượng. Các MLLM hiện tại được tối ưu hóa để xử lý các tín hiệu thị giác liên tục, không phải không gian ngữ nghĩa rời rạc.

II. Main Idea:

Bài báo giới thiệu một bộ tiêu chuẩn toàn diện để đánh giá cách các MLLM hàng đầu xử lý các "không gian ngữ nghĩa rời rạc" trên năm lĩnh vực: ngôn ngữ, văn hóa, toán học, vật lý và hóa học. Bộ tiêu chuẩn này được cấu trúc theo hệ thống phân cấp nhận thức ba cấp độ (nhận dạng và tri giác, kết hợp và suy luận, liên tưởng và tư duy phản biện) lấy cảm hứng từ quá trình xử lý ký hiệu của con người và phân loại của Bloom. Nó bao gồm 38 nhiệm vụ phụ và 13.000 cặp câu hỏi-hình ảnh-câu trả lời, tập trung vào các biểu diễn thị giác có cấu trúc, trừu tượng và mang tính biểu tượng cao. Mục tiêu là làm sáng tỏ cơ chế mà MLLM xử lý thông tin thị giác ký hiệu rời rạc, từ đó thúc đẩy sự phát triển của các hệ thống thông minh có thể giải thích được và phù hợp hơn với nhận thức ký hiệu của con người.

III. Main Results:

Nghiên cứu đã phát hiện ra hiện tượng "đảo ngược nhận dạng-suy luận" phản trực giác: các mô hình thường thực hiện tốt hơn trong các nhiệm vụ suy luận cấp cao (cấp 2) so với các nhiệm vụ nhận dạng tri giác cơ bản (cấp 1), cho thấy chúng thường bỏ qua việc tiếp đất ký hiệu thị giác mạnh mẽ, thay vào đó dựa vào các kiến thức ngôn ngữ tiên nghiệm hoặc các mẫu đã ghi nhớ. Các ký hiệu ngôn ngữ là lĩnh vực khó khăn nhất đối với tất cả các MLLM được thử nghiệm, đặc biệt là với các ký tự giả mạo hoặc sử dụng sai ngữ cảnh. Ngược lại, các mô hình thường hoạt động tốt hơn đáng kể đối với các ký hiệu khoa học tự nhiên, đặc biệt là toán học và hóa học, cho thấy kiến trúc hiện tại tương đối thành thạo hơn trong việc xử lý các cấu trúc phân tử và ký hiệu toán học chính thức. Không có mô hình nào thể hiện hiệu suất nhất quán trên tất cả các lĩnh vực ký hiệu, cho thấy thế mạnh hiện tại phần lớn phụ thuộc vào từng miền và dữ liệu, chứ không phải là có hệ thống.

IV. Conclusion & Future Works:

Những phát hiện này cho thấy sự không khớp nhận thức cơ bản trong các MLLM hiện đại, bắt nguồn từ sự phân kỳ giữa thiên lệch biểu diễn liên tục của các bộ mã hóa thị giác hiện tại và tính nghiêm ngặt về cấu trúc cần thiết cho ngữ nghĩa rời rạc. Các kiến trúc hiện tại thiếu một "nút thắt cổ chai cấu trúc" có khả năng bảo toàn tính toàn vẹn hình thái của các ký hiệu, đây là một rào cản cơ bản để đạt được Trí tuệ Tổng quát Nhân tạo (AGI) phù hợp với con người. Công việc này cung cấp một lộ trình để phát triển các hệ thống thông minh nghiêm ngặt hơn, phù hợp với con người, nhấn mạnh sự cần thiết của các bộ tiêu chuẩn đánh giá rõ ràng khả năng tri giác, suy luận và hiểu biết ký hiệu quan trọng.

V. Brainstorming Space:

1. Publish Papers:

Kiến trúc MLLM mới cho nhận thức ký hiệu rời rạc: Nghiên cứu và phát triển các kiến trúc MLLM mới tích hợp "nút thắt cổ chai cấu trúc" (structural bottleneck) để đảm bảo tính toàn vẹn hình thái (topological integrity) của các ký hiệu rời rạc, thay vì chỉ dựa vào phân tích ngữ cảnh liên tục.
Cơ chế tiếp đất ký hiệu thị giác sâu sắc: Phát triển các phương pháp huấn luyện và kiến trúc mô hình giúp MLLM có khả năng tiếp đất (grounding) ký hiệu thị giác một cách sâu sắc và chính xác hơn, giảm sự phụ thuộc vào các kiến thức ngôn ngữ tiên nghiệm hoặc các mẫu đã ghi nhớ.
Lý luận đa phương thức cho ký hiệu văn hóa phức tạp: Khám phá các phương pháp mới cho MLLM để xử lý các ký hiệu văn hóa phức tạp, đặc biệt là các thành ngữ hoặc biểu tượng yêu cầu suy luận đồng âm, tư duy phân kỳ đa phương thức và kết hợp ngữ nghĩa-ngữ âm.

2. Patent:

Hệ thống hỗ trợ học tập thông minh dựa trên nhận diện ký hiệu: Một ứng dụng di động có khả năng chụp ảnh các công thức toán học, cấu trúc hóa học hoặc sơ đồ vật lý (dù là in hay viết tay), sau đó không chỉ nhận diện các ký hiệu mà còn phân tích mối quan hệ giữa chúng, phát hiện lỗi cấu trúc và cung cấp giải thích từng bước hoặc đề xuất sửa lỗi. Ví dụ, nó có thể chỉ ra lỗi sai trong một phương trình hóa học hoặc giải thích ý nghĩa của một biểu đồ hàm số phức tạp.
Công cụ dịch và giải thích ký hiệu văn hóa theo ngữ cảnh: Một tính năng trên điện thoại di động có thể phân tích hình ảnh hoặc chuỗi biểu tượng (như emoji, ký hiệu văn hóa) và giải thích ý nghĩa của chúng trong ngữ cảnh văn hóa cụ thể, đặc biệt là các thành ngữ hoặc cách diễn đạt không theo nghĩa đen. Nó sẽ cảnh báo người dùng về sự không nhất quán về ngữ nghĩa hoặc gợi ý các biểu tượng phù hợp hơn dựa trên ý định giao tiếp.
Bàn phím thông minh với khả năng tự động sửa lỗi viết tay và ký hiệu: Một bàn phím ảo hoặc hệ thống nhập liệu trên điện thoại có khả năng nhận diện ký tự viết tay hoặc ký hiệu vẽ tay (ví dụ: các nét chữ, biểu tượng đơn giản) và tự động phát hiện, đề xuất sửa các ký hiệu bị viết sai, thiếu nét hoặc không rõ ràng, ngay cả khi chúng có vẻ giống với một ký hiệu hợp lệ khác. Điều này giúp cải thiện độ chính xác khi ghi chú nhanh hoặc vẽ sơ đồ trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.18472
ArXiv Abstract	https://arxiv.org/abs/2603.18472
PDF Download	https://arxiv.org/pdf/2603.18472.pdf
Github Repository	N/A

15. VTC-Bench: Evaluating Agentic Multimodal Models via Compositional Visual Tool Chaining (17 votes)

Tác giả: Xuanyu Zhu, Yuhao Dong, Rundong Wang, Yang Shi, Zhipeng Wu, Yinlun Peng, YiFan Zhang, Yihang Lou, Yuanxing Zhang, Ziwei Liu, Yan Bai, Yuan Zhou

Xuất bản lúc: 2026-03-16

Tag: MLLMs, Multimodal Agents, Tool Use, Benchmarking, Computer Vision, OpenCV, Visual Reasoning, Compositional Tasks

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) gần đây đã mở rộng khả năng từ trả lời câu hỏi thị giác (VQA) sang sử dụng các công cụ bên ngoài cho các tác vụ thị giác nâng cao. Tuy nhiên, việc thực thi chính xác và kết hợp hiệu quả các công cụ đa dạng cho các tác vụ phức tạp vẫn là một nút thắt. Các bộ benchmark hiện có không thể đánh giá tương tác công cụ phức tạp và đa dạng do bộ công cụ hạn chế và quỹ đạo sử dụng công cụ đơn giản, dẫn đến việc không thể đánh giá hiệu suất mô hình trong điều kiện thực tế. Cụ thể, các mô hình gặp khó khăn trong việc thích ứng với các bộ công cụ đa dạng, khái quát hóa cho các thao tác chưa từng thấy và lập kế hoạch thực thi hiệu quả cho các tác vụ phức tạp, thường chỉ dựa vào một tập hợp con hẹp, không tối ưu của các chức năng quen thuộc.

II. Main Idea:

Để khắc phục hạn chế này, chúng tôi giới thiệu VisualToolChain-Bench (VTC-Bench), một bộ benchmark toàn diện được thiết kế để đánh giá khả năng sử dụng công cụ của MLLMs. Để phù hợp với các quy trình thị giác máy tính thực tế, VTC-Bench tích hợp 32 thao tác thị giác đa dạng dựa trên OpenCV. Bộ công cụ phong phú này cho phép kết hợp mở rộng, giúp VTC-Bench đánh giá nghiêm ngặt khả năng kết hợp nhiều công cụ và thực thi kế hoạch nhiều bước, dài hạn. Để đánh giá chính xác, chúng tôi cung cấp 680 vấn đề được tuyển chọn, cấu trúc theo hệ thống phân cấp nhận thức chín hạng mục, mỗi vấn đề đi kèm với quỹ đạo thực thi ground-truth.

III. Main Results:

Các thử nghiệm mở rộng trên 19 MLLMs hàng đầu đã tiết lộ những hạn chế nghiêm trọng trong khả năng tác nhân thị giác của các mô hình hiện tại. Hiệu suất tổng thể thấp một cách nhất quán, với mô hình hàng đầu Gemini-3.0-Pro chỉ đạt 51.2% trên benchmark của chúng tôi. Các mô hình gặp khó khăn trong việc thích ứng với các bộ công cụ đa dạng và khái quát hóa cho các thao tác chưa từng thấy. Khả năng kết hợp nhiều công cụ vẫn là một thách thức dai dẳng; khi đối mặt với các tác vụ phức tạp, các mô hình gặp khó khăn trong việc xây dựng các kế hoạch thực thi hiệu quả, chỉ dựa vào một tập hợp con hẹp, không tối ưu của các chức năng quen thuộc thay vì chọn các công cụ tối ưu. Hơn nữa, các mô hình độc quyền cho thấy cải thiện đáng kể khi được trang bị công cụ, trong khi các mô hình mã nguồn mở cho thấy mức tăng tối thiểu hoặc thậm chí suy giảm hiệu suất.

IV. Conclusion & Future Works:

VTC-Bench đã thiết lập một tiêu chuẩn nghiêm ngặt để hướng dẫn phát triển các mô hình tác nhân thị giác tổng quát hơn bằng cách xác định các thách thức cơ bản trong khả năng sử dụng công cụ của MLLM. Các mô hình hiện tại vẫn còn hạn chế trong việc chuyển từ nhận thức thị giác thụ động sang điều phối công cụ chủ động, nhiều bước. Việc giải quyết các thách thức này sẽ là trọng tâm cho nghiên cứu và phát triển trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về cơ chế thích ứng công cụ động cho MLLM: Phát triển các kiến trúc hoặc thuật toán cho phép MLLM tự động lựa chọn và thích ứng với các bộ công cụ thị giác đa dạng, bao gồm cả các công cụ chưa từng thấy, để cải thiện khả năng tổng quát hóa trên các tác vụ phức tạp.
Phân tích chiến lược lập kế hoạch công cụ hiệu quả cho tác vụ thị giác dài hạn: Tập trung vào việc thiết kế và đánh giá các phương pháp để MLLM có thể xây dựng các kế hoạch thực thi nhiều bước tối ưu, tránh phụ thuộc vào các công cụ quen thuộc nhưng kém hiệu quả, đặc biệt cho các tác vụ yêu cầu chuỗi công cụ phức tạp.
Đánh giá tác động của dữ liệu huấn luyện công cụ đa dạng lên hiệu suất MLLM: Khám phá cách các mô hình MLLM phản ứng với việc huấn luyện trên các bộ dữ liệu có sự đa dạng công cụ thị giác rộng lớn hơn và các quỹ đạo sử dụng công cụ phức tạp, nhằm thu hẹp khoảng cách hiệu suất giữa các mô hình độc quyền và mã nguồn mở.

2. Patent:

Hệ thống chỉnh sửa ảnh thông minh theo ngữ cảnh trên điện thoại: Một ứng dụng di động cho phép người dùng mô tả bằng ngôn ngữ tự nhiên về một thay đổi phức tạp họ muốn thực hiện trên ảnh (ví dụ: "làm rõ chữ bị mờ trong góc và đếm số người trong ảnh"). Hệ thống sẽ tự động phân tích yêu cầu, chọn chuỗi các công cụ xử lý ảnh phù hợp (như làm sắc nét, nhận diện văn bản, đếm đối tượng) và thực thi chúng để đạt được kết quả mong muốn mà không cần người dùng thao tác từng bước.
Trợ lý định lượng đối tượng trong ảnh thời gian thực trên điện thoại: Một tính năng trên camera điện thoại cho phép người dùng chụp ảnh một cảnh và đặt câu hỏi định lượng (ví dụ: "có bao nhiêu hạt gạo trên đĩa này?", "chiều dài của chiếc bàn này là bao nhiêu?"). Điện thoại sẽ sử dụng các công cụ thị giác tích hợp để phân tích hình ảnh, thực hiện các phép đo hoặc đếm cần thiết và cung cấp câu trả lời ngay lập tức, hữu ích cho việc mua sắm, nấu ăn hoặc các công việc DIY.
Công cụ phục hồi hình ảnh tự động cho điều kiện ánh sáng và môi trường khắc nghiệt trên điện thoại: Một ứng dụng trên điện thoại di động có khả năng tự động phát hiện các vấn đề về chất lượng ảnh do điều kiện chụp kém (như ảnh bị mờ do sương mù, thiếu sáng, hoặc bị phản chiếu). Ứng dụng sẽ tự động áp dụng một chuỗi các công cụ xử lý ảnh (ví dụ: khử nhiễu, cân bằng histogram, điều chỉnh độ sáng/tương phản) để phục hồi và cải thiện chất lượng hình ảnh mà không cần người dùng can thiệp thủ công vào các cài đặt phức tạp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.15030
ArXiv Abstract	https://arxiv.org/abs/2603.15030
PDF Download	https://arxiv.org/pdf/2603.15030.pdf
Github Repository	https://github.com/zhuzil/VTC-Bench

16. EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing (16 votes)

Tác giả: Yang Fu, Yike Zheng, Ziyun Dai, Henghui Ding

Xuất bản lúc: 2026-03-19

Tag: Video Object Removal, Video Inpainting, Diffusion Models, Generative Models, Dataset, Reciprocal Learning, Cross-Attention, Deep Learning

I. Main Problem:

Các phương pháp xóa vật thể khỏi video hiện tại (diffusion-based video inpainting và object removal) thường gặp khó khăn trong việc loại bỏ hoàn toàn các hiệu ứng thị giác phức tạp do vật thể gây ra như biến dạng, đổ bóng, phản chiếu và ánh sáng, cũng như trong việc tổng hợp nền video một cách liền mạch và nhất quán về mặt thời gian. Ngoài ra, sự thiếu hụt một bộ dữ liệu toàn diện, có quy mô lớn, thu thập có hệ thống các hiệu ứng vật thể phổ biến trong nhiều môi trường khác nhau để huấn luyện và đánh giá cũng là một rào cản lớn cho sự tiến bộ trong lĩnh vực này.

II. Main Idea:

Công trình giới thiệu VOR (Video Object Removal), một bộ dữ liệu lai ghép (hybrid) quy mô lớn, bao gồm 60K cặp video chất lượng cao được thu thập từ thực tế và tổng hợp 3D, cung cấp các video có và không có vật thể cùng hiệu ứng của chúng, kèm theo mask tương ứng. Dữ liệu này bao gồm 5 loại hiệu ứng (che khuất, đổ bóng, ánh sáng, phản chiếu, biến dạng) và đa dạng vật thể, cảnh phức tạp, động với nhiều vật thể.

Trên cơ sở VOR, tác giả đề xuất EffectErase, một phương pháp xóa vật thể video nhận biết hiệu ứng. EffectErase sử dụng sơ đồ học đối ứng (reciprocal learning) bằng cách coi việc chèn vật thể video là một nhiệm vụ phụ trợ đảo ngược. Mô hình bao gồm:

Task-Aware Region Guidance (TARG): Module này tập trung việc học vào các vùng bị ảnh hưởng bằng cách xây dựng mối tương quan không gian-thời gian giữa vật thể mục tiêu và các hiệu ứng phụ của nó thông qua cơ chế cross-attention, đồng thời cho phép chuyển đổi linh hoạt giữa nhiệm vụ xóa và chèn.
Insertion-Removal Consistency Objective (EC loss): Hàm mất mát này khuyến khích hai nhiệm vụ đảo ngược (xóa và chèn) chia sẻ các vùng hiệu ứng nhất quán và các tín hiệu cấu trúc chung, tăng cường sự nhất quán giữa các nhiệm vụ và học nhận biết hiệu ứng.

III. Main Results:

EffectErase đạt hiệu suất vượt trội so với các phương pháp hiện có trong các thử nghiệm rộng rãi, mang lại khả năng xóa hiệu ứng vật thể video chất lượng cao trên nhiều kịch bản đa dạng. Cụ thể, nó đạt hiệu suất state-of-the-art trên tất cả các bộ dữ liệu và chỉ số đánh giá (PSNR, SSIM, LPIPS, FVD, QScore và đánh giá người dùng) trên ROSE-Benchmark, VOR-Eval và VOR-Wild.

Đặc biệt, EffectErase đạt điểm cao nhất về chỉ số chất lượng video FVD, thể hiện độ mượt mà và nhất quán về mặt thời gian vượt trội của các video được tạo ra. Các nghiên cứu cắt bỏ (ablation studies) xác nhận sự đóng góp đáng kể của từng thành phần (EC loss, TARG, và dữ liệu tổng hợp) vào hiệu suất tổng thể của mô hình. Ngoài ra, EffectErase có thể dễ dàng thích ứng với nhiệm vụ chèn vật thể (object insertion) mà không cần huấn luyện bổ sung, tạo ra các hiệu ứng phụ thực tế như bóng đổ và phản chiếu.

IV. Conclusion & Future Works:

Công trình đã giải quyết vấn đề khó khăn của việc xóa vật thể video nhận biết hiệu ứng bằng cách giới thiệu bộ dữ liệu VOR và khung EffectErase. VOR là bộ dữ liệu lai ghép quy mô lớn, bao gồm các video được quay và tổng hợp, bao quát các loại hiệu ứng do vật thể gây ra. EffectErase học đồng thời xóa và chèn vật thể video, sử dụng Task-Aware Region Guidance để mô hình hóa mối tương quan không gian-thời gian giữa vật thể và hiệu ứng, và áp dụng Effect Consistency loss để căn chỉnh các vùng hiệu ứng giữa các nhiệm vụ. Các thử nghiệm và nghiên cứu cắt bỏ đã xác nhận sự đóng góp của từng thành phần.

Trong tương lai, hướng nghiên cứu tiếp theo là hỗ trợ các tương tác thân thiện hơn với người dùng, ví dụ như cho phép người dùng nhập liệu bằng văn bản hoặc giọng nói thay vì yêu cầu mặt nạ đầu vào để chỉ định vùng cần xóa.

V. Brainstorming Space:

1. Publish Papers:

Phát triển mô hình xóa vật thể video dựa trên mô tả ngôn ngữ tự nhiên: Nghiên cứu các kiến trúc mô hình mới cho phép người dùng chỉ định vật thể và hiệu ứng cần xóa thông qua văn bản hoặc giọng nói, loại bỏ hoàn toàn nhu cầu về mặt nạ đầu vào. Điều này sẽ bao gồm việc phát triển các cơ chế hiểu ngữ cảnh và nhận diện vật thể mạnh mẽ hơn, kết nối trực tiếp với các mô hình ngôn ngữ lớn (LLMs).
Mở rộng bộ dữ liệu VOR với hiệu ứng vật lý và tương tác môi trường phức tạp: Bổ sung thêm các loại hiệu ứng vật lý khó nhằn hơn như biến dạng chất lỏng (nước, khói), tương tác với vật liệu mềm (vải, tóc), hoặc các hiệu ứng ánh sáng động phức tạp (phản xạ đa chiều, khúc xạ). Đồng thời, tăng cường các kịch bản tương tác vật thể-môi trường để mô hình có thể học cách xử lý các tình huống thực tế đa dạng hơn.
Áp dụng học đối ứng cho các tác vụ chỉnh sửa video đa nhiệm: Khám phá việc ứng dụng nguyên lý học đối ứng giữa hai tác vụ đảo ngược (ví dụ: nâng cấp độ phân giải và hạ cấp, tạo hiệu ứng và loại bỏ hiệu ứng) cho các tác vụ chỉnh sửa video khác như chuyển đổi phong cách, thay đổi bối cảnh, hoặc điều chỉnh cảm xúc. Mục tiêu là tận dụng mối quan hệ bổ sung giữa các tác vụ để cải thiện chất lượng, tính nhất quán và khả năng kiểm soát của quá trình chỉnh sửa.

2. Patent:

Ứng dụng "Gỡ bỏ đối tượng thông minh" trên điện thoại: Một tính năng tích hợp trong ứng dụng chỉnh sửa video của điện thoại, cho phép người dùng chỉ cần chạm hoặc khoanh vùng sơ bộ một vật thể không mong muốn trong video. Hệ thống sẽ sử dụng công nghệ học máy để tự động phát hiện và xóa vật thể đó cùng với các hiệu ứng đi kèm như bóng đổ, phản chiếu, hoặc biến dạng nhỏ của nền, sau đó khôi phục lại bối cảnh một cách tự nhiên và liền mạch. Người dùng có thể xem trước kết quả và tinh chỉnh nếu cần.
Chế độ "Thực tế ảo tăng cường với hiệu ứng vật lý" cho camera điện thoại: Phát triển một chế độ quay video trên điện thoại cho phép người dùng chèn các vật thể ảo vào cảnh quay trực tiếp. Công nghệ này sẽ tự động phân tích môi trường thực tế (ánh sáng, bề mặt) và tạo ra các hiệu ứng vật lý chân thực cho vật thể ảo, ví dụ như bóng đổ chính xác theo hướng ánh sáng, phản chiếu trên mặt nước hoặc kính, và các tương tác nhỏ với môi trường (như cỏ lay động khi vật thể ảo đi qua).
Hệ thống "Tự động dọn dẹp hậu cảnh" trong quay video trực tiếp: Một tính năng thông minh trên điện thoại di động giúp tự động loại bỏ các yếu tố gây mất tập trung khỏi hậu cảnh trong khi người dùng đang quay video. Hệ thống sẽ liên tục nhận diện và xóa bỏ các vật thể chuyển động không mong muốn (ví dụ: người đi ngang qua, xe cộ) hoặc các chi tiết nền không liên quan, tạo ra một video có hậu cảnh sạch sẽ và tập trung hơn vào chủ thể chính, giúp người dùng tạo ra nội dung chuyên nghiệp hơn mà không cần chỉnh sửa hậu kỳ phức tạp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.19224
ArXiv Abstract	https://arxiv.org/abs/2603.19224
PDF Download	https://arxiv.org/pdf/2603.19224.pdf
Github Repository	https://github.com/FudanCVL/EffectErase

17. Tinted Frames: Question Framing Blinds Vision-Language Models (14 votes)

Tác giả: Wan-Cyuan Fan, Jiayun Luo, Declan Kutscher, Leonid Sigal, Ritwik Gupta

Xuất bản lúc: 2026-03-19

Tag: Vision-Language Models, Visual Grounding, Attention Mechanisms, Prompt Engineering, Multimodal AI, Deep Learning

I. Main Problem:

Các Mô hình Thị giác-Ngôn ngữ (VLM) thường bỏ qua hoặc sử dụng kém hiệu quả các đầu vào thị giác, ngay cả trong các tác vụ đòi hỏi suy luận thị giác. Nghiên cứu này chứng minh rằng các VLM "mù có chọn lọc"; chúng điều chỉnh mức độ chú ý đến đầu vào thị giác dựa trên cách đặt câu hỏi (khung ngôn ngữ), ngay cả khi các khung câu hỏi khác nhau đòi hỏi cùng một suy luận thị giác. Điều này dẫn đến sự phân bổ chú ý sai lệch, giảm sự tập trung vào các vùng liên quan đến tác vụ và gây ra độ chính xác suy giảm cùng sự không nhất quán giữa các khung câu hỏi.

II. Main Idea:

Các tác giả chứng minh rằng các VLM bị "mù có chọn lọc" dựa trên khung câu hỏi và đề xuất một phương pháp giảm thiểu. Họ định lượng cách khung câu hỏi làm thay đổi cả lượng và phân phối sự chú ý trên hình ảnh, cho thấy các khung bị giới hạn (như câu hỏi trắc nghiệm và có/không) làm giảm đáng kể sự chú ý đến ngữ cảnh hình ảnh và chuyển sự chú ý khỏi các vùng liên quan đến tác vụ. Sau đó, họ chứng minh rằng sự phân bổ chú ý sai lệch này là nguyên nhân chính gây suy giảm độ chính xác và sự không nhất quán giữa các khung. Dựa trên những hiểu biết này, họ giới thiệu một phương pháp điều chỉnh prompt nhẹ sử dụng các token có thể học được để khuyến khích các mẫu chú ý mạnh mẽ, được định vị thị giác như trong cài đặt câu hỏi mở, từ đó cải thiện khả năng định vị thị giác và hiệu suất trên các khung câu hỏi khác nhau.

III. Main Results:

Sự không nhất quán giữa các khung câu hỏi: Các VLM phổ biến cho thấy tỷ lệ không nhất quán đáng kể (ví dụ: Qwen2.5-VL-7B đạt tới 26% trên GQA và 38% trên SeedBench). Các tác vụ đòi hỏi định vị đối tượng (object grounding), đặc biệt là định vị nhiều đối tượng, bị ảnh hưởng nặng nề nhất.
Tác động đến sự chú ý thị giác: Các khung câu hỏi bị giới hạn làm giảm "năng lượng thị giác" tổng thể, chuyển hướng sự chú ý khỏi các vùng mục tiêu (ví dụ: sự chú ý vào bounding box giảm khoảng 40% trên GQAF và 50% trên V*F) và tăng sự chú ý đến các token không có ý nghĩa. Sự phân phối chú ý cũng trở nên phân tán hơn.
Kết nối giữa sự chú ý và dự đoán: Can thiệp trực tiếp vào sự chú ý (attention steering) đã phục hồi độ chính xác. Điều này xác nhận rằng sự sai lệch trong sự chú ý gây ra lỗi dự đoán. Sự phân bổ không gian (mô hình nhìn vào đâu trong ảnh) quan trọng hơn mức năng lượng thị giác tổng thể (mô hình nhìn bao nhiêu vào ảnh), đặc biệt đối với các tác vụ định vị nặng.
Hiệu quả của Prompt Tuning: Phương pháp điều chỉnh prompt đề xuất đã thành công trong việc khôi phục các mẫu chú ý thị giác mạnh mẽ của các khung câu hỏi mở cho các khung bị giới hạn, giảm đáng kể tỷ lệ không nhất quán giữa các khung và cải thiện hiệu suất trên nhiều VLM và các bộ dữ liệu đánh giá đa dạng.

IV. Conclusion & Future Works:

Các lỗi do khung câu hỏi gây ra không phải là hời hợt mà xuất phát từ sự thay đổi cơ bản trong cách VLM xử lý thông tin thị giác. Phương pháp điều chỉnh prompt nhẹ được đề xuất, thông qua việc căn chỉnh lại sự chú ý, đã chứng minh khả năng cải thiện đáng kể tính mạnh mẽ và khả năng định vị thị giác của các VLM trên các khung câu hỏi khác nhau. Các hướng nghiên cứu trong tương lai có thể bao gồm việc phát triển các kiến trúc VLM tự thân có khả năng kháng lại sự nhạy cảm với khung câu hỏi, khám phá các dạng thiên vị ngôn ngữ khác và cách chúng ảnh hưởng đến sự chú ý và suy luận thị giác, cũng như áp dụng các kỹ thuật căn chỉnh chú ý tương tự để cải thiện các khả năng đa phương thức khác của VLM.

V. Brainstorming Space:

1. Publish Papers:

Phát triển Kiến trúc VLM Kháng Khung Câu hỏi (Framing-Resistant VLM Architectures): Nghiên cứu các thay đổi kiến trúc hoặc phương pháp huấn luyện để các VLM có thể duy trì sự chú ý thị giác mạnh mẽ và nhất quán, bất kể cách câu hỏi được đặt ra (ví dụ: thiết kế các cơ chế chú ý "cứng rắn" hơn hoặc các phương pháp kết hợp đa phương thức ít bị ảnh hưởng bởi thiên vị ngôn ngữ).
Nghiên cứu Tác động của Các Loại Thiên vị Ngôn ngữ Khác đến VLM (Investigating Other Linguistic Biases on VLMs): Mở rộng nghiên cứu về tác động của các yếu tố ngôn ngữ khác ngoài khung câu hỏi (ví dụ: độ phức tạp ngữ pháp, từ vựng chuyên ngành, sắc thái cảm xúc) lên sự chú ý thị giác và khả năng suy luận của VLM, và phát triển các chiến lược giảm thiểu tương ứng.
Căn chỉnh Chú ý Đa phương thức cho Các Tác vụ VLM Khác (Multimodal Attention Alignment for Other VLM Tasks): Áp dụng nguyên tắc căn chỉnh chú ý giữa các chế độ (ví dụ: căn chỉnh sự chú ý thị giác với sự chú ý âm thanh hoặc xúc giác) để cải thiện hiệu suất của VLM trong các tác vụ đa phương thức phức tạp hơn như mô tả video, suy luận không gian-thời gian hoặc tương tác robot.

2. Patent:

Hệ thống Trợ lý Hình ảnh Thông minh trên điện thoại di động với Khả năng Đặt Câu hỏi Tối ưu (Smart Visual Assistant with Optimized Question Framing): Một tính năng trên ứng dụng camera hoặc trợ lý ảo của điện thoại di động có thể tự động phân tích ngữ cảnh hình ảnh và đề xuất hoặc điều chỉnh cách đặt câu hỏi của người dùng (ví dụ: chuyển đổi câu hỏi "Có phải đây là mèo không?" thành "Đây là con vật gì?") để đảm bảo VLM trên thiết bị hoặc đám mây cung cấp câu trả lời chính xác và chi tiết nhất, đặc biệt khi người dùng muốn xác định đối tượng hoặc thuộc tính phức tạp.
Công nghệ "Thấu kính Chú ý" Tăng cường Thực tế (Augmented Reality "Attention Lens" for Enhanced Visual Search): Một ứng dụng AR trên điện thoại di động sử dụng công nghệ tương tự như "attention steering" để hiển thị trực quan các vùng mà VLM đang "chú ý" trên hình ảnh camera trực tiếp. Khi người dùng đặt câu hỏi, ứng dụng sẽ làm nổi bật các đối tượng hoặc khu vực quan trọng trong khung hình, đồng thời điều chỉnh sự chú ý của VLM để tập trung vào các chi tiết liên quan, giúp tìm kiếm thông tin hoặc nhận dạng đối tượng chính xác hơn trong môi trường thực tế.
Bộ điều chỉnh Prompt Động cho Ứng dụng Học tập và Hỗ trợ Người khiếm thị (Dynamic Prompt Adjuster for Learning and Visually Impaired Assistance Apps): Một hệ thống trên điện thoại di động tích hợp vào các ứng dụng học tập hoặc hỗ trợ người khiếm thị. Hệ thống này sẽ tự động điều chỉnh cách đặt câu hỏi hoặc cung cấp các gợi ý prompt cho VLM dựa trên phản hồi của VLM hoặc nhu cầu của người dùng. Ví dụ, nếu một VLM trả lời không chính xác cho một câu hỏi "có/không" về một đối tượng, hệ thống sẽ tự động chuyển đổi sang câu hỏi mở hoặc cung cấp các tùy chọn trắc nghiệm để khuyến khích VLM chú ý hơn đến các chi tiết thị giác và đưa ra câu trả lời chính xác hơn, giúp người dùng học hỏi hoặc tương tác với thế giới xung quanh hiệu quả hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.19203
ArXiv Abstract	https://arxiv.org/abs/2603.19203
PDF Download	https://arxiv.org/pdf/2603.19203.pdf
Github Repository	https://github.com/davidhalladay/Tinted-Frames

18. SimulU: Training-free Policy for Long-form Simultaneous Speech-to-Speech Translation (14 votes)

Tác giả: Amirbek Djanibekov, Luisa Bentivogli, Matteo Negri, Sara Papi

Xuất bản lúc: 2026-03-11

Tag: SimulS2S, Neural Networks, Attention Mechanisms, End-to-end Learning, Speech Processing, Machine Translation

I. Main Problem:

Dịch giọng nói sang giọng nói đồng thời (SimulS2S) là rất cần thiết cho giao tiếp đa ngôn ngữ theo thời gian thực nhưng còn ít được nghiên cứu. Các giải pháp hiện tại thường yêu cầu quy trình huấn luyện tốn tài nguyên và chỉ hoạt động trên các đoạn văn ngắn, đã được phân đoạn trước, không thể khái quát hóa cho lời nói liên tục. Các quy trình huấn luyện phức tạp, yêu cầu dữ liệu lớn và thường là tổng hợp. Các hệ thống xếp tầng (cascaded) mắc phải lỗi tích lũy, mất thông tin phi ngôn ngữ (như giọng điệu, đặc điểm người nói) và có độ trễ cao. Hầu hết các nghiên cứu hiện có chỉ đánh giá trong môi trường ngắn hạn, không phù hợp với các điều kiện triển khai thực tế.

II. Main Idea:

Chúng tôi đề xuất SimulU, chính sách không cần huấn luyện đầu tiên cho dịch giọng nói sang giọng nói đồng thời dạng dài (long-form SimulS2S). SimulU áp dụng các chiến lược quản lý lịch sử và lựa chọn đầu ra giọng nói bằng cách khai thác cơ chế cross-attention trong các mô hình end-to-end đã được huấn luyện trước (cụ thể là SeamlessM4T). Các quyết định này được đưa ra chỉ dựa trên kiến thức nội bộ của các mô hình hiện có, không yêu cầu huấn luyện hoặc điều chỉnh bổ sung. Quy trình của SimulU bao gồm sáu bước: Thu thập âm thanh, Tạo giả thuyết, Lựa chọn giả thuyết ổn định (dựa trên cross-attention giọng nói-văn bản), Lựa chọn lịch sử đầu vào văn bản và giọng nói (dựa trên cross-attention giọng nói-văn bản), Tạo đơn vị giọng nói và tổng hợp giọng nói, và Lựa chọn đơn vị giọng nói và giả thuyết giọng nói (dựa trên cross-attention văn bản-đơn vị).

III. Main Results:

Đánh giá trên bộ dữ liệu MuST-C với 8 cặp ngôn ngữ cho thấy SimulU đạt được sự cân bằng tốt hơn hoặc tương đương giữa chất lượng và độ trễ so với các mô hình xếp tầng mạnh mẽ. Cụ thể, SimulU đạt điểm ASR-BLEU cao nhất hoặc cạnh tranh trên sáu cặp ngôn ngữ (Đức, Pháp, Ý, Tây Ban Nha, Bồ Đào Nha, Romania) và duy trì hiệu suất cạnh tranh ở các ngôn ngữ còn lại (Nga và Hà Lan), với độ trễ hợp lý (thường từ 1 đến 2 giây). SimulU và StreamAtt+XTTS-v2 vượt trội hơn đáng kể các hệ thống dựa trên LA (ít nhất 4-5 điểm ASR-BLEU ở cùng độ trễ). SimulU cũng đạt độ trễ end-offset thấp hơn và ổn định hơn so với các hệ thống xếp tầng hàng đầu cho hầu hết các ngôn ngữ.

IV. Conclusion & Future Works:

SimulU là chính sách dịch giọng nói sang giọng nói đồng thời dạng dài không cần huấn luyện đầu tiên, khai thác cross-attention nội bộ của các mô hình end-to-end đã được huấn luyện trước để điều chỉnh động cả lịch sử đầu vào và quá trình tạo đầu ra. Phương pháp này mang lại kết quả mạnh mẽ ngay cả khi so sánh với các hệ thống xếp tầng tiên tiến, chứng minh tính hiệu quả mà không cần bất kỳ quá trình huấn luyện bổ sung nào, do đó cung cấp một giải pháp thực tế và cạnh tranh cho dịch giọng nói đồng thời trong thế giới thực. Hướng nghiên cứu trong tương lai có thể tập trung vào việc mở rộng và tối ưu hóa các chính sách không cần huấn luyện cho các kịch bản dịch đa dạng hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng SimulU cho các mô hình đa phương thức và đa nhiệm vụ: Nghiên cứu cách áp dụng chính sách không cần huấn luyện của SimulU để hỗ trợ dịch giọng nói sang giọng nói đồng thời trong các mô hình đa phương thức lớn (ví dụ: kết hợp với dữ liệu video) hoặc các mô hình thực hiện nhiều nhiệm vụ dịch cùng lúc, nhằm nâng cao khả năng ứng dụng trong các môi trường giao tiếp phức tạp hơn.
Tối ưu hóa các chiến lược quản lý lịch sử và lựa chọn đầu ra bằng phương pháp học tăng cường không giám sát: Khám phá việc sử dụng các kỹ thuật học tăng cường (Reinforcement Learning) không giám sát để tự động tinh chỉnh các chiến lược quản lý lịch sử và lựa chọn đầu ra dựa trên cross-attention, nhằm tự động tìm ra sự cân bằng tối ưu giữa chất lượng và độ trễ mà không cần dữ liệu gắn nhãn hay huấn luyện lại mô hình nền.
Đánh giá SimulU trong các môi trường thực tế với điều kiện âm thanh đa dạng và ngôn ngữ ít tài nguyên: Mở rộng đánh giá SimulU sang các kịch bản thực tế hơn bao gồm tiếng ồn nền, nhiều giọng nói, giọng điệu khác nhau và các ngôn ngữ ít tài nguyên, đồng thời phát triển các phương pháp để thích ứng chính sách với những thách thức này nhằm đảm bảo tính mạnh mẽ và khả năng ứng dụng rộng rãi của hệ thống.

2. Patent:

Hệ thống dịch cuộc gọi và họp trực tuyến tức thời không cần cài đặt phức tạp trên điện thoại thông minh: Một ứng dụng di động tích hợp SimulU cho phép người dùng thực hiện cuộc gọi hoặc tham gia các cuộc họp trực tuyến và nhận bản dịch giọng nói theo thời gian thực. Hệ thống tự động quản lý lịch sử hội thoại và lựa chọn phần dịch để phát ra, đảm bảo độ trễ thấp và chất lượng dịch cao mà không yêu cầu người dùng cấu hình hay huấn luyện mô hình, mang lại trải nghiệm giao tiếp đa ngôn ngữ liền mạch.
Tính năng phiên dịch trực tiếp cho du lịch và giao tiếp hàng ngày tích hợp vào camera/micrô điện thoại: Phát triển một tính năng trên điện thoại thông minh cho phép phiên dịch giọng nói hai chiều theo thời gian thực trong các tình huống giao tiếp trực tiếp. Người dùng chỉ cần hướng điện thoại vào người đang nói hoặc đặt gần nguồn âm thanh, và hệ thống sẽ tự động dịch và phát lại giọng nói đã dịch, hữu ích cho du lịch, mua sắm hoặc các tương tác xã hội mà không cần tải gói ngôn ngữ hay thiết lập phức tạp.
Trợ lý giọng nói đa ngôn ngữ cá nhân hóa không cần huấn luyện bổ sung: Một trợ lý giọng nói trên điện thoại có khả năng hiểu và phản hồi bằng nhiều ngôn ngữ khác nhau mà không cần huấn luyện lại riêng cho từng ngôn ngữ. Sử dụng cơ chế của SimulU, trợ lý có thể tự động dịch các câu hỏi hoặc lệnh của người dùng sang ngôn ngữ đích và phản hồi bằng giọng nói đã dịch, duy trì ngữ cảnh và giọng điệu tự nhiên, tạo ra trải nghiệm tương tác linh hoạt và cá nhân hóa hơn cho người dùng đa ngôn ngữ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16924
ArXiv Abstract	https://arxiv.org/abs/2603.16924
PDF Download	https://arxiv.org/pdf/2603.16924.pdf
Github Repository	N/A

📰 Summary of Papers​

1. Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding (84 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing (62 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. 3DreamBooth: High-Fidelity 3D Subject-Driven Video Generation Model (51 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. FASTER: Rethinking Real-Time Flow VLAs (49 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy Distillation (47 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Memento-Skills: Let Agents Design Agents (41 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Bridging Semantic and Kinematic Conditions with Diffusion-based Discrete Motion Tokenizer (39 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. MonoArt: Progressive Structural Reasoning for Monocular Articulated 3D Reconstruction (31 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens (30 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding (84 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing (62 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. 3DreamBooth: High-Fidelity 3D Subject-Driven Video Generation Model (51 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. FASTER: Rethinking Real-Time Flow VLAs (49 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy Distillation (47 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Memento-Skills: Let Agents Design Agents (41 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Bridging Semantic and Kinematic Conditions with Diffusion-based Discrete Motion Tokenizer (39 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. MonoArt: Progressive Structural Reasoning for Monocular Articulated 3D Reconstruction (31 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens (30 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: