🤗 Daily Hugging Face Paper Digest - 2026-03-13

Báo cáo được tạo tự động vào lúc 2026-03-18 11:58:13 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training (86 votes)

Tác giả: Fangfu Liu, Diankun Wu, Jiawei Chi, Yimo Cai, Yi-Hsin Hung, Xumin Yu, Hao Li, Han Hu, Yongming Rao, Yueqi Duan

Xuất bản lúc: 2026-03-12

Tag: Spatial Intelligence, Test-Time Training, MLLM, Computer Vision, Streaming Data

I. Main Problem:

Khả năng duy trì và cập nhật thông tin không gian từ các luồng quan sát hình ảnh liên tục là rất cần thiết cho trí tuệ không gian. Tuy nhiên, các mô hình hiện tại gặp khó khăn trong việc xử lý luồng video không giới hạn, đặc biệt là cách chọn lọc, tổ chức và lưu giữ thông tin không gian theo thời gian. Các MLLM hiện tại hoạt động kém hiệu quả trong các tác vụ yêu cầu hiểu biết không gian 3D do thiếu các tiền đề hình học 3D, vì chúng chủ yếu được huấn luyện trên các cặp ảnh-văn bản 2D. Các phương pháp hiện có chỉ giới hạn ở ảnh tĩnh hoặc video ngắn và không thể mở rộng cho các luồng video dài hàng ngàn khung hình, dẫn đến chi phí tính toán cấm kỵ hoặc mất chi tiết không gian quan trọng. Ngoài ra, các phép chiếu tuyến tính điểm-điểm trong TTT truyền thống bỏ qua cấu trúc lân cận, làm cho việc cập nhật bộ nhớ không gian kém mạch lạc, và các bộ dữ liệu không gian hiện có thường thưa thớt và cục bộ, cung cấp tín hiệu gradient yếu cho việc học động lực cập nhật trọng số nhanh.

II. Main Idea:

Bài báo đề xuất Spatial-TTT, một khung làm việc mới cho trí tuệ không gian dựa trên hình ảnh với huấn luyện tại thời điểm thử nghiệm (Test-Time Training - TTT). Spatial-TTT sử dụng một tập hợp con các tham số thích ứng (trọng số nhanh) để thu thập và tổ chức bằng chứng không gian từ các luồng video dài. Cụ thể:

Kiến trúc lai (Hybrid Architecture): Xen kẽ các lớp TTT với các lớp tự chú ý (self-attention) neo theo tỷ lệ 3:1 để nén ngữ cảnh dài hiệu quả và duy trì khả năng suy luận ngữ nghĩa của MLLM đã được huấn luyện trước.
Cập nhật theo khối lớn và chú ý cửa sổ trượt (Large-chunk updates and sliding-window attention): Áp dụng chiến lược cập nhật theo khối lớn song song với chú ý cửa sổ trượt để xử lý video không gian hiệu quả, cải thiện song song hóa và bảo toàn tính liên tục không gian-thời gian nội khối.
Cơ chế dự đoán không gian (Spatial-Predictive Mechanism): Giới thiệu cơ chế này cho các lớp TTT bằng cách sử dụng phép tích chập không gian-thời gian 3D theo chiều sâu (depth-wise 3D spatiotemporal convolution) để khuyến khích mô hình nắm bắt sự tương ứng hình học và tính liên tục tạm thời giữa các khung hình, thay vì các phép chiếu tuyến tính điểm-điểm. Nó cũng sử dụng quy tắc cập nhật Muon để tối ưu hóa.
Bộ dữ liệu mô tả cảnh dày đặc (Dense Scene-Description Dataset): Xây dựng một bộ dữ liệu mới yêu cầu mô hình tạo ra các mô tả cảnh 3D toàn diện (ngữ cảnh toàn cầu, đối tượng và số lượng, mối quan hệ không gian) để cung cấp tín hiệu giám sát phong phú cho việc học động lực cập nhật trọng số nhanh.
Chiến lược huấn luyện tiến bộ nhận biết không gian (Spatial-Aware Progressive Training): Huấn luyện theo hai giai đoạn: (1) khởi tạo trọng số nhanh với nhận thức 3D toàn cầu bằng dữ liệu mô tả cảnh dày đặc (sử dụng chiến lược ủ cửa sổ trượt), và (2) tinh chỉnh khả năng suy luận không gian liên tục bằng dữ liệu VQA không gian quy mô lớn.

III. Main Results:

Spatial-TTT đạt hiệu suất vượt trội trên các điểm chuẩn không gian video:

VSI-Bench: Mô hình Spatial-TTT-2B đạt hiệu suất tổng thể tốt nhất với điểm trung bình (Avg.) là 64.4, vượt qua cả các mô hình độc quyền và mã nguồn mở. Đặc biệt nổi bật trong các tác vụ suy luận không gian trắc nghiệm như Hướng Tương Đối (Relative Direction) và Kế Hoạch Lộ Trình (Route Plan), cũng như đạt điểm cao nhất về Khoảng Cách Tuyệt Đối (Absolute Distance) và cạnh tranh mạnh mẽ về Kích Thước Phòng (Room Size) và Đếm Đối Tượng (Object Count).
MindCube-Tiny: Đạt điểm ACC 76.2, vượt trội hơn tất cả các mô hình cơ sở, đặc biệt trong các tập con ACROSS và AMONG, cho thấy khả năng suy luận không gian mạnh mẽ hơn dưới sự thay đổi góc nhìn và vật cản.
VSI-SUPER (VSR và VSC): Đạt hiệu suất cạnh tranh trên VSI-SUPER-Recall và vượt trội đáng kể so với tất cả các mô hình cơ sở trên VSI-SUPER-Count ở các độ dài video khác nhau. Spatial-TTT duy trì hiệu suất ổn định khi độ dài video tăng lên, khác với các mô hình khác thường suy giảm.
Các nghiên cứu loại bỏ (ablation study) xác nhận hiệu quả của cơ chế dự đoán không gian và giám sát mô tả cảnh dày đặc.

IV. Conclusion & Future Works:

Spatial-TTT cải thiện đáng kể khả năng hiểu biết không gian dài hạn và đạt hiệu suất tiên tiến trên các điểm chuẩn không gian video. Khung làm việc này sử dụng Test-Time Training với các trọng số nhanh thích ứng để tích lũy bằng chứng không gian từ luồng video, kết hợp kiến trúc lai, cập nhật khối lớn, chú ý cửa sổ trượt, cơ chế dự đoán không gian và dữ liệu mô tả cảnh dày đặc. Những cải tiến này cho phép mô hình duy trì hiệu suất ổn định và tích hợp liên tục các quan sát mới trong các luồng video dài. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc tối ưu hóa hơn nữa khả năng tích hợp thông tin không gian trong các môi trường động phức tạp, khám phá các cơ chế thích ứng động cho việc xử lý luồng dữ liệu, và mở rộng ứng dụng trong các hệ thống robot tự hành và thực tế tăng cường.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế chunking và chú ý thích ứng động trong Test-Time Training cho video dài: Khám phá các phương pháp để tự động điều chỉnh kích thước chunk và cửa sổ chú ý dựa trên nội dung video, độ phức tạp của cảnh hoặc yêu cầu của tác vụ, nhằm tối ưu hóa hiệu quả tính toán và khả năng nắm bắt chi tiết không gian trong các luồng video không giới hạn.
Tích hợp trí tuệ không gian dựa trên luồng hình ảnh với lập kế hoạch hành động cho robot: Phát triển một khung làm việc cho phép robot sử dụng khả năng hiểu biết không gian liên tục của Spatial-TTT để xây dựng bản đồ 3D thời gian thực, xác định vị trí đối tượng, và lập kế hoạch di chuyển hoặc thao tác trong môi trường vật lý, từ đó nâng cao khả năng thích ứng và tự chủ của robot trong các tình huống thực tế.
Mở rộng khả năng suy luận không gian đa phương thức với dữ liệu cảm biến bổ sung: Điều tra cách kết hợp thông tin không gian từ các nguồn cảm biến khác (ví dụ: âm thanh, xúc giác, LiDAR, dữ liệu quán tính) cùng với dữ liệu hình ảnh để làm phong phú bằng chứng không gian, cải thiện độ chính xác và độ bền của mô hình trong các môi trường thách thức, hoặc cho các tác vụ không gian cụ thể yêu cầu thông tin ngoài thị giác.

2. Patent:

Hệ thống định vị và tìm kiếm vật thể trong nhà không cần GPS dựa trên camera điện thoại: Một ứng dụng di động sử dụng camera của điện thoại để liên tục quét và xây dựng một bản đồ không gian 3D động của môi trường trong nhà. Người dùng có thể hỏi ứng dụng về vị trí của các vật thể đã được nhìn thấy trước đó ("Tôi đã để chìa khóa ở đâu?") hoặc yêu cầu hướng dẫn đường đi đến một khu vực cụ thể ("Đường đến phòng ngủ ở đâu?"), và ứng dụng sẽ cung cấp thông tin chính xác dựa trên dữ liệu không gian được cập nhật liên tục.
Trợ lý thực tế tăng cường (AR) thông minh cho hướng dẫn lắp ráp và sắp xếp đồ nội thất: Một công nghệ di động cho phép các ứng dụng AR duy trì nhận thức không gian 3D ổn định và chính xác hơn cho các đối tượng ảo trong một thời gian dài. Điều này giúp người dùng dễ dàng lắp ráp đồ nội thất bằng cách hiển thị các bước hướng dẫn 3D trên không gian thực mà không bị gián đoạn hay sai lệch, hoặc sắp xếp lại đồ đạc trong nhà với các gợi ý vị trí tối ưu từ AR mà không cần hiệu chỉnh lại liên tục.
Cải thiện trải nghiệm mua sắm bán lẻ bằng cách ghi nhớ vị trí sản phẩm trên kệ hàng: Một ứng dụng trên điện thoại sử dụng camera để quét và ghi nhớ bố cục các sản phẩm trên kệ hàng trong cửa hàng. Khi người dùng quay lại hoặc cần tìm một sản phẩm cụ thể, ứng dụng có thể nhanh chóng hướng dẫn họ đến vị trí chính xác của sản phẩm đó, ngay cả khi bố cục cửa hàng có thay đổi nhỏ, bằng cách sử dụng khả năng cập nhật và duy trì thông tin không gian liên tục.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12255
ArXiv Abstract	https://arxiv.org/abs/2603.12255
PDF Download	https://arxiv.org/pdf/2603.12255.pdf
Github Repository	https://github.com/THU-SI/Spatial-TTT

Tác giả: Łukasz Borchmann, Jordy Van Landeghem, Michał Turski, Shreyansh Padarha, Ryan Othniel Kearns, Adam Mahdi, Niels Rogge, Clémentine Fourrier, Siwei Han, Huaxiu Yao, Artemis Llabrés, Yiming Xu, Dimosthenis Karatzas, Hao Zhang, Anupam Datta

Xuất bản lúc: 2026-03-12

Tag: Multimodal Agents, Document QA, RAG, MLLMs, Benchmarking, Strategic Reasoning, Evaluation Protocol

I. Main Problem:

Các tác nhân đa phương thức hiện tại gặp khó khăn trong việc thực hiện các quy trình công việc phức tạp, đòi hỏi nhiều tài liệu. Một câu hỏi quan trọng là liệu các tác nhân này có thực sự thể hiện khả năng suy luận chiến lược hay chỉ đơn thuần là tìm kiếm thử và sai ngẫu nhiên. Các bộ tiêu chuẩn hiện có còn phân mảnh, thiếu khả năng hiểu hình ảnh đối với tài liệu thực tế, giới hạn đánh giá trong các lĩnh vực hẹp hoặc gặp vấn đề về tính toàn vẹn dữ liệu (ví dụ: câu hỏi do MLLM tạo, tài liệu tái chế). Các tác nhân cũng cho thấy một "khoảng cách hiệu quả" đáng kể so với con người, thường dựa vào tìm kiếm vét cạn và mắc kẹt trong các vòng lặp không hiệu quả.

II. Main Idea:

Để giải quyết vấn đề này, nghiên cứu giới thiệu MADQA, một bộ tiêu chuẩn mới bao gồm 2.250 câu hỏi do con người viết, dựa trên 800 tài liệu PDF đa dạng. MADQA được thiết kế dựa trên Lý thuyết kiểm tra cổ điển để tối đa hóa khả năng phân biệt giữa các cấp độ năng lực của tác nhân, đảm bảo sự đa dạng về bố cục, phạm vi miền rộng, yêu cầu suy luận đa bước và sử dụng tài liệu mới. Nghiên cứu định nghĩa "Agentic Document Collection VQA" với sáu thuộc tính cốt lõi (Trích xuất, Đa bước, Thế giới đóng, Có căn cứ, Tác nhân, Trực quan) và đề xuất một giao thức đánh giá mới đo lường sự đánh đổi giữa độ chính xác và nỗ lực (sử dụng thống kê Kuiper), cùng với độ chính xác câu trả lời và độ tin cậy của bằng chứng. Nghiên cứu cũng thực hiện một so sánh toàn diện giữa hành vi tìm kiếm của con người và tác nhân.

III. Main Results:

Các tác nhân tốt nhất có thể đạt độ chính xác thô ngang với người tìm kiếm (ví dụ: Gemini 3 Pro BM25 MLLM Agent đạt 82.2% so với Human BM25 Agent là 82.2%), nhưng họ thành công ở các câu hỏi khác nhau và dựa vào tìm kiếm vét cạn để bù đắp cho việc lập kế hoạch chiến lược yếu kém. Các tác nhân không thể thu hẹp khoảng cách gần 20% so với hiệu suất oracle của con người (Human Oracle Retriever đạt 99.4%), cho thấy việc truy xuất thông tin vẫn là nút thắt cổ chai chính. Các hệ thống tác nhân vượt trội hơn các hệ thống RAG tĩnh. Các ràng buộc truy xuất là cần thiết cho suy luận hiệu quả về chi phí; Recursive Language Models (RLM) thiếu ràng buộc dẫn đến xử lý thông tin kém hiệu quả và tốn kém. Con người có khả năng điều chỉnh nỗ lực tốt hơn nhiều (thống kê Kuiper 14.6) so với bất kỳ hệ thống tác nhân nào (22.9 đến 73.2), và thể hiện khả năng lập kế hoạch chiến lược "khởi đầu lạnh" mạnh mẽ hơn đáng kể.

IV. Conclusion & Future Works:

Ngay cả khi các tác nhân MLLM tiên tiến có thể trả lời các câu hỏi khó dựa trên tài liệu, chúng vẫn tốn nhiều nỗ lực mà không đáng tin cậy nhận ra khi nào và việc khám phá bổ sung nào là có lợi. Để hỗ trợ chuyển đổi sang suy luận hiệu quả và có sự điều chỉnh, nghiên cứu phát hành MADQA cùng với các triển khai mã nguồn mở của các tác nhân cơ sở mạnh mẽ. Hai hướng nghiên cứu chính trong tương lai bao gồm: 1) sử dụng trí nhớ theo tập (episodic memory) để giúp tác nhân học thuật ngữ và cấu trúc tài liệu cụ thể trên các truy vấn; và 2) áp dụng học tăng cường (reinforcement learning) với phản hồi từ công cụ tìm kiếm để cải thiện đáng kể các chính sách khám phá.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc tích hợp và tối ưu hóa trí nhớ theo tập (episodic memory) trong các tác nhân đa phương thức để nâng cao khả năng học hỏi và áp dụng kiến thức về cấu trúc và thuật ngữ tài liệu, đặc biệt trong các kịch bản truy vấn phức tạp và đa bước.
Phát triển các thuật toán học tăng cường (reinforcement learning) mới cho các tác nhân tìm kiếm tài liệu, tập trung vào việc tạo ra các chính sách khám phá hiệu quả hơn, giảm thiểu tìm kiếm vét cạn và cải thiện khả năng điều chỉnh nỗ lực dựa trên độ khó của nhiệm vụ.
Khám phá các mô hình tác nhân lai (human-agent hybrid models) kết hợp khả năng lập kế hoạch chiến lược "khởi đầu lạnh" vượt trội của con người với khả năng xử lý dữ liệu quy mô lớn của tác nhân AI, nhằm đạt được độ chính xác và hiệu quả vượt qua giới hạn hiện tại của cả hai.

2. Patent:

Một ứng dụng di động cho phép người dùng tải lên nhiều tài liệu PDF (ví dụ: các hóa đơn, báo cáo, hướng dẫn sử dụng) và đặt câu hỏi tự nhiên. Ứng dụng sẽ sử dụng một hệ thống trí tuệ nhân tạo để tự động tìm kiếm, phân tích và tổng hợp thông tin từ các tài liệu đó để đưa ra câu trả lời chính xác, ngay cả khi thông tin cần thiết nằm rải rác trên nhiều trang hoặc nhiều tài liệu, giúp người dùng tiết kiệm thời gian và công sức.
Một tính năng tích hợp trong trình đọc tài liệu trên điện thoại, cho phép người dùng so sánh thông tin giữa hai hoặc nhiều tài liệu khác nhau. Khi người dùng muốn so sánh các điều khoản trong hai hợp đồng hoặc giá cả trong nhiều danh mục sản phẩm, hệ thống sẽ tự động xác định các phần liên quan trong mỗi tài liệu và trình bày các điểm khác biệt hoặc tương đồng một cách trực quan, giúp người dùng đưa ra quyết định nhanh chóng mà không cần tự mình dò tìm.
Một hệ thống trợ lý học tập cá nhân trên điện thoại di động, cho phép học sinh hoặc người dùng doanh nghiệp tương tác với các tài liệu học tập hoặc tài liệu chuyên môn. Hệ thống sẽ phân tích nội dung tài liệu, tạo ra các câu hỏi để kiểm tra hiểu biết, giải thích các khái niệm phức tạp, và hướng dẫn người dùng đến các phần liên quan khi họ gặp khó khăn, tối ưu hóa quá trình học tập và ghi nhớ thông tin từ các tài liệu số.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12180
ArXiv Abstract	https://arxiv.org/abs/2603.12180
PDF Download	https://arxiv.org/pdf/2603.12180.pdf
Github Repository	https://github.com/OxRML/MADQA

3. IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse (50 votes)

Tác giả: Yushi Bai, Qian Dong, Ting Jiang, Xin Lv, Zhengxiao Du, Aohan Zeng, Jie Tang, Juanzi Li

Xuất bản lúc: 2026-03-12

Tag: Sparse Attention, LLMs, Attention Mechanism, DeepSeek Sparse Attention (DSA), Inference Acceleration, Cross-Layer Redundancy, Distillation

I. Main Problem:

Cơ chế self-attention trong các mô hình ngôn ngữ lớn (LLMs) có độ phức tạp O(L^2) theo độ dài ngữ cảnh (L), gây ra nút thắt cổ chai lớn cho suy luận với ngữ cảnh dài. Mặc dù các phương pháp attention thưa như DeepSeek Sparse Attention (DSA) giảm độ phức tạp của core attention xuống O(Lk), nhưng bộ lập chỉ mục (indexer) của nó vẫn hoạt động với độ phức tạp O(L^2) ở mỗi lớp. Tổng chi phí của indexer trên N lớp là O(NL^2), trở thành một phần đáng kể trong tổng ngân sách attention, đặc biệt khi độ dài ngữ cảnh tăng lên. Vấn đề chính là việc các lựa chọn top-k của indexer có mối tương quan cao giữa các lớp liên tiếp, cho thấy sự dư thừa trong việc chạy indexer độc lập ở mỗi lớp.

II. Main Idea:

IndexCache khai thác sự dư thừa giữa các lớp bằng cách phân chia các lớp thành một tập hợp nhỏ các lớp "Full" (F) và phần lớn các lớp "Shared" (S). Các lớp F chạy indexer của riêng chúng và chọn chỉ mục top-k mới, trong khi các lớp S chỉ đơn giản là tái sử dụng chỉ mục top-k từ lớp F gần nhất trước đó. Phương pháp này đề xuất hai cách tiếp cận bổ sung để xác định và tối ưu hóa cấu hình này:

Training-free IndexCache: Áp dụng cho các mô hình DSA có sẵn mà không cần cập nhật trọng số. Nó sử dụng thuật toán tìm kiếm tham lam (greedy search) để chọn các lớp F bằng cách trực tiếp tối thiểu hóa lỗi mô hình ngôn ngữ trên một tập hiệu chuẩn nhỏ.
Training-aware IndexCache: Giới thiệu một hàm mất mát chưng cất đa lớp (multi-layer distillation loss) để huấn luyện mỗi indexer được giữ lại dựa trên phân phối attention trung bình của tất cả các lớp mà nó phục vụ. Điều này cho phép ngay cả các mẫu xen kẽ đơn giản cũng đạt được độ chính xác tương đương với thiết kế indexer đầy đủ. Hàm mất mát đa lớp này được chứng minh là tương đương với việc chưng cất chống lại một phân phối mục tiêu trung bình duy nhất, giúp indexer học cách dự đoán một tập top-k đồng thuận hữu ích cho tất cả các lớp được phục vụ.

III. Main Results:

IndexCache đạt được những cải thiện đáng kể về hiệu suất mà không làm giảm chất lượng:

Trên mô hình DSA 30B, IndexCache loại bỏ 75% tính toán của indexer với suy giảm chất lượng không đáng kể.
Đạt được tăng tốc suy luận lên tới 1.82 lần ở giai đoạn prefill và 1.48 lần ở giai đoạn decode với độ dài ngữ cảnh 200K, so với DSA tiêu chuẩn.
Training-free IndexCache với thuật toán tìm kiếm tham lam phục hồi hiệu suất trên các tác vụ ngữ cảnh dài, trong khi "uniform interleaving" (xen kẽ đồng đều) gây suy giảm đáng kể.
Training-aware IndexCache với chưng cất đa lớp giúp mô hình thích nghi với việc chia sẻ chỉ mục, cho phép các mẫu xen kẽ đồng đều đạt hoặc thậm chí vượt qua hiệu suất của DSA gốc.
Kết quả sơ bộ trên mô hình GLM-5 quy mô sản xuất (744B tham số) xác nhận khả năng mở rộng, đạt được tăng tốc ít nhất 1.3 lần với suy giảm không đáng kể về hiệu suất ngữ cảnh dài.

IV. Conclusion & Future Works:

IndexCache là một phương pháp hiệu quả để tăng tốc DeepSeek Sparse Attention bằng cách khai thác sự dư thừa trong việc lựa chọn chỉ mục giữa các lớp. Nó loại bỏ tới 75% tính toán của indexer với suy giảm chất lượng không đáng kể, mang lại tốc độ suy luận nhanh hơn đáng kể cho các ứng dụng LLM ngữ cảnh dài. Hai phương pháp tiếp cận (training-free và training-aware) cung cấp sự linh hoạt cho các kịch bản triển khai khác nhau.

Trong tương lai, các tác giả có kế hoạch áp dụng Training-aware IndexCache cho mô hình GLM-5 quy mô sản xuất, kỳ vọng sẽ củng cố hơn nữa những lợi ích này và chuyển thành hiệu quả triển khai cụ thể.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng IndexCache cho các kiến trúc Attention khác: Nghiên cứu cách áp dụng nguyên tắc tái sử dụng chỉ mục giữa các lớp (cross-layer index reuse) cho các cơ chế attention thưa khác hoặc thậm chí các kiến trúc transformer dense attention. Điều này bao gồm việc phân tích mức độ ổn định của việc chọn token giữa các lớp trong các kiến trúc đa dạng và phát triển các phương pháp tối ưu hóa cấu hình tái sử dụng chỉ mục phù hợp.
Tối ưu hóa tự động cấu hình IndexCache thông qua Học Tăng cường: Phát triển các thuật toán học tăng cường (Reinforcement Learning) hoặc các phương pháp tối ưu hóa dựa trên meta-learning để tự động tìm kiếm mẫu F/S (Full/Shared) tối ưu cho IndexCache, thay vì chỉ dựa vào tìm kiếm tham lam hoặc các mẫu đồng đều. Mục tiêu là tạo ra một hệ thống có khả năng tự điều chỉnh cấu hình IndexCache để đạt hiệu suất cao nhất trên các mô hình và tập dữ liệu khác nhau mà không cần can thiệp thủ công.
Đánh giá tác động của IndexCache lên khả năng học và tổng quát hóa của mô hình: Thực hiện nghiên cứu sâu hơn về việc loại bỏ các bộ lập chỉ mục dư thừa có thể hoạt động như một cơ chế điều hòa (regularizer) nhẹ trong quá trình suy luận, như đã gợi ý trong các kết quả thực nghiệm. Phân tích cách IndexCache ảnh hưởng đến các biểu diễn bên trong của mô hình, khả năng thích ứng với các tác vụ mới, và khả năng tổng quát hóa trên các miền dữ liệu hoặc phân phối ngoài huấn luyện.

2. Patent:

Hệ thống trợ lý ảo di động thông minh và tiết kiệm năng lượng: Một công nghệ cho phép các trợ lý ảo trên điện thoại di động (ví dụ: Siri, Google Assistant) xử lý các yêu cầu dài và phức tạp, chẳng hạn như chuỗi suy luận đa bước hoặc tìm kiếm thông tin mở rộng. Bằng cách giảm đáng kể lượng tính toán của cơ chế chú ý (attention) thông qua việc tái sử dụng chỉ mục, điện thoại có thể duy trì thời lượng pin lâu hơn khi người dùng tương tác với các tác vụ AI yêu cầu ngữ cảnh dài, đồng thời cung cấp phản hồi nhanh hơn và mượt mà hơn.
Ứng dụng tóm tắt văn bản và dịch thuật ngữ cảnh dài theo thời gian thực trên di động: Hệ thống cho phép điện thoại di động tóm tắt các tài liệu, email hoặc bài báo dài ngay lập tức, hoặc dịch các cuộc hội thoại/văn bản với ngữ cảnh mở rộng mà không làm chậm thiết bị. Công nghệ này giảm tải tính toán cho các mô hình ngôn ngữ lớn chạy cục bộ trên thiết bị, giúp người dùng dễ dàng đọc, hiểu và tương tác với nội dung dài một cách hiệu quả hơn trên thiết bị cầm tay mà không cần kết nối mạng liên tục.
Cải thiện trải nghiệm game và ứng dụng thực tế tăng cường (AR) với AI ngữ cảnh dài trên di động: Một công nghệ cho phép các trò chơi hoặc ứng dụng AR trên điện thoại thông minh tích hợp các nhân vật AI (NPC) có khả năng ghi nhớ và tương tác với ngữ cảnh dài hơn trong môi trường ảo. Điều này tạo ra các NPC thông minh hơn, có phản ứng tự nhiên và phù hợp với lịch sử tương tác phức tạp, trong khi vẫn duy trì hiệu suất đồ họa mượt mà và tối ưu hóa thời lượng pin của thiết bị di động, mang lại trải nghiệm nhập vai hơn cho người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12201
ArXiv Abstract	https://arxiv.org/abs/2603.12201
PDF Download	https://arxiv.org/pdf/2603.12201.pdf
Github Repository	https://github.com/THUDM/IndexCache

4. Video-Based Reward Modeling for Computer-Use Agents (41 votes)

Tác giả: Linxin Song, Jieyu Zhang, Huanxin Sheng, Taiwei Shi, Gupta Rahul, Yang Liu, Ranjay Krishna, Jian Kang, Jieyu Zhao

Xuất bản lúc: 2026-03-10

Tag: Reward Modeling, Computer-Use Agents, Vision-Language Models, Token Pruning, Video Understanding

I. Main Problem:

Việc đánh giá liệu một tác vụ của tác nhân sử dụng máy tính (CUA) có thực sự hoàn thành hướng dẫn của người dùng một cách hiệu quả và có thể mở rộng vẫn còn khó khăn. Các phương pháp đánh giá hiện tại thường dựa vào script thủ công hoặc các quy tắc cụ thể cho từng tác vụ, điều này hạn chế khả năng mở rộng và chuyển giao sang các tác vụ hoặc môi trường mới. Đặc biệt, việc xây dựng mô hình phần thưởng từ video thực thi gặp phải hai thách thức chính: (1) video thường chứa nhiều nội dung dư thừa nhưng lại phụ thuộc vào các tín hiệu tinh tế, cục bộ để xác định thành công; và (2) thiếu dữ liệu giám sát tiêu cực (negative supervision) có chú thích rõ ràng về các trường hợp thất bại.

II. Main Idea:

Để giải quyết các thách thức trên, nghiên cứu này đề xuất một phương pháp mô hình hóa phần thưởng dựa trên video thực thi. Các ý tưởng chính bao gồm:

Tập dữ liệu ExeVR-53k: Xây dựng một tập dữ liệu lớn gồm 53 nghìn bộ ba video-tác vụ-phần thưởng chất lượng cao, hợp nhất dữ liệu từ nhiều nguồn khác nhau (AgentNet, ScaleCUA, OSWorld) thành một định dạng video thống nhất theo từng bước.
Dịch hướng dẫn đối nghịch (Adversarial Instruction Translation): Để khắc phục tình trạng thiếu mẫu tiêu cực, phương pháp này sử dụng mô hình thị giác-ngôn ngữ để tổng hợp các mẫu tiêu cực bằng cách tạo ra các hướng dẫn không khớp về mặt ngữ nghĩa với một quỹ đạo thực thi thành công, đồng thời cung cấp chú thích cấp độ bước về thời điểm lỗi đầu tiên xuất hiện.
Cắt tỉa token không gian-thời gian (Spatiotemporal Token Pruning): Để xử lý các video thực thi dài, độ phân giải cao một cách hiệu quả, nghiên cứu thiết kế:
- Cắt tỉa token không gian (STP): Loại bỏ các vùng giao diện đồng nhất, không mang tính phân biệt (như nền tĩnh) trong mỗi khung hình, giữ lại các yếu tố UI cục bộ quan trọng.
- Cắt tỉa token thời gian (TTP): Loại bỏ các token gần như không thay đổi qua các khung hình liên tiếp, giúp mô hình tập trung vào các chuyển đổi trạng thái có ý nghĩa.
Mô hình phần thưởng video thực thi (ExeVRM): Dựa trên các thành phần trên, nhóm nghiên cứu tinh chỉnh một mô hình ExeVRM (dựa trên Qwen3-VL) để dự đoán thành công của tác vụ chỉ từ một hướng dẫn của người dùng và một chuỗi video thực thi.

III. Main Results:

ExeVRM 8B đạt độ chính xác 84.7% và độ thu hồi (recall) 87.7% trong việc đánh giá video thực thi. Mô hình này vượt trội hơn các mô hình độc quyền mạnh mẽ như GPT-5.2 (độ chính xác 75.0%, độ thu hồi 66.5%) và Gemini-3 Pro trên các nền tảng Ubuntu, macOS, Windows và Android.

ExeVRM cũng cung cấp khả năng phân bổ thời gian chính xác hơn (tIoU cao hơn) để xác định các khoảng thời gian lỗi quyết định.

Các thử nghiệm đã chứng minh rằng việc sử dụng ngữ cảnh video dày đặc là rất quan trọng so với đánh giá dựa trên ảnh chụp màn hình thưa thớt. Hơn nữa, việc áp dụng STP+TTP với đầu vào 720p giúp cải thiện đáng kể khả năng đánh giá hoàn thành tác vụ (đặc biệt là độ thu hồi) so với 360p, đồng thời duy trì khả năng huấn luyện các quỹ đạo dài một cách hiệu quả về bộ nhớ và độ trễ.

IV. Conclusion & Future Works:

Mô hình hóa phần thưởng dựa trên video thực thi có thể đóng vai trò là một công cụ đánh giá có khả năng mở rộng và không phụ thuộc vào phương pháp (model-agnostic) cho các tác nhân sử dụng máy tính (CUAs). Điều này mở ra hướng nghiên cứu về việc sử dụng các mô hình phần thưởng học được để cải thiện quá trình huấn luyện tác nhân và ứng dụng trong các kịch bản phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện huấn luyện tác nhân sử dụng máy tính (CUA) bằng phần thưởng dựa trên video: Nghiên cứu cách sử dụng ExeVRM làm tín hiệu phần thưởng dày đặc để huấn luyện các tác nhân CUA mới, đánh giá tác động của hàm phần thưởng học được này đến hiệu suất và khả năng tổng quát hóa của tác nhân so với các phần thưởng thưa thớt, dựa trên quy tắc.
Mở rộng cắt tỉa token không gian-thời gian cho phản hồi CUA thời gian thực: Khám phá các kỹ thuật cắt tỉa token không gian-thời gian tiên tiến, thích ứng hơn có thể hoạt động gần thời gian thực, cung cấp phản hồi tức thì về hiệu suất tác nhân cho các tác vụ phức tạp, kéo dài, có thể tích hợp với các chiến lược học chủ động để tinh chỉnh mô hình phần thưởng.
Đánh giá CUA đa ngôn ngữ và đa văn hóa: Điều chỉnh ExeVRM để đánh giá các tác nhân sử dụng máy tính trong các ngữ cảnh ngôn ngữ và văn hóa đa dạng, yêu cầu các tập dữ liệu với hướng dẫn và các yếu tố giao diện người dùng (UI) bằng nhiều ngôn ngữ khác nhau và nghiên cứu cách mô hình xử lý các quy ước UI khác nhau.

2. Patent:

Hệ thống đánh giá tự động tác vụ trên điện thoại di động: Một hệ thống trên điện thoại di động có khả năng ghi lại các thao tác người dùng hoặc tác vụ tự động trên ứng dụng. Hệ thống này sẽ phân tích video ghi lại các thao tác đó cùng với hướng dẫn ban đầu của người dùng để tự động đánh giá xem tác vụ có được hoàn thành đúng cách hay không, đồng thời chỉ ra chính xác thời điểm xảy ra lỗi. Điều này giúp nhà phát triển ứng dụng dễ dàng kiểm tra chất lượng hoặc người dùng có thể nhận được phản hồi về việc thực hiện tác vụ phức tạp.
Công nghệ tối ưu hóa hiển thị giao diện cho trợ lý ảo trên di động: Một công nghệ tích hợp vào trợ lý ảo trên điện thoại, cho phép trợ lý chỉ hiển thị hoặc làm nổi bật những phần giao diện quan trọng nhất khi thực hiện một tác vụ. Thay vì hiển thị toàn bộ màn hình, công nghệ này sẽ tự động phát hiện và loại bỏ các vùng giao diện tĩnh, không liên quan hoặc lặp lại theo thời gian, giúp người dùng tập trung vào các thay đổi quyết định và tiết kiệm tài nguyên xử lý của điện thoại.
Ứng dụng huấn luyện và phản hồi cá nhân hóa qua video: Một ứng dụng di động cho phép người dùng ghi lại các thao tác của mình khi học cách sử dụng một tính năng mới hoặc thực hiện một quy trình phức tạp trên điện thoại. Ứng dụng sẽ sử dụng công nghệ phân tích video để so sánh thao tác của người dùng với một hướng dẫn chuẩn, sau đó cung cấp phản hồi chi tiết về việc họ đã thành công hay thất bại, và tại thời điểm nào họ cần cải thiện, giúp việc học sử dụng điện thoại trở nên hiệu quả hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.10178
ArXiv Abstract	https://arxiv.org/abs/2603.10178
PDF Download	https://arxiv.org/pdf/2603.10178.pdf
Github Repository	https://github.com/limenlp/ExeVRM

5. ShotVerse: Advancing Cinematic Camera Control for Text-Driven Multi-Shot Video Creation (34 votes)

Tác giả: Songlin Yang, Zhe Wang, Xuyi Yang, Songchun Zhang, Xianghao Kong, Taiyi Wu, Xiaotong Zhao, Ran Zhang, Alan Zhao, Anyi Rao

Xuất bản lúc: 2026-03-12

Tag: Video Generation, Camera Control, Multi-Shot Video, Vision-Language Models, Diffusion Models, Dataset, Cinematic AI

I. Main Problem:

Kiểm soát camera trong tạo video đa cảnh (multi-shot) theo văn bản vẫn còn là một nút thắt cổ chai đáng kể. Các gợi ý văn bản ngầm định thiếu độ chính xác, trong khi việc điều kiện hóa quỹ đạo camera rõ ràng lại đòi hỏi công sức thủ công lớn và thường gây lỗi thực thi ở các mô hình hiện tại. Các phương pháp hiện có gặp khó khăn trong việc tuân thủ chính xác các điều kiện camera bằng văn bản, đảm bảo hệ thống tọa độ thống nhất giữa các cảnh quay, và tuân thủ các quy tắc điện ảnh.

II. Main Idea:

ShotVerse đề xuất một sự thay đổi mô hình tập trung vào dữ liệu, khẳng định rằng các bộ ba (Caption, Trajectory, Video) được căn chỉnh tạo thành một phân phối chung cố hữu có thể kết nối việc lập kế hoạch tự động và thực thi chính xác. Dựa trên nhận định này, ShotVerse giới thiệu một khung làm việc “Plan-then-Control” (Lập kế hoạch sau đó điều khiển) phân tách quá trình tạo video thành hai tác nhân cộng tác:

Planner (Bộ lập kế hoạch): Một mô hình Vision-Language Model (VLM) được tinh chỉnh để tận dụng các ưu tiên không gian, tự động lập kế hoạch các quỹ đạo camera điện ảnh, thống nhất toàn cầu từ mô tả văn bản.
Controller (Bộ điều khiển): Một mô hình tạo video đa cảnh dựa trên Diffusion Transformer (DiT) (HoloCine) được trang bị bộ điều hợp camera nhẹ và cơ chế nhúng vị trí quay 4D (4D Rotary Positional Embedding - 4D RoPE) để chuyển các quỹ đạo đã lập kế hoạch thành nội dung video đa cảnh chất lượng cao. Cơ chế 4D RoPE đảm bảo tính nhất quán trong cảnh quay (intra-shot consistency) và tôn trọng ranh giới giữa các cảnh quay (shot boundaries).

Để hỗ trợ khung làm việc này, ShotVerse xây dựng ShotVerse-Bench, một bộ dữ liệu điện ảnh chất lượng cao với quy trình hiệu chỉnh camera đa cảnh tự động để căn chỉnh các quỹ đạo cảnh quay rời rạc vào một hệ thống tọa độ chung toàn cầu. Bộ dữ liệu này phục vụ làm nền tảng đào tạo và đánh giá nghiêm ngặt.

III. Main Results:

ShotVerse đã chứng minh khả năng vượt trội trong việc tạo video đa cảnh với kiểm soát camera điện ảnh:

Hiệu suất tổng thể: Đạt điểm FVD (Fréchet Video Distance) thấp nhất (281.71) và Chất lượng thẩm mỹ (Aesthetic Quality) cao nhất (5.465), vượt trội so với cả các mô hình mã nguồn mở và thương mại hàng đầu.
Kiểm soát camera chính xác: Bộ điều khiển của ShotVerse đạt sai số dịch chuyển (Transition Error) và sai số xoay (Rotation Error) thấp nhất (0.0163 và 0.73), cùng với CAS (Coordinate Alignment Score) cao nhất (0.500), cho thấy khả năng kiểm soát camera và tính nhất quán giữa các cảnh quay vượt trội.
Lập kế hoạch điện ảnh hiệu quả: Bộ lập kế hoạch VLM-driven của ShotVerse đạt kết quả tốt nhất trên cả hai tiêu chuẩn F1-Score (0.422) và CLaTr-CLIP (35.016) trên ShotVerse-Bench, thể hiện khả năng khái quát hóa mạnh mẽ hơn từ backbone Vision-Language Model.
Cải thiện tính nhất quán đa cảnh: Cơ chế 4D RoPE của ShotVerse tăng độ chính xác chuyển cảnh (Shot Transition Accuracy) lên 0.933, cho thấy việc mô hình hóa rõ ràng các chỉ số cảnh quay là rất quan trọng để tôn trọng ranh giới cảnh quay và duy trì tính nhất quán.
Bộ dữ liệu ShotVerse-Bench: Là bộ dữ liệu quy mô lớn đầu tiên cung cấp các chuỗi đa cảnh được hiệu chỉnh vào một hệ thống tọa độ thống nhất, phục vụ cho việc học logic không gian và tính nhất quán điện ảnh giữa các cảnh quay.

IV. Conclusion & Future Works:

ShotVerse đã thành công trong việc thu hẹp khoảng cách giữa kiểm soát camera bằng văn bản không đáng tin cậy và việc lập kế hoạch thủ công tốn công sức, bằng cách giới thiệu một khung làm việc "Plan-then-Control" và một bộ dữ liệu được căn chỉnh kỹ lưỡng. Khung này cho phép tạo ra các video đa cảnh với tính thẩm mỹ điện ảnh vượt trội, độ chính xác của camera và tính nhất quán giữa các cảnh quay. Điều này mở ra cơ hội cho các nghiên cứu trong tương lai nhằm nâng cao hơn nữa khả năng kiểm soát camera điện ảnh và ứng dụng rộng rãi hơn trong việc tạo nội dung video.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc tích hợp các yếu tố tường thuật phức tạp hơn (ví dụ: cảm xúc nhân vật, động lực cốt truyện) vào Planner để tạo ra các quỹ đạo camera không chỉ chính xác về mặt hình học mà còn phong phú về mặt cảm xúc và kịch tính, mở rộng khả năng kể chuyện của AI.
Mở rộng khả năng của Controller để hỗ trợ các hiệu ứng camera đặc biệt và chuyển cảnh phức tạp hơn (ví dụ: morphing, chuyển cảnh ẩn) ngoài các chuyển cảnh cắt đơn giản, nhằm nâng cao tính sáng tạo và đa dạng trong sản xuất video được tạo bởi AI.
Khám phá việc áp dụng khung ShotVerse vào các lĩnh vực khác ngoài sản xuất phim truyền thống, như tạo nội dung cho thực tế ảo (VR), trò chơi điện tử, hoặc các ứng dụng trình diễn sản phẩm tương tác, nơi kiểm soát camera chính xác là rất quan trọng để nâng cao trải nghiệm người dùng.

2. Patent:

Ứng dụng tạo video điện ảnh tự động trên điện thoại di động: Một ứng dụng trên điện thoại cho phép người dùng nhập mô tả văn bản đơn giản (ví dụ: "cảnh cận mặt nhân vật, camera lia nhẹ sang trái khi nhân vật mỉm cười") và tự động tạo ra một chuỗi video đa cảnh với chuyển động camera điện ảnh chính xác và thống nhất. Hệ thống sẽ sử dụng một bộ não AI để dịch văn bản thành các kế hoạch chuyển động camera và một bộ điều khiển AI được tối ưu hóa cho điện thoại để tạo ra video cuối cùng, giúp bất kỳ ai cũng có thể làm phim chuyên nghiệp.
Công nghệ hiệu chỉnh video đa nguồn thông minh cho nội dung do người dùng tạo: Một phương pháp tự động hiệu chỉnh và căn chỉnh các đoạn video riêng lẻ được quay bằng nhiều điện thoại hoặc từ các góc độ khác nhau (ví dụ: video từ các điện thoại của bạn bè tại một sự kiện) vào một hệ thống tọa độ chung. Điều này cho phép người dùng dễ dàng chỉnh sửa và kết hợp các cảnh quay thành một câu chuyện video mạch lạc, với chuyển động camera mượt mà và nhất quán, loại bỏ sự lộn xộn giữa các cảnh quay khác nhau.
Giao diện người dùng trực quan cho kiểm soát camera video trên màn hình cảm ứng: Một giao diện đồ họa trên điện thoại hoặc máy tính bảng cho phép người dùng "vẽ" hoặc "kéo thả" các đường quỹ đạo camera 3D trực tiếp trên màn hình, hoặc chọn từ các mẫu chuyển động camera điện ảnh được gợi ý theo ngữ cảnh. Hệ thống sẽ ngay lập tức hiển thị bản xem trước của chuyển động camera áp dụng cho nội dung video, giúp người dùng dễ dàng tinh chỉnh và tạo ra các cảnh quay có tính chuyên nghiệp mà không cần kiến thức chuyên sâu về quay phim.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.11421
ArXiv Abstract	https://arxiv.org/abs/2603.11421
PDF Download	https://arxiv.org/pdf/2603.11421.pdf
Github Repository	https://github.com/Songlin1998/ShotVerse

6. DreamVideo-Omni: Omni-Motion Controlled Multi-Subject Video Customization with Latent Identity Reinforcement Learning (30 votes)

Tác giả: Yujie Wei, Xinyu Liu, Shiwei Zhang, Hangjie Yuan, Jinbo Xing, Zhekai Chen, Xiang Wang, Haonan Qiu, Rui Zhao, Yutong Feng, Ruihang Chu, Yingya Zhang, Yike Guo, Xihui Liu, Hongming Shan

Xuất bản lúc: 2026-03-12

Tag: Video Diffusion Models, Video Customization, Motion Control, Reinforcement Learning, Multi-Subject, Generative AI

I. Main Problem:

Mặc dù các mô hình khuếch tán quy mô lớn đã cách mạng hóa tổng hợp video, việc đạt được kiểm soát chính xác cả danh tính đa chủ thể và chuyển động đa cấp độ vẫn là một thách thức đáng kể. Các phương pháp hiện có thường gặp phải các vấn đề như:

Hạt kiểm soát chuyển động hạn chế: Hầu hết các phương pháp chỉ dựa vào một loại tín hiệu chuyển động (ví dụ: hộp giới hạn, bản đồ độ sâu, quỹ đạo thưa thớt), hạn chế khả năng kiểm soát đồng thời vị trí đối tượng tổng thể, động lực cục bộ chi tiết và chuyển động camera.
Mơ hồ trong kiểm soát chuyển động: Trong các tình huống đa chủ thể, các phương pháp hiện tại không có cơ chế ràng buộc rõ ràng, dẫn đến mô hình khó phân biệt mẫu chuyển động nào tương ứng với chủ thể tham chiếu cụ thể nào, đặc biệt khi tích hợp kiểm soát chuyển động đa cấp độ.
Suy giảm danh tính: Việc đưa kiểm soát chuyển động vào thường làm giảm độ trung thực của danh tính. Điều này xuất phát từ sự mâu thuẫn giữa mục tiêu bảo toàn danh tính (nhất quán pixel tĩnh) và kiểm soát chuyển động (biến đổi pixel động), mà các hàm mất mát khuếch tán tiêu chuẩn không đủ để giải quyết.

II. Main Idea:

DreamVideo-Omni là một khung thống nhất cho phép tùy chỉnh đa chủ thể hài hòa với kiểm soát chuyển động toàn diện thông qua mô hình huấn luyện hai giai đoạn tiến bộ:

Giai đoạn 1: Điều chỉnh tinh chỉnh có giám sát chuyển động toàn diện và danh tính (Omni-motion and identity supervised fine-tuning):
- Tích hợp các tín hiệu kiểm soát toàn diện: ngoại hình chủ thể, chuyển động toàn cầu, động lực cục bộ và chuyển động camera.
- Giới thiệu condition-aware 3D Rotary Positional Embedding (RoPE) để điều phối các đầu vào không đồng nhất.
- Áp dụng chiến lược hierarchical motion injection để tăng cường hướng dẫn chuyển động toàn cầu.
- Đưa vào group and role embeddings để giải quyết sự mơ hồ của đa chủ thể bằng cách liên kết rõ ràng các tín hiệu chuyển động với các danh tính cụ thể.
Giai đoạn 2: Học tăng cường phản hồi danh tính tiềm ẩn (Latent identity reward feedback learning):
- Thiết kế một mô hình học tăng cường phản hồi phần thưởng danh tính tiềm ẩn để giảm thiểu suy giảm danh tính.
- Huấn luyện Latent Identity Reward Model (LIRM) dựa trên mô hình khuếch tán video (VDM) tiền huấn luyện để cung cấp phần thưởng danh tính nhận biết chuyển động trong không gian tiềm ẩn, ưu tiên bảo toàn danh tính phù hợp với sở thích của con người.
- Xây dựng một tập dữ liệu quy mô lớn và DreamOmni Bench toàn diện để đánh giá kiểm soát đa chủ thể và chuyển động toàn diện.

III. Main Results:

DreamVideo-Omni cho thấy hiệu suất vượt trội trong việc tạo ra các video chất lượng cao với khả năng kiểm soát chính xác.

Kiểm soát vượt trội: Đạt được khả năng tùy chỉnh đa chủ thể và kiểm soát chuyển động toàn diện một cách liền mạch, bao gồm cả chuyển động camera.
Hiệu suất định lượng trên DreamOmni Bench: Vượt trội hơn DreamVideo-2 [17] đáng kể trên tất cả các chỉ số. Ví dụ, đạt mIoU 0.558 (so với 0.212), EPE 9.31 (so với 24.05) và Face-S 0.301 (so với 0.157), cho thấy độ chính xác cao hơn trong kiểm soát chuyển động và bảo toàn danh tính.
Hiệu suất định lượng trên MSRVTT-Personalization Bench: Hiệu suất tương đương hoặc tốt hơn các phương pháp hiện đại như Tora2 [20] và Video Alchemist [49], đặc biệt cải thiện EPE (11.21 so với 17.43 ở chế độ chủ thể và 8.50 so với 13.52 ở chế độ khuôn mặt).

IV. Conclusion & Future Works:

DreamVideo-Omni là khung thống nhất đầu tiên tích hợp hài hòa khả năng tùy chỉnh đa chủ thể với kiểm soát chuyển động toàn diện trong một kiến trúc DiT duy nhất. Các thành phần kiến trúc chuyên biệt như group and role embeddings, condition-aware 3D RoPE và hierarchical motion injection đảm bảo khả năng kiểm soát chính xác. Đồng thời, mô hình học tăng cường phản hồi phần thưởng danh tính tiềm ẩn giúp giảm thiểu suy giảm danh tính ngay cả khi có chuyển động lớn. Nghiên cứu cũng thiết lập DreamOmni Bench mới và quy trình xử lý dữ liệu toàn diện, tạo nền tảng vững chắc cho việc đánh giá và phát triển các tác vụ tùy chỉnh video và kiểm soát chuyển động trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng kiểm soát chuyển động toàn diện sang môi trường 3D: Nghiên cứu về việc kết hợp các tín hiệu chuyển động 3D (ví dụ: tư thế 3D, bản đồ độ sâu) để tạo ra video thực tế hơn và nhất quán về mặt vật lý trong không gian ba chiều. Điều này có thể bao gồm việc phát triển các phương pháp nhúng vị trí nhận biết 3D và chiến lược đưa tín hiệu mới.
Tùy chỉnh phong cách cá nhân với tính nhất quán chuyển động: Phát triển các kỹ thuật để tùy chỉnh không chỉ danh tính chủ thể mà còn cả phong cách nghệ thuật của họ (ví dụ: phong cách hoạt hình, hội họa) trong khi vẫn duy trì kiểm soát chuyển động toàn diện chính xác. Điều này có thể liên quan đến việc tách biệt các biểu diễn phong cách và nội dung trong mô hình khuếch tán và đảm bảo tính nhất quán phong cách giữa các khung hình dưới chuyển động động.
Tạo video chuyển động toàn diện thời gian thực cho ứng dụng tương tác: Tối ưu hóa DreamVideo-Omni để đạt tốc độ suy luận nhanh hơn, có thể thông qua chưng cất mô hình hoặc kiến trúc hiệu quả hơn, nhằm cho phép tạo video thời gian thực hoặc gần thời gian thực. Điều này sẽ mở ra khả năng cho các công cụ chỉnh sửa video tương tác hoặc ứng dụng thực tế ảo nơi người dùng có thể điều khiển động các chủ thể và chuyển động camera.

2. Patent:

Ứng dụng di động tạo video cá nhân hóa với điều khiển chuyển động đa dạng: Một ứng dụng trên điện thoại cho phép người dùng tải lên ảnh của họ hoặc vật nuôi, sau đó nhập mô tả văn bản hoặc vẽ quỹ đạo để điều khiển chuyển động của chủ thể trong video. Ví dụ, người dùng có thể tạo một video hoạt hình của chính họ đang nhảy múa hoặc một chú chó đang chạy trong công viên, với khả năng kiểm soát chi tiết các cử động và góc quay camera, phù hợp để tạo nội dung độc đáo cho mạng xã hội hoặc thiệp chúc mừng điện tử.
Hệ thống chỉnh sửa video thông minh với tính năng thay thế chủ thể và hành động tự động: Một tính năng tích hợp trong phần mềm chỉnh sửa video trên di động, cho phép người dùng dễ dàng thay thế một người hoặc vật thể hiện có trong video bằng một chủ thể mới (từ ảnh tham chiếu) và chỉ định các hành động cụ thể cho chủ thể mới đó. Hệ thống sẽ tự động điều chỉnh chuyển động của chủ thể mới để khớp với ngữ cảnh video và duy trì tính nhất quán về danh tính, giúp người dùng tạo ra các cảnh quay phức tạp mà không cần kỹ năng chuyên môn.
Công cụ chuyển đổi ảnh 2D thành video hoạt hình 3D có điều khiển trên di động: Một ứng dụng cho phép người dùng biến ảnh 2D tĩnh (ví dụ: ảnh chân dung, ảnh sản phẩm) thành các đoạn video hoạt hình 3D. Người dùng có thể điều khiển các chuyển động chi tiết của đối tượng (ví dụ: quay đầu, cử chỉ tay, di chuyển trong không gian) và góc quay camera chỉ bằng cách chạm hoặc kéo trên màn hình điện thoại. Công nghệ này sẽ duy trì danh tính của đối tượng từ ảnh gốc trong suốt quá trình hoạt hình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12257
ArXiv Abstract	https://arxiv.org/abs/2603.12257
PDF Download	https://arxiv.org/pdf/2603.12257.pdf
Github Repository	N/A

7. XSkill: Continual Learning from Experience and Skills in Multimodal Agents (28 votes)

Tác giả: Guanyu Jiang, Zhaochen Su, Xiaoye Qu, Yi R., Fung

Xuất bản lúc: 2026-03-12

Tag: Multimodal Agents, Continual Learning, Tool Use, MLLMs, Knowledge Distillation, Visual Reasoning, RAG

I. Main Problem:

Các tác nhân đa phương thức hiện tại gặp phải những hạn chế về hiệu quả sử dụng công cụ và tính linh hoạt trong điều phối các công cụ trong các môi trường mở. Cụ thể, chúng thường lãng phí quá nhiều bước cho các vấn đề đơn giản hoặc không thực hiện đủ sâu các thao tác khám phá đa lượt cho các truy vấn phức tạp. Hơn nữa, hầu hết các hệ thống hiện có bị giới hạn trong việc thực thi theo một đường dẫn duy nhất và có khả năng hạn chế trong việc kết hợp các công cụ để tổng quát hóa qua các tác vụ. Một thách thức trung tâm là làm thế nào để các tác nhân này có thể liên tục cải thiện hiệu suất mà không cần cập nhật tham số, bằng cách học hỏi từ các quỹ đạo trong quá khứ. Các phương pháp hiện có chủ yếu dựa vào nhật ký quỹ đạo dạng văn bản, không đủ cho các thiết lập đa phương thức nơi các tín hiệu quyết định quan trọng thường dựa trên quan sát thị giác.

II. Main Idea:

Để giải quyết các hạn chế trên, nghiên cứu đề xuất XSKILL, một khuôn khổ dòng kép (dual-stream) cho việc học liên tục từ 'kinh nghiệm' (experiences) và 'kỹ năng' (skills) trong các tác nhân đa phương thức. XSKILL xác định hai dạng kiến thức bổ trợ có thể tái sử dụng: 'kinh nghiệm' cung cấp hướng dẫn cấp độ hành động ngắn gọn cho việc lựa chọn công cụ và ra quyết định, và 'kỹ năng' cung cấp hướng dẫn cấp độ tác vụ có cấu trúc cho việc lập kế hoạch và sử dụng công cụ. Cả quá trình trích xuất và truy xuất kiến thức đều dựa trên quan sát thị giác. Trong giai đoạn tích lũy (Phase I), XSKILL chắt lọc và củng cố kinh nghiệm và kỹ năng từ các lần chạy đa đường (multi-path rollouts) thông qua tóm tắt dựa trên thị giác và đánh giá chéo các lần chạy. Trong giai đoạn suy luận (Phase II), nó truy xuất và điều chỉnh kiến thức này theo ngữ cảnh thị giác hiện tại và đưa lịch sử sử dụng trở lại giai đoạn tích lũy để hình thành một vòng lặp học tập liên tục. XSKILL sử dụng hai phiên bản MLLM chuyên biệt: MLLMexec để suy luận sử dụng công cụ và MLLMkb để xử lý các hoạt động cơ sở tri thức.

III. Main Results:

XSKILL đã được đánh giá trên năm bộ dữ liệu khác nhau và với bốn mô hình xương sống (backbone models), consistently và đáng kể vượt trội hơn so với cả các phương pháp cơ bản chỉ sử dụng công cụ và các phương pháp dựa trên học tập. Cụ thể, XSKILL đạt được mức cải thiện trung bình từ 2.58 đến 6.71 điểm trong Average@4 so với baseline chỉ sử dụng công cụ và tăng tới 11.13 điểm so với baseline mạnh nhất trong các thiết lập thách thức. Phân tích loại bỏ thành phần (ablation study) cho thấy cả 'kinh nghiệm' và 'kỹ năng' đều đóng vai trò thiết yếu, với các thành phần của giai đoạn tích lũy kiến thức (Phase I) đóng góp đáng kể hơn so với giai đoạn truy xuất và thích ứng (Phase II). 'Kỹ năng' giúp giảm đáng kể lỗi sử dụng công cụ (ví dụ: giảm lỗi cú pháp, loại bỏ gần như hoàn toàn lỗi tên công cụ), trong khi 'kinh nghiệm' cho phép điều phối công cụ linh hoạt hơn, điều chỉnh lựa chọn công cụ phù hợp với ngữ cảnh tác vụ (ví dụ: tăng cường sử dụng trình thông dịch mã cho lý luận thị giác, tìm kiếm hình ảnh cho tìm kiếm đa phương thức). Hiệu suất cũng cải thiện nhất quán khi số lượng lần chạy tích lũy tăng lên, và XSKILL thể hiện khả năng tổng quát hóa mạnh mẽ trong các tác vụ chưa từng thấy (zero-shot cross-task transferability).

IV. Conclusion & Future Works:

XSKILL là khuôn khổ đầu tiên kết hợp các kỹ năng cấp độ tác vụ và kinh nghiệm cấp độ hành động được gắn kết với thị giác trong một thiết kế dòng kép cho các tác nhân đa phương thức, cho phép tích lũy kiến thức không cần huấn luyện từ tương tác thị giác-công cụ. Nó chứng minh những cải tiến đáng kể về hiệu suất, sự mạnh mẽ và khả năng tổng quát hóa zero-shot của tác nhân đa phương thức. Kiến trúc của XSKILL được thiết kế để hỗ trợ tinh chỉnh lặp đi lặp lại khi gặp phải các tác vụ bổ sung, cho thấy hướng phát triển trong tương lai là tiếp tục cải thiện khả năng học liên tục và thích ứng của tác nhân.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc tích hợp thêm các loại kiến thức khác (ví dụ: kiến thức về quy tắc an toàn, đạo đức) vào khuôn khổ XSKILL để nâng cao khả năng ra quyết định có trách nhiệm của tác nhân đa phương thức.
Khám phá các phương pháp mới để tự động hóa hoàn toàn quá trình tạo và tinh chỉnh 'experiences' và 'skills' mà không cần sự can thiệp của con người, đặc biệt trong các môi trường phức tạp và thay đổi liên tục.
Phân tích sâu hơn về khả năng chuyển giao kiến thức chéo mô hình (cross-model transferability) của XSKILL, bao gồm việc đánh giá hiệu quả khi chuyển giao giữa các kiến trúc MLLM rất khác nhau và cách tối ưu hóa quá trình này.

2. Patent:

Hệ thống trợ lý điện thoại thông minh tự học cho các tác vụ phức tạp: Một ứng dụng trên điện thoại di động sử dụng nguyên lý của XSKILL để quan sát cách người dùng thực hiện các chuỗi tác vụ phức tạp (ví dụ: đặt vé máy bay qua nhiều ứng dụng, chỉnh sửa ảnh nhiều bước) và tự động học 'kinh nghiệm' (cách chọn công cụ, xử lý lỗi) và 'kỹ năng' (quy trình tổng thể). Khi gặp tình huống tương tự, điện thoại có thể đề xuất các bước hành động tối ưu hoặc tự động thực hiện một phần tác vụ, giúp người dùng tiết kiệm thời gian và giảm lỗi.
Công cụ chỉnh sửa ảnh/video thông minh dựa trên ngữ cảnh thị giác: Một tính năng trong ứng dụng chỉnh sửa ảnh hoặc video trên điện thoại di động, nơi hệ thống học từ các thao tác chỉnh sửa trước đây của người dùng. Nếu người dùng thường xuyên xoay ảnh bị ngược hoặc cắt bỏ các vật thể nhỏ trước khi tìm kiếm, hệ thống sẽ ghi nhớ 'kinh nghiệm' này. Khi phát hiện một hình ảnh có đặc điểm thị giác tương tự (ví dụ: ảnh bị ngược, vật thể nhỏ), nó sẽ tự động đề xuất các hành động chỉnh sửa phù hợp hoặc thậm chí thực hiện trước các bước đó, cải thiện hiệu quả chỉnh sửa.
Hệ thống tìm kiếm đa phương thức thích ứng trên thiết bị di động: Một công cụ tìm kiếm tích hợp vào hệ điều hành điện thoại, không chỉ tìm kiếm bằng văn bản mà còn bằng hình ảnh. Hệ thống này học từ các truy vấn và hành vi tìm kiếm trước đây của người dùng, đặc biệt là cách người dùng kết hợp công cụ (ví dụ: dùng ảnh tìm kiếm sau khi cắt một phần ảnh). Khi người dùng đưa ra một truy vấn (văn bản hoặc hình ảnh), hệ thống sẽ phân tích ngữ cảnh thị giác và lịch sử để 'thích nghi' và đưa ra chuỗi hành động tìm kiếm hiệu quả nhất (ví dụ: tự động cắt ảnh, sau đó dùng ảnh đã cắt để tìm kiếm, và cuối cùng tổng hợp thông tin từ web).

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12056
ArXiv Abstract	https://arxiv.org/abs/2603.12056
PDF Download	https://arxiv.org/pdf/2603.12056.pdf
Github Repository	https://github.com/XSkill-Agent/XSkill

8. DVD: Deterministic Video Depth Estimation with Generative Priors (26 votes)

Tác giả: Hongfei Zhang, Harold Haodong Chen, Chenfei Liao, Jing He, Zixin Zhang, Haodong Li, Yihao Liang, Kanghao Chen, Bin Ren, Xu Zheng, Shuai Yang, Kun Zhou, Yinchuan Li, Nicu Sebe, Ying-Cong Chen

Xuất bản lúc: 2026-03-12

Tag: Video Depth Estimation, Generative Models, Diffusion Models, Discriminative Models, Zero-shot Learning, 3D Scene Understanding, Computer Vision, Deep Learning

I. Main Problem:

Ước tính độ sâu video hiện tại đối mặt với sự đánh đổi cơ bản: các mô hình tạo sinh (generative models) mắc phải hiện tượng ảo giác hình học ngẫu nhiên và trôi tỷ lệ (scale drift), trong khi các mô hình phân biệt (discriminative models) đòi hỏi lượng lớn dữ liệu được gán nhãn để giải quyết sự mơ hồ về ngữ nghĩa. Việc duy trì tính nhất quán về thời gian mà không làm mất đi các chi tiết hình học tần số cao là một nút thắt cổ chai dai dẳng. Bài nghiên cứu đặt ra câu hỏi: làm thế nào để thiết kế một khuôn khổ ước tính độ sâu video có thể cân bằng hiệu quả giữa sự ổn định cấu trúc của các mô hình phân biệt và các tiền đề không gian-thời gian phong phú của các phương pháp tạo sinh, đồng thời vẫn hiệu quả và có khả năng mở rộng?

II. Main Idea:

Để giải quyết vấn đề trên, nhóm tác giả giới thiệu DVD, một khuôn khổ tiên phong trong việc điều chỉnh một cách xác định (deterministically adapt) các mô hình khuếch tán video (video diffusion models) đã được huấn luyện trước thành các bộ hồi quy độ sâu một lần chuyển (single-pass depth regressors). DVD có ba thiết kế cốt lõi:

Timestep làm điểm neo cấu trúc (structural anchor): Tái sử dụng timestep khuếch tán để cân bằng sự ổn định toàn cục với các chi tiết tần số cao.
Chỉnh sửa đa tạp ẩn (Latent Manifold Rectification - LMR): Giảm thiểu hiện tượng làm mịn quá mức do hồi quy, áp dụng các ràng buộc vi phân để khôi phục ranh giới sắc nét và chuyển động mạch lạc.
Tính nhất quán affine toàn cục (Global affine coherence): Một thuộc tính vốn có giúp giới hạn sự phân kỳ giữa các cửa sổ, cho phép suy luận video dài liền mạch mà không cần căn chỉnh thời gian phức tạp. Ngoài ra, DVD còn sử dụng chiến lược huấn luyện chung ảnh-video (image-video joint training) để duy trì chất lượng không gian và đạt được sự ổn định thời gian mạnh mẽ.

III. Main Results:

DVD đạt được hiệu suất tiên tiến (state-of-the-art) không cần huấn luyện (zero-shot) trên các bộ dữ liệu chuẩn (benchmarks), vượt trội hơn các mô hình tạo sinh và phân biệt hàng đầu. Cụ thể:

Độ trung thực hình học và tính nhất quán thời gian vượt trội: Đạt AbsRel thấp nhất trên ScanNet (5.5) và KITTI (6.7), và cải thiện đáng kể điểm B-F1 của ScanNet lên 0.259 (so với 0.210 của VDA).
Hiệu quả về dữ liệu và suy luận: Sử dụng lượng dữ liệu cụ thể cho tác vụ ít hơn 163 lần (367K khung hình so với 60M khung hình của VDA) và duy trì tốc độ suy luận cạnh tranh, hoàn thành huấn luyện dưới 36 giờ trên 8 GPU H100.
Khả năng mở rộng mạnh mẽ cho video dài: Duy trì tính nhất quán tỷ lệ toàn cục trên các cửa sổ thời gian rời rạc, cho phép suy luận liền mạch trên các video dài mà không gặp phải hiện tượng trôi tỷ lệ ngẫu nhiên hay mơ hồ ngữ nghĩa.

IV. Conclusion & Future Works:

DVD giải quyết được sự lưỡng nan giữa mơ hồ ngữ nghĩa và ảo giác hình học bằng cách tái sử dụng các mô hình tạo sinh video thành các bộ hồi quy xác định. Phương pháp này đạt được ước tính độ sâu video không cần huấn luyện tiên tiến và mở khóa các tiền đề hình học phong phú ẩn trong các mô hình nền tảng với lượng dữ liệu tối thiểu. Điều này thiết lập một lộ trình thích ứng hiệu quả và có khả năng mở rộng cao cho nhận thức 3D trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp phức tạp hơn để tận dụng timestep khuếch tán làm điểm neo cấu trúc, có thể điều chỉnh động timestep dựa trên độ phức tạp của cảnh hoặc mức độ chi tiết mong muốn. Điều này có thể dẫn đến sự cân bằng thích ứng hơn giữa sự ổn định và chi tiết.
Khám phá các kỹ thuật chỉnh sửa đa tạp ẩn (Latent Manifold Rectification - LMR) thay thế hoặc nâng cao, vượt ra ngoài các ràng buộc vi phân bậc một. Ví dụ, nghiên cứu các vi phân bậc cao hơn hoặc kết hợp chỉnh sửa nhận thức ngữ nghĩa để cải thiện hơn nữa độ sắc nét của ranh giới và sự mạch lạc của chuyển động trong các kịch bản khó khăn (ví dụ: vùng có nhiều kết cấu, chuyển động nhanh).
Mở rộng thuộc tính tính nhất quán affine toàn cục (global affine coherence) sang các tác vụ thị giác khác ngoài ước tính độ sâu, chẳng hạn như dự đoán luồng quang học (optical flow) hoặc luồng cảnh (scene flow) trong các video dài. Điều này có thể liên quan đến việc khám phá xem liệu các thuộc tính xác định tương tự có tồn tại trong các không gian ẩn khác khi điều chỉnh các mô hình tạo sinh cho các tác vụ hồi quy, dẫn đến các phương pháp mới để xử lý video dài có khả năng mở rộng.

2. Patent:

Một hệ thống tăng cường thực tế ảo/thực tế ảo (AR/VR) di động nâng cao: Một hệ thống dành cho thiết bị di động sử dụng mô hình tạo sinh video được huấn luyện trước để dự đoán độ sâu một cách xác định từ nguồn cấp dữ liệu camera của điện thoại. Hệ thống này sẽ tự động điều chỉnh quá trình xử lý nội bộ để cân bằng giữa bản đồ độ sâu mượt mà, ổn định cho các vật thể lớn với độ sâu sắc nét, chi tiết cho các vật thể nhỏ hơn, ngay cả trong môi trường chuyển động. Điều này cho phép các lớp phủ thực tế tăng cường thực tế hơn và vị trí vật thể ảo chính xác hơn mà không yêu cầu cảm biến độ sâu chuyên dụng.
Kiểm soát lấy nét và làm mờ camera động: Một hệ thống camera thông minh cho điện thoại thông minh sử dụng ước tính độ sâu thời gian thực được suy ra từ mô hình khuếch tán video. Hệ thống này sẽ dự đoán độ sâu cho mọi khung hình để cho phép điều chỉnh lấy nét chính xác, động, cho phép người dùng chạm vào bất kỳ vật thể nào trong video để ngay lập tức đưa nó vào vùng lấy nét sắc nét trong khi làm mờ nền một cách mượt mà, ngay cả khi camera hoặc chủ thể đang di chuyển. Điều này cung cấp các hiệu ứng điện ảnh chuyên nghiệp trực tiếp trên thiết bị di động.
Thay thế/tạo kiểu nền video dài: Một tính năng ứng dụng di động sử dụng ước tính độ sâu video xác định để tách liền mạch tiền cảnh khỏi nền trong các bản ghi video dài. Điều này cho phép người dùng dễ dàng thay thế hoặc tạo kiểu nền của toàn bộ video (ví dụ: thay đổi nền buồn tẻ thành cảnh sống động, áp dụng bộ lọc nghệ thuật) mà không có hiện tượng nhấp nháy hoặc không nhất quán rõ ràng, ngay cả khi thay đổi cảnh hoặc chuyển động camera, giúp việc chỉnh sửa video trở nên dễ tiếp cận và chất lượng cao hơn nhiều trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12250
ArXiv Abstract	https://arxiv.org/abs/2603.12250
PDF Download	https://arxiv.org/pdf/2603.12250.pdf
Github Repository	https://github.com/EnVision-Research/DVD

9. WeEdit: A Dataset, Benchmark and Glyph-Guided Framework for Text-centric Image Editing (24 votes)

Tác giả: Hui Zhang, Juntao Liu, Zongkai Liu, Liqiang Niu, Fandong Meng, Zuxuan Wu, Yu-Gang Jiang

Xuất bản lúc: 2026-03-12

Tag: Diffusion Models, Image Editing, Text-to-Image, Datasets, Benchmarks, Reinforcement Learning, Fine-tuning, Vision-Language Models, Multilingual

I. Main Problem:

Các mô hình chỉnh sửa hình ảnh hiện tại gặp khó khăn trong việc thực hiện các chỉnh sửa văn bản phức tạp, chính xác và nhất quán trong hình ảnh (ví dụ: thay đổi, dịch, sắp xếp lại văn bản), thường tạo ra các ký tự mờ hoặc bị ảo giác, đặc biệt là với các kịch bản đa ngôn ngữ hoặc văn bản phi Latin. Nguyên nhân chính là do thiếu các phương pháp huấn luyện chuyên biệt, các bộ dữ liệu lớn chất lượng cao và các bộ tiêu chuẩn đánh giá toàn diện dành riêng cho tác vụ chỉnh sửa hình ảnh tập trung vào văn bản.

II. Main Idea:

WeEdit đề xuất một giải pháp hệ thống cho việc chỉnh sửa hình ảnh tập trung vào văn bản, bao gồm: 1) Pipeline xây dựng dữ liệu có thể mở rộng: Sử dụng phương pháp tự động dựa trên HTML để tạo ra 330K cặp huấn luyện, bao gồm 7 loại thao tác chỉnh sửa và 15 ngôn ngữ. 2) Hai bộ chuẩn mực đánh giá tiêu chuẩn hóa: Một bộ song ngữ (Trung-Anh) và một bộ đa ngôn ngữ để đánh giá toàn diện. 3) Chiến lược huấn luyện hai giai đoạn: Giai đoạn đầu là tinh chỉnh có hướng dẫn glyph (glyph-guided supervised fine-tuning), trong đó một VLM dự đoán vị trí và nội dung văn bản mục tiêu, sau đó hiển thị bố cục glyph làm thông tin không gian rõ ràng để điều kiện hóa quá trình khuếch tán, cải thiện độ chính xác của ký tự. Giai đoạn thứ hai là học tăng cường đa mục tiêu (multi-objective reinforcement learning) với hàm thưởng tổng hợp, cân bằng giữa việc tuân thủ hướng dẫn, độ rõ ràng của văn bản và bảo toàn nền ảnh, nhằm nâng cao chất lượng chỉnh sửa tổng thể.

III. Main Results:

WeEdit đã chứng minh hiệu suất vượt trội đáng kể so với các mô hình mã nguồn mở trước đây trên nhiều loại thao tác chỉnh sửa. Trên cả hai bộ chuẩn mực song ngữ và đa ngôn ngữ, WeEdit đạt hiệu suất tốt nhất trong số các mô hình mã nguồn mở, vượt qua hầu hết các mô hình độc quyền và chỉ đứng thứ hai sau Nano Banana Pro (tức Gemini-3-Pro-Image). Bộ dữ liệu WeEdit bao gồm 330K mẫu đa dạng về loại chỉnh sửa, ngôn ngữ, số lượng vùng chỉnh sửa và độ dài văn bản.

IV. Conclusion & Future Works:

WeEdit cung cấp một giải pháp hệ thống toàn diện cho việc chỉnh sửa hình ảnh tập trung vào văn bản, giải quyết các thách thức về khả năng của mô hình, chiến lược huấn luyện, khan hiếm dữ liệu và tiêu chuẩn hóa đánh giá thông qua một pipeline tạo dữ liệu sáng tạo, các bộ chuẩn mực mạnh mẽ và một chiến lược huấn luyện hai giai đoạn hiệu quả. Kết quả thực nghiệm đã khẳng định hiệu suất vượt trội của WeEdit. Các hướng phát triển trong tương lai có thể bao gồm việc mở rộng khả năng suy luận cho các tác vụ phức tạp hơn, tối ưu hóa để chỉnh sửa theo thời gian thực và phát triển các kỹ thuật chuyển giao kiểu chữ thích ứng tiên tiến hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc tích hợp các mô hình ngôn ngữ lớn (LLMs) để cải thiện khả năng suy luận ngữ cảnh và kiến thức thế giới thực trong các tác vụ chỉnh sửa văn bản phức tạp, đặc biệt là cho tác vụ "Reasoning" yêu cầu suy luận trước khi chỉnh sửa.
Phát triển một phương pháp chỉnh sửa văn bản trong hình ảnh theo thời gian thực (real-time text-centric image editing) trên thiết bị di động bằng cách tối ưu hóa kiến trúc mô hình và quy trình suy luận để đạt được hiệu suất cao với tài nguyên hạn chế.
Khám phá các kỹ thuật tạo kiểu văn bản thích ứng (adaptive text style transfer) để mô hình có thể tự động sao chép và áp dụng các kiểu chữ phức tạp (font, màu sắc, hiệu ứng đặc biệt) từ hình ảnh gốc sang văn bản được chỉnh sửa hoặc thêm vào, vượt qua giới hạn của việc chỉ thay đổi font và màu đơn giản.

2. Patent:

Một ứng dụng điện thoại di động cho phép người dùng chỉnh sửa văn bản trong hình ảnh một cách thông minh. Người dùng có thể chụp ảnh hoặc chọn ảnh, sau đó chỉ định văn bản cần chỉnh sửa (thay thế, dịch, sắp xếp lại) bằng cách khoanh vùng hoặc gõ lệnh. Ứng dụng sẽ tự động nhận diện văn bản, đề xuất các chỉnh sửa phù hợp và hiển thị bản xem trước với độ chính xác cao về vị trí và kiểu chữ, đồng thời bảo toàn nền ảnh. Người dùng có thể tinh chỉnh và lưu ảnh đã chỉnh sửa ngay trên điện thoại.
Một hệ thống tự động tạo dữ liệu huấn luyện cho các mô hình AI chỉnh sửa văn bản trong hình ảnh. Hệ thống này sử dụng công nghệ chuyển đổi hình ảnh có cấu trúc thành định dạng web (HTML) và công nghệ dịch tự động để tạo ra hàng triệu cặp hình ảnh gốc và hình ảnh mục tiêu đã chỉnh sửa văn bản. Với khả năng tạo ra các biến thể chỉnh sửa (thêm, xóa, thay thế, dịch, sắp xếp lại) trên nhiều ngôn ngữ và đảm bảo các vùng không chỉnh sửa vẫn giữ nguyên pixel, hệ thống này giúp huấn luyện các mô hình AI một cách hiệu quả mà không cần can thiệp thủ công.
Một công cụ hoặc API tự động đánh giá chất lượng của hình ảnh đã chỉnh sửa văn bản. Công cụ này sử dụng một mô hình trí tuệ nhân tạo tiên tiến để chấm điểm hình ảnh dựa trên nhiều tiêu chí như độ chính xác của việc tuân thủ hướng dẫn chỉnh sửa, độ rõ ràng và chính tả của văn bản mới được tạo ra, và mức độ bảo toàn các vùng nền không liên quan trong ảnh. Điểm số này có thể được sử dụng để xếp hạng các công cụ chỉnh sửa khác nhau hoặc để cung cấp phản hồi tự động trong quá trình phát triển các mô hình AI.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.11593
ArXiv Abstract	https://arxiv.org/abs/2603.11593
PDF Download	https://arxiv.org/pdf/2603.11593.pdf
Github Repository	N/A

10. Trust Your Critic: Robust Reward Modeling and Reinforcement Learning for Faithful Image Editing and Generation (23 votes)

Tác giả: Xiangyu Zhao, Peiyuan Zhang, Junming Lin, Tianhao Liang, Yuchen Duan, Shengyuan Ding, Changyao Tian, Yuhang Zang, Junchi Yan, Xue Yang

Xuất bản lúc: 2026-03-12

Tag: RL, Reward Modeling, Image Generation, Image Editing, Diffusion Models, MLLMs, Data Curation, Benchmarking

I. Main Problem:

Các mô hình phần thưởng hiện tại, đóng vai trò là "nhà phê bình" trong học tăng cường (RL) cho chỉnh sửa và tạo ảnh, thường gặp phải ảo giác và đưa ra điểm số nhiễu, dẫn đến quá trình tối ưu hóa bị sai lệch. Đặc biệt, các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) gặp khó khăn khi được sử dụng làm mô hình phần thưởng zero-shot cho các tác vụ tinh chỉnh, thiếu khả năng lý luận không gian chính xác và bỏ qua đối tượng. Ngoài ra, việc tối đa hóa nhiều phần thưởng cạnh tranh trong RL thường dẫn đến sụp đổ tối ưu hóa hoặc "reward hacking" (gian lận phần thưởng).

II. Main Idea:

Nghiên cứu giới thiệu FIRM (Faithful Image Reward Modeling), một khuôn khổ toàn diện để phát triển các mô hình phần thưởng mạnh mẽ, cung cấp hướng dẫn chính xác và đáng tin cậy cho việc tạo và chỉnh sửa hình ảnh trung thực. Các ý tưởng chính bao gồm:

Thiết kế quy trình tuyển chọn dữ liệu chất lượng cao:
- Đối với chỉnh sửa ảnh: Sử dụng phương pháp "difference-first" (khác biệt là trên hết), trong đó MLLM mô tả sự khác biệt giữa ảnh gốc và ảnh đã chỉnh sửa, sau đó một MLLM khác dùng mô tả này để đánh giá độ chính xác (execution) và tính nhất quán (consistency). Dữ liệu FIRM-Edit-370K và mô hình FIRM-Edit-8B được tạo ra.
- Đối với tạo ảnh: Áp dụng chiến lược nhắc nhở dựa trên danh sách kiểm tra ("checklist-based prompting"), nơi một LLM trích xuất các điểm kiểm tra chính từ lời nhắc của người dùng, sau đó được thêm vào lời nhắc chấm điểm của MLLM để hướng dẫn đánh giá chi tiết. Dữ liệu FIRM-Gen-293K và mô hình FIRM-Gen-8B được xây dựng.
Xây dựng FIRM-Bench: Một bộ tiêu chuẩn toàn diện, được chú thích bởi con người, để đánh giá các mô hình phê bình cho cả tác vụ chỉnh sửa và tạo ảnh.
Đề xuất chiến lược phần thưởng "Base-and-Bonus" mới trong RL:
- Đối với chỉnh sửa ảnh: Sử dụng Consistency-Modulated Execution (CME) để cân bằng giữa thực thi và nhất quán, ngăn chặn "reward hacking".
- Đối với tạo ảnh: Đề xuất Quality-Modulated Alignment (QMA) để cân bằng giữa việc tuân thủ hướng dẫn và chất lượng hình ảnh.
Tích hợp vào quy trình RL: Áp dụng các mô hình phần thưởng và chiến lược phần thưởng này để tối ưu hóa các mô hình tạo sinh, dẫn đến các mô hình FIRM-Qwen-Edit và FIRM-SD3.5 với hiệu suất vượt trội.

III. Main Results:

Các kết quả chính cho thấy FIRM đạt được những đột phá đáng kể:

Đánh giá mô hình phần thưởng: FIRM-Edit-8B đạt MAE tổng thể là 0.62 trên FIRM-Bench-Edit (MAE thực thi 0.53, MAE nhất quán 0.73), vượt trội so với GPT-5 và tất cả các mô hình mã nguồn mở khác. FIRM-Gen-8B đạt MAE cạnh tranh 0.51 trên FIRM-Bench-Gen, vượt qua GPT-5 và tất cả các mô hình mã nguồn mở được đánh giá, mặc dù có ít tham số hơn.
Hiệu suất chỉnh sửa ảnh: FIRM-Qwen-Edit đạt điểm SOTA mới là 7.84 trên GEditBench và điểm cao thứ hai là 4.42 trên ImgEdit. Thành tựu này được thực hiện chỉ với 2,400 mẫu huấn luyện, hiệu quả hơn đáng kể so với các phương pháp yêu cầu tập dữ liệu lớn hơn.
Hiệu suất tạo ảnh: FIRM-SD3.5 đạt được những cải tiến vượt trội trên các bộ tiêu chuẩn tạo ảnh đa dạng như GenEval (0.77), DPGBench (87.16), TIIF (77.12) và UniGenBench++ (69.56/76.22), vượt trội hơn các mô hình được đầu tư nhiều tài nguyên như BAGEL và OmniGen2. Đặc biệt, FIRM-Gen-8B thúc đẩy kết quả tạo sinh vượt trội một cách nhất quán so với Qwen3-VL-8B và Qwen3-VL-32B, đặc biệt đối với các lời nhắc phức tạp.

IV. Conclusion & Future Works:

FIRM giới thiệu một khuôn khổ toàn diện để tạo ra các mô hình phần thưởng mạnh mẽ, giúp giảm thiểu ảo giác và thiết lập một tiêu chuẩn mới về độ trung thực và tuân thủ hướng dẫn trong chỉnh sửa và tạo ảnh. Các mô hình và dữ liệu của FIRM sẽ được công khai, đóng góp vào cộng đồng nghiên cứu. Trong tương lai, việc khám phá các chiến lược phần thưởng động phức tạp hơn có thể tiếp tục cải thiện sự cân bằng giữa các mục tiêu cạnh tranh, cũng như mở rộng ứng dụng của FIRM sang các lĩnh vực đa phương tiện khác như chỉnh sửa và tạo video.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng khuôn khổ FIRM để xử lý các tác vụ tạo và chỉnh sửa video, tập trung vào việc duy trì tính nhất quán theo thời gian và độ trung thực của hướng dẫn trong chuỗi khung hình.
Nghiên cứu các chiến lược hợp nhất phần thưởng động, nơi các trọng số của các mục tiêu cạnh tranh (ví dụ: thực thi, nhất quán, chất lượng) có thể được điều chỉnh linh hoạt dựa trên ngữ cảnh hoặc độ phức tạp của tác vụ cụ thể.
Khám phá khả năng tích hợp các mô hình phần thưởng FIRM vào các kiến trúc tạo sinh khác ngoài mô hình khuếch tán, chẳng hạn như mô hình tự hồi quy hoặc mô hình dựa trên dòng chảy, để đánh giá hiệu quả và khả năng mở rộng.

2. Patent:

Ứng dụng Chỉnh sửa Ảnh Thông minh với Phản hồi Tức thì: Một ứng dụng di động cho phép người dùng chỉnh sửa ảnh bằng cách nhập mô tả bằng văn bản (ví dụ: "làm cho bầu trời xanh hơn"). Ứng dụng sẽ sử dụng công nghệ đánh giá hình ảnh tiên tiến để cung cấp phản hồi ngay lập tức về mức độ chính xác của chỉnh sửa so với ý định ban đầu, giúp người dùng dễ dàng đạt được kết quả mong muốn mà không cần kiến thức chuyên môn về chỉnh sửa ảnh.
Công cụ Tạo Ảnh AI Cá nhân hóa Đảm bảo Chất lượng: Một ứng dụng tạo hình ảnh từ văn bản trên điện thoại di động, tích hợp hệ thống đánh giá tự động để đảm bảo các hình ảnh được tạo ra luôn có chất lượng cao và tuân thủ chặt chẽ mô tả của người dùng. Điều này giúp tránh các lỗi phổ biến như hình ảnh không liên quan hoặc thiếu chi tiết, mang lại trải nghiệm tạo hình ảnh đáng tin cậy và thẩm mỹ hơn trực tiếp trên thiết bị di động.
Hệ thống Tối ưu hóa Ảnh Tự động cho Mạng Xã hội: Một tính năng trên điện thoại hoặc ứng dụng mạng xã hội tự động phân tích và đề xuất các cải tiến cho ảnh trước khi đăng tải. Sử dụng công nghệ đánh giá độ trung thực và tính nhất quán, hệ thống có thể tự động điều chỉnh để ảnh đẹp hơn (ví dụ: sửa lỗi nhỏ, cải thiện màu sắc hoặc bố cục) mà vẫn giữ được nét tự nhiên, giúp người dùng luôn có những bức ảnh chất lượng cao để chia sẻ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12247
ArXiv Abstract	https://arxiv.org/abs/2603.12247
PDF Download	https://arxiv.org/pdf/2603.12247.pdf
Github Repository	https://github.com/VisionXLab/FIRM-Reward

11. One Model, Many Budgets: Elastic Latent Interfaces for Diffusion Transformers (17 votes)

Tác giả: Moayed Haji-Ali, Willi Menapace, Ivan Skorokhodov, Dogyun Park, Anil Kag, Michael Vasilkovsky, Sergey Tulyakov, Vicente Ordonez, Aliaksandr Siarohin

Xuất bản lúc: 2026-03-12

Tag: Diffusion Transformers, DiT, Latent Interface, Adaptive Computation, Generative Models, Image Generation, Video Generation, FLOPs, Autoguidance, CFG

I. Main Problem:

Các mô hình Diffusion Transformers (DiTs) đạt chất lượng tạo sinh cao nhưng gặp phải vấn đề cứng nhắc trong thiết kế: chi phí FLOPs bị cố định theo độ phân giải hình ảnh, hạn chế khả năng cân bằng giữa độ trễ và chất lượng. Ngoài ra, chúng phân bổ tính toán đồng đều trên tất cả các token không gian đầu vào, dẫn đến lãng phí tài nguyên cho các vùng không quan trọng và không tận dụng hiệu quả lượng tính toán bổ sung.

II. Main Idea:

Nghiên cứu giới thiệu Elastic Latent Interface Transformer (ELIT), một cơ chế tương thích với DiT, cho phép tách biệt kích thước hình ảnh đầu vào khỏi chi phí tính toán. ELIT chèn một "giao diện tiềm ẩn" (latent interface) — một chuỗi token có độ dài thay đổi, có thể học được — nơi các khối transformer tiêu chuẩn hoạt động. Hai lớp cross-attention nhẹ, "Read" và "Write", được sử dụng để chuyển thông tin giữa các token không gian và các token tiềm ẩn, ưu tiên các vùng đầu vào quan trọng. Bằng cách huấn luyện với việc ngẫu nhiên loại bỏ các token tiềm ẩn ở cuối (tail latents), ELIT học cách tạo ra các biểu diễn được sắp xếp theo mức độ quan trọng, trong đó các token tiềm ẩn ban đầu nắm bắt cấu trúc tổng thể và các token sau đó tinh chỉnh chi tiết. Trong quá trình suy luận, số lượng token tiềm ẩn có thể được điều chỉnh linh hoạt để phù hợp với các ràng buộc tính toán, cho phép phân bổ tính toán thích ứng và kiểm soát ngân sách tính toán theo thời gian thực. ELIT cũng cho phép Autoguidance (AG) và Cheap Classifier-Free Guidance (CCFG) để cải thiện chất lượng lấy mẫu và giảm chi phí.

III. Main Results:

ELIT mang lại những cải tiến nhất quán trên nhiều tập dữ liệu và kiến trúc (DiT, U-ViT, HDiT, MM-DiT). Trên ImageNet-1K 512px, ELIT đạt mức tăng trung bình 35.3% về điểm FID và 39.6% về điểm FDD. ELIT-DiT cải thiện 58.0% cho DiT, 34.0% cho U-ViT, và 37.4% cho HDiT trên ImageNet-1k 512px FDD. Trong cấu hình đa ngân sách (ELIT-MB), ELIT-MB giảm FID lần lượt 40%, 14% và 27% so với DiT, U-ViT và HDiT ở độ phân giải 256px, và giảm 53%, 28% và 23% ở 512px. ELIT-DiT tăng tốc độ hội tụ 3.3 lần trên ImageNet-1K 256px và 4.0 lần trên ImageNet-1K 512px. Nó cung cấp sự cân bằng chất lượng-tính toán vượt trội so với việc giảm số bước lấy mẫu và giảm chi phí suy luận khoảng 33% khi sử dụng Autoguidance hoặc Cheap Classifier-Free Guidance (CCFG) mà vẫn cải thiện chất lượng.

IV. Conclusion & Future Works:

ELIT là một framework tối giản giúp cải thiện việc phân bổ tính toán trong DiTs thông qua các lớp Read/Write nhẹ, cho phép ngân sách tính toán linh hoạt. Nó liên tục cải thiện chất lượng tạo sinh hình ảnh và video trên các kiến trúc và độ phân giải khác nhau, đồng thời cho phép cân bằng hiệu quả giữa tính toán và chất lượng. Tuy nhiên, những lợi ích của việc huấn luyện từ đầu trên quy mô lớn vẫn chưa được xác minh. Ngoài ra, CCFG có xu hướng làm bão hòa hình ảnh nhanh hơn CFG. Công việc trong tương lai có thể khám phá các bộ lập lịch ngân sách huấn luyện và suy luận để phân bổ ngân sách khác nhau qua các bước lấy mẫu, và nghiên cứu cách giải quyết vấn đề bão hòa hình ảnh của CCFG.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa lịch trình ngân sách tính toán động cho mô hình khuếch tán: Nghiên cứu các chiến lược lập lịch ngân sách tính toán (số lượng token tiềm ẩn) khác nhau trong các bước lấy mẫu (sampling steps) và trong quá trình huấn luyện để đạt được hiệu suất tối ưu và hiệu quả tính toán, đặc biệt tập trung vào việc phân bổ ít tính toán hơn cho các bước lấy mẫu ban đầu.
Phân tích khả năng mở rộng và hiệu quả của ELIT trong huấn luyện mô hình khuếch tán quy mô lớn từ đầu: Điều tra và xác minh những lợi ích của việc tích hợp ELIT vào quá trình huấn luyện các mô hình khuếch tán quy mô lớn từ đầu, đặc biệt tập trung vào khả năng mở rộng, chi phí, chất lượng tổng thể và so sánh với các phương pháp hiện có.
Cải tiến cơ chế hướng dẫn linh hoạt cho ELIT nhằm kiểm soát bão hòa hình ảnh và tăng cường chất lượng: Phát triển các phương pháp hướng dẫn mới hoặc điều chỉnh Cheap Classifier-Free Guidance (CCFG) để tận dụng khả năng tính toán linh hoạt của ELIT, đồng thời giải quyết vấn đề bão hòa hình ảnh nhanh hơn so với Classifier-Free Guidance tiêu chuẩn, nhằm đạt được chất lượng tốt hơn và kiểm soát chi phí.

2. Patent:

Hệ thống tạo ảnh linh hoạt trên điện thoại thông minh: Một ứng dụng trên điện thoại cho phép người dùng tạo hình ảnh chất lượng cao từ mô tả văn bản hoặc hình ảnh tham chiếu. Ứng dụng này sẽ tự động điều chỉnh lượng tính toán cần thiết dựa trên yêu cầu của người dùng (ví dụ: tạo ảnh nhanh chất lượng thấp hoặc tạo ảnh chậm chất lượng cao) và tài nguyên pin của điện thoại, đảm bảo trải nghiệm mượt mà và tiết kiệm năng lượng bằng cách tập trung xử lý vào các vùng quan trọng của hình ảnh.
Tối ưu hóa chỉnh sửa ảnh bằng trí tuệ nhân tạo trên thiết bị di động: Một tính năng trong ứng dụng chỉnh sửa ảnh trên điện thoại cho phép người dùng thực hiện các chỉnh sửa phức tạp (ví dụ: loại bỏ vật thể, thay đổi phong cách, nâng cao chi tiết) bằng trí tuệ nhân tạo. Hệ thống sẽ sử dụng một mô hình linh hoạt để phân bổ sức mạnh xử lý hiệu quả, tập trung vào các vùng quan trọng của hình ảnh và điều chỉnh lượng tính toán dựa trên mức độ chi tiết mong muốn của người dùng và khả năng của chip điện thoại, giúp chỉnh sửa nhanh hơn và chính xác hơn mà không làm hao pin quá mức.
Nâng cao chất lượng video quay trên điện thoại với tính toán thích ứng: Một công nghệ tích hợp vào ứng dụng camera của điện thoại, tự động nâng cao chất lượng video (ví dụ: giảm nhiễu, tăng độ phân giải, ổn định hình ảnh) sau khi quay hoặc trong quá trình xem trước. Công nghệ này sử dụng một kiến trúc trí tuệ nhân tạo có khả năng điều chỉnh lượng tính toán cần thiết, tập trung vào các khung hình hoặc vùng chuyển động quan trọng, cho phép người dùng chọn mức độ nâng cao chất lượng mong muốn mà không làm chậm quá trình xử lý hoặc tiêu thụ quá nhiều pin.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12245
ArXiv Abstract	https://arxiv.org/abs/2603.12245
PDF Download	https://arxiv.org/pdf/2603.12245.pdf
Github Repository	https://github.com/snap-research/elit

12. GRADE: Benchmarking Discipline-Informed Reasoning in Image Editing (14 votes)

Tác giả: Mingxin Liu, Ziqian Fan, Zhaokai Wang, Leyao Gu, Zirun Zhu, Yiguo He, Yuchen Yang, Changyao Tian, Xiangyu Zhao, Ning Liao, Shaofeng Zhang, Qibing Ren, Zhihang Zhong, Xuanhe Zhou, Junchi Yan, Xue Yang

Xuất bản lúc: 2026-03-12

Tag: Multimodal Models, Image Editing, Benchmarking, Reasoning, Deep Learning, MLLMs, Evaluation

I. Main Problem:

Các mô hình đa phương thức hợp nhất (UMMs) hiện tại gặp khó khăn trong việc tích hợp kiến thức chuyên sâu, lý luận có cấu trúc và khả năng tạo ảnh có kiểm soát. Các bộ dữ liệu đánh giá chỉnh sửa ảnh hiện có chủ yếu giới hạn ở hình ảnh tự nhiên và lý luận thông thường nông cạn, không thể đánh giá đầy đủ khả năng này trong các ràng buộc cụ thể của từng lĩnh vực học thuật. Điều này tạo ra một khoảng trống trong việc kiểm tra xem các UMM có thể thực sự phối hợp kiến thức, lý luận và chỉnh sửa một cách có nguyên tắc hay không.

II. Main Idea:

Nghiên cứu giới thiệu GRADE, bộ dữ liệu đánh giá đầu tiên tập trung vào kiến thức chuyên ngành và lý luận trong chỉnh sửa ảnh. GRADE bao gồm 520 mẫu được tuyển chọn kỹ lưỡng từ 10 lĩnh vực học thuật khác nhau (từ khoa học tự nhiên đến khoa học xã hội). Để đánh giá nghiêm ngặt, nghiên cứu đề xuất một giao thức đánh giá đa chiều gồm: Lý luận Chuyên ngành (Discipline Reasoning), Tính nhất quán Hình ảnh (Visual Consistency) và Khả năng đọc Logic (Logical Readability). Các đánh giá này được thực hiện tự động bằng MLLM (Gemini-3-Flash) với sự hỗ trợ của các câu hỏi nhị phân có trọng số được tạo bởi GPT-5.

III. Main Results:

Các thí nghiệm trên 20 mô hình chỉnh sửa ảnh tiên tiến (cả mã nguồn mở và đóng) cho thấy những hạn chế đáng kể của các mô hình hiện tại trong các tác vụ chỉnh sửa yêu cầu kiến thức chuyên sâu và lý luận ngầm định, dẫn đến khoảng cách hiệu suất lớn. Mô hình Nano Banana Pro đạt hiệu suất tổng thể cao nhất (46.2%), nhưng vẫn thất bại trong hơn một nửa số trường hợp. Các mô hình mã nguồn đóng vượt trội đáng kể so với các mô hình mã nguồn mở (mô hình mã nguồn mở tốt nhất Qwen-Edit-2511 chỉ đạt 2.7%). Khả năng lý luận chuyên ngành là nút thắt cổ chai chính. Việc làm rõ ràng các hướng dẫn (explicit instructions) giúp cải thiện đáng kể hiệu suất của mô hình, đặc biệt là các mô hình mã nguồn mở.

IV. Conclusion & Future Works:

Lý luận ngầm định dựa trên kiến thức chuyên ngành vẫn là một thách thức lớn đối với các mô hình hiện tại. GRADE cung cấp một công cụ đánh giá mạnh mẽ, làm nổi bật những hạn chế của các mô hình đa phương thức hợp nhất và chỉ ra các hướng đi rõ ràng, có thể hành động được cho sự phát triển trong tương lai của các mô hình này trong các tác vụ chỉnh sửa ảnh và lý luận dựa trên kiến thức chuyên ngành.

V. Brainstorming Space:

1. Publish Papers:

Phát triển Mô hình Đa phương thức Hợp nhất với Khả năng Lý luận Chuyên sâu: Nghiên cứu các kiến trúc mô hình mới và phương pháp huấn luyện để cải thiện đáng kể khả năng lý luận ngầm định dựa trên kiến thức chuyên ngành trong các tác vụ chỉnh sửa ảnh, đặc biệt tập trung vào các lĩnh vực khoa học tự nhiên và kỹ thuật, nơi các mô hình hiện tại còn nhiều hạn chế.
Phương pháp Huấn luyện Hiệu quả cho Dữ liệu Chuyên ngành Hạn chế: Khám phá các kỹ thuật học chuyển giao (transfer learning), học tăng cường (reinforcement learning) hoặc học ít dữ liệu (few-shot learning) để cho phép các mô hình đa phương thức học và áp dụng kiến thức chuyên ngành một cách hiệu quả, ngay cả khi dữ liệu huấn luyện cho từng lĩnh vực cụ thể còn hạn chế.
Cải thiện Tính nhất quán Hình ảnh và Khả năng đọc Logic trong Chỉnh sửa Ảnh Chuyên ngành: Nghiên cứu các phương pháp để đảm bảo rằng các chỉnh sửa ảnh không chỉ chính xác về mặt lý luận chuyên ngành mà còn duy trì tính nhất quán về mặt hình ảnh (Localized Consistency, Style Consistency) và đảm bảo khả năng đọc logic cao (văn bản rõ ràng, chú thích chính xác, cấu trúc mạch lạc) cho người dùng trong môi trường học thuật.

2. Patent:

Ứng dụng "Trợ lý Học tập Thông minh" trên điện thoại di động: Một ứng dụng cho phép học sinh, sinh viên chụp ảnh các sơ đồ, công thức, biểu đồ từ sách giáo khoa hoặc bài giảng. Người dùng có thể yêu cầu ứng dụng chỉnh sửa hình ảnh đó để giải thích khái niệm, sửa lỗi sai, hoặc minh họa các kịch bản khác nhau (ví dụ: "vẽ đường dẫn ngắn nhất trên bản đồ này", "thêm cấu trúc tế bào còn thiếu", "chỉnh sửa mạch điện để đèn báo cửa mở sáng khi có cửa hở"). Ứng dụng sẽ sử dụng lý luận chuyên ngành để thực hiện chỉnh sửa và hiển thị kết quả trực quan, giúp tăng cường hiểu biết.
Công cụ "Kiểm tra và Cải thiện Đồ họa Báo cáo" tích hợp vào ứng dụng văn phòng di động: Một tính năng trong các ứng dụng soạn thảo văn bản hoặc trình chiếu trên điện thoại, cho phép người dùng tải lên hình ảnh biểu đồ, đồ thị, sơ đồ khoa học. Công cụ này sẽ tự động phân tích hình ảnh, phát hiện các lỗi sai về mặt logic hoặc sự không nhất quán về mặt hình ảnh (ví dụ: chú thích không rõ ràng, đường cong không phân biệt, sai lệch dữ liệu) dựa trên kiến thức chuyên ngành. Sau đó, nó sẽ đề xuất các chỉnh sửa hoặc tự động sửa chữa để cải thiện tính chính xác và khả năng đọc của đồ họa, giúp người dùng tạo ra các báo cáo chuyên nghiệp hơn.
Hệ thống "Chỉnh sửa Ảnh Kiến trúc/Thiết kế Nội thất Thông minh" cho điện thoại: Một ứng dụng di động cho phép người dùng chụp ảnh không gian thực (phòng, cảnh quan) hoặc tải lên bản vẽ kỹ thuật. Người dùng có thể sử dụng các lệnh ngôn ngữ tự nhiên để yêu cầu chỉnh sửa dựa trên các nguyên tắc thiết kế hoặc kỹ thuật (ví dụ: "thay đổi vật liệu sàn thành gỗ sồi và đảm bảo tỷ lệ phù hợp", "thêm hệ thống chiếu sáng âm trần theo tiêu chuẩn công thái học", "mô phỏng thay đổi cấu trúc hóa học của vật liệu này để tăng độ bền"). Hệ thống sẽ áp dụng kiến thức chuyên môn về kiến trúc, vật liệu hoặc thiết kế để thực hiện các chỉnh sửa hình ảnh một cách hợp lý và thực tế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12264
ArXiv Abstract	https://arxiv.org/abs/2603.12264
PDF Download	https://arxiv.org/pdf/2603.12264.pdf
Github Repository	https://github.com/VisionXLab/GRADE

13. CREATE: Testing LLMs for Associative Creativity (14 votes)

Tác giả: Manya Wadhwa, Tiasa Singha Roy, Harvey Lederman, Junyi Jessy Li, Greg Durrett

Xuất bản lúc: 2026-03-10

Tag: LLMs, Associative Creativity, Benchmark, Knowledge Graphs, Combinatorial Creativity, Prompt Engineering

I. Main Problem:

Vấn đề chính mà nghiên cứu này giải quyết là việc đánh giá khả năng sáng tạo liên tưởng của các Mô hình Ngôn ngữ Lớn (LLM). Các điểm yếu hiện tại bao gồm:

Thiếu các tiêu chuẩn đo lường khách quan và có thể xác minh được cho sự sáng tạo trong thế giới thực, vì các truy vấn phức tạp thường mang tính chủ quan.
Các tiêu chuẩn tượng trưng hiện có sử dụng các nhiệm vụ trừu tượng có thể không phản ánh cách LLM được sử dụng trong thực tế.
Khó khăn trong việc tạo ra các câu trả lời khách quan và khó tìm trong không gian câu hỏi mở của các nhiệm vụ sáng tạo.
Các mô hình thường tạo ra các đầu ra đồng nhất, thiếu sự đa dạng và độc đáo.

II. Main Idea:

Nghiên cứu giới thiệu CREATE, một bộ tiêu chuẩn được thiết kế để đánh giá khả năng suy luận liên tưởng sáng tạo của các mô hình. Ý tưởng chính là:

Yêu cầu các mô hình tạo ra các tập hợp "đường dẫn" kết nối các khái niệm trong kiến thức tham số của chúng.
Các đường dẫn phải có tính đặc thù cao (đặc trưng và độ gần của kết nối) và tính đa dạng cao (khác biệt với các đường dẫn khác).
Các mô hình được đánh giá cao hơn nếu chúng tạo ra một tập hợp lớn hơn các đường dẫn mạnh mẽ và đa dạng.
Nhiệm vụ này lấy cảm hứng từ sự sáng tạo tổ hợp (combinatorial creativity), tập trung vào việc hình thành những suy nghĩ mới bằng cách liên kết, kết hợp lại hoặc rút ra sự tương tự giữa các khái niệm quen thuộc.
CREATE sử dụng các thực thể và mối quan hệ trong thế giới thực (dựa trên Wikidata) để đảm bảo tính thực tế và có cơ sở kiến thức.
Các chỉ số chính bao gồm "creative utility" (tích hợp chất lượng và sự đa dạng) và "distinctiveness" (phản ánh tính mới lạ so với các đầu ra khác).
Chất lượng của đường dẫn được định nghĩa dựa trên tính đặc thù của mối quan hệ (mức độ cụ thể của kết nối) và tính đúng đắn về mặt thực tế.
Khoảng cách giữa các đường dẫn được đo bằng khoảng cách cosine giữa các biểu diễn chuỗi của chúng.
Nghiên cứu đánh giá các LLM tiên tiến (mô hình "suy nghĩ" và "không suy nghĩ") và các chiến lược nhắc nhở khác nhau (ví dụ: "Be creative", lấy mẫu bằng lời nói, tạo lại lặp đi lặp lại).

III. Main Results:

Các kết quả chính của nghiên cứu bao gồm:

Các mô hình tiên phong (frontier models) đạt điểm tiện ích sáng tạo cao nhất trên bộ tiêu chuẩn CREATE, tạo ra các kết nối chất lượng cao và đa dạng hơn so với các mô hình khác.
Việc bão hòa bộ tiêu chuẩn là khó khăn do số lượng câu trả lời lớn và sự phức tạp của không gian tìm kiếm.
Các mô hình "suy nghĩ" (thinking models) không phải lúc nào cũng hiệu quả hơn trong nhiệm vụ này, ngay cả với ngân sách token lớn.
Các phương pháp "nhắc nhở sáng tạo" (creative prompting) chỉ mang lại một số cải thiện hạn chế. Các phương pháp lặp lại (iterative) và lấy mẫu lại (resampling) là hiệu quả nhất trong việc tăng tiện ích sáng tạo.
Giá trị tính độc đáo (distinctiveness) tương tự giữa các mô hình. Phương pháp nhắc nhở "iterate" có tác động tích cực mạnh mẽ nhất đến tính độc đáo.
Có sự đánh đổi giữa tiện ích sáng tạo và tính đúng đắn về mặt thực tế: Gemini-3-Pro đạt tiện ích cao hơn khi yêu cầu tính đúng đắn thấp, nhưng GPT-5 cân bằng tốt hơn giữa hai yếu tố này ở các thiết lập nghiêm ngặt hơn.

IV. Conclusion & Future Works:

Bài báo giới thiệu CREATE, một bộ tiêu chuẩn để kiểm tra khả năng sáng tạo liên tưởng của LLM, yêu cầu các mô hình tìm ra các kết nối mạnh mẽ, khác biệt giữa các khái niệm thực tế. Kết quả cho thấy điểm mạnh của các mô hình hiện tại, nhưng cũng chỉ ra rằng việc tăng cường nỗ lực "suy nghĩ" không phải là giải pháp vạn năng. Cần có thêm nghiên cứu để tận dụng tối đa LLM cho các nhiệm vụ đòi hỏi sự sáng tạo liên tưởng.

Tác giả nhấn mạnh mục tiêu của công trình là thúc đẩy việc sử dụng LLM cho các hoạt động sáng tạo, bổ trợ cho con người, chứ không phải thay thế. Họ cũng công nhận rủi ro tiềm ẩn khi "tự động hóa sự sáng tạo", bao gồm giảm chất lượng, giảm sự hài lòng trong công việc và tác động kinh tế.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp mới để tăng cường khả năng sáng tạo liên tưởng của LLM, đặc biệt là vượt ra ngoài việc tăng ngân sách token hoặc các kỹ thuật nhắc nhở cơ bản, tập trung vào cấu trúc tìm kiếm trong không gian khái niệm để tạo ra các đường dẫn độc đáo và chất lượng cao.
Phát triển các chiến lược để tối ưu hóa sự cân bằng giữa tính đúng đắn về mặt thực tế (factuality) và tính sáng tạo (utility) trong các kết nối được tạo ra bởi LLM, đặc biệt trong các lĩnh vực yêu cầu độ chính xác cao như tạo giả thuyết khoa học hoặc khám phá y học.
Khám phá các kiến trúc hoặc phương pháp huấn luyện mô hình mới nhằm giảm thiểu tính đồng nhất trong đầu ra của LLM cho các nhiệm vụ sáng tạo, thúc đẩy sự đa dạng và độc đáo thực sự thông qua các cơ chế tạo sinh khác biệt hoặc học tập từ các mẫu sáng tạo của con người.

2. Patent:

Ứng dụng Trợ lý Sáng tạo Nội dung trên Điện thoại Di động: Một ứng dụng di động sử dụng AI để giúp người dùng vượt qua sự bế tắc sáng tạo bằng cách tạo ra các ý tưởng độc đáo và đa dạng cho nhiều loại nội dung (ví dụ: cốt truyện, khẩu hiệu tiếp thị, bài đăng mạng xã hội). Người dùng nhập một khái niệm khởi đầu và một chủ đề mục tiêu, và ứng dụng sẽ sử dụng mô hình AI bên dưới để tìm các "kết nối mới lạ nhưng có ý nghĩa" (đường dẫn liên tưởng) giữa các khái niệm này, trình bày các ý tưởng cụ thể và khác biệt. Ví dụ, kết nối "sản phẩm thân thiện môi trường" với "đồ chơi trẻ em" có thể gợi ý "khối xây dựng phân hủy sinh học" hoặc "đồ chơi dạy về tái chế".
Công cụ Khám phá Kiến thức Cá nhân hóa trên Điện thoại Di động: Một ứng dụng di động được thiết kế để nâng cao trải nghiệm học tập và khám phá bằng cách tiết lộ các "kết nối không rõ ràng nhưng nổi bật" giữa các khái niệm kiến thức. Khi người dùng đang đọc một bài báo hoặc tìm hiểu về một chủ đề cụ thể (ví dụ: "vật lý lượng tử"), ứng dụng sẽ xác định các khái niệm chính và sau đó tạo ra các đường dẫn liên tưởng đa bước đến các chủ đề liên quan nhưng ít trực tiếp hơn (ví dụ: "vật lý lượng tử" -> "chất siêu dẫn" -> "tàu đệm từ"). Các đường dẫn này được trình bày dưới dạng "hành trình khám phá" tương tác mà người dùng có thể khám phá để mở rộng hiểu biết và khơi gợi sự tò mò.
Ứng dụng Hỗ trợ Giải quyết Vấn đề Đổi mới trên Điện thoại Di động: Một ứng dụng điện thoại di động giúp người dùng giải quyết các vấn đề trong thế giới thực bằng cách tạo ra các cách tiếp cận giải pháp sáng tạo và đa dạng. Người dùng mô tả một vấn đề (ví dụ: "làm thế nào để giảm lãng phí thực phẩm tại nhà"). Ứng dụng tận dụng khả năng suy luận liên tưởng của mình để kết nối vấn đề này với nhiều lĩnh vực khác nhau và tạo ra nhiều "đường dẫn giải pháp" riêng biệt (ví dụ: "lãng phí thực phẩm" -> "thiết bị nhà bếp thông minh" -> "quản lý hàng tồn kho hỗ trợ AI" hoặc "lãng phí thực phẩm" -> "nền tảng chia sẻ cộng đồng" -> "ngân hàng thực phẩm địa phương"). Nó cung cấp các gợi ý sáng tạo, có thể hành động được, vượt ra ngoài các giải pháp thông thường.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.09970
ArXiv Abstract	https://arxiv.org/abs/2603.09970
PDF Download	https://arxiv.org/pdf/2603.09970.pdf
Github Repository	https://github.com/ManyaWadhwa/CREATE

14. RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning (13 votes)

Tác giả: Tzu-Heng Huang, Sirajul Salekin, Javier Movellan, Frederic Sala, Manjot Bilkhu

Xuất bản lúc: 2026-03-10

Tag: Dense Captioning, Reinforcement Learning, LLMs, Vision-Language Models, Reward Hacking, Supervised Fine-tuning

I. Main Problem:

Việc tạo chú thích hình ảnh dày đặc (dense image captioning) chất lượng cao đòi hỏi chú thích thủ công từ chuyên gia, vốn cực kỳ tốn kém ở quy mô lớn. Các phương pháp tổng hợp chú thích bằng cách chưng cất giám sát (supervised distillation) từ các mô hình thị giác-ngôn ngữ (VLM) mạnh mẽ thường dẫn đến sự đa dạng đầu ra hạn chế, khả năng khái quát hóa kém và hiện tượng quên kiến thức nghiêm trọng. Học tăng cường (RL) có thể khắc phục những hạn chế này nhưng gặp phải nút thắt xác minh (verification bottleneck) vì việc đánh giá chất lượng chú thích là mở, chủ quan và phụ thuộc vào ngữ cảnh, không có công cụ kiểm tra xác định nào có sẵn. Các phương pháp RL trước đây dựa trên chỉ số NLP từ vựng hoặc VLM-as-a-Judge cung cấp phần thưởng thô và thiếu thông tin chẩn đoán chi tiết.

II. Main Idea:

RubiCap là một khung học tăng cường mới giải quyết nút thắt xác minh bằng cách tạo ra các tín hiệu phần thưởng chi tiết, cụ thể cho từng mẫu từ các tiêu chí đánh giá (rubric) do LLM viết. Khung này hoạt động qua hai giai đoạn:

Tổng hợp Rubric Tự động: Một ủy ban gồm các VLM đa dạng tạo ra các chú thích ứng cử viên. Một LLM đóng vai trò "người viết rubric" sẽ trích xuất sự đồng thuận từ các chú thích này, đồng thời chẩn đoán các thiếu sót cụ thể trong chính sách hiện tại của mô hình học sinh. Những hiểu biết này được chuyển đổi thành các tiêu chí đánh giá rõ ràng, dễ kiểm tra, cùng với trọng số mức độ nghiêm trọng.
Học Tăng cường Dẫn dắt bằng Rubric: Một LLM đóng vai trò "thẩm phán" áp dụng các rubric này để đánh giá các chú thích do mô hình học sinh tạo ra, thay thế phần thưởng vô hướng thô bằng các đánh giá có cấu trúc, đa chiều. Phần thưởng được tính toán dựa trên tỷ lệ các tiêu chí chất lượng đã được giải quyết thành công, có trọng số theo mức độ nghiêm trọng. Mô hình học sinh sau đó được tối ưu hóa bằng Group Relative Policy Optimization (GRPO) để cải thiện chú thích, khuyến khích mô hình giải quyết những chi tiết hình ảnh bị bỏ qua trước đó.

III. Main Results:

RubiCap đạt tỷ lệ thắng cao nhất trên CapArena, vượt trội so với chưng cất giám sát, các phương pháp RL trước đây, chú thích của chuyên gia con người và các đầu ra được tăng cường bởi GPT-4V. Mô hình RubiCap-7B đạt tỷ lệ thắng cải thiện +20.8% trên PixMoCap và +14.4% trên DenseFusion so với mô hình cơ sở. Trong đánh giá xếp hạng mù, RubiCap-7B đạt tỷ lệ xếp hạng 1 cao nhất, vượt qua các mô hình tiên tiến 72B và 32B, với mức phạt ảo giác thấp nhất và độ chính xác mạnh nhất. RubiCap thể hiện hiệu quả từ ngữ vượt trội trên CaptionQA, với mô hình 3B ngang bằng Qwen2.5-VL-32B-Instruct và mô hình 7B ngang bằng các mô hình 32B-scale. Các mô hình được huấn luyện bằng RubiCap bảo toàn khả năng tiền huấn luyện trên 10 chuẩn VLM, giảm đáng kể hiện tượng quên kiến thức so với chưng cất giám sát. Cuối cùng, RubiCap-3B nhỏ gọn đóng vai trò là nguồn dữ liệu chất lượng cao cho tiền huấn luyện VLM, tạo ra các VLM tiền huấn luyện mạnh hơn so với những mô hình được huấn luyện trên chú thích từ GPT-4V.

IV. Conclusion & Future Works:

RubiCap giải quyết nút thắt xác minh trong học tăng cường cho chú thích hình ảnh dày đặc bằng cách tạo ra các rubric tổng hợp, cụ thể cho từng mẫu để cung cấp tín hiệu phần thưởng chi tiết và đáng tin cậy. Khung này tự động tổng hợp rubric bằng cách tận dụng sự đồng thuận từ các mô hình đa dạng và phân tích thiếu sót có mục tiêu để phân tách đánh giá tổng thể thành các kiểm tra chất lượng đa chiều. Các thí nghiệm rộng rãi trên sáu trục đánh giá cho thấy RubiCap liên tục mang lại những cải tiến lớn nhất cho các mô hình cơ sở và vượt trội so với các đường cơ sở đa dạng về cả chất lượng chú thích và hiệu quả từ ngữ. RubiCap-7B vượt trội hơn các mô hình tiên tiến 72B và 32B trong các đánh giá xếp hạng mù, đạt tỷ lệ xếp hạng 1 cao nhất đồng thời có mức phạt ảo giác thấp nhất và độ chính xác mạnh nhất. Các mô hình được huấn luyện bằng RubiCap đóng vai trò là công cụ chú thích mạnh mẽ hơn các hệ thống độc quyền, mang lại các VLM tiền huấn luyện tốt hơn ở quy mô lớn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng việc tạo rubric tự động để bao gồm các khía cạnh đánh giá chủ quan hơn hoặc các miền chuyên biệt (ví dụ: y tế, kỹ thuật), sử dụng các mô hình ngôn ngữ lớn (LLM) chuyên biệt hoặc kỹ thuật tạo rubric đa ngôn ngữ.
Khám phá việc tích hợp RubiCap vào các tác vụ thị giác-ngôn ngữ khác ngoài chú thích hình ảnh dày đặc, chẳng hạn như trả lời câu hỏi bằng hình ảnh (VQA) hoặc tạo câu chuyện hình ảnh (visual storytelling), nơi phản hồi có cấu trúc có thể cải thiện chất lượng đầu ra.
Phát triển các phương pháp RL mới để chống lại "reward hacking" hiệu quả hơn trong các tác vụ tạo sinh ngôn ngữ mở, đặc biệt là khi các tín hiệu thưởng được tạo ra bởi LLM, bằng cách kết hợp các cơ chế đánh giá đa dạng hoặc kiểm tra chéo tự động.

2. Patent:

Hệ thống Tạo Chú thích Ảnh Thông minh cho Điện thoại: Một tính năng trên điện thoại di động tự động tạo các chú thích hình ảnh chi tiết và chính xác cho ảnh của người dùng, sử dụng một mô hình AI nhỏ gọn. Người dùng có thể chọn các phong cách chú thích khác nhau (ví dụ: mô tả ngắn, chi tiết, hài hước), và hệ thống sẽ tự động cải thiện chất lượng chú thích theo thời gian dựa trên phản hồi ngầm từ người dùng (ví dụ: số lượt chia sẻ, thời gian xem ảnh có chú thích).
Ứng dụng Đánh giá và Cải thiện Nội dung Thực tế Tăng cường (AR): Một ứng dụng di động sử dụng công nghệ tương tự RubiCap để đánh giá và đưa ra gợi ý cải thiện cho nội dung AR do người dùng tạo. Ví dụ, khi người dùng tạo một đối tượng AR và đặt nó vào môi trường thực, hệ thống sẽ tự động phân tích và cung cấp phản hồi chi tiết (dưới dạng các tiêu chí đánh giá) về độ phù hợp, vị trí, và tính chân thực của đối tượng AR đó, giúp người dùng tinh chỉnh sản phẩm của họ.
Công cụ Hỗ trợ Viết Mô tả Sản phẩm Tự động cho Thương mại Điện tử: Một công cụ tích hợp trên điện thoại hoặc máy tính bảng cho phép người bán hàng chụp ảnh sản phẩm và tự động tạo ra các mô tả sản phẩm chi tiết, chính xác và hấp dẫn. Công cụ này sẽ sử dụng AI để phân tích hình ảnh, xác định các đặc điểm chính của sản phẩm (màu sắc, chất liệu, hình dáng, công dụng) và tạo ra các tiêu chí đánh giá mô tả, sau đó tối ưu hóa văn bản để đảm bảo đầy đủ thông tin và thu hút khách hàng, có thể được tùy chỉnh theo yêu cầu của người bán.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.09160
ArXiv Abstract	https://arxiv.org/abs/2603.09160
PDF Download	https://arxiv.org/pdf/2603.09160.pdf
Github Repository	N/A

15. EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation (12 votes)

Tác giả: Tianwei Xiong, Jun Hao Liew, Zilong Huang, Zhijie Lin, Jiashi Feng, Xihui Liu

Xuất bản lúc: 2026-03-12

Tag: Video Generation, Autoregressive Models, Tokenization, Adaptive Learning, Deep Learning, Vision Transformers, Semantic Alignment, Efficiency

I. Main Problem:

Các mô hình sinh video tự hồi quy (AR) hiện tại sử dụng các bộ mã hóa video (tokenizer) gán số lượng token cố định hoặc đồng nhất cho các khối thời gian của video, bất kể độ phức tạp nội dung. Điều này dẫn đến việc lãng phí token cho các phân đoạn đơn giản, tĩnh hoặc lặp lại, đồng thời không cung cấp đủ token cho các phân đoạn động hoặc phức tạp. Hậu quả là làm giảm hiệu quả tính toán, chất lượng tái tạo và chất lượng sinh video.

II. Main Idea:

EVATok đề xuất một khuôn khổ gồm bốn giai đoạn để tạo ra các bộ mã hóa video thích ứng hiệu quả (Efficient Video Adaptive Tokenizers). Ý tưởng cốt lõi là ước tính và phân bổ số lượng token tối ưu cho từng video và từng khối thời gian dựa trên độ phức tạp nội dung, nhằm đạt được sự cân bằng tốt nhất giữa chất lượng và chi phí (số lượng token).

Giai đoạn 1: Huấn luyện bộ mã hóa proxy (Proxy Tokenizer): Một bộ mã hóa 1D kiểu Q-Former được huấn luyện để tái tạo video dưới nhiều cấu hình gán token khác nhau. Bộ mã hóa này được tăng cường bằng cách tích hợp các bộ mã hóa ngữ nghĩa video (V-JEPA2-L) thông qua căn chỉnh biểu diễn.
Giai đoạn 2: Xây dựng tập dữ liệu cho Router: Sử dụng bộ mã hóa proxy, một số liệu mới gọi là "phần thưởng proxy" (proxy reward) được định nghĩa để định lượng sự đánh đổi chất lượng-chi phí cho mỗi cấu hình gán token. Bằng cách tìm kiếm brute-force cấu hình gán token tối ưu (có phần thưởng proxy cao nhất) cho 100k video clip, một tập dữ liệu (video, cấu hình gán token tối ưu) được tạo ra.
Giai đoạn 3: Huấn luyện Router: Một mô hình nhẹ (router) dựa trên kiến trúc ViT được huấn luyện trên tập dữ liệu đã xây dựng để dự đoán nhanh chóng cấu hình gán token tối ưu cho một video đầu vào dưới dạng bài toán phân loại.
Giai đoạn 4: Huấn luyện bộ mã hóa thích ứng cuối cùng (Final Adaptive Tokenizer): Bộ mã hóa video cuối cùng được huấn luyện từ đầu, sử dụng các cấu hình gán token tối ưu được dự đoán bởi router. Điều này giúp thu hẹp khoảng cách giữa huấn luyện và suy luận, đồng thời có thể tùy chọn sử dụng các bộ mã hóa ngữ nghĩa video (VideoMAE-B) làm bộ phân biệt (discriminator) để tăng cường chất lượng tái tạo và sinh video.

III. Main Results:

EVATok đạt được đường cong đánh đổi chất lượng-chi phí vượt trội (LPIPS và rFVD tốt hơn với cùng số lượng token) so với phương pháp gán token đồng nhất cố định.
Router của EVATok có khả năng dự đoán cấu hình tối ưu một cách hiệu quả, đạt hiệu suất gần tương đương với tìm kiếm brute-force phần thưởng proxy, đồng thời tổng quát hóa tốt sang các tập dữ liệu chưa từng thấy.
Router giúp tiết kiệm 56% token trên WebVid và 42% trên UCF cho chất lượng tái tạo tương đương hoặc tốt hơn.
Bộ mã hóa cuối cùng được hướng dẫn bởi router đạt được LPIPS tương đương và rFVD tốt hơn với mức tiết kiệm 29.6% token trên WebVid so với bộ mã hóa được huấn luyện với gán token đồng nhất.
Trên tập dữ liệu UCF & K600, bộ mã hóa cuối cùng với router đạt chất lượng tái tạo tốt hơn với 24.4% token tiết kiệm.
Các mô hình sinh AR được huấn luyện trên chuỗi token có độ dài thích ứng của EVATok đạt gFVD tốt hơn trong khi tiết kiệm 27.7% token cho sinh video class-to-video trên UCF-101.
EVATok thiết lập kỷ lục mới (SOTA) về chất lượng sinh video class-to-video trên UCF-101 (gFVD 48) với số lượng token ít hơn 26.2% so với phương pháp SOTA trước đây (LARP).
Cả căn chỉnh biểu diễn (V-JEPA2) và bộ phân biệt ngữ nghĩa video (VideoMAE) đều quan trọng để cải thiện rFVD và gFVD.

IV. Conclusion & Future Works:

EVATok là một khuôn khổ mã hóa video thích ứng theo nội dung, giải quyết vấn đề phân bổ token không hiệu quả trong các mô hình sinh video tự hồi quy. Bằng cách giới thiệu "phần thưởng proxy" để xác định cấu hình gán token tối ưu và huấn luyện một "router" nhẹ để dự đoán các cấu hình này, EVATok cho phép các bộ mã hóa và mô hình sinh AR hoạt động hiệu quả hơn. Kết hợp với công thức huấn luyện tiên tiến bao gồm các bộ mã hóa ngữ nghĩa video, EVATok đạt được chất lượng tái tạo và sinh video vượt trội trong khi tiết kiệm đáng kể số lượng token. Trong tương lai, EVATok có tiềm năng mở rộng để đạt hiệu quả cao hơn nữa cho các video có thời lượng dài hơn.

V. Brainstorming Space:

1. Publish Papers:

Phân bổ Token thích ứng đa cấp độ cho video dài: Nghiên cứu mở rộng EVATok để xử lý hiệu quả các video có thời lượng dài hơn bằng cách phát triển cơ chế phân bổ token thích ứng không chỉ theo khối thời gian mà còn theo các cấp độ chi tiết khác nhau (ví dụ: cấp độ cảnh, cấp độ sự kiện), cho phép mô hình điều chỉnh linh hoạt hơn nữa số lượng token dựa trên sự thay đổi ngữ nghĩa và độ phức tạp cấu trúc của video.
Tối ưu hóa Router với học tăng cường: Khám phá việc sử dụng học tăng cường (Reinforcement Learning) để huấn luyện router dự đoán các cấu hình gán token tối ưu. Thay vì dựa vào tập dữ liệu tĩnh được tạo ra từ tìm kiếm brute-force, router có thể học cách tối ưu hóa trực tiếp phần thưởng proxy hoặc một hàm phần thưởng kết hợp chất lượng tái tạo và chi phí token trong quá trình huấn luyện, cho phép tìm kiếm các chính sách phân bổ token phức tạp và hiệu quả hơn.
Tích hợp EVATok với các mô hình đa phương thức khác: Nghiên cứu tích hợp phương pháp mã hóa token thích ứng của EVATok vào các hệ thống sinh đa phương thức tổng hợp (ví dụ: text-to-video, audio-to-video) để không chỉ tối ưu hóa việc mã hóa thông tin thị giác mà còn xem xét sự tương tác với các phương thức khác. Điều này có thể dẫn đến việc phân bổ token thông minh hơn dựa trên cả ngữ cảnh thị giác và các thông tin từ văn bản hoặc âm thanh, cải thiện hiệu quả và chất lượng của thế hệ đa phương thức tổng thể.

2. Patent:

Hệ thống nén video thông minh cho thiết bị di động: Một ứng dụng di động hoặc tính năng hệ điều hành cho phép nén video một cách thích ứng dựa trên nội dung. Thay vì nén video với bitrate cố định, hệ thống sẽ tự động phân tích độ phức tạp của từng phân đoạn video (ví dụ: cảnh tĩnh, chuyển động nhanh, chi tiết phức tạp) và gán số lượng token hoặc bitrate tương ứng. Điều này giúp giảm kích thước tệp video đáng kể mà vẫn duy trì chất lượng cao cho các phần quan trọng, tối ưu hóa không gian lưu trữ và băng thông khi chia sẻ video trên điện thoại.
Phát trực tuyến video thích ứng băng thông và nội dung: Một công nghệ phát trực tuyến video trên điện thoại di động tự động điều chỉnh chất lượng và độ chi tiết của video dựa trên cả băng thông mạng hiện có và độ phức tạp của nội dung video đang được xem. Đối với các phân đoạn video đơn giản hoặc có ít chuyển động, hệ thống sẽ giảm số lượng token/bitrate để tiết kiệm băng thông. Ngược lại, đối với các phân đoạn hành động nhanh hoặc chi tiết cao, nó sẽ ưu tiên giữ lại nhiều token hơn để đảm bảo trải nghiệm xem tốt nhất, mang lại luồng video mượt mà và hiệu quả hơn trên các mạng di động không ổn định.
Chỉnh sửa video thông minh trên thiết bị di động với phân bổ tài nguyên tối ưu: Một tính năng trong ứng dụng chỉnh sửa video trên điện thoại cho phép người dùng thực hiện các chỉnh sửa (cắt, ghép, thêm hiệu ứng) mà không làm giảm chất lượng tổng thể một cách không cần thiết. Hệ thống sẽ sử dụng một bộ mã hóa thích ứng để xác định và bảo toàn các phân đoạn video quan trọng (ví dụ: khuôn mặt, đối tượng chính, cảnh quay động) với số lượng token cao, trong khi giảm tài nguyên cho các phần ít quan trọng hơn. Điều này giúp quá trình chỉnh sửa nhanh hơn, xuất video hiệu quả hơn và giữ được chất lượng hình ảnh trọng tâm, đặc biệt hữu ích cho việc tạo nội dung nhanh trên mạng xã hội.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12267
ArXiv Abstract	https://arxiv.org/abs/2603.12267
PDF Download	https://arxiv.org/pdf/2603.12267.pdf
Github Repository	https://github.com/HKU-MMLab/EVATok

16. OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams (12 votes)

Tác giả: Yibin Yan, Jilan Xu, Shangzhe Di, Haoning Wu, Weidi Xie

Xuất bản lúc: 2026-03-12

Tag: Vision Transformers, Multi-task Learning, 3D Reconstruction, Vision-Language Models, Vision-Language-Action, Causal Models, Streaming Perception, Spatiotemporal Attention, Positional Embeddings, Self-supervised Learning, Robotics

I. Main Problem:

Các tác nhân thị giác hiện đại yêu cầu các biểu diễn tổng quát, có tính nhân quả và có cấu trúc vật lý để hoạt động trong môi trường luồng dữ liệu thời gian thực. Tuy nhiên, các mô hình nền tảng thị giác hiện tại còn rời rạc, chỉ chuyên biệt trong nhận thức ngữ nghĩa hình ảnh, mô hình hóa thời gian ngoại tuyến hoặc hình học không gian. Chúng thiếu một xương sống duy nhất có khả năng chuyển giao giữa ngữ nghĩa tĩnh, động lực học thời gian và cấu trúc 3D, đặc biệt trong chế độ trực tuyến, có tính nhân quả.

II. Main Idea:

OmniStream là một xương sống thị giác luồng thống nhất, mở rộng một mô hình hình ảnh đã được huấn luyện trước thành một mô hình trực tuyến, có tính nhân quả theo thời gian, đồng thời bảo toàn các kiến thức không gian đã có. OmniStream được xây dựng dựa trên hai lựa chọn thiết kế chính:

Cơ chế attention không gian-thời gian có tính nhân quả: Đảm bảo tính nhân quả nghiêm ngặt theo thời gian và cho phép suy luận hiệu quả từng khung hình thông qua bộ nhớ đệm KV-cache liên tục, tránh tính toán lại các khung hình trong quá khứ.
Mã hóa vị trí quay 3D (3D-RoPE): Mở rộng RoPE 2D sang mã hóa tương đối không gian-thời gian, cho phép mô hình suy luận về "ở đâu và khi nào" trên các luồng dài. Mô hình được huấn luyện trước bằng một khung đa nhiệm hiệp đồng, kết hợp học biểu diễn tĩnh và thời gian, tái tạo hình học luồng và căn chỉnh thị giác-ngôn ngữ trên 29 bộ dữ liệu. Các mục tiêu này khuyến khích OmniStream học các biểu diễn đồng thời nhất quán về thời gian, có nền tảng hình học và căn chỉnh ngôn ngữ.

III. Main Results:

OmniStream đạt được hiệu suất cạnh tranh nhất quán với các chuyên gia chuyên biệt trên các tác vụ thăm dò hình ảnh và video, tái tạo hình học luồng, suy luận video và không gian phức tạp, cũng như thao tác robot (chưa từng thấy trong quá trình huấn luyện), ngay cả với một xương sống bị đóng băng hoàn toàn (strictly frozen backbone).

Thăm dò hình ảnh & video: Duy trì khả năng phân biệt không gian mạnh mẽ (tương đương DINOv3 trên NYUv2, ADE20K) và thể hiện khả năng hiểu thời gian vượt trội (vượt trội đáng kể DINOv3 trên SSv2: 68.5% so với 54.0%). Đạt 71.6 J&F trên DAVIS'17 VOS, tương đương với các bộ trích xuất dựa trên hình ảnh hàng đầu.
Tái tạo hình học luồng: Đạt kết quả cạnh tranh hoặc vượt trội so với các mô hình 3D trực tuyến chuyên biệt trên các tác vụ ước tính độ sâu video trực tuyến (Sintel, BONN, KITTI) và ước tính tư thế camera trực tuyến (Sintel, TUM Dynamics, ScanNet). Khả năng ngoại suy độ dài zero-shot ấn tượng, xử lý các luồng liên tục lên đến 110 khung hình mặc dù được huấn luyện với cửa sổ thời gian cố định T=16 khung hình.
Xương sống thị giác cho VLM: Với bộ mã hóa thị giác bị đóng băng, đạt hiệu suất tốt hơn LLaVA-Video trên các điểm chuẩn Video QA chung (ví dụ: VideoMMMU, PerceptionTest, EgoSchema) và đạt hiệu suất cao nhất trên VSI-Bench (70.6%).
Xương sống thị giác cho VLA: Đạt hiệu suất mạnh mẽ trong thao tác robot (CALVIN: 3.885, SIMPLER-ENV: 45.8%) ngay cả với xương sống bị đóng băng, chứng tỏ khả năng chuyển giao zero-shot hiệu quả cho các điểm chuẩn VLA, điều mà các VLM đa năng khác gặp khó khăn.

IV. Conclusion & Future Works:

OmniStream là một xương sống thị giác luồng thống nhất, có khả năng nhận thức, tái tạo và hành động hiệu quả từ nhiều loại đầu vào thị giác khác nhau. Việc huấn luyện đa nhiệm mở rộng của nó trên 29 bộ dữ liệu chứng tỏ rằng việc mở rộng các mục tiêu đa dạng mang lại hiệu quả hiệp đồng cao, dẫn đến một biểu diễn mạnh mẽ. Các tính năng của OmniStream hoạt động tốt trên các tác vụ thăm dò hình ảnh/video tiêu chuẩn, hỗ trợ tái tạo hình học luồng cạnh tranh và cho phép các mô hình ngôn ngữ và chính sách hạ nguồn giải quyết các câu hỏi-trả lời video không gian phức tạp và thao tác robot mà không cần tinh chỉnh xương sống. Đây là một bước tiến có ý nghĩa hướng tới sự hiểu biết thị giác đa năng cho các tác nhân tương tác và thực thể hóa. Mã nguồn và mô hình huấn luyện sẽ được phát hành cho cộng đồng.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về khả năng suy luận không gian-thời gian dài hạn: Mở rộng 3D-RoPE và cơ chế KV-cache để xử lý các luồng video cực dài (ví dụ, hàng giờ) một cách hiệu quả, tập trung vào việc duy trì tính nhất quán về đối tượng và cấu trúc không gian theo thời gian.
Ứng dụng OmniStream cho học tăng cường và mô phỏng thực tế ảo: Khám phá việc sử dụng OmniStream làm xương sống thị giác cho các tác nhân học tăng cường trong môi trường phức tạp, đặc biệt là trong các nhiệm vụ đòi hỏi sự hiểu biết sâu sắc về 3D và động lực học vật lý, đồng thời cải thiện khả năng thích ứng với các môi trường mới.
Tích hợp OmniStream với các mô hình ngôn ngữ lớn đa phương thức nâng cao: Phát triển các phương pháp tích hợp sâu hơn để OmniStream có thể tương tác hiệu quả hơn với các LLM lớn hơn, cho phép suy luận đa phương thức phức tạp hơn, bao gồm cả lập kế hoạch hành động và giải quyết vấn đề trong các tình huống thực tế.

2. Patent:

Hệ thống định vị và lập bản đồ 3D thời gian thực cho thiết bị di động: Một công nghệ cho phép điện thoại di động liên tục quét môi trường xung quanh bằng camera, tạo ra bản đồ 3D chi tiết và định vị chính xác vị trí của điện thoại trong không gian đó. Điều này hỗ trợ các ứng dụng thực tế tăng cường (AR) chính xác hơn, điều hướng trong nhà, hoặc thậm chí là lập kế hoạch đường đi cho robot hút bụi.
Trợ lý thực tế tăng cường (AR) hiểu ngữ cảnh động: Một ứng dụng AR trên điện thoại có thể không chỉ nhận diện các vật thể tĩnh mà còn hiểu được hành động và chuyển động của chúng trong môi trường thực tế. Ví dụ, nó có thể theo dõi một người đang di chuyển, nhận diện hành động họ đang làm (như chơi thể thao), và cung cấp thông tin hoặc hướng dẫn liên quan theo thời gian thực.
Tăng cường khả năng điều khiển robot/drone bằng cử chỉ và giọng nói: Một hệ thống trên điện thoại di động cho phép người dùng điều khiển robot hoặc drone bằng cách kết hợp cử chỉ tay, giọng nói và nhận diện đối tượng từ camera của điện thoại. Hệ thống này có thể hiểu các lệnh phức tạp như "Nhặt cái cốc màu xanh đó và đặt nó lên bàn," bằng cách phân tích cả hình ảnh, âm thanh và ngữ cảnh 3D.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12265
ArXiv Abstract	https://arxiv.org/abs/2603.12265
PDF Download	https://arxiv.org/pdf/2603.12265.pdf
Github Repository	https://github.com/Go2Heart/OmniStream

17. EndoCoT: Scaling Endogenous Chain-of-Thought Reasoning in Diffusion Models (10 votes)

Tác giả: Xuanlang Dai, Yujie Zhou, Long Xing, Jiazi Bu, Xilin Wei, Yuhong Liu, Beichen Zhang, Kai Chen, Yuhang Zang

Xuất bản lúc: 2026-03-12

Tag: Diffusion Models, MLLMs, Chain-of-Thought, Reasoning, Generative AI, Latent Space, Visual Reasoning

I. Main Problem:

Các mô hình khuếch tán hiện tại tích hợp MLLM chủ yếu dưới dạng bộ mã hóa văn bản, gặp phải hai hạn chế chính: (i) MLLM thiếu chiều sâu suy luận, không kích hoạt được quá trình Chain-of-Thought cần thiết cho các tác vụ phức tạp; và (ii) Hướng dẫn không thay đổi trong quá trình giải mã, ngăn DiT phân tách dần các hướng dẫn phức tạp thành các bước khử nhiễu. Điều này dẫn đến các mô hình không thể thực hiện suy luận từng bước và gặp khó khăn trong việc tổng quát hóa, tạo ra các giải pháp dễ vỡ khi đối mặt với các cấu hình mới hoặc độ phức tạp tăng lên.

II. Main Idea:

Chúng tôi đề xuất EndoCoT (Endogenous Chain-of-Thought), một khung làm việc mới cho phép các mô hình khuếch tán thực hiện suy luận tự hướng dẫn bằng cách khám phá không gian tiềm ẩn ngữ nghĩa một cách lặp đi lặp lại. EndoCoT bao gồm hai thành phần chính: (1) Hướng dẫn Suy nghĩ Lặp lại (Iterative Thought Guidance), cập nhật các trạng thái suy nghĩ tiềm ẩn trong MLLM để tạo ra một quá trình suy luận giống CoT thực sự và liên kết các trạng thái này với quá trình khử nhiễu của DiT; và (2) Nền tảng Suy nghĩ Cuối cùng (Terminal Thought Grounding), căn chỉnh trạng thái suy luận cuối cùng của MLLM với các câu trả lời đúng để đảm bảo quỹ đạo suy luận được bám sát theo sự giám sát của văn bản. Ngoài ra, một chiến lược huấn luyện tiến bộ hai giai đoạn được áp dụng để phát triển khả năng suy luận và tinh chỉnh chất lượng đầu ra.

III. Main Results:

EndoCoT đạt được độ chính xác trung bình 92.1% trên các điểm chuẩn đa dạng (Maze, TSP, VSP, Sudoku), vượt trội hơn đường cơ sở mạnh nhất 8.3 điểm phần trăm. Đối với các tác vụ phức tạp như Maze-32 và Sudoku-35, EndoCoT đạt độ chính xác lần lượt là 90% và 95%, vượt trội hơn đường cơ sở mạnh nhất 25% và 40%. Mô hình thể hiện khả năng tổng quát hóa nhất quán và mạnh mẽ trên các miền mới. Phân tích cho thấy khả năng mở rộng CoT theo thời gian suy luận, với việc tăng số bước suy luận (τ) giúp cải thiện đáng kể độ chính xác và tỷ lệ lặp lại đường đi. EndoCoT cũng duy trì chi phí tính toán tương đối thấp hơn ở độ phân giải cao, do không yêu cầu lặp lại các bước khử nhiễu tốn kém của DiT.

IV. Conclusion & Future Works:

EndoCoT là khung làm việc khuếch tán đầu tiên cho phép suy luận chuỗi suy nghĩ thực sự thông qua việc tinh chỉnh trạng thái tiềm ẩn lặp đi lặp lại, thay vì tính toán trước các giải pháp trong một lần. Nó xác định các nút thắt chính giới hạn các phương pháp trước đây và đạt được những cải tiến đáng kể (25-40%) so với các nghiên cứu trước đây trên các điểm chuẩn suy luận thị giác phức tạp. EndoCoT cũng cho phép khả năng mở rộng suy luận trong thời gian suy luận có thể kiểm soát và tạo ra các quỹ đạo biến đổi rõ ràng, dễ kiểm soát hơn trong các tác vụ chỉnh sửa hình ảnh. Hướng nghiên cứu trong tương lai có thể tập trung vào việc mở rộng khả năng suy luận này cho các tác vụ phức tạp hơn hoặc khám phá các cơ chế suy luận tiềm ẩn đa dạng hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng EndoCoT cho Lập kế hoạch và Kiểm soát Tương tác trong Thế giới thực: Nghiên cứu cách áp dụng và cải tiến EndoCoT để xử lý các tác vụ lập kế hoạch hành động phức tạp trong môi trường động, tương tác, vượt ra ngoài các bài toán giải đố hiện tại, ví dụ như điều khiển robot hoặc trợ lý ảo thực hiện chuỗi hành động.
Nghiên cứu Khả năng Giải thích của Chuỗi Suy nghĩ Tiềm ẩn: Phát triển các phương pháp để hiểu rõ hơn về quá trình suy luận từng bước của mô hình trong không gian tiềm ẩn. Điều này bao gồm việc hình dung, phân tích và giải thích các trạng thái suy nghĩ tiềm ẩn để tăng cường tính minh bạch và độ tin cậy của mô hình.
Tối ưu hóa EndoCoT cho Mô hình Khuếch tán trên Thiết bị Di động: Tập trung vào việc giảm thiểu yêu cầu tính toán và bộ nhớ của EndoCoT để triển khai hiệu quả trên các thiết bị di động có tài nguyên hạn chế, đồng thời duy trì khả năng suy luận mạnh mẽ cho các ứng dụng thời gian thực.

2. Patent:

Ứng dụng vẽ và chỉnh sửa hình ảnh thông minh theo từng bước: Một ứng dụng trên điện thoại di động cho phép người dùng đưa ra các yêu cầu chỉnh sửa hoặc vẽ hình ảnh phức tạp bằng ngôn ngữ tự nhiên. Thay vì thực hiện ngay lập tức, ứng dụng sẽ hiển thị các bước suy luận trung gian (ví dụ: "Đầu tiên, tôi sẽ xác định vị trí đối tượng X", "Tiếp theo, tôi sẽ thêm yếu tố Y vào vị trí Z") và cho phép người dùng điều chỉnh hoặc xác nhận từng bước trước khi tạo ra kết quả cuối cùng. Điều này giúp người dùng kiểm soát tốt hơn và hiểu rõ quá trình chỉnh sửa.
Trợ lý hướng dẫn giải quyết vấn đề bằng hình ảnh trên điện thoại: Một tính năng trên điện thoại di động giúp người dùng giải quyết các vấn đề trực quan như tìm đường trong mê cung trên bản đồ, sắp xếp đồ vật trong ảnh hoặc giải các câu đố logic bằng hình ảnh. Người dùng chụp ảnh vấn đề, và ứng dụng sẽ cung cấp một chuỗi các bước giải quyết được minh họa bằng hình ảnh, cho phép người dùng theo dõi và học hỏi cách suy luận từng bước để đạt được giải pháp.
Hệ thống lập kế hoạch và tối ưu hóa tác vụ trực quan cho thiết bị di động: Một hệ thống tích hợp vào điện thoại di động giúp người dùng lập kế hoạch các tác vụ phức tạp liên quan đến không gian hoặc trình tự. Ví dụ, nó có thể giúp tối ưu hóa tuyến đường giao hàng trên bản đồ với nhiều điểm dừng, hoặc hướng dẫn các bước lắp ráp một món đồ dựa trên hình ảnh. Hệ thống sẽ hiển thị một "chuỗi suy nghĩ" trực quan, cho thấy từng bước lập kế hoạch và điều chỉnh để đạt được kết quả tối ưu, hữu ích cho các ứng dụng logistics cá nhân hoặc hướng dẫn DIY.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12252
ArXiv Abstract	https://arxiv.org/abs/2603.12252
PDF Download	https://arxiv.org/pdf/2603.12252.pdf
Github Repository	https://github.com/InternLM/EndoCoT

18. Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights (10 votes)

Tác giả: Yulu Gan, Phillip Isola

Xuất bản lúc: 2026-03-12

Tag: LLMs, VLM, Pretraining, Post-training, Random Search, Ensembling, Scaling Laws, Distillation, Optimization

I. Main Problem:

Vấn đề chính là việc hậu huấn luyện (post-training) các mô hình ngôn ngữ lớn (LLMs) và mô hình thị giác-ngôn ngữ (VLMs) thường dựa vào các phương pháp tối ưu hóa lặp lại như gradient descent, đòi hỏi nhiều bước huấn luyện tuần tự và tài nguyên tính toán đáng kể. Đối với các mô hình nhỏ, việc tìm kiếm các giải pháp chuyên biệt cho từng nhiệm vụ (task-specific experts) trong không gian trọng số là rất khó khăn, giống như "tìm kim đáy bể" (needle in a haystack), khiến việc khám phá chúng phụ thuộc vào các phương pháp tối ưu hóa có cấu trúc.

II. Main Idea:

Ý tưởng chính là sau quá trình tiền huấn luyện (pretraining), đặc biệt là ở các mô hình lớn và được tiền huấn luyện tốt, không gian trọng số xung quanh các trọng số đã được tiền huấn luyện không phải là một điểm khởi đầu đơn lẻ mà là một "thảm thực vật dày đặc" (thicket) của các giải pháp chuyên biệt cho nhiều nhiệm vụ khác nhau. Các giải pháp này vừa "dày đặc" (dễ tìm thấy bằng cách lấy mẫu ngẫu nhiên) và "đa dạng" (các nhiễu động trọng số khác nhau tạo ra các chuyên gia cho từng nhiệm vụ cụ thể). Dựa trên quan sát này, tác giả đề xuất thuật toán RandOpt: lấy mẫu N nhiễu động trọng số ngẫu nhiên, chọn K mô hình hoạt động tốt nhất trong số đó, và kết hợp dự đoán của chúng thông qua bỏ phiếu đa số để đạt được hiệu suất cao mà không cần các bước tối ưu hóa lặp lại tuần tự.

III. Main Results:

Mật độ giải pháp: Mật độ các giải pháp cải thiện nhiệm vụ trong vùng lân cận trọng số đã tiền huấn luyện tăng lên đáng kể theo quy mô mô hình. Các mô hình lớn cư trú trong một "thicket regime" với mật độ chuyên gia nhiệm vụ cao. 2. Đa dạng giải pháp: Các nhiễu động trọng số được lấy mẫu tạo ra các "chuyên gia" (specialists) cải thiện hiệu suất trên một nhiệm vụ cụ thể trong khi có thể làm giảm hiệu suất trên các nhiệm vụ khác. Sự đa dạng này cũng tăng theo quy mô mô hình. 3. Hiệu suất của RandOpt: RandOpt đạt độ chính xác cạnh tranh hoặc vượt trội so với các phương pháp hậu huấn luyện tiêu chuẩn như PPO, GRPO, và ES trên nhiều nhiệm vụ LLM (toán học, lập trình, viết, hóa học) và VLM (GQA). 4. Hiệu quả tính toán: RandOpt có thời gian huấn luyện O(1) (hoàn toàn song song) so với O(T) của các phương pháp nền tảng, mang lại lợi thế về thời gian thực khi có đủ tài nguyên tính toán song song. 5. Tầm quan trọng của tiền huấn luyện và quy mô: Các mô hình cơ sở được tiền huấn luyện tốt và có quy mô lớn là rất cần thiết để RandOpt hoạt động hiệu quả; RandOpt không hoạt động với các mô hình nhỏ hoặc không được tiền huấn luyện. 6. Chưng cất (Distillation): Chi phí suy luận cao của RandOpt (do K lần chuyển tiếp) có thể được giảm bằng cách chưng cất kiến thức từ tập hợp K mô hình tốt nhất vào một mô hình duy nhất, đạt hiệu suất tương đương với tập hợp. 7. Các loại "Thicket": Cải thiện hiệu suất của RandOpt đến từ cả việc sửa lỗi định dạng (format thicket) và cải thiện khả năng suy luận (reasoning thicket).

IV. Conclusion & Future Works:

Kết luận chính của nghiên cứu là quá trình tiền huấn luyện, đặc biệt ở các mô hình lớn, tạo ra một không gian trọng số mà trong đó các giải pháp chuyên biệt cho từng nhiệm vụ là dày đặc và đa dạng. Điều này cho phép các phương pháp hậu huấn luyện đơn giản như lấy mẫu ngẫu nhiên và kết hợp (RandOpt) đạt được hiệu suất cao. Sự thành công của RandOpt cho thấy việc hậu huấn luyện trở nên dễ dàng hơn khi có một biểu diễn tiền huấn luyện đủ mạnh ("thicket regime"). Trong tương lai, các hướng nghiên cứu có thể tập trung vào việc khám phá sâu hơn về cấu trúc của "thicket" và cách khai thác tối ưu sự đa dạng này, cũng như phát triển các phương pháp chưng cất hiệu quả hơn để giảm chi phí suy luận. Nghiên cứu cũng có thể mở rộng để hiểu rõ hơn các loại "thicket" khác nhau (ví dụ: định dạng, suy luận, tính cách, kiến thức miền) và cách chúng tương tác và được khai thác.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược chưng cất động (Dynamic Distillation) cho RandOpt: Khám phá các phương pháp chưng cất có thể tự động thích nghi với độ phức tạp của nhiệm vụ hoặc sự đa dạng của các chuyên gia được chọn, nhằm tối ưu hóa sự cân bằng giữa hiệu suất và chi phí suy luận cho mô hình chưng cất cuối cùng, đặc biệt trong các kịch bản thực tế với tài nguyên hạn chế.
Phân tích sâu về "Thicket" đa phương thức (Multimodal Thickets) và tương tác chuyên gia: Mở rộng nghiên cứu về cấu trúc "thicket" sang các mô hình đa phương thức (ví dụ: Vision-Language Models) để hiểu cách các chuyên gia nhiệm vụ thị giác và ngôn ngữ cùng tồn tại, tương tác, và ảnh hưởng lẫn nhau trong không gian trọng số, từ đó phát triển các phương pháp khai thác đồng thời các khả năng đa phương thức này.
Phát triển thuật toán "Thicket-aware Optimization" (Tối ưu hóa nhận biết Thicket): Thay vì chỉ lấy mẫu ngẫu nhiên, phát triển các thuật toán tối ưu hóa mới có khả năng "nhận biết" cấu trúc dày đặc và đa dạng của "thicket" để tìm kiếm hoặc kết hợp các chuyên gia hiệu quả hơn, có thể kết hợp các yếu tố của gradient descent với lấy mẫu để tăng tốc độ hội tụ hoặc khám phá toàn diện hơn.

2. Patent:

Hệ thống cá nhân hóa ứng dụng di động dựa trên "Thicket" trọng số: Một ứng dụng trên điện thoại di động có khả năng tải xuống các "chuyên gia nhiệm vụ" nhỏ đã được tinh chỉnh (fine-tuned) và chưng cất (distilled) từ một mô hình ngôn ngữ lớn. Thay vì cập nhật toàn bộ ứng dụng, người dùng có thể chọn tải xuống các "chuyên gia" tùy chỉnh để cải thiện hiệu suất của các tính năng cụ thể trên điện thoại (ví dụ: chuyên gia viết email chuyên nghiệp, chuyên gia tóm tắt tin tức, chuyên gia dịch thuật theo ngữ cảnh), giúp cá nhân hóa trải nghiệm mà không tốn nhiều tài nguyên lưu trữ và xử lý.
Bộ lọc thông minh hình ảnh/video di động với "Thicket" phong cách nghệ thuật: Một tính năng camera trên điện thoại di động sử dụng các "chuyên gia phong cách" được tạo ra từ nhiễu động ngẫu nhiên quanh trọng số của mô hình tạo ảnh. Người dùng có thể nhanh chóng thử nghiệm và áp dụng các bộ lọc màu sắc, phong cách và hiệu ứng nghệ thuật độc đáo, được sinh ra ngẫu nhiên nhưng vẫn có chất lượng cao (do nằm trong "thicket" của các giải pháp tốt), mà không cần cấu hình phức tạp, giúp tạo ra hiệu ứng hình ảnh sáng tạo ngay lập tức.
Trợ lý lập lịch thông minh trên di động với "Thicket" chuyên gia hành vi: Một trợ lý ảo trên điện thoại có khả năng học hỏi và thích nghi với các thói quen và ưu tiên khác nhau của người dùng cho các tác vụ lập lịch. Thay vì một mô hình cứng nhắc, trợ lý này sử dụng các "chuyên gia hành vi" khác nhau (ví dụ: một chuyên gia ưu tiên công việc, một chuyên gia ưu tiên giải trí, một chuyên gia tối ưu hóa thời gian di chuyển) được tạo ra từ nhiễu động trọng số. Trợ lý có thể tự động chuyển đổi hoặc kết hợp các "chuyên gia" này tùy theo ngữ cảnh hoặc yêu cầu của người dùng, mang lại sự linh hoạt và cá nhân hóa cao trong việc quản lý lịch trình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.12228
ArXiv Abstract	https://arxiv.org/abs/2603.12228
PDF Download	https://arxiv.org/pdf/2603.12228.pdf
Github Repository	https://github.com/sunrainyg/RandOpt

19. The Curse and Blessing of Mean Bias in FP4-Quantized LLM Training (10 votes)

Tác giả: Hengjie Cao, Zhendong Huang, Mengyi Chen, Yifeng Yang, Fanqi Yu, Ruijun Huang, Fang Dong, Xin Zhang, Jixian Zhou, Anrui Chen, Mingzhi Dong, Yujiang Wang, Jinlong Hou, Qin Lv, Yuan Cheng, Tun Lu, Fan Yang, Li Shang

Xuất bản lúc: 2026-03-11

Tag: LLMs, Quantization, FP4, Anisotropy, Deep Learning, Numerical Stability, Training

I. Main Problem:

Vấn đề chính là sự bất ổn định số học khi huấn luyện các mô hình ngôn ngữ lớn (LLMs) với độ chính xác thấp (low-bit, ví dụ FP4). Các biểu diễn của LLMs có tính dị hướng mạnh, trong đó một số ít hướng tập trung năng lượng không cân xứng, dẫn đến các giá trị kích hoạt cực đoan. Trong lượng tử hóa blockwise, các yếu tố tỷ lệ được xác định bởi những giá trị cực đoan này, làm kéo giãn dải động và nén các biến thể ngữ nghĩa "long-tail" vào các bin số hẹp, làm suy giảm sự ổn định của quá trình huấn luyện. Các phương pháp giảm nhẹ trước đây dựa trên phân tích phổ (như SVD) thì tốn kém về tính toán và bộ nhớ.

II. Main Idea:

Các tác giả phát hiện ra rằng nguyên nhân chính gây ra sự bất ổn định số học trong huấn luyện LLMs với độ chính xác thấp là một lệch trung bình (mean bias) bậc một nhất quán. Thành phần trung bình này chiếm phần lớn các giá trị kích hoạt cực đoan. Vì sự bất ổn định này là bậc một, nó có thể được loại bỏ hiệu quả bằng một phép toán trừ đi giá trị trung bình đơn giản ở cấp độ nguồn (source-level mean-subtraction). Phương pháp này, được gọi là Averis, tách biệt thành phần trung bình và phần dư, sau đó lượng tử hóa chúng một cách độc lập. Điều này giúp loại bỏ các giá trị cực đoan do lệch trung bình gây ra mà không cần các phép phân tách phổ tốn kém, khôi phục sự ổn định và độ chính xác của quá trình huấn luyện.

III. Main Results:

Lý thuyết và thực nghiệm chứng minh rằng lệch trung bình bậc một chiếm phần lớn các giá trị kích hoạt cực đoan, là động lực chính gây ra sự phình to dải động trong lượng tử hóa độ chính xác thấp.2. Phương pháp Averis (tách trung bình-phần dư) được đề xuất chỉ yêu cầu các phép toán giảm và kernel elementwise, tránh các phép phân tách phổ tốn kém nhưng vẫn đạt được hầu hết lợi ích ổn định.3. Trong các thử nghiệm huấn luyện FP4 (W4A4G4) trên các mô hình quy mô 1B (Qwen3-0.6B), Averis đã thu hẹp đáng kể khoảng cách về độ mất mát (loss gap) so với huấn luyện BF16 và khôi phục hiệu suất trên các tác vụ downstream. Cụ thể, Averis cải thiện điểm trung bình từ 0.4564 (BF16) lên 0.4661 trên 7 tác vụ downstream tại checkpoint 10B tokens.

IV. Conclusion & Future Works:

Nghiên cứu này đã xác định lệch trung bình bậc một nhất quán là thành phần cấu trúc chi phối của tính dị hướng trong biểu diễn LLM và là nguyên nhân chính gây ra các giá trị kích hoạt cực đoan làm mất ổn định quá trình lượng tử hóa độ chính xác thấp. Giải pháp Averis đơn giản và hiệu quả về phần cứng, loại bỏ lệch trung bình này để đạt được quá trình huấn luyện LLM low-bit ổn định.Hướng nghiên cứu tương lai có thể bao gồm việc khám phá các cơ chế tương tự trong các kiến trúc mô hình hoặc miền dữ liệu khác, hoặc phát triển các phương pháp lượng tử hóa thích ứng hơn để xử lý các thành phần dị hướng khác ngoài lệch trung bình.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về các dạng dị hướng khác ngoài lệch trung bình trong các biểu diễn của LLMs và phát triển các phương pháp lượng tử hóa hiệu quả để giải quyết chúng.
Mở rộng ứng dụng của phương pháp tách trung bình-phần dư (mean-residual splitting) sang các loại mô hình học sâu khác ngoài LLMs, đặc biệt là trong các trường hợp cần huấn luyện với độ chính xác thấp.
Phân tích tác động của các chiến lược khởi tạo (initialization strategies) và các hàm phi tuyến tính (non-linearities) khác nhau lên sự xuất hiện và tích lũy của lệch trung bình trong quá trình huấn luyện mô hình.

2. Patent:

Hệ thống tối ưu hóa hiệu suất AI trên điện thoại di động: Một công nghệ cho phép các ứng dụng AI như trợ lý ảo hoặc dịch thuật chạy trực tiếp trên điện thoại di động với hiệu suất cao hơn và tiêu thụ pin thấp hơn. Hệ thống này tự động xác định và loại bỏ các thành phần dữ liệu không cần thiết (như "mean bias" trong các mô hình ngôn ngữ) trước khi xử lý bằng các thuật toán nén dữ liệu đặc biệt, giúp giảm tải tính toán đáng kể mà vẫn duy trì độ chính xác của kết quả.
Bộ xử lý AI tiết kiệm năng lượng cho thiết bị di động: Phát triển một bộ xử lý chuyên dụng hoặc một module phần mềm tích hợp trong chip di động, được thiết kế để tự động thực hiện phép trừ giá trị trung bình (mean-subtraction) và lượng tử hóa kép (mean-residual quantization) cho các dữ liệu đầu vào của mô hình AI. Điều này giúp giảm yêu cầu về bộ nhớ và băng thông, cho phép các mô hình AI phức tạp chạy mượt mà hơn trên điện thoại mà không cần kết nối đám mây, cải thiện quyền riêng tư và tốc độ phản hồi.
Công nghệ tăng cường trải nghiệm người dùng AI trên điện thoại thông minh: Một phần mềm hoặc tính năng tích hợp trong hệ điều hành điện thoại, sử dụng kỹ thuật "Averis" để tối ưu hóa việc chạy các mô hình AI cục bộ (on-device AI). Ví dụ, khi người dùng sử dụng tính năng tổng hợp văn bản hoặc nhận dạng giọng nói, công nghệ này sẽ tự động loại bỏ các thành phần "nhiễu" trong dữ liệu đầu vào, giúp mô hình xử lý nhanh hơn và đưa ra kết quả chính xác hơn, mang lại trải nghiệm mượt mà và hiệu quả ngay cả khi không có kết nối internet mạnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.10444
ArXiv Abstract	https://arxiv.org/abs/2603.10444
PDF Download	https://arxiv.org/pdf/2603.10444.pdf
Github Repository	N/A

📰 Summary of Papers​

1. Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training (86 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Strategic Navigation or Stochastic Search? How Agents and Humans Reason Over Document Collections (60 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse (50 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Video-Based Reward Modeling for Computer-Use Agents (41 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. ShotVerse: Advancing Cinematic Camera Control for Text-Driven Multi-Shot Video Creation (34 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. DreamVideo-Omni: Omni-Motion Controlled Multi-Subject Video Customization with Latent Identity Reinforcement Learning (30 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. XSkill: Continual Learning from Experience and Skills in Multimodal Agents (28 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. DVD: Deterministic Video Depth Estimation with Generative Priors (26 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. WeEdit: A Dataset, Benchmark and Glyph-Guided Framework for Text-centric Image Editing (24 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training (86 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Strategic Navigation or Stochastic Search? How Agents and Humans Reason Over Document Collections (60 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse (50 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Video-Based Reward Modeling for Computer-Use Agents (41 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. ShotVerse: Advancing Cinematic Camera Control for Text-Driven Multi-Shot Video Creation (34 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. DreamVideo-Omni: Omni-Motion Controlled Multi-Subject Video Customization with Latent Identity Reinforcement Learning (30 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. XSkill: Continual Learning from Experience and Skills in Multimodal Agents (28 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. DVD: Deterministic Video Depth Estimation with Generative Priors (26 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. WeEdit: A Dataset, Benchmark and Glyph-Guided Framework for Text-centric Image Editing (24 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: