Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-04-24

Báo cáo được tạo tự động vào lúc 2026-04-28 11:02:01 bằng mô hình moonshotai/kimi-k2.5.

📰 Summary of Papers​

1. LLaTiSA: Towards Difficulty-Stratified Time Series Reasoning from Visual Perception to Semantics (84 votes)​

Tác giả: Yueyang Ding, HaoPeng Zhang, Rui Dai, Yi Wang, Tianyu Zong, Kaikui Liu, Xiangxiang Chu

Xuất bản lúc: 2026-04-19

Tag: VLM, Time Series Reasoning, Curriculum Learning, Chain-of-Thought, Multimodal LLMs

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLM) hiện nay gặp khó khăn trong việc hiểu toàn diện dữ liệu chuỗi thời gian do thiếu một hệ thống phân loại nhiệm vụ suy luận chuẩn hóa và các bộ dữ liệu đánh giá thường bị mơ hồ về ngữ nghĩa hoặc thiếu độ chính xác về mặt số liệu. Đặc biệt, các mô hình Vision-Language (VLM) dù giỏi nhận diện hình dáng (pattern) nhưng lại yếu trong việc truy xuất giá trị số chính xác, trong khi các mô hình thuần văn bản lại dễ gặp hiện tượng ảo giác (hallucination) khi xử lý chuỗi thời gian dài.

II. Main Idea:​

Nhóm tác giả đề xuất một khung làm việc toàn diện bao gồm:

  1. Hệ thống phân loại TSR (Time Series Reasoning) gồm 4 cấp độ từ thấp đến cao: L1 (Đọc giá trị số), L2 (Nhận diện đặc trưng), L3 (Suy luận ngữ nghĩa) và L4 (Suy diễn dự báo).
  2. Bộ dữ liệu HITSR: Chứa 83k mẫu dữ liệu cho các cấp độ L1-L3 với các chuỗi suy luận Chain-of-Thought (CoT) đã được xác minh.
  3. Mô hình LLaTiSA: Một mô hình VLM sử dụng cơ chế đầu vào kép (dual-view), kết hợp hình ảnh biểu đồ (để nắm bắt xu hướng tổng thể) và hình ảnh bảng số liệu (để xác minh giá trị chính xác), được huấn luyện thông qua chiến lược tinh chỉnh theo lộ trình (curriculum fine-tuning) ba giai đoạn tương ứng với L1 →\rightarrow L2 →\rightarrow L3.

III. Main Results:​

LLaTiSA đạt kết quả vượt trội so với các mô hình đối thủ (như GPT-4o, Qwen3-VL) trên các bộ dữ liệu kiểm tra ngoài phân phối (OOD).

  • Độ chính xác: Cải thiện mạnh mẽ trong việc định vị giá trị cực trị (L1) và phân biệt đặc trưng chuỗi (L2).
  • Khả năng tổng quát hóa: Khi áp dụng vào phân tích điện tâm đồ (ECG), LLaTiSA cho thấy hiệu quả cao trong việc chẩn đoán và lập luận dựa trên bằng chứng, dù chỉ sử dụng một lượng nhỏ dữ liệu huấn luyện (2.5% so với mô hình GEM).
  • Ablation Study: Việc sử dụng dữ liệu CoT giúp tăng khả năng suy luận OOD, và chiến lược huấn luyện theo lộ trình (curriculum learning) quan trọng hơn nhiều so với huấn luyện chung (joint training) trong việc phát triển tư duy logic phức tạp.

IV. Conclusion & Future Works:​

LLaTiSA chứng minh rằng việc kết hợp giữa nhận thức trực quan và độ chính xác số liệu, cùng với lộ trình huấn luyện phân cấp, là chìa khóa để xây dựng mô hình suy luận chuỗi thời gian mạnh mẽ. Hướng phát triển tương lai bao gồm việc áp dụng Học tăng cường (Reinforcement Learning - RL) để tinh chỉnh chính sách suy luận của mô hình và nghiên cứu các chiến lược khởi tạo để giảm thiểu vấn đề 'cold-start'.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tích hợp Reinforcement Learning (RL) vào lộ trình huấn luyện phân cấp L1-L4 để tối ưu hóa khả năng tự sửa lỗi trong suy luận số liệu.
  2. Phát triển một khung đánh giá tự động cho L4 (Predictive Inference) bằng cách kết hợp dự báo định lượng và giải thích định tính.
  3. Khám phá khả năng mở rộng LLaTiSA cho các chuỗi thời gian đa biến cực lớn (massive multivariate time series) thông qua kỹ thuật nén token hình ảnh.

2. Patent:​

  1. Hệ thống theo dõi sức khỏe trên điện thoại thông minh tự động phân tích biểu đồ nhịp tim, kết hợp hiển thị bảng giá trị chi tiết để đưa ra cảnh báo y tế kèm giải thích lý do cụ thể cho người dùng.
  2. Ứng dụng quản lý tài chính cá nhân tích hợp AI phân tích biểu đồ chi tiêu, cho phép người dùng truy vấn chính xác ngày giờ phát sinh giao dịch bất thường thông qua giao diện hình ảnh kết hợp bảng số.
  3. Công cụ giám sát hiệu suất thiết bị di động (pin, CPU) tự động phát hiện các mẫu tiêu thụ năng lượng bất thường và cung cấp báo cáo phân tích nguyên nhân dựa trên sự kết hợp giữa hình ảnh trực quan và dữ liệu số.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.17295
ArXiv Abstracthttps://arxiv.org/abs/2604.17295
PDF Downloadhttps://arxiv.org/pdf/2604.17295.pdf
Github Repositoryhttps://github.com/RainingNovember/LLaTiSA

2. WorldMark: A Unified Benchmark Suite for Interactive Video World Models (36 votes)​

Tác giả: Xiaojie Xu, Zhengyuan Lin, Kang He, Yukang Feng, Xiaofeng Mao, Yuanyang Yin, Kaipeng Zhang, Yongtao Ge

Xuất bản lúc: 2026-04-23

Tag: World Models, Interactive Video Generation, Benchmark, VLM, I2V

I. Main Problem:​

Hiện nay, các mô hình thế giới video tương tác (Interactive Video World Models) phát triển nhanh chóng nhưng thiếu một tiêu chuẩn đánh giá chung. Mỗi mô hình thường được đánh giá trên tập dữ liệu riêng, kịch bản riêng và giao diện điều khiển khác nhau (ví dụ: một số dùng văn bản, số dùng thông số pose, số dùng gamepad), khiến việc so sánh công bằng giữa các mô hình là không thể.

II. Main Idea:​

Đề xuất WorldMark, một bộ benchmark thống nhất cho các mô hình thế giới Image-to-Video (I2V) tương tác. WorldMark giải quyết sự phân mảnh thông qua ba trụ cột chính:

  • Lớp ánh xạ hành động thống nhất (Unified Action Mapping): Chuyển đổi từ một từ điển hành động chung (kiểu WASD và xoay L/R) sang định dạng điều khiển riêng của từng mô hình.
  • Bộ thử nghiệm phân cấp (Hierarchical Test Suite): Gồm 500 trường hợp thử nghiệm với 50 hình ảnh tham chiếu, bao gồm góc nhìn thứ nhất/thứ ba, phong cách thực tế/cách điệu và 3 mức độ khó (Dễ, Trung bình, Khó) từ 20-60 giây.
  • Bộ công cụ đánh giá mô-đun: Tập trung vào 3 chiều: Chất lượng hình ảnh (Visual Quality), Độ chính xác điều khiển (Control Alignment) và Tính nhất quán của thế giới (World Consistency).

III. Main Results:​

Đánh giá 6 mô hình tiêu biểu (YUME 1.5, Matrix-Game 2.0, HY-World 1.5, HY-GameCraft, Open-Oasis, Genie 3) cho thấy:

  • Sự không tương quan: Chất lượng hình ảnh và tính nhất quán của thế giới không đi đôi với nhau. YUME 1.5 có hình ảnh đẹp nhất nhưng tính nhất quán kém, trong khi Genie 3 dẫn đầu về tính nhất quán nhưng chất lượng hình ảnh chỉ ở mức trung bình.
  • Điểm yếu góc nhìn thứ ba: Việc chuyển từ góc nhìn thứ nhất sang thứ ba làm giảm đáng kể độ chính xác điều khiển (ví dụ: Matrix-Game 2.0 tăng lỗi xoay gấp ~20 lần).
  • Khả năng tổng quát: Các mô hình huấn luyện trên miền hẹp (như Open-Oasis trên Minecraft) thất bại hoàn toàn khi áp dụng vào các cảnh thực tế hoặc cách điệu.

IV. Conclusion & Future Works:​

WorldMark cung cấp một "sân chơi chung" minh bạch cho các mô hình thế giới tương tác. Tác giả nhấn mạnh tầm quan trọng của việc tiêu chuẩn hóa điều kiện thử nghiệm thay vì chỉ tập trung vào các chỉ số đo lường. Trong tương lai, họ sẽ phát hành toàn bộ dữ liệu, mã đánh giá và ra mắt World Model Arena để cộng đồng cùng so sánh các mô hình trực tiếp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về phương pháp cải thiện tính nhất quán hình học (geometric consistency) cho các mô hình video tương tác trong góc nhìn thứ ba.
  2. Phát triển một mô hình điều khiển thế giới thống nhất có khả năng thích ứng với nhiều loại đầu vào điều khiển khác nhau mà không cần lớp ánh xạ trung gian.
  3. Khám phá mối liên hệ giữa độ phân giải hình ảnh và khả năng duy trì bộ nhớ dài hạn (long-term memory) trong các mô hình mô phỏng thế giới.

2. Patent:​

  1. Hệ thống điều khiển camera thông minh cho ứng dụng thực tế ảo trên điện thoại, tự động chuyển đổi thao tác vuốt chạm thành các lệnh di chuyển chuẩn hóa cho mô hình tạo video thời gian thực.
  2. Công cụ kiểm tra chất lượng video tự động cho các trò chơi mô phỏng trên di động, sử dụng VLM để phát hiện các lỗi biến dạng vật thể hoặc thay đổi phong cách hình ảnh bất thường.
  3. Giao diện tương tác cho phép người dùng tạo ra môi trường 3D ảo từ một bức ảnh chụp bằng điện thoại thông qua các lệnh điều hướng đơn giản.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.21686
ArXiv Abstracthttps://arxiv.org/abs/2604.21686
PDF Downloadhttps://arxiv.org/pdf/2604.21686.pdf
Github RepositoryN/A

3. UniT: Toward a Unified Physical Language for Human-to-Humanoid Policy Learning and World Modeling (28 votes)​

Tác giả: Boyu Chen, Yi Chen, Lu Qiu, Jerry Bai, Yuying Ge, Yixiao Ge

Xuất bản lúc: 2026-04-21

Tag: VLA, World Modeling, Cross-Embodiment Transfer, Latent Action Space, Humanoid Robots

I. Main Problem:​

Việc mở rộng các mô hình nền tảng cho robot humanoid bị hạn chế do sự khan hiếm dữ liệu robot chất lượng cao. Mặc dù dữ liệu video từ con người rất dồi dào, nhưng việc chuyển đổi từ con người sang robot (human-to-humanoid) gặp khó khăn lớn do sự khác biệt về cấu trúc cơ học (kinematics), số bậc tự do (DoF) và phương thức điều khiển, khiến các phương pháp truyền thống như retargeting trở nên tốn kém và thiếu linh hoạt.

II. Main Idea:​

Đề xuất UniT (Unified Latent Action Tokenizer via Visual Anchoring), một khung làm việc thiết lập 'ngôn ngữ vật lý thống nhất' để cầu nối khoảng cách giữa con người và robot. Ý tưởng cốt lõi là: dù cấu trúc cơ học khác nhau, nhưng kết quả vật lý của các ý định hành động lại có biểu hiện thị giác tương đồng. UniT sử dụng cơ chế cross-reconstruction (tái cấu trúc chéo) với 3 nhánh (Thị giác, Hành động, và Hợp nhất) để chiếu các hành động không đồng nhất vào một không gian latent rời rạc chung. Từ đó, UniT được ứng dụng vào hai hướng: VLA-UniT (học chính sách điều khiển) và WM-UniT (mô hình hóa thế giới/tạo video), cho phép tận dụng dữ liệu con người để cải thiện khả năng tổng quát hóa và điều khiển cho robot humanoid.

III. Main Results:​

UniT đạt được những kết quả vượt trội trong cả mô phỏng (RoboCasa GR1) và thực tế (robot IRON-R01-1.11):

  • VLA-UniT: Cải thiện hiệu quả sử dụng dữ liệu và khả năng tổng quát hóa OOD (Out-of-Distribution). Đặc biệt, mô hình đạt được khả năng chuyển đổi tác vụ zero-shot (ví dụ: tự phối hợp xoay eo khi thực hiện tác vụ chưa từng thấy).
  • WM-UniT: Cải thiện độ chính xác và khả năng điều khiển trong tạo video robot bằng cách sử dụng token UniT làm điều kiện, cho phép chuyển giao động lực học từ dữ liệu con người sang robot.
  • Độ căn chỉnh: Phân tích t-SNE cho thấy UniT thành công trong việc đưa đặc trưng của con người và robot về cùng một manifold (không gian chung), điều mà các phương pháp dùng hành động thô (raw action) không làm được.

IV. Conclusion & Future Works:​

UniT cung cấp một lộ trình khả thi để chắt lọc kiến thức khổng lồ từ dữ liệu con người vào khả năng của robot humanoid thông qua một không gian hành động latent thống nhất. Bằng cách sử dụng thị giác làm 'neo' (anchor), UniT loại bỏ nhiễu về hình dáng cơ thể và tập trung vào ý định vật lý, tạo tiền đề cho việc xây dựng các mô hình robot đa năng hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng UniT cho các loại robot có hình thái khác nhau (ví dụ: robot 4 chân hoặc robot cánh tay đơn) để kiểm chứng tính phổ quát của ngôn ngữ vật lý.
  2. Kết hợp UniT với các mô hình ngôn ngữ lớn (LLM) để lập kế hoạch tác vụ phức tạp, trong đó LLM dự đoán chuỗi UniT tokens thay vì các bước hành động thô.
  3. Phát triển phương pháp tự học (self-supervised learning) để tinh chỉnh codebook của UniT trực tiếp từ video internet mà không cần dữ liệu hành động đi kèm.

2. Patent:​

  1. Hệ thống điều khiển robot humanoid cho phép người dùng điều khiển robot thông qua video quay lại hành động của chính họ, trong đó hệ thống tự động chuyển đổi ý định từ video sang lệnh điều khiển robot mà không cần lập trình lại cho từng cử chỉ.
  2. Tính năng hỗ trợ học kỹ năng mới cho robot trên điện thoại di động: Người dùng quay video thực hiện một tác vụ đơn giản, ứng dụng sử dụng mô hình nén hành động để gửi các mã lệnh tối giản (tokens) đến robot để thực hiện theo.
  3. Công cụ mô phỏng trước hành động của robot trên thiết bị di động: Sử dụng mô hình thế giới để tạo video dự đoán kết quả khi robot thực hiện một lệnh điều khiển, giúp người dùng kiểm tra độ an toàn trước khi triển khai thực tế.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.19734
ArXiv Abstracthttps://arxiv.org/abs/2604.19734
PDF Downloadhttps://arxiv.org/pdf/2604.19734.pdf
Github Repositoryhttps://github.com/xpeng-robotics/UniT

4. StyleID: A Perception-Aware Dataset and Metric for Stylization-Agnostic Facial Identity Recognition (23 votes)​

Tác giả: Kwan Yun, Changmin Lee, Ayeong Jeong, Youngseo Kim, Seungmi Lee, Junyong Noh

Xuất bản lúc: 2026-04-23

Tag: Face Recognition, Image Stylization, Human Perception, CLIP, LoRA, Diffusion Models

I. Main Problem:​

Các mô hình nhận diện danh tính khuôn mặt hiện nay chủ yếu được huấn luyện trên ảnh chụp tự nhiên, dẫn đến tình trạng thiếu ổn định (brittleness) khi áp dụng cho ảnh đã qua stylization (như hoạt hình, phác thảo, tranh vẽ). Các mô hình này thường nhầm lẫn sự thay đổi về kết cấu, màu sắc hoặc sự phóng đại hình học là sự thay đổi về danh tính, đồng thời thiếu một khung đánh giá chuẩn hóa dựa trên nhận thức thực tế của con người để đo lường mức độ bảo tồn danh tính theo cường độ stylization.

II. Main Idea:​

Đề xuất StyleID, một khung làm việc bao gồm tập dữ liệu nhận thức và mô hình nhận diện danh tính bất biến với phong cách. Ý tưởng chính là đặt nhận thức con người làm trung tâm thông qua hai tập dữ liệu: StyleBench-H (benchmark đánh giá dựa trên phán đoán của con người) và StyleBench-S (tập giám sát tổng hợp quy mô lớn được hiệu chuẩn từ các đường cong tâm lý học về khả năng nhận diện theo cường độ phong cách). Mô hình StyleID được xây dựng bằng cách tinh chỉnh encoder CLIP thông qua LoRA, kết hợp hàm mất mát góc (angular margin loss) và mất mát tương phản có giám sát (supervised contrastive loss) để căn chỉnh khoảng cách đặc trưng với nhận thức của con người.

III. Main Results:​

StyleID đạt hiệu suất vượt trội so với các baseline như ArcFace, AdaFace và CLIP trên nhiều tập dữ liệu:

  • Trên StyleBench-H, StyleID cho thấy sự tương quan cao nhất với phán đoán của con người, đặc biệt là trong các bài thử nghiệm Cross-Style và Cross-Method.
  • Trên tập dữ liệu phác thảo nghệ thuật SKSF-A, StyleID duy trì khả năng xác thực mạnh mẽ ngay cả với những biến đổi hình học và kết cấu cực đoan.
  • Trong tác vụ truy xuất (retrieval), StyleID đạt độ chính xác cao hơn 10-20% so với các mô hình khác khi truy vấn bằng ảnh thực hoặc ảnh phác thảo.
  • Khi tích hợp vào JoJoGAN làm hàm mất mát bảo tồn danh tính, StyleID giúp tạo ra kết quả stylization sạch hơn, ít hiện tượng nhiễu (artifacts) và được người dùng đánh giá cao hơn về cả chất lượng hình ảnh lẫn độ bảo tồn danh tính.

IV. Conclusion & Future Works:​

StyleID chứng minh rằng việc hiệu chuẩn mô hình nhận diện theo nhận thức con người và sử dụng backbone giàu ngữ nghĩa (như CLIP) là chìa khóa để đạt được sự ổn định trong nhận diện khuôn mặt đa phong cách. Kết quả cho thấy StyleID không chỉ là công cụ đánh giá mà còn là tín hiệu giám sát hiệu quả cho các mô hình tạo ảnh. Hướng phát triển tương lai có thể là mở rộng khả năng tổng quát hóa sang nhiều loại hình nghệ thuật phức tạp hơn hoặc tối ưu hóa cho các thiết bị di động thông qua các biến thể nhỏ (StyleID_tiny).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu khả năng mở rộng của StyleID cho nhận diện danh tính trong video stylization, nơi yếu tố thời gian và sự nhất quán giữa các khung hình đóng vai trò quan trọng.
  2. Phát triển một khung đánh giá tự động dựa trên LLM/VLM (như GPT-4o) để thay thế việc thu thập dữ liệu từ con người trong việc xây dựng các tập dữ liệu hiệu chuẩn như StyleBench-H.
  3. Khám phá sự kết hợp giữa StyleID và các mô hình Generative AI mới nhất (như Flux hoặc Stable Diffusion 3) để tạo ra các avatar cá nhân hóa có độ chính xác danh tính tuyệt đối.

2. Patent:​

  1. Hệ thống tạo Avatar cá nhân hóa cho điện thoại: Sử dụng mô hình nhận diện bất biến phong cách để tự động điều chỉnh cường độ stylization sao cho ảnh đại diện vừa mang tính nghệ thuật nhưng vẫn đảm bảo người dùng khác có thể nhận ra chủ nhân.
  2. Ứng dụng lọc ảnh nghệ thuật bảo tồn danh tính: Tích hợp bộ mã hóa danh tính vào ứng dụng camera để theo dõi thời gian thực mức độ biến dạng của khuôn mặt khi áp dụng filter, cảnh báo hoặc tự động điều chỉnh khi đặc điểm nhận dạng bị mất quá nhiều.
  3. Công cụ xác thực danh tính cho nội dung số sáng tạo: Một hệ thống bảo mật cho phép xác minh danh tính người dùng thông qua các ảnh vẽ tay hoặc ảnh nghệ thuật, ứng dụng trong việc xác thực quyền sở hữu nội dung sáng tạo mà không cần ảnh chụp thật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.21689
ArXiv Abstracthttps://arxiv.org/abs/2604.21689
PDF Downloadhttps://arxiv.org/pdf/2604.21689.pdf
Github Repositoryhttps://github.com/kwanyun/StyleID

5. Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks (20 votes)​

Tác giả: Xiyang Wu, Zongxia Li, Guangyao Shi, Alexander Duffy, Tyler Marques, Matthew Lyle Olson, Tianyi Zhou, Dinesh Manocha

Xuất bản lúc: 2026-04-22

Tag: LLMs, Co-Evolution, Skill Discovery, Long-Horizon Tasks, GRPO, Game AI

I. Main Problem:​

Các tác nhân LLM thường gặp khó khăn trong việc ra quyết định nhất quán cho các tác vụ dài hạn (long-horizon) do thiếu cơ chế để khám phá, lưu trữ và tái sử dụng các kỹ năng có cấu trúc qua nhiều tập dữ liệu (episodes). Việc thiếu sự phối hợp giữa khả năng ra quyết định và kho lưu trữ kỹ năng khiến tác nhân khó thực hiện các chuỗi hành động phức tạp trong môi trường có phần thưởng bị trì hoãn và quan sát không đầy đủ.

II. Main Idea:​

Đề xuất COS-PLAY, một khung làm việc đồng tiến hóa (co-evolution) giữa hai tác nhân:

  1. Tác nhân ra quyết định (Decision Agent): Sử dụng LLM để truy xuất kỹ năng từ một kho lưu trữ (skill bank), cập nhật ý định (intention) và thực thi các hành động cụ thể.
  2. Tác nhân quản lý kho kỹ năng (Skill Bank Agent): Tự động phân đoạn các quỹ đạo (trajectories) không nhãn từ quá trình tương tác để khám phá, tinh chỉnh và cập nhật các kỹ năng mới cùng với các 'hợp đồng' (contracts - mô tả sự thay đổi trạng thái).

Cả hai tác nhân được tối ưu hóa bằng phương pháp Group Relative Policy Optimization (GRPO) thông qua các adapter LoRA riêng biệt, tạo thành một vòng lặp khép kín: hành động tốt tạo ra dữ liệu kỹ năng chất lượng, và kỹ năng tốt giúp cải thiện khả năng ra quyết định.

III. Main Results:​

  • Hiệu suất vượt trội: Sử dụng mô hình cơ sở 8B, COS-PLAY cải thiện trung bình hơn 25.1% phần thưởng so với 4 mô hình LLM hàng đầu (frontier models) trong các trò chơi đơn người chơi (2048, Tetris, Candy Crush, Super Mario Bros).
  • Khả năng suy luận xã hội: Đạt kết quả cạnh tranh với các mô hình SOTA trong các trò chơi chiến thuật nhiều người chơi như Avalon và Diplomacy (vượt qua Gemini-3.1-Pro 8.8% trong Diplomacy).
  • Hiệu quả dữ liệu: Chỉ cần tối đa 25 vòng lặp đồng tiến hóa để đạt hiệu suất cao, cho thấy khả năng thích nghi nhanh với môi trường mới.
  • Tính tái sử dụng: Chứng minh được khả năng tự trích xuất các kỹ năng trừu tượng, có thể tái sử dụng thay vì chỉ ghi nhớ máy móc các quỹ đạo đơn lẻ.

IV. Conclusion & Future Works:​

COS-PLAY chứng minh rằng việc kết hợp giữa ra quyết định dựa trên LLM và một hệ thống quản lý kỹ năng tự tiến hóa giúp giải quyết hiệu quả các tác vụ dài hạn. Hạn chế & Hướng tương lai:

  • Hiện tại phụ thuộc vào tóm tắt trạng thái dạng văn bản, dễ gây sai số tích lũy.
  • Hướng phát triển: Mở rộng sang môi trường đa phương thức (multi-modal) để kết hợp lý luận hình ảnh và tương tác, đồng thời cải thiện khả năng chuyển đổi kỹ năng giữa các miền (cross-domain transfer).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tích hợp COS-PLAY với các mô hình Vision-Language-Action (VLA) để áp dụng vào điều khiển robot trong môi trường thực tế với các tác vụ dài hạn.
  2. Phát triển cơ chế 'chuyển giao kỹ năng' (skill transfer) cho phép kho kỹ năng từ trò chơi này có thể hỗ trợ khởi tạo nhanh cho một trò chơi hoặc tác vụ mới có đặc điểm tương đồng.
  3. Phân tích chuyên sâu về sự hội tụ của quá trình đồng tiến hóa giữa tác nhân ra quyết định và tác nhân quản lý kỹ năng để tìm ra điểm tối ưu về số lượng kỹ năng trong kho.

2. Patent:​

  1. Hệ thống hỗ trợ người dùng điện thoại tự động học thói quen: Điện thoại tự ghi lại các chuỗi thao tác phức tạp của người dùng (ví dụ: đặt vé máy bay và khách sạn), sau đó tự đóng gói thành một 'kỹ năng' tắt để người dùng kích hoạt nhanh cho những lần sau.
  2. Trợ lý ảo tự tối ưu hóa quy trình làm việc: Một ứng dụng quản lý công việc trên di động có khả năng tự phân tích các bước thực hiện thành công của người dùng trong quá khứ để đề xuất quy trình thực hiện tối ưu cho các dự án tương tự trong tương lai.
  3. Hệ thống điều khiển thiết bị thông minh dựa trên ngữ cảnh và kỹ năng: Tự động tạo ra các kịch bản điều khiển nhà thông minh bằng cách học từ các hành vi lặp lại của chủ nhà, sau đó tinh chỉnh các kịch bản này dựa trên phản hồi thực tế để tối ưu hóa năng lượng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.20987
ArXiv Abstracthttps://arxiv.org/abs/2604.20987
PDF Downloadhttps://arxiv.org/pdf/2604.20987.pdf
Github Repositoryhttps://github.com/wuxiyang1996/cos-play

6. Seeing Fast and Slow: Learning the Flow of Time in Videos (17 votes)​

Tác giả: Yen-Siang Wu, Rundong Luo, Jingsen Zhu, Tao Tu, Ali Farhadi, Matthew Wallingford, Yu-Chiang Frank Wang, Steve Marschner, Wei-Chiu Ma

Xuất bản lúc: 2026-04-23

Tag: Video Generation, Temporal Super-Resolution, Self-Supervised Learning, Diffusion Models, Computer Vision

I. Main Problem:​

Các mô hình thị giác máy tính và mô hình ngôn ngữ-hình ảnh (VLMs) hiện nay thiếu khả năng lý luận về thời gian, dẫn đến việc không thể nhận diện chính xác tốc độ phát video (sped up/slowed down) hoặc tạo ra video với tốc độ chuyển động chính xác theo yêu cầu. Nguyên nhân chính là do dữ liệu huấn luyện chủ yếu là video tốc độ tiêu chuẩn (24-60 fps), thiếu sự đa dạng về dải tốc độ thời gian.

II. Main Idea:​

Nhóm tác giả đề xuất coi thời gian là một khái niệm thị giác có thể học được thông qua hai cơ chế tự giám sát (self-supervised):

  1. Phát hiện thay đổi tốc độ: Sử dụng tín hiệu âm thanh (sự thay đổi cao độ/pitch shift) để làm nhãn giám sát cho mô hình thị giác.
  2. Ước tính tốc độ: Sử dụng tính tương đương (equivariance) của việc lấy mẫu lại thời gian (temporal resampling) để huấn luyện mô hình dự đoán tốc độ mà không cần nhãn thực tế. Từ đó, họ xây dựng bộ dữ liệu SloMo-44K (bộ dữ liệu slow-motion lớn nhất hiện nay) để huấn luyện các mô hình điều khiển thời gian như: tạo video theo điều kiện tốc độ (speed-conditioned generation) và siêu phân giải thời gian (temporal super-resolution) giúp khử mờ chuyển động.

III. Main Results:​

Mô hình đạt được những kết quả vượt trội so với các baseline (Gemini 2.5, SpeedNet, Wan2.1):

  • Phát hiện thay đổi tốc độ: Đạt độ chính xác 92.4%.
  • Ước tính tốc độ: Thu hẹp đáng kể khoảng cách với khả năng nhận diện của con người.
  • Tạo video theo tốc độ: Có khả năng tạo ra các chuyển động vật lý chính xác (như chất lỏng, rung động) từ tốc độ bình thường đến cực chậm (0.01x).
  • Siêu phân giải thời gian: Vượt trội trong việc chuyển đổi video FPS thấp, bị mờ chuyển động thành video FPS cao, sắc nét, đạt tỷ lệ ưu tiên từ người dùng 80.3% so với mô hình cơ sở.

IV. Conclusion & Future Works:​

Nghiên cứu khẳng định thời gian là một chiều nhận thức có thể thao tác được trong học máy video. Việc tiếp cận với dữ liệu tốc độ cao cho phép mô hình hiểu sâu hơn về động lực học thế giới thực. Hướng đi tương lai mở ra khả năng phát triển các mô hình thế giới (world-models) hiểu rõ cách các sự kiện diễn ra theo thời gian, ứng dụng trong pháp chứng video (forensics) và sáng tạo nội dung số.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc kết hợp các tín hiệu đa phương thức (âm thanh, cảm biến gia tốc) để tự động gán nhãn tốc độ cho các bộ dữ liệu video khổng lồ trên internet.
  2. Phát triển mô hình generative có khả năng điều khiển tốc độ cho từng đối tượng riêng biệt trong cùng một khung hình (per-object speed control).
  3. Khảo sát khả năng của các mô hình Video-LLM trong việc hiểu các quy luật vật lý thông qua việc phân tích sự thay đổi tốc độ thời gian.

2. Patent:​

  1. Tính năng 'Siêu chậm thông minh' cho camera điện thoại: Tự động nhận diện các khoảnh khắc hành động nhanh (như thể thao, tai nạn) để áp dụng thuật toán siêu phân giải thời gian, tạo ra video slow-motion mượt mà ngay cả khi không quay bằng chế độ High-FPS.
  2. Công cụ kiểm tra tính xác thực của video (Video Forensics): Ứng dụng mô hình phát hiện thay đổi tốc độ để phát hiện các video bị can thiệp, tua nhanh hoặc làm chậm một cách bất thường nhằm mục đích đánh lừa người xem.
  3. Chế độ xem video thích ứng cho người khiếm thị hoặc khó khăn trong nhận thức: Tự động điều chỉnh tốc độ phát của các phân đoạn video phức tạp dựa trên phân tích động lực học để giúp người dùng dễ dàng theo dõi diễn biến sự kiện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.21931
ArXiv Abstracthttps://arxiv.org/abs/2604.21931
PDF Downloadhttps://arxiv.org/pdf/2604.21931.pdf
Github RepositoryN/A

7. VLAA-GUI: Knowing When to Stop, Recover, and Search, A Modular Framework for GUI Automation (15 votes)​

Tác giả: Qijun Han, Haoqin Tu, Zijun Wang, Haoyue Dai, Yiyang Zhou, Nancy Lau, Alvaro A. Cardenas, Yuhui Xu, Ran Xu, Caiming Xiong, Zeyu Zheng, Huaxiu Yao, Yuyin Zhou, Cihang Xie

Xuất bản lúc: 2026-04-23

Tag: GUI Automation, MLLMs, Agentic Framework, Error Recovery, Self-Verification

I. Main Problem:​

Các tác nhân GUI tự trị hiện nay đối mặt với hai thách thức cơ bản:

  1. Dừng sớm (Early Stopping): Tác nhân tự tuyên bố thành công khi chưa có bằng chứng xác thực từ giao diện người dùng (UI), dẫn đến việc hoàn thành tác vụ không đầy đủ.
  2. Vòng lặp lặp lại (Repetitive Loops): Tác nhân bị kẹt trong các hành động thất bại lặp đi lặp lại mà không có cơ chế phục hồi hoặc thay đổi chiến lược hiệu quả.

II. Main Idea:​

Đề xuất VLAA-GUI, một khung tác nhân GUI mô-đun xoay quanh ba thành phần tích hợp để điều phối việc Dừng, Phục hồi và Tìm kiếm:

  • Completeness Verifier (Bộ xác minh hoàn tất): Gồm một 'Cổng hoàn tất' (Completion Gate) yêu cầu tiêu chí thành công có thể quan sát được trên UI và một 'Mô hình thẩm định' (Model Judge) độc lập để kiểm tra chéo các tuyên bố thành công.
  • Loop Breaker (Bộ ngắt vòng lặp): Cơ chế lọc ba cấp độ để thoát khỏi trạng thái bế tắc: (1) Chuyển đổi phương thức tương tác, (2) Thay đổi chiến lược khi trạng thái màn hình lặp lại, và (3) Sử dụng mô hình thẩm định bên ngoài để buộc thay đổi chiến lược.
  • Search Agent (Tác nhân tìm kiếm): Truy vấn trực tiếp các LLM có khả năng tìm kiếm để lấy hướng dẫn văn bản cho các quy trình làm việc không quen thuộc, thay vì tìm kiếm bằng trình duyệt hình ảnh tốn kém.
  • Ngoài ra, hệ thống tích hợp thêm Coding Agent (cho các tác vụ lập trình/tính toán) và Grounding Agent (để xác định tọa độ chính xác trên màn hình).

III. Main Results:​

VLAA-GUI đạt kết quả vượt trội trên hai benchmark Linux (OSWorld) và Windows (WindowsAgentArena):

  • Hiệu suất: Đạt 77.5% trên OSWorld với backbone Opus 4.6, trong đó 3 trên 5 backbone thử nghiệm vượt qua hiệu suất của con người (72.4%) trong một lần chạy duy nhất.
  • Hiệu quả bước đi: Với Sonnet 4.6, chỉ cần 15 bước hành động đã vượt qua các hệ thống tốt nhất hiện nay sử dụng 50 bước.
  • Độ tin cậy: Bộ xác minh hoàn tất giúp giảm tỷ lệ tuyên bố thành công sai sót lên đến 3.9%, và Loop Breaker giúp giảm gần một nửa số bước lãng phí cho các mô hình dễ bị lặp.

IV. Conclusion & Future Works:​

VLAA-GUI chứng minh rằng việc tích hợp các cơ chế kiểm tra bắt buộc (xác minh hoàn tất và ngắt vòng lặp) cùng với các công cụ hỗ trợ theo yêu cầu có thể nâng cao đáng kể độ tin cậy và hiệu suất của tác nhân GUI. Hệ thống cho thấy khả năng tổng quát hóa tốt trên nhiều dòng mô hình (Claude, Gemini) và nhiều hệ điều hành khác nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về cơ chế phản hồi đa cấp (Multi-tier feedback) để tối ưu hóa quỹ đạo hành động của tác nhân GUI trong các môi trường phần mềm chuyên dụng.
  2. Phân tích so sánh giữa việc tìm kiếm kiến thức dạng văn bản (Textual Search) và tìm kiếm trực quan (Visual Search) đối với khả năng xử lý tác vụ ngoài phân phối (OOD) của MLLMs.
  3. Xây dựng bộ dữ liệu chuẩn về các 'điểm bế tắc' (stuck points) và 'vòng lặp' trong tự động hóa GUI để huấn luyện các mô hình chuyên biệt cho việc phục hồi lỗi.

2. Patent:​

  1. Hệ thống tự động kiểm tra kết quả thực hiện tác vụ trên điện thoại di động bằng cách so sánh trạng thái màn hình hiện tại với các tiêu chí thành công được định nghĩa sẵn trước khi thông báo hoàn thành cho người dùng.
  2. Phương pháp phát hiện và ngắt vòng lặp thao tác trên ứng dụng di động, tự động gợi ý hoặc chuyển đổi sang phương thức điều khiển khác (ví dụ: từ chạm sang dùng phím tắt hoặc lệnh giọng nói) khi phát hiện hành động lặp lại không hiệu quả.
  3. Công cụ hỗ trợ người dùng di động tự động tìm kiếm hướng dẫn sử dụng tính năng ứng dụng dưới dạng văn bản tóm tắt khi tác nhân AI không thể tìm thấy quy trình thực hiện trong bộ nhớ nội bộ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.21375
ArXiv Abstracthttps://arxiv.org/abs/2604.21375
PDF Downloadhttps://arxiv.org/pdf/2604.21375.pdf
Github Repositoryhttps://github.com/UCSC-VLAA/VLAA-GUI

8. TingIS: Real-time Risk Event Discovery from Noisy Customer Incidents at Enterprise Scale (12 votes)​

Tác giả: Jun Wang, Ziyin Zhang, Rui Wang, Hang Yu, Peng Di, Rui Wang

Xuất bản lúc: 2026-04-23

Tag: LLMs, Event Detection, Streaming Data, Clustering, Denoising

I. Main Problem:​

Việc phát hiện sớm các rủi ro hệ thống từ phản hồi của khách hàng trong môi trường doanh nghiệp quy mô lớn gặp nhiều khó khăn do: dữ liệu cực kỳ nhiễu (noise), lưu lượng tin nhắn khổng lồ (lên đến 2.000 tin/phút), và sự phức tạp về mặt ngữ nghĩa giữa các mảng kinh doanh khác nhau. Điều này dễ dẫn đến tình trạng báo động giả gây mệt mỏi cho đội ngũ vận hành (SRE) hoặc bỏ lỡ các sự cố nghiêm trọng.

II. Main Idea:​

Đề xuất hệ thống TingIS, một giải pháp end-to-end gồm 5 mô-đun chính chia thành 3 lớp:

  1. Semantic Distillation (M1): Sử dụng LLM (Qwen3-8B) để tóm tắt phản hồi thô thành định dạng "chủ thể + vấn đề" và chuyển thành vector embedding.
  2. Cascaded Routing (M2): Định tuyến sự cố đến đúng mảng kinh doanh thông qua cơ chế phân tầng (Từ khóa ightarrowightarrow Truy xuất Vector ightarrowightarrow Reranker).
  3. Event Linking Engine (M3): Kết nối các sự cố rời rạc thành một sự kiện rủi ro duy nhất bằng cách kết hợp LSH (để gom cụm nhanh), LLM (để kiểm tra độ tinh khiết của cụm) và cơ chế trọng số suy giảm theo thời gian (time-decay) để liên kết với lịch sử.
  4. State Management (M4): Quản lý trạng thái sự kiện qua 3 lớp (Trạng thái, Kiểm tra, Ảnh chụp) để phục vụ phân tích và cảnh báo.
  5. Multi-dimensional Denoising (M5): Giảm nhiễu thông qua đối chiếu cơ sở dữ liệu báo động giả, sử dụng ngưỡng động (dynamic baselines) và cơ chế im lặng cảnh báo có điều kiện.

III. Main Results:​

Hệ thống đã được triển khai thực tế với kết quả ấn tượng:

  • Hiệu suất: Tỷ lệ phát hiện 95% các sự cố ưu tiên cao với độ trễ báo động P90 là 3,5 phút.
  • Khả năng giảm nhiễu: Giảm 94,3% lượng báo động rác so với phiên bản không có mô-đun khử nhiễu mà không làm giảm tỷ lệ phát hiện.
  • Chất lượng gom cụm: Đạt điểm B3-F1 là 0,826, vượt trội hơn các phương pháp baseline như DBSCAN hay Vector Matching, đặc biệt là giảm mạnh tỷ lệ gom nhầm (mismerge) từ 64,3% xuống còn 21,5%.
  • Thông lượng: Xử lý ổn định hơn 300.000 sự cố mỗi ngày với đỉnh điểm 2.000 tin nhắn/phút.

IV. Conclusion & Future Works:​

TingIS chứng minh rằng việc kết hợp trí tuệ lai (Hybrid Intelligence) giữa các kỹ thuật lập chỉ mục hiệu quả (LSH) và khả năng suy luận của LLM giúp giải quyết bài toán phát hiện rủi ro trong thời gian thực. Bài học quan trọng là việc phân tách dữ liệu theo mảng kinh doanh (business partitioning) là yếu tố then chốt để ngăn chặn sự sụp đổ về ngữ nghĩa trong môi trường doanh nghiệp. Tác giả cung cấp các hướng dẫn vận hành cho các kỹ sư NLP khi triển khai hệ thống tương tự.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tối ưu hóa chi phí và độ trễ của LLM trong các hệ thống giám sát thời gian thực bằng cách sử dụng cơ chế lọc phân tầng nâng cao.
  2. Phát triển mô hình Embedding chuyên biệt cho dữ liệu phản hồi khách hàng trong lĩnh vực tài chính để cải thiện độ chính xác của mô-đun Routing.
  3. Xây dựng khung đánh giá (Evaluation Framework) tiêu chuẩn cho bài toán phát hiện sự kiện từ luồng văn bản nhiễu trong quy mô doanh nghiệp.

2. Patent:​

  1. Hệ thống tự động phân loại và cảnh báo lỗi ứng dụng trên điện thoại dựa trên phân tích hành vi và từ khóa phản hồi của người dùng trong thời gian thực.
  2. Phương pháp giảm nhiễu thông báo đẩy trên thiết bị di động bằng cách sử dụng ngưỡng động dựa trên thói quen sử dụng của người dùng và dữ liệu lịch sử.
  3. Giải pháp gom nhóm các yêu cầu hỗ trợ kỹ thuật trên ứng dụng di động thành các sự kiện lỗi hệ thống duy nhất để giúp đội ngũ kỹ thuật xử lý nhanh hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.21889
ArXiv Abstracthttps://arxiv.org/abs/2604.21889
PDF Downloadhttps://arxiv.org/pdf/2604.21889.pdf
Github RepositoryN/A

9. Context Unrolling in Omni Models (11 votes)​

Tác giả: Ceyuan Yang, Zhijie Lin, Yang Zhao, Fei Xiao, Hao He, Qi Zhao, Chaorui Deng, Kunchang Li, Zihan Ding, Yuwei Guo, Fuyun Wang, Fangqi Zhu, Xiaonan Nie, Shenhan Zhu, Shanchuan Lin, Hongsheng Li, Weilin Huang, Guang Shi, Haoqi Fan

Xuất bản lúc: 2026-04-23

Tag: Multimodal LLMs, MoE, Context Unrolling, 3D Geometry, Any-to-Any Generation

I. Main Problem:​

Các mô hình đa phương thức hiện nay thường hoạt động như những "container đa nhiệm", nơi các khả năng hiểu và tạo nội dung được xử lý độc lập. Điều này dẫn đến việc thiếu sự kết nối giữa các modality, gây ra hiện tượng mơ hồ khi ánh xạ từ ngôn ngữ sang hình ảnh hoặc thiếu hụt trí tuệ không gian (spatial intelligence) khi xử lý các tác vụ 3D phức tạp.

II. Main Idea:​

Đề xuất Omni, một mô hình nền tảng đa phương thức thống nhất (unified multimodal model) sử dụng kiến trúc Mixture-of-Experts (MoE). Ý tưởng cốt lõi là Context Unrolling (Mở rộng ngữ cảnh): thay vì dự đoán trực tiếp, mô hình coi mỗi khả năng (mô tả văn bản, dự đoán tư thế camera, tạo token hình ảnh) là một "nguyên tử cơ bản" (atomic primitive). Mô hình sẽ gọi các nguyên tử này để xây dựng một không gian làm việc chung (shared workspace) chứa các thông tin bổ trợ (văn bản chi tiết, tín hiệu hình ảnh cấu trúc, dữ liệu hình học 3D) trước khi đưa ra kết quả cuối cùng, giúp tăng độ chính xác và tính nhất quán.

III. Main Results:​

Omni đạt kết quả ấn tượng trên nhiều lĩnh vực với chỉ 3 tỷ tham số kích hoạt:

  • Hiểu đa phương thức: Cạnh tranh với Qwen3-VL và InternVL3.5, đặc biệt cải thiện khi sử dụng cơ chế "tự suy nghĩ" (self-thinking).
  • Tạo hình ảnh: Vượt trội trên GenEval2 so với Flux và Z-Image nhờ khả năng mở rộng ngữ cảnh văn bản và token hình ảnh.
  • Tạo/Chỉnh sửa Video: Thể hiện khả năng tuân thủ hướng dẫn (instruction-following) vượt trội hơn so với các mô hình chuyên biệt như Wan2.1 và Hunyuan.
  • Hình học 3D: Đạt SOTA trong ước tính tư thế camera trên RealEstate10K và cho kết quả ước tính độ sâu (depth estimation) tương đương hoặc tốt hơn các mô hình chuyên dụng như VGGT và Depth-Anything 3.

IV. Conclusion & Future Works:​

Nghiên cứu kết luận rằng giá trị thực sự của mô hình thống nhất không nằm ở việc gộp chung các tác vụ, mà ở khả năng 'mở rộng ngữ cảnh' để hỗ trợ suy luận. Hướng phát triển tương lai bao gồm việc kết hợp với tối ưu hóa kiểu RL (Reinforcement Learning) để mô hình tự học chính sách: khi nào cần suy nghĩ, khi nào cần tạo hình ảnh nháp hoặc tính toán hình học trước khi trả lời.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về chiến lược tối ưu hóa RL để mô hình tự động quyết định quy trình Context Unrolling dựa trên độ khó của câu hỏi.
  2. Phân tích sự tương quan giữa các token hình ảnh tiềm ẩn (hidden visual tokens) và khả năng hiểu cấu trúc hình học 3D trong mô hình Any-to-Any.
  3. Phát triển khung đánh giá (benchmark) mới cho khả năng suy luận không gian đa bước, yêu cầu mô hình phải kết hợp cả văn bản, hình ảnh và hình học.

2. Patent:​

  1. Hệ thống hỗ trợ chụp ảnh thông minh trên điện thoại: Tự động phân tích độ sâu và tư thế camera để gợi ý góc chụp tối ưu hoặc tự động xóa vật thể dựa trên việc mô phỏng các góc nhìn xung quanh.
  2. Công cụ chỉnh sửa video bằng ngôn ngữ tự nhiên trên di động: Cho phép người dùng thay đổi chi tiết trong video thông qua mô tả văn bản, sử dụng cơ chế tạo token cấu trúc để đảm bảo sự nhất quán về chuyển động và hình dạng.
  3. Ứng dụng hỗ trợ đo đạc và thiết kế nội thất AR: Sử dụng khả năng ước tính độ sâu và tư thế camera từ một ảnh chụp duy nhất để tạo ra bản phác thảo 3D của căn phòng và gợi ý sắp xếp nội thất phù hợp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.21921
ArXiv Abstracthttps://arxiv.org/abs/2604.21921
PDF Downloadhttps://arxiv.org/pdf/2604.21921.pdf
Github RepositoryN/A

10. Vista4D: Video Reshooting with 4D Point Clouds (10 votes)​

Tác giả: Kuan Heng Lin, Zhizheng Liu, Pablo Salamanca, Yash Kant, Ryan Burgert, Yuancheng Xu, Koichi Namekata, Yiwei Zhao, Bolei Zhou, Micah Goldblum, Paul Debevec, Ning Yu

Xuất bản lúc: 2026-04-23

Tag: Video Diffusion, 4D Reconstruction, Novel View Synthesis, Point Clouds, Video Reshooting

I. Main Problem:​

Việc tái quay video (video reshooting) từ một video nguồn sang các quỹ đạo camera mới thường gặp khó khăn do các lỗi hình học (artifacts) trong ước tính độ sâu của video thực tế, gây ra hiện tượng nhấp nháy thời gian, mất chi tiết nội dung và thiếu kiểm soát chính xác đối với các góc nhìn khó.

II. Main Idea:​

Đề xuất Vista4D, một khung làm việc tái quay video dựa trên nền tảng đám mây điểm 4D (4D point cloud). Các điểm chính bao gồm: (1) Xây dựng biểu diễn đám mây điểm 4D với các pixel tĩnh được duy trì theo thời gian thông qua phân đoạn và tái tạo 4D để bảo tồn nội dung và tăng tín hiệu điều khiển camera. (2) Huấn luyện mô hình với dữ liệu đa góc nhìn động có chứa lỗi tái tạo để tăng cường độ bền bỉ (robustness) đối với các nhiễu hình học trong thực tế. (3) Kết hợp điều kiện hóa (conditioning) cả video nguồn và hình ảnh render từ đám mây điểm vào mô hình Video Diffusion Transformer để tận dụng khả năng tạo hình ảnh nhất quán.

III. Main Results:​

Vista4D vượt trội hơn các phương pháp baseline về độ chính xác điều khiển camera (sai số dịch chuyển và xoay thấp hơn) và tính nhất quán 3D. Kết quả định lượng trên tập dữ liệu iphone cho thấy cải thiện đáng kể về PSNR, LPIPS và đặc biệt là sai số luồng quang học (EPE), chứng minh khả năng bảo tồn chuyển động của video nguồn. Nghiên cứu người dùng cũng xác nhận Vista4D dẫn đầu về khả năng bảo tồn nội dung, độ chính xác camera và chất lượng hình ảnh tổng thể.

IV. Conclusion & Future Works:​

Vista4D cung cấp một giải pháp mạnh mẽ cho việc tái quay video, có khả năng mở rộng sang các ứng dụng như mở rộng cảnh động, tái cấu trúc cảnh 4D và suy luận video dài với bộ nhớ. Hạn chế hiện tại là thiếu cơ chế điều khiển mức độ ưu tiên giữa việc tuân thủ nghiêm ngặt đám mây điểm (explicit prior) và việc sử dụng tri thức của mô hình video (implicit prior). Hướng phát triển tương lai là thêm cơ chế nội suy giữa hai yếu tố này.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tích hợp cơ chế điều khiển nội suy (interpolation control) cho phép người dùng tùy chỉnh mức độ phụ thuộc vào đám mây điểm 4D so với khả năng tự bù đắp của Video Diffusion.
  2. Phát triển phương pháp tối ưu hóa việc phân đoạn pixel tĩnh trong môi trường ánh sáng thay đổi mạnh để cải thiện độ chính xác của đám mây điểm 4D trong điều kiện thực tế phức tạp.
  3. Khám phá việc áp dụng Vista4D cho các video có độ phân giải cực cao (4K/8K) thông qua kỹ thuật phân mảnh latent tokens để giảm chi phí tính toán mà vẫn giữ được chi tiết hình học.

2. Patent:​

  1. Tính năng 'Thay đổi góc quay hậu kỳ' trên điện thoại: Cho phép người dùng quay một video bình thường, sau đó chọn một quỹ đạo camera mới (ví dụ: quay quanh đối tượng hoặc zoom ra xa) để AI tự động tạo ra video mới với góc nhìn khác mà không cần quay lại.
  2. Công cụ 'Thêm đối tượng ảo vào video động': Cho phép chèn một đối tượng từ video khác vào cảnh quay hiện tại bằng cách hợp nhất đám mây điểm 4D, tự động điều chỉnh ánh sáng và bóng đổ của đối tượng mới để hòa hợp với môi trường xung quanh.
  3. Hệ thống 'Mở rộng bối cảnh video': Sử dụng các ảnh chụp tĩnh hoặc video ngắn về môi trường xung quanh để mở rộng khung hình của một video quay cận cảnh, tạo ra góc nhìn rộng hơn (wide-angle) mà vẫn giữ nguyên các chuyển động động trong video gốc.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.21915
ArXiv Abstracthttps://arxiv.org/abs/2604.21915
PDF Downloadhttps://arxiv.org/pdf/2604.21915.pdf
Github Repositoryhttps://github.com/Eyeline-Labs/Vista4D

11. Hybrid Policy Distillation for LLMs (10 votes)​

Tác giả: Wenhong Zhu, Ruobing Xie, Rui Wang, Pengfei Liu

Xuất bản lúc: 2026-04-22

Tag: Knowledge Distillation, LLMs, KL Divergence, On-policy Learning, Model Compression

I. Main Problem:​

Việc nén các mô hình ngôn ngữ lớn (LLMs) thông qua chưng cất tri thức (Knowledge Distillation - KD) thường gặp khó khăn do sự đánh đổi giữa các hướng phân kỳ (Forward KL vs Reverse KL) và chế độ dữ liệu (Off-policy vs On-policy). Cụ thể, Forward KL dễ gây ra hiện tượng dự đoán bị làm mượt quá mức (over-smoothed), trong khi Reverse KL dễ gây mất ổn định khi khoảng cách giữa mô hình giáo viên và học sinh quá lớn. Ngoài ra, việc sử dụng dữ liệu on-policy gây tốn kém chi phí tính toán, còn off-policy lại gây ra sự sai lệch giữa lúc huấn luyện và lúc suy luận.

II. Main Idea:​

Đề xuất phương pháp Hybrid Policy Distillation (HPD), một khung làm việc thống nhất coi KD là bài toán tối ưu hóa log-likelihood có trọng số ở cấp độ token. HPD kết hợp ưu điểm của cả Forward KL (bao phủ các chế độ/mode) và Reverse KL (tìm kiếm chế độ/mode-seeking) thông qua cơ chế trọng số linh hoạt. Phương pháp này sử dụng một bộ ước lượng K1K_1 âm để điều chỉnh trọng số cho token chuyên gia (expert token) và token do mô hình học sinh tự lấy mẫu (sampled token), giúp vừa duy trì hiệu quả tính toán của giám sát one-hot, vừa xử lý được cả dữ liệu offline và lấy mẫu on-policy nhẹ.

III. Main Results:​

HPD cho thấy sự cải thiện vượt trội trên nhiều tác vụ:

  • Suy luận toán học (Long-generation): Cải thiện đáng kể hiệu suất trên các tập dữ liệu AIME, AMC, Math Obly. Ví dụ, nâng cao khả năng của Qwen 2.5 3B lên 41% và LLaMA 3 3B lên 77.9% so với baseline.
  • Hội thoại và Lập trình (Short-generation): Đạt kết quả cao nhất trên AlpacaEval2, Arena-Hard và các benchmark lập trình như HumanEval, MBPP.
  • Độ ổn định: Tránh được hiện tượng sụp đổ entropy (entropy collapse) thường thấy ở SFT và duy trì sự căn chỉnh phân phối ổn định hơn giữa mô hình học sinh và giáo viên.
  • Khả năng mở rộng: HPD cung cấp khởi tạo tốt cho các giai đoạn tối ưu hóa tiếp theo như DPO, giúp mô hình nhỏ đạt hiệu suất tiệm cận mô hình giáo viên.

IV. Conclusion & Future Works:​

HPD chứng minh rằng việc kết hợp linh hoạt các hướng phân kỳ KL và chế độ dữ liệu ở cấp độ token giúp tăng cường hiệu quả nén LLM mà không làm mất đi khả năng suy luận phức tạp. Tác giả đề xuất hướng nghiên cứu tương lai là áp dụng HPD sớm hơn trong quá trình huấn luyện, chẳng hạn như trong giai đoạn mid-training hoặc pre-training, để đánh giá tiềm năng tối ưu hóa LLM từ sớm.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu áp dụng HPD cho các mô hình đa phương thức (Multimodal LLMs) để chưng cất khả năng hiểu hình ảnh/video từ mô hình lớn sang mô hình nhỏ.
  2. Phân tích chuyên sâu về sự tương tác giữa HPD và các kỹ thuật Quantization (lượng tử hóa) để tối ưu hóa tối đa bộ nhớ cho thiết bị đầu cuối.
  3. Phát triển cơ chế tự chưng cất lặp lại (Iterative Self-Distillation) kết hợp với HPD để mô hình tự cải thiện mà không cần mô hình giáo viên cố định.

2. Patent:​

  1. Hệ thống tối ưu hóa trợ lý ảo trên điện thoại: Sử dụng phương pháp chưng cất lai để nén mô hình ngôn ngữ lớn xuống kích thước nhỏ (dưới 3B tham số) nhưng vẫn giữ được khả năng suy luận toán học và lập trình, cho phép chạy offline trực tiếp trên chip NPU của điện thoại.
  2. Phương pháp cập nhật mô hình cá nhân hóa thời gian thực: Áp dụng cơ chế điều chỉnh trọng số token của HPD để mô hình trên thiết bị di động nhanh chóng học theo phong cách giao tiếp của người dùng (coi người dùng là giáo viên) mà không gây ra hiện tượng quên kiến thức cũ.
  3. Giải pháp nén mô hình cho ứng dụng soạn thảo mã nguồn trên di động: Tích hợp HPD để chuyển giao tri thức từ các mô hình lập trình khổng lồ sang mô hình siêu nhỏ, giúp gợi ý code chính xác và mượt mà ngay cả khi kết nối mạng yếu hoặc không có mạng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.20244
ArXiv Abstracthttps://arxiv.org/abs/2604.20244
PDF Downloadhttps://arxiv.org/pdf/2604.20244.pdf
Github Repositoryhttps://github.com/zwhong714/Hybrid-Policy-Distillation

12. EditCrafter: Tuning-free High-Resolution Image Editing via Pretrained Diffusion Model (10 votes)​

Tác giả: Kunho Kim, Sumin Seo, Yongjun Cho, Hyungjin Chung

Xuất bản lúc: 2026-04-11

Tag: Diffusion Models, Image Editing, High-Resolution, T2I, Tuning-free

I. Main Problem:​

Các mô hình khuếch tán văn bản-thành-hình ảnh (T2I) tiền huấn luyện thường bị giới hạn bởi độ phân giải huấn luyện (ví dụ: 512x512 hoặc 1024x1024). Khi áp dụng để chỉnh sửa hình ảnh độ phân giải cao hoặc tỷ lệ khung hình tùy ý, các phương pháp hiện tại thường gặp lỗi như: cấu trúc đối tượng không thực tế, lặp lại đối tượng (object repetition) hoặc xuất hiện các đường nối (seams) giữa các mảnh ảnh (patches) khi thực hiện chỉnh sửa theo từng vùng.

II. Main Idea:​

Đề xuất EditCrafter, một quy trình chỉnh sửa hình ảnh độ phân giải cao (lên đến 4K) mà không cần tinh chỉnh (tuning-free) thông qua hai kỹ thuật chính:

  1. Tiled DDIM Inversion: Chia hình ảnh độ phân giải cao thành các ô (tiles) nhỏ khớp với độ phân giải huấn luyện để thực hiện quá trình đảo ngược (inversion), giúp bảo toàn đặc điểm nhận dạng của hình ảnh gốc.
  2. NDCFG++ (Manifold-constrained Noise-damped Classifier-Free Guidance): Kết hợp kỹ thuật giãn kernel (kernel dilation) để mở rộng trường thụ cảm của mạng U-Net, cùng với cơ chế hướng dẫn mới giúp kiểm soát chi tiết thông qua thang đo hướng dẫn nhỏ (λ\lambda), đảm bảo kết quả chỉnh sửa bám sát văn bản mà không làm biến dạng cấu trúc hình ảnh.

III. Main Results:​

  • Hiệu quả vượt trội: Vượt qua phương pháp baseline CSD về cả định lượng (điểm ImageReward, HPSv2, CLIPScore) và định tính trên nhiều độ phân giải (4x, 8x, 16x).
  • Chất lượng hình ảnh: Loại bỏ hiện tượng lặp lại đối tượng và các đường nối giữa các patch, duy trì chi tiết sắc nét (như lông thú, mắt) tốt hơn nhiều so với phương pháp hạ cấp độ phân giải rồi nâng cấp (downsampling →\rightarrow edit →\rightarrow super-resolution).
  • Chi phí tính toán: Hoạt động hiệu quả trên một GPU RTX 4090, mức sử dụng VRAM từ 3.8GB đến 18.2GB tùy theo độ phân giải.

IV. Conclusion & Future Works:​

EditCrafter chứng minh rằng có thể thực hiện chỉnh sửa hình ảnh độ phân giải cực cao một cách mượt mà và chính xác mà không cần huấn luyện lại mô hình. Tác giả kỳ vọng khung làm việc này sẽ được tích hợp vào các ứng dụng thực tế để nâng cao khả năng sáng tạo nội dung số và thiết kế công nghiệp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu kết hợp EditCrafter với các mô hình ControlNet để cho phép điều khiển cấu trúc (ví dụ: depth map, sketch) cho hình ảnh độ phân giải 4K.
  2. Khám phá khả năng mở rộng EditCrafter cho việc chỉnh sửa video độ phân giải cao bằng cách duy trì sự nhất quán về thời gian giữa các khung hình được xử lý theo dạng tiled.
  3. Phân tích sâu hơn về tác động của các giá trị λ\lambda khác nhau trong NDCFG++ đối với các loại nội dung hình ảnh khác nhau (ví dụ: phong cảnh so với chân dung).

2. Patent:​

  1. Tính năng 'Chỉnh sửa chi tiết siêu phân giải' trên điện thoại: Cho phép người dùng thay đổi một chi tiết nhỏ trong ảnh chụp 4K (ví dụ: thay đổi màu áo) mà không làm mờ hoặc thay đổi các vùng xung quanh.
  2. Công cụ 'Mở rộng bối cảnh thông minh' cho ảnh Panorama: Sử dụng kỹ thuật giãn kernel để chỉnh sửa hoặc thêm đối tượng vào ảnh toàn cảnh độ phân giải cao mà không tạo ra các vết nối giữa các vùng ảnh.
  3. Ứng dụng 'Thiết kế sản phẩm nhanh' trên thiết bị di động: Cho phép các nhà thiết kế thay đổi vật liệu hoặc màu sắc của sản phẩm trong ảnh chụp độ phân giải cao thông qua câu lệnh văn bản đơn giản mà không cần dùng phần mềm đồ họa phức tạp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.10268
ArXiv Abstracthttps://arxiv.org/abs/2604.10268
PDF Downloadhttps://arxiv.org/pdf/2604.10268.pdf
Github Repositoryhttps://github.com/EditCrafter/EditCrafter