Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-07-17

Báo cáo được tạo tự động vào lúc 2026-07-20 14:16:53 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. From Pixels to States: Rethinking Interactive World Models as Game Engines (23 votes)​

Tác giả: Zhen Li, Zian Meng, Shuwei Shi, Mingliang Zhai, Jiaming Tan, et al.

Xuất bản lúc: 2026-07-15

Tag: World Models, Game Engines, Interactive Video Generation, State Estimation, Diffusion Models, Long-Horizon Consistency, Real-Time Generation

I. Main Problem:​

Các mô hình tạo video tương tác hiện tại có thể tạo cảnh mượt và điều khiển được, nhưng vẫn chưa đáp ứng ba yêu cầu cốt lõi của một thế giới game thực sự:

  • Kết quả tương tác phải tuân theo quy tắc (sát thương, stamina, cooldown) thay vì chỉ đoán pixel
  • Hậu quả phải kéo dài khi vật thể rời khỏi tầm nhìn và quay lại (ví dụ: boss chuyển phase)
  • Vòng lặp phải chạy thời gian thực với độ trễ phù hợp cho cảm giác điều khiển và thời điểm xảy ra hiệu ứng

Hầu hết mô hình hiện tại giữ trạng thái game ẩn trong pixel, nên khó đảm bảo tính nhất quán logic và không gian trong dài hạn.

II. Main Idea:​

Bài báo đề xuất xem mô hình thế giới tương tác như một game engine thông thường, tổ chức quanh vòng lặp action → state → observation thay vì action → pixel trực tiếp. Phân tích theo bốn chiều:

  • Điều khiển hành động người chơi: quỹ đạo hình học, tín hiệu thiết bị, hay sự kiện ngữ nghĩa
  • Động lực học trạng thái game: trạng thái ẩn trong pixel, tiềm ẩn học được, hay mô tả tường minh
  • Tính nhất quán trạng thái-quan sát: bộ nhớ lưu quan sát cũ hay ước lượng trạng thái hiện tại
  • Sinh tương tác thời gian thực: giảm độ trễ sinh khung hình và độ trễ điều kiện hóa

Bên cạnh đó, tác giả công bố công cụ thu thập dữ liệu quy mô cho Black Myth: Wukong với hơn 90 giờ chơi, hành động và trạng thái engine được căn chỉnh theo khung hình.

Ví dụ đời thường: giống như đầu bếp không nấu ngay khi nghe khách gọi món, mà ghi order, kiểm tra nguyên liệu, rồi mới chế biến — bài báo cho rằng AI cũng nên cập nhật trạng thái thế giới trước khi vẽ khung hình tiếp theo.

III. Main Results:​

  • Khung phân tích thống nhất tổ chức lĩnh vực thành bốn chiều vòng lặp action-state-observation, làm rõ điểm mạnh và đánh đổi của từng họ phương pháp.
  • Phân tích chi tiết ba họ điều khiển (quỹ đạo, tín hiệu thiết bị, sự kiện ngữ nghĩa), ba họ trạng thái (pixel, tiềm ẩn, tường minh), hai họ bộ nhớ (lưu quá khứ, ước lượng hiện tại), và hai họ giảm độ trễ (sinh khung hình, điều kiện hóa).
  • Bộ dữ liệu Black Myth: Wukong hơn 90 giờ gameplay ở 1280×720, 30 FPS, với hành động bàn phím/chuột, trạng thái engine (máu, stamina, vị trí, animation, kỹ năng, ...), RGB và depth map được căn chỉnh theo khung hình.
  • Hai dạng chú thích kèm theo: slot caption (cấu trúc hóa hành động/trạng thái theo cửa sổ thời gian) và semantic caption (sinh bởi Qwen3-VL) để hỗ trợ huấn luyện mô hình dựa trên ngôn ngữ và trạng thái.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng điều khiển đầu vào tự nhiên, cảnh khám phá, và tốc độ gần thời gian thực đã đạt được đáng kể, nhưng ba khả năng còn khó đều xoay quanh trạng thái game: xác định kết quả từ điều kiện tích lũy, duy trì hậu quả ngoài tầm nhìn, và làm hiệu ứng xuất hiện đúng thời điểm theo quy tắc. Hướng tương lai: tích hợp trạng thái game tường minh vào vòng sinh, neo cập nhật bộ nhớ vào chuyển tiếp trạng thái, và căn chỉnh thời điểm kết quả với luật game/animation.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mô hình world model tích hợp trạng thái game tường minh: dự đoán trạng thái tiếp theo từ hành động, sau đó điều kiện hóa diffusion sinh khung hình từ trạng thái đó.
  2. Cơ chế bộ nhớ dựa trên chuyển tiếp trạng thái: cập nhật ước lượng trạng thái thế giới khi vật thể ngoài tầm nhìn, thay vì chỉ lưu quan sát cũ.
  3. Benchmark đánh giá tính nhất quán luật game trong mô hình tạo video tương tác: kiểm tra HP, stamina, cooldown, và vị trí đối tượng trong rollout dài.

2. Patent:​

  1. Hệ thống game AI streaming trên điện thoại: máy chủ duy trì trạng thái game tường minh đồng bộ với thao tác cảm ứng, chỉ gửi khung hình đã được điều kiện hóa bởi trạng thái để giảm băng thông và tăng tính nhất quán.
  2. Ứng dụng quay video gameplay thành game chơi được: phân tích video để trích xuất hành động và trạng thái, sau đó xây dựng mô hình world model cho phép người dùng điều khiển nhân vật trong cảnh quay đó.
  3. Hệ thống kiểm thử game tự động bằng mô hình trạng thái: so sánh trạng thái dự đoán của mô hình với trạng thái engine thực để phát hiện lỗi logic, lỗi tương tác, và sai lệch thời gian trong quá trình phát triển game.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.14076
ArXiv Abstracthttps://arxiv.org/abs/2607.14076
PDF Downloadhttps://arxiv.org/pdf/2607.14076.pdf
Github Repositoryhttps://github.com/AlayaLab/WildWorld

2. SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning (69 votes)​

Tác giả: Jinyang Wu, Shuo Yang, Zhengxi Lu, Fan Zhang, Yuhao Shen, et al.

Xuất bản lúc: 2026-07-16

Tag: Reinforcement Learning, LLM Agents, On-Policy Distillation, Hindsight Learning, Skill Distillation, Long-Horizon Tasks

I. Main Problem:​

Huấn luyện agentic RL cho LLM chủ yếu dựa vào outcome-based reward thưa thớt ở cấp trajectory, tức chỉ biết cuối cùng thành công hay thất bại mà không chỉ rõ bước nào, quan sát nào, hoặc lỗi cục bộ nào cần sửa. Điều này tạo ra khoảng cách giám sát giữa phản hồi cấp episode và học chính sách cấp token, khiến agent khó phân bổ credit chi tiết trong các tương tác dài hạn. Các phương pháp hindsight tĩnh hoặc skill prompt ở inference cũng không theo kịp sự tiến hóa của chính sách và các failure mode mới trong quá trình huấn luyện.

II. Main Idea:​

SEED là vòng lặp tự tiến hóa: chính sách hiện tại vừa thu thập trajectory vừa đóng vai trò analyzer để rút ra các hindsight skill (mô tả ngôn ngữ tự nhiên về chiến lược tái sử dụng, quan sát then chốt, hoặc quy tắc tránh lỗi). Sau đó, các hành động đã sampling được chấm lại dưới hai ngữ cảnh: ngữ cảnh thường (student) và ngữ cảnh được bổ sung skill (teacher). Độ lệch log-probability giữa hai nhánh được chuyển thành tín hiệu distillation cấp token dày đặc, tối ưu đồng thời với objective RL dựa trên kết quả. Vì actor và analyzer chia sẻ cùng một checkpoint, khả năng ra quyết định và khả năng phân tích hindsight cùng tiến bộ qua từng vòng lặp. Ví dụ đời thường: giống như người chơi game tự rút kinh nghiệm sau mỗi màn, rồi dùng chính những bài học đó để điều chỉnh từng nút bấm trong lần chơi tiếp theo, thay vì chỉ biết thắng hay thua.

III. Main Results:​

  • ALFWorld: SEED đạt 91.8% (Qwen2.5-3B), 96.1% (Qwen2.5-7B), 92.0% (Qwen3-1.7B), vượt GRPO từ 14.9 đến 45.9 điểm trung bình và vượt các baseline skill-distillation tĩnh.
  • Search-based QA: cải thiện 1.4-9.3 điểm so với GRPO và vượt hầu hết các baseline tĩnh.
  • WebShop: điểm completion cao hơn GRPO 8.7-19.8 điểm và success rate cao hơn 5.5-39.0 điểm.
  • Sample efficiency: SEED chỉ cần 60% dữ liệu để vượt GRPO huấn luyện với toàn bộ dữ liệu.
  • Tổng quát hóa: trên ALFWorld unseen split, SEED vượt GRPO 15.3 điểm, với cải thiện lớn nhất trên Heat (+35.0), Look (+18.3), và Pick (+16.5).
  • Training dynamics: SEED đạt success rate cao hơn sớm hơn và rút ngắn số lượt tương tác xuống ~13 turns so với ~16 turns của GRPO, phản ánh chiến lược trực tiếp hơn.

IV. Conclusion & Future Works:​

SEED cho thấy việc nội hóa hindsight skill vào chính sách qua on-policy distillation tự tiến hóa hiệu quả hơn hẳn so với outcome-only RL và cả việc chèn skill prompt ở inference time. Bằng cách đồng bộ hóa analyzer với checkpoint chính sách mới nhất, giám sát hindsight luôn phù hợp với phân phối trajectory và failure mode hiện tại. Hướng tương lai: mở rộng cho các môi trường liên tục/động, kết hợp thư viện skill có cấu trúc, và điều tra cách tự động đánh giá chất lượng skill để giảm phụ thuộc vào analyzer bên ngoài ở giai đoạn SFT ban đầu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SEED cho multi-agent học tập, trong đó mỗi agent trao đổi hindsight skill để phối hợp trong tác vụ dài hạn.
  2. Kết hợp SEED với process reward model để kết hợp dense supervision từ cả skill tự sinh và reward mô hình học được.
  3. Nghiên cứu tự đánh giá chất lượng hindsight skill trong vòng lặp tự tiến hóa, loại bỏ skill nhiễu hoặc đã lỗi thời.
  4. Áp dụng SEED cho embodied agents có quan sát đa phương thức (vision + text), khai thác hindsight skill về cả nhận thức và hành động.

2. Patent:​

  1. Trợ lý ảo tự học trên điện thoại: sau mỗi phiên hoàn thành nhiệm vụ đa bước (đặt vé, mua sắm), ứng dụng tự rút ra nguyên tắc thành công/thất bại và tinh chỉnh hành vi đề xuất nút bấm tiếp theo mà không cần gửi dữ liệu thô lên server.
  2. Hệ thống chatbot hỗ trợ khách hàng: agent tự phân tích các cuộc hội thoại đã kết thúc để trích xuất kỹ năng xử lý tình huống (ví dụ: cách xin lỗi, cách chuyển tiếp), sau đó nội hóa vào mô hình cục bộ để đề xuất câu trả lời tiếp theo tốt hơn.
  3. Robot dịch vụ gia đình tự cải thiện qua tương tác: sau mỗi lần thực hiện nhiệm vụ (lấy đồ, dọn dẹp), robot tự tổng hợp kỹ năng hành động và điều chỉnh chính sách điều khiển, không cần kỹ sư can thiệp hay bộ nhớ skill riêng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.14777
ArXiv Abstracthttps://arxiv.org/abs/2607.14777
PDF Downloadhttps://arxiv.org/pdf/2607.14777.pdf
Github Repositoryhttps://github.com/jinyangwu/SEED

3. MultiRef-Compass: Towards Comprehensive Evaluation of Multi-Reference-to-Audio-Video Generation (29 votes)​

Tác giả: Xiaohan Zhang, Yuqing Wen, Junlin Chen, Yuqi Tang, Yiting He, et al.

Xuất bản lúc: 2026-07-15

Tag: Audio-Video Generation, Multi-Reference Generation, Benchmark, MLLM-as-a-Judge, Multimodal Evaluation

I. Main Problem:​

Các bộ đánh giá hiện tại cho sinh video-audio chỉ tập trung vào mô tả văn bản đơn thuần, một ảnh tham chiếu duy nhất, hoặc kiểm tra sự khớp audio-visual riêng lẻ, nên bỏ ngỏ thiết lập Multi-reference-to-audio-video (MR2AV). Trong thiết lập này, mô hình phải hiểu quan hệ giữa các tham chiếu (cùng đối tượng hay khác đối tượng), gán đúng vai trò, hành động, giọng nói, và tổng hợp thành cảnh audio-visual mạch lạc. Thiếu benchmark dẫn đến việc các lỗi gán nhầm đối tượng, sao chép ảnh cứng nhắc, hoặc âm thanh không đúng nguồn khó bị phát hiện và so sánh.

II. Main Idea:​

MultiRef-Compass là benchmark chuẩn hóa cho MR2AV: xây dựng 350 mẫu từ pipeline lắp ráp tài sản (asset-composition) có kiểm soát, gồm ba nhóm chính — bảo toàn chủ thể qua nhiều góc nhìn, gán nhiều thực thể, và tổng hợp người–vật–cảnh. Đánh giá kết hợp số đo tự động (chất lượng kỹ thuật, độ giống thực thể) với MLLM-as-a-Judge có bước kiểm định lại (rejudging) trên 4 trục: Basic Quality, Reference Consistency, Audio-Visual Consistency, Instruction Following, với 14 chỉ số con được bật/tắt theo metadata từng mẫu.

Ví dụ đời thường: giống như một kỳ thi lái xe chuẩn hóa, trong đó mỗi thí sinh phải xử lý cùng một tuyến đường phức tạp, sau đó ban giám khảo xem lại toàn bộ băng ghi hình song song để chấm điểm nhất quán thay vì dựa vào cảm tính của một người.

III. Main Results:​

  • Seedance 2.0 đứng đầu tổng thể nhờ cân bằng cả 4 trục; Gemini-Omni đứng thứ hai, mạnh về Basic Quality và Audio-Visual Consistency.
  • Kling 3.0 đạt độ giống thực thể (EF) cao nhất, nhưng Seedance 2.0 tốt hơn về gán đúng thực thể (BC) và giữ chi tiết (DP).
  • Gemini-Omni có đồng bộ môi–tiếng nói (SLS) tốt nhất; Seedance 2.0 dẫn về sự kiện–âm thanh khớp nhau (ESM); HappyHouse 1.1 dẫn về nguồn âm thanh đúng (SC).
  • Instruction Following không đồng đều: Seedance mạnh yêu cầu hình ảnh, Kling mạnh âm thanh/lời thoại, Wan 2.7 mạnh thứ tự thời gian.
  • Các mô hình mã nguồn mở (SkyReels-V3, Wan2.1-VACE) cách biệt rõ rệt với mô hình độc quyền, đặc biệt ở Reference Consistency và Instruction Following.
  • Hệ số P_paste giúp phát hiện và phạt hiện tượng "dán ảnh tham chiếu vào video" như ở SkyReels-V3, điều chỉnh lại thứ hạng cho đúng khả năng tổng hợp tự nhiên.
  • Tương quan với sở thích người xem cao: Pearson 0.90–0.96 trên các trục.

IV. Conclusion & Future Works:​

MultiRef-Compass cho thấy đánh giá MR2AV cần tách biệt chất lượng cảm quan, bảo toàn và gán tham chiếu, khớp audio-visual, và tuân thủ chỉ dẫn thay vì dùng một điểm số tổng. Các mô hình hiện tại vẫn yếu khi tổng hợp nhiều thực thể, gán vai trò, đồng bộ môi, và tuân thủ chi tiết. Hướng tương lai: mở rộng benchmark với tham chiếu âm thanh/video nhiều hơn, xây dựng chỉ số đồng bộ môi bền vững cho khuôn mặt động và cảnh nhiều người nói, giảm thiên lệch/chi phí của MLLM-as-a-Judge, và phát triển mô hình mã nguồn mở cân bằng cả bốn trục.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phương pháp huấn luyện đặc biệt để cải thiện khả năng gán đúng nhiều thực thể từ ảnh tham chiếu trong sinh video-audio.
  2. Mô hình nhận diện nguồn âm thanh trong video: liên kết giọng nói, hiệu ứng âm thanh với đối tượng xuất hiện trên màn hình.
  3. Thuật toán đồng bộ môi và giọng nói ổn định cho khuôn mặt xoay/ngước và cảnh đối thoại nhiều người.
  4. Mở rộng MultiRef-Compass sang tham chiếu video, âm thanh, và bộ tham chiếu lớn hơn ba ảnh.
  5. Mô hình sinh video-audio mã nguồn mở cạnh tranh được với các hệ thống độc quyền về bảo toàn tham chiếu và tuân thủ chỉ dẫn.

2. Patent:​

  1. Ứng dụng điện thoại tạo video cá nhân từ vài ảnh và lời thoại: người dùng chọn ảnh khuôn mặt, ảnh trang phục, ảnh bối cảnh, nhập kịch bản; ứng dụng sinh đoạn video ngắn với đúng người, đúng đồ, đúng cảnh, môi vận động khớp lời nói.
  2. Hệ thống làm thiệp video/voice greeting: từ một vài ảnh chân dung và đoạn giọng nói mẫu, tạo đoạn clip người thân chúc mừng, giữ giọng và đặc điểm khuôn mặt, gửi qua tin nhắn hoặc mạng xã hội.
  3. Công cụ sản xuất quảng cáo ngắn cho thương hiệu: nhãn hàng cung cấp logo, sản phẩm, ảnh người đại diện, kịch bản; hệ thống tạo video quảng cáo đảm bảo các tài sản thương hiệu xuất hiện đúng vai, đúng thứ tự, có âm thanh phù hợp.
  4. Thử đồ ảo dạng video: người dùng tải ảnh mặt, ảnh trang phục, và ảnh bối cảnh; ứng dụng tạo đoạn clip mặc thử để xem phối đồ, giữ đặc điểm cơ thể và chuyển động tự nhiên.
  5. Trợ lý tạo nội dung giáo dục/đào tạo: giáo viên cung cấp ảnh nhân vật, đạo cụ, cảnh lớp học và kịch bản; hệ thống tạo video minh họa với lời giảng thích, đảm bảo các yếu tố hình ảnh và âm thanh khớp đúng nội dung bài học.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.14189
ArXiv Abstracthttps://arxiv.org/abs/2607.14189
PDF Downloadhttps://arxiv.org/pdf/2607.14189.pdf
Github Repositoryhttps://github.com/zxhhh0201/MultiRef-Compass

4. VideoChat3: Fully Open Video MLLM for Efficient and Generalist Video Understanding (108 votes)​

Tác giả: Xinhao Li, Yuhan Zhu, Xiangyu Zeng, Yuhao Dong, Haoning Wu, et al.

Xuất bản lúc: 2026-07-16

Tag: Video MLLM, Multimodal Learning, Efficiency, Long Video Understanding, Streaming Video, Open Source, Temporal Reasoning

I. Main Problem:​

Các mô hình Video Multimodal Large Language Model (Video MLLM) hiện tại gặp ba hạn chế chính:

  • Khái quát hóa kém: thường chỉ tối ưu cho một loại video nhất định (ngắn, dài, hoặc streaming), khó triển khai trong thế giới thực với đa dạng độ dài, tốc độ khung hình và chế độ tương tác.
  • Chi phí tính toán cao: việc mở rộng mô hình ảnh lên video làm số lượng visual token tăng nhanh, khiến xử lý video dài và streaming trở nên tốn kém.
  • Thiếu tính mở và tái tạo: nhiều mô hình mạnh không công khai code huấn luyện, chiến lược hoặc dữ liệu, cản trở cộng đồng nghiên cứu và so sánh công bằng.

II. Main Idea:​

VideoChat3 là một video MLLM hoàn toàn mở, hiệu quả và đa năng, đạt được sự cân bằng giữa khả năng khái quát hóa rộng và chi phí tính toán thấp. Ba trụ cột chính:

  • Inflated 3D Vision Transformer (I3D-ViT): nâng cấp image tokenizer lên bằng cách mở rộng self-attention 2D thành spatiotemporal attention 3D, nhóm các khung hình liên tiếp thành chunk, mô hình hóa không gian-thời gian cục bộ, rồi gộp theo thời gian để giảm token. Với T = 4, tỷ lệ nén spatiotemporal đạt 16×.
  • Adaptive Frame Resolution: cho streaming, mô hình tự động điều chỉnh độ phân giải khung hình dựa trên mức độ quan trọng: giai đoạn bình thường dùng độ phân giải thấp (224² pixel/khung), khi phát hiện manh mối quan trọng thì chuyển sang cao (448²) để quan sát chi tiết. Trạng thái bao gồm Silence, Standby, Response.
  • Ba bộ dữ liệu chất lượng cao: VideoChat3-Academic2M (2.27M mẫu từ nguồn học thuật được làm giàu bằng chứng), VideoChat3-LV116K (116.2K mẫu video dài), VideoChat3-OL617K (617.2K mẫu streaming chủ động). Đi kèm với chiến lược học từng bước (curriculum learning).

Ví dụ đời thường: giống như người xem bóng đá trực tiếp — khi bóng ở giữa sân thì xem lơ mơ, nhưng khi tiền đạo sút vào khung thành, người xem tự động căng mắt quan sát từng chi tiết để xác định bóng có vào lưới hay không, rồi mới hô lên câu trả lời.

III. Main Results:​

  • VideoChat3 chỉ có 4B tham số nhưng vượt các mô hình open-source cùng hoặc lớn hơn như Qwen3-VL-4B và Molmo2-4B trên nhiều benchmark video tổng quát, video dài, temporal grounding và streaming.
  • Hiệu quả vượt trội: nhờ I3D-ViT và Adaptive Frame Resolution, throughput huấn luyện và tốc độ suy luận cao hơn đáng kể so với các phương pháp truyền thống dùng image tokenizer và lấy mẫu thưa.
  • Đa nhiệm video đa dạng: mô hình hoạt động tốt trên hiểu video ngắn, video dài, temporal grounding, hiểu chuyển động tinh vi, và phản hồi chủ động trong streaming.
  • Cộng đồng hóa: toàn bộ trọng số, code huấn luyện, chiến lược và pipeline dữ liệu được công khai, tạo nền tảng tái tạo cho nghiên cứu video MLLM.

IV. Conclusion & Future Works:​

VideoChat3 chứng minh rằng một video MLLM nhỏ, mở, đa năng và hiệu quả là khả thi khi kết hợp kiến trúc nén spatiotemporal sớm, cơ chế phân bổ độ phân giải thích ứng, và pipeline dữ liệu tổng hợp quy mô lớn. Việc mở toàn bộ nguồn lực giúp hạ rào cản cho cộng đồng trong tiếp cận dữ liệu, huấn luyện và triển khai. Hướng tương lai: mở rộng sang các chế độ tương tác thời gian thực phức tạp hơn, tối ưu thêm I3D-ViT cho độ phân giải và độ dài video cực lớn, và phát triển các tập dữ liệu đa ngôn ngữ, đa miền.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng I3D-ViT và Adaptive Frame Resolution cho các mô hình Vision-Language đa năng khác (ảnh + video) để tăng hiệu quả xử lý video mà không làm giảm chất lượng hiểu ngôn ngữ.
  2. Nghiên cứu cơ chế attention có chọn lọc trong streaming video: mô hình tự quyết định không chỉ độ phân giải mà còn khoảng thời gian lùi (lookback window) cần xem xét trước khi phản hồi.
  3. Xây dựng benchmark và phương pháp đánh giá hallucination trong video dài và streaming, tập trung vào khả năng trích dẫn bằng chứng thời gian chính xác.

2. Patent:​

  1. Trợ lý video thông minh trên điện thoại: ứng dụng quay video dài hoặc livestream từ camera điện thoại, tự động trả lời câu hỏi của người dùng về sự kiện, đối tượng hoặc hành động trong video mà không cần gửi toàn bộ khung hình độ phân giải cao lên đám mây, tiết kiệm pin và băng thông.
  2. Hệ thống giám sát an ninh chủ động: camera liên tục theo dõi ở chế độ năng lượng thấp, chỉ nâng độ phân giải và kích hoạt cảnh báo khi phát hiện hành vi bất thường hoặc đối tượng cần chú ý, phù hợp với thiết bị biên (edge device).
  3. Hỗ trợ học tập và hội thảo trực tuyến: tự động tóm tắt nội dung video bài giảng dài, tạo dòng thời gian sự kiện, và trả lời câu hỏi của người học dựa trên đúng thời điểm trong video mà không cần xem toàn bộ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.14935
ArXiv Abstracthttps://arxiv.org/abs/2607.14935
PDF Downloadhttps://arxiv.org/pdf/2607.14935.pdf
Github Repositoryhttps://github.com/MCG-NJU/VideoChat3

5. LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget (61 votes)​

Tác giả: Changhai Zhou, Kieran Liu, Yuhua Zhou, Qian Qiao, Jun Gao, et al.

Xuất bản lúc: 2026-07-16

Tag: GRPO, Long-Context, Reinforcement Learning, Memory Efficiency, Context Parallelism, MoE, LLM Training

I. Main Problem:​

Khoảng cách ngày càng lớn giữa độ dài context khi inference (gần triệu token) và khi RL post-training (thường ≤ 256K token). Với tác nhân AI, lịch sử quan sát, đầu ra công cụ, tài liệu và quyết định trước đó tích lũy thành các chuỗi dài. RL post-training phải chấm điểm và backprop qua nhiều response cùng condition trên một prompt chia sẻ, trong khi tính toán attention bậc hai và trạng thái backward kéo dài khiến bộ nhớ GPU trở thành cổ chai chính khi mở rộng context. Các kỹ thuật hiện có như FlashAttention, LoRA/QLoRA giảm một phần chi phí nhưng không tự giải quyết được xung đột giữa prompt graph, response graph, cached state và giao tiếp phân tán trong một ngân sách GPU cố định.

II. Main Idea:​

LongStraw là một execution stack nhận thức kiến trúc cho phép RL post-training ở quy mã triệu token dưới ngân sách GPU cố định, được thể hiện qua GRPO. Quy trình:

  • Đánh giá prompt chia sẻ một lần mà không dùng autograd.
  • Lưu lại chỉ trạng thái mô hình-cụ-thể cần cho token về sau (GDN state, KV pages, MLA latent, DSA index keys).
  • Replay từng response ngắn một dưới autograd, tích lũy gradient, rồi giải phóng graph ngay.

Cách này thu nhỏ đồ thị training đang sống từ toàn bộ prompt + response xuống còn một nhánh response duy nhất, đánh đổi thời gian replay lặp lại để lấy bộ nhớ GPU thấp hơn. LongStraw được cài đặt cho hai họ mô hình khác biệt: Qwen3.6-27B (hybrid recurrent + full-attention, dense FFN) trên 8 H20, và GLM-5.2 (compressed-attention MLA/DSA + MoE) trên 32 H20.

Ví dụ đời thường: giống như thầy dạy lái xe không để học viên nhớ cả bản đồ thành phố trong đầu cùng lúc, mà chỉ cho học viên mang theo một tờ ghi chú nhỏ với các lối rẽ quan trọng; đến mỗi đoạn đường mới, học viên mở tờ ghi chú ra tra một lượt, xử lý xong đoạn đó rồi cất đi, thay vì ôm cả bản đồ khổng lồ suốt hành trình.

III. Main Results:​

  • Trên 8 H20 GPU, LongStraw hoàn thành grouped scoring và response backward cho Qwen ở 2.1M vị trí với group size 2 và 8; tăng group size từ 2 lên 8 chỉ thêm 0.21 GB peak allocated memory.
  • Một stress test riêng mở rộng envelope thực thi Qwen lên 4.46M vị trí.
  • Trên 32 H20 GPU, xác nhận đường thực thi end-to-end LongStraw cho prompt 2.1M token xuyên suốt 78 tầng của GLM-5.2.
  • Nhấn mạnh rằng đây là execution capacity (khả năng thực thi) chứ chưa phải training correctness hoàn chỉnh: prompt state bị detach, một số đường forward phân tán và composition gradient chưa hoàn thiện.

IV. Conclusion & Future Works:​

LongStraw chứng minh rằng lifetime của trạng thái và quyền sở hữu vật lý là những yếu tố then chốt quyết định giới hạn context thực tế của RL post-training, chứ không chỉ là sparsity hay kiến trúc mô hình. Bằng cách tách prompt dài khỏi response ngắn và replay tuần tự, phương pháp giảm rào cản phần cứng, cho phép các nhóm nhỏ hơn khám phá long-context RL dưới ngân sách GPU cố định. Hướng tương lai: hoàn thiện các đường gradient phân tán (distributed gradient composition), khôi phục full-gradient parity với baseline full-sequence, và mở rộng sang nhiều kiến trúc và khối lượng công việc online generation/reward model thực sự.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Một framework gradient composition phân tán hoàn chỉnh cho LongStraw, đảm bảo mọi sharded gradient contribution đến đúng parameter owner và replicated adapter đồng nhất sau optimizer step, đạt full-gradient parity với full-sequence training.
  2. Mở rộng LongStraw cho online GRPO với sinh response và reward model thực thi trong cùng transaction dài, đo lường chất lượng policy thay vì chỉ khả năng thực thi.
  3. Nghiên cứu sự tương tác giữa context parallelism và expert parallelism trong MoE long-context training, đề xuất chiến lược mapping tối ưu trên các kiến trúc hybrid khác nhau.

2. Patent:​

  1. Hệ thống huấn luyện AI agent trên điện thoại di động với context dài: ứng dụng trên smartphone cache prompt state dài vào bộ nhớ trong/CPU, rồi replay từng response ngắn trên chip NPU/GPU hạn chế để fine-tune agent cá nhân mà không cần đám mây đắt đỏ.
  2. Module ghi nhớ và tiếp tục hội thoại dài cho trợ lý ảo: khi người dùng tạm dừng, hệ thống lưu prompt state kiến trúc-cụ-thể (recurrent/KV/MLA) rồi khôi phục để tiếp tục RL post-training hoặc adaptation mà không tính lại toàn bộ lịch sử.
  3. Công cụ tối ưu bộ nhớ GPU cho dịch vụ đào tạo mô hình ngôn ngữ dài trên thiết bị biên: tự động phát hiện kiến trúc mô hình, tách prompt capture và response replay, điều phối trạng thái giữa CPU/GPU/NPU để huấn luyện context triệu token trên cụm GPU cố định.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.14952
ArXiv Abstracthttps://arxiv.org/abs/2607.14952
PDF Downloadhttps://arxiv.org/pdf/2607.14952.pdf
Github Repositoryhttps://github.com/MindLab-Research/longstraw

6. SearchOS-V1: Towards Robust Open-Domain Information-Seeking Agent Collaboration (49 votes)​

Tác giả: Yuyao Zhang, Junjie Gao, Zhengxian Wu, Jiaming Fan, Jin Zhang, et al.

Xuất bản lúc: 2026-07-16

Tag: RAG, Multi-Agent Systems, Web Search, Information Retrieval, LLM Agents, Tool-Augmented LLMs

I. Main Problem:​

Các tác nhân tìm kiếm thông tin dựa trên LLM tích hợp công cụ ngày càng mất dấu tiến độ khi nhiệm vụ kéo dài và lịch sử tương tác phình to. Hệ quả nghiêm trọng:

  • bằng chứng bị chôn vùi trong ngữ cảnh, gây bỏ sót hoặc thu thập dư thừa
  • tác nhân đơn lẻ rơi vào vòng lặp tìm kiếm lặp lại khi không thu được thông tin hữu ích
  • hệ đa tác nhân đơn thuần dẫn đến trùng lặp công việc, mâu thuẫn về trường cần điền, hoặc chờ đợi vì tác nhân chậm nhất
  • chất lượng và độ đầy đủ của câu trả lời cuối cùng bị suy giảm.

II. Main Idea:​

SearchOS là khung đa tác nhân cấp hệ thống, biến trạng thái tìm kiếm mỏng manh và ngầm định thành trạng thái chia sẻ, bền vững và có thể quan sát. Các thành phần chính:

  • Mô hình hóa tìm kiếm thành lược đồ quan hệ: hệ thống khám phá thực thể, điền thuộc tính vào các bảng liên kết, và neo mỗi giá trị vào bằng chứng nguồn (URL + đoạn trích dẫn).
  • SOCM (Search-Oriented Context Management): gồm Frontier Task (hồng tác vụ chờ điền), Evidence Graph (đồ thị bằng chứng có nguồn gốc), Coverage Map (bản đồ ô đã điền/thiếu/mâu thuẫn), và Failure Memory (ghi nhớ các truy vấn/đường dẫn thất bại).
  • Pipeline-parallel scheduling: các tác vụ con chạy chồng chéo, mỗi slot giải phóng lập tức được gán vào ô trống chưa giải quyết, tránh chờ đợi do tác nhân chậm.
  • Search Tool Middleware Harness: chặn giữa mô hình và công cụ, tự động trích xuất bằng chứng, cập nhật Coverage Map, phát hiện vòng lặp/tắc nghẽn và ép ngân sách.
  • Hệ thống kỹ năng phân cấp: tách kỹ năng chiến lược (cách tìm) và kỹ năng truy cập (cách lấy dữ liệu từ từng nguồn cụ thể).

Ví dụ đời thường: giống như một đội khảo sát địa chất thay vì mỗi người tự ghi chú riêng vào túi áo, họ dùng một bảng công việc chung treo tại trại: ai đã đo điểm nào, mẫu đá ở đâu, nguồn nào thử rồi không có kết quả, và người quản lý liên tục điền ô trống còn lại để đội không đi lại chỗ cũ.

III. Main Results:​

  • WideSearch: đạt Item F1 = 80.3, vượt baseline mạnh nhất (A-MapReduce, 76.0) +4.3 điểm; Recall cao nhất (79.7), Precision cao nhất (83.9); Row F1 = 56.5.
  • GISA: dẫn đầu ở Set F1 = 76.5, vượt baseline mạnh nhất +13.4 điểm; Table Item F1 = 76.9, Table Row F1 = 59.7, List F1 = 68.1, Item EM = 50.0.
  • SearchOS dẫn đầu tất cả các chỉ số F1 trên cả hai benchmark so với các baseline đơn tác nhân và đa tác nhân.

IV. Conclusion & Future Works:​

SearchOS chứng minh rằng việc ngoại hóa trạng thái tìm kiếm (thay vì để tác nhân tự suy diễn từ lịch sử hội thoại) là chìa khóa để tạo hệ thống tìm kiếm thông tin mở miền đáng tin cậy và có thể kiểm chứng. Các cơ chế lập lịch song song pipeline, middleware can thiệp và thư viện kỹ năng phân cấp giúp tăng độ phủ, giảm trùng lặp và tránh vòng lặp. Hướng tương lai: tổng hợp quy mô lớn các kỹ năng tác nhân tìm kiếm từ nguồn dữ liệu, quỹ đạo tìm kiếm và ý định người dùng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp SearchOS với mô hình ngôn ngữ đa phương thức để trích xuất bằng chứng từ hình ảnh, bảng biểu và văn bản trong cùng một trang web.
  2. Mở rộng Failure Memory thành cơ chế học liên tục xuyên suốt nhiều phiên và nhiều người dùng, cho phép hệ thống chia sẻ mẫu thất bại trong tổ chức.
  3. Nghiên cứu cách tự động tổng hợp lược đồ quan hệ từ câu hỏi tự nhiên thay vì dựa vào lược đồ được xác định trước.
  4. Thiết kế giao diện người dùng cho phép con người can thiệp vào Frontier Task và Evidence Graph trong thời gian thực.

2. Patent:​

  1. Trợ lý nghiên cứu trên điện thoại: người dùng đặt câu hỏi mở, hệ thống tự động chia thành các bảng quan hệ (ví dụ "so sánh các điện thoại 2025"), điền thuộc tính từ nhiều nguồn và chèn trích dẫn nguồn inline vào báo cáo cuối.
  2. Hệ điều hành tìm kiếm doanh nghiệp: nhiều chương trình tác nhân song song tìm kiếm trong cơ sở tri thức nội bộ, bảng Coverage Map cho quản lý biết dữ liệu nào đã có/thiếu, và Failure Memory ngăn các chương trình lặp lại truy vấn vô ích.
  3. Middleware chống lãng phí ngân sách tìm kiếm: plugin cho các hệ thống tìm kiếm tăng cường và tác nhân hiện có, tự động phát hiện truy vấn lặp lại, trích xuất bằng chứng có nguồn gốc và dừng nhánh tìm kiếm khi tiến độ tắc nghẽn.
  4. Bảng điều khiển học thuật cho học sinh và sinh viên: nhập đề tài, hệ thống tạo dàn bài dạng bảng quan hệ, tự động thu thập tài liệu tham khảo, đánh dấu ô đã đủ bằng chứng và gợi ý nguồn cần tìm thêm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.15257
ArXiv Abstracthttps://arxiv.org/abs/2607.15257
PDF Downloadhttps://arxiv.org/pdf/2607.15257.pdf
Github Repositoryhttps://github.com/antins-labs/SearchOS

7. BadWAM: When World-Action Models Dream Right but Act Wrong (36 votes)​

Tác giả: Qi Li, Xingyi Yang, Xinchao Wang

Xuất bản lúc: 2026-07-16

Tag: World-Action Models, Adversarial Attack, Embodied AI, Robotics, Black-box Attack, World Models

I. Main Problem:​

Các mô hình World-Action Model (WAM) được kỳ vọng sẽ an toàn hơn vì chúng kết hợp sinh hành động với dự đoán tương lai — robot có thể “tưởng tượng” hậu quả trước khi hành động. Tuy nhiên, tính đồng bộ giữa dự đoán tương lai và động tác thực thi là giả định mong manh:

  • nhiễu ảnh nhỏ, có giới hạn có thể khiến robot thực hiện hành động sai trong khi vẫn tưởng tượng ra tương lai hợp lý;
  • cơ chế an toàn chỉ kiểm tra tương lai dự đoán sẽ bị qua mặt, vì tương lai trông vẫn ổn nhưng động tác đã bị tách rời khỏi tương lai đó.

II. Main Idea:​

BadWAM là khung tấn công duy nhất nhằm vào sự liên kết giữa hành động và tưởng tượng trong WAM. Phương pháp:

  • tìm nhiễu ảnh nhỏ qua tối ưu không gradient (zero-order) chỉ bằng cách truy vấn đầu ra của mô hình;
  • Action-only attack: tối đa hóa độ lệch hành động để gây thất bại nhiệm vụ;
  • Imagination-preserving attack: vẫn tối đa hóa độ lệch hành động nhưng phạt sự thay đổi của tương lai dự đoán, khiến robot thất bại trong khi tương lai dự đoán vẫn gần với trường hợp sạch.

Ví dụ đời thường: giống như một người lái xe vẫn hình dung đúng con đường phía trước trong đầu, nhưng bàn tay họ bị ai đó khẽ đẩy vô lăng theo hướng khác, khiến xe dần chệch khỏi làn đường mà trong tâm trí vẫn thấy mọi thứ bình thường.

III. Main Results:​

  • Action-only attack trên LIBERO làm giảm tỷ lệ thành công của WAM chỉ-hành-động từ 96.5% xuống 43.1% (sụt 53.4 điểm).
  • Joint WAM trên LIBERO: 98.1% → 61.5% (action-only) và 63.0% (imagination-preserving).
  • IDM WAM trên LIBERO: 98.4% → 66.1% (action-only) và 67.0% (imagination-preserving).
  • Imagination-preserving attack gây thất bại tương đương nhưng giữ khoảng cách tương lai dự đoán thấp hơn đáng kể, chứng tỏ tương lai hợp lý không đảm bảo hành động đúng.
  • Các tác vụ Spatial và Long-horizon bị ảnh hưởng nặng nhất, còn tác vụ Object-centric chịu đựng tốt hơn.
  • Thất bại có hệ thống qua nhiều lần thử (pass@k) và tích lũy theo thời gian, không phải do vài lần xui xẻo.

IV. Conclusion & Future Works:​

Dự đoán tương lai trong WAM không tự động là tín hiệu an toàn đáng tin. Cần kiểm tra sự liên kết giữa tưởng tượng và hành động, không chỉ tính hợp lý của tương lai. Hướng tương lai: phát triển cơ chế phòng thủ bảo vệ sự liên kết action-imagination, thiết kế bộ giám sát phát hiện độ lệch giữa kế hoạch dự đoán và động tác thực thi, và nghiên cứu khái quát hóa tấn công sang các môi trường vật lý thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng BadWAM sang các mô hình Vision-Language-Action (VLA) kết hợp với world modeling, kiểm tra xem liên kết giữa ngôn ngữ, tưởng tượng và hành động có thể bị tách rời như thế nào.
  2. Phát triển phòng thủ certified hoặc adversarial training chuyên biệt cho WAM, bảo vệ đồng thời cả đường dẫn hành động và đường dẫn tương lai dự đoán.
  3. Nghiên cứu tấn công vật lý thực tế: in nhiễu đối kháng lên bề mặt, ánh sáng hoặc vật thể trong môi trường robot để kiểm tra tính chuyển giao từ mô phỏng sang thực tế.

2. Patent:​

  1. Hệ thống giám sát an toàn cho robot WAM: module kiểm tra sự nhất quán giữa video/latent tương lai dự đoán và chuỗi hành động được ra lệnh, phát cảnh báo khi phát hiện độ lệch vượt ngưỡng, có thể tích hợp vào cánh tay robot công nghiệp và xe tự hành.
  2. Ứng dụng di động kiểm tra độ bền robot trước khi triển khai: người dùng tải policy robot lên đám mây, ứng dụng tự động chạy các biến thể BadWAM để đánh giá rủi ro tách rời hành động-trước khi cấp phép vận hành.
  3. Module bảo vệ camera cho robot dịch vụ gia đình: phát hiện nhiễu đối kháng nhỏ trên luồng ảnh từ camera điện thoại hoặc robot bằng cách so sánh động tác dự đoán với tương lai dự đoán, tự động chuyển sang chế độ an toàn khi phát hiện bất thường.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.15207
ArXiv Abstracthttps://arxiv.org/abs/2607.15207
PDF Downloadhttps://arxiv.org/pdf/2607.15207.pdf
Github Repositoryhttps://github.com/LiQiiiii/BadWAM

8. KeyFrame-Compass: Towards Comprehensive Evaluation of Keyframe-Conditioned Video Generation (30 votes)​

Tác giả: Yuqi Tang, Tengfei Liu, Yizheng Lai, Yuran Wang, Yang Shi, et al.

Xuất bản lúc: 2026-07-15

Tag: Keyframe-Conditioned Video Generation, Video Generation Benchmarks, Multi-Image Conditioning, Video Evaluation, MLLM Judges, Storyboard Conditioning

I. Main Problem:​

Các hệ thống tạo video dựa trên keyframe ngày càng phổ biến, nhưng thiếu benchmark chuyên biệt để đánh giá chúng. Benchmark hiện tại chỉ đo chất lượng chung, prompt following hoặc bảo toàn một ảnh đơn, không kiểm tra việc tái tạo đúng chuỗi keyframe theo thứ tự và đúng thời điểm. Các lỗi đặc thù của tác vụ này bị bỏ qua:

  • bỏ sót keyframe
  • tái tạo không trung thành về hình thái, bố cục, nhân vật
  • đặt sai thời điểm trong video
  • sai thứ tự thời gian
  • chuyển cảnh giả tạo giữa các keyframe.

II. Main Idea:​

KeyFrame-Compass là benchmark chuẩn đoán đầu tiên cho video generation điều kiện hóa bởi chuỗi keyframe có thứ tự. Quy trình đánh giá gồm hai nhánh:

  • Keyframe Response: dùng MLLM để phát hiện cấu trúc shot thực tế của video sinh ra, sau đó khớp từng keyframe với frame trong cửa sổ thời gian dự kiến bằng cả semantic similarity (DINOv3) lẫn pixel fidelity (PSNR/SSIM). Từ đó đo 6 khía cạnh: presence, fidelity, ordering, timing, persistence, uniqueness.
  • General Quality: kết hợp checklist-based MLLM judging với các perception model chuyên biệt để đo video quality, spatiotemporal coherence, instruction adherence và audio-visual coordination.

Benchmark có 386 mẫu được chọn lọc, bao phủ 3 domain (daily capture, product visualization, cinematic narrative), 2 cấu trúc video (one-take vs multi-shot), 2 mức độ prompt (minimal vs segment-specific), 2 định dạng đầu vào (multi-image list vs storyboard grid) và 4 mật độ keyframe (3/6/9/12).

Ví dụ đời thường: giống như đạo diễn đưa storyboard gồm nhiều khung hình theo thứ tự cho hoạt hình viên, rồi kiểm tra xem từng khung hình trong storyboard có xuất hiện đúng lúc trong phim hoạt hình cuối cùng không, đồng thời xem chuyển động giữa các khung có tự nhiên không.

III. Main Results:​

  • 9 hệ thống video generation đại diện được đánh giá, bao gồm cả mô hình proprietary và open-source.
  • Trade-off rõ rệt giữa bảo toàn keyframe và tổng hợp video tự nhiên: mô hình tuân thủ keyframe chặt thường tạo chuyển cảnh cứng nhắc, còn mô hình tổng hợp mượt thì hay drift khỏi nội dung keyframe.
  • Seedance 2.0 dẫn đầu overall (0.807) trên bảng 115 mẫu audio-video chung, cân bằng tốt cả keyframe fidelity và general quality.
  • LTX-2.3 đạt keyframe fidelity cao nhất (0.855) và temporal organization cao nhất (0.899), nhưng chỉ xếp thứ 4 overall do chất lượng video tổng thể và chuyển động trung gian yếu hơn.
  • Gemini-Omni-Flash dẫn video quality (0.861) nhưng keyframe fidelity thấp (0.483): nó thường "dựng lại" từng shot theo nghĩa semantically thay vì tái tạo trực tiếp hình ảnh keyframe.
  • Hiệu suất suy giảm khi tăng số lượng keyframe; hầu hết mô hình open-source không hiểu storyboard grid như một chuỗi keyframe có thứ tự.
  • Khoảng cách giữa mô hình open-source mạnh nhất và hệ proprietary hàng đầu là 0.153 điểm overall.

IV. Conclusion & Future Works:​

KeyFrame-Compass cho thấy bảo toàn keyframe, tổ chức thời gian và chất lượng video tổng thể là ba khả năng không thể thay thế lẫn nhau, do đó cần đánh giá riêng biệt. Benchmark này giúp xác định failure mode cụ thể của từng mô hình. Hướng tương lai:

  • phát triển mô hình tổng hợp chuyển cảnh tự nhiên và vật lý hợp lý giữa các keyframe mà không làm giảm fidelity
  • cải thiện khả năng hiểu storyboard grid như chuỗi thời gian trong các mô hình open-source
  • giảm trade-off giữa keyframe adherence và video quality thông qua training objective cân bằng hơn
  • mở rộng benchmark cho tạo video dài hơn và chỉnh sửa keyframe tương tác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mô hình tổng hợp video giữa các keyframe với động lực học vật lý rõ ràng, đảm bảo chuyển tiếp tự nhiên mà vẫn bảo toàn trạng thái keyframe.
  2. Cơ chế hiểu storyboard grid trong video generation model: tách chuỗi keyframe có thứ tự từ một ảnh đơn và điều kiện hóa generation theo thời gian.
  3. Phương pháp giảm trade-off giữa visual fidelity và temporal coherence trong keyframe-conditioned video generation thông qua multi-objective fine-tuning.

2. Patent:​

  1. Ứng dụng di động tạo video từ storyboard cá nhân: người dùng chọn 3–12 ảnh trên điện thoại, nhập mô tả ngắn, ứng dụng sinh video ngắn đảm bảo từng ảnh xuất hiện đúng thứ tự và thời điểm để đăng lên mạng xã hội.
  2. Hệ thống tạo video quảng cáo sản phẩm cho thương mại điện tử: chủ shop upload ảnh sản phẩm ở các góc độ và tình huống sử dụng, AI tạo video demo giữ nguyên từng keyframe sản phẩm với chuyển cảnh mượt mà.
  3. Công cụ hỗ trợ làm phim ngắn trên điện thoại: đạo diễn nghiệp dư sắp xếp storyboard grid, phần mềm tự động sinh video có cấu trúc shot và âm thanh đồng bộ theo đúng kịch bản.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.14202
ArXiv Abstracthttps://arxiv.org/abs/2607.14202
PDF Downloadhttps://arxiv.org/pdf/2607.14202.pdf
Github Repositoryhttps://github.com/cactusqq/KeyFrame-Compass

9. Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes (23 votes)​

Tác giả: Minh-Quan Le, Armand Comas, Alexandros Lattas, Stylianos Moschoglou, Pedro Vélez, et al.

Xuất bản lúc: 2026-07-14

Tag: Masked Diffusion Models, Multimodal Generation, Cross-Modal Attention, Self-Correction, Image Editing, Visual Reasoning

I. Main Problem:​

Các sampler hiện có cho Masked Diffusion Models (MDMs) không thực sự sinh text và ảnh đồng thời. Họ hoặc giải mã xen kẽ, hoặc cập nhật song song nhưng chỉ chia sẻ lịch sử bước trước, không trao đổi quyết định mới nhất trong cùng một bước. Thêm nữa, MDM chuẩn không thể remask — một token đã được tiết lộ thì không sửa được. Hậu quả:

  • modality drift: text cam kết mô tả mà ảnh không vẽ nổi, hoặc ảnh vẽ nội dung text không mô tả.
  • mâu thuẫn xuyên modal không bị phát hiện hay sửa chữa, làm giảm chất lượng joint understanding và generation.

II. Main Idea:​

SC-CMJP định khung sinh đa modal đồng thời như một quá trình Markov jump duy nhất, trong đó hai modal đàm phán và tự sửa lẫn nhau trong từng bước. Sampler CO2Jump hoạt động training-free, một forward pass mỗi bước, không thay đổi kiến trúc mô hình.

Cơ chế chính:

  • Asymmetric scoring: text dùng Self-Confidence thuần; image dùng Coupled Confidence — hỗn hợp có trọng số (qua entropy gate) giữa self-confidence và tín hiệu xuyên modal từ cross-attention text→image.
  • Death jump: remask các token đã tiết lộ có điểm thấp nhất, cho phép rút lại cam kết khi bằng chứng xuyên modal chống lại nó.
  • Birth jump: unmask các token ẩn có điểm cao nhất, duy trì tiến trình theo lịch trình nhiễu.

Ví dụ đời thường: giống như giáo viên vừa giảng vừa vẽ bảng — mỗi câu nói có thể khiến hình vẽ thay đổi, và nếu nét vẽ sai so với lời giảng, giáo viên xóa ngay và vẽ lại trong cùng một luồng liên tục, không cần dừng lại chỉnh sửa riêng.

III. Main Results:​

  • CO2Jump đạt hiệu suất joint tốt nhất trên cả ba nhiệm vụ: image understanding + editing, maze solving, và nonogram solving.
  • Hiệu suất của sampler tăng đơn điệu theo số bước denoising, chứng tỏ lợi ích của cross-modal coupling cộng dồn dọc theo quỹ đạo sinh.
  • Ba bộ dữ liệu được xây dựng và dự kiến công bố: JEdit-1M (chỉnh sửa ảnh), JMaze-200K (giải mê cung), JNono-200K (giải nonogram), đi kèm benchmark in- và out-of-distribution.

IV. Conclusion & Future Works:​

SC-CMJP cho thấy có thể xử lý image understanding và generation đồng thời trong một quá trình ngẫu nhiên thống nhất, với khả năng tự hiệu chỉnh xuyên modal tích hợp sẵn. Hướng tương lai: mở rộng framework ra nhiều modal khác (video, audio), tích hợp verifier bên ngoài mạnh hơn trong vòng self-correction, và công bố checkpoint, code, dataset cho cộng đồng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SC-CMJP cho sinh video-text đồng thời, trong đó mô tả ngôn ngữ và khung hình điều chỉnh lẫn nhau trong từng bước denoising.
  2. Kết hợp CO2Jump với verifier bên ngoài (logic solver, physics engine) để tăng cường tính chính xác trên các tác vụ lý luận hình học và khoa học.
  3. Áp dụng coupled jump processes cho embodied agents: agent vừa sinh kế hoạch ngôn ngữ vừa tạo ảnh quan sát thế giới, cả hai cùng hiệu chỉnh trong một vòng phản hồi.

2. Patent:​

  1. Trợ lý chỉnh sửa ảnh trên điện thoại: người dùng nhập mệnh lệnh tự nhiên, ứng dụng đồng thời sinh phân tích đối tượng dạng text (bounding box, thuộc tính) và chỉnh sửa ảnh trong một lần forward, không cần module grounding riêng.
  2. Ứng dụng học tập trực quan giải đố: điện thoại nhận mê cung/nonogram từ camera, vừa tạo lời giải thích từng bước vừa vẽ lời giải lên hình, cả hai cùng điều chỉnh để tránh mâu thuẫn.
  3. Công cụ tạo nội dung xã hội: người dùng gõ caption, hệ thống đồng thời viết lại mô tả và tạo ảnh minh họa, tự động sửa caption khi ảnh không khớp và ngược lại, tối ưu cho feed di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.13188
ArXiv Abstracthttps://arxiv.org/abs/2607.13188
PDF Downloadhttps://arxiv.org/pdf/2607.13188.pdf
Github RepositoryN/A

10. UniVR: Thinking in Visual Space for Unified Visual Reasoning (22 votes)​

Tác giả: Zhongwei Ren, Yunchao Wei, Yao Zhao, Weibo Gong, Xiao Liu, et al.

Xuất bản lúc: 2026-07-14

Tag: Visual Reasoning, Unified Generation Models, Reinforcement Learning, VR-GRPO, VR-X, Long-Horizon Planning, World Modeling, Multimodal Understanding, Visual Space Reasoning, Self-Supervised Learning

I. Main Problem:​

Các mô hình AI hiện tại chủ yếu suy luận trong không gian văn bản rồi chuyển kết quả sang hình ảnh, nhưng văn bản không thể mô tả đầy đủ động lực học tinh tế, quan hệ không gian và quy luật vật lý của thế giới thực. Hệ quả:

  • MLLM như Gemini-3 hay GPT-5 dù kết hợp với mô hình sinh ảnh vẫn gặp lỗi logic, mâu thuẫn vật lý, gián đoạn nhịp độ trong chuỗi nhiệm vụ dài hạn.
  • Các mô hình sinh video hiện có thường phụ thuộc hướng dẫn ngôn ngữ và cặp ảnh-văn bản dày đặc, khó mở rộng cho tác vụ đa dạng.
  • Thiếu một benchmark thống nhất để đánh giá lập kế hoạch dài hạn + suy luận thị giác tổng quát hoàn toàn trong không gian hình ảnh.

II. Main Idea:​

UniVR là mô hình unified next-token prediction khuyến khích mô hình trực tiếp suy luận và sinh chuỗi trạng thái trực quan từ dữ liệu demo thô, không cần chuỗi suy luận văn bản chi tiết. Cốt lõi là VR-GRPO:

  • Global reward: một VLM đánh giá tổng thể độ hoàn thành tác vụ và chất lượng hình ảnh của toàn bộ chuỗi.
  • Step-Focal reward: dùng CLIP encoder tính phương sai nhúng khung hình giữa nhiều rollout để xác định bước mô hình bất đồng nhất nhất (nhiều rủi ro lỗi), sau đó so sánh đoạn đó để đưa ra phần thưởng chi tiết, buộc mô hình duy trì tính nhất quán logic và vật lý suốt quá trình.
  • Kết hợp hai reward: R_reason = R_g - λ|R_g - R_s| để ngăn 'reward hacking' và đảm bảo cả kết quả cuối lẫn quá trình.

Ví dụ đời thường: giống như người học nấu ăn chỉ bằng cách xem video và tự chạy từng động tác trong đầu thay vì đọc công thức; đồng thời có người thầy không xem cả clip mà tua đến đoạn mọi người làm khác nhau nhiều nhất để bắt lỗi nhỏ nhất.

III. Main Results:​

  • Trên VR-X, UniVR (34B) đạt 58.2 overall, vượt Emu3.5 (39.8) +18.4 điểm và giảm JEPA từ 33.62 xuống 13.01, tiệm cận Gemini-3 Pro + Nano Banana 2 trong lập kế hoạch dài hạn.
  • Các nhóm tác vụ: long-term planning tăng mạnh (Guidance +20.9, Robot +25.2), general reasoning cũng tăng (Editing +15.8, Spatial +11.2, Puzzle +18.8, Search +18.1).
  • Ablation VR-GRPO: chỉ global reward gây reward hacking trên tác vụ dài hạn; step-focal reward cải thiện cả LP lẫn GR; dùng đánh giá pairwise ổn định hơn so với điểm tuyệt đối.
  • Hiểu biết đa phương thức cũng tăng: MMMU +4.5%, MME(P) +18.2, MME(C) +13.9, MathVista +2.3, MM-Vet +7.6 so với Emu3.5.
  • Tổng quát hóa ngoài VR-X: cải thiện trên WorldArena (+9.2), Uni-MMMU (+25.7), RBench (+16.5), cho thấy suy luận thị giác học được từ dữ liệu thô có tính chuyển giao tốt.

IV. Conclusion & Future Works:​

UniVR chứng minh rằng mô hình có thể học suy luận và lập kế hoạch phức tạp trực tiếp trong không gian hình ảnh từ dữ liệu demo thô, không cần giám sát ngôn ngữ dày đặc. Điều này mở đường cho các world model gắn kết hơn với thế giới thực và hiệu quả hơn. Hướng tương lai: mở rộng quy mô dữ liệu video internet không nhãn, kết hợp với tương tác môi trường thực, cải thiện độ chính xác của VLM evaluator, và đưa VR-GRPO lên các tác vụ dài hạn hơn và điều khiển robot thực tế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng VR-GRPO cho điều khiển robot liên tục: thay vì sinh ảnh, mô hình tối ưu chính sách điều khiển trực tiếp từ phản hồi hình ảnh thực.
  2. Kết hợp UniVR với lập luận ngôn ngữ để xây dựng bộ lập kế hoạch thị giác - biểu tượng, tận dụng cả trực quan và khái niệm trừu tượng.
  3. Tự động xây dựng chương trình học tập (curriculum) từ video internet không nhãn nhằm huấn luyện world model thị giác với dữ liệu đa dạng và liên tục.
  4. Nghiên cứu cách VLM evaluator tự hiệu chỉnh hoặc dùng mô hình vật lý để giảm ảo giác khi chấm điểm các chi tiết động lực học tinh tế.

2. Patent:​

  1. Ứng dụng điện thoại hướng dẫn làm việc nhà bằng video: người dùng quay một lần cách thắt nút, gấp quần áo hay nấu ăn; ứng dụng sinh chuỗi ảnh từng bước từ demo đó để hướng dẫn lại người khác mà không cần viết lời giải thích.
  2. Trợ lý AR sửa chữa - lắp ráp: camera điện thoại nhận diện trạng thái hiện tại, hệ thống suy luận trong không gian hình ảnh để dự đoán và hiển thị khung hình bước tiếp theo đúng đắn lên màn hình.
  3. Robot gia đình học từ video: thiết bị quan sát video demo (ví dụ dọn bàn, xếp đồ) rồi tự lập kế hoạch và thực hiện chuỗi hành động trong không gian trực quan của chính nó.
  4. Công cụ chỉnh sửa ảnh quảng cáo trên điện thoại: người dùng chỉ bằng một câu lệnh và ảnh mẫu, hệ thống tạo chuỗi thay đổi hình ảnh nhất quán về màu sắc, bố cục và vật lý ánh sáng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.12800
ArXiv Abstracthttps://arxiv.org/abs/2607.12800
PDF Downloadhttps://arxiv.org/pdf/2607.12800.pdf
Github Repositoryhttps://github.com/bytedance/UniVR

11. Spectral Rewiring for Exploration, Purification, and Model Merging (20 votes)​

Tác giả: Zhilong Zhang, Hongli Yu, Huan-ang Gao, Hanlin Wu, Yuxuan Song, et al.

Xuất bản lúc: 2026-07-03

Tag: Reinforcement Learning, Spectral Analysis, SVD, Model Editing, Model Merging, Reasoning, LLMs

I. Main Problem:​

Post-training bằng reinforcement learning (RL) toàn tham số cho large language models tạo ra hai nút thắt thực triển khai:

  • Suy luận bị dập tắt: RL làm policy tập trung quanh vài quỹ đạo reward cao, khiến test-time scaling bão hòa sớm và giảm khả năng giải bài khó.
  • Nhiễu xuyên miền: các update từ toán, lập trình, instruction following chiếm hướng không tương thích trong không gian tham số, gây xung đột khi huấn luyện chung hoặc merge model.

II. Main Idea:​

Subspace-Aligned Rewiring (SAR) dựa trên nhận định rằng phần update thực sự mang lại khả năng suy luận nằm gọn trong không gian spectral (SVD) của base model, không phải toàn bộ ma trận trọng số dày đặc. Quy trình:

  • Tính SVD của base model W0 = UΣV^T, trong đó các singular vector là 'kỹ năng nguyên tử' tiền huấn luyện.
  • Cô lập update ΔW = W_RL − W0.
  • Chiếu ΔW lên không gian spectral: M = U^T ΔW V, thu được rewiring matrix.
  • Ma trận M kết nối lại các kỹ năng nguyên tử đã có thay vì thay thế chúng; phần đường chéo rescale kỹ năng, phần ngoài đường chéo tạo tổ hợp đa chiều cho suy luận quan hệ.
  • SAR loại bỏ các thành phần trực giao (off-manifold) gây nhiễu, giữ lại core spectral nhỏ gọn.

Ví dụ đời thường: giống như điều chỉnh bảng mạch điện: thay vì thay cả cục máy, ta chỉ nối lại dây giữa các linh kiện sẵn có theo sơ đồ mới, bỏ các đường dây rời rạc gây chập mạch.

III. Main Results:​

  • Extraction: SAR giữ trên 99% hiệu suất Pass@1 của full-RL với chỉ ~0.58% tổng số tham số trên DeepScaleR 1.5B và ~0.64% trên OLMo-3.1-32B.
  • Exploration: SAR vượt baseline full-RL trên đường cong Pass@k ở AIME 2024 từ k=2 (1.5B) và k=4 (32B), mở rộng tập bài giải được khi sampling nhiều.
  • Agentic coding: trên mô hình nội bộ, projection 1% spectral rank cải thiện 6/7 benchmark coding, tăng trung bình +2.52%, có benchmark lên tới +25.10%.
  • Purification (Mix-RL): trên OLMo-3.1-32B-Think, SAR tăng LiveCodeBench v5 (+1.48%) và v6 (+0.95%), cải thiện AIME 25 Pass@16 (88.33% → 91.71%), trong khi giữ IFEval gần như nguyên.
  • Merging: merge chuyên gia toán + code vượt cả chuyên gia đơn miền tốt nhất ở cả 1.5B và 14B (AIME và LiveCodeBench đều tăng).

IV. Conclusion & Future Works:​

SAR cho thấy RL hậu huấn luyện chủ yếu rewire lại các kỹ năng đã tiềm ẩn trong base model thay vì tạo ra cơ sở suy luận hoàn toàn mới. Việc chiếu update lên spectral manifold giúp nén, lọc nhiễu và merge mà không cần retrain. Hướng tương lai: tối ưu trực tiếp trong không gian spectral khi huấn luyện, mở rộng cho nhiều miền hơn (agent, đa ngôn ngữ), và xây dựng công cụ edit model post-hoc dựa trên hình học tham số.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tích hợp SAR trực tiếp vào quá trình RL training để tối ưu trong không gian spectral, thay vì chỉ chỉnh sửa post-hoc.
  2. Mở rộng spectral rewiring cho multimodal reasoning (vision-language, audio) để kiểm tra tính tổng quát của cơ chế rewiring kỹ năng nguyên tử.
  3. Kết hợp SAR với continual learning để merge nhiều expert theo thời gian mà không gây catastrophic forgetting.

2. Patent:​

  1. Hệ thống cập nhật kỹ năng cục bộ trên điện thoại: thay vì tải toàn bộ model mới, ứng dụng AI chỉ tải về một rewiring matrix nhỏ trong không gian spectral để thêm kỹ năng (ngôn ngữ mới, chuyên môn y tế) mà không làm chậm thiết bị.
  2. Trợ lý lập trình trên điện thoại tự tinh chỉnh theo ngôn ngữ/framework: ứng dụng lưu một expert coding riêng và merge với base assistant qua SAR, tạo model vừa giữ khả năng đàm thoại vừa viết code theo stack của người dùng.
  3. Hệ thống lọc và làm sạch update an toàn cho model trên thiết bị biên: sau khi học từ phản hồi người dùng, chỉ giữ phần spectral projection của update, loại bỏ các hướng residual có thể gây hallucination hoặc rò rỉ dữ liệu nhạy cảm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.03065
ArXiv Abstracthttps://arxiv.org/abs/2607.03065
PDF Downloadhttps://arxiv.org/pdf/2607.03065.pdf
Github RepositoryN/A

12. Video = World + Event Stream (15 votes)​

Tác giả: Lianghua Huang, Zhi-Fan Wu, Yupeng Shi, Wei Wang, Mengyang Feng, et al.

Xuất bản lúc: 2026-07-16

Tag: Video Generation, World Modeling, Real-time Audio-Visual Interaction, Multimodal Models, Streaming, Vision-Language-Action

I. Main Problem:​

Các hệ thống tương tác âm thanh-hình ảnh real-time trước đây (Wan-Streamer v0.1/v0.2) được huấn luyện cho một tác vụ tương tác cụ thể (tác nhân nói và phản ứng), khiến khả năng học được khó chuyển sang các tình huống khác nhau. Hệ quả:

  • mô hình chỉ tối ưu cho một điểm hoạt động duy nhất
  • hành vi tác nhân bị giới hạn trong phạm vi hành động cố định (chủ yếu nói và lắng nghe thụ động)
  • khó mở rộng sang các tác vụ thế giới khác như điều khiển, dạo chơi, thao tác robot.

II. Main Idea:​

Wan-Streamer v0.3 xem video = thế giới (world) + dòng sự kiện (event stream):

  • world: bối cảnh bền vững — môi trường, bố cục, nhân vật, âm thanh nền, giọng nói
  • event stream: mọi thứ thay đổi theo thời gian — hành vi, lời nói, chuyển động camera, âm thanh, thay đổi cảnh

Từ đó định nghĩa một nhiệm vụ pretrain tổng quát: cho một thế giới và đầu vào đến, dự đoán thế giới sẽ di chuyển, thay đổi, phản hồi như thế nào theo từng đơn vị thời gian thực.

Khi triển khai cho tương tác real-time, mô hình hoạt động như Vision-Language-Action: ánh xạ luồng văn bản-âm thanh-hình ảnh của người dùng thành lời nói xen kẽ chỉ dẫn hành vi tự do dạng ngôn ngữ (ví dụ: "(cầm ly nước lên uống một ngụm)Cảm ơn nhé."), rồi điều kiện hóa việc sinh âm thanh-hình ảnh đồng bộ.

Ví dụ đời thường: giống như đạo diễn đã dựng sẵn một bối cảnh phim trường và nhân vật, sau đó đưa cho diễn viên kịch bản từng câu một; diễn viên vừa nói lời thoại vừa thực hiện hành động phù hợp, và toàn bộ được quay liên tục không cắt ghép.

III. Main Results:​

  • Vẫn giữ nguyên điểm hoạt động của v0.2: 640×368 @ 25 FPS, đơn vị streaming 160 ms, độ trễ model-side ~200 ms, tổng độ trễ tương tác ~550 ms với ngân sách mạng hai chiều 350 ms.
  • Mở rộng khả năng biểu đạt của tác nhân: từ chỉ nói + lắng nghe thụ động sang lời nói kết hợp hành vi tự do mở từ vựng.
  • Không thêm đường truyền độ trễ mới: chỉ dẫn hành vi là các token ngôn ngữ ngắn, chia sẻ cùng luồng token với lời nói, nên vẫn dùng cơ chế sinh âm thanh-hình ảnh như trước.
  • Quan sát định tính: tác nhân thực hiện biểu cảm khuôn mặt, thay đổi tư thế, phản ứng với âm thanh, tương tác với vật thể gần đó, đồng thời duy trì hành vi lắng nghe/idle ổn định giữa các sự kiện.

IV. Conclusion & Future Works:​

Wan-Streamer v0.3 chuyển từ việc huấn luyện một tác vụ tương tác cụ thể sang pretrain một mô hình thế giới-sự kiện tổng quát, giúp khả năng dự đoán video phát triển từ dữ liệu video thông thường quy mô lớn. Việc giữ nguyên hợp đồng mô hình hóa và topology phục vụ của v0.2 cho phép nâng cấp biểu đạt mà không phải đánh đổi độ trễ. Hướng tương lai: đánh giá và thích ứng hệ thống cho các tác vụ khác như điều khiển thế giới (world-model control), tương tác góc nhìn thứ nhất real-time, và thao tác nhúng thể (embodied manipulation).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng world-event pretraining cho điều khiển thế giới thời gian thực, trong đó đầu vào là hành động điều hướng và đầu ra là luồng cảnh quan thay đổi liên tục.
  2. Kết hợp mô hình thế giới-sự kiện với bộ nhớ dài hạn để duy trì tính nhất quán của bối cảnh và nhân vật qua các phiên tương tác kéo dài.
  3. Nghiên cứu cách học world từ ít ví dụ hoặc từ mô tả ngôn ngữ, cho phép người dùng tạo bối cảnh tương tác mới mà không cần quay video thực.

2. Patent:​

  1. Hệ thống avatar tương tác trên điện thoại: ứng dụng di động tạo nhân vật ảo với bối cảnh và giọng nói tùy chỉnh; nhân vật vừa trò chuyện bằng giọng nói vừa thực hiện hành vi tự do (vẫy tay, cầm đồ vật, nhìn theo hướng âm thanh) trong video call real-time.
  2. Trợ lý ảo đa phương thức cho dịch vụ khách hàng: tác nhân AI nhận luồng văn bản, giọng nói và hình ảnh từ khách hàng, đưa ra câu trả lời bằng giọng nói đồng thời thể hiện ngôn ngữ cơ thể phù hợp (gật đầu, chỉ tay, biểu cảm khuôn mặt) trên màn hình.
  3. Nền tảng tạo video tương tác theo kịch bản: người dùng nhập mô tả thế giới và kịch bản sự kiện; hệ thống sinh video dài với nhân vật thực hiện đúng chuỗi hành động mô tả bằng ngôn ngữ tự nhiên, dùng trong giáo dục, giải trí hoặc quảng cáo.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.15038
ArXiv Abstracthttps://arxiv.org/abs/2607.15038
PDF Downloadhttps://arxiv.org/pdf/2607.15038.pdf
Github RepositoryN/A

13. Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations (14 votes)​

Tác giả: Rui Wang, Hongru Wang, Yi Chen, Boyang Xue, Tianqing Fang, et al.

Xuất bản lúc: 2026-07-15

Tag: On-Policy Distillation, LLM Post-Training, Knowledge Distillation, Reinforcement Learning, Reasoning, Exploration

I. Main Problem:​

On-policy distillation (OPD) được dùng rộng rãi trong hậu huấn luyện LLM, nhưng động lực huấn luyện của nó chưa được hiểu rõ. Thực tiễn ghi nhận nhiều hành vi mâu thuẫn:

  • khi thì cải thiện hiệu suất, khi thì mất ổn định hoặc sụp đổ
  • có trường hợp OPD còn kém hơn cả RL dựa trên kết quả (RLVR)
  • người dùng thường mặc định teacher càng mạnh càng tốt, nhưng điều này không phải lúc nào cũng đúng.

II. Main Idea:​

Bài báo định khung lại vai trò của OPD như một exploration catalyst — chất xúc tác khám phá — thay vì cơ chế mở rộng giới hạn năng lực. OPD không truyền thêm “trí thông minh” vào student, mà chỉ định hướng lại quỹ đạo sinh của student qua hướng dẫn từng token dày đặc, giúp mô hình nhanh chóng tìm ra các lối suy luận đã nằm trong khả năng của nó.

Nghiên cứu cũng chỉ ra hai pathology khi tín hiệu hướng dẫn bị méo mó:

  • Student-Teacher Mismatch: khoảng cách phân phối quá lớn khiến teacher đánh giá sai chất lượng rollout của student.
  • Length Exploitation: mục tiêu cấp token tổng hợp theo độ dài tạo ra lối tắt phụ thuộc độ dài — student hoặc nhồi token thừa để loãng phạt, hoặc cắt ngắn đáp án để giữ phần thuận lợi đầu.

Để khắc phục, tác giả đề xuất hai kỹ thuật điều chỉnh tín hiệu (signal regulation) không tốn thêm tính toán:

  • Hard Clipping: cắt giá trị advantage vào khoảng [cmin, cmax].
  • Soft Log-scale Compression: nén theo log(1+|x|), giữ nguyên thứ tự nhưng giảm biên độ ngoại lai.

Ví dụ đời thường: giống như người lái xe mới không học thêm kỹ năng mới, nhưng nhờ có bản đồ chỉ đường chi tiết từng đoạn (token-level guidance) nên nhanh chọn được lộ trình đúng trong thành phố; nếu bản đồ chỉ sai hoặc bị méo, người đó sẽ lao vào ngõ cụt hoặc đi vòng quanh mãi.

III. Main Results:​

  • OPD không nâng ceiling: ở chế độ lấy mẫu nhiều (pass@k với k lớn), student OPD hội tụ về mức base model, chỉ cải thiện ở low-sample regime.
  • Prompt diversity > rollout depth: với ngân sách tính toán cố định, n=1 (nhiều prompt khác nhau) vượt trội hơn n=2 hoặc n=8 (lấy mẫu sâu trên một prompt).
  • Teacher mạnh không đảm bảo student tốt: Qwen3-4B-GRPO là teacher mạnh nhất nhưng cho tín hiệu Informativeness I < 0, khiến student Qwen3-1.7B-Base gần như đứng yên trên AIME 2025; trong khi Qwen3-1.7B-GRPO cho kết quả cuối tốt hơn.
  • Signal regulation vượt naive OPD và RLVR: trên bảy benchmark toán (MATH500, Minerva, AMC23, AIME 2024–2026, HMMT25), Hard Clipping và Log-scale Compression ổn định huấn luyện, loại bỏ length exploitation, và vượt các baseline.
  • Kết hợp điều chỉnh + teacher vừa vượt teacher khổng lồ: OPD được điều chỉnh với teacher 4B vượt các phương pháp trước dùng teacher 30B, chứng minh signal quality quan trọng hơn teacher scale.

IV. Conclusion & Future Works:​

OPD nên được hiểu là cơ chế định hướng khám phá dựa trên tín hiệu teacher tại rollout của student, không phải cách truyền năng lực xuyên qua mô hình. Sự thành công của OPD phụ thuộc vào chất lượng tín hiệu — được đo qua Informativeness và độ ổn định trước length exploitation — hơn là quy mô tham số thuần túy của teacher. Hướng tương lai: phát triển khung điều chỉnh tín hiệu thích ứng (adaptive) thay vì heuristic cố định, và mở rộng đánh giá ra các tác vụ sinh văn bản mở hoặc QA kiến thức ngoài toán học.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế sinh ra tín hiệu Informativeness tích cực trong OPD, định lượng điều kiện cần và đủ để teacher-student alignment đạt ngưỡng khả học.
  2. Mở rộng phân tích length exploitation cho các mô hình sinh văn bản dài (long-form) và mã nguồn, nơi tối ưu độ dài ảnh hưởng trực tiếp đến chất lượng đầu ra.
  3. Kết hợp signal regulation với curriculum learning hoặc teacher assistant để tự động điều chỉnh teacher-student gap trong quá trình huấn luyện.

2. Patent:​

  1. Hệ thống tinh chỉnh LLM trên điện thoại thông minh bằng on-policy distillation có điều chỉnh tín hiệu: thiết bị tự sinh rollout, dùng teacher nhỏ trên cloud để đánh giá từng token, áp dụng Hard Clipping để tránh bùng nổ độ dài và tiết kiệm pin.
  2. Công cụ hỗ trợ học toán cá nhân trên máy tính bảng: mô hình student cỡ nhỏ chạy local được định hướng suy luận bởi teacher từ xa, với log-scale compression để giữ ổn định khi student và teacher có khoảng cách năng lực lớn.
  3. Module tối ưu hóa phản hồi từng bước cho trợ lý lập trình: kiểm soát độ dài đoạn mã sinh ra bằng cách nén advantage cấp token, tránh trường hợp model hoặc nhảy cóc (cắt ngắn) hoặc chèn comment thừa (dài dòng) để đạt điểm tối ưu giả tạo.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.13399
ArXiv Abstracthttps://arxiv.org/abs/2607.13399
PDF Downloadhttps://arxiv.org/pdf/2607.13399.pdf
Github RepositoryN/A

14. RoboTTT: Context Scaling for Robot Policies (12 votes)​

Tác giả: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, et al.

Xuất bản lúc: 2026-07-16

Tag: Vision-Language-Action, Robot Foundation Models, Long-Context Policies, Test-Time Training, Fast Weights, In-Context Learning, Flow Matching, Diffusion Transformer

I. Main Problem:​

Các mô hình nền tảng robot hiện đại chỉ điều kiện hóa trên quy sát đơn bước hoặc lịch sử ngắn, khiến chúng thất bại trong các tác vụ đa giai đoạn dài hạn. Hệ quả:

  • không thể học một lần từ video demo của con người (one-shot imitation)
  • không tự cải thiện trong quá trình triển khai (on-the-fly improvement)
  • dễ gãy khi bị nhiễu bên ngoài và bỏ qua giai đoạn trong lắp ráp dài
  • context length từng là trục scaling quan trọng của LLM nhưng chưa được khai thác trong visuomotor policies.

II. Main Idea:​

RoboTTT tích hợp Test-Time Training (TTT) vào các mô hình nền tảng robot như Vision-Language-Action (VLA). Thay vì lưu toàn bộ lịch sử dưới dạng key-value cache như Transformer, RoboTTT dùng fast weights — các tham số của một mạng nhỏ (MLP hai tầng) được cập nhật bằng gradient descent ở cả training lẫn inference — để nén lịch sử thành trạng thái recurrent có dung lượng cố định.

Quy trình chính:

  • DiT action head xử lý quan sát từng bước bằng attention, sau đó TTT layers xử lý xuyên thời gian.
  • Fast weights được cập nhật ở mỗi timestep và truyền tiếp, giữ chi phí inference không đổi dù context dài.
  • Sequence action forcing lấy mức nhiễu độc lập cho từng action chunk, kết hợp Truncated Backpropagation Through Time (TBPTT) để huấn luyện context 8K timestep mà không vỡ bộ nhớ GPU.
  • DAgger Distillation dùng cả hành động sai của robot làm context và chỉ tính loss trên hành động sửa của người, dạy mô hình tự khắc phục lỗi trong rollout.

Ví dụ đời thường: giống như đầu bếp không chỉ nhớ công thức mà trong lúc nấu liên tục nếm, điều chỉnh vị ngay lập tức và ghi nhớ sự điều chỉnh đó vào "cảm giác nấu ăn" của mình — vừa giữ kiến thức nền, vừa thích ứng với nguyên liệu thay đổi.

III. Main Results:​

  • Hiệu suất tổng thể: RoboTTT đạt 79% task completion score trung bình, cao hơn +87% so với baseline GR00T N1.7 đơn bước (42%) và +41% so với GDN (56%).
  • Tác vụ dài hạn: RoboTTT là phương pháp duy nhất hoàn thành hoàn toàn tác vụ Gear Bot kéo dài 5 phút, 10 giai đoạn (2/10 lần thử), trong khi các baseline không bao giờ thành công.
  • Scaling context: Khi tăng pretraining context từ 128 lên 8K timestep, hiệu suất closed-loop tăng đều, đạt 71.5% ở 8K — cao hơn +63% so với cùng mô hình ở 1K và +57% so với baseline short-context tốt nhất.
  • One-shot imitation từ video người: trên tác vụ Circuit, RoboTTT đạt 65% completion và 6/10 rollout thành công, trong khi GDN hoàn toàn thất bại (0/10).
  • Robustness với nhiễu: khi bộ phận bị tháo ra giữa chừng, RoboTTT phục hồi được 15/20 trường hợp roof và 18/20 trường hợp tire.
  • On-the-fly improvement: DAgger Distillation giúp RoboTTT tăng +36% so với trước khi fine-tune, vượt xa standard DAgger chỉ +9%.

IV. Conclusion & Future Works:​

RoboTTT chứng minh context length là một trục scaling mới cho robot foundation models, không chỉ cho LLM. Việc nén lịch sử dài vào fast weights qua gradient descent tại test-time cho phép robot điều kiện hóa trên cả phút của quan sát, học demo một lần và tự cải thiện trong rollout. Hướng tương lai: mở rộng lên context còn dài hơn, áp dụng cho nhiều loại robot và tác vụ gia đình/đa nhiệm, kết hợp với planner tượng trưng hoặc world models để lập kế hoạch dài hạn, và khám phá khả năng chuyển giao cross-embodiment qua fast weight meta-learning.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RoboTTT cho mobile manipulation và tác vụ gia đình đa giai đoạn, đánh giá khả năng generalize qua nhiều môi trường và cấu hình robot khác nhau.
  2. Nghiên cứu meta-learning của fast weights để chuyển giao policies giữa các embodiment khác nhau (ví dụ cánh tay robot khác số joints, góp, độ dài).
  3. Kết hợp long-context TTT với video-world models hoặc LLM planners để robot không chỉ nhớ lịch sử mà còn dự đoán và lập kế hoạch nhiều bước tới.
  4. Phát triển chiến lược thu thập DAgger data hiệu quả cho sequence models, tối ưu hóa việc chọn điểm can thiệp của người để tối đa hóa on-the-fly improvement.

2. Patent:​

  1. Ứng dụng trên điện thoại cho robot gia đình: người dùng quay một đoạn video ngắn trên điện thoại (ví dụ cách sắp xếp đồ ăn trong tủ lạnh), gửi cho robot; robot dùng in-context video demo để thực hiện đúng cấu hình ngay lần đầu mà không cần lập trình.
  2. Hệ thống robot lắp ráp công nghiệp tự cải thiện: robot ghi lại các lần làm sai và sự sửa chữa của kỹ thuật viên trong ca sản xuất, rồi dùng DAgger Distillation để tự điều chỉnh chính sách trong ca tiếp theo, giảm thời gian dừng máy.
  3. Robot kho vận chống nhiễu động: khi gói hàng bị rơi hoặc di chuyển bởi người khác, robot nhớ lại trạng thái trước nhiễu và khôi phục quy trình đúng bằng cách điều kiện hóa trên lịch sử rollout dài của chính nó.
  4. Module điện thoại điều khiển robot từ xa: ứng dụng streaming video từ camera điện thoại làm context, cho phép robot thực hiện theo demo trực quan trong môi trường mới mà không cần fine-tuning trên đám mây.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.15275
ArXiv Abstracthttps://arxiv.org/abs/2607.15275
PDF Downloadhttps://arxiv.org/pdf/2607.15275.pdf
Github RepositoryN/A

15. MeanFlowNFT: Bringing Forward-Process RL to Average-Velocity Generators (10 votes)​

Tác giả: Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

Xuất bản lúc: 2026-07-16

Tag: MeanFlow, Flow Matching, Diffusion Models, Reinforcement Learning, DiffusionNFT, Few-Step Sampling, Text-to-Image Generation, Text-to-Video Generation

I. Main Problem:​

MeanFlow sinh mẫu nhanh với vài bước nhờ dự đoán vận tốc trung bình theo khoảng thời gian, thay vì vận tốc tức thời như Flow Matching. Tuy nhiên, phương pháp forward-process RL hiệu quả như DiffusionNFT chỉ tối ưu vận tốc tức thời, nên không áp dụng trực tiếp được cho MeanFlow. Thách thức:

  • cần tinh chỉnh MeanFlow theo phần thưởng mà không phá vỡ bộ lấy mẫu ít bước;
  • tối ưu trực tiếp vận tốc trung bình bằng DiffusionNFT làm mất đảm bảo cải thiện chính sách và dễ sụp đổ.

II. Main Idea:​

MeanFlowNFT giữ nguyên mạng vận tốc trung bình uθ để lấy mẫu, nhưng chuyển việc huấn luyện RL sang không gian vận tốc tức thời. Cụ thể:

  • Dùng MeanFlow identity để xây dựng bộ dự đoán vận tốc tức thời được cảm sinh: Vθ(xt, s, t) = uθ(xt, s, t) + (t−s) d/dt uθ(xt, s, t).
  • Áp dụng mục tiêu DiffusionNFT lên Vθ: tạo các dự đoán “tích cực” và “tiêu cực” theo trọng số phần thưởng, huấn luyện không cần likelihood và không chạy quá trình ngược.
  • Cải thiện ở không gian tức thời được chứng minh truyền ngược về vận tốc trung bình, nên bộ lấy mẫu vài bước của MeanFlow được giữ nguyên.
  • Trong thực tế, đạo hàm tổng được xấp xỉ bằng sai phân hữu hạn, dùng chung cho mô hình tham chiếu EMA để ổn định, và hướng dịch chuyển lấy từ vận tốc điều kiện tiến của quá trình forward.

Ví dụ đời thường: giống như tài xế tàu điện không điều chỉnh từng mét đường ray, mà lập kế hoạch vận tốc trung bình cho đoạn sắp tới; chỉ cần kiểm tra xem tốc độ trung bình đó có đưa tàu đến đúng giờ không, rồi tinh chỉnh kế hoạch cho cả đoạn.

III. Main Results:​

  • Trên SD3.5-M với 4 bước lấy mẫu, MeanFlowNFT đạt kết quả tốt nhất trong 6/8 chỉ số so với các phương pháp few-step khác; vượt qua các baseline RTDMD, Rdm, AnyFlow, DMD, CDM.
  • Với 4 bước, MeanFlowNFT sánh được hoặc vượt DiffusionNFT 40 bước trên một số chỉ số phần thưởng (ImageReward 1.45 vs 1.41, CLIPScore 0.297 vs 0.289) trong khi ít hơn 10 lần đánh giá hàm.
  • Trên Wan2.1 1.3B với 4 bước, MeanFlowNFT đạt VBench 84.33, vượt LongCat-Video RL 50 bước (82.57) và tốt nhất 5/7 chỉ số few-step.
  • Áp dụng trực tiếp DiffusionNFT lên AnyFlow/DMD/CDM gây sụp đổ hoặc hội tụ kém trong quá trình huấn luyện, trong khi MeanFlowNFT ổn định.
  • MeanFlowNFT có khả năng scale khi test-time: tăng số bước lên 8, 16, 32 thì chất lượng tiếp tục cải thiện.

IV. Conclusion & Future Works:​

MeanFlowNFT mở rộng forward-process RL lên các bộ sinh MeanFlow bằng cách tối ưu trong không gian vận tốc tức thời được cảm sinh, đồng thời bảo toàn khả năng lấy mẫu ít bước và có đảm bảo cải thiện chính sách. Hướng phát triển: áp dụng cho các biến thể MeanFlow khác (ví dụ video, 3D), thử nhiều hàm phần thưởng đa dạng, cải thiện xấp xỉ đạo hàm tổng, và mở rộng lên mô hình lớn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng MeanFlowNFT cho các bộ sinh đa khung hình (video) với các độ dài và độ phân giải khác nhau, kết hợp nhiều phần thưởng để cân bằng chất lượng chuyển động, độ trung thực văn bản và độ mượt.
  2. Kết hợp MeanFlowNFT với các phương pháp distillation tiên tiến để giảm thêm số bước lấy mẫu xuống 1–2 bước mà vẫn giữ chất lượng cao.
  3. Nghiên cứu lý thuyết sâu hơn về sai số khi xấp xỉ đạo hàm tổng bằng sai phân hữu hạn và ảnh hưởng của nó đến đảm bảo cải thiện chính sách trong cài đặt thực tế.

2. Patent:​

  1. Ứng dụng tạo ảnh theo văn bản trên điện thoại: mô hình MeanFlow được tinh chỉnh bằng MeanFlowNFT để tạo ảnh chất lượng cao trong 2–4 bước, tối ưu theo sở thích người dùng (ví dụ độ đẹp, độ trung thành văn bản) mà không tốn nhiều tài nguyên thiết bị.
  2. Tính năng tạo và chỉnh sửa video ngắn theo văn bản trên thiết bị di động: dùng MeanFlowNFT để cá nhân hóa phong cách video, cải thiện độ mượt chuyển động và độ khớp với mô tả người dùng trong thời gian thực.
  3. Hệ thống tối ưu nội dung hình ảnh cho mạng xã hội: máy chủ đám mây chạy MeanFlowNFT để tinh chỉnh mô hình sinh ảnh theo phản hồi người dùng (like, share) như một reward online, giúp nội dung được đề xuất càng ngày càng khớp sở thích.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.15273
ArXiv Abstracthttps://arxiv.org/abs/2607.15273
PDF Downloadhttps://arxiv.org/pdf/2607.15273.pdf
Github Repositoryhttps://github.com/Harahan/MeanFlowNFT

16. RxBrain: Embodied Cognition Foundation Model with Joint Language-Visual Reasoning and Imagination (23 votes)​

Tác giả: Haotian Liang, Mingkang Chen, Yufei Huang, Yuchun Guo, Xiaomeng Zhu, et al.

Xuất bản lúc: 2026-07-15

Tag: Embodied Cognition, Vision-Language Models, World Models, Multimodal Generation, Mixture-of-Transformers, Robotics, Subgoal Planning, Foundation Models

I. Main Problem:​

Các mô hình Vision-Language mạnh trong lý luật ngôn ngữ và phân rã nhiệm vụ nhưng thường không hình dung rõ trạng thái vật lý đích; ngược lại, các mô hình world model dự đoán được khung hình tương lai nhưng thiếu lý luận nhân quả, ràng buộc và quyết định trừu tượng. Các nền tảng thống nhất gần đây vẫn coi hai khả năng này như chức năng riêng biệt, không liên kết thành một quy trình lập kế hoạch nhận thức thể hiện. Hệ quả là kế hoạch robot thường hoặc mô tả đủ nhưng thiếu chi tiết không gian, hoặc có hình ảnh đích nhưng không giải thích cách thực hiện.

II. Main Idea:​

RxBrain biểu diễn kế hoạch thể hiện trong một chuỗi lập kế hoạch chung xen kẽ lý luận bằng ngôn ngữ và hình dung bằng hình ảnh. Ngôn ngữ đảm nhận cấu trúc trừu tượng: phân rã nhiệm vụ, các bước nguyên thủy, ràng buộc, thứ tự thời gian và logic quyết định; hình ảnh đảm nhận neo địa hóa trạng thái thế giới, dự đoán các trạng thái trung gian và cuối cùng tương ứng với mỗi bước. Kiến trúc Mixture-of-Transformers đa phương thức xử lý ngôn ngữ, ảnh đầu vào và token thị giác được sinh trong cùng một mô hình, với nhánh thị giác chung chia sẻ QKV projections nhưng định tuyến đến các FFN chuyên biệt cho hiểu và sinh. Quá trình huấn luyện tự động chuyển video thể hiện thành các mẫu giám sát L0–L3: từ thay đổi trạng thái trong một bước, lập kế hoạch theo bước, lập kế hoạch theo mục tiêu con, đến trạng thái cuối cùng của toàn bộ nhiệm vụ.

Ví dụ đời thường: giống như đầu bếp viết từng bước công thức và đồng thời phác thảo món ăn sẽ trông như thế nào sau mỗi bước — phần chữ nói phải làm gì, phần hình vẽ cho thấy kết quả cần đạt được.

III. Main Results:​

  • RxBrain duy trì được khả năng hiểu và sinh nội dung thể hiện đồng thời tạo ra kế hoạch kết hợp lý luận văn bản, dự đoán trạng thái thế giới và lập kế hoạch mục tiêu con.
  • Trên RxBrain-Bench, mô hình được đánh giá khả năng biểu diễn kế hoạch thể hiện qua thành phần ngôn ngữ và thị giác bổ trợ lẫn nhau, thay vì chỉ đánh giá riêng lẻ hiểu hay sinh.
  • Khi mở rộng sang sinh hành động robot liên tục, RxBrain cho thấy hiệu suất thực robot khả quan mà không cần pre-training quy mô lớn trên dữ liệu hành động.
  • Mô hình cơ sở có 6.2B tham số, được huấn luyện trên khoảng 50.177 giờ video và 21.5 triệu đoạn sau khi lọc chất lượng.

IV. Conclusion & Future Works:​

RxBrain là bước khởi đầu hướng đến mô hình nền tảng cho nhận thức thể hiện, bằng cách liên kết lý luận ngôn ngữ và hình dung thị giác trong cùng một không gian kế hoạch. Hướng phát triển tiếp theo có thể là:

  • tích hợp lập kế hoạch vòng kín, cho phép mô hình điều chỉnh kế hoạch dựa trên quan sát thực tế liên tục,
  • mở rộng sang nhiều loại robot và cảm biến khác nhau, thay vì chỉ các thiết lập thu thập dữ liệu hiện tại,
  • kết hợp kiểm chứng ràng buộc và an toàn vào quá trình sinh kế hoạch để giảm rủi ro khi triển khai thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RxBrain thành hệ thống lập kế hoạch vòng kín: mô hình không chỉ sinh kế hoạch một lần mà còn dùng quan sát mới để tự điều chỉnh chuỗi mục tiêu văn bản-thị giác trong thời gian thực.
  2. Nghiên cứu khả năng chuyển giao giữa các thể hiện robot khác nhau của biểu diễn kế hoạch ngôn ngữ-thị giác chung, ví dụ từ cánh tay robot sang robot di động hoặc bàn tay con người.
  3. Kết hợp lý luận nhân quả và kiểm chứng ràng buộc với hình dung thị giác để đảm bảo các kế hoạch thể hiện được sinh ra không chỉ khả thi về mặt vật lý mà còn an toàn.

2. Patent:​

  1. Ứng dụng điện thoại điều khiển robot gia đình: người dùng chụp ảnh hoặc quay video ngắn, ứng dụng dùng mô hình như RxBrain để phân tích, tạo kế hoạch văn bản + hình ảnh từng bước, sau đó gửi lệnh đến robot thực hiện mà không cần lập trình thủ công.
  2. Kính AR hướng dẫn lắp ráp hoặc nấu ăn: dựa trên cảnh quan sát hiện tại, kính hiển thị hình ảnh dự đoán trạng thái tiếp theo và dòng chữ hướng dẫn từng thao tác, giúp người dùng làm theo đúng trình tự.
  3. Máy tính bảng lập trình robot công nghiệp không cần code: người vận hành mô tả nhiệm vụ bằng giọng nói hoặc văn bản, hệ thống sinh kế hoạch ngôn ngữ-thị giác chung và chuyển đổi thành chuỗi hành động robot liên tục, giảm thời gian setup dây chuyền.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.14187
ArXiv Abstracthttps://arxiv.org/abs/2607.14187
PDF Downloadhttps://arxiv.org/pdf/2607.14187.pdf
Github Repositoryhttps://github.com/Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0

17. WanSong v1.0 Technical Report (13 votes)​

Tác giả: Binghui Chen, Pandeng Li, Yu Liu, Jingren Zhou

Xuất bản lúc: 2026-07-16

Tag: Music Generation, Diffusion Models, Flow Matching, RLHF, Audio VAE, Dual-Stem Modeling, Multimodal Transformers

I. Main Problem:​

Các mô hình tạo nhạc/nhạc nền thương mại hiện tại như Suno hay Mureka vẫn chủ yếu dựa trên kiến trúc autoregressive (AR) hoặc pipeline nhiều tầng (AR rồi diffusion), gây ra hai hạn chế chính:

  • Hiệu quả suy diễn thấp và khó duy trì chất lượng cảm nhận ổn định cho bản nhạc dài.
  • Khi mã hóa chung vocal và nhạc nền (BGM) trong một token duy nhất, mô hình diffusion bị thiên lệch quá mức vào vocal, làm BGM bị nén/nhược; điều chỉnh CFG cũng không cân bằng được hai thành phần — CFG cao thì vocal tốt nhưng BGM yếu, CFG thấp thì ngược lại.

II. Main Idea:​

WanSong v1.0 là mô hình diffusion thuần túy, một tầng duy nhất, xem âm thanh như continuous tokens và sinh trực tiếp bài hát đa ngôn ngữ, dài tới 5 phút, với chất lượng cao. Các điểm cốt lõi:

  • Kiến trúc hybrid-MMDit: ghép token văn bản từ LLM captioner và token âm thanh liên tục thành một chuỗi thống nhất, dùng flow matching để học mối quan hệ giữa caption và bài hát.
  • Dual-stem token scheme: mô hình học vocal và BGM như hai kênh đầu ra riêng biệt trong cùng một token ở mỗi block, giúp loại bỏ xung đột giữa hai thành phần và xuất ra hai stem tách rời (vocal + BGM) ngay trong một lần chạy.
  • VAE tự huấn luyện với tỷ lệ nén 1024 (bằng nửa Stable Audio 2), giữ lại nhiều chi tiết thời gian-tần số hơn, đặc biệt quan trọng cho transient sắc nét và tách nguồn rõ ràng.
  • RLHF kết hợp DPO rồi ReFL: huấn luyện reward model cho ba chiều — musicality, độ chính xác lời, prompt alignment — rồi dùng DPO để tối ưu cấu trúc toàn cục và ReFL để tinh chỉnh chi tiết cục bộ.

Ví dụ đời thường: giống như một đầu bếp không trộn lẫn nguyên liệu chính và nước sốt vào một bát từ đầu, mà xào riêng từng thành phần trong cùng một bếp để giữ đúng vị, rồi mới ghép đĩa hoàn chỉnh.

III. Main Results:​

  • VAE reconstruction: Với cùng tỷ lệ nén 2048, WanSong vượt Stable Audio 2 trên cả bộ music (−19% STFT, +0.28 dB SI-SDR) và SeedTTS speech (−22% STFT, +1.72 dB SI-SDR). Giảm tỷ lệ nén xuống 1024 cải thiện SI-SDR thêm +2.86 dB trên nhạc và +4.27 dB trên lời nói.
  • WanSong Bench: trên 200 mẫu 4 phút bốn ngôn ngữ (Trung, Anh, Nhật, Hàn), WanSong đạt PER 7.43% — thấp hơn hẳn LeVo (27.11%), MurekaV7.6 (12.7%) và SunoV5 (22.80%).
  • Musicality: điểm musicality của WanSong là 5.49, vượt SunoV5 (4.18), MurekaV7.6 (3.83) và LeVo (1.69).
  • Ablation token compression: giảm tỷ lệ nén token thực từ 2048 xuống 1024 giúp PER giảm từ 19.2% xuống 15.0% và điểm chất lượng tăng từ 2.1 lên 3.2; chứng minh tỷ lệ nén hiệu dụng là yếu tố chủ đạo quyết định chất lượng cảm nhận.

IV. Conclusion & Future Works:​

WanSong v1.0 cho thấy một hướng thực tiễn cho mô hình nhạc nền dựa trên diffusion thuần túy: đơn giản hơn pipeline AR nhiều tầng, vẫn đạt độ trung thực cao, hỗ trợ đa ngôn ngữ, tạo nhạc dài và xuất ra stem tách biệt để dễ hậu kỳ. Hướng tương lai có thể bao gồm: tối ưu thêm step-distillation để suy diễn nhanh hơn, mở rộng điều khiển chi tiết (cấu trúc bài hát, giọng hát cụ thể), và cải thiện khả năng tổng quát hóa cho các thể loại nhạc ít dữ liệu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng phương pháp dual-stem token cho các mô hình diffusion tạo âm thanh đa kênh khác, ví dụ tách riêng melody, rhythm, và harmony để kiểm soát từng thành phần độc lập.
  2. Nghiên cứu chiến lược chọn tỷ lệ nén VAE thích ứng theo độ dài và thể loại bài hát, cân bằng giữa chất lượng cảm nhận và chi phí tính toán trong suy diễn thời gian thực.
  3. Kết hợp WanSong với mô hình sinh lời bài hát (lyric generation) để tạo ra pipeline end-to-end: từ prompt văn bản → sinh lời → phổ nhạc → hoàn chỉnh bài hát.

2. Patent:​

  1. Ứng dụng tạo nhạc chờ/nhạc nền cá nhân hóa trên điện thoại: người dùng nhập mô tả cảm xúc/thể loại, ứng dụng sinh bài hát hoàn chỉnh với vocal và nhạc nền tách rời để dễ dàng chỉnh sửa hoặc thay lời.
  2. Công cụ hỗ trợ sản xuất âm nhạc cho nhà sáng tác: nhập văn bản mô tả phong cách, ngôn ngữ, độ dài; hệ thống xuất ra file đa track (vocal + accompaniment) sẵn sàng để mix và master trong các phần mềm DAW trên điện thoại/máy tính bảng.
  3. Hệ thống tạo nhạc quảng cáo/nội dung thương mại tự động: dựa trên brief văn bản, tạo bản nhạc dài tới vài phút với đúng nhịp điệu, cấu trúc và giọng hát theo thương hiệu, có thể xuất riêng stem để ghép vào video marketing.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.14749
ArXiv Abstracthttps://arxiv.org/abs/2607.14749
PDF Downloadhttps://arxiv.org/pdf/2607.14749.pdf
Github RepositoryN/A

18. DeepLoop: Depth Scaling for Looped Transformers (13 votes)​

Tác giả: Shuzhen Li, Yifan Zhang, Jiacheng Guo, Quanquan Gu, Mengdi Wang

Xuất bản lúc: 2026-07-15

Tag: Looped Transformers, DeepNorm, Residual Scaling, Weight Sharing, Language Models, Test-Time Compute

I. Main Problem:​

Transformer chuẩn tăng độ sâu bằng cách thêm lớp mới, nghĩa là mỗi lớp đều có tham số riêng. Looped Transformer tách biệt hai trục này: lưu K khối vật lý và lặp lại R vòng, đạt độ sâu mở rộng N=KR nhưng chỉ lưu K bộ tham số. Vấn đề là các quy tắc residual scaling hiện tại (như DeepNorm) giả định mỗi lớp mở rộng có tham số riêng biệt, nên không còn đúng khi cùng một khối vật lý được tái sử dụng nhiều lần. Khi chia sẻ trọng số, bản cập nhật tham số tích lũy gradient từ R lần thăm và sau đó được đọc lại bởi chính R lần thăm đó, làm khuếch đại nhiễu động và gây mất ổn định huấn luyện nếu dùng scaling cũ.

II. Main Idea:​

DeepLoop điều chỉnh quy tắc residual scaling để tính đến hiệu ứng tied-depth (chiều sâu chia sẻ tham số). Phương pháp:

  • Giữ nguyên kiến trúc Post-LN DeepNorm.
  • Thay đổi số mũ từ p=1/4 (DeepNorm) sang p=1/2 trong chế độ chiều sâu vật lý cố định và số vòng lặp tăng: α = (2N)^(1/2) và β = (8N)^(-1/2).
  • Điều này làm tỷ lệ cập nhật-trên-residual β/α giảm từ 1/(2√N) xuống 1/(4N), đảm bảo nhiễu động bậc nhất vẫn bị chặn khi các lần thăm trong vòng lặp bị căn chỉnh (aligned).
  • Không thêm cổng, không học hệ số residual, không mất phụ trợ.

Ví dụ đời thường: giống như một chiếc xe đạp công cộng được nhiều người dùng liên tục trong ngày; nếu mỗi lượt đi đều để lại hao mòn và người tiếp theo nhận nguyên chiếc xe đã tích lũy hư hại, bạn phải giảm mức độ sử dụng mỗi chuyến hoặc tăng cường bảo trì để hệ thống không sụp đổ cuối ngày.

III. Main Results:​

  • R=1 (không lặp): DeepLoop tương đương DeepNorm, không ảnh hưởng tiêu cực.
  • R>1 (lặp thật sự): DeepLoop cải thiện validation loss và độ chính xác downstream so với baseline giữ nguyên DeepNorm.
  • Thử nghiệm ở quy mô GPT-2 small và GPT-2 medium: lợi thế xuất hiện khi chiều sâu tuần hoàn được kích hoạt.
  • Bộ đánh giá 8 tác vụ ngôn ngữ: điểm trung bình downstream tăng theo chiều sâu tuần hoàn.
  • Trên ARC-AGI với mô hình suy luận phân cấp (HRM): số mũ p=1/2 của DeepLoop cho độ chính xác voted cao hơn baseline vanilla HRM.

IV. Conclusion & Future Works:​

DeepLoop cho thấy chiều sâu tuần hoàn ổn định cần quy tắc scaling dựa trên số lần thăm tham số (parameter visits), không chỉ số lớp danh nghĩa. Đây là bản chỉnh sửa tối thiểu, xác định và không làm thay đổi kiến trúc, giúp các mô hình looped/hierarchical mở rộng chiều sâu hiệu quả mà không tăng tham số. Hướng đi tương lai: đo lường hệ số căn chỉnh κ_R thực tế trên nhiều tác vụ, mở rộng sang các kiến trúc normalization khác (Pre-LN), tối ưu scaling theo từng module trong hệ thống phân cấp, và áp dụng cho các mô hình test-time compute.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích định lượng hệ số căn chỉnh κ_R trên các tập dữ liệu thực tế để xác định khi nào chế độ aligned (κ_R=Θ(R)) thực sự xảy ra và khi nào chỉ cần p=1/4.
  2. Mở rộng DeepLoop sang các kiến trúc normalization khác như Pre-LN hoặc các biến thể residual khác, không chỉ Post-LN DeepNorm.
  3. Tối ưu hóa scaling không đối xứng (α_H, β_H) và (α_L, β_L) cho các module trong mô hình suy luận phân cấp dựa trên số lần thăm gradient-visible của từng module.
  4. Kết hợp DeepLoop với các kỹ thuật test-time compute như recurrent depth và thinking tokens để cải thiện hiệu quả suy luận sâu trên thiết bị.

2. Patent:​

  1. Bàn phím thông minh trên điện thoại sử dụng mô hình ngôn ngữ looped Transformer với DeepLoop: dùng ít khối vật lý lặp lại nhiều vòng để tăng độ sâu xử lý ngôn ngữ mà không tốn bộ nhớ lớn, giúp gợi ý từ và sửa lỗi mượt hơn trên thiết bị di động.
  2. Trợ lý suy luận cục bộ trên smartphone: tái sử dụng một tập hợp nhỏ các khối Transformer với chiều sâu tuần hoàn để trả lời câu hỏi phức tạp mà không cần đẩy toàn bộ mô hình lớn lên đám mây, tiết kiệm pin và băng thông.
  3. Ứng dụng dịch máy ngoại tuyến cho điện thoại: áp dụng DeepLoop để mở rộng hiệu quả chiều sâu của mô hình dịch, xử lý câu dài và ngữ cảnh tốt hơn trong khi vẫn giữ kích thước tham số nhỏ gọn phù hợp bộ nhớ di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.13491
ArXiv Abstracthttps://arxiv.org/abs/2607.13491
PDF Downloadhttps://arxiv.org/pdf/2607.13491.pdf
Github RepositoryN/A