Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-06-18

Báo cáo được tạo tự động vào lúc 2026-06-30 17:48:27 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. MolmoMotion: Forecasting Point Trajectories in 3D with Language Instruction (53 votes)​

Tác giả: Jianing Zhang, Chenhao Zheng, Yajun Yang, Max Argus, Rustin Soraki, et al.

Xuất bản lúc: 2026-06-17

Tag: Motion Forecasting, 3D Point Trajectory, Vision-Language Model, Flow Matching, Object-Grounded, Robotics, Video Generation

I. Main Problem:​

Các mô hình dự đoán chuyển động hiện tại thường phụ thuộc vào danh mục đối tượng cố định (như người, tay, vật cứng) hoặc biểu diễn trong không gian ảnh 2D, làm chúng không tổng quát và khó chuyển đổi giữa các camera hay tác vụ hạ nguồn. Thiếu một biểu diễn chuyển động độc lập với lớp đối tượng, ổn định theo góc nhìn và có thể sử dụng trực tiếp cho các ứng dụng như robot và sinh video.

II. Main Idea:​

Bài báo đề xuất tác vụ dự đoán quỹ đạo điểm 3D có điều kiện mục tiêu: mô hình nhận lịch sử quan sát, bộ điểm 3D ban đầu trên đối tượng và mô tả ngôn ngữ, rồi dự đoán quỹ đạo tương lai của các điểm đó trong khung tọa độ thế giới. Hai kiến trúc được phát triển: (1) mô hình tự hồi quy (Autoregressive) mã hóa tọa độ thành văn bản và sinh tuần tự, (2) mô hình Flow Matching (FM) học phân phối liên tục các quỹ đạo. Mô hình sử dụng Molmo2 làm backbone Vision-Language để gắn kết đối tượng từ ảnh và câu lệnh, đầu ra là tọa độ 3D metric.

III. Main Results:​

  • MolmoMotion vượt trội các baseline (ObjectForesight, EgoScaler, Wan2.2, Track2Act) trên PointMotionBench ở hầu hết các chỉ số ADE/FDE/PWT.
  • Biến thể autoregressive đạt kết quả tốt nhất (HOT3D ADE 0.109 so với 0.129 của ObjectForesight).
  • Trong robot pick-and-place, khởi tạo từ MolmoMotion tăng tỷ lệ thành công từ 56% lên 76% và cải thiện hiệu quả huấn luyện.
  • Hỗ trợ sinh video: MolmoMotion + DaS cải thiện cả 5 chỉ số VBench so với CogVideoX-5B và vượt Wan2.2-14B ở 4/5 chỉ số.

IV. Conclusion & Future Works:​

MolmoMotion cung cấp một biểu diễn chuyển động 3D tổng quát, độc lập với lớp đối tượng và góc nhìn, có thể chuyển giao hiệu quả cho lập kế hoạch robot và sinh video. Hướng tương lai bao gồm mở rộng sang dự đoán tương tác nhiều đối tượng và tích hợp trực tiếp vào hệ thống đóng vòng thực tế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển mô hình dự đoán quỹ đạo 3D kết hợp cả tương tác giữa nhiều đối tượng, mở rộng khả năng dự đoán hành vi phối hợp như xếp chồng đồ vật.
  2. Kết hợp MolmoMotion với mô hình thế giới học tăng cường để cho phép robot tự lập kế hoạch hành vi dựa trên quỹ đạo dự đoán mà không cần mô phỏng chi tiết môi trường.
  3. Tích hợp Flow Matching nhiều bước để sinh ra nhiều quỹ đạo đa dạng hơn, phục vụ cho các tác vụ cần tính bất định như điều khiển robot dưới nhiễu.

2. Patent:​

  1. Hệ thống hướng dẫn thao tác tay người dùng trên điện thoại: camera quay tay và vật thể, mô hình dự đoán quỹ đạo 3D để chỉ cách đặt tay và di chuyển đúng động tác, ứng dụng cho hướng dẫn nấu ăn hoặc lắp ráp.
  2. Module điều khiển robot gia đình từ xa: người dùng chạm vào vật thể trên màn hình điện thoại, mô hình dự đoán quỹ đạo 3D theo câu lệnh 'nhặt' hay 'đặt', robot tự thực hiện mà không cần lập trình cụ thể.
  3. Tính năng kiểm tra chuyển động trong ứng dụng chỉnh sửa video: người dùng vẽ đường đi của đối tượng, mô hình dự đoán quỹ đạo 3D làm mượt và hiệu chỉnh chuyển động, tạo hiệu ứng tự nhiên hơn mà không cần keyframe thủ công.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18558
ArXiv Abstracthttps://arxiv.org/abs/2606.18558
PDF Downloadhttps://arxiv.org/pdf/2606.18558.pdf
Github Repositoryhttps://github.com/allenai/molmo-motion

2. Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games (48 votes)​

Tác giả: Shengyuan Ding, Xilin Wei, Xinyu Fang, Haodong Duan, Dahua Lin, et al.

Xuất bản lúc: 2026-06-17

Tag: Multimodal LLMs, Benchmark, Non-Markov, Memory, POMDP, Closed-Loop, Game

I. Main Problem:​

Các benchmark hiện tại kiểm tra trí nhớ hoặc suy luận đa phương thức của MLLM chưa tách biệt được khả năng tái tạo trạng thái ẩn (belief-state) từ lịch sử tương tác để đưa ra hành động tiếp theo. Các bài kiểm tra hiện có thường gây nhiễu bởi các kỹ năng khác như khám phá, hiểu luật chơi, hoặc chỉ yêu cầu trả lời sau khi tập kết thúc (remember-to-answer), thay vì yêu cầu hành động dựa trên hồi ức (remember-to-act).

II. Main Idea:​

Bài báo giới thiệu RNG-Bench, một bộ benchmark gồm hai trò chơi Non-Markov: Matching Pairs (trí nhớ tĩnh về vị trí và danh tính quân bài) và 3D Maze (tái tạo bản đồ không gian động từ góc nhìn thứ nhất). Cả hai trò chơi diễn ra trong vòng lặp đóng, độ khó được kiểm soát dọc theo ba trục: kích thước lưới, kiểu hình ảnh và phương thức quan sát. Benchmark giới thiệu giao thức đấu đối kháng (duel) và chỉ số Memory Gap để tách biệt lỗi quên thông tin khỏi lỗi chọn hành động. Các cấu hình khó nhất yêu cầu ngữ cảnh lên tới 128K token và 350 ảnh mỗi tập, vượt xa khả năng của các MLLM hiện tại.

III. Main Results:​

  • Trên Matching Pairs 10x10, GPT-5.4 đạt 62.3% cặp được ghép, trong khi Gemini-3.1-Pro đạt 50.0%.
  • Trên 3D Maze 13x13, Gemini-3.1-Pro dẫn đầu với tỷ lệ thành công 50.0% và Game Score 49.7%, GPT-5.4 chỉ đạt 20.0% SR.
  • Memory Gap chỉ ra rằng phần lớn lỗi dư là do quên chứ không phải do chọn hành động sai.
  • Loại bỏ văn bản hành động khỏi lịch sử khiến GPT-5.4 giảm 75% điểm số Matching Pairs.
  • Fine-tuning Qwen3.5-9B trên 32K quỹ đạo mới (từ bộ mô phỏng) cải thiện điểm số trên RNG-Bench và chuyển giao sang các benchmark trí nhớ khác mà không làm giảm năng lực đa phương thức chung.

IV. Conclusion & Future Works:​

RNG-Bench là một benchmark có kiểm soát cho các trò chơi Non-Markov, tách biệt khả năng theo dõi belief-state khỏi hiểu luật chơi và nhận thức. Kết quả cho thấy hiệu suất của MLLM sụt giảm mạnh khi trạng thái ẩn lớn lên, và hình ảnh mới là nút thắt chính. Hướng phát triển tương lai có thể mở rộng sang nhiều thể loại trò chơi, mô hình và phong cách hình ảnh hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RNG-Bench sang các môi trường POMDP phức tạp hơn như điều khiển robot hoặc giao diện web, nơi trạng thái ẩn là hỗn hợp của thông tin tĩnh và động.
  2. Phát triển một mô-đun trí nhớ ngoài có thể huấn luyện chung với MLLM để cải thiện belief-state tracking trong các tác vụ closed-loop long-horizon.
  3. Nghiên cứu ảnh hưởng của việc sử dụng văn bản hành động như một kênh thông tin chính trong belief-state update và đề xuất phương pháp thay thế bằng biểu diễn ngầm (implicit representation).

2. Patent:​

  1. Trợ lý ảo trên điện thoại theo dõi lịch sử tương tác (ví dụ: đã xem quảng cáo dịch vụ nào) và đề xuất hành động tiếp theo dựa trên trạng thái ẩn, không chỉ dựa trên màn hình hiện tại.
  2. Game di động dạy trẻ em trí nhớ không gian: người chơi phải nhớ vị trí các vật phẩm đã thấy trong lưới, điện thoại sẽ đánh giá và gợi ý chiến thuật ghi nhớ thông minh.
  3. Ứng dụng dẫn đường trong nhà cho người khiếm thị: sử dụng camera điện thoại để xây dựng bản đồ không gian từ các góc nhìn rời rạc, sau đó đưa ra hướng dẫn bằng giọng nói dựa trên belief-state về vị trí hiện tại của người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.19338
ArXiv Abstracthttps://arxiv.org/abs/2606.19338
PDF Downloadhttps://arxiv.org/pdf/2606.19338.pdf
Github Repositoryhttps://github.com/InternLM/RNGBench

3. Kairos: A Native World Model Stack for Physical AI (38 votes)​

Tác giả: Kairos Team, Fei Wang, Shan You, Qiming Zhang, Tao Huang, et al.

Xuất bản lúc: 2026-06-16

Tag: World Models, Physical AI, Hybrid Attention, Diffusion Transformer, Cross-Embodiment Learning, Deployment-Aware System, Self-Evolution

I. Main Problem:​

Các world model hiện tại thường là mô hình sinh video thụ động, thiếu khả năng duy trì trạng thái thế giới ổn định qua thời gian dài, tích hợp kiến thức từ nhiều nguồn dữ liệu khác nhau (video mở, hành vi người, tương tác robot) và triển khai trong vòng lặp quan sát-hành động-pha hồi thời gian thực. Điều này ngăn chúng trở thành hạ tầng vận hành cho trí tuệ vật lý tự tiến hóa.

II. Main Idea:​

Kairos đề xuất một stack world model native gồm ba trụ cột: (1) Native Pre-training Paradigm với Cross-Embodiment Data Curriculum, tổ chức dữ liệu thành thang bậc phát triển từ video mở, hành vi người đến tương tác robot; (2) Native Unified Architecture với Hybrid Linear Temporal Memory kết hợp Sliding-Window Attention, Dilated Sliding-Window Attention và Gated Linear Attention để duy trì trạng thái toàn cục với độ phức tạp tuyến tính; (3) Deployment-Aware System Co-Design tối ưu suy luận trên phần cứng tiêu dùng. Kiến trúc này cho phép học, duy trì và chạy thế giới trong thời gian thực phục vụ tự tiến hóa.

III. Main Results:​

  • Kairos đạt hiệu suất SOTA trên các benchmark world model và world action model, vượt Cosmos, Wan2.2, LingBot, và RoboTwin 2.0.
  • Trên WorldModelBench Robot, Kairos đạt 9.30 điểm, cao hơn Cosmos3-nano (8.96) và Wan2.2-5B (8.52).
  • Thời gian suy luận tuyến tính với độ dài video: chỉ 2.54 giây cho 30 giây video 480p, nhanh hơn nhiều so với Cosmos 2.5-14B (183.69 giây).
  • Hybrid Linear Temporal Memory được chứng minh lý thuyết giới hạn lỗi tích lũy, đảm bảo lan truyền trạng thái ổn định.
  • Kiến trúc unified understanding-generation-prediction cho phép tích hợp kiến thức vật lý, hành vi và điều khiển ngay từ đầu pre-training.

IV. Conclusion & Future Works:​

Kairos đặt nền móng cho world model như hạ tầng vận hành thực tế, vượt xa việc sinh video đơn thuần. Hướng phát triển tương lai bao gồm mở rộng curriculum cho tự động thu thập dữ liệu, tối ưu hóa thêm suy luận trên thiết bị biên và tích hợp cơ chế tự tiến hóa liên tục dựa trên phản hồi thực tế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Cross-Embodiment Data Curriculum cho các tác vụ đa robot, nơi mỗi robot tự động sinh dữ liệu tương tác để huấn luyện world model chung, cải thiện khả năng tổng quát hóa khi gặp hình thái mới.
  2. Đề xuất cơ chế Hybrid Linear Temporal Memory cho các mô hình dự báo thời tiết dài hạn, nơi cần duy trì trạng thái khí quyển phức tạp qua nhiều timestep mà không tích lũy lỗi.
  3. Áp dụng deployment-aware system co-design cho robot dịch vụ gia đình, tối ưu hóa suy luận world model trên chip điện thoại thông minh để phản hồi thời gian thực.

2. Patent:​

  1. Ứng dụng Kairos vào điều khiển robot hút bụi thông minh: robot dùng world model để dự đoán chướng ngại vật trong nhà từ video camera di động, điều chỉnh lộ trình tránh va chạm mà không cần bản đồ trước.
  2. Hệ thống thử nghiệm ảo trên điện thoại cho xe tự hành: người dùng chụp ảnh giao lộ, Kairos sinh video dự đoán chuyển động xe trong 10 giây, giúp kiểm tra tình huống nguy hiểm mà không cần chạy thực tế.
  3. Tính năng 'hướng dẫn từ xa' cho robot phẫu thuật: bác sĩ gửi lệnh qua điện thoại, Kairos ở thiết bị biên dự đoán hậu quả hành động kịp thời, đảm bảo an toàn và giảm độ trễ dưới mili-giây.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.16533
ArXiv Abstracthttps://arxiv.org/abs/2606.16533
PDF Downloadhttps://arxiv.org/pdf/2606.16533.pdf
Github Repositoryhttps://github.com/kairos-agi/kairos-sensenova

4. Guava: An Effective and Universal Harness for Embodied Manipulation (28 votes)​

Tác giả: Haowen Liu, Xirui Li, Shaoxiong Yao, Peng Shi, Tianyi Zhou, et al.

Xuất bản lúc: 2026-06-16

Tag: Embodied Manipulation, Vision-Language Models, Tool Use, ReAct, Post-Training, Distillation, Robot Learning

I. Main Problem:​

Các hệ thống điều khiển robot hiện tại thường yêu cầu lượng lớn dữ liệu huấn luyện đắt đỏ, phụ thuộc vào phần cứng và khó mở rộng cho các tác vụ đa dạng. Trong khi đó, các framework harness dùng mô hình ngôn ngữ để gọi công cụ bên ngoài vẫn chưa xác định được thiết kế hiệu quả và phổ quát cho thao tác vật lý.

II. Main Idea:​

Guava đề xuất một harness cho thao tác vật lý với ba nguyên tắc thiết kế chính: vòng lặp iterative ReAct để liên tục cảm nhận-suy luận-hành động, abstraction hành động ngữ nghĩa để mô hình tập trung vào lập kế hoạch thay vì điều khiển cấp thấp, và quan sát đa phương thức (ảnh + văn bản). Từ harness này, nhóm tác giả phát triển pipeline huấn luyện hai giai đoạn (SFT rồi GRPO) với chưa đầy 2K quỹ đạo mô phỏng để chưng cất năng lực vào mô hình 4B tham số, cho phép triển khai zero-shot ra thực tế.

III. Main Results:​

  • Guava-Agent-4B đạt 75.6% thành công tổng thể trên mô phỏng, vượt GPT-5.4 (70.2%) và CaP-Agent0 (62.7%).
  • Trên thực tế, mô hình đạt 86% (ID) và 92% (OOD) thành công, tương đương hoặc vượt các mô hình thương mại mạnh nhất.
  • RL post-training cải thiện đáng kể tác vụ long-horizon: từ 6.7% lên 60.0% (shell game) và từ 0.0% lên 93.3% (place all red objects).
  • Mô hình thể hiện khả năng phục hồi từ lỗi thực thi chưa từng thấy trong huấn luyện, nhờ suy luận từ phản hồi thay vì ghi nhớ mẫu sửa lỗi.
  • Vòng lặp đóng (closed-loop) vượt trội so với lập kế hoạch một lần, đặc biệt trên tác vụ dài và có nhiễu.

IV. Conclusion & Future Works:​

Guava chứng minh rằng một harness được thiết kế tốt có thể hoạt động như giao diện chuyển đổi được giữa các mô hình, cho phép mô hình nhỏ đạt năng lực thao tác mạnh với rất ít dữ liệu. Hướng phát triển: mở rộng bộ công cụ cho thao tác khéo léo, dùng nhiều camera (gắn cổ tay), và tăng quy mô dữ liệu/mô hình để xử lý tác vụ đa dạng hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của kích thước bộ công cụ (toolset) và mức độ trừu tượng của hành động lên khả năng khái quát hóa của mô hình nhỏ, từ đó tìm ra cấu hình tối ưu cho từng loại tác vụ.
  2. Mở rộng pipeline chưng cất để mô hình 4B có thể học nhiều phong cách thao tác khác nhau từ nhiều mô hình frontier, tạo ra agent đa năng hơn.
  3. Tích hợp cơ chế chú ý đa tầm nhìn (multi-view) và lọc nhiễu quan sát vào harness, giúp mô hình nhỏ hoạt động ổn định trong môi trường có che khuất hoặc camera di động.

2. Patent:​

  1. Hệ thống điều khiển robot gia đình qua điện thoại: người dùng gõ lệnh tiếng Việt (ví dụ 'bỏ chai nước vào tủ lạnh'), điện thoại chụp ảnh gửi lên cloud, mô hình nhỏ 4B phân tích và gọi các công cụ ngữ nghĩa (grasp, place) để robot thực hiện, không cần huấn luyện lại.
  2. Module sửa lỗi thông minh cho robot kho hàng: khi robot kẹp hụt hoặc đặt sai vị trí, module dùng camera và harness phát hiện lỗi, tự động gọi lệnh thử lại với tư thế khác hoặc chọn công cụ khác (ví dụ đẩy thay vì kẹp) dựa trên suy luận từ ảnh hiện tại.
  3. Ứng dụng Guava cho robot hỗ trợ người già: người dùng chỉ cần chỉ vào đồ vật và nói 'đưa cốc cho tôi'; điện thoại thu hình và chuyển lệnh, harness phân giải hành động cần lấy cốc từ tủ, điều hướng robot và thả vào tay mà không cần cập nhật mô hình cho từng nhà.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18363
ArXiv Abstracthttps://arxiv.org/abs/2606.18363
PDF Downloadhttps://arxiv.org/pdf/2606.18363.pdf
Github RepositoryN/A

5. From Trainee to Trainer: LLM-Designed Training Environment for RL with Multi-Agent Reasoning (26 votes)​

Tác giả: Chao Chen, Chengzu Li, Zhiwei Li, Yinhong Liu, Zhijiang Guo

Xuất bản lúc: 2026-06-16

Tag: LLM, Reinforcement Learning, Multi-Agent Reasoning, Environment Design, Curriculum Learning, Self-Improvement, MAPF

I. Main Problem:​

Các pipeline RL huấn luyện LLM hiện nay thường phải thiết kế môi trường huấn luyện thủ công qua nhiều giai đoạn. Các kỹ thuật tự động hóa hiện có chỉ thay đổi độ khó hoặc tạo dữ liệu trong một họ môi trường cố định, chưa cho phép chính mô hình chủ động thiết kế lại bộ sinh môi trường, tức là phân phối dữ liệu huấn luyện tương lai.

II. Main Idea:​

Bài báo đề xuất khung 'LLM-as-Environment-Engineer': sau mỗi vòng RL, chính mô hình chính sách hiện tại nhận các tóm tắt có cấu trúc về hành vi, thất bại, và thống kê môi trường, rồi đề xuất cấu hình mới cho bộ sinh môi trường cho vòng huấn luyện kế tiếp. Khung này tạo thành vòng lặp kín: huấn luyện → đánh giá → thiết kế, cho phép mô hình tự chẩn đoán điểm yếu và điều chỉnh phân phối dữ liệu, thay vì dùng các quy tắc cố định về độ khó.

III. Main Results:​

  • Khung đề xuất với Qwen3-4B (gọi là Ours) đạt aggregate tốt nhất trên cả tập 3-, 4-, 5-agent, vượt các mô hình lớn như Kimi-K2.5, GPT-5.4, Grok-4.2 và Gemini-3.1-Pro.
  • So với Qwen3-4B + GRPO (random) dùng môi trường cố định, Ours cải thiện valid rate từ +3.56% đến +11.25% tùy số agent.
  • Phân tích hành vi cho thấy mô-đun training details giúp mô hình thực hiện chỉnh sửa có chọn lọc, dựa trên tín hiệu thất bại thay vì sao chép template 'càng to càng khó'.
  • Checkpoint RL đóng vai trò kỹ sư môi trường tốt hơn mô hình gốc, cho thấy học chính sách cải thiện khả năng tự chẩn đoán.

IV. Conclusion & Future Works:​

Khung LLM-as-Environment-Engineer tự động hóa vòng lặp thiết kế môi trường cho RL, giảm can thiệp thủ công. Tương lai có thể mở rộng sang môi trường phức tạp hơn như web hoặc embodied, và nghiên cứu cách mô hình dùng tín hiệu thất bại để lập kế hoạch thay đổi môi trường dài hạn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng tư tưởng 'self-redesign environment' cho huấn luyện đa nhiệm: mô hình tự quyết định gộp hay tách tác vụ qua các vòng dựa trên biểu đồ lỗi, thay vì lịch cố định.
  2. Nghiên cứu kết hợp environment engineer với curriculum learning nội tại: mô hình vừa thiết kế môi trường vừa đề xuất thứ tự học, tối ưu cả phân phối lẫn khó khăn.
  3. Mở rộng khung sang lĩnh vực tìm kiếm kiến trúc neural: mô hình tự đánh giá kiến trúc hiện tại và đề xuất thay đổi tham số cấu trúc cho thế hệ huấn luyện tiếp theo.

2. Patent:​

  1. Hệ thống tự điều chỉnh bài tập luyện cho người học trên ứng dụng di động: dựa trên kết quả sai, ứng dụng thay đổi độ khó và dạng câu hỏi cho buổi tiếp theo, không cần giáo viên can thiệp.
  2. Công cụ sinh kịch bản test tự động cho game di động: mô hình phân tích điểm chết của người chơi và đề xuất cấu hình màn chơi mới (địa hình, kẻ địch) để tối ưu trải nghiệm và giữ chân người dùng.
  3. Hệ thống gợi ý lộ trình học lập trình trên điện thoại: phân tích mã lỗi của người dùng, mô hình tự động tạo bài tập mới nhắm vào kỹ năng yếu, thay vì tập mẫu có sẵn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.17682
ArXiv Abstracthttps://arxiv.org/abs/2606.17682
PDF Downloadhttps://arxiv.org/pdf/2606.17682.pdf
Github Repositoryhttps://github.com/LARK-AI-Lab/Trainee-to-Trainer

6. EfficientRollout: System-Aware Self-Speculative Decoding for RL Rollouts (24 votes)​

Tác giả: Minseo Kim, Minjae Lee, Seunghyuk Oh, Kevin Galim, Donghoon Kim, et al.

Xuất bản lúc: 2026-06-17

Tag: Speculative Decoding, Reinforcement Learning, Large Language Models, Self-Speculative Decoding, Quantization, Roofline Model, Rollout Generation, System-Aware Optimization

I. Main Problem:​

Quá trình sinh rollout (tạo chuỗi phản hồi) trong RL là nút thắt cổ chai về độ trễ vì giải mã autoregressive (AR) tuần tự và một số chuỗi dài quyết định thời gian hoàn tất. Speculative decoding (SD) cho mô hình cố định không hiệu quả trực tiếp vì chính sách mục tiêu thay đổi liên tục, khiến drafter tĩnh lạc hậu, và batch lớn ban đầu rơi vào vùng compute-bound, nơi SD có thể chậm hơn AR.

II. Main Idea:​

EfficientRollout là khung SD tự-suy luận có nhận thức hệ thống cho RL. Nó sử dụng drafter lượng tử hóa (4-bit) từ chính mô hình mục tiêu để bám theo chính sách đang thay đổi. Hai cơ chế động được thêm vào: (1) bật/tắt SD dựa trên mô hình roofline để tránh vùng compute-bound giai đoạn đầu batch lớn, và (2) điều chỉnh độ dài draft thích ứng dựa trên block efficiency đo được. Nhờ đó, SD chỉ kích hoạt khi có lợi và khai thác hiệu quả sự cải thiện độ chấp nhận suốt quá trình huấn luyện.

III. Main Results:​

  • EfficientRollout giảm rollout latency tới 19.6% và end-to-end latency tới 12.7% so với baseline AR tăng tốc.
  • Tỉ lệ chấp nhận token cao (95.8–98.2%) và block efficiency lớn (tới 8.6) duy trì chất lượng mô hình.
  • Cơ chế toggle SD dựa trên roofline giúp tránh slowdown giai đoạn đầu batch lớn (chỉ bật SD ở 6–11% bước cuối).
  • Adaptive draft-length tự động tăng γ khi block efficiency cải thiện theo huấn luyện, vượt fixed-γ.
  • Các baseline khác (history-based, learned auxiliary) không đạt speedup ổn định hoặc gây chậm hơn.

IV. Conclusion & Future Works:​

EfficientRollout kết hợp drafter lượng tử hóa tự sinh, toggle SD theo hệ thống và draft length thích ứng để tăng tốc rollout RL mà không cần pretraining drafter riêng hay điều chỉnh pipeline. Hướng tới: tích hợp tree verification, cải thiện phương pháp lượng tử hóa ít tổn thất hơn và kết hợp sparse-attention drafting cho chế độ long-context.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng EfficientRollout với tree verification để tăng thêm block efficiency trong RL, kết hợp toggle SD thích ứng cả cho chế độ xác thực cây, đánh giá speedup trên nhiều hệ thống GPU khác nhau.
  2. Thiết kế phương pháp lượng tử hóa động không RTN (ví dụ: quantization-aware training siêu nhẹ mỗi bước) để cải thiện block efficiency giai đoạn đầu huấn luyện RL mà vẫn giữ overhead thấp.
  3. Tích hợp sparse-attention drafting vào khung self-SD để giảm thêm chi phí ở các tác vụ RL có ngữ cảnh rất dài, nơi KV-cache chiếm ưu thế, kết hợp với toggle SD dựa trên roofline.

2. Patent:​

  1. Hệ thống tăng tốc huấn luyện trợ lý AI trên điện thoại: mô hình chính được lượng tử hóa ngay tại thiết bị thành drafter 4-bit, kết hợp bật/tắt SD thông minh dựa trên tải batch để giảm thời gian phản hồi khi huấn luyện RL cá nhân hóa.
  2. Phương pháp sinh dữ liệu huấn luyện cho chatbot trên cloud: dùng drafter tự lượng tử hóa từ mô hình chính và cơ chế điều chỉnh độ dài draft thích ứng để tăng tốc sinh rollout (phản hồi dài) trong RL, giảm chi phí GPU mà không ảnh hưởng chất lượng.
  3. Ứng dụng trong hệ thống gợi ý thời gian thực: drafter 4-bit được refresh mỗi phiên dùng (bám theo chính sách thay đổi), kết hợp bật SD chỉ khi batch nhỏ—phù hợp với tải người dùng dao động trên thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18967
ArXiv Abstracthttps://arxiv.org/abs/2606.18967
PDF Downloadhttps://arxiv.org/pdf/2606.18967.pdf
Github Repositoryhttps://github.com/furiosa-ai/EfficientRollout

7. The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL (20 votes)​

Tác giả: Nicolas Beltran-Velez, Felix Friedrich, Zhang Xiaofeng, Reyhane Askari-Hemmat, Xiaochuang Han, et al.

Xuất bản lúc: 2026-06-17

Tag: Flow Matching, Score Matching, Reinforcement Learning, Discriminator, Generative Modeling, Image Generation, Adjoint Matching

I. Main Problem:​

Các mô hình flow matching (FSM) thường thất bại trong việc nắm bắt các thuộc tính trực quan và ngữ nghĩa của dữ liệu huấn luyện, mặc dù các thuộc tính này có sẵn trong dữ liệu. Nguyên nhân là do mất mátℓ2 trên trường vận tốc không tương thích với các đặc tính quyết định chất lượng mẫu sinh ra. Học tăng cường (RL) có thể khắc phục điều này, nhưng phụ thuộc vào phần thưởng từ sở thích con người, vừa đắt đỏ vừa dễ bị nhiễu.

II. Main Idea:​

Bài báo đề xuất Discriminator-Guided RL (DRL), một phương pháp RL không cần dữ liệu sở thích. DRL huấn luyện một discriminator để phân biệt dữ liệu thật với mẫu từ mô hình cơ sở trong không gian biểu diễn đã được tiền huấn luyện (ví dụ: DINOv2), và dùng logit của discriminator làm phần thưởng. Không gian biểu diễn này giới hạn phần thưởng vào các hướng ngữ nghĩa có ý nghĩa, và logit ước lượng tỷ lệ log-likelihood giữa dữ liệu và mô hình, là phần thưởng tối ưu để tái tạo phân phối dữ liệu. Giai đoạn RL sử dụng adjoint matching để tận dụng gradient của phần thưởng.

III. Main Results:​

  • DRL giảm FID xuống mức thấp (ví dụ: từ 9.38 xuống 2.62 trên SiT) và giảm FD trên không gian DINOv3 (từ 88.2 xuống 19.3).
  • Cải thiện nhất quán trên tất cả backbones (SiT, JiT, REPA, RAE) ở cả hai chế độ có và không có CFG.
  • Tăng điểm thưởng sở thích (ImageReward, HPSv2) mà không cần huấn luyện trên dữ liệu sở thích.
  • Cung cấp frontier tốt hơn giữa phần thưởng sở thích và độ méo ảnh khi kết hợp với RL dựa trên sở thích (PRL).
  • Không thể sao chép kết quả bằng flow matching đơn thuần từ mẫu của thầy DRL.

IV. Conclusion & Future Works:​

DRL chứng minh rằng RL không chỉ để tối ưu hóa sở thích chủ quan mà còn là cơ chế bổ sung để khôi phục cấu trúc dữ liệu bị mất do mất mát FSM. Hướng tương lai: mở rộng cho video, sinh vật lý, và tối ưu hóa chiến lược thăm dò chủ động trong không gian biểu diễn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng DRL cho sinh video điều kiện hóa, sử dụng discriminator trên không gian đặc trưng video (I3D) để khôi phục tính nhất quán chuyển động mà FSM thường bỏ lỡ.
  2. Kết hợp DRL với self-supervised learning để tự động học không gian biểu diễn thích ứng cho discriminator, thay vì dùng embedder cố định.
  3. Nghiên cứu lý thuyết về điều kiện đảm bảo của DRL khi discriminator không hoàn hảo, dẫn đến các giới hạn chặt chẽ hơn về chất lượng mẫu.

2. Patent:​

  1. Hệ thống chỉnh sửa ảnh trên điện thoại thông minh: dùng DRL như module hậu xử lý để tự động cải thiện độ sắc nét, bố cục và màu sắc mà không cần dữ liệu sở thích, giúp ảnh chụp từ camera thường trông chuyên nghiệp hơn.
  2. Tính năng tạo hình đại diện từ ảnh chụp: DRL tự động điều chỉnh chi tiết khuôn mặt (mắt, mũi, miệng) cho giống ảnh gốc hơn, tránh biến dạng khi không dùng hướng dẫn (CFG).
  3. Ứng dụng tối ưu hóa luồng tạo ảnh cho quảng cáo: DRL tinh chỉnh mô hình sinh để tạo ra ảnh sản phẩm có cấu trúc vật thể rõ ràng và ít lỗi thừa, giúp giảm công chỉnh sửa thủ công.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.19162
ArXiv Abstracthttps://arxiv.org/abs/2606.19162
PDF Downloadhttps://arxiv.org/pdf/2606.19162.pdf
Github RepositoryN/A

8. Native Active Perception as Reasoning for Omni-Modal Understanding (18 votes)​

Tác giả: Zhenghao Xing, Ruiyang Xu, Yuxuan Wang, Jinzheng He, Ziyang Ma, et al.

Xuất bản lúc: 2026-06-17

Tag: Active Perception, POMDP, Video Understanding, Omni-Modal, Reinforcement Learning, Agentic Reasoning, Long-Form Video

I. Main Problem:​

Các mô hình hiểu video hiện nay đều xử lý thụ động — xem toàn bộ khung hình mà không phân biệt độ khó của câu hỏi, dẫn đến chi phí tính toán tăng theo độ dài video. Những giải pháp dạng agentic trước đây hoặc dùng module ngoài gây tắc nghẽn thông tin, hoặc còn quét sơ qua toàn bộ video nên chưa thực sự tách rời độ phức tạp suy luận khỏi thời lượng video.

II. Main Idea:​

OmniAgent định nghĩa lại hiểu video như một quá trình POMDP lặp đi lặp lại với chu trình Observation-Thought-Action (OTA): agent chủ động chọn lọc khung hình, âm thanh hoặc clip theo từng bước, chỉ chưng cất thông tin đa phương tiện thành bộ nhớ văn bản bền vững. Nhờ vậy, chi phí suy luận phụ thuộc vào độ phức tạp của truy vấn chứ không phải thời lượng gốc. Để huấn luyện, tác giả dùng Agentic SFT tạo 58K quỹ đạo mẫu có kiểm soát chất lượng hai giai đoạn, rồi dùng Agentic RL với TAURA — một mục tiêu dựa trên entropy từng lượt để gán tín dụng chính xác cho các bước khám phá quan trọng.

III. Main Results:​

  • Trên LVBench, OmniAgent-7B đạt 50.5%, vượt cả mô hình lớn hơn 10× là Qwen2.5-VL-72B (47.3%) dùng ít hơn 73% khung hình.
  • Cải thiện tuyệt đối +33.4% trên Long-VALE cho định vị thời gian, vượt cả GPT-4o và Gemini-2.5-Pro trên VUE-TR.
  • Trên OmniVideoBench, agent vượt baseline Qwen2.5-Omni +7.8% nhờ dùng âm thanh làm neo tìm kiếm hình ảnh.
  • Hiện tượng test-time scaling dương: tăng số lượt tối đa từ 6 lên 52 giúp cải thiện +6.2% trên VideoMME-Long.
  • Agent duy trì độ chính xác ổn định (~50.8%) trên video dài 120–140 phút, dù mật độ sampling giảm mạnh (5.7 lượt/giờ).

IV. Conclusion & Future Works:​

OmniAgent chứng minh rằng coi tri giác chủ động như một quá trình suy luận nội tại cho phép một mô hình 7B vượt qua mô hình 72B thụ động, với chi phí thấp hơn. Chu trình OTA còn cung cấp vết suy luận minh bạch thay vì hộp đen. Hướng phát triển tiếp theo là nghiên cứu khám phá song song để giảm độ trễ do vòng lặp tuần tự.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng OmniAgent cho video 360° hoặc nhiều luồng camera đồng thời, nơi agent tự quyết định xem camera nào và chế độ nào (toàn cảnh hay zoom) để thu thập chứng cứ.
  2. Tích hợp cơ chế dự đoán vị trí sự kiện trước (anticipation) bằng cách kết hợp mô hình ngôn ngữ với bộ nhớ không-thời gian nén, giúp agent nhảy trực tiếp đến vùng khả nghi mà không cần dần thu hẹp.
  3. Áp dụng khung POMDP+OTA cho bài toán tương tác người-máy đa phương thức, nơi robot vừa hỏi đáp vừa quan sát môi trường để thực hiện lệnh phức tạp từ người dùng.

2. Patent:​

  1. Trợ lý camera điện thoại có khả năng tóm tắt video dài: người dùng đặt câu hỏi, điện thoại tự động tua, chụp và nghe clip quan trọng rồi trả lời bằng văn bản ngắn, không cần xem hết video.
  2. Ứng dụng xem lại cuộc họp trực tuyến: chỉ cần gõ 'lúc CEO trả lời doanh thu quý 3', hệ thống tự động quét bản ghi âm và hình ảnh để tua đến chính xác khoảnh khắc đó.
  3. Công cụ giám sát an ninh thông minh: khi có báo động, hệ thống tự động tìm kiếm trong ảnh và âm thanh lưu trữ để trích xuất đoạn ngắn chứa sự kiện khả nghi, thay vì buộc người vận hành xem toàn bộ băng ghi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.19341
ArXiv Abstracthttps://arxiv.org/abs/2606.19341
PDF Downloadhttps://arxiv.org/pdf/2606.19341.pdf
Github Repositoryhttps://github.com/harryhsing/OmniAgent

9. SAE Interventions are Unreliable: Post-Intervention Recovery of Suppressed Behavior (17 votes)​

Tác giả: Mingyue Cui, Linghui Shen, Xingyi Yang

Xuất bản lúc: 2026-06-16

Tag: Sparse Autoencoders, Interpretability, Safety, LLMs, Mechanistic Interpretability, Red Teaming

I. Main Problem:​

Các phương pháp can thiệp dựa trên Sparse Autoencoders (SAE) giả định rằng việc kẹp các đặc trưng liên quan đến hành vi không an toàn sẽ loại bỏ hoàn toàn hành vi đó. Tuy nhiên, giả định này chưa được kiểm chứng một cách chặt chẽ: liệu hành vi bị kẹp có thể phục hồi thông qua các con đường tính toán khác mà không cần tái kích hoạt các đặc trưng SAE đó hay không? Bài báo này đặt ra câu hỏi về tính đầy đủ của các can thiệp SAE như một 'nút cổ chai' hành vi thực sự.

II. Main Idea:​

Bài báo giới thiệu 'post-intervention recovery' (phục hồi sau can thiệp) như một phương pháp chẩn đoán. Phương pháp này tối ưu hóa các nhiễu loạn dư trong không gian residual, bắt đầu từ trạng thái residual sau can thiệp, để khôi phục hành vi ban đầu. Để đảm bảo việc phục hồi không chỉ đơn giản là gỡ bỏ can thiệp, các tác giả sử dụng Projected Gradient Descent với các ràng buộc hình học: chiếu các gradient cập nhật lên không gian null của các bộ mã hóa SAE (cho can thiệp một lớp) hoặc sử dụng Jacobian của ánh xạ đặc trưng (cho can thiệp nhiều lớp) để đảm bảo các đặc trưng bị kẹp vẫn không đổi.

III. Main Results:​

  • Trên TPP, phục hồi trực giao với bộ mã hóa đạt tỷ lệ phục hồi hành vi 74.9% trong khi tái kích hoạt đặc trưng mục tiêu chỉ 0.002.
  • Trên WMDP-Bio unlearning, phục hồi với encoder projection khôi phục 90/91 câu trả lời đúng với độ trôi đặc trưng bằng 0.
  • Trên IOI, cả hai biến thể đều phục hồi 100% quyết định, nhưng encoder projection gây ra ít tái kích hoạt đặc trưng hơn.
  • Trong nhiệm vụ từ chối (refusal steering), phục hồi với Jacobian projection đạt tỷ lệ 95.8% trên các prompt AdvBench hợp lệ trong khi giữ độ trôi đặc trưng mục tiêu chỉ 0.131.
  • Phân tích đường dẫn phục hồi cho thấy hành vi độc hại chủ yếu được mang bởi residual tái tạo (SAE reconstruction residual), không phải bởi các đặc trưng SAE thay thế khác.

IV. Conclusion & Future Works:​

Kết quả chỉ ra rằng các đặc trưng SAE là 'công cụ nhân quả hữu ích' chứ không phải 'nút cổ chai đầy đủ'. Việc kẹp thành công một hành vi không đồng nghĩa với việc loại bỏ hoàn toàn hành vi đó, vì thông tin vẫn có thể tồn tại trong phần dư không được SAE giải thích. Nghiên cứu tương lai nên phát triển các biện pháp phòng thủ mạnh mẽ hơn, ví dụ như giám sát toàn bộ kênh residual hoặc tối ưu hóa can thiệp chống lại sự phục hồi sau kẹp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển một kỹ thuật can thiệp mới kết hợp việc kẹp đặc trưng SAE với việc triệt tiêu thông tin trong phần dư tái tạo, nhằm tạo ra một nút cổ chai mạnh mẽ hơn.
  2. Nghiên cứu ảnh hưởng của kích thước và vị trí của bộ đặc trưng SAE bị kẹp đến khả năng phục hồi hành vi, từ đó xây dựng các hướng dẫn tối ưu cho việc lựa chọn bộ đặc trưng trong phòng thủ.
  3. Áp dụng khái niệm phục hồi sau can thiệp cho các phương pháp can thiệp khác ngoài SAE, chẳng hạn như activation patching hoặc can thiệp dựa trên vector đặc trưng, để đánh giá tính đầy đủ của các phương pháp đó.

2. Patent:​

  1. Hệ thống kiểm tra an ninh cho chatbot trên điện thoại: trước khi triển khai, chatbot sẽ được kiểm tra tự động bằng cách kẹp các đặc trưng nguy hiểm và tối ưu hóa một nhiễu loạn nhỏ vào trạng thái trung gian để xem có thể khiến chatbot trả lời độc hại hay không, từ đó cảnh báo nhà phát triển.
  2. Phương pháp nâng cao độ an toàn của trợ lý ảo: khi trợ lý ảo từ chối một yêu cầu, hệ thống sẽ kiểm tra xem liệu một 'bản vá' nhỏ vào không gian suy luận có thể phá vỡ sự từ chối đó mà không làm thay đổi các đặc trưng từ chối đã biết hay không, giúp phát hiện các lỗ hổng tiềm ẩn.
  3. Công cụ đánh giá mức độ tin cậy của các biện pháp an toàn trên ứng dụng AI: công cụ này sẽ chủ động tìm kiếm các đường dẫn phục hồi hành vi không mong muốn sau khi kích hoạt các biện pháp phòng thủ, cung cấp điểm số 'độ linh hoạt' của hành vi bị chặn, giúp các nhà phát triển đánh giá mức độ an toàn thực sự.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18322
ArXiv Abstracthttps://arxiv.org/abs/2606.18322
PDF Downloadhttps://arxiv.org/pdf/2606.18322.pdf
Github Repositoryhttps://github.com/Mingyuee88/sae-post-intervention-recovery

10. Reinforcing Dual-Path Reasoning in Spatial Vision Language Models (15 votes)​

Tác giả: Yatai Ji, An-Chieh Cheng, Yang Fu, Yukang Chen, Han Zhang, et al.

Xuất bản lúc: 2026-06-16

Tag: Spatial VLMs, Reinforcement Learning, Dual-Path Reasoning, Chain-of-Thought, 3D Grounding, GRPO

I. Main Problem:​

Các mô hình Spatial VLM hiện tại dù đã tiến bộ trong nhận thức hình học nhưng vẫn thất bại trước các câu hỏi suy luận không gian phức tạp, đòi hỏi kết hợp nhiều bước suy diễn như so sánh khoảng cách, suy luận quan hệ 3D. Hơn nữa, chưa có khung làm việc nào hỗ trợ đồng thời cả hai chiến lược suy luận: suy diễn ngôn ngữ thuần túy và suy luận dựa trên phát hiện 3D.

II. Main Idea:​

SR-ReaL là khung làm việc thống nhất trang bị cho Spatial VLM hai đường suy luận bổ sung: Language-Only Reasoning (LOR) suy diễn ngôn ngữ từng bước và Detect-Then-Reason (DTR) phát hiện tín hiệu 3D trước khi suy luận. Mô hình được huấn luyện qua hai giai đoạn: cold-start SFT với dữ liệu chain-of-thought có cấu trúc và grounding 2D/3D, sau đó là RL với GRPO sử dụng phần thưởng chính xác, định dạng và phát hiện trung tâm 3D rời rạc. Cả hai đường được tối ưu chung trên cùng một checkpoint.

III. Main Results:​

  • Trên SPAR-Bench, Ours-DTR đạt 61.9% accuracy, vượt baseline SR-3D (33.4%) tới 28.5%.
  • Trên EmbSpatial, Ours-DTR đạt 81.3% so với 72.5% của baseline.
  • Trên OOD benchmarks (BLINK, RealWorldQA, CVBench), mô hình duy trì hiệu suất cao khi suy luận trực tiếp.
  • DTR vượt trội LOR ở các tác vụ định lượng như Depth Prediction (+4.9) và Distance Inference (+5.0).
  • Huấn luyện chung hai đường suy luận tạo ra sự tăng cường lẫn nhau.

IV. Conclusion & Future Works:​

SR-ReaL nâng Spatial VLM từ nhận thức lên suy luận nhờ kết hợp grounding 3D, dữ liệu cold-start chất lượng và RL. Kết quả cho thấy RL tăng cường hiệu quả cả suy luận ngôn ngữ và hình học. Hướng tương lai có thể mở rộng sang môi trường đa khung nhìn phức tạp hơn hoặc cải thiện chiến lược thăm dò tích cực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SR-ReaL cho suy luận không gian động với dữ liệu video, yêu cầu mô hình tái tạo cấu trúc 3D và dự đoán chuyển động từ nhiều khung hình liên tiếp.
  2. Kết hợp hai đường suy luận LOR và DTR vào một cơ chế lai tự động chọn đường phù hợp cho mỗi câu hỏi, thay vì chỉ định bằng prompt.
  3. Nghiên cứu ảnh hưởng của kích thước và chất lượng cold-start data đến hiệu quả RL, tìm ra tỷ lệ tối ưu giữa dữ liệu spatial và dữ liệu đa phương thức tổng quát.

2. Patent:​

  1. Hệ thống hướng dẫn di chuyển trong nhà qua điện thoại: dùng ảnh chụp nhanh và phát hiện 3D các vật thể để gợi ý đường đi tránh chướng ngại vật, phù hợp cho người khiếm thị hoặc người dùng trong tòa nhà lạ.
  2. Ứng dụng mua sắm nội thất thực tế ảo tăng cường: người dùng chụp phòng, mô hình tự định vị và đo kích thước đồ đạc để đề xuất vị trí đặt món đồ mới, so sánh khoảng cách hợp lý.
  3. Trợ lý ảo sửa chữa nhà: robot xác định vị trí 3D của các chi tiết hỏng hóc từ ảnh camera điện thoại, hướng dẫn người dùng di chuyển và thao tác sửa chữa từng bước dựa trên tọa độ thực tế.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.17539
ArXiv Abstracthttps://arxiv.org/abs/2606.17539
PDF Downloadhttps://arxiv.org/pdf/2606.17539.pdf
Github Repositoryhttps://github.com/jiyt17/SR-REAL

11. Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding (15 votes)​

Tác giả: Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, et al.

Xuất bản lúc: 2026-06-16

Tag: GUI Grounding, Self-Distillation, Vision-Language Models, On-Policy Distillation, Coordinate Prediction, Knowledge Distillation, Quality-Aware Learning

I. Main Problem:​

Các phương pháp hậu huấn luyện hiện tại cho GUI grounding như SFT hay RL cung cấp tín hiệu giám sát thưa thớt hoặc cứng nhắc; On-Policy Self-Distillation (OPSD) có thể dùng tín hiệu mềm dày đặc nhưng dễ bị nhiễu khi tiền tố do sinh viên tạo ra sai lệch, khiến tín hiệu giáo viên không đáng tin cậy.

II. Main Idea:​

Bài báo đề xuất quality-aware self-distillation cho GUI grounding, kết hợp soft correctness-aware gating (kiểm tra xem dự đoán token tọa độ của giáo viên có thể hoàn thiện thành ground-truth box dưới tiền tố sinh viên không, nếu không thì hạ trọng số) và teacher-probability scaling (dùng xác suất giáo viên làm nhân tố hiệu chỉnh thêm). Hai cơ chế bổ sung cho nhau: gating loại nhiễu còn scaling tinh chỉnh cường độ tín hiệu còn lại.

III. Main Results:​

  • Phương pháp đạt macro-average accuracy 72.23% trên sáu benchmark GUI grounding, vượt baseline GUI-SD 2.16 điểm.
  • Kết hợp gating và scaling mang lại cải thiện rõ rệt (72.23%), trong khi từng thành phần riêng lẻ thậm chí giảm hiệu suất.
  • Soft gating (α=0.5) cho kết quả tốt hơn hard gating (71.46%) và không gating (70.19%).
  • Thêm teacher-probability scaling tăng thêm 1.11 điểm so với chỉ dùng scaling coefficient cố định.
  • Hệ số λ=3 cho kết quả tốt nhất; λ=4 hoặc 1 đều giảm hiệu suất.

IV. Conclusion & Future Works:​

Phương pháp chứng minh spatial verifiability là tín hiệu hiệu quả để cải thiện độ tin cậy của tín hiệu giáo viên trong self-distillation cho GUI grounding. Hướng tới: mở rộng ý tưởng sang các tác vụ không có tọa độ không gian rõ ràng và nghiên cứu khả năng chuyển giao sang quy mô mô hình khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng correctness-aware gating cho các tác vụ visual grounding khác như nắm bắt đối tượng trong ảnh, nơi tọa độ đối tượng có thể kiểm chứng qua mask hoặc bounding box.
  2. Kết hợp reliability-aware self-distillation với reinforcement learning dạng verifiable reward để tận dụng cả tín hiệu mềm ở token-level lẫn tín hiệu thưởng kết quả hiếm hoi.
  3. Nghiên cứu ảnh hưởng của độ chính xác ground-truth bounding box lên hiệu quả gating, và đề xuất phương pháp tự động ước lượng độ tin cậy của annotation.

2. Patent:​

  1. Hệ thống tự động huấn luyện lại trợ lý ảo trên điện thoại: dùng self-distillation có kiểm tra tọa độ để cải thiện chính xác nhận diện nút bấm từ ảnh màn hình, giảm tỷ lệ nhấn nhầm phần tử lân cận.
  2. Phương pháp hiệu chỉnh mô hình trực tiếp trên thiết bị: khi điện thoại dùng model trợ lý, thu thập màn hình do user tương tác và kiểm tra vùng nhấn tự nhiên để điều chỉnh trọng số dự đoán tọa độ qua self-distillation, bảo vệ riêng tư.
  3. Module tối ưu hóa trải nghiệm người dùng: ứng dụng học từ các tương tác giả của user (ví dụ user click sai vị trí nhưng tự sửa) để hạ trọng số những vùng không ổn định, cải thiện độ tin cậy phản hồi tọa độ trên giao diện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18101
ArXiv Abstracthttps://arxiv.org/abs/2606.18101
PDF Downloadhttps://arxiv.org/pdf/2606.18101.pdf
Github RepositoryN/A

12. STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability (13 votes)​

Tác giả: Haipeng Luo, Qingfeng Sun, Songli Wu, Can Xu, Wenfeng Deng, et al.

Xuất bản lúc: 2026-06-17

Tag: GRPO, Reinforcement Learning with Verifiable Rewards, Entropy Collapse, Token-Level Credit Assignment, Surprisal, LLM Reasoning

I. Main Problem:​

Các thuật toán RLVR như GRPO thường bị sụp đổ entropy trong quá trình huấn luyện: entropy chính sách giảm nhanh, đa dạng đầu ra biến mất, hội tụ sớm và giới hạn số bước huấn luyện. Nguyên nhân gốc rễ là sự không khớp trong gán tín nhiệm cấp token: lợi thế chung cho cả một rollout làm token tần suất cao chi phối gradient, trong khi token hiếm có tác dụng entropy bị pha loãng.

II. Main Idea:​

STARE thực hiện phân tích gradient bậc nhất động lực entropy cấp token trong GRPO, phát hiện cấu trúc bốn góc phần tư lợi thế–surprisal và tính chất gần tới hạn: một nhiễu nhẹ trọng số token có thể đảo chiều tiến hóa entropy. Dựa trên đó, STARE chọn tập token entropy-tới hạn qua phân vị surprisal nội batch, khuếch đại lợi thế hiệu dụng của token lợi thế dương–surprisal cao và giảm token lợi thế âm–surprisal cao. Một cổng vòng kín dùng entropy mục tiêu kích hoạt can thiệp khi entropy giảm dưới ngưỡng và trở về GRPO khi phục hồi, ổn định entropy chính sách qua hàng nghìn bước.

III. Main Results:​

  • STARE vượt DAPO 4%–8% trung bình accuracy trên AIME24 và AIME25, và 3%–6% trên sáu benchmark toán.
  • Trên 7B, STARE duy trì huấn luyện 5k bước ổn định; trên 14B và 32B duy trì 1.5k bước, entropy nằm trong dải mục tiêu.
  • STARE-O1 (khuếch đại một phía) và STARE-C2 (hai phía) đều vượt GRPO-ds toàn diện trên ba kịch bản: Short CoT, Long CoT, Tool-Use.
  • Token được STARE chọn tập trung vào từ vựng bất định và tự sửa lỗi (should be, but, verification), kích hoạt khám phá sâu.

IV. Conclusion & Future Works:​

STARE chứng minh can thiệp cấp token dựa trên surprisal và vòng kín entropy mục tiêu là giải pháp tối thiểu nhưng hiệu quả để ổn định entropy chính sách trong RLVR. Hướng tương lai: mở rộng cho bài toán multi-agent và các dạng reward thưa khác, tối ưu chiến lược chọn token thích ứng linh hoạt hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phân tích entropy bậc nhất cho thuật toán PPO với value network, so sánh cơ chế sụp đổ entropy khác biệt so với GRPO.
  2. Kết hợp STARE với các kỹ thuật lấy mẫu động để tự động điều chỉnh tỉ lệ P% và trọng số W, M theo giai đoạn huấn luyện.
  3. Áp dụng tư tưởng credit rebalancing cấp token dựa trên surprisal cho bài toán fine-tuning LLM với phản hồi từ người (RLHF) để duy trì đa dạng sinh văn.

2. Patent:​

  1. Hệ thống huấn luyện chatbot trên điện thoại: dùng cổng entropy mục tiêu để tự động kích hoạt quá trình reweighting khi chatbot bắt đầu lặp lại câu trả lời, duy trì đa dạng hội thoại và tránh overfitting.
  2. Module tối ưu hóa sinh văn bản quảng cáo: áp dụng phân vị surprisal nội batch để khuếch đại từ ngữ bất ngờ (high-surprisal) trong các mẫu quảng cáo có điểm cao, tăng tính sáng tạo mà không làm giảm chất lượng.
  3. Công cụ tự động điều chỉnh nhiệt độ sinh của mô hình ngôn ngữ trên thiết bị di động: dùng vòng kín entropy mục tiêu để tăng/giảm nhiệt độ local khi entropy chính sách lệch khỏi ngưỡng thiết lập, giúp cân bằng khám phá–khai thác trong các ứng dụng real-time.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.19236
ArXiv Abstracthttps://arxiv.org/abs/2606.19236
PDF Downloadhttps://arxiv.org/pdf/2606.19236.pdf
Github Repositoryhttps://github.com/hp-luo/STARE

13. Sumi: Open Uniform Diffusion Language Model from Scratch (11 votes)​

Tác giả: Mengyu Ye, Keito Kudo, Wataru Ikeda, Ryosuke Matsuda, Keisuke Sakaguchi, et al.

Xuất bản lúc: 2026-06-17

Tag: Uniform Diffusion, Language Model, Scaling, Open Source, LLaMA, GIDD, Transformer

I. Main Problem:​

Các mô hình uniform diffusion language model (UDLM) chưa từng được pretrain từ đầu ở quy mô lớn cả về tham số và token. Trong khi autoregressive (AR) và masked diffusion đã có các mô hình mạnh để cộng đồng nghiên cứu, UDLM thiếu một điểm tham chiếu sạch ở quy mô đó, gây khó khăn cho việc so sánh và khám phá các hành vi đặc thù của uniform diffusion.

II. Main Idea:​

Sumi là mô hình UDLM 7B tham số, pretrain từ đầu trên 1.5T token, sử dụng khung GIDD (Generalized Interpolating Discrete Diffusion) với tối ưu hóa ELBO dựa trên tỷ lệ tín hiệu-nhiễu (SNR). Kiến trúc dựa trên LLaMA (36 lớp, RoPE, SwiGLU, grouped-query attention). Quá trình huấn luyện chia làm hai giai đoạn: pretrain trên hỗn hợp dữ liệu web có điểm giáo dục cao (1.3T token), sau đó mid-training trên dữ liệu chuyên sâu về code, toán và reasoning (250B token) với độ dài ngữ cảnh mở rộng.

III. Main Results:​

  • Sumi đạt điểm cao nhất trong số các mô hình cùng ngân sách token ở MMLU (51.1), HumanEval (22.6), MBPP (26.6) và RACE (41.4).
  • Trên commonsense (PIQA, HellaSwag, WinoGrande), Sumi thấp hơn đáng kể so với các mô hình AR, một phần do tập dữ liệu nặng về giáo dục.
  • Với canvas length 2048 token, Sumi sinh văn bản trôi chảy; ngoài khoảng này chất lượng giảm sút, đặc biệt với canvas ngắn.
  • Confidence sampling áp đặt thứ tự commit token tự tổ chức, cho phép parallel decoding tới 4 token/bước trên tác vụ code mà không giảm độ chính xác.
  • Thêm ngân sách revision không mang lại tự sửa lỗi; các chỉnh sửa chủ yếu là vòng lặp A→B→A, không thay đổi kết quả cuối.

IV. Conclusion & Future Works:​

Sumi là UDLM natively trained quy mô lớn đầu tiên, cho thấy tiềm năng cạnh tranh với AR trên knowledge và coding nhưng yếu hơn trên commonsense. Tương lai: chuẩn bị phiên bản instruction-tuned; khám phá cơ chế revision có mục tiêu để đạt self-correction; so sánh có kiểm soát với masked diffusion và autoregressive để làm rõ các hành vi đặc thù của uniform diffusion.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu chiến lược revision tập trung vào lỗi để khơi dậy khả năng tự sửa lỗi vốn có của uniform diffusion, vì Sumi hiện không tự sửa dù có cơ chế overwrite.
  2. So sánh hệ thống scaling behavior giữa uniform diffusion (Sumi) và masked diffusion (LLaDA) để xác định khác biệt về hiệu quả dữ liệu và dễ dàng huấn luyện.
  3. Điều tra tác động của data mixture đến hiệu suất commonsense của uniform diffusion, nhằm tìm cách cân bằng giữa nhiệm vụ knowledge-heavy và commonsense.

2. Patent:​

  1. Ứng dụng trên điện thoại: một ứng dụng chat cho phép người dùng nhập prompt và mô hình uniform diffusion sinh câu trả lời với khả năng chỉnh sửa từng token trong quá trình tạo, giúp kiểm soát chất lượng đầu ra trực quan hơn AR.
  2. Hệ thống hỗ trợ viết code trực tuyến: khi lập trình viên nhập đoạn code, mô hình uniform diffusion đề xuất nhiều phương án hoàn thiện và cho phép chỉnh sửa song song các token khác nhau, tăng tốc độ phát triển.
  3. Công cụ tạo nội dung giáo dục: giáo viên nhập chủ đề, mô hình sinh đoạn văn giải thích, sau đó có thể tương tác chỉnh sửa từng câu hoặc từ để phù hợp với trình độ học sinh mà không cần sinh lại toàn bộ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.19005
ArXiv Abstracthttps://arxiv.org/abs/2606.19005
PDF Downloadhttps://arxiv.org/pdf/2606.19005.pdf
Github Repositoryhttps://github.com/tohoku-nlp/sumi

14. PAIWorld: A 3D-Consistent World Foundation Model for Robotic Manipulation (11 votes)​

Tác giả: Yuhang Huang, Xuan Lv, Junyan Xu, Zhiyuan Yu, Jiazhao Zhang, et al.

Xuất bản lúc: 2026-06-16

Tag: World Foundation Models, Multi-View Generation, 3D Consistency, Diffusion Transformer, Robotic Manipulation, Cross-View Attention, Geometric Prior, REPA Distillation

I. Main Problem:​

Các world foundation model (WFM) hiện tại chủ yếu hoạt động ở chế độ một góc nhìn, trong khi robot cần nhiều camera (tay, tay-mắt, mắt) để hoạt động chính xác. Các mô hình đa ảnh hiện có chỉ nối token nông mà thiếu cơ chế trao đổi hình học rõ ràng, dẫn đến lệch vị trí vật thể, không nhất quán độ sâu và kết cấu giữa các góc nhìn, gây lỗi lan truyền trong điều khiển.

II. Main Idea:​

PAIWorld giải quyết vấn đề bằng hai trụ cột kỹ thuật: (1) đường dẫn giao tiếp giữa các góc nhìn qua Cross-View Attention có tích hợp Geometric Rotary Position Embedding (Geo-RoPE) để mã hóa hướng tia và tư thế camera; (2) tín hiệu hình học qua Latent 3D-REPA, căn chỉnh đặc trưng trung gian của DiT với đặc trưng 3D từ Depth Anything 3. Hai thành phần này bổ trợ lẫn nhau: đường dẫn cho phép trao đổi thông tin trong khi mục tiêu huấn luyện đảm bảo nội dung đó nhất quán hình học.

III. Main Results:​

  • Đạt hạng 1 trên leaderboard WorldArena (EWMScore 72.31%) và hạng 2 trên AgiBot-Challenge2026 (EWMScore 82.45%).
  • Giành điểm Scene Consistency tốt nhất (90.41%) trên AgiBot-Challenge2026.
  • Motion Quality và Visual Quality vượt trội so với các baseline như Z-WM, Pelican-Unify, BWM-Fast.
  • Cải thiện trực tiếp hiệu suất các tác vụ hạ nguồn như model-based planning và world action model fine-tuning.

IV. Conclusion & Future Works:​

PAIWorld chứng minh rằng cả đường dẫn giao tiếp và mục tiêu hình học là cần và đủ để đạt nhất quán 3D đa góc nhìn. Hướng tương lai gồm mở rộng cho tương tác đa robot, kết hợp thăm dò chủ động, và áp dụng cho các tình huống động phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PAIWorld cho tương tác đa robot: mỗi robot có bộ camera riêng, dùng chung cơ chế cross-view và Geo-RoPE để đồng bộ không gian hành động.
  2. Kết hợp Latent 3D-REPA với active learning: robot chọn động tác thăm dò tối ưu dựa trên độ bất định hình học để cải thiện nhanh chất lượng world model.
  3. Áp dụng tư tưởng hai trụ cột vào xe tự hành: camera gắn xe và drone tạo đa góc nhìn, cross-view attention + 3D prior giúp dự đoán chướng ngại vật chính xác hơn.

2. Patent:​

  1. Hệ thống tự hiệu chuẩn tay máy công nghiệp: robot thực hiện vài động tác mẫu, camera wrist và head ghi lại; Geo-RoPE và cross-view attention suy luận tư thế camera và độ lệch động học để chỉnh chính sách ngay lần chạy đầu.
  2. Điều khiển robot gia đình qua điện thoại với camera tùy ý: người dùng đặt điện thoại bất kỳ; robot tự quay vài khung hình thử, gửi lên đám mây phân tích tương quan không gian bằng Latent 3D-REPA rồi thực hiện lệnh theo góc nhìn đó.
  3. Module nhận diện thay đổi phụ kiện cho robot lắp ráp: khi đổi đầu kẹp, robot chạy chương trình thăm dò ngắn; cross-view attention và Geo-RoPE xác định độ dài tay và độ mở kẹp mới qua luồng hình ảnh, cập nhật tham số động lực học ẩn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18375
ArXiv Abstracthttps://arxiv.org/abs/2606.18375
PDF Downloadhttps://arxiv.org/pdf/2606.18375.pdf
Github RepositoryN/A

15. Beyond Alignment: Value Diversity as a Collective Property in Multicultural Agent Systems (10 votes)​

Tác giả: Shaoyang Xu, Jingshen Zhang, Long P. Hoang, Jinyuan Li, Wenxuan Zhang

Xuất bản lúc: 2026-06-04

Tag: Multi-Agent Systems, Cultural Alignment, Value Diversity, Large Language Models, Social Simulation, Pluralistic AI

I. Main Problem:​

Các hệ thống đa tác nhân đa văn hóa hiện tại chỉ đánh giá mức độ align (phù hợp) văn hóa của từng tác nhân riêng lẻ. Không có thước đo nào cho biết toàn bộ hệ thống có duy trì được sự đa dạng giá trị văn hóa vốn có của xã hội loài người hay không.

II. Main Idea:​

Bài báo đề xuất 'value diversity' (đa dạng giá trị) như một trục đánh giá ở cấp độ hệ thống, đo lường sự khác biệt giữa các phản hồi của các tác nhân được gán bản sắc văn hóa khác nhau. Sử dụng World Values Survey, họ so sánh 19 nền văn hóa và 18 mô hình nền trong nhiều cấu hình hệ thống, cho thấy diversity gần như không tương quan với alignment, và các hệ thống hiện tại có độ đa dạng thấp hơn nhiều so với xã hội loài người. Khi các tác nhân tương tác xã hội, sự đa dạng càng bị xói mòn do xu hướng đồng thuận.

III. Main Results:​

  • Tất cả hệ thống dùng một backbone đều có diversity thấp hơn hẳn con người (cao nhất 36.12 so với 44.07).
  • Diversity và alignment gần như không tương quan (Pearson r = -0.12), cho thấy chúng đo lường hai thuộc tính khác nhau của hệ thống.
  • Hệ thống dùng nhiều backbone khác nhau (mixed) cải thiện cả alignment lẫn diversity, nhưng vẫn chưa đạt mức của con người.
  • Tương tác xã hội qua nhiều vòng làm giảm diversity (~1.27 điểm trung bình) dù alignment tăng nhẹ, và sự suy giảm này kéo dài.
  • Hệ thống có diversity cao mang lại quyết định tập thể đa dạng hơn trong bài toán ngân sách có sự tham gia.

IV. Conclusion & Future Works:​

Value diversity là một thước đo riêng biệt và cần thiết cho các hệ thống đa văn hóa, hiện vẫn chưa được đáp ứng. Hướng tới cần nghiên cứu các mô hình tương tác thực tế hơn, mạng xã hội phức tạp hơn, và cách duy trì đa dạng trong quá trình ra quyết định chung.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế khuyến khích sự đa dạng trong hệ thống đa tác nhân, ví dụ thông qua việc thiết kế phần thưởng dựa trên dissimilarity giữa các tác nhân hoặc cơ chế bỏ phiếu bảo tồn ý kiến thiểu số.
  2. Áp dụng khung đánh giá value diversity cho các nền tảng xã hội ảo thuần AI (như Moltbook) nhằm đo lường mức độ đại diện văn hóa của các cộng đồng tổng hợp.
  3. Phát triển các chiến lược tương tác xã hội có kiểm soát để giảm thiểu sự đồng thuận quá mức, chẳng hạn như giới thiệu tác nhân 'phản biện' hoặc điều chỉnh trọng số tiếng nói của các nhóm ít đại diện.

2. Patent:​

  1. Phần mềm mô phỏng xã hội trên điện thoại dùng nhiều LLM khác nhau đại diện cho các nền văn hóa, giúp các nhà hoạch định chính sách dự đoán tác động của quyết định lên sự đa dạng ý kiến dân chúng.
  2. Hệ thống gợi ý nội dung cho mạng xã hội ảo, có chức năng cảnh báo khi các bot AI đang dần đồng nhất quan điểm, đề xuất đa dạng hóa nguồn thông tin cho các bot tương tác.
  3. Ứng dụng trợ lý du lịch nhóm dùng đa tác nhân, mỗi tác nhân mang giá trị văn hóa của một thành viên, giúp đưa ra lịch trình tham quan dung hòa sở thích của tất cả mọi người.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.05985
ArXiv Abstracthttps://arxiv.org/abs/2606.05985
PDF Downloadhttps://arxiv.org/pdf/2606.05985.pdf
Github Repositoryhttps://github.com/iNLP-Lab/MultiAgent-Diversity