Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-06-29

Báo cáo được tạo tự động vào lúc 2026-07-01 07:13:42 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. Formalizing Latent Thoughts: Four Axioms of Thought Representation in LLMs (52 votes)​

Tác giả: Fahd Seddik, Fatemeh Fard

Xuất bản lúc: 2026-05-07

Tag: LLMs, Latent Representations, Reasoning, Chain-of-Thought, Representation Learning, Evaluation Framework, Axiomatic Method

I. Main Problem:​

Đánh giá chất lượng biểu diễn suy nghĩ (thought representation) trong LLMs hiện chỉ dựa vào độ chính xác downstream, khiến lỗi biểu diễn bị che giấu bởi hiệu năng tổng thể. Không có định nghĩa chính xác về điều kiện chức năng của một biểu diễn suy nghĩ hợp lệ, và thiếu công cụ đo lường độc lập với downstream accuracy.

II. Main Idea:​

Bài báo đề xuất bốn tiên đề chức năng cho biểu diễn suy nghĩ: Causality (biểu diễn phải thay thế được reasoning prefix trong đồ thị tính toán), Minimality (nén input nhưng giữ thông tin liên quan đến output), Separability (phân biệt được các input dẫn đến output ngữ nghĩa khác nhau), và Stability (bất biến với biến thể từ vựng, phản ánh độ bất định của output). Mỗi tiên đề được định lượng bằng một metric riêng, tính trực tiếp trên LLM nguồn mà không cần retrain hay phụ thuộc vào task downstream.

III. Main Results:​

  • Không candidate nào (LIT, soft tokens, latent thinking) thỏa mãn đồng thời cả bốn tiên đề trên năm LLM (dense, reasoning-distilled, RL-trained).
  • Biểu diễn phân biệt task type tốt nhưng thất bại hoàn toàn trong việc phân biệt hai câu hỏi khác nhau cùng một task (within-task accuracy sát baseline ngẫu nhiên).
  • Input embedding ngang bằng hoặc vượt các candidate trên mọi metric, chứng tỏ biểu diễn suy nghĩ không chứa thêm thông tin nào so với prompt.
  • Khi tăng số bước suy nghĩ (từ 1 lên 128), các phương pháp iterative suy giảm chất lượng biểu diễn, đặc biệt là Stability.

IV. Conclusion & Future Works:​

Bộ công cụ này phơi bày một 'sụp đổ biểu diễn' trên per-question identity mà downstream accuracy không thể hiện. Các tiên đề trở thành mục tiêu tối ưu rõ ràng và chẩn đoán được, giúp phân lập nguyên nhân thay đổi độ chính xác. Hướng mở: thiết kế candidate mới được huấn luyện trực tiếp để thỏa mãn cả bốn tiên đề.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Huấn luyện một bộ trích xuất biểu diễn suy nghĩ (thought representation) có giám sát trên chính bốn metric (Causality, Minimality, Separability, Stability), thay vì tối ưu heuristic, nhằm tạo ra biểu diễn thực sự chức năng.
  2. Khắc phục sụp đổ per-question identity bằng cách bổ sung mục tiêu giảm mutual information giữa biểu diễn các câu hỏi khác nhau trong cùng một task, kết hợp với contrastive learning.
  3. Phát triển phiên bản Stability đo được lexical invariance một cách không tầm thường, cho phép đánh giá khả năng duy trì biểu diễn ổn định dưới paraphrase của cùng một câu hỏi.

2. Patent:​

  1. Hệ thống chẩn đoán biểu diễn suy nghĩ của LLM trên điện thoại: chạy bộ metric nhẹ để kiểm tra xem mô hình có đang 'ngộ nhận' hai câu hỏi toán học khác nhau hay không, cảnh báo rủi ro sai trước khi sinh output.
  2. Module tối ưu suy nghĩ trong chatbot: khi phát hiện Stability thấp (biểu diễn dao động dữ dội), tự động kích hoạt chế độ sinh nhiều câu trả lời, rồi bình chọn hoặc lấy trung bình biểu diễn để tăng độ tin cậy.
  3. Công cụ tinh chỉnh LLM trên thiết bị di động: dùng Minimality Gap làm mục tiêu phụ, buộc mô hình nén bớt thông tin nhiễu từ prompt, giúp suy luận nhanh hơn và tiết kiệm bộ nhớ khi dùng local.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.27378
ArXiv Abstracthttps://arxiv.org/abs/2606.27378
PDF Downloadhttps://arxiv.org/pdf/2606.27378.pdf
Github Repositoryhttps://github.com/fard-lab/formalize-thoughts

2. PhysisForcing: Physics Reinforced World Simulator for Robotic Manipulation (45 votes)​

Tác giả: Peiwen Zhang, Yufan Deng, Shangkun Sun, Juncheng Ma, Duomin Wang, et al.

Xuất bản lúc: 2026-06-26

Tag: Video Generation, Robotic Manipulation, World Simulator, Physics Alignment, Diffusion Transformer, Contact-Rich Tasks

I. Main Problem:​

Các mô hình sinh video hiện tại, dù tổng quát hay chuyên biệt cho robot, thường tạo ra các video thao tác vi phạm vật lý, như quỹ đạo chuyển động gián đoạn hoặc tương tác robot-vật thể không nhất quán. Điều này xảy ra do sự biến dạng của vật thể chuyển động và tương quan không-thời gian sai lệch, đặc biệt ở vùng tiếp xúc. Những lỗi này làm suy yếu độ tin cậy của mô hình sinh như một mô phỏng thế giới.

II. Main Idea:​

PhysisForcing là khung huấn luyện tăng cường tính nhất quán vật lý bằng cách tập trung giám sát vào các vùng giàu thông tin vật lý (vùng thao tác, tiếp xúc). Phương pháp này sử dụng hai thành phần: (1) mất mát căn chỉnh quỹ đạo pixel, giám sát đặc trưng DiT bằng quỹ đạo điểm tham chiếu; (2) mất mát căn chỉnh quan hệ ngữ nghĩa, căn chỉnh ma trận tương tự token giữa DiT và bộ mã hóa video đóng băng. Các tổn thất này chỉ áp dụng trên vùng tương tác, giúp tối ưu hóa cục bộ mà không pha loãng tín hiệu bởi nền tĩnh.

III. Main Results:​

  • Trên R-Bench, PhysisForcing cải thiện Wan2.2-I2V-A14B và Cosmos3-Nano lần lượt 22.3% và 9.2% so với mô hình gốc.
  • PF-Cosmos đạt điểm tổng thể tốt nhất trên cả R-Bench (63.8), PAI-Bench (85.2) và EZS-Bench (81.1), vượt qua cả các mô hình thương mại mạnh nhất.
  • Trong WorldArena, tỷ lệ thành công vòng kín tăng từ 16.0% lên 24.0%, vượt tất cả các bộ lập kế hoạch world model khác.
  • Trên RoboTwin 2.0, tỷ lệ thành công trung bình của policy tăng từ 68.2% lên 72.8%, đặc biệt ở tác vụ tiếp xúc phức tạp.

IV. Conclusion & Future Works:​

PhysisForcing chứng minh rằng căn chỉnh vật lý phân cấp trên vùng tương tác là chìa khóa để tạo video robot đáng tin cậy. Phương pháp này không chỉ cải thiện chất lượng sinh mà còn mang lại lợi ích trực tiếp cho quyết định của robot. Hướng tương lai có thể mở rộng sang các mô hình tương tác phức tạp hơn và giảm sự phụ thuộc vào dữ liệu tham chiếu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PhysisForcing cho các tác vụ thao tác đa vật thể phức tạp hơn, nơi cần căn chỉnh tương tác giữa nhiều đối tượng đồng thời.
  2. Kết hợp giám sát vật lý từ các bộ mô phỏng (physics engine) như một nguồn giám sát thay thế, giảm nhu cầu dữ liệu video tham chiếu.
  3. Nghiên cứu cơ chế căn chỉnh theo thời gian thực, cho phép mô hình tự sửa lỗi vật lý trong quá trình sinh mà không cần huấn luyện lại.

2. Patent:​

  1. Hệ thống huấn luyện mô hình sinh video trên điện thoại để dự đoán chuyển động của vật thể khi người dùng chạm vào màn hình, đảm bảo tương tác không vi phạm vật lý (ví dụ: vật không xuyên qua nhau).
  2. Ứng dụng thực tế ảo (AR/VR) nơi mô hình sinh video được căn chỉnh vật lý để tạo ra chuyển động tay và vật thể ảo nhất quán, phục vụ huấn luyện kỹ năng thao tác từ xa.
  3. Module tối ưu hóa video quảng cáo sản phẩm: tự động phát hiện và sửa các lỗi vật lý trong video thao tác sản phẩm (ví dụ: tay người cầm cốc không bị đổ nước) trước khi xuất bản.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.28128
ArXiv Abstracthttps://arxiv.org/abs/2606.28128
PDF Downloadhttps://arxiv.org/pdf/2606.28128.pdf
Github Repositoryhttps://github.com/DAGroup-PKU/PhysisForcing

3. Qwen-Image-2.0-RL Technical Report (42 votes)​

Tác giả: Yixian Xu, Kaiyuan Gao, Yuxiang Chen, Yilei Chen, Zecheng Tang, et al.

Xuất bản lúc: 2026-06-25

Tag: Diffusion Models, RLHF, Image Generation, Image Editing, Reward Modeling, Distillation, GRPO

I. Main Problem:​

Các mô hình khuếch tán được huấn luyện giám sát tối ưu hàm mất mát điểm số không khớp với sở thích thẩm mỹ của con người, và việc tích hợp RLHF cho mô hình khuếch tán gặp nhiều thách thức: tín hiệu thưởng phải đa dạng, khung RL chưa được kiểm chứng ở quy mô lớn, và khó hợp nhất các chính sách chuyên biệt cho từng tác vụ.

II. Main Idea:​

Bài báo đề xuất pipeline hậu huấn luyện thống nhất: (1) xây dựng bộ mô hình thưởng VLM dạng pointwise cho từng khía cạnh (alignment, thẩm mỹ, chân dung; chỉnh sửa; nhận diện khuôn mặt), (2) khung RL dựa trên GRPO với chiến lược CFG lai (chỉ dùng CFG khi rollout) cùng pipeline thưởng bất đồng bộ và lọc prompt theo biên độ trong nhóm, (3) On-Policy Distillation (OPD) để hợp nhất các chính sách T2I và chỉnh sửa thành một mô hình duy nhất qua so khớp vận tốc trên quỹ đạo tự sinh.

III. Main Results:​

  • Qwen-Image-2.0-RL đạt 57.84 điểm tổng thể trên Qwen-Image-Bench (+2.61 so với mô hình gốc).
  • Elo trên text-to-image arena tăng từ 1115 lên 1193 (+78), trên image edit arena từ 1256 lên 1349 (+93).
  • Cải thiện lớn nhất thuộc về Creative Generation (+6.72) và Real-world Fidelity (+4.29).
  • So với phương pháp Mix-RL, OPD vượt trội về chi tiết, độ trung thực với prompt và điểm thẩm mỹ.

IV. Conclusion & Future Works:​

Kết hợp RLHF và OPD giúp mô hình cải thiện đáng kể chất lượng hình ảnh và khả năng làm theo chỉ dẫn. OPD loại bỏ phụ thuộc vào mô hình thưởng và tránh xung đột tối ưu giữa các tác vụ. Hướng tương lai: mở rộng sang các tác vụ hình ảnh khác và các kiến trúc mô hình khuếch tán mới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng pipeline RLHF+OPD cho video generation, với mô hình thưởng đánh giá tính nhất quán thời gian và chất lượng khung hình, kết hợp OPD để hợp nhất các chính sách sinh video và chỉnh sửa video.
  2. Nghiên cứu chiến lược sinh prompt tự động dựa trên phản hồi của mô hình thưởng, nhằm tập trung RL vào các prompt có tiềm năng cải thiện cao, giảm chi phí huấn luyện.
  3. Áp dụng OPD cho các mô hình ngôn ngữ lớn để hợp nhất các chính sách RL chuyên biệt cho từng miền (ví dụ: viết sáng tạo, tóm tắt, đối thoại) mà không gây suy giảm hiệu năng chéo.

2. Patent:​

  1. Ứng dụng trên điện thoại cho phép người dùng chỉnh sửa ảnh chân dung bằng văn bản: hệ thống dùng mô hình thưởng nhận diện khuôn mặt để đảm bảo danh tính không thay đổi, sau đó tinh chỉnh ảnh theo yêu cầu như 'thêm kính' hay 'tóc dài hơn'.
  2. Tính năng tạo avatar hoặc ảnh đại diện cho mạng xã hội: người dùng nhập mô tả, hệ thống tạo nhiều phương án và tự động chọn ảnh có điểm thẩm mỹ và độ trung thực cao nhất nhờ mô hình thưởng VLM.
  3. Công cụ thiết kế quảng cáo trên điện thoại: cho phép người dùng nhập ý tưởng, hệ thống sinh ảnh sản phẩm với văn bản chính xác (typography) và bố cục đẹp mắt nhờ tối ưu đồng thời alignment và thẩm mỹ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.27608
ArXiv Abstracthttps://arxiv.org/abs/2606.27608
PDF Downloadhttps://arxiv.org/pdf/2606.27608.pdf
Github RepositoryN/A

4. Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots (35 votes)​

Tác giả: Sijin Chen, Kaixuan Jiang, Haixin Shi, Yanhui Wang, Weiheng Zhong, et al.

Xuất bản lúc: 2026-06-26

Tag: Vision-Language-Action, Robot Manipulation, Imitation Learning, Cross-Embodiment Learning, Human-to-Robot Transfer

I. Main Problem:​

Việc chuyển giao kỹ năng thao tác từ dữ liệu con người sang robot gặp khó khăn vì các phương pháp hiện tại coi con người như một robot 6DoF khác, dẫn đến nhiễu do ước lượng tư thế tay không chính xác và sự khác biệt cơ bản về mẫu tiếp xúc giữa ngón tay người và gắp robot.

II. Main Idea:​

Tác giả đề xuất biểu diễn hành động cầu nối (bridging action) dựa trên tịnh tiến cổ tay tương đối trong khung camera đầu, một không gian hành động chung giữa người và robot. Mô hình VLA dạng π0 được xây dựng với các token hành động xen kẽ (interleaved action tokens) và mặt nạ chú ý để xử lý các thành phần hành động bị thiếu. Qua huấn luyện ba giai đoạn (tiền huấn luyện trên dữ liệu người, đồng huấn luyện với thao tác nhặt-đặt, và tinh chỉnh ít mẫu), robot có thể học kỹ năng thao tác mới từ hành động của con người.

III. Main Results:​

  • Biểu diễn cầu nối (translation-only) vượt trội so với hành động 6DoF nhiễu của con người khi chuyển giao kỹ năng thao tác.
  • Đồng huấn luyện với dữ liệu người cải thiện đáng kể cả tỷ lệ thành công và tiến độ trên 15 tác vụ thao tác hai tay.
  • Tiền huấn luyện trên dữ liệu hành động người quy mô lớn (~600 giờ) nâng cao hiệu suất hơn nữa.
  • Tinh chỉnh với chỉ 10 quỹ đạo robot mỗi tác vụ giúp tăng hiệu quả dữ liệu đáng kể.
  • Robot không thể giải quyết các tác vụ mới nếu chỉ dùng dữ liệu nhặt-đặt mà không có dữ liệu người.

IV. Conclusion & Future Works:​

Cầu nối tịnh tiến cổ tay cho phép chuyển giao kỹ năng thao tác từ người sang robot một cách hiệu quả và có khả năng mở rộng. Các nghiên cứu tương lai có thể mở rộng biểu diễn này sang các cấu hình robot đa dạng hơn và khám phá việc tích hợp thêm các tín hiệu điều khiển khác ngoài tịnh tiến.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng biểu diễn cầu nối tịnh tiến cho robot có dạng thức khác (vd: cánh tay đơn, tay kẹp chuyên dụng) bằng cách xác định các không gian hành động chung mới dựa trên chuyển động tương đối.
  2. Khám phá cách kết hợp thông tin xoay dựa trên hướng nhìn (egocentric orientation) để phục hồi một phần xoay khi cần thiết, cải thiện hiệu quả cho các tác vụ yêu cầu định hướng chính xác.
  3. Nghiên cứu phương pháp học biểu diễn cầu nối tự động từ video người mà không cần nhãn tư thế rõ ràng, sử dụng mô hình video diffusion để suy luận chuyển động cổ tay.

2. Patent:​

  1. Hệ thống huấn luyện robot gia đình thông qua điện thoại di động: người dùng quay video mình thực hiện thao tác (ví dụ: mở lò vi sóng), điện thoại trích xuất chuyển động tịnh tiến cổ tay rồi gửi lên đám mây. Robot nhận về bộ tham số cầu nối, tự động thực hiện thao tác tương tự.
  2. Phần mềm chuyển đổi kỹ năng lao động: công nhân nhà máy đeo kính thông minh ghi lại thao tác lắp ráp; hệ thống phân tích thành chuyển động tịnh tiến thuần túy, loại bỏ nhiễu xoay. Sau đó, cánh tay robot trên dây chuyền được tinh chỉnh để lặp lại thao tác đó.
  3. Ứng dụng điều khiển tay kẹp robot từ xa: người dùng đeo kính VR và điều khiển tay người. Hệ thống ghi nhận chuyển động tịnh tiến làm tín hiệu chính, chuyển qua mạng và robot bắt chước chuyển động mà không cần vận tốc quay phức tạp, giảm trễ điều khiển.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.28133
ArXiv Abstracthttps://arxiv.org/abs/2606.28133
PDF Downloadhttps://arxiv.org/pdf/2606.28133.pdf
Github RepositoryN/A

5. Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models (23 votes)​

Tác giả: Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, et al.

Xuất bản lúc: 2026-06-17

Tag: Vision-Language-Action, Robotics, Foundation Model, Data Synthesis, Transfer Learning, Embodiment Alignment, OOD Generalization, Flow Matching

I. Main Problem:​

Huấn luyện mô hình nền cho thao tác robot gặp khó khăn do dữ liệu đa dạng, đắt đỏ và thiếu sự tương thích giữa các loại robot khác nhau. Dữ liệu từ nhiều nguồn khác nhau (các robot khác, con người, mô phỏng) có biểu diễn quan sát và hành động khác biệt, dẫn đến nhiễu và xung đột khi huấn luyện chung, thay vì tận dụng được lợi thế quy mô.

II. Main Idea:​

QWEN-ROBOTMANIP là mô hình nền Vision-Language-Action được xây dựng trên Qwen-VL, giải quyết vấn đề tương thích (alignment) ở ba chiều: biểu diễn (state-action chuẩn hóa), chuyển động (delta pose trong khung camera), và hành vi (cơ chế in-context adaptation). Khung này cho phép mô hình hấp thụ dữ liệu từ nhiều nguồn (robot thật, video con người, dữ liệu tổng hợp) với quy mô lớn (~38.100 giờ). Một pipeline tổng hợp chuyển đổi video tay người thành quỹ đạo robot cho 15 nền tảng, và một pipeline chọn lọc đảm bảo chất lượng tín hiệu. Quan trọng, mô hình đạt được khả năng khái quát hóa mới nổi như zero-shot instruction following, phục hồi lỗi và truyền tải giữa các robot, dù chỉ dùng dữ liệu mã nguồn mở.

III. Main Results:​

  • Tổng hợp kho dữ liệu ~38.100 giờ từ 3 nguồn: robot (~11.420 giờ), video người (~1.933 giờ), và tổng hợp người-sang-robot (~24.808 giờ).
  • Đạt SOTA trên tất cả các thiết lập OOD (RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, RoboTwin-XE), vượt qua π0 và GR00T-N1.7.
  • Xếp hạng 1 trên RoboChallenge Table30-v1 với cải thiện 20% tương đối.
  • Được xác thực trên các robot thật (AgileX ALOHA, Franka, UR, ARX) ở nhiều kịch bản: in-domain, OOD, few-shot, và cross-embodiment transfer.
  • Khả năng khái quát hóa nổi bật: zero-shot instruction following, robust trước nhiễu, reactive error recovery.

IV. Conclusion & Future Works:​

QWEN-ROBOTMANIP chứng minh rằng alignment là tiền đề cho scaling trong robotic manipulation. Mô hình mở ra hướng xây dựng mô hình nền thao tác từ dữ liệu mã nguồn mở mà không cần thu thập độc quyền. Tương lai có thể hướng đến mở rộng sang các nhiệm vụ mobile manipulation phức tạp hơn và tối ưu hóa real-time deployment.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng pipeline tổng hợp người-sang-robot cho các tác vụ mobile manipulation và dexterous manipulation ngoài tabletop, tận dụng thêm dữ liệu từ video in-the-wild.
  2. Nghiên cứu cơ chế in-context adaptation để mô hình tự điều chỉnh hành vi dựa trên lịch sử tương tác mà không cần fine-tuning, áp dụng cho các kịch bản robot thay đổi linh kiện hoặc môi trường.
  3. Đánh giá tác động của dữ liệu tổng hợp (human-to-robot) so với dữ liệu robot thật trong việc cải thiện khả năng khái quát hóa cross-embodiment và task generalization.

2. Patent:​

  1. Hệ thống tự động chuyển đổi mô phỏng thao tác tay người thành chương trình điều khiển robot: thiết bị đeo tay hoặc camera theo dõi tay người làm mẫu, hệ thống tự động phân tích và sinh quỹ đạo cho robot nhiều loại khác nhau, giúp lập trình robot không cần code.
  2. Phương pháp huấn luyện robot đa nền tảng trên điện thoại: dùng camera điện thoại ghi lại thao tác tay người, gửi lên đám mây xử lý và sinh lệnh điều khiển cho robot gia đình để thực hiện các tác vụ như lấy đồ, sắp xếp.
  3. Công cụ đảm bảo chất lượng dữ liệu robot tự động: phân tích video robot kết hợp với dữ liệu cảm biến để phát hiện lỗi đồng bộ thời gian, sai lệch động học, hoặc tín hiệu nhiễu trước khi đưa vào huấn luyện, giúp tiết kiệm chi phí và thời gian xử lý dữ liệu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.17846
ArXiv Abstracthttps://arxiv.org/abs/2606.17846
PDF Downloadhttps://arxiv.org/pdf/2606.17846.pdf
Github Repositoryhttps://github.com/QwenLM/Qwen-RobotManip

6. Qwen-RobotNav Technical Report: A Scalable Navigation Model Designed for an Agentic Navigation System (22 votes)​

Tác giả: Jiazhao Zhang, Gengze Zhou, Hale Yin, Yiyang Huang, Zixing Lei, et al.

Xuất bản lúc: 2026-06-18

Tag: Vision-Language-Action, Navigation, Embodied AI, Agentic Systems, Qwen3-VL, Multi-task Learning, Zero-shot Transfer

I. Main Problem:​

Các hệ thống dẫn đường nhúng cần một mô hình nền tảng mà chiến lược quan sát có thể được cấu hình lại từ bên ngoài tại thời điểm suy luận, vì các tác vụ như Đi theo chỉ dẫn, Tìm kiếm đồ vật, Bám mục tiêu và Lái xe tự hành đòi hỏi cách tiêu thụ luồng hình ảnh khác nhau. Hiện tại, không có mô hình nào đáp ứng yêu cầu này do chúng dùng các chiến lược ngữ cảnh cố định (ví dụ: lấy mẫu khung hình đều) không thể điều chỉnh linh hoạt.

II. Main Idea:​

Qwen-RobotNav định hình thách thức cốt lõi là mô hình hóa ngữ cảnh quan sát, không phải thiết kế kiến trúc. Nó mở rộng Qwen3-VL với giao diện tham số hóa gồm nhiều chế độ tác vụ (VLN, PointNav, ObjNav, Tracking) và các tham số quan sát có thể điều khiển như token budget, độ suy giảm thời gian và trọng số camera. Huấn luyện với ngẫu nhiên hóa toàn bộ tham số giúp mô hình mạnh mẽ với mọi cấu hình suy luận. Giao tiếp nhận dạng camera và thời gian qua thẻ ngôn ngữ tự nhiên, không cần sửa kiến trúc.

III. Main Results:​

  • Đạt 76.5% tỉ lệ thành công (SR) trên VLN-CE RxR và 72.1% SR trên R2R, vượt NavFoM lần lượt 12.1% và 10.4%.
  • EVT-Bench: 90.0% tỉ lệ bám (TR) – cao nhất trong các phương pháp được đánh giá.
  • HM3Dv2 object-goal: 75.6% SR, NAVSIM tự lái: 91.4 PDMS.
  • Hệ thống agentic cải thiện Embodied QA trên HM-EQA 10.8% và EXPRESS-Bench 15.4% với ít hơn 77% bước dẫn đường.
  • Mở rộng tốt từ 2B lên 8B tham số; thể hiện zero-shot transfer tốt ra robot thật.

IV. Conclusion & Future Works:​

Qwen-RobotNav thiết lập state-of-the-art trên nhiều benchmark dẫn đường và chứng minh khả năng tích hợp linh hoạt vào hệ thống agentic cho các tác vụ dài hạn. Hướng tương lai có thể cải thiện thuật toán token allocation và mở rộng cho nhiều nền tảng robot hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng giao diện tham số hóa cho nhiều tác vụ nhúng khác (ví dụ: thao tác, kiểm tra) để kiểm tra tính tổng quát.
  2. Phát triển phương pháp token allocation thông minh hơn dựa trên nội dung cảnh, thay vì heuristic cố định, để cải thiện hiệu quả ngữ cảnh.
  3. Kết hợp kế hoạch hóa cấp cao học tăng cường (RL) để tối ưu lựa chọn tham số ngữ cảnh và chế độ tác vụ cho tác vụ dài hạn.

2. Patent:​

  1. Ứng dụng trên điện thoại cho robot hút bụi: người dùng ra lệnh bằng giọng nói 'lau bếp', điện thoại gửi lệnh đến robot, robot tự động chọn chế độ ObjNav để tìm bếp và PointNav để di chuyển, tối ưu hóa token cho từng giai đoạn để tiết kiệm pin.
  2. Hệ thống giám sát kho hàng: camera điện thoại hoặc camera gắn trên robot cho phép người quản lý chỉ định mục tiêu (ví dụ: 'tìm hộp số 5') trên màn hình; hệ thống tự động chuyển đổi giữa chế độ dò tìm và bám đuổi dựa trên khoảng cách, giúp tiết kiệm thời gian tìm kiếm.
  3. Tính năng dẫn đường cho xe lăn thông minh: điện thoại của người dùng nhận chỉ dẫn giọng nói, xe lăn tự động phân tích ngữ cảnh (ví dụ: hành lang hẹp vs phòng rộng) và điều chỉnh token budget, giúp tránh va chạm và di chuyển an toàn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18112
ArXiv Abstracthttps://arxiv.org/abs/2606.18112
PDF Downloadhttps://arxiv.org/pdf/2606.18112.pdf
Github Repositoryhttps://github.com/QwenLM/Qwen-RobotNav

7. MultiHashFormer: Hash-based Generative Language Models (19 votes)​

Tác giả: Huiyin Xue, Atsuki Yamaguchi, Nikolaos Aletras

Xuất bản lúc: 2026-06-26

Tag: Language Models, Hash-based Embeddings, Autoregressive Models, Parameter Efficiency, Vocabulary Expansion, Transformer

I. Main Problem:​

Các mô hình ngôn ngữ lớn truyền thống có tham số nhúng tăng tuyến tính theo kích thước từ vựng, gây ra nút thắt về bộ nhớ và cản trở khả năng mở rộng sang ngôn ngữ mới. Những phương pháp băm (hash) trước đây chỉ hiệu quả với mô hình encoder vì gây ra xung đột nhiều token vào một ID, không thể dùng cho sinh văn bản tự hồi quy.

II. Main Idea:​

MultiHashFormer thay thế ma trận nhúng truyền thống bằng giao diện băm đa băm (multi-hash). Mỗi token được biểu diễn bằng một chữ ký hash duy nhất gồm nhiều ID hash từ các hàm băm khác nhau, loại bỏ hoàn toàn xung đột token. Một Hash Encoder nén chữ ký này thành vector tiềm ẩn cho Transformer decoder; đầu ra là Hash Decoder tự hồi quy tái tạo chữ ký của token tiếp theo và ánh xạ lại thành văn bản. Cách này cho phép dung lượng từ vựng cực lớn với tham số tăng dưới tuyến tính.

III. Main Results:​

  • MultiHashFormer vượt baseline Transformer tiêu chuẩn ở 9/11 tác vụ tại quy mô 1B và 3B, đặc biệt cải thiện lớn trên LAMBADA (+8.62% ở 3B).
  • Kết quả tương đồng hoặc tốt hơn khi mở rộng từ vựng từ 32K lên 48K mà không thêm tham số nào (12/22 tác vụ đa ngôn ngữ).
  • Biểu diễn từ hiếm được cải thiện: tương quan cao hơn với đánh giá của con người trên Card-660.
  • Cấu hình 4 hàm băm x 16.384 bucket (H4B16K) cân bằng tham số và hiệu suất tốt nhất.

IV. Conclusion & Future Works:​

MultiHashFormer chứng minh khả năng vượt qua nút thắt từ vựng nhờ băm đa ID, mang lại lợi ích trong tác vụ suy luận và từ hiếm. Hướng tới: mở rộng lên quy mô 7B+ và thử nghiệm đa dạng hơn về bộ dữ liệu, do giới hạn tài nguyên hiện tại.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển phương pháp băm thích ứng không cần khởi tạo lại seed cho mỗi token mới, giúp mở rộng từ vựng liên tục mà không tốn chi phí tính toán.
  2. Kết hợp MultiHashFormer với các tokenizer không cần từ vựng (byte-level) để tạo mô hình ngôn ngữ hoàn toàn độc lập với ngôn ngữ.
  3. Áp dụng băm đa ID cho mô hình encoder-decoder, đánh giá khả năng sinh văn bản song ngữ với chi phí tham số cố định.

2. Patent:​

  1. Phương pháp mở rộng từ vựng điện thoại thông minh cho nhập liệu đa ngôn ngữ: mỗi ngôn ngữ mới chỉ cần thêm chữ ký hash mà không cần tăng kích thước bộ nhớ mô hình.
  2. Hệ thống gợi ý văn bản tiết kiệm pin trên thiết bị di động: dùng băm nhiều ID để lưu từ vựng khổng lồ trong bộ nhớ hạn chế, giúp phản hồi nhanh và ít hao pin.
  3. Công cụ dịch thuật offline cho điện thoại: mô hình ngôn ngữ nhúng token bằng hash signature thay vì ma trận lớn, cho phép cài đặt nhiều ngôn ngữ mà không tăng dung lượng ứng dụng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.28057
ArXiv Abstracthttps://arxiv.org/abs/2606.28057
PDF Downloadhttps://arxiv.org/pdf/2606.28057.pdf
Github Repositoryhttps://github.com/HUIYINXUE/MHF

8. GBC: Gradient-Based Connections for Optimizing Multi-Agent Systems (11 votes)​

Tác giả: Xiaocheng Yang, Abdulrahman Alrabah, Dilek Hakkani-Tür, Gokhan Tur

Xuất bản lúc: 2026-06-26

Tag: Multi-Agent Systems, Large Language Models, Gradient-Based Optimization, Credit Assignment, Prompt Optimization, AgentChord, Task-Oriented Dialogue

I. Main Problem:​

Các hệ thống đa tác nhân (MAS) dùng LLM thường bị hạn chế hiệu suất do phối hợp kém và thiếu cơ chế gán tín nhiệm chi tiết giữa các tác nhân. Phương pháp hiện tại chỉ dùng phản hồi thô (ví dụ: thành công toàn cục) nên khó xác định tác nhân hoặc bước tương tác nào gây lỗi.

II. Main Idea:​

GBC (Gradient-Based Connections) mô hình hóa MAS như một đồ thị tính toán và gán trọng số kết nối dựa trên gradient để đo ảnh hưởng của đầu ra mỗi tác nhân lên tác nhân tiếp theo ở mức token. Bằng cách xây dựng đồ thị gán thuộc tính và lan truyền hàm mất mát (verbal loss) ngược, phương pháp này xác định chính xác nguồn gốc lỗi và tối ưu prompt có mục tiêu. AgentChord là framework hiệu quả dùng kỹ thuật prefix-based gradient để giảm chi phí bộ nhớ.

III. Main Results:​

  • Trên MultiWOZ, GBC với Qwen-3-32B cải thiện JGA từ 28.9 lên 54.4 và Slot F1 từ 79.3 lên 91.4, vượt baseline single-agent.
  • Trên τ-bench, GBC với max of L1 norm tăng overall reward từ 13.0 lên 24.3 cho Qwen-3-32B, vượt single-agent (22.6).
  • Cả bốn biến thể trọng số kết nối đều cải thiện đa chỉ số so với baseline chưa tối ưu.
  • Chất lượng gán thuộc tính cao (L1 norm) tương quan với hiệu quả tối ưu cao hơn.
  • Lỗi chủ yếu: cross-domain, thông tin thiếu hụt và over-prediction trên MultiWOZ; retrieval/identification failure trên τ-bench.

IV. Conclusion & Future Works:​

GBC giải quyết giới hạn gán tín nhiệm chi tiết trong MAS, giúp chẩn đoán và cải thiện phối hợp tác nhân. AgentChord chứng minh tính khả thi thực tế nhờ kỹ thuật giảm bộ nhớ. Hướng tương lai gồm gradient gần đúng hiệu quả hơn, cải thiện hàm loss, kết hợp học tăng cường, và mở rộng cho topo động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp GBC với reinforcement learning để tự động học hàm thưởng chi tiết từ lỗi multi-agent, cải thiện khả năng phối hợp dài hạn trên các tác vụ phức tạp.
  2. Mở rộng GBC cho hệ thống multi-agent động (topo thay đổi theo tác vụ) bằng cách dùng gradient-based connection để thích nghi cấu trúc đồ thị tác nhân.
  3. Áp dụng GBC cho các miền như phát triển phần mềm (ChatDev) hoặc mô phỏng xã hội để tối ưu prompt từng tác nhân dựa trên attribution chi tiết.

2. Patent:​

  1. Hệ thống hỗ trợ tổng đài viên: nhiều LLM chuyên lĩnh vực (sản phẩm, đơn hàng) phối hợp qua GBC; khi có lỗi (ví dụ: sai thông tin đơn), hệ thống tự xác định tác nhân gây lỗi và điều chỉnh prompt, giảm thời gian debug.
  2. Trợ lý du lịch trên điện thoại: dùng GBC để tối ưu prompt các tác nhân con (đặt vé, khách sạn, hướng dẫn) sau mỗi chuyến; khi khách phàn nàn (sai thông tin), điện thoại gửi phản hồi lên cloud để tinh chỉnh tự động.
  3. Công cụ viết truyện tương tác: nhiều LLM đảm nhận vai trò (biên kịch, nhân vật, cảnh); nếu kịch bản không hợp lý, GBC xác định prompt nào sai (từ nhân vật hay cảnh) và điều chỉnh để đồng bộ cốt truyện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.28187
ArXiv Abstracthttps://arxiv.org/abs/2606.28187
PDF Downloadhttps://arxiv.org/pdf/2606.28187.pdf
Github Repositoryhttps://github.com/yxc-cyber/AgentChord

9. SingGuard: A Policy-Adaptive Multimodal LLM Guardrail with Dynamic Reasoning (11 votes)​

Tác giả: SingGuard Team

Xuất bản lúc: 2026-06-22

Tag: Multimodal LLM, Guardrail, Safety, Policy-Adaptive, Vision-Language Model, RL, Reasoning

I. Main Problem:​

Các guardrail an toàn hiện tại cho mô hình đa phương thức (VLM) chủ yếu dựa trên phân loại tĩnh, không thể thích ứng khi chính sách thay đổi lúc triển khai, hoặc chỉ hoạt động trên một loại tương tác hẹp. Việc thiếu khả năng điều chỉnh theo chính sách động khiến chúng kém hiệu quả trong các ứng dụng thực tế với nhiều quy tắc khác nhau.

II. Main Idea:​

SingGuard là một dòng mô hình guardrail đa phương thức có khả năng thích ứng chính sách, coi chính sách đang hoạt động như một đầu vào động. Mô hình kiểm tra nội dung theo từng quy tắc và dự đoán nhãn an toàn cùng quy tắc bị vi phạm. SingGuard hỗ trợ ba chế độ suy luận (nhanh, lai, chậm) để cân bằng hiệu quả và khả năng giải thích, và được tối ưu hóa bằng kỹ thuật học tăng cường phân tách nhanh-chậm (fast-slow decoupled RL).

III. Main Results:​

  • Đạt trạng thái mới nhất (state-of-the-art) trên cả sáu họ benchmark (35 bộ dữ liệu) với F1 trung bình cao nhất.
  • Cải thiện độ chính xác theo dõi chính sách động từ 0.6465 lên 0.7415 khi chính sách thay đổi lúc chạy.
  • SingGuard-8B vượt trội so với các mô hình lớn hơn như GPT-5.1 và Gemini3-Pro trên hầu hết các benchmark.
  • SingGuard-Bench, bộ benchmark mới với 56.340 mẫu, bao phủ hơn 80 loại rủi ro và các trường hợp tấn công chéo phương tiện.

IV. Conclusion & Future Works:​

SingGuard chứng minh rằng một guardrail thích ứng chính sách có thể đạt hiệu suất vượt trội trên nhiều tác vụ kiểm duyệt đa phương thức. Hướng phát triển tương lai có thể mở rộng khả năng xử lý các chính sách phức tạp hơn hoặc tối ưu hóa thêm cho các thiết bị có tài nguyên hạn chế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu khả năng áp dụng kỹ thuật suy luận nhanh-chậm (fast-to-slow) cho các tác vụ khác ngoài kiểm duyệt, như phân tích cảm xúc đa phương thức trong môi trường thay đổi liên tục.
  2. Phát triển một phương pháp tối ưu hóa mới cho guardrail có thể tự động sinh ra các quy tắc chính sách từ dữ liệu tương tác thực tế để cập nhật động.
  3. Xây dựng một hệ thống đánh giá tính công bằng của guardrail dưới các chính sách an toàn khác nhau, tập trung vào việc giảm thiểu sai lệch (bias) đối với các nhóm cộng đồng yếu thế.

2. Patent:​

  1. Ứng dụng trên điện thoại thông minh: một ứng dụng trợ lý ảo có bộ lọc nội dung thích ứng. Ví dụ, khi người dùng ở khu vực cấm chụp ảnh, điện thoại tự động kích hoạt quy tắc mới từ xa, và bộ lọc sẽ chặn mọi yêu cầu liên quan đến chụp ảnh mà không cần cập nhật phần mềm.
  2. Trên nền tảng mạng xã hội: một hệ thống kiểm duyệt bài đăng và bình luận theo thời gian thực. Nhà quản trị có thể thêm quy tắc tạm thời (ví dụ: cấm từ khóa liên quan đến sự kiện nhạy cảm), và hệ thống ngay lập tức áp dụng quy tắc đó để lọc nội dung mà không cần huấn luyện lại mô hình.
  3. Trong ứng dụng chăm sóc sức khỏe: một chatbot tư vấn sức khỏe. Khi có quy định mới về việc cấm đưa ra lời khuyên về một loại thuốc cụ thể, chatbot sẽ tự động kiểm tra mọi câu trả lời của mình theo quy định này, đảm bảo tuân thủ pháp luật mà không cần nâng cấp hệ thống.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.22873
ArXiv Abstracthttps://arxiv.org/abs/2606.22873
PDF Downloadhttps://arxiv.org/pdf/2606.22873.pdf
Github Repositoryhttps://github.com/inclusionAI/Sing-Guard