Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-07-08

Báo cáo được tạo tự động vào lúc 2026-07-11 10:05:14 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation (85 votes)​

Tác giả: Haoyu Zhao, Xingyue Zhao, Siteng Huang, Xin Li, Deli Zhao, et al.

Xuất bản lúc: 2026-07-07

Tag: World Models, Robotic Manipulation, Diffusion Models, 4D Generation, RGB-D, Optical Flow, 3D Scene Flow, Vision-Language-Action

I. Main Problem:​

Các mô hình thế giới dạng video 2D hiện tại dự đoán tương lai dưới dạng pixel, nên mất thông tin hình học 3D và động lực chuyển động, dẫn đến sai lệch tỷ lệ, biến dạng vật thể và khó ước lượng 6-DoF pose cần thiết cho robot thao tác. Ngược lại, các phương pháp 3D/4D như NeRF, 3D Gaussian Splatting hay Structure-from-Motion thường tốn tài nguyên, phụ thuộc cảnh, cần nhiều góc nhìn hoặc thiếu khả năng sinh tương lai từ một ảnh. Còn thiếu một biểu diễn 4D nhẹ, có thể mở rộng, đồng thời kế thừa các tiên nghiệm diffusion video lớn để dự đoán chuyển động vật lý chính xác cho robot.

II. Main Idea:​

RynnWorld-4D dùng biểu diễn 4D chiếu (projective 4D) RGB-DF, đồng thời sinh ra chuỗi RGB, depth map và optical flow từ một ảnh RGB-D cùng chỉ dẫn ngôn ngữ trong một quá trình diffusion chung. Depth nâng mỗi pixel lên 3D, còn optical flow kết hợp depth cho phép chiếu ngược thành 3D scene flow, tạo ra quỹ đạo chuyển động điểm 3D theo thời gian. Kiến trúc ba nhánh (tri-branch) dựa trên Wan 2.2 video diffusion, mỗi nhánh chuyên xử lý một loại đặc trưng: RGB cho kết cấu bề mặt, depth cho hình học không gian, flow cho độ dịch chuyển; các Joint Cross-Modal Attention xen kẽ mỗi 3 block và dùng 3D RoPE frame-wise để đảm bảo ba nhánh tiến hóa nhất quán. Huấn luyện theo 3 giai đoạn: nhánh độc lập làm quen phân phối riêng, sau đó bật joint attention với backbone đông cứng, cuối cùng fine-tune toàn bộ; branch dropout buộc module liên nhánh học tái tạo depth/flow từ nhánh còn lại. Ví dụ đời thường: giống như một đầu bếp nhìn một bức ảnh chụp bếp và nghe yêu cầu “chuyển táo sang đĩa”, anh ta không chỉ tưởng tượng hình ảnh tương lai mà còn đoán khoảng cách thật của mỗi vật và hướng chuyển động của tay, từ đó vạch kế hoạch động tác chính xác.

III. Main Results:​

  • RynnWorld-4D sinh đồng bộ RGB, depth và optical flow có tính nhất quán thời gian và không gian, có thể chiếu thành 3D scene flow để kiểm chứng động lực vật lý.
  • Rynn4DDataset 1.0 được xây dựng với 254.4 triệu frame từ video egocentric của con người và robot, được gán nhãn giả depth (Depth Anything 3), optical flow (DPFlow) và chú thích ngôn ngữ (Qwen3-VL).
  • RynnWorld-4D-Policy dùng đặc trưng 4D nội bộ của mô hình trong một forward pass duy nhất, bỏ qua giải mã video đa bước, đạt tần số điều khiển hiệu quả ~9 Hz trên GPU RTX 5090 (chu kỳ ~1.1 s, dự đoán 10 bước hành động cùng lúc).
  • Trên các tác vụ thao tác song tay khéo léo thực tế, RynnWorld-4D-Policy đạt state-of-the-art, đặc biệt vượt trội ở tác vụ đòi hỏi độ chính xác không gian và phối hợp thời gian.

IV. Conclusion & Future Works:​

Việc chuyển từ mô hình thế giới 2D sang biểu diễn 4D chiếu RGB-DF giúp dự đoán gần hơn với không gian hành động 3D của robot, đồng thời vẫn kế thừa khả năng mở rộng của diffusion video. RynnWorld-4D-Policy chứng minh rằng đặc trưng 4D nội bộ có thể được khai thác trực tiếp để điều khiển robot thời gian thực mà không cần lặp denoising. Hướng tương lai: tăng tần số cập nhật lên trên 9 Hz bằng cách nén backbone 3 nhánh, mở rộng dataset sang nhiều môi trường và tay máy đa dạng, tích hợp cảm biến xúc giác/proprioception sâu hơn, và thử nghiệm lập kế hoạch dài hạn (long-horizon planning) trên các dự đoán 4D.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng biểu diễn 4D chiếu cho nhiều loại cảm biến như RGB-D-tactile hoặc đa camera, cho phép robot tích hợp thông tin lực tiếp xúc vào dự đoán động lực học.
  2. Kết hợp RynnWorld-4D với kế hoạch theo mẫu (model predictive control) để robot tự sửa quỹ đạo dựa trên dự đoán 4D thay vì chỉ phản ứng với khung hình hiện tại.
  3. Nghiên cứu cách huấn luyện mô hình thế giới 4D với ít nhãn giả hơn bằng học tự giám sát trên luồng RGB-D, giảm chi phí tạo dữ liệu mà vẫn giữ tính vật lý của 3D scene flow.

2. Patent:​

  1. Hệ thống robot gia đình điều khiển qua điện thoại: người dùng chỉ cần chụp ảnh RGB-D (camera ToF trên iPhone/Android) và ra lệnh bằng giọng nói; điện thoại gửi ảnh lên đám mây, RynnWorld-4D sinh quỹ đạo 4D và đầu policy xuất chuỗi lệnh điều khiển robot thực hiện tác vụ như nhặt đồ hoặc lau bàn.
  2. Module phần mềm cho cánh tay robot công nghiệp: trước mỗi ca làm việc, camera RGB-D gắn trên đầu robot chụp một khung hình, mô hình dự đoán chuỗi RGB-depth-flow tương lai để lập kế hoạch đường đi 3D cho các tác vụ lắp ráp hoặc bốc xếp chính xác, đặc biệt khi vật thể có hình dạng phức tạp.
  3. Hệ thống huấn luyện robot bằng mô phỏng 4D: tạo dữ liệu RGB-DF giả lập từ video thao tác của con người, dùng để huấn luyện policy robot mà không cần thu thập dữ liệu robot thực tốn kém, phù hợp cho các startup phát triển robot dịch vụ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.06559
ArXiv Abstracthttps://arxiv.org/abs/2607.06559
PDF Downloadhttps://arxiv.org/pdf/2607.06559.pdf
Github Repositoryhttps://github.com/alibaba-damo-academy/RynnWorld-4D

2. AlayaWorld: Long-Horizon and Playable Video World Generation (81 votes)​

Tác giả: AlayaWorld Team, Kaipeng Zhang, Chuanhao Li, Yifan Zhan, Yongtao Ge, et al.

Xuất bản lúc: 2026-07-07

Tag: World Models, Video Generation, Diffusion, DiT, Autoregressive Generation, Interactive Worlds, Game AI, Embodied AI

I. Main Problem:​

Tạo thế giới ảo tương tác truyền thống đòi hỏi pipeline sản xuất thủ công tốn kém: từng đối tượng, hoạt ảnh, luật tương tác phải được thiết kế trước, khiến việc mở rộng hoặc thay đổi sau triển khai rất khó khăn. Các mô hình video world gần đây hứa hẹn tự động tổng hợp khung hình tương lai dựa trên trạng thái và hành động của người chơi, nhưng vẫn đối mặt với bốn thách thức: kiểm soát (điều hướng và hành động tự do), tính nhất quán (không gian - thời gian khi quay lại vùng đã đến), ổn định (không bị trôi hình trong thế hệ dài hạn), và tốc độ thời gian thực.

II. Main Idea:​

AlayaWorld là một framework full-stack mã nguồn mở để xây dựng thế giới sinh tương tác, dựa trên việc fine-tune LTX-2.3 kết hợp với nhiều module chuyên biệt. Hệ thống dùng 3D cache làm bộ nhớ không gian để giữ hình dạng và kết cấu các vùng đã đi qua, nén lịch sử khung hình gần đây để duy trì động lực thời gian, điều chỉnh camera qua nhánh AdaLN nhẹ, đổi prompt tại ranh giới chunk để hỗ trợ hành động mở như thi triển phép, chiến đấu, triệu hồi quái vật, dùng error bank để huấn luyện mô hình chịu được lỗi tích lũy, và few-step distillation để giảm độ trễ. Ví dụ đời thường: giống như một trò chơi điện tử được dựng ngay trong lúc người chơi di chuyển, vừa nhớ rõ từng góc phố đã đi qua để khi quay lại không bị khác lạ, vừa phản ứng kịp thời với mọi lệnh của người chơi mà không cần lập trình viên phải xây sẵn toàn bộ bản đồ.

III. Main Results:​

  • Điều khiển camera: AlayaWorld theo đúng quỹ đạo góc nhìn và chuyển động của người dùng trong khi giữ nguyên bản sắc cảnh và tính hình học hợp lý.
  • Hành động mở: cơ chế prompt switching tại ranh giới chunk cho phép đổi mô tả ngôn ngữ để sinh nội dung mới trong thời gian ngắn, không cần sinh lại toàn bộ chuỗi đã có.
  • Tính nhất quán: trên các quỹ đạo leave-and-return, các vùng quay lại vẫn giữ hình học, bố cục và kết cấu như lần đầu tiên xuất hiện.
  • Ổn định dài hạn: trong các rollout kéo dài một phút, hệ thống duy trì chất lượng hình ảnh, nhận diện đối tượng và liên tục chuyển động mà không bị tích lũy nhiễu rõ rệt.
  • Đa phong cách: cùng một quỹ đạo có thể được render thành realistic, Minecraft, mực nước, sơn dầu, cyberpunk, pixel art và phong cách Zelda mà vẫn giữ hình học và nội dung ngữ nghĩa.

IV. Conclusion & Future Works:​

AlayaWorld đặt nền móng thực tiễn cho nghiên cứu và ứng dụng thời gian thực của generative world models bằng cách tích hợp đầy đủ chuỗi từ chuẩn bị dữ liệu, kiến trúc mô hình, huấn luyện, tăng tốc suy luận đến triển khai trong một khung mã nguồn mở. Hướng tương lai bao gồm cải thiện khả năng xử lý đối tượng động trong bộ nhớ không gian, nâng cao hiệu quả của distillation với số bước nhỏ hơn mà không làm giảm đa dạng chuyển động, và mở rộng sang nhiều nền tảng ứng dụng tương tác như robot nhúng thân và mô phỏng quyết định của con người.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng AlayaWorld với bộ nhớ động học cho các đối tượng di chuyển trong thế giới mở, kết hợp tracking ngầm với 3D cache để xử lý cảnh động dài hạn.
  2. Phát triển phương pháp distillation chuyên biệt cho video world models, cân bằng giữa giảm số bước denoising và bảo toàn chất lượng chuyển động cũng như tính đa dạng của hành động.
  3. Nghiên cứu cơ chế tự động phát hiện và sửa lỗi trong rollout tự hồi quy, cho phép mô hình không chỉ tiếp tục từ lịch sử sạch mà còn ổn định hóa từ lịch sử bị nhiễu.

2. Patent:​

  1. Nền tảng game trên điện thoại tự sinh thế giới khi người chơi di chuyển: thay vì tải bản đồ cố định, ứng dụng dùng mô hình generative chạy trên đám mây để tạo khung cảnh, nhớ vị trí đã đi và phản hồi các lệnh như tấn công hoặc thi triển kỹ năng theo thời gian thực.
  2. Hệ thống mô phỏng huấn luyện robot và xe tự hành: tạo môi trường ảo đa dạng từ mô tả ngôn ngữ, cho phép tác nhân thực hành điều hướng và tương tác dài hạn mà không cần xây dựng cảnh vật lý thật.
  3. Ứng dụng AR trên điện thoại biến không gian xung quanh thành thế giới chơi được: dùng camera và cảm biến chuyển động làm điều kiện, ứng dụng sinh liên tục khung cảnh phong phú, nhớ các địa điểm đã khám phá và cho phép người dùng tương tác qua giọng nói hoặc thao tác chạm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.06291
ArXiv Abstracthttps://arxiv.org/abs/2607.06291
PDF Downloadhttps://arxiv.org/pdf/2607.06291.pdf
Github Repositoryhttps://github.com/AlayaLab/AlayaWorld

3. RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation (74 votes)​

Tác giả: Haoyu Zhao, Xingyue Zhao, Hangyu Li, Biao Gong, Kehan Li, et al.

Xuất bản lúc: 2026-07-07

Tag: World Models, Digital Teleoperation, Video Diffusion Transformer, Imitation Learning, Sim2Real, Bimanual Manipulation, Action-Conditioned Generation

I. Main Problem:​

Robot learning needs massive and diverse trajectory data, but physical teleoperation ties every demonstration to a specific robot and a fixed workspace, limiting throughput to the number of operators and hardware units available. Manual resets, environment setup, and the difficulty of collecting rare object interactions make it hard to cover the long-tail distribution of real-world manipulation. Existing methods either translate human videos into robot visuals without producing usable actions, or they generate videos from human actions but remain human-centric, leaving a gap between the generated hand and the actual robot embodiment. A practical digital teleoperation system must therefore be robot-centric, action-grounded, and real-time.

II. Main Idea:​

RynnWorld-Teleop turns robot data collection into a software-only process. An operator wears hand trackers and performs a task; the system records the 21-joint hand-pose stream and renders it as a depth-aware skeleton video. This skeleton stream is fed into a robot-centric world model that, from a single reference image of the scene, synthesizes the high-fidelity egocentric video the robot would have seen. At the same time, the hand-pose stream is retargeted into a 54-DoF robot joint action vector, producing perfectly aligned visual observations and actions. The model is pretrained on large egocentric human videos to learn manipulation priors, then fine-tuned on paired human-robot data, and finally distilled from a bidirectional teacher into a causal student with a fixed-size KV cache and chunked re-anchoring, enabling real-time generation at 40+ FPS on a single H100 GPU. Ví dụ đời thường: giống như chơi máy bay mô phỏng trên máy tính — người điều khiển vặn tay lái, hệ thống vẽ ngay ra màn hình góc nhìn từ buồng lái và lưu lại chính xác các lệnh điều khiển, để robot có thể luyện tập vạn lần mà không cần máy bay thật.

III. Main Results:​

  • RynnWorld-Teleop runs at 40+ FPS on a single H100 GPU, enabling closed-loop interactive generation.
  • Policies trained only on digitally teleoperated data transfer zero-shot to real robots. For example, π0 trained on 300 generated episodes reaches 82.86% success on Block Pushing and 77.14% on Bimanual Lifting.
  • Augmenting 300 real episodes with 300 generated episodes consistently improves real-world policy performance. On Lid Placement, π0.5 rises from 42.86% to 62.86%, and π0 rises from 34.29% to 54.29%.
  • A t-SNE feature analysis shows that embeddings of generated trajectories overlap strongly with real-world trajectories, confirming that the model captures the visual and physical distribution of real manipulation.

IV. Conclusion & Future Works:​

RynnWorld-Teleop demonstrates that digital teleoperation can serve as a scalable, high-fidelity data engine that both replaces and amplifies physical teleoperation. By separating data collection from real hardware, it opens the way to much larger and more diverse robot datasets. Future work can extend the approach to more robot morphologies, longer-horizon tasks with stronger physical consistency, and tighter integration with online policy training loops.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Extending action-conditioned world models to multi-robot and heterogeneous embodiment settings, where a single operator gesture stream can be retargeted to different robot morphologies simultaneously.
  2. Combining digital teleoperation with active learning, so the world model proposes exploratory hand motions that maximize coverage of rare manipulation skills.
  3. Building long-horizon digital teleoperation for mobile manipulation and humanoid robots, where whole-body coordination and navigation are grounded in generated egocentric video.

2. Patent:​

  1. A cloud-based robot training data service: a user performs hand motions in front of a phone or camera; the platform translates those motions into synchronized robot camera video and joint commands, returning a ready-to-use dataset for training robot controllers.
  2. A phone application for remote robot teleoperation: the user holds the phone like a joystick, makes natural hand gestures, and the app streams both the rendered robot viewpoint and the corresponding joint actions to a robot in another location.
  3. A zero-asset robotic simulator for factories: production staff take one reference photo of a workstation; the system then generates unlimited training episodes of the robot working at that station from the operator's hand movements, without building 3D models or programming physics.
  4. An augmented reality headset for robot teaching: the operator sees a virtual robot hand overlaid on the real scene, performs the task, and the headset records the motion to generate photorealistic robot training trajectories with ground-truth actions.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.06558
ArXiv Abstracthttps://arxiv.org/abs/2607.06558
PDF Downloadhttps://arxiv.org/pdf/2607.06558.pdf
Github RepositoryN/A

4. Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling (58 votes)​

Tác giả: Xiang Hu, Xinyu Wei, Hao Gu, Minshen Zhang, Tian Liang, et al.

Xuất bản lúc: 2026-07-03

Tag: Sparse Attention, Long Context Modeling, LLMs, Efficient Inference, Length Extrapolation, Chunk-wise Attention

I. Main Problem:​

Attention đầy đủ (full attention) trong các mô hình ngôn ngữ lớn gặp hai rào cản khi xử lý ngữ cảnh dài: chi phí tính toán tăng theo bậc hai với độ dài chuỗi, và khả năng suy diễn độ dài ngoài tập huấn luyện kém. Các phương pháp sparse attention theo khối (chunk-wise) tiết kiệm chi phí hơn nhưng vẫn thua full attention vì chọn khối không chính xác: các tóm tắt khối bằng mean-pooling làm loãng thông tin quan trọng, và quá trình chọn khối không được tối ưu end-to-end dưới mất mát ngôn ngữ.

II. Main Idea:​

HiLS-Attention (Hierarchical Landmark Sparse Attention) thay thế việc tính attention đầy đủ bằng cách phân rã attention thành hai tầng: softmax giữa các khối (inter-chunk) để xác định khối nào quan trọng, và softmax trong từng khối (intra-chunk) để phân phối attention đến từng token. Mỗi khối được đại diện bởi một landmark token đặc biệt, từ đó rút ra chunk summary key có thể học được; điểm số khối này được dựng từ khai triển Taylor bậc nhất của LogSumExp attention mass từ full attention, và quan trọng nhất là điểm số này tham gia trực tiếp vào forward pass nên gradient từ mất mát ngôn ngữ có thể điều chỉnh việc chọn khối end-to-end. Ví dụ đời thường: giống như khi đọc một cuốn sách dày, thay vì đọc từng chữ toàn bộ cuốn, người đọc lập mục lục động ghi nhớ từng chương nói về vấn đề gì, rồi tra cứu nhanh đúng chương cần thiết; mục lục này càng đọc nhiều càng được điều chỉnh chính xác hơn.

III. Main Results:​

  • Mô hình 345M tham số, huấn luyện với độ dài 8K, đạt perplexity tương đương full attention và vượt trên nhiệm vụ RULER trong miền huấn luyện.
  • HiLS-Attention suy diễn lên đến 4M tokens (512 lần độ dài huấn luyện) với độ chính xác NIAH trên 90%, trong khi full attention sụp đổ ngoài 256K.
  • Ở quy mô 7B, chỉ cần tiếp tục huấn luyện 50B tokens để chuyển đổi từ full attention sang HiLS-Attention, giữ nguyên hiệu suất ngữ cảnh ngắn/trung bình và vượt trội trên LongBench so với YaRN-extended baseline.
  • Tốc độ suy diễn nhanh hơn 9.3x ở giai đoạn prefill và 15.7x ở giai đoạn decode so với full attention ở ngữ cảnh 512K.
  • Trên nhiệm vụ Variable Tracking đòi hỏi suy luận đa bước, HiLS-Attention cải thiện hơn 50% so với full attention khi huấn luyện ở 256K.

IV. Conclusion & Future Works:​

HiLS-Attention chứng minh lần đầu tiên bằng thực nghiệm mạnh mẽ rằng native sparse attention có thể đồng thời vượt trội hơn full attention về hiệu suất ngữ cảnh dài và tốc độ suy diễn. Cơ chế hierarchical softmax với chunk summary học được cho phép chọn khối end-to-end, giải quyết vấn đề chọn khối không chính xác của các phương pháp trước. Hướng phát triển tương lai: tích hợp HiLS vào các kiến trúc LLM lớn hơn, kết hợp với các kỹ thuật suy diễn đầu-cuối (speculative decoding), và mở rộng cho các ứng dụng agentic với ngữ cảnh cực dài.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp HiLS-Attention với các mô hình multimodal để xử lý video dài hoặc tài liệu có hình ảnh, trong đó khối được định nghĩa trên cả không gian và thời gian.
  2. Mở rộng cơ chế landmark token cho kiến trúc Mixture-of-Experts (MoE), cho phép mỗi expert chọn tập khối khác nhau để tăng tính chuyên môn hóa và hiệu quả.
  3. Nghiên cứu lý thuyết về điều kiện và giới hạn của sparse attention có thể học end-to-end, đặc biệt khi độ dài ngữ cảnh tiến đến vô hạn.

2. Patent:​

  1. Hệ thống tóm tắt và trả lời câu hỏi trên tài liệu cực dài trên điện thoại: ứng dụng đọc PDF hàng triệu token bằng cách chia tài liệu thành khối, dùng mô hình HiLS để chọn đúng đoạn liên quan và hiển thị câu trả lời nhanh mà không làm nóng máy.
  2. Trợ lý AI ghi nhớ hội thoại dài hạn trên thiết bị di động: sử dụng HiLS-Attention để lưu trữ và truy xuất thông tin từ lịch sử trò chuyện hàng tháng, chỉ kích hoạt các đoạn hội thoại liên quan khi người dùng đặt câu hỏi.
  3. Hệ thống pháp lý và hợp đồng thông minh: phân tích hợp đồng dài hàng nghìn trang, tự động định vị điều khoản liên quan và so sánh với các văn bản tham chiếu, giảm thời gian review cho luật sư và doanh nghiệp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.02980
ArXiv Abstracthttps://arxiv.org/abs/2607.02980
PDF Downloadhttps://arxiv.org/pdf/2607.02980.pdf
Github Repositoryhttps://github.com/Tencent-Hunyuan/HiLS-Attention

5. Gemma 4 Technical Report (47 votes)​

Tác giả: Gemma Team, Sherif El Abd, Vaibhav Aggarwal, Robin Algayres, Alek Andreev, et al.

Xuất bản lúc: 2026-07-02

Tag: LLMs, Multimodal, Mixture-of-Experts, Quantization, Speculative Decoding, Vision-Language, Audio, Long Context

I. Main Problem:​

Các mô hình ngôn ngữ lớn mã nguồn mở đa phương thức thường phải đánh đổi giữa hiệu suất suy luận, hiệu quả tính toán và khả năng triển khai trên thiết bị biên. Ngoài ra, xử lý ngữ cảnh dài làm bộ nhớ KV cache tăng vọt, và các kiến trúc đa phương thức truyền thống dựa vào bộ mã hóa riêng biệt gây phân mảnh bộ nhớ cũng như tăng chi phí triển khai.

II. Main Idea:​

Gemma 4 cải tiến toàn diện bằng cách kết hợp bốn hướng: (1) chế độ thinking cho phép mô hình tự sinh chuỗi suy luận nội bộ trước khi trả lời; (2) tối ưu long-context qua tỷ lệ attention cục bộ:toàn cục 5:1, p-RoPE, chia sẻ KV cache và tái sử dụng keys làm values, cắt 37.5% footprint; (3) tiết kiệm tính toán và bộ nhớ nhờ đầu drafter đa token tự hồi quy cho speculative decoding và huấn luyện có nhận thức lượng tử hóa QAT; (4) kiến trúc không bộ mã hóa cho mô hình 12B, chiếu trực tiếp các patch hình ảnh và đoạn âm thanh thô vào không gian embedding của LLM thay vì dùng vision/audio encoder rời. Ví dụ đời thường: giống như thợ sửa máy vừa nghĩ toán bộc lộ ra giấy trước khi nói kết luận cho khách, đồng thời dùng một bộ công cụ tối giản để xử lý cả hình ảnh và tiếng động mà không cần nhiều thiết bị chuyên dụng.

III. Main Results:​

  • Gemma 4 31B vượt trội hoàn toàn Gemma 3 27B trên hầu hết benchmark, ví dụ MMLU Pro 85.2 so với 67.6, AIME 2026 89.2 so với 20.8, LiveCodeBench v6 80.0 so với 29.1.
  • E2B (2.3B hiệu dụng) xấp xỉ Gemma 3 27B dù chỉ bằng 1/10 tham số, đồng thời đạt hiệu quả dài hạn và đa phương thức tốt hơn.
  • Trên Arena Text, Gemma 4 31B là mô hình dense mã nguồn mở hàng đầu với Elo 1451±8, cạnh tranh với các mô hình MoE lớn hơn nhiều lần như Kimi K2.6 hay DeepSeek V4 Pro.
  • Gemma 4 26B-A4B (3.8B tham số kích hoạt) đạt Elo 1438±8, sánh ngang các mô hình có hàng trăm tỷ tham số tổng.
  • Trên benchmark thị giác MMMU Pro, mô hình 31B đạt 76.9, 12B đạt 69.1, E4B đạt 52.6, đều vượt hoặc ngang Gemma 3 27B (49.7).
  • Audio: giảm 78% kích thước encoder trên đĩa (từ 390MB xuống 87MB) trong khi dịch máy tăng 10-12% và nhận dạng giọng nói tăng 12-17% so với Gemma 3n.
  • Long-context: RULER 128k đạt 96.4 (31B), LOFT Text Retrieval 128k đạt 79.5, MTOB dịch nửa cuốn sách đạt 52.9 chrF, vượt xa Gemma 3 27B.

IV. Conclusion & Future Works:​

Gemma 4 thể hiện bước nhảy vọt trong dòng mô hình mã nguồn mở đa phương thức nhờ kết hợp thinking mode, kiến trúc không bộ mã hóa, tối ưu long-context và các kỹ thuật lượng tử hóa/tăng tốc suy luận. Các mô hình này cung cấp nền tảng có khả năng mở rộng cho cả triển khai biên và nhiệm vụ suy luận phức tạp. Hướng tương lai có thể bao gồm mở rộng kiến trúc encoder-free cho các kích thước khác, cải thiện chiến lược thinking mode để cân bằng chi phí suy luận và chất lượng, và tinh chỉnh các biện pháp an toàn cho môi trường ứng dụng đa phương thức.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng kiến trúc encoder-free cho các mô hình đa phương thức cỡ lớn, kiểm chứng xem việc loại bỏ bộ mã hóa riêng có thể duy trì hoặc vượt hiệu suất trên video và âm thanh dài hay không.
  2. Phân tích động lực học của thinking mode trong mô hình nhỏ: làm thế nào độ dài reasoning trace ảnh hưởng đến chất lượng, độ trễ và mức tiêu thụ năng lượng trên thiết bị biên.
  3. Tối ưu hóa speculative decoding với multi-token prediction drafter trong môi trường đa phương thức, đặc biệt khi dự đoán đồng thời cả token văn bản và token đặc trưng âm thanh/hình ảnh.

2. Patent:​

  1. Trợ lý ảo đa phương thức chạy cục bộ trên điện thoại: mô hình Gemma 4 được lượng tử hóa nhỏ gọn, nhận đầu vào giọng nói và ảnh chụp từ camera điện thoại để trả lời câu hỏi, đọc tài liệu hoặc dịch thuật mà không cần kết nối đám mây.
  2. Hệ thống ghi chú cuộc họp thông minh trên laptop: dùng mô hình 12B không encoder để xử lý đồng thời âm thanh thu từ micro và slide trình chiếu, tự động tóm tắt nội dung, trích xuất hành động và tạo timeline theo ngữ cảnh dài.
  3. Thiết bị hỗ trợ người khiếm thị cầm tay: kết hợp camera và microphone tích hợp, mô hình nhỏ phân tích cảnh vật và âm thanh môi trường, mô tả bằng giọng nói đồng thời trả lời các câu hỏi của người dùng về văn bản hoặc đối tượng xung quanh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.02770
ArXiv Abstracthttps://arxiv.org/abs/2607.02770
PDF Downloadhttps://arxiv.org/pdf/2607.02770.pdf
Github RepositoryN/A

6. Vision as Unified Multimodal Generation (40 votes)​

Tác giả: Xiaoyang Han, Jianhua Li, Kewang Deng, Zukai Chen, Xuanke Shi, et al.

Xuất bản lúc: 2026-07-07

Tag: Unified Multimodal Generation, Computer Vision, Multimodal Foundation Models, Dense Geometric Prediction, Segmentation, 3D Reconstruction

I. Main Problem:​

Các hệ thống thị giác máy truyền thống thường được thiết kế riêng cho từng tác vụ—như phát hiện đối tượng, phân vùng, đo độ sâu, ước lượng tư thế camera—với kiến trúc, đầu ra, hàm mất mát và giao thức đánh giá riêng biệt. Điều này khiến kiến thức giám sát khó chia sẻ, mở rộng và kết hợp xuyên tác vụ. Các hướng tiếp cận trước đây chỉ hợp nhất ở một mặt: dòng sequence-format gặp khó khăn với đầu ra dạng dày đặc, dòng mô hình đại diện thị giác thiếu không gian đầu ra thống nhất và khả năng điều khiển bằng ngôn ngữ, còn mô hình sinh ảnh hoặc MLLM vẫn cần các đầu giải mã chuyên biệt cho từng loại đầu ra. Như vậy, vẫn thiếu một khung duy nhất để biểu diễn cả thông tin ký hiệu (text) và thông tin không gian dày đặc (image) trong cùng một mô hình.

II. Main Idea:​

SenseNova-Vision định khung toàn bộ thị giác máy như một bài toán sinh đa phương thức thống nhất (unified multimodal generation) trong một Unified Multimodal Model (UMM). Cụ thể, hướng dẫn ngôn ngữ tự nhiên mô tả tác vụ, vùng quan tâm và quy ước đầu ra; mô hình sau đó sinh kết quả dưới dạng text cho các bản ghi ký hiệu (nhãn, bounding box, OCR, keypoint, tham số camera), dưới dạng ảnh cho các mục tiêu không gian dày đặc (mask, depth map, normal map, point map), hoặc dạng hỗn hợp text-ảnh cho các tác vụ tổ hợp. Để huấn luyện quy mô lớn, tác giả chuyển đổi các annotation thị giác không đồng nhất thành các cặp instruction-response trong không gian sinh nguyên bản của UMM, tạo thành SenseNova-Vision Corpus, rồi fine-tune từ một UMM có sẵn (Bagel) mà không cần thêm đầu dự đoán chuyên biệt hay thay đổi kiến trúc. Ví dụ đời thường: giống như một nhân viên nghe yêu cầu của khách bằng lời nói, rồi tùy câu hỏi mà viết danh sách, hoặc vẽ sơ đồ, hoặc làm cả hai, thay vì chuyển khách qua nhiều quầy chuyên biệt.

III. Main Results:​

  • Trên nhóm structured visual understanding, SenseNova-Vision đạt 56.6% trên COCO-Common, ~80% trên RefCOCOg, 54.8% trên LVIS, 66.8% trên Dense200, 43.3% trên VisDrone, 62.9% trên HierText OCR, 49.5% trên GUI grounding và 34.6% trên COCO keypoint, cạnh tranh hoặc vượt nhiều baseline chuyên biệt.
  • Trên dense geometric prediction, mô hình đạt abs rel/δ1 là 4.0/98.1 trên NYUv2 depth, 5.9/95.9 trên KITTI, 3.9/98.0 trên ScanNet, 12.8/68.9 trên ScanNet normal, 14.4/62.7 trên NYUv2 normal, vượt qua các phương pháp sinh ảnh gần đây và tiệm cận mô hình hình học chuyên sâu.
  • Trên segmentation, mô hình đạt 48.8/64.0 PQ/mIoU cho panoptic/semantic segmentation, 81.3/76.0/80.3 trên RefCOCO, 63.2/60.7 trên reasoning segmentation, 65.7/66.2 trên GCG segmentation, 60.9/73.9 trên interactive segmentation, cạnh tranh với các hệ thống segmentation chuyên biệt.
  • Trên multi-view visual geometry, mô hình đạt ~87.9 F1 score cho 3D reconstruction và 59.2 AUC@30 cho camera pose estimation, gần bằng VGGT—mô hình chuyên gia hàng đầu.
  • Mô hình còn có khả năng theo các biến thể tác vụ được định nghĩa bằng ngôn ngữ mà không có trong tập huấn luyện, kết hợp các đặc trưng như màu sắc, thể loại và vùng không gian.

IV. Conclusion & Future Works:​

SenseNova-Vision chứng minh rằng thị giác máy có thể trở thành một khả năng sinh nguyên bản của các mô hình nền tảng đa phương thức thống nhất, thay vì một tập hợp các hệ thống chuyên biệt tách rời. Cách tiếp cận này mở ra hướng perception có thể lập trình, mở rộng và quy mô hóa. Hướng nghiên cứu tương lai có thể bao gồm: mở rộng sang nhiều tác vụ thị giác và ngôn ngữ hơn, nâng cao độ phân giải cho các đầu ra dày đặc, xử lý ngữ cảnh dài hơn cho chuỗi nhiều khung hình, cải thiện chất lượng dữ liệu tự động và tích hợp sâu hơn giữa lý luận ngôn ngữ với sinh không gian.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng unified multimodal generation cho các tác vụ video động, trong đó mô hình sinh cả text, ảnh và chuỗi khung hình tương lai từ hướng dẫn ngôn ngữ.
  2. Kết hợp unified vision generation với world model để robot hoặc tác nhân tự động có thể nhận diện, đo lường và dự đoán hình học cảnh trong cùng một giao diện sinh.
  3. Nghiên cứu cách tự động chuyển đổi các bộ dữ liệu thị giác mới nhất thành instruction-response đa phương thức, giảm chi phí tạo corpus cho unified vision model.

2. Patent:​

  1. Ứng dụng camera điện thoại thông minh đa năng: người dùng mở camera, gõ "đo khoảng cách đến cái ghế màu đỏ và đọc chữ trên nhãn chai", ứng dụng dùng một mô hình duy nhất để sinh text khoảng cách, OCR và ảnh depth map từ một khung hình.
  2. Trợ lý AR trên điện thoại cho người khiếm thị: người dùng hỏi "những vật gì trên bàn", mô hình vừa trả lời bằng giọng nói (text) vừa tạo mask phân vùng các vật thể để hệ thống rung hoặc âm thanh chỉ định hướng.
  3. Ứng dụng quét sản phẩm 3D trên điện thoại: người dùng chụp vài ảnh quanh một vật từ các góc khác nhau, mô hình sinh point map 3D và ước lượng tư thế camera, hỗ trợ xem thử sản phẩm trong AR hoặc đo kích thước thực.
  4. Hệ thống kiểm tra chất lượng công nghiệp bằng camera di động: kỹ thuật viên chỉ cần chụp ảnh thiết bị và hỏi "có vết nứt không, độ sâu bề mặt ra sao", mô hình sinh segmentation vết lỗi và depth map trong cùng một lần truy vấn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.06560
ArXiv Abstracthttps://arxiv.org/abs/2607.06560
PDF Downloadhttps://arxiv.org/pdf/2607.06560.pdf
Github Repositoryhttps://github.com/OpenSenseNova/SenseNova-Vision

7. DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation (28 votes)​

Tác giả: Xin Cheng, Xingkai Yu, Chenze Shao, Jiashi Li, Yunfan Xiong, et al.

Xuất bản lúc: 2026-07-06

Tag: Speculative Decoding, Semi-Autoregressive Generation, Large Language Models, Inference Acceleration, Confidence Scheduling, Load-Aware Scheduling, Parallel Drafter

I. Main Problem:​

Khi sinh văn bản, các mô hình ngôn ngữ lớn tạo từng token tuần tự, khiến độ trễ tỉ lệ với độ dài đầu ra. Speculative decoding giải quyết bằng cách dùng một mô hình nháp nhỏ đề xuất khối token và mô hình đích xác minh cả khối trong một lượt truyền. Drafter tự hồi quy sinh chất lượng cao nhưng chậm khi khối dài; drafter song song thì nhanh nhưng mỗi vị trí dự đoán độc lập, không mô hình hóa quan hệ giữa các token trong khối, dẫn đến xác suất chấp nhận giảm nhanh ở các vị trí sau. Hơn nữa, xác minh toàn bộ khối dài một cách bất chấp tải hệ thống làm lãng phí dung lượng batch của mô hình đích, đặc biệt khi phục vụ nhiều người dùng đồng thời, làm giảm thông lượng tổng thể.

II. Main Idea:​

DSpark kết hợp hai cơ chế: (1) semi-autoregressive generation, trong đó một backbone song song tạo toàn bộ khối nháp nhanh chóng, rồi một đầu tuần tự nhẹ (Markov hoặc RNN) điều chỉnh phân phối dựa trên các token đã sinh trước đó trong khối, cải thiện tính liên tục ở hậu tố mà không tăng đáng kể độ trễ nháp; (2) confidence-scheduled verification, trong đó một confidence head ước lượng xác suất sống sót của từng prefix nháp, và một hardware-aware prefix scheduler tính toán độ dài xác minh tối ưu cho từng request theo thời gian thực dựa trên profile thông lượng của engine, để chỉ đầu tư xác minh vào những token mang lại lợi ích kỳ vọng cao nhất. Ví dụ đời thường: giống như nhân viên phục vụ nhà hàng nhanh chóng ghi toàn bộ món khách gọi, sau đó một đầu bếp nhẹ kiểm tra từng món kế tiếp có hợp với món trước không, và quản lý chỉ chuyển những món chắc ăn vào bếp trưởng xác nhận khi nhà bếp đông, bỏ qua các món dễ bị trả lại để tránh tắc nghẽn.

III. Main Results:​

  • Trên offline benchmark với Qwen3-4B, 8B, 14B, DSpark vượt autoregressive Eagle3 về accepted length trung bình lần lượt +30.9%, +26.7%, +30.0%, và vượt song song DFlash +16.3%, +18.4%, +18.3% trên các lĩnh vực toán, code và chat hàng ngày.
  • Đánh giá trên mô hình Gemma4-12B cũng cho thấy lợi ích tương tự về chất lượng nháp.
  • Khi triển khai trong hệ thống phục vụ DeepSeek-V4 với lưu lượng thực, DSpark tăng tốc độ sinh của mỗi người dùng 60%-85% trên V4-Flash và 57%-78% trên V4-Pro so với baseline MTP-1 ở cùng thông lượng tổng thể.
  • DSpark giảm thiểu việc lãng phí xác minh dưới các SLA nghiêm ngặt (ví dụ 120 TPS cho Flash, 50 TPS cho Pro), duy trì thông lượng ổn định và mở rộng vùng làm việc của hệ thống, dịch chuyển Pareto frontier của serving.

IV. Conclusion & Future Works:​

DSpark thể hiện rằng để tận dụng triệt để các khối nháp dài, cần đồng thời nâng cao chất lượng nháp qua liên kết cục bộ bán tự hồi quy và tối ưu chi phí xác minh theo tải hệ thống. Công việc tương lai bao gồm: xử lý profile thông lượng engine không trơn mịn trong scheduler, mở rộng cho các kiến trúc phục vụ bất đồng bộ và prefill-decode disaggregation, và thử nghiệm các đầu tuần tự bắc cầu dài hơn để cải thiện accepted length trên các khối rất dài.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Confidence scheduling cho speculative decoding trong hệ thống serving phân tán với prefill-decode disaggregation, xử lý biến động chiều dài context và tải không đồng nhất.
  2. Các kiến trúc semi-autoregressive mạnh hơn với phụ thuộc bậc cao hơn hoặc attention cục bộ để cải thiện chất lượng nháp ở các khối dài mà vẫn giữ độ trễ thấp.
  3. Huấn luyện end-to-end kết hợp drafter và scheduler bằng reinforcement learning để tối đa hóa thông lượng serving thay vì tối ưu các thành phần riêng lẻ.
  4. Kỹ thuật hiệu chuẩn xác suất chấp nhận động cho speculative decoding dưới các nhiệt độ lấy mẫu và phân phối dữ liệu thay đổi.

2. Patent:​

  1. Bàn phím thông minh trên điện thoại: một mô hình nhẹ trong máy dự đoán nhanh vài từ tiếp theo, một lớp tuần tự nhỏ điều chỉnh từ kế tiếp dựa trên từ vừa chọn, và một bộ đo độ tin cậy quyết định gửi bao nhiêu từ lên máy chủ để xác minh dựa trên độ tắc nghẽn mạng và tải máy chủ, giảm độ trễ và tiết kiệm pin.
  2. Trợ lý thoại thời gian thực trên điện thoại: thiết bị nháp sẵn đoạn văn đã nhận diện, tự kiểm tra mạch lạc giữa các từ, rồi chỉ gửi những đoạn tin cậy cao lên máy chủ xác nhận khi mạng đông, giúp trả lời nhanh hơn.
  3. Ứng dụng dịch hội thoại trực tiếp: điện thoại nháp trước các cụm từ dịch tiếp theo, kiểm tra sự liên tục giữa các cụm, và chỉ gửi các cụm chắc ăn lên máy chủ khi kết nối chậm hoặc nhiều người dùng đồng thời, cân bằng giữa tốc độ và độ chính xác.
  4. Hệ thống chatbot hỗ trợ khách hàng: máy chủ nháp nhiều phản hồi ứng viên, sau đó một bộ lập lịch tự động quyết định xác minh bao nhiêu token cho mỗi phiên trò chuyện dựa trên độ dài hàng đợi hiện tại, duy trì thông lượng cao mà không vi phạm cam kết thời gian phản hồi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.05147
ArXiv Abstracthttps://arxiv.org/abs/2607.05147
PDF Downloadhttps://arxiv.org/pdf/2607.05147.pdf
Github RepositoryN/A

8. LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL (25 votes)​

Tác giả: Yujin Kim, Namgyu Ho, Sangmin Hwang, Joonkee Kim, Yongjin Yang, et al.

Xuất bản lúc: 2026-07-05

Tag: RL, LLM, Rubric-based Reward, Instruction Following, Curriculum Learning, Non-verifiable RL

I. Main Problem:​

Trong học tăng cường cho tác vụ tuân thủ chỉ dẫn không thể kiểm chứng (non-verifiable RL), tín hiệu thưởng phụ thuộc vào mô hình ngôn ngữ lớn đóng vai trò chấm điểm theo rubric từng prompt. Tuy nhiên, nếu prompt quá dễ hoặc quá khó so với chính sách hiện tại, mọi câu trả lời sinh ra đều có chất lượng tương đương, khiến bộ chấm điểm không phân biệt được và tín hiệu học sụp đổ. Các phương pháp trước chỉ thích ứng rubric trong khi giữ nguyên corpus prompt cố định, bỏ qua sự không khớp giữa khả năng chính sách và độ khó của prompt.

II. Main Idea:​

LLM-as-a-Tutor mở rộng vai trò của mô hình ngôn ngữ lớn từ chấm điểm sang dạy kèm: cùng một mô hình vừa đóng vai examiner để so sánh cặp câu trả lời từ chính sách và phát hiện prompt không gây thách thức, vừa đóng vai generator để bổ sung ràng buộc nguyên tử (atomic constraint) vào prompt và tiêu chí tương ứng vào rubric. Thiết kế chỉ thêm (append-only) giữ nguyên prompt gốc và rubric cơ sở, đồng thời làm tăng độ khó một cách đơn điệu theo khả năng đang phát triển của chính sách. Ví dụ đời thường: giống như giáo viên kèm riêng quan sát bài làm của học trò, thấy tất cả bài đều đúng hoặc đều sai thì thêm một yêu cầu nhỏ vào đề bài để phân biệt được trình độ, thay vì đổi đề mới hoàn toàn.

III. Main Results:​

  • LLM-as-a-Tutor đạt điểm trung bình cao nhất trên FollowBench, AdvancedIF và InfoBench với chính sách Qwen3-1.7B và mô hình dạy kèm Qwen3-8B.
  • Vượt cả nhóm baseline không thay đổi prompt (Base rubrics, WildChecklists, policy-adaptive rubrics) và nhóm thay đổi prompt (Evol-Instruct, EVA) trên 5/6 metric.
  • Prompt adaptation vượt trội hơn rubric adaptation, cho thấy khi prompt không tạo ra phân tán chất lượng trong câu trả lời thì dù rubric có tinh chỉnh cũng không phục hồi được tín hiệu phân biệt.
  • Ablation: adaptive targeting (dựa trên câu trả lời của chính sách) vượt Always, Random, và Wrong (dùng câu trả lời của mô hình 8B).
  • Ablation: chiến lược thêm ràng buộc (append) vượt Reset và Rewrite.

IV. Conclusion & Future Works:​

LLM-as-a-Tutor khắc phục sự không khớp giữa chính sách và prompt trong non-verifiable RL bằng cách tái sử dụng mô hình chấm điểm để điều chỉnh prompt huấn luyện, tạo lộ trình học tự hiệu chỉnh theo khả năng chính sách mà không cần lịch độ khó bên ngoài. Phương pháp này mở ra một chiều mới của policy-awareness trong non-verifiable RL, bổ sung cho rubric adaptation. Hướng tương lai: mở rộng framework cho các lĩnh vực khác có khái niệm độ khó có thể thêm dần như bước suy luận, trường hợp biên, hoặc yêu cầu nguồn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng LLM-as-a-Tutor cho đào tạo agent đa bước trong môi trường mở, tự động thêm yêu cầu trung gian khi agent đã thành thạo bước hiện tại.
  2. Kết hợp pairwise examination với active learning để tutor tự chọn prompt nào cần tăng độ khó và mức độ ràng buộc tối ưu.
  3. Mở rộng framework cho code generation, tự động thêm edge cases hoặc yêu cầu hiệu suất vào đề bài khi chính sách đã giải được các test cơ bản.

2. Patent:​

  1. Hệ thống luyện tập chatbot theo khả năng người dùng: điện thoại hoặc ứng dụng tự động so sánh hai câu trả lời của mô hình, nếu chất lượng đồng đều thì thêm yêu cầu chi tiết vào câu hỏi để ép mô hình phân biệt cấp độ.
  2. Trợ lý ảo trong doanh nghiệp tự điều chỉnh độ khó công việc: khi nhân viên trí tuệ nhân tạo hoàn thành quá dễ dàng các mẫu email hoặc báo cáo, hệ thống tự thêm ràng buộc như trích dẫn chính sách cụ thể, định dạng nhất định để nâng trình độ.
  3. Ứng dụng học ngôn ngữ cá nhân hóa: ứng dụng trên điện thoại phân tích câu trả lời của người học, nếu tất cả đều đúng hoặc đều sai thì tự động thêm từ vựng hoặc ngữ cảnh phức tạp hơn vào bài tập.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.04412
ArXiv Abstracthttps://arxiv.org/abs/2607.04412
PDF Downloadhttps://arxiv.org/pdf/2607.04412.pdf
Github RepositoryN/A

9. SkillOpt-Lite: Better and Faster Agent Self-evolution via One Line of Vibe (24 votes)​

Tác giả: Yifei Shen, Bo Li, Xinjie Zhang

Xuất bản lúc: 2026-07-03

Tag: Skill Optimization, Zeroth-Order Optimization, LLM Agents, Agent Self-Evolution, PAC Learning, VS Code Copilot, Harness Optimization

I. Main Problem:​

Các phương pháp tối ưu hóa kỹ năng (skill) cho tác nhân tự trị ngày càng phức tạp—hợp nhất mini-batch, lịch trình tốc độ học dạng văn bản, bộ đệm chỉnh sửa bị từ chối, cập nhật chậm qua nhiều epoch—mà chưa ai trả lời rõ: đường ống tối thiểu nào thực sự cần thiết về mặt lý thuyết hoặc thực nghiệm? Sự dư thừa này làm chậm hội tụ, tăng chi phí tính toán và làm mờ tín hiệu cập nhật trong không gian văn bản rời rạc.

II. Main Idea:​

Bài báo định khung tối ưu hóa kỹ năng như Zeroth-Order Optimization (ZO) nhưng chỉ ra điểm khác biệt cốt lõi: trong khi ZO cổ điển dùng nhiễu số mù, các rollout của tác nhân tạo ra chuỗi thực thi dễ đọc và giàu ngữ nghĩa, nên việc tối ưu kỹ năng thực chất là biên dịch chương trình viết bằng ngôn ngữ tự nhiên, dùng trace làm phản hồi gỡ lỗi. Từ lý thuyết PAC, tác giả rút ra ba nguyên tắc: (1) khám phá dựa trên file-system, (2) khai thác thuộc tính đồng thuận giữa nhiều chuỗi thực thi để giảm overfit, (3) cổng xác thực độc lập trên tập validation tách biệt hoàn toàn với train. SkillOpt-Lite loại bỏ các module phức tạp, thay vào đó lưu mỗi trajectory thành một file phẳng, để mô hình tối ưu dùng công cụ shell/list/read để tự động khám phá, tìm mẫu lỗi chung, sửa tối thiểu và xác thực trên tập riêng. Ví dụ đời thường: giống như thợ sửa máy không đọc cả quyển sổ hướng dẫn, mà mở ngăn kéo báo cáo lỗi, xem nhiều lần máy hỏng giống nhau để nhận ra nguyên nhân chung, rồi vặn vài con ốc chỗ đúng và chạy thử máy khác trước khi đóng nắp.

III. Main Results:​

  • LiveMath: SkillOpt-Lite tăng +27.6 điểm với GPT-4o và +37.0 điểm với GPT-5.5 so với kỹ năng ban đầu; tăng +8.8 điểm trên GPT-5.5 và +25.4 điểm trên GPT-5.4-nano so với SkillOpt gốc.
  • Spreadsheet: trung bình tăng +12.6 điểm so với SkillOpt (69.7 vs 57.1); GPT-5.4-nano đạt 66.2 so với 51.6 của SkillOpt.
  • ALFWorld: GPT-5.4-nano đạt 81.3%, vượt SkillOpt +9.5 điểm.
  • Hội tụ nhanh hơn đáng kể: SkillOpt-Lite đạt điểm validation cao trong 2–3 bước đầu tiên, trong khi SkillOpt bị kìm hãm bởi phân vùng mini-batch và cơ chế cập nhật chậm.
  • HarnessOpt: khi nới rộng từ kỹ năng sang toàn bộ harness, GPT-5.4-nano đạt 0.7758 trên SpreadsheetBench, vượt cả GPT-5.5 chạy pipeline chuẩn (0.7620).

IV. Conclusion & Future Works:​

SkillOpt-Lite cho thấy đường ống tối thiểu—tất cả artifact tác nhân đều là code có thể sửa, khai thác trực tiếp trên hệ thống file—vượt trội hơn các pipeline tối ưu hóa nặng ký. Việc tận dụng trace thực thi như log gỡ lỗi thay vì dùng nhiễu số mù giúp hội tụ nhanh và tổng quát hóa tốt. Hướng tương lai: mở rộng HarnessOpt cho các thành phần harness khác như bộ nhớ, công cụ và giao thức gọi hàm; nghiên cứu lý thuyết sâu hơn về ổn định thuật toán trong không gian văn bản; và phát triển các chiến lược tự khám phá trajectory thông minh hơn thay vì duyệt file thủ công.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích lý thuyết stability và sample complexity cho tối ưu hóa kỹ năng dạng văn bản, trong đó gradient ước lượng được thay bằng phản hồi trace ngữ nghĩa.
  2. Mở rộng HarnessOpt để tự động hiệu chỉnh toàn bộ scaffolding của tác nhân—bộ nhớ, công cụ, prompt system—dựa trên một đường ống tối thiểu duy nhất.
  3. Kết hợp khai thác đồng thuận với active learning: mô hình tối ưu tự chọn trajectories cần đọc tiếp theo để giảm nhanh nhất độ lệch tổng quát hóa.

2. Patent:​

  1. Plugin trình soạn thảo code cho điện thoại và máy tính: người dùng gõ một dòng lệnh (slash command) trong IDE, hệ thống tự động đọc log chạy tác nhân từ thư mục, tìm lỗi lặp lại, đề xuất sửa file kỹ năng và chạy kiểm thử nhanh trên máy chủ nội bộ.
  2. Hệ thống tự điều chỉnh trợ lý ảo doanh nghiệp: khi tác nhân xử lý tài liệu hoặc bảng tính gặp lỗi, phần mềm trên điện thoại/ghi nhận các trace thất bại, đẩy về máy chủ để khai thác mẫu chung và cập nhật kỹ năng mà không cần can thiệp kỹ sư.
  3. Module tối ưu harness tự động cho trợ lý lập trình: không chỉ sửa prompt hoặc kỹ năng, mà còn điều chỉnh cách tác nhân gọi công cụ (tool calling), lưu trữ bộ nhớ và phân bổ ngữ cảnh, dựa trên việc phân tích file log từ nhiều phiên chạy thực tế.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.03451
ArXiv Abstracthttps://arxiv.org/abs/2607.03451
PDF Downloadhttps://arxiv.org/pdf/2607.03451.pdf
Github Repositoryhttps://github.com/EvolvingLMMs-Lab/SkillOpt-Lite

10. Light-Omni: Reflex over Reasoning in Agentic Video Understanding with Long-Term Memory (20 votes)​

Tác giả: Chang Nie, Jiaju Wei, Junlan Feng, Chaoyou Fu, Caifeng Shan

Xuất bản lúc: 2026-07-06

Tag: Agentic Video Understanding, Long-Term Memory, Multimodal Agents, Retrieval-Augmented Generation, Efficient Inference, Omni-Modal Models

I. Main Problem:​

Các tác nhân video hiện đại xử lý luồng đa phương thức dài hạn thường dựa vào lý luận đa lượt kiểu thám tử: viết lại truy vấn, tạo điều kiện tìm kiếm, gọi công cụ lặp đi lặp lại để tập hợp bằng chứng. Cách này vừa chậm, vừa tốn tài nguyên, lại chỉ bù đắp cho hai vấn đề gốc rễ—thiếu ngữ cảnh toàn cục về quá khứ và khoảng cách ngữ nghĩa giữa truy vấn người dùng và cách biểu diễn trong bộ nhớ.

II. Main Idea:​

Light-Omni thay lý luận đa bước bằng phản xạ một lượt truyền qua mạng, nhờ hai trạng thái ngữ cảnh kết hợp. Trạng thái toàn cục là một kịch bản đa phương thức nhỏ gọn, được hợp nhất phân cấp theo thời gian trong giai đoạn 'ngủ', giữ chi tiết gần đây và tóm tắt xa xưa. Trạng thái tiềm ẩn được sinh từ trạng thái toàn cục bằng các soft prompt học được, điều khiển hành động tức thì và tạo embedding truy xuất có sắp hàng ngữ nghĩa với bộ nhớ, tránh cần viết lại truy vấn hay lý luận lặp. Ví dụ đời thường: giống như người lái xe quen đường không cần mở bản đồ tra từng góc—họ chỉ liếc nhìn cảnh quen là biết rẽ hay dừng, vì bộ nhớ dài hạn đã ngầm căn chỉnh nhận thức với tình huống.

III. Main Results:​

  • Trên VideoMME-long và LVBench, Light-Omni đạt 58.0% độ chính xác trung bình, vượt Qwen2.5-Omni-7B gốc 9.5%, nhanh hơn 20.5 lần và tiết kiệm 3.3 lần bộ nhớ GPU.
  • So với M3-Agent, Light-Omni cao hơn 2.4% độ chính xác, nhanh hơn 12.1 lần và tiết kiệm 2.6 lần bộ nhớ GPU.
  • Khi ghép vào các MLLM hiện có như Qwen2.5-VL-7B, Qwen3-VL-8B và Gemini-2.0-Flash, hệ thống tăng lần lượt 4.9%, 2.5%, 3.8% độ chính xác, đồng thời tăng tốc suy luận và giảm bộ nhớ.
  • Dưới nhiễu âm thanh, Light-Omni chỉ sụt 1.3% độ chính xác, trong khi RAG và RAG-Rewrite sụt 5.1% và 3.7%.
  • Độ trễ phản hồi gần như không đổi, trung bình 2.37 giây và dưới 6 giây ngay cả với video dài hai giờ.

IV. Conclusion & Future Works:​

Light-Omni cho thấy tác nhân video có thể chuyển từ lý luận đắt đỏ sang phản xạ nhẹ nhàng mà vẫn giữ chính xác, bằng cách duy trì ngữ cảnh toàn cục và sắp hàng ngữ nghĩa trong không gian tiềm ẩn. Hướng tương lai: mở rộng hành động sang sử dụng công cụ phức tạp hơn, tối ưu chiến lược hợp nhất bộ nhớ cho các luồng thời gian thực siêu dài, và tích hợp sâu hơn với các mô hình đa phương thức thương mại.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Thiết kế bộ nhớ đa phương thức theo phong cách kể chuyện cho tác nhân video thời gian thực, kết hợp hồ sơ người dùng, bộ nhớ ngữ nghĩa dạng key-value và bộ nhớ chuỗi sự kiện có dấu thời gian.
  2. Học embedding truy xuất liên tục trực tiếp từ trạng thái ẩn của mô hình sinh, thay vì dựa vào viết lại truy vấn hoặc sinh từ khóa.
  3. Tối ưu độ trễ gần hằng số cho hệ thống video dài hạn bằng cách tách biệt hợp nhất bộ nhớ chậm và phản xạ nhanh trong một kiến trúc hai trạng thái.

2. Patent:​

  1. Trợ lý video cá nhân trên điện thoại: ứng dụng ghi lại liên tục camera, micrô và màn hình, tự động tóm tắt quá khứ vào bộ nhớ nhỏ gọn, để người dùng hỏi 'lúc nãy tôi để kính ở đâu' và nhận câu trả lời tức thì mà không cần gửi toàn bộ video lên đám mây.
  2. Hệ thống họp trực tuyến thông minh: tổng hợp nội dung cuộc họp dài thành kịch bản đa phương thứa phân cấp, cho phép người dùng hỏi về quyết định, tìm đoạn trao đổi hoặc nhắc nhở hành động tiếp theo với độ trễ thấp.
  3. Trợ lý giám sát an ninh gia đình: camera thông minh ghi nhận sự kiện dài hạn, khi chủ nhà hỏi 'chiều qua ai đến nhà' hệ thống truy xuất chính xác đoạn video liên quan ngay trong một lượt xử lý, không cần lý luận đa lượt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.05511
ArXiv Abstracthttps://arxiv.org/abs/2607.05511
PDF Downloadhttps://arxiv.org/pdf/2607.05511.pdf
Github Repositoryhttps://github.com/Clare-Nie/Light-Omni

11. Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning (18 votes)​

Tác giả: Wenzheng Zeng, Siyi Jiao, Chen Gao, Hwee Tou Ng, Mike Zheng Shou

Xuất bản lúc: 2026-07-03

Tag: Dense Video Captioning, Parallel Decoding, Autoregressive Models, Video-Language Models, Omni-Modal Learning, Audio-Visual Understanding

I. Main Problem:​

Các mô hình ngôn ngữ lớn video tự hồi quy (Video-LLMs) đang thống trị tác vụ dense video captioning, nhưng việc sinh chú thích từng token một tạo ra độ trễ lớn. Khi video dài hơn và sự kiện dày đặc hơn, số bước giải mã tăng nhanh, làm giảm hiệu quả suy luận và khả năng mở rộng, đồng thời gây khó khăn cho các ứng dụng thời gian thực.

II. Main Idea:​

PadCaptioner tái cấu trúc đồ thị phụ thuộc nhân quả bằng cách khai thác mối liên hệ yếu giữa các sự kiện tạm thời khác nhau trong video. Mô hình trước tiên tự hồi quy sinh ra các token sự kiện toàn cục ẩn (latent global planning) để nắm bắt cấu trúc sự kiện và tổng hợp ngữ nghĩa audio-visual; sau đó, các chú thích cho từng sự kiện được giải mã song song theo nhánh (event-factorized parallel decoding), trong khi các token bên trong cùng một sự kiện vẫn giữ thứ tự để duy trì mạch lạc cục bộ. Ví dụ đời thường: giống như một thư ký trước tiên lướt qua bản ghi cuộc họp dài để xác định từng mục chương trình riêng biệt, rồi đồng thời đọc cho nhiều người đánh máy ghi chép từng mục, trong khi mỗi người đánh máy vẫn viết câu của mình từ đầu đến cuối theo trình tự.

III. Main Results:​

  • Trên LongVALE: vượt SOTA trước đó +6.7% F1 cho event grounding và +6.1% Sim cho event captioning.
  • Đạt tốc độ giải mã thực tế nhanh hơn 3.8 lần và 3.1 lần trên mỗi token so với phương pháp trước.
  • Dùng Video-SALMONN 2+ (3B) làm mô hình nền, nhẹ hơn nhiều phương pháp 7B-scale khác.
  • Thể hiện khả năng tổng quát hóa tốt trên các tác vụ video omni-modal khác như temporal grounding và segment-level captioning.

IV. Conclusion & Future Works:​

PadCaptioner cho thấy việc tái cấu trúc phụ thuộc nhân quả dựa trên cấu trúc sự kiện học được có thể tăng tốc giải mã tự hồi quy song song mà không làm mất chất lượng. Hướng tương lai: mở rộng cho video dài hơn, xây dựng quy hoạch phân cấp cho sự kiện lồng nhau, và áp dụng cơ chế giải mã phân tích sự kiện cho các tác vụ sinh đa phương thức dài khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng giải mã tự hồi quy song song theo cấu trúc sự kiện cho các tác vụ sinh đa phương thức dài khác như hiểu tài liệu dài hoặc trả lời câu hỏi video.
  2. Quy hoạch ẩn phân cấp để xử lý sự kiện lồng nhau và sự kiện con trong dense video captioning, cho phép mô hình nắm bắt cấu trúc thời gian phức tạp hơn.
  3. Áp dụng cơ chế giải mã phân tích sự kiện cho video trực tuyến (streaming), trong đó mô hình song song xử lý nhiều sự kiện đang diễn ra mà không cần chờ toàn bộ video.

2. Patent:​

  1. Ứng dụng điện thoại tóm tắt video tự động: người dùng tải video dài, ứng dụng dùng mô hình PadCaptioner để song song sinh các chú thích có mốc thời gian, giúp tìm kiếm nội dung nhanh trong thư viện video.
  2. Trợ lý tiếp cận nội dung video cho người khiếm thính/khiếm thị: thiết bị di động xử lý song song cả hình ảnh và âm thanh để tạo mô tả chi tiết, có đánh dấu thời điểm cho từng sự kiện trong video.
  3. Hệ thống giám sát thông minh trên camera: phát hiện đồng thời nhiều sự kiện trong luồng video và sinh mô tả có mốc thời gian theo thời gian thực, hỗ trợ tìm kiếm sự kiện trong kho lưu trữ giám sát.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.02963
ArXiv Abstracthttps://arxiv.org/abs/2607.02963
PDF Downloadhttps://arxiv.org/pdf/2607.02963.pdf
Github Repositoryhttps://github.com/showlab/PadCaptioner

12. TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training (16 votes)​

Tác giả: Yuhang Zhou, Kai Zheng, Haoling Li, Dengyun Peng, Can Xu, et al.

Xuất bản lúc: 2026-07-07

Tag: On-Policy Distillation, Long-Horizon Agents, Knowledge Distillation, Language Agents, Reverse-KL, Efficient Training

I. Main Problem:​

On-Policy Distillation (OPD) là cách huấn luyện tác nhân ngôn ngữ hứa hẹn, nhưng khi áp dụng cho tác vụ nhiều bước (long-horizon) thì bị hai lỗ hổng nghiêm trọng. Thứ nhất, các rollout cố định đến tận chặng cuối lãng phí thời gian tính toán vào những bước sâu có tín hiệu KL yếu và nhiễu. Thứ hai, mục tiêu KL ở cấp toàn bộ trajectory tập trung phần lớn loss vào các token nông (shallow tokens), khiến các quyết định ở bước sâu bị huấn luyện không đầy đủ sau khi mô hình đã học được các hành vi ban đầu.

II. Main Idea:​

TurnOPD đề xuất chiến lược ngân sách theo lượt (turn-level budgeting) gồm hai bộ điều khiển: (1) adaptive rollout-depth budgeting — dùng thống kê từ các rollout thăm dò để động điều chỉnh độ dài rollout, cắt bỏ đuôi ít tín hiệu nhưng vẫn giữ ngưỡng bao phủ thành công; (2) progressive turn-normalized loss budgeting — trộn tuyến tính giữa chuẩn hóa cấp token và chuẩn hóa cấp lượt, dần chuyển trọng số KL từ các bước nông sang các bước sâu khi huấn luyện tiến triển. Ví dụ đời thường: giống như huấn luyện viên xem lại băng thi đấu với cầu thủ — không bắt cầu thủ xem trọn 90 phút mỗi lần, mà chỉ chiếu đoạn phim nhiều bài học nhất, rồi khi cầu thủ đã thuần thục kỹ năng cơ bản, huấn luyện viên dần dành thời gian nhiều hơn cho các tình huống cuối trận quyết định thay vì ôn đi ôn lại phút đầu tiên.

III. Main Results:​

  • Trên ALFWorld-1.7B, TurnOPD nâng Same-Step Avg@4 từ 83.0 lên 86.3 và giảm thời gian huấn luyện 100 bước từ 4.42 giờ xuống 1.93 giờ.
  • Trên WebShop, cả độ chính xác và thời gian tường (từ 1.57 giờ xuống 1.24 giờ) đều cải thiện.
  • Trên Multi-Hop Search và các tác vụ khác, TurnOPD đạt hiệu quả tốt nhất ở tiêu chí Least-Time accuracy, nhanh hơn vanilla OPD tới 2.29 lần với chất lượng tương đương hoặc tốt hơn.
  • Ablations cho thấy adaptive rollout-depth là đòn bẩy chính về hiệu suất thời gian, còn linear KL blending cải thiện chất lượng bằng cách phân bổ lại supervision về các bước sâu.

IV. Conclusion & Future Works:​

TurnOPD chứng minh rằng đơn vị giám sát hữu ích trong tác nhân nhiều bước không phải là token phẳng lặc, mà là quyết định có điều kiện theo lượt trong một chuỗi tương tác đang tiến hóa. Bằng cách đồng thời điều chỉnh độ sâu rollout và cách phân bổ loss, phương pháp đẩy ra được accuracy–time frontier vượt trội so với OPD chuẩn. Hướng mở rộng: thử nghiệm trên các benchmark thực tế hơn như WebArena, OSWorld, AndroidWorld, hoặc kết hợp với các kỹ thuật curriculum học và step-level reweighting khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng nguyên lý turn-aware budgeting cho các tác nhân đồ họa/web thực tế, trong đó độ sâu rollout tối ưu thay đổi theo giao diện và độ phức tạp của trang.
  2. Kết hợp TurnOPD với curriculum học độ dài trajectory (TCOD) để vừa chọn độ sâu rollout vừa sắp xếp thứ tự độ khó tác vụ.
  3. Áp dụng cơ chế contamination-compression để phân tích các tín hiệu supervision khác ngoài KL, chẳng hạn value-based reward hoặc outcome reward, trong huấn luyện tác nhân đa bước.

2. Patent:​

  1. Hệ thống tối ưu huấn luyện trợ lý ảo trên điện thoại: thay vì chạy toàn bộ cuộc hội thoại đa bước để tính loss, backend tự động cắt ngắn rollout ở điểm tín hiệu KL còn hữu ích, giảm tiêu thụ GPU trên đám mây và pin thiết bị.
  2. Module quản lý ngân sách học cho chatbot đa lượt: điện thoại hoặc máy chủ edge định kỳ thăm dò rollout đầy đủ, sau đó điều chỉnh độ sâu và trọng số loss theo từng lượt, giúp cá nhân hóa mô hình địa phương mà không cần đồng bộ toàn bộ dữ liệu lên cloud.
  3. Công cụ huấn luyện tác nhân tự động hóa trình duyệt di động: xác định độ dài tương tác tối ưu dựa trên thống kê từng bước, tập trung tính toán vào các thao tác điều hướng quan trọng thay vì lặp lại các thao tác cuộn/chờ cuối trang.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.05804
ArXiv Abstracthttps://arxiv.org/abs/2607.05804
PDF Downloadhttps://arxiv.org/pdf/2607.05804.pdf
Github RepositoryN/A

13. From Foundation to Application: Improving VLA Models in Practice (15 votes)​

Tác giả: Wei Wu, Fangjing Wang, Fan Lu, He Sun, Shi Liu, et al.

Xuất bản lúc: 2026-07-07

Tag: Vision-Language-Action, Robotics, Mixture-of-Experts, World Modeling, Cross-Embodiment Learning, Robot Manipulation

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) hiện tại đạt kết quả tốt trong phòng thí nghiệm nhưng vẫn kém thực tiễn khi triển khai ngoài đời thực. Ba rào cản chính là: khả năng khái quát hóa qua nhiều hình thái robot và nguồn dữ liệu khác nhau còn hạn chế; không gian hành động thường chỉ giới hạn ở hai tay mà bỏ qua đầu, eo, bệ di động và bàn tay khéo léo; và mô hình chủ yếu phản ứng với quan sát hiện tại thay vì dự đoán diễn biến tương lai của cảnh vật.

II. Main Idea:​

LingBot-VLA 2.0 nâng cấp VLA từ nền tảng lên ứng dụng thực tế bằng ba trục cải tiến phối hợp: (1) thu thập và lọc khoảng 60.000 giờ dữ liệu pretraining gồm 50.000 giờ quỹ đạo robot trên 20 hình thái và 10.000 giờ video egocentric của người; (2) mở rộng không gian hành động từ hai tay sang toàn thân, bao gồm đầu, eo, bệ di động và bàn tay khéo léo, thống nhất trong vector hành động 55 chiều; (3) đưa vào mô hình động lực học dự đoán (predictive dynamics modeling) qua bài toán proxy là dự đoán tương lai, với giáo viên LingBot-Depth cung cấp thông tin hình học và DINO-Video cung cấp biểu diễn thời gian-ngữ nghĩa. Ví dụ đời thường: giống như một đầu bếp không chỉ tập nấu trong một bếp duy nhất, mà còn luyện tập ở nhiều loại bếp khác nhau, học cách dùng cả thân người để di chuyển và với lấy đồ, đồng thời tưởng tượng trước các bước tiếp theo trước khi thực hiện.

III. Main Results:​

  • Mô hình MoE với cùng số lượng tham số hoạt động (active parameters) tương đương kiến trúc Dense đạt loss huấn luyện thấp hơn và lỗi hành động validation thấp hơn, chứng tỏ sparse activation phân bổ capacity hiệu quả hơn.
  • Đánh giá trên chín tác vụ của bộ benchmark GM-100 trong thiết lập generalist xác nhận các cải tiến đều cải thiện khả năng thực tế.
  • LingBot-VLA-2.0 thể hiện khả năng điều khiển di động và thao tác dài hạn (long-horizon mobile manipulation) xuyên hình thái tốt trên hai nền tảng robot khác nhau, nhờ dữ liệu pretraining bao phủ toàn bộ các bậc tự do của cơ thể.
  • DINO-Video đạt kết quả tốt nhất trên ba trong bốn benchmark của LARYBench, cho thấy hiệu quả là giáo viên thời gian cho VLA.

IV. Conclusion & Future Works:​

LingBot-VLA 2.0 chứng minh rằng để VLA thực sự dùng được ngoài đời, cần kết hợp đồng thời việc mở rộng và làm sạch dữ liệu đa hình thái, mở rộng không gian hành động toàn thân, và bổ sung khả năng suy luận động lực học dự đoán. Hướng tương lai: thu thập thêm dữ liệu robot và egocentric đa dạng hơn, cải thiện chất lượng annotation tự động, mở rộng hỗ trợ các hình thái robot mới, và nâng cao độ chính xác của mô hình dự đoán tương lai trong môi trường động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tích hợp mô hình động lực học dự đoán (predictive dynamics) trực tiếp vào giải mã hành động của VLA, cho phép robot lập kế hoạch đa bước trong môi trường thay đổi nhanh.
  2. Phát triển các chiến lược cân bằng tải (load balancing) cho MoE trong VLA pretraining mà không dùng auxiliary loss, để bảo toàn mục tiêu học hành động chính.
  3. Xây dựng bộ benchmark đánh giá VLA trên các tác vụ di động và thao tác toàn thân dài hạn, phản ánh đúng yêu cầu triển khai thực tế.

2. Patent:​

  1. Trợ lý robot gia đình điều khiển toàn thân qua ứng dụng điện thoại: robot có đầu, eo, bệ di động và bàn tay khéo léo nhận lệnh ngôn ngữ từ điện thoại, dự đoán vị trí vật thể di động để nhặt, lau dọn và sắp xếp nhà cửa.
  2. Hệ thống đào tạo robot công nghiệp từ video egocentric: người vận hành đeo camera ghi lại thao tác, hệ thống tự động tái tạo quỹ đạo tay và chuyển đổi sang nhiều loại cánh tay robot khác nhau mà không cần lập trình tay.
  3. Module dự đoán hình học và chuyển động cho robot kho bãi: dùng camera trên điện thoại hoặc robot để ước lượng độ sâu và dự đoán chuyển động của hàng hóa, giúp robot di chuyển và gắp hàng chính xác hơn trong môi trường đông người.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.06403
ArXiv Abstracthttps://arxiv.org/abs/2607.06403
PDF Downloadhttps://arxiv.org/pdf/2607.06403.pdf
Github Repositoryhttps://github.com/robbyant/lingbot-vla-v2

14. JD Oxygen AI Item Center (Oxygen AIIC) V1: An Industrial-Scale LLM/VLM-Centric Solution for Item Understanding, Management, and Applications (14 votes)​

Tác giả: Oxygen AIIC, Chan Long, Chao Liu, Chaofan Chen, Chaohui Dong, et al.

Xuất bản lúc: 2026-06-29

Tag: LLMs, VLMs, E-commerce, Ontology Engineering, Knowledge Graph, RAG, Industrial AI, Information Extraction, Multi-Modal Understanding

I. Main Problem:​

JD.com quản lý hàng chục tỷ SKU cho hơn 700 triệu người dùng và hàng triệu merchant, nhưng hệ thống thông tin sản phẩm truyền thống gặp ba nút thắt công nghiệp: khái niệm mới xuất hiện liên tục (ví dụ "màu Morandi", "softshell jacket") khiến ontology không kịp mở rộng; sản xuất tri thức có cấu trúc chất lượng cao cho quy mô khổng lồ quá tốn kém và chậm; và các kịch bản hạ nguồn (tìm kiếm, gợi ý, vận hành, lập kế hoạch danh mục) có yêu cầu định dạng và độ tươi mới dữ liệu rất khác nhau. Các phương pháp NLP truyền thống như BERT bị giới hạn bởi khả năng khái quát hóa kém và phụ thuộc vào gán nhãn thủ công tốn kém, không đủ sức đáp ứng quy mô này.

II. Main Idea:​

Oxygen AIIC xây dựng một nền tảng sản xuất và cung cấp tri thức sản phẩm quy mô công nghiệp dựa trên LLMs/VLMs với bốn trụ cột: (i) kỹ thuật ontology theo phương pháp hợp tác con người–AI, cho phép mở rộng động cơ hàng triệu mục từ dữ liệu đa nguồn; (ii) kiến trúc "Semantic Search then Discrimination" (S2D) tách rời ontology khỏi tham số mô hình, giúp hệ thống mở rộng liên tục và giảm ảo giác; (iii) mô hình LLM/VLM tự tiến hóa thông qua học tăng cường ổn định và có kiểm soát; và (iv) một item tunnel thống nhất phục vụ đa cấp độ tươi mới dữ liệu (theo giây, phút, ngày) cho nhiều kịch bản kinh doanh. Ví dụ đời thường: giống như một thủ thư trong siêu thị khổng lồ không cần nhớ từng sản phẩm mới bằng lòng, mà trước tiên tìm nhanh mặt hàng tương tự trên kệ (semantic search), rồi phân biệt chính xác đặc điểm của nó (discrimination), gán nhãn đúng vào hệ thống, và từ phản hồi của khách hàng tự học cách phân loại ngày càng chuẩn hơn.

III. Main Results:​

  • Đạt 94.2% precision và 82.8% recall trong sản xuất tri thức sản phẩm.
  • Tăng hơn 10× hiệu quả thông lượng khi chạy trên Huawei Ascend NPUs.
  • Xử lý hàng trăm triệu cập nhật sản phẩm mỗi ngày, tích lũy hàng trăm tỷ tài sản tri thức sản phẩm.
  • Tăng độ phong phú thông tin sản phẩm lên 3.35× so với hệ thống trước.
  • Phủ 80.4% lưu lượng tìm kiếm, giảm 37% các vấn đề chất lượng thông tin sản phẩm.
  • Tỷ lệ tự động điền thuộc tính cốt lõi khi merchant đăng sản phẩm vượt 80%.
  • Tối ưu hóa hình ảnh quảng cáo sản phẩm làm tăng click-through rate khoảng 9%.
  • Rút ngắn chu kỳ quyết định lập kế hoạch danh mục từ nhiều tuần xuống còn vài ngày.

IV. Conclusion & Future Works:​

Oxygen AIIC cho thấy cách triển khai LLMs/VLMs ở quy mô công nghiệp để xây dựng hạ tầng tri thức sản phẩm, giải quyết đồng thời vấn đề ontology động, sản xuất tri thức hàng loạt và đa dạng nhu cầu hạ nguồn. Hướng phát triển tiếp theo có thể bao gồm: cải thiện khả năng tự tiến hóa của mô hình để xử lý các khái niệm nổi lên nhanh hơn, mở rộng hiểu biết đa phương thức (hình ảnh, video, mô tả) cho các ngành hàng phức tạp, và tinh chỉnh item tunnel để hỗ trợ thêm kịch bản thời gian thực với độ trễ thấp hơn nữa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kiến trúc "Semantic Search then Discrimination" tách ontology khỏi tham số mô hình, cho phép cập nhật khái niệm mới mà không cần huấn luyện lại mô hình lớn.
  2. Phương pháp tự tiến hóa LLM/VLM có kiểm soát qua học tăng cường để liên tục nâng cao chất lượng trích xuất tri thức sản phẩm mà tránh quên kiến thức cũ.
  3. Thiết kế unified item tunnel đa cấp độ tươi mới cho hệ thống tri thức quy mô lớn, cân bằng giữa độ trễ, thông lượng và tính nhất quán dữ liệu.

2. Patent:​

  1. Ứng dụng di động hỗ trợ merchant đăng sản phẩm: người bán chụp ảnh sản phẩm bằng điện thoại, mô hình VLM tự động nhận diện thuộc tính (màu sắc, kích cỡ, chất liệu) và điền vào biểu mẫu đăng bán, giảm thao tác thủ công.
  2. Hệ thống kiểm tra tuân thủ sản phẩm trên smartphone: chụp ảnh nhãn mác và bao bì, mô hình đa phương thức so sánh với ontology và quy định của nền tảng để cảnh báo vi phạm ngay trước khi đăng bán.
  3. Công cụ quản lý tồn kho bằng camera điện thoại: nhân viên kho quét kệ hàng, ứng dụng nhận diện SKU và tình trạng tồn kho thông qua AI Item Library, đồng bộ cập nhật theo thời gian thực về hệ thống trung tâm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.28070
ArXiv Abstracthttps://arxiv.org/abs/2606.28070
PDF Downloadhttps://arxiv.org/pdf/2606.28070.pdf
Github RepositoryN/A

15. MentalThink: Shaping Thoughts in Mental SVG World (11 votes)​

Tác giả: Kangheng Lin, Jisheng Yin, Dingming Li, En Yu, Yana Wei, et al.

Xuất bản lúc: 2026-07-03

Tag: Multimodal LLMs, SVG, Chain-of-Thought, Spatial Reasoning, Reinforcement Learning, Visual Reasoning

I. Main Problem:​

Các phương pháp suy luận đa phương thức hiện tại gặp sự đánh đổi cơ bản: suy luận bằng ngôn ngữ (Chain-of-Thought) linh hoạt nhưng thiếu căn cứ không gian, dễ sinh ảo giác hình học; còn các phương pháp dùng hộp bao 2D/3D hoặc công cụ bên ngoài lại làm giảm chi tiết hình ảnh phong phú, hoặc phụ thuộc vào module hộp đen, làm mất tính liền mạch và khả năng tổng quát của suy luận ngôn ngữ.

II. Main Idea:​

MENTALTHINK dạy MLLM "nghĩ bằng SVG" — tạo mã Scalable Vector Graphics làm biểu diễn trung gian trong quá trình suy luận nhiều lượt, sau đó render SVG thành ảnh để kiểm chứng định tính. Quy trình gồm hai giai đoạn: Supervised Fine-Tuning để mô hình học sinh cú pháp SVG và biểu diễn suy luận bằng vector, rồi Reinforcement Learning nhiều lượt (GRPO) để khuyến khích kiểm tra, sửa đổi và tinh chỉnh các giả thuyết hình ảnh trung gian. Ví dụ đời thường: giống như một kiến trúc sư không chỉ nói mà còn phác thảo bản vẽ kỹ thuật, xoay ngược, sửa lại nét vẽ để xác minh khoảng cách và góc nhìn trước khi kết luận.

III. Main Results:​

  • Trên MindCube, MENTALTHINK đạt 76.0%, vượt xa backbone Qwen2.5-VL-7B (36.0%) với cải thiện +40.0 điểm.
  • Trên VSIBench đạt 55.1% (+24.1% so với backbone), ViewSpatial đạt 62.5% (+25.7%).
  • Ablation cho thấy SVG-Reasoning data tăng trung bình +13.4% trên VSIBench; dữ liệu nhận thức không gian tổng quát giúp Room Size tăng từ 31.9 lên 58.4; RL tiếp tục đẩy Relative Direction từ 47.1 lên 51.4 và Appearance Order lên 66.7.
  • So với Think-with-Text (42.5% MindCube, 24.5% VSIBench) và Think-with-BBox (41.1%, 17.4%), Think-with-SVG đạt 57.8% và 39.4%.
  • Mô hình tự động điều chỉnh độ sâu suy luận: tác vụ nhận thức trực quan trung bình 1.19 lượt và 18.5% gọi SVG, còn tác vụ lập luận tổng hợp cần 1.64 lượt và 63.7% gọi SVG.

IV. Conclusion & Future Works:​

SVG là biểu diễn trung gian có cấu trúc, có thể thực thi và kiểm chứng, giúp MLLM neo suy luận vào cấu trúc hình học chính xác thay vì chỉ mô tả bằng ngôn ngữ. Hướng tương lai cần phát triển chiến lược tổng hợp dữ liệu SVG chất lượng cao hơn và kích hoạt khả năng này một cách tự phát, vì dữ liệu think-with-SVG tự nhiên còn khan hiếm.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng think-with-SVG cho suy luận thời gian và động lực học trong video, cho phép mô hình dựng lại và dự đoán quỹ đạo vật thể qua các khung hình.
  2. Kết hợp SVG với mô hình 3D hoặc NeRF để tạo biểu diễn tinh thần có độ sâu, hỗ trợ suy luận không gian ba chiều phức tạp hơn.
  3. Xây dựng cơ chế tự kiểm chứng (self-verification) tự động phát hiện lỗi render SVG và gợi ý sửa chữa, nâng cao độ tin cậy của suy luận hình ảnh.

2. Patent:​

  1. Trợ lý ảnh trên điện thoại di động phân tích bố cục nội thất: người dùng chụp ảnh phòng, ứng dụng tự vẽ SVG phác thảo vị trí đồ vật và trả lời câu hỏi góc nhìn như "gương ở bên trái hay bên phải nếu ngồi trên sofa quay về ghế".
  2. Hệ thống hướng dẫn lắp ráp tương tác: thiết bị AR tạo bản vẽ SVG theo thời gian thực để minh họa vị trí linh kiện, người dùng có thể hỏi từ góc nhìn của chính mình và hệ thống tự điều chỉnh hướng nhìn.
  3. Công cụ giáo dục hình học cho học sinh: nhập bài toán không gian bằng ngôn ngữ, hệ thống tự sinh SVG minh họa, cho phép xoay, thay đổi góc nhìn và kiểm chứng đáp án hình học.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.03530
ArXiv Abstracthttps://arxiv.org/abs/2607.03530
PDF Downloadhttps://arxiv.org/pdf/2607.03530.pdf
Github RepositoryN/A

16. Flex-Forcing: Towards a Unified Autoregressive and Bidirectional Video Diffusion Model (11 votes)​

Tác giả: Xinyin Ma, Julius Berner, Chao Liu, Arash Vahdat, Weili Nie, et al.

Xuất bản lúc: 2026-07-03

Tag: Video Generation, Diffusion Models, Autoregressive Models, Bidirectional Diffusion, KV Cache

I. Main Problem:​

Các phương pháp sinh video hiện tại bị giới hạn bởi hai kiến trúc suy diễn cứng nhắc. Mô hình diffusion hai chiều (bidirectional) có tính nhất quán toàn cục và độ trung thực hình ảnh cao, nhưng chi phí suy diễn lớn, chậm và khó mở rộng cho video dài. Ngược lại, mô hình autoregressive sinh khung hình tuần tự, có thể dùng KV cache để suy diễn nhanh và hỗ trợ video dài theo luồng, nhưng thiếu ngữ cảnh toàn cục nên dễ tích lũy lỗi (exposure bias), làm sai lệch đối tượng, chuyển động và cấu trúc cảnh qua thời gian. Chưa có cơ chế nào kết hợp cả hai ưu điểm trong một mô hình thống nhất.

II. Main Idea:​

Flex-Forcing huấn luyện một mô hình diffusion video duy nhất có thể hoạt động linh hoạt ở cả hai chế độ: hai chiều, autoregressive, hoặc lai giữa hai kiểu. Cốt lõi là cơ chế flexible chunking được định nghĩa trên hai trục: trục khung hình thời gian và trục bước khử nhiễu. Trong mỗi chunk, các khung hình được sinh theo kiểu hai chiều để giữ tính nhất quán cục bộ; giữa các chunk, mô hình sinh tự động hồi quy dựa trên KV cache để đảm bảo hiệu quả. Hơn nữa, kích thước chunk thay đổi theo mức nhiễu: giai đoạn nhiễu cao dùng chunk lớn để lập kế hoạch cấu trúc toàn cục, giai đoạn nhiễu thấp dùng chunk nhỏ để tinh chỉnh chi tiết. Vì cùng một token có thể attend đến cả ngữ cảnh causal (đã khử nhiễu nhiều) và non-causal (còn nhiễu), tác giả thêm K-Projection — một lớp chiếu nhẹ phụ thuộc bước thời gian — để căn chỉnh mức nhiễu giữa các key-value trước khi tính attention. Ví dụ đời thường: giống như đầu bếp trước tiên lập thực đơn tổng thể (hai chiều), sau đó nấu từng món một theo thứ tự (autoregressive), và điều chỉnh độ chi tiết của kế hoạch tùy theo giai đoạn chuẩn bị.

III. Main Results:​

  • Trên video 5 giây, Flex-Forcing (cấu hình 15-3-3) đạt 85.07 điểm VBench tổng với 25.8 FPS, vượt Self-Forcing chunk-wise (84.31) cùng tốc độ.
  • Cấu hình nhanh nhất (7-7-7) đạt 48.9 FPS với 3 bước khử nhiễu, vẫn giữ 83.92 điểm tổng, cho thấy hiệu quả cao hơn đáng kể so với các baseline.
  • So với các mô hình distillation few-step (DMD-v, rCM, T2V-Turbo-v2), Flex-Forcing 4 bước đạt 85.13 điểm tổng, cao nhất nhóm.
  • Trên video 30 giây, Flex-Forcing đạt 84.01 điểm tổng với 24.96 FPS, vượt Self-Forcing và Infinity-RoPE ở hầu hết chỉ số, đặc biệt là dynamic degree (+21.01 so với Infinity-RoPE).
  • Thí nghiệm người dùng cho thấy người xem thích Flex-Forcing hơn Self-Forcing ở cả chất lượng hình ảnh và độ sát với mô tả, đặc biệt rõ trên video 5 giây và 30 giây.
  • Ablation xác nhận K-Projection cải thiện ổn định, đặc biệt khi tiến gần chế độ hai chiều toàn phần.

IV. Conclusion & Future Works:​

Flex-Forcing định khung lại sinh video hai chiều và autoregressive không như hai phe đối lập, mà như một chiều suy diễn có thể điều chỉnh liên tục theo nhu cầu. Mô hình cho phép cân bằng chất lượng và tốc độ tại thời điểm suy diễn, hỗ trợ sinh video dài ổn định và chỉnh sửa video theo thứ tự tùy ý. Hướng phát triển tiếp theo bao gồm giảm thiểu khoảng cách huấn luyện-suy diễn còn sót lại trong video rất dài, cải thiện khả năng chuyển giao cho các mô hình thiếu prior hai chiều mạnh trong pre-training, và tự động hóa việc tìm cấu hình chunk tối ưu thay vì tìm kiếm thủ công.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng flexible chunking sang các miền sinh khác như âm thanh dài hoặc cảnh 3D năng động, trong đó một mô hình diffusion duy nhất có thể chuyển đổi giữa chế độ lập kế hoạch toàn cục và sinh luồng tuần tự.
  2. Kết hợp Flex-Forcing với học tăng cường từ phản hồi người dùng (RLHF) để tối ưu hóa cấu hình chunk nhằm tối đa hóa cả chất lượng thẩm mỹ lẫn độ sát với mô tả văn bản.
  3. Phát triển thuật toán tìm kiếm cấu hình chunk tự động và thích ứng theo nội dung video, độ dài video, và ngân sách tính toán của thiết bị.

2. Patent:​

  1. Ứng dụng chỉnh sửa video trên điện thoại: người dùng chọn đoạn video bất kỳ để sửa lại (thay đổi phong cách, thêm đối tượng, sửa hành động) mà không cần tạo lại toàn bộ video, nhờ khả năng any-order, any-timestep editing của Flex-Forcing.
  2. Hệ thống sinh video theo luồng trên thiết bị di động: tự động điều chỉnh kích thước chunk dựa trên nhiệt độ máy, mức pin và độ phân giải yêu cầu, để cân bằng giữa tốc độ sinh real-time và chất lượng hình ảnh.
  3. Dịch vụ sinh video trên đám mây với chế độ linh hoạt: người dùng chọn profile suy diễn (chất lượng cao, cân bằng, hoặc nhanh), hệ thống tự động chọn cấu hình chunk phù hợp để tối ưu chi phí GPU và thời gian chờ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.03509
ArXiv Abstracthttps://arxiv.org/abs/2607.03509
PDF Downloadhttps://arxiv.org/pdf/2607.03509.pdf
Github RepositoryN/A

17. PointDiT: Pixel-Space Diffusion for Monocular Geometry Estimation (11 votes)​

Tác giả: Haofei Xu, Rundi Wu, Philipp Henzler, Nikolai Kalischek, Michael Oechsle, et al.

Xuất bản lúc: 2026-07-02

Tag: Monocular Geometry Estimation, Point Map, Diffusion Transformer, Pixel-Space Diffusion, Flow Matching, DINOv3, x-prediction, 3D Reconstruction

I. Main Problem:​

Các phương pháp tái tạo 3D từ một ảnh hiện tại thường rơi vào hai cực đoan: mô hình hồi quy xác định dùng kiến trúc lai phức tạp và hàm mất mát nhiều chi tiết, dễ làm mượt quá mức cấu trúc hình học; còn mô hình latent diffusion phải nén bản đồ điểm 3D qua VAE, gây mất chi tiết biên và bị giới hạn bởi mâu thuẫn giữa tái tạo VAE và khả năng sinh của diffusion. Cần một cách tiếp cận đơn giản hơn, giữ được chi tiết và xử lý được vùng mơ hồ.

II. Main Idea:​

PointDiT là một Diffusion Transformer tối giản trong không gian pixel: một Vision Transformer thuần túy được huấn luyện từ đầu trực tiếp trên các patch của bản đồ điểm 3D thô, có điều kiện là token ảnh từ DINOv3 đã tiền huấn luyện. Thay vì nén dữ liệu qua VAE, mô hình dùng flow matching để học đường cong từ nhiễu Gauss đến phân phối bản đồ điểm, và áp dụng mục tiêu x-prediction (dự đoán bản đồ sạch) thay vì v-prediction. Điều này cho phép mô hình sinh hình học sắc nét và ổn định hơn. Ví dụ đời thường: giống như một họa sĩ vẽ trực tiếp trên tấm canvas lớn dựa trên bức ảnh tham khảo rõ nét, thay vì trước tiên phải nén ảnh thành thumbnail mờ rồi cố gắng vẽ lại từ đó.

III. Main Results:​

  • Trên bảy tập đánh giá thế giới thực ở độ phân giải 512×512, PointDiT-H đạt độ chính xác depth tốt nhất (Rel_d và δ_d) và độ sắc biên BF1 cao nhất (10.50 so với 9.41 của baseline tốt nhất).
  • PointDiT vượt trội về sắc biên so với GeometryCrafter (latent diffusion) và MoGe-2 (hồi quy xác định), đặc biệt trên vật thể mỏng, trong suốt và duy trì tỷ lệ không gian toàn cục chính xác hơn.
  • Một bước lấy mẫu đã đạt kết quả cạnh tranh với chi phí suy luận thấp (72 ms cho PointDiT-H so với 1.178 ms của GeometryCrafter); thêm bước lấy mẫu cải thiện dần chi tiết biên mà không làm giảm độ chính xác tổng thể.
  • Ablations cho thấy x-prediction là yếu tố then chốt (v-prediction thất bại hoàn toàn), lịch trình nhiễu với xác suất 10% đặt t=0 giúp giảm sai lệch huấn luyện/kiểm tra, đặc trưng DINOv3 từ 4 tầng trung gian cải thiện BF1, và kích thước patch 16 tốt hơn patch 32 ở độ phân giải cao.
  • So sánh kiểm soát với hồi quy xác định cùng kiến trúc cho thấy mô hình sinh học ổn định hơn, không overfit sớm, và BF1 tăng từ 10.90 lên 13.92.

IV. Conclusion & Future Works:​

PointDiT chứng minh rằng diffusion trong không gian pixel có thể mô hình hóa hình học dày đặc 3D hiệu quả mà không cần VAE hay mạng lai phức tạp, đồng thời hỗ trợ cả suy luận một bước và nhiều bước. Hướng phát triển tương lai bao gồm huấn luyện đa độ phân giải, mở rộng dữ liệu ngoài trời, mở rộng sang sinh đa dạng thức (ví dụ RGB), tích hợp điều kiện từ nhiều góc nhìn và tham số camera, cũng như áp dụng khung này cho các biểu diễn 3D/4D khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng pixel-space Diffusion Transformer cho các biểu diễn hình học dày đặc khác như normal map, semantic scene completion, hoặc tái tạp vật thể từ một ảnh với điều kiện camera.
  2. Kết hợp PointDiT với mô hình đa góc nhìn để tinh chỉnh hình học toàn cục bằng cách lấy mẫu diffusion có điều kiện từ nhiều ảnh đầu vào.
  3. Nghiên cứu chiến lược lấy mẫu xác định từ nhiễu zero hoặc nhiễu thấp, khai thác khả năng suy luận gần như một bước của PointDiT để xây dựng bộ ước lượng hình học siêu nhanh.

2. Patent:​

  1. Ứng dụng trên điện thoại đo kích thước vật thể từ một ảnh: người dùng chụp ảnh đồ vật, ứng dụng sinh bản đồ điểm 3D trực tiếp trong không gian camera để đo chiều dài, chiều rộng, chiều cao mà không cần hiệu chuẩn camera.
  2. Hệ thống hỗ trợ người khiếm thị qua camera điện thoại: từ một khung hình, mô hình tạo bản đồ điểm 3D môi trường xung quanh, phát hiện vật trong suốt hoặc chướng ngại vật và cảnh báo bằng âm thanh hoặc rung.
  3. Công cụ thiết kế nội thất thực tế ảo tăng cường (AR): chụp một ảnh căn phòng, ứng dụng tái tạo hình học 3D chính xác để đặt thử nội thất ảo, kiểm tra kích thước và khoảng cách trước khi mua sắm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.02515
ArXiv Abstracthttps://arxiv.org/abs/2607.02515
PDF Downloadhttps://arxiv.org/pdf/2607.02515.pdf
Github RepositoryN/A