🤗 Daily Hugging Face Paper Digest - 2026-11-02
Báo cáo được tạo tự động vào lúc 2026-11-03 10:25:05 bằng mô hình hermes-agent.
📰 Summary of Papers
1. FrameForge: Harnessing Priors of Video Foundation Models for Unified Image Generation (112 votes)
Tác giả: Yijing Lin, Zhendong Mao, Mengqi Huang, Yuxin Wang, Yongdong Zhang
Xuất bản lúc: 2026-10-27
Tag: Diffusion Models, Video Foundation Models, Image Generation, Image Editing, Mixture of Experts, LoRA, Flow Matching
I. Main Problem:
Sinh ảnh điều kiện thống nhất (một mô hình xử lý nhiều tác vụ: giữ nguyên chủ thể, biến ảnh phác thảo thành ảnh, chỉnh sửa ảnh theo hướng dẫn) còn khó vì:
- Các phương pháp dựa trên mô hình ảnh tiêm điều kiện như tín hiệu phụ trợ mà không mô hình hóa điều kiện và ảnh đích khác nhau bao xa hay cần biến đổi thế nào.
- Các phương pháp tận dụng mô hình video gán điều kiện và đích vào vị trí thời gian cố định — nhưng thực tế từng tác vụ (và từng mẫu) đòi hỏi mức biến đổi rất khác nhau: chỉnh sửa ảnh thay đổi ít, sinh theo chủ thể/edge thay đổi nhiều. Một offset cố định không thể phục vụ tất cả.
II. Main Idea:
FrameForge diễn giải mối quan hệ điều kiện–đích như một khoảng thời gian ảo (virtual temporal interval) trong mô hình video đã huấn luyện trước (HunyuanVideo 1.5), vì video tự nhiên cũng có mức biến đổi hình ảnh tăng theo khoảng thời gian giữa các frame. Khung kiến trúc gồm hai module bổ sung nhau:
- Mixture of Temporal Experts (MoTE): xây nhiều RoPE chuyên gia với khoảng thời gian ảo khác nhau (ví dụ span 17/69/121 frame); một router nhẹ chọn Top-1 chuyên gian theo từng mẫu dựa trên text + điều kiện + ảnh nhiễu, quyết định đích nằm xa điều kiện bao nhiêu. Dùng straight-through estimator để huấn luyện end-to-end, kèm loss cân bằng tải chống collapse.
- Chain of Temporal Reasoning (CoTR): chèn một latent suy luận khởi tạo từ nhiễu giữa điều kiện và đích, tạo chuỗi điều kiện → suy luận → đích. Ở giai đoạn huấn luyện giữa, attention mask bottleneck ngẫu nhiên chặn ảnh đích tiếp cận trực tiếp text/điều kiện, buộc thông tin đi qua latent suy luận — mô hình hóa cách điều kiện biến thành đích mà không cần frame trung gian có nhãn.
- Backbone video đóng băng, chỉ huấn luyện chung một LoRA duy nhất cho mọi tác vụ, qua 3 giai đoạn: học router trước → thêm latent suy luận + mask → tối ưu chung với full attention.
Ví dụ đời thường: giống thợ may chọn độ dài bước thước khác nhau tùy mảnh vải (MoTE chọn khoảng thời gian ảo phù hợp), và phải đặt một miếng mẫu giấy lót giữa hai lớp vải rồi may theo đường giấy đó thay vì may thẳng tay (CoTR buộc thông tin đi qua latent trung gian thay vì đường tắt).
III. Main Results:
- Subject-driven generation (DreamBench): điểm tổng thể 0.739, tốt nhất nhóm so sánh, vượt ChronoEdit (+1.37%), OminiControl, ACE++, EasyControl; cân bằng tốt giữa giữ nguyên chủ thể và chất lượng ảnh.
- Canny-to-image (COCO2017, 5000 ảnh): SSIM 0.447 cao nhất (cải thiện tương đối 7.2% so với hạng nhì), CLIP-T 0.323 ngang ControlNet; FID 23.47 tương đương các phương pháp video-based.
- Image editing (GEdit-Bench): G-O 6.84 ở Motion Change và 6.12 Overall — tốt nhất trong mã nguồn mở, vượt ChronoEdit (5.76/5.08); Motion Change ngang Gemini 2.5 và Seedream 4.0, tiệm cận GPT-4o.
- Một mô hình duy nhất, 182M tham số trainable (LoRA rank 32), đạt kết quả tốt trên cả ba tác vụ; ablation xác nhận hiệu quả của MoTE và CoTR.
IV. Conclusion & Future Works:
FrameForge chứng minh rằng mô hình video tiền huấn luyện có thể là nền tảng thống nhất cho sinh ảnh điều kiện, miễn là mối quan hệ thời gian ảo được thích ứng theo từng đầu vào (MoTE) và quá trình biến đổi được mô hình hóa qua latent trung gian (CoTR) thay vì gán vị trí cố định. Khác TAG-MoE (route FFN theo ngữ nghĩa tác vụ), MoTE giữ tham số xử lý chung và chỉ chọn RoPE thời gian theo mẫu. Hướng mở: mở rộng số chuyên gia thời gian, khám phá kiến trúc router tinh hơn, và thử nghiệm thêm tác vụ điều kiện hóa khác trong cùng khung một-LoRA.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng MoTE thành routing mềm nhiều chuyên gia thời gian (soft mixture thay vì Top-1) để mô hình hóa mức biến đổi điều kiện–đích liên tục thay vì rời rạc.
- Khảo sát CoTR trên các tác vụ sinh nhiều frame/many-to-many (storyboarding, biến đổi tuần tự nhiều bước) với latent suy luận dài hơn và giám sát tiềm ẩn cấp yếu tố.
- Phân tích định lượng phân phối routing của MoTE trên các tác vụ, chứng minh tương quan giữa chuyên gia được chọn và độ lệch LPIPS thực tế giữa điều kiện và đích.
2. Patent:
- Ứng dụng chỉnh sửa ảnh trên điện thoại: người dùng chụp ảnh, nhập yêu cầu bằng giọng nói ('đổi tư thế mèo thành đang ngủ'); mô hình tự chọn mức biến đổi phù hợp qua bộ chọn chuyên gia thời gian và chỉnh sửa mà không cần mô hình riêng cho từng loại yêu cầu.
- Công cụ thiết kế biến phác thảo thành ảnh sản phẩm: người dùng vẽ nét canny hoặc phác tay trên màn hình, gõ mô tả; một mô hình duy nhất sinh ảnh giữ đúng hình khối phác thảo, có thể chuyển đổi liền mạch sang chế độ ghép chủ thể hoặc chỉnh sửa chi tiết mà không tải mô hình mới.
- Hệ tạo ảnh quảng cáo đa nền tảng: giữ nguyên sản phẩm (chủ thể tham chiếu) nhưng tự động thay bối cảnh theo kênh bán hàng; router nội bộ tự điều chỉnh mức giữ nguyên/chỉnh sửa để một lần triển khai phục vụ mọi chiến dịch.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.36545 |
| ArXiv Abstract | https://arxiv.org/abs/2610.36545 |
| PDF Download | https://arxiv.org/pdf/2610.36545.pdf |
| Github Repository | https://github.com/Lyne1/FrameForge |
2. R^2Orch: Recursive Self-Improvement for Agent Orchestration via Self-Play within a Skill-Internalization Loop (90 votes)
Tác giả: Mingda Zhang, Yun Huang, Qiang Huang, Yanjin Li, Rui Qian, et al.
Xuất bản lúc: 2026-10-22
Tag: Agent Orchestration, Self-Play, Reinforcement Learning, GRPO, Self-Improvement, Skill Internalization, LLM Agents
I. Main Problem:
Các phương pháp học cách điều phối agent (orchestration) hiện tại gặp ba khó khăn:
- Curriculum thiết kế tay: tập bài tập do người thu thập sẵn, không tự thích ứng, khó mở rộng.
- Advantage collapse: các thuật toán RL nhóm (GRPO) cần chênh lệch giữa các rollout của cùng một bài; khi mọi rollout cùng đúng hoặc cùng sai, tín hiệu học biến mất.
- Tín hiệu đánh giá kém tin cậy: kỹ năng (skill) được giữ hay loại bỏ dựa trên một điểm số nhiễu (tỷ lệ thành công trộn lẫn hiệu ứng của skill với lựa chọn bài tập), khiến thư viện skill trôi dần đến mức thêm skill vào lại làm kết quả tệ hơn.
II. Main Idea:
R2Orch lồng hai vòng lặp tự cải thiện lồng nhau, nối bằng hai kênh:
- Vòng trong (self-play): Proposer tự chọn bài tập, Director (orchestrator) xây agent graph để giải; cả hai cập nhật bằng bước proximal trên nhóm rollout ngẫu nhiên chung.
- Vòng ngoài (skill withdrawal): rút dần skill khỏi scaffold khi Director đã không còn cần nó, tiến tới triển khai không skill.
Hai kênh nối hai vòng:
- Recursive Learnability (kênh xuống): thưởng cho Proposer chọn những bài mà các rollout vẫn cho kết quả khác nhau khi giấu skill đang thử nghiệm — chính là độ cong của hàm log-partition (phương sai kết quả), đạt cực đại tại tỷ lệ đúng 1/2. Đo bằng chính phần rollout ẩn skill nên không tốn rollout thêm.
- Skill Withdrawal (kênh lên): một phần ngẫu nhiên của mỗi nhóm rollout bị ẩn skill -> thành thí nghiệm có kiểm soát (randomized block); hiệu số trung bình hai phần là ước lượng không chệch hiệu ứng của skill, tích lũy thành posterior Bayesian-bootstrap để quyết định rút/nhận skill. Nhóm thất bại ở cả hai phần được chưng cất thành skill mới.
Chu trình khép kín: thất bại -> skill, skill -> tham số, rút skill -> Proposer tìm thất bại mới.
Ví dụ đời thường: giống huấn luyện học việc mới bằng cách thử giấu từng tờ ghi chú mẹo ra khỏi bàn làm việc — bài tập được chọn là bài người này làm lúc đúng lúc sai (còn đang học được), còn tờ mẹo nào giấu đi mà kết quả không đổi thì vứt hẳn, cho đến khi làm việc không cần ghi chú nào.
III. Main Results:
- Tốt nhất trên cả 12 benchmark (QA, toán, code, tác vụ tương tác) cả in-distribution lẫn out-of-distribution, và được test ở zero skills; vượt các baseline thuộc 6 nhà phương pháp (SFT, GRPO, AFlow, AgentFlow, FlowSteer, SKILL0, PATS, SESA, MetaSkill), ví dụ IID trung bình 89.79% so với 86.00% của PATS.
- Chuyển giao backbone: Director huấn luyện với Qwen3.5-9B cải thiện 6 backbone khác trên mọi benchmark mà không cần huấn luyện lại; khoảng cách IID giữa các backbone thu hẹp từ 25.7 xuống 6.4 điểm.
- Ablations xác nhận cả hai vòng lặp đều cần thiết; Recursive Learnability vượt mọi mục tiêu chọn bài khác (uniform, DAPO, GRESO, SFL, Absolute Zero, R-Zero); withdrawal bằng paired contrast vượt ngưỡng tỷ lệ thành công, ngân sách cố định và validation gap.
- Hiệu quả tính toán: ít rollout và token nhất trên mỗi nhóm rollout có hiệu lực; accuracy zero-skills vượt accuracy có skill ngay giữa quá trình huấn luyện.
- Cả 12 lần rút skill đều thỏa điều kiện Bayes với E[Δ+] ≤ 0.019.
IV. Conclusion & Future Works:
R2Orch chứng minh tự cải thiện đệ quy cho agent orchestration là khả thi: vòng trong học từ self-play trên bài tập tự chọn, vòng ngoài rút skill bằng bằng chứng từ chính các rollout đó, hội tụ về triển khai zero-skill với độ chính xác cao nhất. Hạn chế: skill khởi đầu vẫn được thiết kế tay cho từng dataset — tự động hóa việc tạo skill ban đầu cho miền mới là hướng mở.
V. Brainstorming Space:
1. Publish Papers:
- Tự động sinh skill khởi đầu từ đặc trưng miền bài toán để R2Orch có thể triển khai cho lĩnh vực mới mà không cần thiết kế tay.
- Kết hợp Recursive Learnability với cơ chế thăm dò bài tập ngoài phân phối (out-of-distribution self-play) để mở rộng biên khả năng của Director.
- Nghiên cứu lý thuyết tốc độ hội tụ của vòng lặp hai tầng dưới rút skill đồng thời nhiều kỹ năng và ảnh hưởng của kích thước nhóm rollout tới độ chắc của posterior withdrawal.
2. Patent:
- Trợ lý AI trên điện thoại tự học không cần ghi chú: ứng dụng tự ẩn từng mẹo hướng dẫn (skill) khi người dùng làm việc, chỉ giữ lại mẹo nào thật sự giúp câu trả lời đúng hơn, dần vận hành mượt mà mà không cần gợi ý dài trong ngữ cảnh.
- Hệ điều phối nhiều chatbot trong doanh nghiệp: một bộ điều phối tự chọn bài toán khó vừa sức để luyện cách phân vai giữa các agent, tự rút dần các kịch bản mẫu khi đã thành thạo, giảm chi phí prompt và token khi vận hành.
- Trình hỗ trợ lập trình tự cải thiện: mỗi lần sửa lỗi thất bại được chưng cất thành quy tắc mới; hệ thống định kỳ kiểm thử bằng cách giấu từng quy tắc để quyết định giữ hay loại, giúp bộ quy tắc không bị phình to, rác theo thời gian.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.22740 |
| ArXiv Abstract | https://arxiv.org/abs/2610.22740 |
| PDF Download | https://arxiv.org/pdf/2610.22740.pdf |
| Github Repository | N/A |
3. Does Scaling Toward AGI Depend on What System-1 Lets System-2 Execute? (55 votes)
Tác giả: Qi Wang, Yun Qu, Lizhou Cai, Heming Zou, Haoang Chi, et al.
Xuất bản lúc: 2026-10-29
Tag: AGI, Scaling Laws, System-1/System-2, Conditional Interaction, RLVR, Embodied Agents, Test-Time Compute, Efficiency
I. Main Problem:
Tiến tới AGI hiện chủ yếu dựa vào scale System-2 (mô hình lớn hơn, dữ liệu nhiều hơn, reasoning dài hơn, nhiều agent hơn), nhưng gặp hai giới hạn cơ bản:
- Dữ liệu con người đang cạn kiệt; dữ liệu tổng hợp thì không gian tổ hợp vô hạn, câu hỏi là tương tác nào đáng trả giá.
- Lợi ích biên của tương tác mù giảm dần: theo scaling law dạng lũy thừa, mỗi tương tác thêm vào mang lại ít tín hiệu học hơn — ví dụ prompt trong RLVR mà mọi rollout đều đúng/sai thì gradient bằng 0 nhưng vẫn tốn compute; các bước môi trường chỉ lặp lại thông tin đã biết.
- System-2 tự nó không thể đánh giá giá trị của một tương tác trước khi thực thi, vì việc đánh giá đó phải rẻ hơn nhiều so với thực thi.
II. Main Idea:
Conditional interaction — vòng lặp predict–gate–execute–update kết hợp đồng thiết kế (co-design) hai hệ:
- System-1: mô-đun nhẹ, nhận ứng viên tương tác (prompt, task, query, tool call) và trả về điểm tiên ích dự đoán với chi phí 𝑐_pred ≪ 𝑐_exec.
- System-2: mô hình/agent tốn kém, chỉ thực thi các ứng viên vượt ngưỡng thích ứng 𝜅_t (softmax Boltzmann với nhiệt độ nghịch 𝛽 để cân bằng khai thác/thăm dò).
- Kết quả thực thi quay lại làm supervision để hiệu chỉnh System-1 online — khác với cascade tĩnh chỉ route một lần và không nhận phản hồi.
Tiên ích 𝑢 có thể là information gain, expected improvement, value of information, hay adaptation risk — tùy ứng dụng. Thước đo cốt lõi là mật độ tương tác hữu ích 𝜌_u: tỉ lệ ứng viên có tiên ích vượt ngưỡng. Dưới sàng lọc lý tưởng, compute thực thi giảm tới hệ số 1/𝜌_u. Tác giả đề xuất dùng informative compute (compute × 𝜌_u) thay compute thuần để mô tả scaling.
Ví dụ đời thường: giống người thợ khéo tay trước khi cắt một mảnh gỗ đắt tiền sẽ dùng bút chì vạch thử một đường rất nhanh để xem có đáng cắt không — đường kẻ sai chỉ tốn vài giây, còn nhát cưa sai tốn cả tấm gỗ.
III. Main Results:
- Định lý IIE gain: hiệu suất thông tin trên chi phí (Interaction Information Efficiency) tăng theo hệ số 1/𝜌_u · (C̄/C̄_rel) khi gate hoàn hảo; với predictor lỗi, hiệu suất giảm theo false-positive rate, false-negative rate và 𝑐_pred.
- Regret của selection bị chặn bởi sai số của predictor và margin của tiên ích.
- Giới hạn greedy: khi 𝛽→∞, chính sách hội tụ về argmax trên tập được chấp nhận; xác suất chọn đúng tối ưu ≥ 1−𝛿 với 𝛽 đủ lớn.
- Phân biệt pool fraction 𝜌_u(𝜃_t) (thuộc tính của phân phối ứng viên, gate không đổi được) và executed fraction (gate hoàn hảo đưa về 1).
- Áp dụng trong thực tế: predictive prompt sampling trong RLVR loại prompt degenerate (advantage = 0), tiết kiệm rollout nhiều lần; chọn task cho embodied agent theo adaptation risk; model routing; adaptive inference.
IV. Conclusion & Future Works:
Giả thuyết trung tâm: 𝜌_u là tọa độ hiệu suất có thể đo của scaling, và nó giảm dần khi hệ thống mạnh lên — có thể lý giải một phần diminishing returns và số mũ của scaling law, nên scaling laws nên được phát biểu theo informative compute thay vì compute tổng. Co-design System-1/System-2 hứa hẹn đẩy Pareto frontier giữa cost–latency–task success: cùng mức thành công với chi phí thấp hơn, hoặc thành công cao hơn cùng ngân sách. Phạm vi áp dụng: tương tác đắt, giá trị không đều, và có thể dự đoán trước; framework không thay thế exploration khi predictor còn bất định.
V. Brainstorming Space:
1. Publish Papers:
- Thử nghiệm đo 𝜌_u thực tế trên các mô hình reasoning (RLVR) và kiểm chứng giả thuyết informative compute bằng cách fit lại scaling law với compute đã lọc theo tiên ích.
- Thuật toán cập nhật ngưỡng 𝜅_t thích ứng để đạt tỉ lệ admission mục tiêu dưới ngân sách compute thay đổi theo thời gian.
- Instantiate conditional interaction cho agent embodied thật: predictor nhẹ chọn task domain randomization theo adaptation risk, đo yield và IIE trên robot vật lý.
- Nghiên cứu khi nào gate tự làm nghèo dữ liệu học (false negative khiến learner thiếu tín hiệu) và cơ chế audit sample để cân bằng hiệu suất vs yield.
2. Patent:
- Hệ thống tiết kiệm compute cho trợ lý AI trên điện thoại: một mô hình nhẹ chạy local đánh giá từng yêu cầu, chỉ gửi lên mô hình đám mây lớn những yêu cầu thực sự cần suy luận sâu, kết quả trả về dùng để tự cải thiện bộ lọc.
- Công cụ luyện tập mô hình AI theo kiểu chọn bài tập thông minh: trước mỗi lượt huấn luyện, mô-đun dự đoán loại bỏ các câu hỏi quá dễ hoặc quá khó (không tạo tín hiệu học), giảm hóa đơn GPU đáng kể mà chất lượng mô hình không đổi.
- Robot gia đình/nhà máy có 'giác quan phân nửa': khi gặp tình huống mới, robot dùng bộ đánh giá rẻ để quyết định có nên thực hiện thao tác thử (tốn thời gian, có rủi ro hỏng đồ) hay bỏ qua, đồng thời ghi nhận kết quả để lần sau phán đoán tốt hơn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.39497 |
| ArXiv Abstract | https://arxiv.org/abs/2610.39497 |
| PDF Download | https://arxiv.org/pdf/2610.39497.pdf |
| Github Repository | N/A |
4. REA: A Routed Embodied Agent Runtime for Asynchronous Brain-Cerebellum Control (44 votes)
Tác giả: Pengfei Zhou, Yixing Ma, Zhengfeiyang Zhang, Haoyuan Chen, Zhenglin Wan, et al.
Xuất bản lúc: 2026-10-30
Tag: Robotics, Embodied AI, VLA, Code-as-Policy, LLM Agents, System Routing, Robot Control
I. Main Problem:
Các mô hình foundation (System 2) lý luận tốt nhưng quá chậm và đắt để làm bộ điều khiển trực tiếp: ASPIRE tốn trung vị 43 phút/tác vụ, pipeline Codex + GPT-6 tốn 89M token đầu vào. Ngược lại, chính sách nhanh (VLA, whole-body controller) hoạt động ở tần số cao nhưng kém khái quát. Ghép 'não' suy ngẫm với 'tiểu não' phản xạ gặp hai trở ngại:
- Không có runtime chung để so sánh agent và VLA (mỗi hệ xây trên stack riêng).
- Phối hợp bất đồng bộ khó: nếu agent điều khiển và gọi chính sách nhanh, robot phải chờ 2.6s/tập (20% thời gian điều khiển); nếu chính sách nhanh gọi agent khi lỗi, lỗi lặp lại kích hoạt não liên tục, còn lỗi im lặng (không ném exception) thì không bao giờ được xử lý — chỉ 6/590 tập được escalate dù 166 tập thất bại.
II. Main Idea:
REA (Routed Embodied Agent) là runtime ba tầng với nguyên tắc vàng: không chính sách nào đang chạy phải chờ não. Cấu trúc:
- System 2 (não): agent tạo chính sách offline, và online chỉ cung cấp hai dịch vụ — Judge (so hai khung hình đầu/cuối với lệnh để kết luận done/not_done) và Advise.
- System 1 (router): ba module giữ não ra khỏi đường điều khiển:
- Route memory: chạy thử mỗi chính sách trên tập development, lưu tỉ lệ thành công theo tác vụ → chọn chính sách bằng tra bảng, không cần gọi mô hình.
- Boundary-triggered judge gate: gọi Judge một lần duy nhất khi chính sách trả về (không phải khi có exception) → bắt được lỗi im lặng; done thì dừng và bảo vệ kết quả đã hoàn thành, not_done thì leo thang.
- Escalation ladder: chính sách tiếp theo chạy từ trạng thái hiện tại dưới một ngân sách bước/thời gian chung, nên phục hồi luôn bị chặn.
- System 0 (tiểu não): chính sách nhanh bất kỳ — chương trình Python đóng băng, VLA chunk, whole-body controller — chạy ở tốc độ native và trả quyền điều khiển về router ở ranh giới đoạn.
Ví dụ đời thường: giống quản lý giàu kinh nghiệm giao việc cho nhân viên: trước ca làm đã tham khảo 'sổ tay thành tích' (route memory) để chọn đúng người, rồi để nhân viên làm liên tục không bị gián đoạn; chỉ khi nhân viên báo cáo xong việc mới rà soát kết quả một lần (judge gate) — sai thì giao người khác tiếp tục từ chỗ dở, đúng thì chốt đơn không cho ai đụng vào.
III. Main Results:
- LIBERO-Pro (3.000 tập, 60 tác vụ): REA đạt 95.9% thành suất, vượt baseline đơn lẻ mạnh nhất Agents SDK + GPT-6 (94.7%, p=0.004), chỉ kém oracle hậu kiếm 1%; giảm 25% số bước và 17% thời gian điều khiển so với blocking advisor (9.96s vs 13.33s/tập).
- Judge gate: +3.1% so với exception gate (p=0.022) — bắt được lỗi im lặng mà exception gate bỏ sót; route memory tốt ngang agent chọn chính sách nhưng nhanh hơn 1.39s/tập và không tốn token mô hình.
- Cải thiện chính sách có sẵn: +8.6% trên ASPIRE Fix, +7.0% trên zero-shot GPT-6.
- RoboTwin 2.0 (100 tập): 84% với VLA, 86% với VLA+code, so với 80% của MEDex (VLA mạnh nhất) — chứng minh VLA và code policy chia sẻ cùng runtime.
- Khái quát: 27/50 trên BEHAVIOR-1K, 97/200 RoboTwin transfer, và chạy thật trên Unitree G1 (8/10 lần đẩy ghế) và AlohaMini2.
IV. Conclusion & Future Works:
REA chứng minh 'não chậm + tiểu não nhanh' chỉ hiệu quả khi não được giữ hoàn toàn ra khỏi đường điều khiển: chọn chính sách bằng kết quả đo trước (route memory), chỉ phán xét ở ranh giới chính sách (judge gate) và phục hồi có ngân sách chung (escalation ladder). Hệ vừa vượt mọi baseline đơn lẻ vừa nhanh hơn, trên nhiều simulator và robot thật. Hướng phát triển hợp lý: mở rộng route memory cho điều kiện quan sát động, tinh chỉnh judge cho tác vụ nhiều giai đoạn, và rút ngắn độ trễ System 2 cho tần số tương tác cao hơn.
V. Brainstorming Space:
1. Publish Papers:
- Nâng cấp route memory từ tra bảng tĩnh sang router học theo quan sát (observation-conditioned) có thể cập nhật online giữa tập, cho môi trường thay đổi liên tục.
- Phát triển judge gate đa giai đoạn cho tác vụ long-horizon: phán xét tiến độ từng bước thay vì nhị phân done/not_done, kết hợp lịch sử các lần chạy trước trong cùng tập.
- Nghiên cứu phân bổ ngân sách bước/thời gian tối ưu cho escalation ladder dưới ràng buộc wall-clock chặt trên phần cứng robot thật có tài nguyên tính toán hạn chế.
2. Patent:
- Hệ điều khiển robot gia đình hai tốc độ trên điện thoại: bộ điều khiển phản xạ chạy ngay trên robot, còn mô hình AI 'não' chạy trên đám mây chỉ nhận ảnh đầu/cuối mỗi đoạn việc để xác nhận hoàn thành — robot không bao giờ đứng chờ mạng khi đang làm việc.
- Sổ tay thành tích tác vụ cho robot dịch vụ: hệ thống ghi lại tỉ lệ thành công của từng chương trình điều khiển trên từng loại việc, tự chọn chương trình đáng tin nhất mỗi khi nhận lệnh mới, và tự đổi sang chương trình khác từ vị trí hiện tại khi bị 'trọng tài ảnh' kết luận việc chưa xong.
- Cổng kiểm tra lỗi im lặng cho cánh tay robot công nghiệp: sau mỗi chu trình làm việc, hệ thống so ảnh trước/sau với mô tả công việc để phát hiện trường hợp chương trình chạy xong nhưng sản phẩm chưa đạt — tránh lỗi 'chạy êm nhưng sai' mà cảm biến lỗi thông thường không bắt được.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.42053 |
| ArXiv Abstract | https://arxiv.org/abs/2610.42053 |
| PDF Download | https://arxiv.org/pdf/2610.42053.pdf |
| Github Repository | N/A |
5. Apriel Voice 27B Preview: An Open Model for Speech, Reasoning, and Tool Use (33 votes)
Tác giả: Aman Tiwari, Akshay Kalkunte, Akintunde Oladipo, Jash Shah, Tara Bogavelli, et al.
Xuất bản lúc: 2026-10-29
Tag: Speech Language Model, Voice Assistant, Tool Use, Reasoning, Online Distillation, Multimodal AI, Open Model
I. Main Problem:
Một trợ lý giọng nói hữu ích không thể chỉ nhận dạng lời nói mà phải hiểu yêu cầu, suy luận theo ngữ cảnh, duy trì hội thoại và gọi công cụ để hoàn tất công việc. Các hệ truyền thống thường chia thành nhiều khối riêng: nhận dạng giọng nói, mô hình ngôn ngữ suy luận, tổng hợp giọng nói; điều này làm mất khả năng hành động thống nhất và khó giữ hành vi suy luận tốt khi đầu vào là âm thanh.
Bài toán chính là: làm sao thêm giao diện giọng nói cho một mô hình ngôn ngữ lớn đã huấn luyện tốt mà không làm hỏng khả năng văn bản, hình ảnh, suy luận và gọi công cụ.
II. Main Idea:
Apriel Voice 27B Preview là mô hình ngôn ngữ giọng nói mở, xây trên nền Gemma 4 26B-A4B. Điểm cốt lõi là dùng một backbone suy luận chung cho ba nhiệm vụ:
- hiểu giọng nói đưa vào
- trò chuyện và suy luận
- quyết định gọi công cụ, rồi nhận kết quả công cụ để phản hồi
Kiến trúc gồm:
- Whisper large-v3-turbo encoder để biến âm thanh thành đặc trưng
- projector khoảng 47.7 triệu tham số nén và chiếu đặc trưng vào không gian embedding của decoder
- backbone ngôn ngữ Mixture-of-Experts khoảng 26 tỷ tham số, giữ nguyên khả năng xử lý văn bản và hình ảnh
- công cụ do thành phần ứng dụng thực thi; phần tổng hợp giọng nói đầu ra là module thay thế được
Cách huấn luyện gồm hai giai đoạn:
- Học giao diện giọng nói: huấn luyện projector, còn backbone đóng băng, bằng phiên âm, dịch và tiếp tục câu nói.
- Mở rộng khả năng tác vụ: huấn luyện projector, backbone và router bằng dữ liệu suy luận, hội thoại, công cụ và văn bản replay.
Kỹ thuật giữ năng lực cũ:
- dùng cross-entropy để học câu trả lời mục tiêu
- dùng forward KL từ teacher để giữ hành vi của mô hình gốc
- pha trộn hai tín hiệu tùy từng nguồn dữ liệu
Ví dụ đời thường: giống như dạy một người giỏi đánh máy cách nghe điện thoại: trước hết chỉ luyện tai để nghe ra ý người gọi, sau đó mới cho xử lý cả cuộc hội thoại thật, trong khi vẫn có người quan sát nhắc lại cách anh ấy vốn hay trả lời để không bị nói sai giọng.
III. Main Results:
- Trong chế độ thinking, mô hình đạt 98.90 trên Big Bench Audio, 81.13 trên Speech-BFCL, và 65.51% tỉ lệ hoàn thành tác vụ trên τ-Voice.
- Độ trễ trung bình khi suy luận là 1.91 giây.
- Trên EVA tiếng Anh, độ chính xác dịch vụ đạt 51.27%, còn trải nghiệm hội thoại pass@1 đạt 74.13%.
- Đánh giá bao phủ cả khả năng nền như nhận dạng giọng nói, dịch giọng nói, lệnh theo chỉ dẫn, suy luận, gọi công cụ, hội thoại đa lượt, tác vụ doanh nghiệp, đồng thời kiểm tra khả năng giữ hiệu suất văn bản và hình ảnh sau khi thích ứng sang giọng nói.
- Tác giả cũng phát hành Apriel Live, một giao diện tương tác để thử mô hình trong hội thoại thật.
IV. Conclusion & Future Works:
Kết quả cho thấy một mô hình mở có thể thống nhất giọng nói, suy luận và hành động qua công cụ trong cùng một backbone, thay vì ghép nhiều hệ riêng lẻ. Công thức hai giai đoạn kết hợp cross-entropy và forward KL giúp mô hình học tác vụ giọng nói mới mà vẫn giữ hành vi đã học trước đó.
Hướng đi tiềm năng gồm:
- cải thiện độ trễ và chất lượng tương tác thời gian thực
- mở rộng đa ngôn ngữ và điều kiện âm thanh thực tế hơn
- tối ưu huấn luyện online distillation để giảm chi phí GPU
- đánh giá sâu hơn khả năng giữ hiệu suất hình ảnh, văn bản và hành vi công cụ sau khi mở rộng sang giọng nói
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng công thức thích ứng giọng nói hai giai đoạn sang mô hình đa phương thức có khả năng tạo ảnh, video hoặc điều khiển thiết bị, vẫn giữ một backbone suy luận chung.
- Nghiên cứu cách chọn tỉ lệ cross-entropy và forward KL tự động theo từng loại dữ liệu để cân bằng tốt hơn giữa học tác vụ mới và giữ khả năng cũ.
- Phát triển phương pháp huấn luyện teacher-student hiệu quả hơn cho mô hình giọng nói cỡ lớn, giảm số GPU và thời gian huấn luyện.
- Xây dựng benchmark mới đo khả năng trợ lý giọng nói xử lý cuộc hội thoại dài, có sửa thông tin giữa chừng, kèm ảnh chụp và gọi công cụ hoàn tất quy trình.
2. Patent:
- Trợ lý giọng nói trên điện thoại có thể nghe yêu cầu, xem ảnh chụp lỗi, hỏi lại để làm rõ, rồi gọi công cụ đặt lịch, tạo ticket hoặc tra cứu đơn hàng mà không cần người dùng gõ văn bản.
- Hệ hỗ trợ khách hàng doanh nghiệp: nhân viên hoặc khách nói vấn đề, hệ thống ghi nhận bằng giọng nói, kiểm tra thông tin nội bộ, tạo yêu cầu hỗ trợ và đọc lại kết quả xử lý ngay trong cuộc gọi.
- Ứng dụng điện thoại cho kỹ thuật viên hiện trường: người dùng chụp ảnh thiết bị hỏng, nói mô tả hiện tượng, ứng dụng tự mở ticket, gợi ý bước kiểm tra và gọi công cụ tra cứu linh kiện.
- Giao diện giọng nói thay thế được cho xe hơi hoặc thiết bị thông minh: phần nhận diện giọng nói và suy luận có thể đổi giọng đọc, đổi dịch vụ tổng hợp âm thanh mà không cần huấn luyện lại lõi hiểu lệnh.
- Hệ kiểm kê kho bằng giọng nói trên điện thoại: nhân viên nói tên hàng hoặc quét mã, hệ thống xác nhận lại bằng giọng, gọi công cụ cập nhật tồn kho và báo số liệu sai ngay nếu phát hiện lệch.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.40738 |
| ArXiv Abstract | https://arxiv.org/abs/2610.40738 |
| PDF Download | https://arxiv.org/pdf/2610.40738.pdf |
| Github Repository | N/A |
6. Follow the Gradient: Tracing Safety Degradation Back to Training Data (27 votes)
Tác giả: Saket Reddy, Amro Abbas, Anshuman Suri, Ari Morcos, David Schwab, et al.
Xuất bản lúc: 2026-10-27
Tag: Gradient Attribution, LLM Safety, Fine-tuning, Data Selection, Jailbreak Defense, Training Data Attribution
I. Main Problem:
Fine-tuning LLMs trên dữ liệu instruction có vẻ vô hại vẫn có thể làm suy giảm safety alignment một cách âm thầm. Điểm khó là dữ liệu gây suy giảm safety không trông nguy hiểm ở bề mặt, nên toxicity filters hay LLM safety judges thường bỏ sót. Vì vậy cần một tín hiệu phản ánh mỗi example làm mô hình thay đổi thế nào, thay vì chỉ nhìn nội dung bề ngoài. Gradient là tín hiệu như vậy, nhưng attribution truyền thống quá đắt để áp dụng cho post-training dataset cỡ hàng triệu example.
II. Main Idea:
Tác giả phát triển SimpleLoRIF, một phương pháp gradient embedding để tìm các fine-tuning example có gradient aligned với unsafe behavior. Thay vì ước lượng influence hiệu chuẩn, họ đơn giản hóa LoRIF: bỏ curvature correction, dùng random projection hai phía, lưu gradient dạng rank-1 factorization, và chỉ backprop qua 4 transformer blocks cuối. Mỗi document được embed bằng gradient nó gây ra trong reference model; document càng giống về hướng cập nhật với unsafe responses thì càng bị loại. Pipeline SafeTulu: embed toàn bộ Tulu 3, chấm similarity với unsafe SafeRLHF responses qua cluster centroids, loại 20% example aligned nhất, rồi fine-tune trên 80% còn lại. Ví dụ đời thường: giống như thử từng nguyên liệu nấu ăn bằng cách xem nó kéo hương vị món ăn về phía “ôi thiu” mạnh cỡ nào, thay vì nhìn bề ngoài tươi hay thiu, rồi loại những nguyên liệu kéo mạnh nhất.
III. Main Results:
- Emergent misalignment: gradient của insecure-code examples tách khỏi secure-code examples tốt hơn ngẫu nhiên, với AUC 0.604 cho Qwen và 0.865 cho Mistral.
- Scalability: SimpleLoRIF embed 939,343 examples của Tulu 3 trong khoảng 1 giờ trên 8 H100; giới hạn backprop ở 4 blocks cuối giữ chất lượng nhưng giảm chi phí mạnh.
- SafeTulu: loại 20% Tulu 3 examples aligned nhất với unsafe SafeRLHF responses làm GCG attack success rate giảm tới 22% tương đối: Qwen 47.7% → 37%, Llama 38% → 30%, Olmo 48% → 41%.
- SafeTulu vượt LLM-as-a-judge filtering và prior gradient filtering của He et al.; cũng đạt ASR thấp nhất trên ActorBreaker.
- Capability trên MMLU Pro, IFEval, MBPP, GSM8K, MATH 500, MedQA và ORBench được bảo toàn phần lớn, đôi khi còn cải thiện.
- Phân tích dữ liệu bị loại cho thấy các pattern bị nghiên cứu còn ít như tool-execution failures, narrative arithmetic, và direct coding tasks; tác giả release SafeTulu và Hugging Face Space để tùy chỉnh tỉ lệ loại hoặc lọc theo subset.
IV. Conclusion & Future Works:
Bài báo cho thấy safety degradation sau fine-tuning có thể được xem là training data attribution problem, và gradient alignment có thể trở thành một practical filter cho post-training dataset cỡ lớn thay vì chỉ là công cụ phân tích nhỏ. SafeTulu chứng minh lọc theo gradient có thể giảm jailbreak susceptibility mà không đánh đổi nhiều capability. Hướng mở rộng: kết hợp SimpleLoRIF với poison/backdoor detectors để làm bộ lọc trước training hoặc công cụ pháp y sau khi mô hình đã bị tấn công; kiểm tra giới hạn transfer giữa các model families; và dùng Space công khai để thử removal fraction, subset filtering hoặc tiêu chí target khác.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng SimpleLoRIF thành công cụ pháp y cho LLM bị jailbreak: truy ngược harmful outputs về training examples bằng gradient alignment để xác định nguồn dữ liệu làm suy giảm safety sau fine-tuning.
- Nghiên cứu cross-model transfer của gradient safety embeddings: khi nào embedding từ một reference model còn dùng được cho model khác, và khi nào cần per-model attribution.
- Phát triển detector cho clean-label poisoning/emergent misalignment dạng không có trigger, dùng gradient outliers hoặc cluster alignment thay vì giả định target label cố định.
- Tối ưu chi phí attribution cho dataset đa modal hoặc mixture lớn hơn: chọn blocks, projection dimension và scoring centroid theo safety-coverage tradeoff.
- Xây dựng benchmark cho benign-looking safety-degrading data, với các nhóm như tool failures, narrative arithmetic, multilingual subsets và instruction-response mismatches.
2. Patent:
- Ứng dụng bàn phím điện thoại tự cá nhân hóa: trước khi học từ tin nhắn hoặc ghi chú của người dùng, hệ thống tính hướng cập nhật của từng mẫu dữ liệu so với mẫu câu trả lời nguy hiểm hoặc dễ bị lừa; các mẫu kéo mô hình về phía hành vi xấu bị giữ lại để kiểm tra, không cho vào bản cá nhân hóa.
- Dịch vụ kiểm tra dữ liệu huấn luyện cho trợ lý doanh nghiệp: doanh nghiệp tải lên email hỗ trợ, ticket, tài liệu nội bộ; hệ thống chấm mỗi tài liệu theo mức kéo mô hình về phía câu trả lời unsafe rồi đề xuất loại tỉ lệ phù hợp trước khi triển khai chatbot.
- Công cụ pháp y trên đám mây cho mô hình ngôn ngữ bị jailbreak: khi phát hiện câu trả lời có hại, hệ thống so hướng gradient của câu trả lời đó với hướng gradient của từng tài liệu training để chỉ ra nhóm dữ liệu nghi gây suy giảm an toàn.
- Module bảo vệ cho điện thoại khi cập nhật mô hình theo ngữ cảnh mới: hệ thống quét các đoạn hội thoại hoặc tài liệu sắp dùng để fine-tune, loại bỏ phần nhỏ dữ liệu vô hại nhưng có xu hướng làm trợ lý dễ bị khai thác hơn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.37481 |
| ArXiv Abstract | https://arxiv.org/abs/2610.37481 |
| PDF Download | https://arxiv.org/pdf/2610.37481.pdf |
| Github Repository | N/A |
7. Latent Reasoning in Continuous Space for Unified Multimodal Models (26 votes)
Tác giả: Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin
Xuất bản lúc: 2026-10-30
Tag: Multimodal Models, Text-to-Image Generation, Latent Reasoning, Reinforcement Learning, Test-time Scaling, Chain-of-Thought, GRPO, Unified Multimodal Models
I. Main Problem:
Các Unified Multimodal Models (UMMs) kết hợp sinh ảnh với LLM nhưng không kế thừa được lợi ích của reasoning như trong LLM thuần:
- Reasoning bằng chain-of-thought dạng token rời rạc, trong khi sinh ảnh hoạt động trong không gian liên tục → mất cân xứng về modality (modality mismatch).
- Token rời rạc không mã hóa được thông tin dày đặc, mang tính không gian mà tổng hợp ảnh đòi hỏi, nên reasoning rơi vào thao tác prompt nông.
- Hệ quả: reasoning-augmented UMM hiện tại không có test-time scaling — tăng ngân sách suy luận không cải thiện chất lượng ảnh.
II. Main Idea:
LARC (Latent Reasoning in Continuous space) thực hiện suy luận ngay trong không gian ẩn liên tục — cùng không gian với quá trình sinh ảnh — thay vì qua token văn bản. Mô hình luân phiên giữa hai chế độ trong một trajectory:
- Language mode: sinh token văn bản bằng sampling ngẫu nhiên (giữ đa dạng cho policy gradient).
- Latent mode: khi gặp token
, hidden state cuối cùng của transformer trở thành embedding đầu vào của bước tiếp theo, bỏ qua giải mã văn bản, giữ nguyên nội dung ngữ nghĩa dày đặc.
Quy trình huấn luyện hai giai đoạn:
- Stage 1 — Curriculum SFT: kích hoạt dần từng latent step (phase k chỉ bật k bước ẩn đầu tiên), chuyển dần reasoning từ token sang latent, ổn định hóa việc học.
- Stage 2 — Self-evolving RL: dùng Information-Gain reward (mức tăng khả năng dự đoán ảnh mục tiêu khi có latent trace, ước lượng qua chênh lệch flow-matching loss) kết hợp collapse-prevention reward (duy trì độ đa dạng cosine giữa các latent step), tối ưu bằng GRPO — không cần ground-truth reasoning chain hay critic ngoài.
Ví dụ đời thường: giống như người họa sĩ không lẩm bẩm thành lời từng chi tiết mà hình dung trong đầu — nghĩ bằng hình ảnh mờ, chỉ thỉnh thoảng ghi chú ngắn bằng lời — thay vì phải diễn tả mọi suy nghĩ thành câu chữ rồi mới vẽ.
III. Main Results:
- GenEval: 0.88 overall, +7%p so với BAGEL, vượt Uni-CoT (0.83); cải thiện mạnh nhất ở Attribute Binding (+15%p).
- DPG-Bench: 90.04 overall, +5.8 điểm so với BAGEL; OneIG-Bench: 0.866, +10.2%p so với BAGEL, +7.6 điểm so với Uni-CoT.
- Image editing (CompBench): LC-T 22.51 (+10.2% so với BAGEL), PSNR 24.3→25.7, LPIPS 0.069→0.049.
- Multimodal understanding: cải thiện trên MME, MMB, MMMU và đặc biệt MIRA (7.5→11.7) — chứng tỏ latent reasoning giàu hơn discrete reasoning.
- Test-time scaling: lần đầu tiên một reasoning-augmented UMM cho thấy hiệu năng tăng đơn điệu khi tăng số bước latent, vượt best-of-N sampling trên cả ba tác vụ.
- Ablation: latent reasoning liên tục thắng token-level reasoning ở mọi benchmark; interleaved (văn bản + latent) tốt hơn naive latent; Stage 2 RL nâng T2I từ 0.83 lên 0.88.
IV. Conclusion & Future Works:
LARC chứng minh modality mismatch giữa reasoning rời rạc và sinh ảnh liên tục là nguyên nhân gốc khiến UMM thiếu test-time scaling, và khắc phục bằng cách suy luận hoàn toàn trong không gian liên tục. Khung tự tiến hóa (curriculum SFT + RL với information-gain reward) không cần dữ liệu giám sát reasoning hay critic ngoài. Kết quả mở đường cho UMM đạt khả năng mở rộng suy luận theo inference-time compute như LLM hiện đại. Hướng tương lai được gợi mở: giảm chi phí huấn luyện RL trên UMM hàng tỷ tham số (adapter, low-rank) và phát triển giao thức đánh giá riêng cho mô hình sinh ảnh có reasoning.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng latent reasoning liên tục cho video generation và audio-visual generation, nơi thông tin thời gian dày đặc càng khiến token rời rạc bất lực.
- Kết hợp latent reasoning với tree/trajectory search tại inference time để khai thác triệt để không gian suy luận liên tục thay vì chỉ tăng số bước latent.
- Nghiên cứu reward nội tại thay thế information-gain (ví dụ dựa trên sở thích người dùng hoặc độ đa dạng ảnh) cho latent reasoning không có ảnh mục tiêu, ví dụ tạo ảnh mở.
- Adapter hoặc low-rank fine-tuning cho latent reasoning để giảm dấu chân carbon của giai đoạn RL trên mô hình đa phương thức lớn.
2. Patent:
- Ứng dụng chỉnh sửa ảnh trên điện thoại theo mô tả phức tạp: người dùng nhập yêu cầu dài nhiều chi tiết; mô hình suy nghĩ bằng các bước ẩn liên tục trước khi tạo ảnh, giúp đúng vị trí, màu sắc, số lượng đối tượng mà không cần máy chủ mô tả từng phần tử bằng văn bản.
- Hệ thống tạo ảnh quảng cáo có nút 'suy nghĩ lâu hơn': người dùng kéo thanh ngân sách suy luận, ứng dụng tăng số bước tính toán ẩn để cải thiện độ chính xác theo prompt — chất lượng ảnh tăng dần theo thời gian chờ.
- Trợ lý thiết kế đồ họa tự lên kế hoạch bố cục: trước khi vẽ, mô hình tạo một chuỗi ý tưởng nội bộ dạng liên tục kết hợp ghi chú ngắn, cho phép người dùng xem và chỉnh từng bước ý tưởng trước khi chốt ảnh cuối.
- Công cụ tạo ảnh minh họa giáo dục: giáo viên nhập mô tả bài toán (ví dụ '3 quả táo đỏ và 2 quả cam trên bàn'), hệ thống dùng suy luận ẩn để đảm bảo đúng số lượng, đúng màu, đúng vị trí — các lỗi mà mô hình sinh ảnh thông thường hay mắc.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.42149 |
| ArXiv Abstract | https://arxiv.org/abs/2610.42149 |
| PDF Download | https://arxiv.org/pdf/2610.42149.pdf |
| Github Repository | https://github.com/rootyJeon/LARC |
8. WeFair: Fidelity-Aware Alignment from Human Feedback for Personalized Query Rewriting in Short-Video Search (26 votes)
Tác giả: Yingtao Ren, Aolin Li, Cheng Cheng, Huiyun Hu, Huasheng Liang, et al.
Xuất bản lúc: 2026-10-30
Tag: Personalized Search, Query Rewriting, Short-Video Search, LLMs, DPO, GRPO, Reinforcement Learning, Intent Drift Mitigation
I. Main Problem:
Tìm kiếm video ngắn phải hiểu câu truy vấn thường rất ngắn và mơ hồ, trong khi ngữ cảnh xem video, lịch sử tìm kiếm và hành vi gần đây mới tiết lộ ý định thật. Mô hình ngôn ngữ lớn viết lại được nhưng độ trễ cao, không phù hợp tìm kiếm realtime; còn cách chỉnh theo lượt xem tiếp theo dễ ưu tiên nội dung hấp dẫn thay vì nhu cầu tức thời, gây intent drift. Bài toán là huấn luyện một rewriter nhỏ, nhanh, biết khi nào nên viết lại, khi nào giữ nguyên, đồng thời không thêm thông tin ngoài ngữ cảnh.
II. Main Idea:
WeFair khớp độ tin cậy của phản hồi người dùng với vai trò từng giai đoạn huấn luyện. Đầu tiên, hệ thống khai thác phiên tìm kiếm thật để lấy ba loại dữ liệu: cặp ngữ cảnh → truy vấn, cặp truy vấn gốc → cách người dùng tự sửa lại, và nhãn giữ nguyên truy vấn. Các mẫu được lọc bằng luật ký tự rồi chấm bởi mô hình lớn theo ba tiêu chí: giữ liên tục ý định, có thêm thông tin hữu ích, và chi tiết mới được ngữ cảnh hiện tại hỗ trợ.
- Demonstration: curriculum học có giám sát đi từ dự đoán truy vấn từ ngữ cảnh, sang viết lại có lý giải, rồi tới dự đoán trực tiếp mục tiêu người dùng.
- Preference: tối ưu ưa thích học từ cặp ứng viên tốt/xấu dựa trên video thật sự được xem sau đó, nhưng chỉ như tín hiệu tương đối.
- Verification: tối ưu chính sách theo nhóm chỉ thưởng khi khớp chính xác cách sửa lại của người thật hoặc quyết định giữ nguyên, siết chặt drift cuối cùng.
Khi phục vụ, mô hình xuất trực tiếp câu viết lại hoặc giữ nguyên, không cần sinh chuỗi suy luận dài. Ví dụ đời thường: như nhân viên tiếp tân học cách diễn đạt lại yêu cầu mơ hồ của khách: trước quan sát nhiều tình huống để hiểu bối cảnh, rồi xem khách phản ứng với phương án nào, cuối cùng chỉ chốt cách nói lại khi khách đích thân xác nhận đúng ý mình.
III. Main Results:
- Offline: WeFair-2B đạt 72.81% overall accuracy và 83.95% consistent recall, vượt các baseline lớn như DeepSeek-V4.1-Flash 62.55% và Gemini-3.1-Pro 64.42%; WeFair-4B đạt 73.48%.
- Chống drift: intent drift của WeFair-2B còn 5.36%, thấp hơn khoảng một phần ba so với các phương pháp rewrite adaptive cùng nhóm; hallucination rate 2.43%.
- Ablation: bổ sung dữ liệu rộng nhưng độ trung thực thấp giúp curriculum SFT học nền tốt; DPO cải thiện chọn ứng viên; GRPO kiểm chứng chặt tạo lợi ích lớn nhất cho overall accuracy.
- Reward purity: thưởng khớp chính xác mục tiêu người dùng cho độ tin cậy cộng dồn tốt hơn các biến thể thêm similarity, consumption feedback hay reward model.
- Hiệu năng: WeFair-2B direct sinh 7.60 token, trung bình 0.316 giây; bản có suy luận cần 26.65 token, 0.795 giây.
- Online 10 ngày: so với hệ thống cũ trong WeChat video search, CTR tăng 2.951%, tỷ lệ xem video hiệu quả tăng 2.593%, tỷ lệ người dùng phải sửa lại truy vấn giảm 2.350%; P95 model latency 81 ms, tổng độ trễ tìm kiếm chỉ tăng 16 ms.
- Triển khai thật: WeFair-2B phục vụ hơn 100 triệu truy vấn mỗi ngày, viết lại 42.26% truy vấn và giữ nguyên 57.74%.
IV. Conclusion & Future Works:
Kết luận chính là không nên dùng một loại phản hồi giống nhau cho mọi giai đoạn: dữ liệu rộng giúp giai đoạn học nền, tín hiệu ưa thích từ hành vi tiêu thụ giúp tinh chỉnh lựa chọn, còn kiểm chứng chặt theo cách người dùng tự sửa lại là chìa khóa để giữ đúng ý định. Bài báo không liệt kê future work rõ ràng; từ kết quả và ca lỗi còn sót, hướng hợp lý là cải thiện bảo toàn ràng buộc địa danh hoặc thực thể then chốt, kiểm tra cầu nối ngữ cảnh chặt hơn, và mang cách phối hợp độ tin cậy phản hồi sang các hệ tìm kiếm đàm thoại, thương mại điện tử hoặc gợi ý nội dung có giới hạn độ trễ tương tự.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng fidelity-aware alignment sang tìm kiếm đàm thoại và thương mại điện tử, kiểm tra khi nào phản hồi tiêu thụ rộng giúp học nền và khi nào cần thưởng khớp chính xác để giữ ràng buộc ý định.
- Nghiên cứu reward purity trong tối ưu chính sách theo nhóm cho tác vụ viết lại truy vấn, đo mức tin cậy của ưu điểm thay vì chỉ báo cáo độ chính xác cuối cùng.
- Kết hợp quyết định giữ nguyên hoặc viết lại với mở rộng ứng viên bằng bộ nhớ đệm và vector nhẹ, tối ưu độ trễ cuối cùng cho tìm kiếm video trên thiết bị di động.
2. Patent:
- Trợ lý tìm kiếm trên điện thoại đọc ngữ cảnh gần đây nhưng chỉ viết lại câu hỏi khi chi tiết mới xuất hiện trong ngữ cảnh hiện tại; nếu không đủ bằng chứng, ứng dụng giữ nguyên câu gốc để tránh lệch ý muốn người dùng.
- Module gợi ý tìm kiếm có chế độ riêng tư: phân tích lịch sử xem ngay trên máy, ẩn danh hóa sự kiện tìm kiếm, tạo câu viết lại ngắn tại biên rồi chỉ gửi lên máy chủ khi người dùng chấp nhận hoặc khi mức tin cậy đủ cao.
- Hệ thống sửa lỗi chính tả và mở rộng thực thể cho video ngắn: phát hiện từ khóa bị viết sai từ lịch sử xem, giữ lại phần địa danh hoặc tên riêng bắt buộc, rồi dùng bản viết lại để tra bộ nhớ đệm và vector mở rộng danh sách video.
- Bộ điều khiển khi nào không nên gợi ý cho ứng dụng mua sắm hoặc địa phương: nếu truy vấn đã dẫn tới lượt xem hữu ích, hệ thống giữ nguyên; nếu người dùng sửa lại ngay sau đó, hệ thống học theo cách sửa đó thay vì đẩy sản phẩm dễ gây tương tác.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.16927 |
| ArXiv Abstract | https://arxiv.org/abs/2610.16927 |
| PDF Download | https://arxiv.org/pdf/2610.16927.pdf |
| Github Repository | N/A |
9. Wizard: Manipulate Any World in Real Time via Agentic Control (24 votes)
Tác giả: Yuzhe Wu, Zijun Lin, Yeying Jin
Xuất bản lúc: 2026-10-29
Tag: Video World Models, Game Generation, Agentic AI, Character Animation, Skeleton Control, Real-Time Video Generation, Zero-shot Generalization
I. Main Problem:
Các video world model cho game hiện nay bị bó hẹp ở ba điểm:
- Điều khiển thô: mô hình action-conditioned chỉ hỗ trợ tập hành động định sẵn; prompt-conditioned không làm theo được hướng dẫn chưa thấy khi huấn luyện.
- Kém tổng quát: các framework agentic như WorldMind hay Marionette chỉ minh họa chuyển động đơn giản (lái xe, đi bộ), lỗi với cảnh/nhân vật mới.
- Tương tác thời gian thực kém: các hướng tiếp cận dựa trên game engine phụ thuộc cảnh định sẵn và xử lý phụ gây độ trễ.
Hệ quả: chưa có mô hình nào kết hợp được điều khiển nhân vật tinh vi + tổng quát zero-shot + thời gian thực + cơ chế game nhất quán cùng lúc.
II. Main Idea:
Wizard tách riêng luật chơi và trạng thái thế giới khỏi phần sinh hình ảnh, rồi dùng các proxy có cấu trúc để kết nối hai phần:
- Proxy cảnh: từ một ảnh cảnh bất kỳ, ước lượng hình học đơn nhãn (MoGe-2) để dựng môi trường 2.5D, kênh R/B mã hóa chiều cao và độ sâu.
- Proxy nhân vật: ảnh nhân vật tự động được segment, dựng mesh, gắn skeleton; một vision-language model tìm animation phù hợp trong thư viện motion và retarget sang skeleton đích.
- Agentic framework duy trì trạng thái game rõ ràng (máu, khoảng cách, hướng, cooldown), chọn hành vi boss bằng behavior planner và xử lý sát thương bằng rule-based controller — độc lập hoàn toàn với video generator.
- World agent dịch lệnh ngôn ngữ tự nhiên thành chương trình chỉnh sửa hình học cảnh (nhấc bệ, lật ngược thế giới).
- Character-aware adaptive masking trong generator (Wan2.2-5B): mask theo vùng skeleton (+25%) để ảnh reference chỉ ảnh hưởng đúng nhân vật của nó, giữ bản sắc nhân vật.
- Causal adaptation + few-step distillation cho sinh video tự hồi quy 24 FPS, chỉ 2 bước denoise.
Ví dụ đời thường: giống đạo diễn kịch — đạo diễn (agent) chỉ đạo diễn viên đứng ở đâu, đánh nhau thế nào theo kịch bản; họa sĩ (video generator) chỉ lo vẽ lại cảnh đó cho đẹp, không cần biết luật chơi.
III. Main Results:
- Xây dựng bộ dữ liệu 50.3 giờ, gồm 750 cảnh và 178 nhân vật từ 4 nguồn: gameplay Elden Ring (8.8h), dữ liệu tổng hợp (11.6h), mô phỏng Unreal Engine (3.3h), public dataset WildWorld (26.6h).
- Zero-shot generalization thực nghiệm (qualitative): cảnh, nhân vật, động tác hoàn toàn mới vẫn sinh gameplay nhất quán, proxy khớp với frame video.
- Gameplay nhất quán cơ chế: combat tự kết thúc khi máu về 0, hit detection bằng hitbox quét, cooldown skill.
- Gameplay sáng tạo mở: biến hình nhân vật giữa trận, lật ngược cảnh, thêm phần tử mới vào bản đồ — kết hợp được trong một kịch bản.
- Real-time: 24 FPS, 2 bước denoise, KV cache 20 frame + 1 sink frame, khởi tạo dưới 5 phút cho một game mới.
IV. Conclusion & Future Works:
Wizard chứng minh rằng tách quản lý trạng thái (agentic) khỏi sinh hình ảnh, kết nối qua proxy hình học + skeleton, mở ra thế hệ game do người chơi tự tạo: đưa ảnh hay mô tả ngôn ngữ là có game mới chơi được ngay mà không fine-tune. Điểm then chốt là dữ liệu đa dạng (750 cảnh/178 nhân vật) cùng adaptive masking giữ bản sắc nhân vật. Hướng mở: mở rộng sang nhiều người chơi, tăng độ dài trí nhớ game, và nâng cấp chất lượng hình ảnh ở tốc độ thời gian thực.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng kiến trúc proxy-based agentic sang thể loại game nhiều người chơi, với agent riêng cho từng người chơi điều phối trạng thái chung nhất quán.
- Nghiên cứu retargeting motion tự động cho nhân vật phi nhân hình (nhiều đầu, nhiều cánh) bằng cách học tương ứng limb chain thay vì gán nhãn thủ công.
- Kết hợp world model với LLM planner để boss học chiến thuật từ lịch sử trận đấu thay vì rule-based cố định.
2. Patent:
- Ứng dụng điện thoại cho phép người dùng chụp một bức ảnh (phong cảnh, con vật, nhân vật hoạt hình) rồi tự động dựng thành game 3D chơi trực tiếp trên máy: hệ thống ước lượng độ sâu từ ảnh, gắn khung xương cho nhân vật, ghép animation từ thư viện để người chơi điều khiển ngay.
- Tính năng biến hình nhân vật trong game mobile bằng ảnh chụp từ camera điện thoại: chụp khuôn mặt hay con vật nuôi, game giữ nguyên vị trí và trạng thái nhưng thay ngoại hình theo thời gian thực nhờ cơ chế khóa attention theo vùng nhân vật.
- Hệ thống tạo bản đồ game từ ảnh 360° hoặc ảnh chụp du lịch: người dùng nói 'thêm cầu thang ở đây' hoặc 'lật ngược thế giới', trợ lý AI dịch lệnh thành phép biến đổi hình học 3D và render lại cảnh chơi tức thì.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.40339 |
| ArXiv Abstract | https://arxiv.org/abs/2610.40339 |
| PDF Download | https://arxiv.org/pdf/2610.40339.pdf |
| Github Repository | N/A |
10. HiFOR: Hierarchical Foresight with Action-Guided World Grounding for Vision-Language-Action Model (23 votes)
Tác giả: Rongxing Ding, Hongyu Qu, Kehong Wu, Xudong Wang, Fan Zhang, et al.
Xuất bản lúc: 2026-10-29
Tag: Vision-Language-Action, Robotics, World Model, Foresight, Robot Manipulation, Flow Matching
I. Main Problem:
Các mô hình Vision-Language-Action (VLA) có khả năng dự đoán tương lai (foresight) để hỗ trợ điều khiển robot, nhưng gặp hai hạn chế:
- Dự đoán tách rời theo tầng thời gian: các phương pháp dự đoán ngắn hạn (động lực học cục bộ) và dài hạn (mục tiêu/nhánh công việc) hoạt động độc lập, không thiết lập được liên kết giữa trạng thái cục bộ, các cột mốc ngữ nghĩa và mục tiêu cuối cùng.
- Sử dụng dự đoán một cách máy móc: thông tin tương lai được đưa thẳng vào chính sách như tín hiệu điều kiện, không phân biệt mức độ liên quan của từng tầng thời gian, góc camera, vùng không gian với hành động hiện tại — trong khi mức độ liên quan này thay đổi liên tục trong quá trình thực hiện nhiệm vụ.
II. Main Idea:
HiFOR là khung phân tầng dự đoán tương lai kết hợp truy xuất có chọn lọc, gồm ba thành phần:
- Hierarchical Foresight Prediction: dự đoán đồng thời ba tầng — trạng thái ngắn hạn (t + vài bước, kèm chuỗi trạng thái robot), cột mốc ngữ nghĩa (mốc tiếp theo), và trạng thái đích cuối — thông qua Hierarchical Dependency Mask (HDM) cho phép query tầng dài nhìn xuống các tầng ngắn hơn, tạo phụ thuộc xuyên tầng. Mốc được tự động trích xuất từ demo có sẵn bằng Planning Agent + định vị sự kiện theo chuyển đổi gripper/pha chuyển động, không cần thu thập dữ liệu mới.
- Structure-Aware Latent World Modeling: tổ chức các đặc trưng tương lai dự đoán thành 'thế giới tiềm ẩn' có cấu trúc theo 3 chiều — tầng thời gian × góc camera × vùng không gian — với positional embedding riêng cho từng chiều.
- Action-Guided Factorized World Retrieval: tại mỗi bước denoise, dùng trạng thái ẩn đang tiến hóa của action expert làm query, thực hiện attention phân tích theo 3 bước (chọn tầng thời gian → chọn camera → chọn vùng không gian) để truy xuất đúng thông tin tương lai cần thiết cho hành động lúc đó, rồi nạp lại vào action expert (flow-matching).
Ví dụ đời thường: giống người nấu ăn nhìn trước cả công thức (đích cuối), mốc tiếp theo (cho món vào nồi) và tay đang làm gì ngay bây giờ; và trong mỗi khoảnh khắc chỉ tập trung nhìn đúng thứ cần cho động tác hiện tại — lúc bật bếp nhìn núm bếp, lúc đặt nồi nhìn vị trí đích — thay vì dán mắt vào toàn bộ công thức.
III. Main Results:
- RoboTwin 2.0 (Hard): 49.40% trung bình, cao nhất benchmark, hơn π0.5 (+9.05%); nhiều tác vụ tăng mạnh (Place Cans Plasticbox 40% → 63%).
- LIBERO: 98.3% trung bình, vượt π0.5 (96.9%); LIBERO-Long tăng nhiều nhất (+3.4%, lên 95.8%), cho thấy lợi thế tác vụ dài hạn.
- Thực tế (robot AgileX Piper, 6 tác vụ): 81.7% trung bình, hơn π0.5 +11.0%; tác vụ xếp khối tăng +16.0%.
- Ablation: thêm dự đoán ngắn hạn +3.8%, cột mốc +1.45%, đích +1.35%, retrieval (AWR) +2.45% — mỗi thành phần đều đóng góp tích lũy.
- Phân tích: dự đoán 5 bước tối ưu (khớp chu kỳ cập nhật chính sách); dự đoán đặc trưng ngữ nghĩa (DINOv2) tốt hơn dự đoán ảnh RGB (+1.6% trên LIBERO-Long). Trực quan hóa attention cho thấy mô hình tự chuyển trọng tâm: lúc đầu nhìn tầng cột mốc, khi thao tác nhìn tầng ngắn hạn, lúc hoàn thành nhìn tầng đích.
IV. Conclusion & Future Works:
HiFOR chứng minh rằng dự đoán tương lai đa tầng kết hợp truy xuất thích ứng theo hành động hiệu quả hơn hẳn cách đưa dự đoán thô vào chính sách. Thiết kế HDM liên kết động lực học cục bộ với tiến trình nhiệm vụ, còn retrieval phân tích theo thời gian–view–không gian khai thác trọn vẹn tiềm năng của thông tin tương lai, đặc biệt với tác vụ dài hạn. Tác giả không nêu hướng nghiên cứu tiếp theo cụ thể trong bài; không gian mở gồm mở rộng sang tác vụ song song hai tay, môi trường động, và tối ưu chi phí dự đoán đa tầng khi triển khai thời gian thực.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng dự đoán phân tầng cho robot bimanual: dự đoán đồng thời động lực học hai tay với các cột mốc ngữ nghĩa chung và riêng theo từng tay.
- Kết hợp latent world có cấu trúc với bộ nhớ dài hạn để robot tái sử dụng dự đoán tương lai giữa các lần thực hiện nhiệm vụ tương tự.
- Nén và truy xuất thế giới tiềm ẩn hiệu quả hơn (token giảm, attention thưa) để chạy foresight trên robot thật với tài nguyên hạn chế.
2. Patent:
- Trợ lý robot gia đình trên điện thoại: trước khi thực hiện lệnh nói (vd 'rót nước vào ly'), robot tự tưởng tượng trước vài khoảnh khắc tới — tay đang ở đâu, lúc nào cầm được chai, cuối cùng ly đầy — rồi ở từng giây chỉ tập trung thông tin đúng cần thiết, giúp thao tác mượt và ít va chạm hơn.
- Hệ thống tự đào tạo cột mốc cho robot kho: từ video demo sẵn có của nhân viên, phần mềm tự tách nhiệm vụ thành các mốc (chạm hàng → nhấc → đặt lên kệ), gắn mốc thời gian tự động bằng tín hiệu đóng mở gắp và pha chuyển động, làm dữ liệu huấn luyện mà không cần gắn nhãn thủ công.
- Module cải thiện độ chính xác trên dây chuyền lắp ráp: camera nhiều góc quan sát robot; tại mỗi bước lắp, hệ thống tự chọn đúng camera và vùng ảnh liên quan đến động tác hiện tại để điều chỉnh chuyển động, giảm lỗi ở các tác vụ nhiều giai đoạn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.40373 |
| ArXiv Abstract | https://arxiv.org/abs/2610.40373 |
| PDF Download | https://arxiv.org/pdf/2610.40373.pdf |
| Github Repository | N/A |
11. OSWAM: An Effective World Action Model with One-Step Action Generation (22 votes)
Tác giả: Guowen Zhang, Liyi Chen, Xu Hu, Pengfei Wang, Jingfan Chen, et al.
Xuất bản lúc: 2026-10-26
Tag: World Action Model, Diffusion, One-Step Generation, Autonomous Driving, Embodied Control, Vision-Language-Action, Distillation
I. Main Problem:
Các World Action Model (WAM) dạng direct-policy (như Fast-WAM, SimWAM) đã bỏ qua việc sinh video tương lai ở inference để tăng tốc, nhưng vẫn cần hàng chục bước denoising cho chuỗi hành động, khiến độ trễ quá cao cho ứng dụng thời gian thực (lái xe tự hành, điều khiển robot). Thu nhỏ số bước denoising còn 1 bước khiến chất lượng hành động sụp đổ: -20% PDMS trên NAVSIM (lái xe) và -40% success rate trên RoboTwin (robot). Nguyên nhân gốc rễ: quá trình diffusion khởi tạo từ noise Gaussian thuần, không mang cấu trúc hành động — các bước denoising nhiều lần vốn để dần ép tính nhất quán vật lý/thời gian, còn one-step phải tự khôi phục toàn bộ chuỗi hành động mạch lạc chỉ trong một cập nhật. Ngoài ra, direct-policy WAM chỉ nhìn frame đầu nên thiếu ngữ cảnh tương lai cho điều khiển dài hạn.
II. Main Idea:
OSWAM giải quyết bằng cách thay khởi tạo noise bằng imagination tokens có cấu trúc, cho phép sinh hành động chất lượng cao chỉ với 1 bước denoising:
- Action Imagination Tokens (AIT): một tập token nhỏ, thu được qua một lần forward của Video DiT, tương tác với đặc trưng ảnh frame đầu để tích lũy ngữ cảnh vật lý liên quan đến hành động. AIT được decode thành action prior có cấu trúc, làm điểm khởi đầu thay cho noise cho Action DiT.
- Scene Imagination Tokens (SIT): token ngữ cảnh cảnh vật bổ sung, tổng hợp thông tin scene cho AIT tham chiếu.
- Re-noising ở mức trung gian: prior từ AIT được nhiễu lại ở timestep trung gian (τ_r=500) rồi Action DiT chỉ cần một bước refine Euler duy nhất.
- Privileged-information distillation: một teacher nhìn toàn bộ video tương lai được huấn luyện riêng; tri thức dài hạn của teacher được chuyển vào AIT qua feature alignment nhiều tầng. Khi inference teacher bị bỏ, vẫn giữ giao diện chỉ-dùng-frame-đầu.
- Role-aware 3D RoPE: mã hóa vị trí riêng cho video token, AIT, SIT để phân tách vai trò trong cùng hệ tọa độ.
Ví dụ đời thường: giống như thay vì vẽ lại bức tranh từ giấy trắng mờ (noise), ta nhét sẵn một bản phác thảo rõ nét (imagination tokens) rồi chỉ cần một nét vẽ chỉnh sửa cuối — thay vì tô dần hàng chục lớp mới ra tranh hoàn chỉnh.
III. Main Results:
- NAVSIM (lái xe): PDMS 90.3 với chỉ 1 bước action denoising, ngang SimWAM (10 bước) với speedup 3.01×, vượt Metis +1.2 PDMS với 3.24× nhanh hơn; chỉ thua DriveVA 0.2 PDMS nhưng nhanh 4.36×.
- RoboTwin 2.0 (điều khiển song tay): success rate 90.00%, nhanh hơn Fast-WAM 2.80× (397→142ms) với chỉ -1.83% success; hơn Flash-WAM one-step +8.59% success và 4.29× nhanh hơn.
- Compiled inference (RTX 5090): độ trễ xuống 40.8ms (RoboTwin) và 52.6ms (NAVSIM), hỗ trợ tần suất >10Hz — đủ cho lái xe thời gian thực.
- Ablation: chỉ AIT đã nâng PDMS từ 71.0→89.8 và success RoboTwin từ ~57% lên ~88%; distillation và SIT cộng thêm từng chút, cho kết quả tốt nhất.
- Thế giới thực (PiPER): 80% success đặt bánh vào tô, 80% đặt cục tẩy vào ngăn kéo, thời gian hoàn thành nhanh hơn Fast-WAM.
IV. Conclusion & Future Works:
OSWAM chứng minh rằng nút cổ chai của direct-policy WAM không nằm ở số bước denoising mà ở thiếu prior cấu trúc trong khởi tạo: imagination tokens cung cấp prior vật lý với overhead tính toán không đáng kể, kết hợp distillation từ teacher có đặc quyền tương lai để giữ khả năng dự đoán dài hạn mà không cần rollout video ở inference. Kết quả là hành động một bước chất lượng ngang mô hình nhiều bước, mở đường triển khai thời gian thực. Bài báo không nêu rõ hướng mở rộng tương lai trong phần trích xuất.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng imagination tokens cho các tác vụ điều khiển cần lập kế hoạch dài hạn và đa mục tiêu, nơi prior cấu trúc phải bao phủ chuỗi hành động dài hơn.
- Nghiên cứu cách học imagination tokens tự giám sát từ dữ liệu video lớn không nhãn, giảm phụ thuộc vào dữ liệu demonstration đắt đỏ cho robot.
- Kết hợp distillation đặc quyền tương lai với reinforcement learning để cân bằng giữa bắt chước dữ liệu và tối ưu phần thưởng trong lái xe mô phỏng-đến-thật.
2. Patent:
- Hệ thống hỗ trợ lái thời gian thực trên xe hơi: camera trước quay cảnh đường, một mô hình trên chip xe tạo các 'token hình dung' hành động từ một lần xử lý hình ảnh rồi chỉnh quỹ đạo xe trong một bước duy nhất, cho phản ứng dưới 50 mili giây.
- Robot gia đình điều khiển bằng giọng nói qua điện thoại: người dùng nói 'mở ngăn kéo lấy đồ', điện thoại gửi ảnh hiện trường lên đám mây, mô hình sinh chuỗi động tác tay robot hoàn chỉnh trong một lần tính toán duy nhất thay vì nhiều vòng lặp.
- Module điều khiển cánh tay robot công nghiệp tần số cao: thay vòng lặp khử nhiễu nhiều bước bằng khởi tạo có cấu trúc từ token hình dung, cho phép robot phản ứng trên dây chuyền lắp ráp tốc độ cao mà không cần máy tính mạnh.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.35850 |
| ArXiv Abstract | https://arxiv.org/abs/2610.35850 |
| PDF Download | https://arxiv.org/pdf/2610.35850.pdf |
| Github Repository | https://github.com/PolyU-VCLab/OSWAM |
12. ReLift: Dense 3D Tracking as Lifted Trajectory Repair (22 votes)
Tác giả: Assaf Singer, Maroun Khriesh, Noam Rotstein, Yoni Kasten, Or Litany
Xuất bản lúc: 2026-10-30
Tag: 3D Tracking, Point Tracking, Monocular Video, Trajectory Correction, Depth Estimation, Computer Vision
I. Main Problem:
Theo dõi vật thể trong không gian 3D từ video một camera (monocular) hiện thường đòi hỏi một mạng học sâu đầu-cuối phải làm đồng thời ba việc: tìm tương ứng 2D giữa các frame, ước lượng hình học cảnh (depth, camera pose), và suy đoán chuyển động khi bị che khuất (occlusion). Đây là mục tiêu rất khó vì:
- dữ liệu giám sát 4D khan hiếm (quỹ đạo 3D gắn nhãn của cảnh động gần như không có)
- khi điểm bị che, mô hình depth cho ra depth của vật che chứ không phải của điểm đang theo dõi
- lỗi tương ứng và lỗi depth tích lũy thành quỹ đạo gãy khúc, giật cục theo thời gian.
II. Main Idea:
ReLift tách bài toán thành ghép các mô hình pretrained mạnh sẵn có rồi chỉ học phần còn thiếu — sửa quỹ đạo:
- Dùng 2D tracker pretrained (AllTracker, CoWTracker) cho tương ứng điểm ảnh và mô hình hình học pretrained (Depth Anything 3, VGGT-Ω, 4RC) cho depth + camera pose; kết hợp tia nhìn (ray) với khoảng cách để nâng mỗi điểm 2D thành điểm 3D — gọi là lift; các đoạn bị che được nội suy tuyến tính làm khởi tạo. Bất ngờ là lift thô này đã ngang hoặc vượt các tracker 3D chuyên dụng dùng cùng hình học.
- Một trajectory corrector nhỏ (feed-forward) nhận quỹ đạo lift (bị lỗi, thiếu đoạn) và dự đoán residual 3D để: giữ nguyên quan sát tin cậy, sửa vị trí hỏng (sai ray, depth jitter/drift, dính nhầm bề mặt), và hoàn thiện chuyển động trong vùng bị che. Kiến trúc dùng attention xen kẽ dọc theo quỹ đạo (tổng hợp bằng chứng thời gian) và giữa các quỹ đạo (chia sẻ chuyển động không gian), với chunking theo nhóm track để chạy nhanh trên toàn bộ ảnh.
- Huấn luyện không cần ảnh, không cần chạy tracker/depth nào: mô phỏng trực tiếp các kiểu lỗi lifting (xoay nhẹ ray, nhiễm log-range tương quan thời gian, outlier sai bề mặt, mất quan sát do vật che) lên quỹ đạo sạch của PointOdyssey — kiểu domain randomization. Nhờ đó một bộ trọng số duy nhất cải thiện mọi tổ hợp tracker–geometry mà không cần train lại, và tự động hưởng lợi khi các thành phần pretrained tương lai tốt hơn.
Ví dụ đời thường: giống thợ sửa đồng hồ nhận một bộ máy đã lắp sẵn từ xưởng — kim chỉ sai lệch vài vị trí và thiếu vài chi tiết; thay vì làm lại từ đầu, ông chỉ quan sát các bộ phận còn nguyên, suy ra chuyển động đúng và chỉnh lại đúng chỗ hỏng, lắp thêm chỗ thiếu.
III. Main Results:
- SOTA trên WorldTrack (4 tập ADT, PS, PointOdyssey, Dynamic Replica): cấu hình CoWTracker + 4RC đạt mean APD3D 89.01 (all points) và 86.95 (dynamic points), vượt baseline mạnh nhất +2.1 APD tổng thể và +3.0 trên điểm động; đặc biệt dẫn đầu cả hai tập dữ liệu thực ADT và PS.
- Cùng một corrector (không retrain) cải thiện cả 6 tổ hợp tracker–geometry; với hình học của 4RC, pipeline vượt chính dự đoán quỹ đạo của 4RC (+2.1 all, +5.4 dynamic).
- Lift thô (chưa sửa) với CoWTracker + VGGT-Ω đã đạt 84.9 mean APD3D, cao hơn TrackCraft3R (83.9) và DELTAv2 (81.1) dùng cùng hình học; correction cộng thêm +1.6 đến +3.6 điểm, lợi ích lớn nhất trên điểm bị che khuất.
- Tốc độ: cấu hình VGGT-Ω chạy 2.7–4.4× nhanh hơn 4RC toàn pipeline (7.3–11.7s) trong khi vẫn cạnh tranh về độ chính xác; 2D tracker gốc (CoWTracker) còn vượt mọi phương pháp 3D về độ chính xác trên mặt phẳng ảnh (APD2D).
- Ablation: train trên lift mô phỏng tốt hơn train trên lift thật từ provider (model train trên lift thật của VGGT-Ω làm giảm độ chính xác trên mọi tập test); trong các kiểu nhiễu mô phỏng, bỏ wrong-surface corruptions gây sụt accuracy nhiều nhất; chunk C=4 frames là điểm cân bằng tốt giữa tốc độ và độ chính xác.
IV. Conclusion & Future Works:
Bài báo chứng minh rằng tái sử dụng 2D tracking và hình học pretrained + tập trung giám sát 4D khan hiếm vào sửa/hoàn thiện quỹ đạo là cách hiệu quả hơn học đầu-cuối: một corrector duy nhất, train trên lỗi mô phỏng, cải thiện mọi provider kèm theo và đạt SOTA với tốc độ cao hơn đáng kể. Hướng tương lai: tăng độ bền với lỗi hình học đầu vào và với các lỗi tương ứng dai dẳng (persistent correspondence errors) — hai điểm yếu còn lại mà tác giả tự ghi nhận.
V. Brainstorming Space:
1. Publish Papers:
- Kết hợp ReLift với mô hình ước lượng độ bất định: corrector tự nhận biết khi nào lift quá sai để đáng tin, từ đó từ chối sửa hoặc yêu cầu thông tin bổ sung thay vì sửa mù.
- Phiên bản corrector chịu được lỗi camera pose và lỗi tương ứng kéo dài (trajectory switching sang vật khác), vốn chưa được mô phỏng trong huấn luyện hiện tại.
- Ứng dụng framework repair-and-completion cho dữ liệu cảm biến thật từ điện thoại/AR glasses: tối ưu corrector để chạy real-time trên thiết bị di động cho theo dõi 3D từng chấm ảnh.
2. Patent:
- Ứng dụng camera điện thoại theo dõi chuyển động 3D cho video AR: ứng dụng chạy tracker 2D và mô hình đo độ sâu trên video, sau đó mô-đun sửa quỹ đạo hoàn thiện chuyển động của từng điểm ngay cả khi vật bị che bởi người/vật khác — cho hiệu ứng thực tế tăng cường gắn chặt với vật thể.
- Hệ thống phân tích chuyển động thể thao bằng một camera điện thoại: nâng quỹ đạo 2D của từng điểm trên cơ thể vận động viên thành 3D, module sửa quỹ đạo loại bỏ độ giật do ước lượng độ sâu từng frame và điền chuyển động khi vận động viên bị che, xuất chỉ số kỹ thuật 3D theo thời gian thực.
- Công cụ tái tạo cảnh động cho quay phim và game: từ video quay bằng điện thoại, hệ thống trích quỹ đạo 3D dày đặc của cảnh, sửa lỗi bằng mô hình sửa quỹ đạo học sẵn rồi đưa vào mô phỏng/sensor simulation, giảm chi phí so với thiết bị quay chuyên dụng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.42136 |
| ArXiv Abstract | https://arxiv.org/abs/2610.42136 |
| PDF Download | https://arxiv.org/pdf/2610.42136.pdf |
| Github Repository | https://github.com/ReLift3D/ReLift |
13. CEPO: A General Framework for Improving Prompt Optimization in Multi-Agent Systems (20 votes)
Tác giả: Jongha Kim, Seohyun Lee, Jonathan Minho Chung, Jinsung Yoon, Hyunwoo J. Kim
Xuất bản lúc: 2026-10-26
Tag: Multi-Agent Systems, Prompt Optimization, LLMs, Agent Coordination, Prompt Engineering
I. Main Problem:
Các hệ thống multi-agent (MAS) đòi hỏi đồng thời điều phối ở cấp hệ thống và thực thi chuyên môn ở cấp từng agent. Các phương pháp tối ưu prompt hiện có (PE2, OPRO, ProTeGi, MASPO...) gộp chung hai chức năng này trong cùng một prompt riêng của từng agent, dẫn đến:
- Muốn sửa một quy tắc điều phối dùng chung phải chỉnh nhất quán nhiều prompt khác nhau với trách nhiệm thực thi khác nhau — rất cồng kềnh và dễ mâu thuẫn.
- Hướng dẫn cập nhật prompt (optimization guidance) là không phân biệt vai trò, nên không tận dụng được bản chất khác nhau của coordination và execution.
II. Main Idea:
CEPO (Coordinator-Executor Prompt Optimization) là khung tổng quát cải thiện mọi prompt optimizer cho MAS qua hai nguyên tắc bổ trợ:
- Phân tách prompt coordinator–executor: thêm một coordinator prompt dùng chung pC chứa quy tắc hệ thống (cách chia sẻ kết quả, xử lý mâu thuẫn giữa các agent), ghép trước mỗi executor prompt riêng pE(i) mô tả cách agent đó làm nhiệm vụ: prompt hiệu dụng = pC ⊕ pE(i). Sửa pC một lần là áp dụng nhất quán cho tất cả agent.
- Role-aligned optimization: cung cấp hai meta-instruction riêng — ΦC hướng optimizer cải thiện cộng tác cấp đội khi cập nhật coordinator, ΦE hướng cải thiện thực thi cấp agent khi cập nhật executor. CEPO chỉ định cấu trúc prompt và hướng dẫn; optimizer có sẵn (PE2, OPRO, ProTeGi, MASPO) vẫn làm phần tìm kiếm, không cần sửa đổi.
- Quy trình 2 pha: Pha 1 tối ưu coordinator (executor cố định), pha 2 tối ưu executor đã chọn (coordinator cố định), chọn theo điểm validation cấp hệ thống.
Ví dụ đời thường: giống quản lý nhà hàng viết một quy tắc phục vụ chung dán ở khu bếp cho cả đội (ai giao món, ai xử lý khiếu nại), còn mỗi nhân viên có sổ tay riêng dạy tay nghề của mình — đổi quy tắc chung một lần là cả đội đổi theo, không phải viết lại từng sổ tay.
III. Main Results:
- 11 benchmark, 4 lĩnh vực (hiểu tài liệu, suy luận toán, sinh code, hiểu video dài): CEPO cải thiện đều đặn khi áp lên cả 4 optimizer (PE2, ProTeGi, OPRO, MASPO).
- Hiểu tài liệu: MDocAgent +4.3 điểm trung bình (MMLongBench-Doc +6.9), DocAgent +2.7 (MMLongBench-Doc +7.9).
- Toán + code với MASPO + CEPO: +5.07 điểm trung bình so với baseline, thắng cả MASPO thuần ở mọi benchmark.
- Video dài (LongTVQA+): 60.3 → 64.9 (+4.6 so với baseline).
- Hiệu quả ngân sách: chỉ 1+1 vòng lặp đã đạt 60.1, vượt PE2 thuần chạy 3 vòng (57.9) với ít API call hơn.
- Scale tốt hơn khi tăng số agent: lợi thế so với baseline tăng từ +3.9 (2 agent) lên +6.9 (5 agent), trong khi vanilla PE2 thậm chí tệ hơn không tối ưu ở 3 agent.
- Swap experiment: dùng đúng guidance theo vai trò đạt 61.0; đảo ngược guidance tụt xuống 57.7 — chứng minh role-aligned guidance là yếu tố then chốt.
- Phân tích định tính: coordinator tiến hóa từ mô tả chung chung thành quy tắc điều phối cấp đội (flag xung đột, chỉ ra vấn đề chưa giải quyết), executor thành quy trình thực thi cụ thể (kết hợp OCR + ảnh, trích xuất bảng).
IV. Conclusion & Future Works:
CEPO giải quyết nút thắt coordination–execution bị gộp chung bằng cách biến hai chức năng thành hai mục tiêu tối ưu riêng với guidance đúng vai trò, và là khung bổ trợ (plug-in) cho optimizer hiện có thay vì thay thế chúng. Kết quả nhất quán trên 11 benchmark và hiệu quả ngân sách tốt hơn cho thấy giá trị của cách cấu trúc và hướng dẫn tối ưu prompt, vượt xa việc chỉ tăng ngân sách tối ưu hay độ dài prompt. Các nghiên cứu kiểm soát cho thấy lợi ích của tối ưu coordination tường minh tăng theo quy mô MAS. Tác giả lưu ý rủi ro: tối ưu prompt dễ dàng hơn có thể khuyến khích triển khai thiếu kiểm chứng — cần validation theo tác vụ và giám sát con người.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng CEPO cho MAS động: coordinator prompt tự cập nhật khi agent được thêm/xóa lúc runtime mà không cần tối ưu lại toàn bộ hệ thống.
- Kết hợp CEPO với tối ưu topology mạng agent, cho phép coordinator prompt và cấu trúc liên lạc giữa các agent được tinh chỉnh đồng thời.
- Nghiên cứu lịch tối ưu thích ứng: tự quyết định thứ tự và ngân sách cập nhật coordinator/executor theo tín hiệu thất bại thay vì lịch 2 pha cố định.
2. Patent:
- Hệ thống tối ưu prompt cho trợ lý AI đa tác vý trên điện thoại: một prompt điều phối dùng chung cho toàn bộ agent (tìm kiếm, dịch thuật, lập lịch) được tinh chỉnh tập trung, kèm prompt thực thi riêng từng agent, cập nhật qua đám mây mà không cần sửa từng agent.
- Nền tảng cộng tác nhiều chatbot doanh nghiệp: module phân tách 'quy tắc làm việc nhóm' (chia sẻ thông tin khách hàng, xử lý tranh chấp kết quả) thành prompt dùng chung, giúp thay đổi quy trình công ty chỉ bằng một lần cập nhật tập trung.
- Trợ lý ảo đa agent trên thiết bị di động cho xử lý tài liệu dài: tối ưu lần lượt prompt điều phối rồi prompt từng agent chuyên môn, giảm số lần gọi API xuống tối thiểu mà vẫn tăng độ chính xác, tiết kiệm chi phí và pin.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.34722 |
| ArXiv Abstract | https://arxiv.org/abs/2610.34722 |
| PDF Download | https://arxiv.org/pdf/2610.34722.pdf |
| Github Repository | https://github.com/mlvlab/CEPO |
14. CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents (19 votes)
Tác giả: Yijia Fan, Xilin He, Yilei Jiang, Dongming Wu, Jiaxu Wang, et al.
Xuất bản lúc: 2026-10-29
Tag: Code-as-Policy, Robot Learning, Reinforcement Learning, Vision-Language Models, Sim-to-Real, LIBERO
I. Main Problem:
Các tác tử robot kiểu code-as-policy hiện có hoặc phụ thuộc vào frontier model đắt tiền và khó fine-tune, hoặc ủy quyền thao tác cho VLA/skill có sẵn nên không tự học cách grasp, place, recover. Trong khi đó các small open VLM gần như thất bại ngay khi điều khiển robot trực tiếp.
- Khó khăn cốt lõi: ở mức primitive thấp, một episode có hàng chục request, nhiều request chỉ quan sát/kiểm tra, còn kết quả vật lý chỉ lộ ra sau vài lượt hoặc cuối episode.
- Nếu chỉ dùng outcome-only RL, mọi request nhận cùng phần thưởng cuối; nếu dùng critic ngôn ngữ thông thường, nó phải suy đoán tiến trình vật lý gián tiếp từ ảnh/text.
II. Main Idea:
CaPtain đưa công thức SFT rồi multi-turn RL của tác tử ngôn ngữ vào robot manipulation bằng cách khóa policy trong CaPtain-Harness: chỉ có 22 primitive cấp thấp về perception, đo hình học và guarded motion, mỗi lệnh trả về text receipt nói điều đã xảy ra vật lý.
- Stage 1 - SFT: sinh synthetic trajectories trong đúng harness bằng GPT-6 Astra, dạy Qwen3.5-4B đọc ảnh, gọi API thấp, kiểm tra receipt và kết thúc bằng finish().
- Stage 2 - RL multi-turn: dùng simulator critic đọc privileged physical state trong mô phỏng mà policy không được thấy, ví dụ pose vật, trạng thái grasp, sub-goal progress; critic ước lượng xác suất success và gán credit cho từng request bằng mức thay đổi xác suất thành công. Request chỉ nhìn/đo nhận credit gần 0; credit tập trung vào grasp, lift, place, recover. Critic chỉ dùng lúc train, test chỉ dùng ảnh camera + receipt.
Ví dụ đời thường: giống người học nghề sửa máy không học thuộc nút “grasp/place”, mà tự cầm cờ-lê đo vị trí, thử cử động, đọc phiếu trả lời xem có va chạm không; người thầy đứng trong phòng máy biết chính xác bên trong máy đang ở đâu và chỉ ghi điểm cho bước nào đưa máy gần chạy được hơn, còn khi ra xưởng thật người học chỉ dựa vào mắt và phiếu trả lời.
III. Main Results:
- Từ Qwen3.5-4B gần 0% zero-shot, CaPtain-4B đạt 55.4% sau SFT và 73.8% sau RL trên held-out LIBERO; strict success đạt 67.5%.
- Trên LIBERO-PRO, CaPtain-4B đạt 78.5% ở 3 suites và 68.6% ở all-4 suites, vượt K1 77.2%, WAA 75.6%, ASPIRE 71.7%.
- RL không chỉ tăng điểm in-distribution mà giữ được dưới perturbation: +19.0 trên LIBERO-PRO, +17.6 trên LIBERO-Plus, +21.2/+18.8 trên LIBERO-MAX Dynamic/Base.
- Chi phí ước tính khoảng $0.03-0.06/episode trên LIBERO, thấp hơn nhiều so với các code-agent dùng frontier API.
- Zero-shot: 83.3% SimplerEnv WidowX, 75.0 CaP-Bench, chạy được trên robot thật sau khi chỉ adapt trong mô phỏng thô; hạn chế rõ ở RoboTwin 2.0 22.6% và RoboDojo 0.8% khi cần dual-arm coordination hoặc kinematics lạ.
IV. Conclusion & Future Works:
Bài báo chỉ ra rằng robot manipulation qua một harness thực thi cấp thấp có thể được post-training giống tác tử ngôn ngữ khác: SFT để học giao diện, RL để học điều khiển kín, phục hồi lỗi và tự xác nhận hoàn thành. Điểm mấu chốt là tận dụng mô phỏng để xây critic có privileged physical state, biến sparse outcome thành dense per-request credit mà policy vẫn triển khai chỉ từ ảnh và receipt. Hướng mở rộng tự nhiên là cải thiện transfer sang dual-arm coordination, arm kinematics lạ, tác vụ dài hơn, đồng thời giảm chi phí rollout và rút ngắn khoảng cách sim-to-real khi không có simulated twin sẵn có.
V. Brainstorming Space:
1. Publish Papers:
- Phân tích hệ thống cách gán credit vật lý cho tác tử viết code: khi nào nên dùng simulator critic, khi nào nên dùng self-critic từ ảnh/receipt, và cách kết hợp cả hai để giảm bias khi triển khai ngoài mô phỏng.
- Mở rộng CaPtain sang điều khiển nhiều cánh tay và handover bằng cách học phân vai active/passive, đồng bộ timing và an toàn va chạm trực tiếp ở mức primitive thay vì gọi skill cao.
- Nghiên cứu sim-to-real cho policy viết code khi không có bản sao mô phỏng chính xác: dùng vài phút thao tác thử trên robot thật để hiệu chỉnh geometry, force threshold và receipt semantics trước khi chạy tác vụ dài.
2. Patent:
- Ứng dụng điện thoại điều khiển robot gia dụng: người dùng nói/nhắn yêu cầu, điện thoại gửi ảnh camera tới một mô hình nhỏ chạy cục bộ hoặc cloud; robot chỉ thực hiện các động tác cơ bản như di chuyển tới tọa độ, đóng/mở kẹp, đo khoảng cách, sau mỗi động tác nhận lại biên bản ngắn giúp tự sửa lỗi va chạm hoặc rơi đồ.
- Hệ thống huấn luyện robot trong mô phỏng có “người chấm điểm ẩn”: phần mềm mô phỏng biết vị trí chính xác của vật và trạng thái kẹp, chấm điểm từng lệnh robot theo mức làm tăng khả năng hoàn thành tác vụ; khi ra nhà máy thật phần chấm điểm được tháo bỏ để robot tự xử lý từ camera và cảm biến lực.
- Module an toàn cho robot cộng tác: trước mỗi ca làm việc, robot chạy vài động tác thăm dò ngắn trong mô phỏng hoặc vùng an toàn, ghi lại lực tiếp xúc, khoảng cách va chạm và sai lệch tọa độ rồi tự chỉnh ngưỡng dừng, hành trình lùi và cách xác nhận đã hoàn thành việc gắp/đặt vật.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.40799 |
| ArXiv Abstract | https://arxiv.org/abs/2610.40799 |
| PDF Download | https://arxiv.org/pdf/2610.40799.pdf |
| Github Repository | https://github.com/waltstephen/CaPtain |
15. Probing Spatial State Representations in Visual Foundation Models (14 votes)
Tác giả: Baiqiao Yin, Zhongang Cai, Ruisi Wang, Qiwei Liang, Lei Yang, et al.
Xuất bản lúc: 2026-10-29
Tag: Visual Foundation Models, Spatial Representations, Probing, Object Persistence, World Models, Egocentric Vision
I. Main Problem:
Con người nhìn thế giới qua từng khung hình gián đoạn nhưng vẫn nhớ vật thể đã khuất khỏi tầm nhìn, tự cập nhật vị trí khi di chuyển và dùng thông tin đó để hành động. Câu hỏi: các visual foundation model (VFM) có hỗ trợ được trạng thái không gian kiểu đó không? Hiệu suất tốt trên mục tiêu huấn luyện (phân loại, tạo video...) không đảm bảo model sở hữu các khả năng không gian — cần một khung đánh giá đa chiều thay vì một benchmark đơn lẻ.
II. Main Idea:
Tác giả định nghĩa vận hành trạng thái không gian qua 4 cấp độ chức năng, rồi dùng frozen-feature probes (đầu đọc nhẹ huấn luyện riêng, backbone bị đóng băng) kiểm tra 10 representation trên luồng quan sát egocentric từ ScanNet++:
- L1 Spatial structure: đọc geometry số học (depth, camera pose), phân tách instance, tương ứng giữa các viewpoint
- L2 Object persistence: định vị vật thể đã khuất khỏi tầm nhìn nhờ object query từ frame trước
- L3 Predictive spatial update: dự đoán feature tương lai từ chuyển động camera (một bước) hoặc tích hợp đường đi tuần tự (path integration)
- L4 Actionability: dự đoán hành động hướng tới goal frame
Kèm matched controls (xáo trộn motion/history/goal) để tách "đọc được thông tin" khỏi "thực sự dùng thông tin đó".
Ví dụ đời thường: giống thi trắc nghiệm kiểm tra học sinh — không dạy lại kiến thức (đóng băng model), chỉ hỏi từ dạng câu hỏi đơn giản tới phức tạp để xem cậu ta thật sự nắm tới đâu, và bẫy câu phụ để phát hiện đoán mò.
III. Main Results:
- Không model nào thắng mọi tác vụ: Fast3R mạnh nhất về camera-pose và object persistence; DINOv2 dẫn direct future prediction; V-JEPA2 dẫn path integration.
- Object persistence không theo độ chính xác của scene hiện tại: VideoMAE định vị vật khuất tầm nhìn tốt hơn DINOv2 và Qwen2.5-VL dù yếu hơn hẳn về depth/instance/view; persistence tương quan với camera-pose readout (ρ=0.76), không phải với các metric scene hiện tại.
- Prefix dài hơn không giúp ích đồng đều: 8/8 model sụt object persistence khi tăng prefix từ 8→24 frame (VideoMAE từ 29.55° lên 54.80°); lớp tối ưu cũng khác nhau giữa các tác vụ.
- Decodability ≠ input use: với V-JEPA2, copy feature cuối còn tốt hơn học dự đoán; VideoMAE dù lịch sử không đem lại lợi ích đo được vẫn định vị tốt nhất — điểm cao không chứng minh probe dùng lịch sử tích lũy.
- Native prediction giữ cấu trúc không gian nhưng đổi 'giao diện đọc': reader huấn luyện trên feature thật áp lên feature dự đoán bị sụt accuracy (depth MAE 0.182→0.246); retrain reader mới chỉ phục hồi một phần.
- Goal conditioning không tạo utility thật: đổi goal xoay hành động dự đoán 30–46°, nhưng cung cấp goal đúng không cải thiện đáng tin cậy tiến độ tiến về goal.
- Hai chuỗi ingredient: persistence và actionability dựa trên camera-pose readout; feature prediction dựa trên visible-scene readout.
IV. Conclusion & Future Works:
Đánh giá representation không gian phải đa chiều: không chỉ hỏi đọc được gì từ ảnh hiện tại, mà còn thông tin có được duy trì ngoài quan sát, cập nhật dự đoán, và dùng cho hành động hướng mục tiêu hay không. Readout accuracy, input use và goal-specific utility là ba khía cạnh tách rời nhau. Hướng mở rộng: môi trường có động lực học vật thể và vật lý tiếp xúc (paper chỉ xét scene tĩnh), trạng thái online thay vì từng prefix độc lập, và các biện pháp huấn luyện tăng cường persistence/actionability có chủ đích.
V. Brainstorming Space:
1. Publish Papers:
- Phương pháp huấn luyện VFM tối ưu hóa riêng object persistence và camera-pose readout, kiểm chứng qua chuỗi capability L1→L2 của khung probing này.
- Kiến trúc world model kết hợp recurrent state với kiểm soát chất lượng: phát hiện khi feature dự đoán làm hỏng 'giao diện đọc' không gian và tự kích hoạt re-encode từ quan sát thật.
- Đánh giá tác nhân embodied trên tiêu chí actionability chức năng: utility hành động theo goal thật thay vì chỉ độ chính xác dự đoán, kèm controls xáo trộn goal.
2. Patent:
- Ứng dụng AR dẫn đường trong nhà trên điện thoại: camera điện thoại ghi nhớ vị trí vật thể (cửa, cầu thang, đồ vật) đã đi qua và lọt khỏi khung hình, hiển thị lại hướng dẫn tới vật đó dưới dạng mũi tên so với người dùng hiện tại.
- Trợ lý hình ảnh cho người khiếm thị: điện thoại đeo trước ngực liên tục cập nhật 'bản đồ vật thể khuất tầm' (ghế, cột, quầy) khi người dùng quay đầu, cảnh báo khi bước tới gần vị trí vật cũ.
- Robot hút bụi và robot giao hàng trong nhà: lựa chọn model encoder theo hồ sơ capability đo được (object persistence tốt thay vì depth tốt) để robot nhớ vị trí đồ vật sau khi rẽ góc, tránh va chạm khi quay lại đường cũ.
- Hệ thống kiểm thử tự động cho model thị giác dùng trong xe/nhà thông minh: chạy bộ probe kiểm tra camera-pose readout và persistence trước khi triển khai, từ chối model có 'điểm sáng' nhưng mất dấu vật thể khuất tầm nhìn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.40636 |
| ArXiv Abstract | https://arxiv.org/abs/2610.40636 |
| PDF Download | https://arxiv.org/pdf/2610.40636.pdf |
| Github Repository | N/A |
16. WorldBridge: Bridging Video and Action for Task Generalization in World Action Models (12 votes)
Tác giả: Jun Cen, Yubo Guo, Hao Li, Liangkai Li, Yaoxu Lyu, et al.
Xuất bản lúc: 2026-10-29
Tag: World Action Models, VLA, Robotics, Video Prediction, Flow Matching, Task Generalization, Imitation Learning
I. Main Problem:
Robot hiện đại không khái quát hóa được sang tác vụ mới — chúng học rất tốt các tác vụ đã có trong dữ liệu huấn luyện nhưng thất bại khi được yêu cầu làm việc chưa từng thấy. Bài toán cốt lõi: hiểu chỉ dẫn ngôn ngữ không đồng nghĩa với năng lực vận hành thể chất. Cần trả lời: video supervision (dữ liệu video các tác vụ mới) và action supervision (mẫu hành động có nhãn) đóng góp thế nào vào khả năng chuyển tác vụ, và khi nào mắt xích nối giữa chúng (video-to-action bridge) trở thành điểm nghẽn?
II. Main Idea:
Nghiên cứu tách khái quát hóa tác vụ thành hai khả năng bổ sung: video generalization (dự đoán diễn biến hình ảnh của tác vụ mới) và action generalization (dịch dự đoán đó thành hành động thực thi được qua cầu nối video-to-action, đóng vai trò như inverse dynamics model).
Thí nghiệm thay đổi dần supervision cho tác vụ ngoài phân phối (OOD) trên RoboTwin 2.0:
- chỉ dữ liệu video-action trong phân phối → 25.07% SR
- thêm video OOD (không nhãn hành động) → 55.90% SR
- thêm chỉ 1 mẫu hành động có nhãn mỗi tác vụ → 70.70% SR
Kết luận: video mở rộng phạm vi tác vụ mô hình mô phỏng được, còn action supervision củng cố khả năng biến mô phỏng thành điều khiển.
Từ đó xây WorldBridge, mô hình WAM gồm:
- Mixture-of-Transformers (MoT): video expert và action expert riêng, trao đổi qua joint self-attention
- Joint flow matching: hai expert được nhiễu ở mức τ độc lập rồi khử nhiễu đồng thời
- Bộ nhớ hai tầng (short-term + long-term) cho ngữ cảnh thời gian
- Action forcing: gán mức nhiễu khác nhau cho từng nhóm hành động trong chunk, buộc action expert dựa vào ngữ cảnh thị giác
- Attention mask theo giai đoạn: định hướng luồng thông tin context → video tương lai → hành động
- Pipeline dữ liệu thống nhất: chuẩn hóa robot + video egocentric (quay từ góc nhìn người) về không gian hành động chung 46 chiều với validity mask, lọc chất lượng bằng kiểm tra động học và hình học.
Ví dụ đời thường: giống người thợ học nghề — xem clip quay sẵn của một việc chưa từng làm đã giúp hình dung được quy trình (video), nhưng phải được sửa tay một lần thật (vài mẫu hành động) mới làm đúng được; WorldBridge chính là cái cầu nối giữa "nhìn hiểu" và "làm được".
III. Main Results:
Khái quát hóa tác vụ (RoboTwin 2.0, OOD tasks):
- Baseline ID-only: 25.07% SR
-
- video OOD: 55.90% SR
-
- 1 mẫu action OOD: 70.70% SR
SOTA trên nhiều benchmark so sánh:
- RoboTwin 2.0 full data: 96.23% (clean-to-random: 80.9%)
- RoboCasa GR1 TableTop: 82.8%
- RMBench: 83.0% (ngang kết quả tốt nhất)
- DOMINO Level-1: 57.6%
Dữ liệu huấn luyện sau lọc: 3.38 triệu episode / 22,321 giờ (gồm robot đa dạng: single-arm, bimanual, humanoid + video egocentric của bàn tay người).
Triển khai thực tế trên AgiBot G2 và ARX AC-1 (fine-tune từ cùng một checkpoint pretrain): xử lý tốt tác vụ long-horizon, phụ thuộc bộ nhớ, định vị không gian và phối hợp hai tay.
IV. Conclusion & Future Works:
Khái quát hóa tác vụ trong WAM đến từ vai trò bổ sung của hai thành phần: dự đoán video mở rộng phạm vi tác vụ mô hình hiểu được, còn grounding hành động chuyển hiểu biết đó thành điều khiểc tin cậy — thậm chí vài mẫu action có nhãn cũng tạo nhảy vọt lớn. WorldBridge cho thấy kiến trúc video expert + action expert kết nối có cấu trúc, kèm pipeline dữ liệu thống nhất giữa robot và con người, là nền tảng khả thi cho robot đa nhiệm. Hướng đi tự nhiên tiếp theo: mở rộng coverage video, cải thiện cầu nối video-to-action cho các tác vụ có động lực học phức tạp hơn.
V. Brainstorming Space:
1. Publish Papers:
- Phân tích định lượng sâu hơn về điều kiện cần để cầu nối video-to-action transfer được: khi nào video-only đủ, khi nào bắt buộc cần action supervision.
- Mở rộng action forcing sang dự đoán hành động đa tầng thời gian (hierarchical action chunks) cho tác vụ long-horizon.
- Học cầu nối video-to-action từ video egocentric con người thuần túy cho robot có cơ cấu hoàn toàn khác (cross-embodiment transfer).
2. Patent:
- Hệ điều khiển robot gia đình học tác vụ mới từ video: người dùng quay clip mình làm một việc (ví dụ gấp khăn) bằng điện thoại; hệ thống trích xuất diễn biến hình ảnh và chuyển thành chuỗi lệnh điều khiển cánh tay robot thực hiện theo, chỉ cần sửa tay 1 lần qua giao diện cảm ứng.
- Module huấn luyện nhanh cho robot nhà máy: khi có mẫu sản phẩm mới, kỹ thuật viên thao tác thử 1 lần trước camera; robot tự kết hợp video quan sát từ nhiều lần lặp lại với mẫu hành động hiếm để nắm quy trình mà không cần lập trình lại.
- Trợ lý robot hai tay phối hợp trong bếp: dùng bộ nhớ thị giác dài-ngắn hạn để robot theo dõi tiến độ nấu nhiều món, dự đoán trước trạng thái bếp và điều phối hai tay xử lý đồ vật mềm, dụng cụ nhỏ theo chỉ dẫn giọng nói.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.40748 |
| ArXiv Abstract | https://arxiv.org/abs/2610.40748 |
| PDF Download | https://arxiv.org/pdf/2610.40748.pdf |
| Github Repository | N/A |
17. GLOW-FM: Efficient Generative Low-Light Image Enhancement with One-Step Latent Flow Matching (10 votes)
Tác giả: Ariel Lapid, Yuval Haitman, Reuven Peretz, Arnon Netzer, Idit Diamant
Xuất bản lúc: 2026-10-22
Tag: Low-Light Image Enhancement, Flow Matching, Diffusion Models, Image Restoration, Latent Space, Efficient Inference, Computer Vision
I. Main Problem:
Tăng cường ảnh ánh sáng yếu (LLIE) đòi hỏi phục hồi ảnh sáng tốt, chân thực từ ảnh suy thoái nghiêm trọng (thiếu sáng, nhiễu cảm biến, méo màu, mất chi tiết). Bài toán cốt lõi:
- Mô hình regression nhanh nhưng cho kết quả nhẵn, mất chi tiết, yếu khi suy thoái nặng.
- Mô hình generative (diffusion) chất lượng tốt nhưng cần lấy mẫu lặp nhiều bước, tốn kém tính toán — ví dụ WCDM cần 10 NFEs và ~90 GFLOPs, ReDDiT cần 2 NFEs và ~128 GFLOPs.
- Vẫn thiếu phương pháp vừa chất lượng cao, chỉ 1 lần đánh giá hàm (1 NFE), vừa tổng chi phí tính toán thấp, đủ khả năng triển khai trên thiết bị hạn chế tài nguyên như camera smartphone.
II. Main Idea:
GLOW-FM khung tăng cường ảnh thiếu sáng generative dựa trên flow matching trong không gian latent chỉ với một bước. Các thành phần chính:
- Ảnh thiếu sáng và ảnh sáng bình thường được mã hóa vào latent space của một Tiny-VAE đóng băng (TAESD) — giảm chi phí encode/decode ~15× lần và tham số ~33× so với SD-VAE, đồng thời latent chứa cấu trúc ngữ nghĩa giúp tổng quát hóa tốt hơn.
- Học vận chuyển có điều kiện từ phân phối latent thiếu sáng (t=1) sang latent sáng bình thường (t=0) dọc theo đường nội suy tuyến tính; latent nguồn được thêm nhiễu Gaussian nhỏ để ổn định huấn luyện.
- Dùng Terminal Velocity Matching (TVM) — lần đầu được áp dụng cho image restoration/LLIE: thay vì tích phân từng bước velocity field, mạng dự đoán trực tiếp phép dịch chuyển hữu hạn giữa hai thời điểm bất kỳ, với mục tiêu TVM được giám sát bằng mạng EMA (teacher) qua Jacobian-vector product. Hàm mất mát = L_FM + λ·L_TVM (λ tăng dần warmup).
- Kiến trúc HDiT (Hourglass Diffusion Transformer): attention toàn cục chỉ ở tầng độ phân giải thấp, neighborhood attention ở tầng cao → chi phí tuyến tính O(n).
- Suy luận: 1 bước duy nhất từ latent thiếu sáng thẳng tới latent đã tăng sáng rồi decode; có thể mở rộng thành few-step nếu cần.
Ví dụ đời thường: giống đi thang máy từ tầng tối nhất lên thẳng tầng sáng chỉ một lần nhấn nút, thay vì leo từng bậc cầu thang (diffusion lặp nhiều bước) hay đi nhiều khúc cua (tích phân velocity từng đoạn ngắn).
III. Main Results:
- Hiệu quả vượt trội: GLOW-FM-S chỉ cần 1 NFE, 34 GFLOPs, 9.1M tham số — rẻ hơn rõ rệt so với PyDiff (4 NFEs, 473 GFLOPs), WCDM (10 NFEs, 90 GFLOPs), ReDDiT (2 NFEs, 128 GFLOPs).
- LSD-DLL (paired, thực tế khó): kết quả tổng thể tốt nhất/sánh ngang trên nhiều chỉ số — GLOW-FM-XL đạt NIQE 2.92 (tốt nhất so với WCDM 5.94, ReDDiT 7.45), MUSIQ 36.0.
- UHD-LOL4K: chất lượng cạnh tranh, chi phí suy luận thấp hơn hẳn các baseline generative.
- Tổng quát hóa cross-dataset (state-of-the-art): huấn luyện trên LOL-v2-Syn, kiểm thử trực tiếp trên DICM/LIME/MEF/NPE/VV — NIQE/BRISQUE trung bình ~10.8–11.1, tốt nhất trong nhóm generative và vượt hầu hết non-generative (Retinexformer 13.6, WCDM 14.7).
- LSD-U (thiết bị chưa thấy): NIQE 4.33 và MUSIQ 28.4 — tốt nhất toàn bộ so sánh, chỉ với 1 NFE.
- Ablation: TVM vượt Rectified Flow/No-TVM, ConsistencyFM, MeanFlow khi giữ nguyên cấu hình; latent TAESD tốt hơn cả pixel-space (1693 GFLOPs, chất lượng kém hơn hẳn) — chứng tỏ latent space vừa rẻ vừa tốt hơn.
- Ảnh hưởng dữ liệu: tăng train set từ 0.2K lên 3.0K cặp ảnh cải thiện PSNR đơn điệu 16.8 → 20.3 dB — giải thích kết quả distortion yếu trên LOL-v1 nhỏ.
IV. Conclusion & Future Works:
GLOW-FM cho thấy flow matching trong latent kết hợp TVM một bước là hướng khả thi để đưa generative LLIE tới triển khai thực tế: chất lượng cạnh tranh, 1 NFE, ngân sách tính toán thấp, và tổng quát hóa cross-dataset tốt nhất hiện có. Hướng tương lai hợp lý:
- tối ưu mô hình cho triển khai thiết bị biên (định lượng hóa, tối ưu cho CPU/NPU kiểu Arm)
- kết hợp thêm dữ liệu huấn luyện đa dạng để cải thiện distortion trên benchmark nhỏ
- mở rộng khung latent TVM sang các bài toán image restoration khác (deblurring, denoising).
V. Brainstorming Space:
1. Publish Papers:
- Khảo sát hệ thống các mục tiêu one-step flow matching (TVM, MeanFlow, ConsistencyFM, Rectified Flow) cho image restoration nói chung, với phân tích khi nào từng mục tiêu phù hợp theo mức độ suy thoái của ảnh đầu vào.
- GLOW-FM mở rộng cho video thiếu sáng: dùng latent TVM một bước theo thời gian với cơ chế duy trì tính nhất quán giữa các frame để tăng sáng video thời gian thực trên thiết bị di động.
- Nghiên cứu thay TAESD bằng autoencoder siêu nhẹ học riêng cho LLIE (học cả latent space lẫn flow), nhắm giảm thêm FLOPs trong khi giữ khả năng tổng quát hóa cross-dataset.
- Phân tích lý thuyết và thực nghiệm về ảnh hưởng của tỷ lệ nén latent (f-factor của VAE) lên chất lượng restoration và chi phí suy luận trong latent flow matching.
2. Patent:
- Chế độ chụp đêm trên điện thoại chỉ một lần chạy mô hình: ứng dụng camera dùng bộ mã hóa nén ảnh thiếu sáng thành latent nhỏ, một mạng nơ-ron duy nhất dự đoán trực tiếp latent ảnh sáng rồi giải mã — tăng sáng ảnh chụp đêm gần như tức thì mà không tốn pin như các chế độ xử lý đa bước hiện nay.
- Module xử lý ảnh thời gian thực cho camera an ninh/xe hơi: thiết bị biên nhúng mô hình latent một bước để tăng sáng luồng video ngay trên thiết bị, giúp nhận diện biển số/khuôn mặt ban đêm mà không cần gửi ảnh lên máy chủ.
- Công cụ chỉnh ảnh thiếu sáng hàng loạt trong ứng dụng chỉnh sửa ảnh trên điện thoại: người dùng chọn nhiều ảnh quay tối, ứng dụng chạy một lượt mô hình một-bước trên nền tảng AI của chip điện thoại để xuất toàn bộ ảnh đã sáng, giảm thiểu chờ đợi và hao pin.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2610.31222 |
| ArXiv Abstract | https://arxiv.org/abs/2610.31222 |
| PDF Download | https://arxiv.org/pdf/2610.31222.pdf |
| Github Repository | https://github.com/arm-research/AAIR-GLOW-FM |