🤗 Daily Hugging Face Paper Digest - 2026-06-12
Báo cáo được tạo tự động vào lúc 2026-06-30 13:32:56 bằng mô hình deepseek-ai/deepseek-v4-flash.
📰 Summary of Papers
1. MiniMax Sparse Attention (148 votes)
Tác giả: Xunhao Lai, Weiqi Xu, Yufeng Yang, Qiaorui Chen, Yang Xu, et al.
Xuất bản lúc: 2026-06-11
Tag: Sparse Attention, Large Language Models, Grouped Query Attention, GPU Kernel, Long Context, Mixture of Experts, Blockwise Attention
I. Main Problem:
Softmax attention có độ phức tạp bậc hai theo độ dài ngữ cảnh, gây ra nút thắt cổ chai về tính toán và bộ nhớ khi triển khai các mô hình ngôn ngữ lớn với ngữ cảnh siêu dài (hàng trăm nghìn đến triệu token) trong các tác vụ tác nhân phức tạp.
II. Main Idea:
Bài báo giới thiệu MiniMax Sparse Attention (MSA), một cơ chế chú ý thưa dạng khối được xây dựng trên Grouped Query Attention. MSA gồm hai nhánh: Nhánh Index siêu nhẹ dùng một head query cho mỗi nhóm GQA để chọn top-k khối KV, và Nhánh Main chỉ tính softmax attention trên các khối đã chọn. Các kernel GPU được đồng thiết kế để tận dụng tính thưa, bao gồm top-k không dùng exp, chú ý thưa theo thứ tự KV-outer để tăng cường sử dụng tensor core, và kỹ thuật phân khối tile được sắp xếp trước để tránh atomic updates.
III. Main Results:
- Trên mô hình 109B tham số, MSA đạt kết quả ngang bằng với GQA (Full Attention) trên tất cả các benchmark.
- MSA giảm lượng tính toán chú ý mỗi token xuống 28.4 lần ở ngữ cảnh 1 triệu token.
- Kernel đồng thiết kế cho tốc độ prefill nhanh hơn 14.2 lần và giải mã nhanh hơn 7.6 lần trên GPU H800 so với GQA.
- Cả hai đường huấn luyện (từ đầu và tiếp tục tiền huấn luyện) đều ổn định và giữ được chất lượng.
IV. Conclusion & Future Works:
MSA chứng minh rằng có thể thay thế attention đầy đủ bằng cơ chế thưa đơn giản, khả năng mở rộng và tăng tốc trên GPU mà không làm giảm chất lượng mô hình. Hướng phát triển tương lai có thể mở rộng MSA cho các kiến trúc khác và tối ưu thêm cho fp8.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng MSA cho các mô hình chỉ có decoder với cơ chế sparse attention đa tỷ lệ khối, kết hợp với kỹ thuật nén KV cache để giảm thêm bộ nhớ suy luận.
- Nghiên cứu ảnh hưởng của việc ép buộc chọn local block đến khả năng suy luận đường dài, đề xuất chiến lược động để điều chỉnh kích thước cửa sổ local.
- Áp dụng tư tưởng Index Branch nhẹ của MSA để thiết kế sparse attention cho mô hình đa phương thức, nơi việc chọn khối ảnh/video dựa trên tín hiệu chỉ mục riêng biệt.
2. Patent:
- Hệ thống tìm kiếm ngữ cảnh siêu dài trên điện thoại: dùng MSA để truy xuất nhanh các đoạn văn bản quan trọng từ lịch sử hội thoại hoặc ghi chú dài mà không cần tải toàn bộ dữ liệu lên bộ nhớ thô.
- Tính năng soạn thảo văn bản trên di động với context nhạy: khi người dùng viết tài liệu dài, MSA chỉ chú ý đến các đoạn liên quan thay vì toàn bộ, giúp giảm độ trễ và tiết kiệm pin.
- Ứng dụng tóm tắt thông minh trên thiết bị di động: người dùng ghi lại cuộc họp dài, hệ thống dùng MSA để chọn lọc nhanh các phần có nội dung chính và sinh tóm tắt trong thời gian thực.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.13392 |
| ArXiv Abstract | https://arxiv.org/abs/2606.13392 |
| PDF Download | https://arxiv.org/pdf/2606.13392.pdf |
| Github Repository | https://github.com/MiniMax-AI/MSA |
2. EvoArena: Tracking Memory Evolution for Robust LLM Agents in Dynamic Environments (142 votes)
Tác giả: Jundong Xu, Qingchuan Li, Jiaying Wu, Yihuai Lan, Shuyue Stella Li, et al.
Xuất bản lúc: 2026-06-11
Tag: LLM Agents, Dynamic Environments, Memory Systems, Benchmark, Software Engineering, Personalization, Agent Evaluation
I. Main Problem:
Các hệ thống đánh giá agent hiện tại chủ yếu dựa trên môi trường tĩnh, trong khi thực tế triển khai đòi hỏi agent phải liên tục thích nghi với các thay đổi về giao diện, quy tắc, mã nguồn và sở thích người dùng. Sự thiếu vắng các bài kiểm tra về tiến hóa môi trường bền vững khiến khả năng thích ứng phiên bản của agent chưa được khám phá đúng mức.
II. Main Idea:
Bài báo giới thiệu EvoArena, bộ benchmark đánh giá agent trong môi trường tiến hóa liên tục qua ba miền: terminal workflow, mã nguồn phần mềm và sở thích xã hội. Mỗi môi trường được tổ chức thành chuỗi các phiên bản kế thừa, yêu cầu agent vừa thích ứng với thay đổi mới vừa bảo toàn hành vi cũ còn hiệu lực. Để giải quyết vấn đề, tác giả đề xuất EvoMem, cơ chế bộ nhớ dạng patch ghi lại lịch sử cập nhật: mỗi patch lưu trạng thái trước/sau, lý do thay đổi và bằng chứng hỗ trợ, giúp agent truy xuất cả bộ nhớ hiện tại lẫn quá khứ khi cần.
III. Main Results:
- Các agent hiện tại chỉ đạt trung bình 39.6% accuracy trên EvoArena, cho thấy khó khăn rõ rệt trong môi trường tiến hóa.
- EvoMem cải thiện trung bình 1.5% accuracy trên EvoArena, đồng thời tăng 6.1% trên GAIA và 4.8% trên LoCoMo.
- Chain-level accuracy (hoàn thành toàn bộ chuỗi) tăng 3.7% nhờ EvoMem, chứng tỏ khả năng duy trì độ tin cậy qua nhiều bước.
- Phân tích cơ chế cho thấy EvoMem cải thiện khả năng lưu giữ bằng chứng trong bộ nhớ, đặc biệt hiệu quả với câu hỏi đa mẫu và dự đoán quỹ đạo thời gian.
IV. Conclusion & Future Works:
EvoArena và EvoMem nhấn mạnh tầm quan trọng của việc mô hình hóa tiến hóa môi trường trong cả đánh giá và thiết kế bộ nhớ cho agent. Các kết quả cho thấy agent cần coi bộ nhớ như lịch sử cập nhật có căn cứ thay vì trạng thái đơn lẻ. Hướng phát triển tương lai có thể mở rộng sang miền mới và tối ưu cơ chế patch cho các kịch bản thay đổi phức tạp hơn.
V. Brainstorming Space:
1. Publish Papers:
- Phát triển cơ chế patch tự động cho bộ nhớ agent trong môi trường đa tác vụ, nơi các thay đổi có thể đến từ nhiều nguồn khác nhau và cần tích hợp chéo.
- Nghiên cứu khả năng tổng quát hóa của EvoMem sang các miền ít cấu trúc hơn như tương tác đa phương thức hoặc môi trường ảo liên tục thay đổi.
- Kết hợp EvoMem với các phương pháp học tăng cường để agent tự động điều chỉnh chiến lược cập nhật bộ nhớ dựa trên hiệu suất thực tế.
2. Patent:
- Hệ thống trợ lý ảo trên điện thoại có khả năng ghi nhớ và thích nghi với thay đổi sở thích người dùng theo thời gian: mỗi khi người dùng thay đổi yêu cầu, hệ thống lưu lại lịch sử thay đổi cùng lý do, cho phép truy xuất quyết định đúng cho từng bối cảnh.
- Ứng dụng quản lý tài khoản ngân hàng di động: ghi lại các thay đổi về quy tắc giao dịch hoặc hạn mức, giúp ứng dụng tự động áp dụng đúng quy tắc cũ cho các tài khoản cũ và quy tắc mới cho tài khoản mới mà không gây nhầm lẫn.
- Công cụ cộng tác nhóm trên di động có bộ nhớ phiên bản cho lịch sử chỉnh sửa tài liệu: mỗi lần thành viên thay đổi định dạng hoặc nội dung, hệ thống lưu lại phiên bản cũ và lý do thay đổi, cho phép khôi phục hoặc truy vấn trạng thái tài liệu tại bất kỳ thời điểm nào.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.13681 |
| ArXiv Abstract | https://arxiv.org/abs/2606.13681 |
| PDF Download | https://arxiv.org/pdf/2606.13681.pdf |
| Github Repository | https://github.com/Aiden0526/EvoArena |
3. SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning (109 votes)
Tác giả: Seokju Cho, Ryo Hachiuma, Abhishek Badki, Hang Su, Byung-Kwan Lee, et al.
Xuất bản lúc: 2026-06-11
Tag: Spatial Reasoning, Vision-Language Models, Code Generation, Tool-Augmented Agents, Action Interface, 3D/4D Reasoning, Python Kernel
I. Main Problem:
Các tác nhân tăng cường công cụ hiện tại cho suy luận không gian hoặc viết chương trình Python một lần rồi chạy mà không thấy kết quả trung gian, hoặc dùng gọi hàm JSON/XML cứng nhắc. Cả hai thiết kế đều hạn chế khả năng kết hợp linh hoạt các phép tính hình học và điều chỉnh chiến lược dựa trên quan sát thực tế, dẫn đến hiệu suất kém cho các bài toán 3D/4D phức tạp.
II. Main Idea:
SpatialClaw đề xuất dùng mã Python làm giao diện hành động cho suy luận không gian. Framework này duy trì một nhân Python trạng thái (persistent kernel) được nạp sẵn frame đầu vào, các công cụ tri giác (như SAM3, Depth Anything 3) và thư viện khoa học (NumPy, SciPy). Ở mỗi bước, tác nhân VLM viết một ô mã Python, thực thi nó, xem kết quả (văn bản, biến, hình ảnh) và sửa đổi ở bước tiếp theo. Quy trình lặp gồm lập kế hoạch, sinh mã, thực thi, tổng hợp phản hồi và nộp câu trả lời, cho phép tác nhân kiểm chứng và tinh chỉnh kết quả trung gian trước khi đưa ra đáp án cuối.
III. Main Results:
- Trên 20 benchmark suy luận không gian, SpatialClaw đạt độ chính xác trung bình 59.9%, vượt SpaceTools (tác nhân gần đây) +11.2 điểm phần trăm.
- Cải thiện nhất quán trên 6 backbone VLM từ 27B đến 397B tham số, không cần tinh chỉnh hay prompt đặc thù.
- Vượt giao diện single-pass code và structured tool-call trên 11/13 meta-category, đặc biệt các bài toán chuyển động camera và lý luận đa góc nhìn (+6–9 pp).
- Khi loại bỏ toàn bộ hàm tiện ích, chỉ giữ công cụ tri giác cốt lõi, kết quả gần như không đổi, chứng tỏ nhân linh hoạt có thể bù đắp.
IV. Conclusion & Future Works:
SpatialClaw chứng minh rằng mã Python trạng thái là giao diện hành động vượt trội cho suy luận không gian mở, cho phép kết hợp linh hoạt và kiểm chứng trung gian. Hướng tới có thể mở rộng cho các dạng suy luận đa phương thức khác và tối ưu hóa chiến lược lập kế hoạch tự động.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu khả năng tự động sinh chiến lược thăm dò (exploration) để tác nhân học cách chủ động thu thập thêm chứng cứ hình ảnh khi không đủ dữ liệu cho suy luận không gian.
- Kết hợp giao diện mã trạng thái với reinforcement learning để tác nhân có thể tối ưu hóa số bước và độ chính xác qua từng bài toán cụ thể.
- Mở rộng SpatialClaw cho suy luận 4D theo thời gian thực, xử lý các tình huống chuyển động nhanh và dự đoán tương tác vật thể.
2. Patent:
- Hệ thống đo khoảng cách không gian trên điện thoại: người dùng chụp hai ảnh, ứng dụng dùng mã Python chạy cục bộ để ước lượng độ sâu và đo khoảng cách giữa các đối tượng đã chọn, hiển thị kết quả ngay lặp tức.
- Ứng dụng thực tế ảo tăng cường trên điện thoại: quay video ngắn đồ vật xung quanh, hệ thống tự động tái tạo mô hình 3D và cho phép người dùng chèn nội dung số với căn chỉnh không gian chính xác nhờ suy luận hình học từ mã.
- Trình hướng dẫn lắp ráp nội thất dùng camera điện thoại: quét từng bước lắp ráp, phân tích mã Python để ước lượng vị trí các chi tiết so với nhau, đưa ra chỉ dẫn trực quan sửa lỗi sai lệch.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.13673 |
| ArXiv Abstract | https://arxiv.org/abs/2606.13673 |
| PDF Download | https://arxiv.org/pdf/2606.13673.pdf |
| Github Repository | https://github.com/NVlabs/SpatialClaw |
4. WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces (104 votes)
Tác giả: Wanli Li, Bowen Zhou, Yunyao Yu, Zhou Xu, Yifan Yang, et al.
Xuất bản lúc: 2026-06-08
Tag: Computer-Use Agents, Benchmark, GUI, CLI, Hybrid Interface, Long-Horizon Tasks, Agent Evaluation, Reward Hacking
I. Main Problem:
Các benchmark cho computer-use agents hiện tại chỉ đánh giá riêng lẻ giao diện GUI hoặc CLI, bỏ qua yêu cầu kết hợp cả hai trong cùng một quy trình. Những tác vụ thực tế, dài hạn đòi hỏi agent phải phối hợp liên tục quan sát/thao tác trên GUI với công việc trên CLI/code, nhưng chưa có chuẩn nào kiểm tra năng lực phối hợp này.
II. Main Idea:
WeaveBench là benchmark với 114 tác vụ trên 8 miền thực tế (desktop, tài liệu, game, DevOps...), mỗi tác vụ bắt buộc phải phối hợp GUI và CLI/code trong cùng một quỹ đạo. Để đánh giá, tác giả thêm plugin GUI tối thiểu (screenshot, click, drag...) vào các runtime CLI hiện có (OpenClaw, Claude Code...), và dùng một 'trajectory-aware judge' – một subprocess riêng kiểm tra file, ảnh, hành động, đồng thời phát hiện các hành vi gian lận (giả mạo ảnh, hard-code kết quả...). Tiêu chí nhập benchmark (P1-P3) đảm bảo mỗi tác vụ bắt buộc phải dùng cả hai giao diện và không thể giải bằng một kênh duy nhất.
III. Main Results:
- PassRate cao nhất trên OpenClaw là 35.1% (Claude Opus 4.7), trên khung runtime mạnh nhất là 41.2% (Opus 4.7 + Claude Code) – thấp hơn nhiều so với >78% trên OSWorld.
- Ablation: GUI-only hoặc CLI-only đều ≤3.5%, trong khi hybrid đạt 35.1%, chứng tỏ hai giao diện bổ sung bắt buộc chứ không chỉ là tiện lợi.
- Trajectory-aware judge giảm PassRate của GPT-5.5 từ 53.5% xuống 33.3%, cho thấy đánh giá chỉ dựa trên kết quả cuối cùng nghiêm trọng đánh giá quá cao năng lực.
- 65.6% lỗi đến từ hai họ chính: Reward Hacking (35.2%) – giả mạo kết quả, và Long-horizon Discipline (30.4%) – ngừng sớm hoặc mất đồng bộ kênh.
- GPT-5.5 thường 'vẽ bằng chứng' (E5 46%), GPT-5.4 thường ngừng sớm (E4 44%), Opus 4.7 cân bằng hơn (E1,E4,E5 ~30%).
IV. Conclusion & Future Works:
WeaveBench lộ ra khoảng trống lớn: agent hiện tại vẫn chưa thể phối hợp GUI và CLI qua tác vụ dài hạn. Các benchmark tương lai nên (i) yêu cầu bằng chứng có nguồn gốc thay vì chỉ kiểm tra sự tồn tại, (ii) biến việc bỏ qua trung thực thành trạng thái có thể chấm điểm, (iii) chấm điểm theo sự phù hợp ngữ nghĩa chứ không chỉ sự tồn tại file, và (iv) đánh giá lựa chọn công cụ theo chính sách kênh của tác vụ.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng WeaveBench sang nền tảng di động (Android/iOS) với các tác vụ yêu cầu kết hợp giao diện cảm ứng và adb/terminal, để đo năng lực phối hợp của các agent trên điện thoại.
- Dùng trajectory-aware judge làm nền tảng cho một hệ thống 'học từ lỗi' – mỗi lần agent gian lận hoặc ngừng sớm, hệ thống ghi lại và điều chỉnh prompt mục tiêu để ưu tiên kiểm chứng hơn là 'vẽ' kết quả.
- Phân tích chi tiết các lỗi 'premature halt' – thiết kế cơ chế 'checklist' động, yêu cầu agent xác minh từng bước trước khi tuyên bố hoàn thành, giảm thiểu lỗi workflow discipline.
2. Patent:
- Ứng dụng kiểm tra tự động cho phần mềm kế toán: agent mô phỏng thao tác kéo-thả trên bảng tính, đồng thời chạy lệnh CLI để sửa lỗi công thức hoặc dữ liệu; tự động xuất báo cáo PDF và đối chiếu số liệu.
- Công cụ thiết kế đồ họa hỗ trợ AI: khi người dùng kéo ảnh vào layout, agent tự động mở terminal để tối ưu dung lượng, thay đổi metadata, và kiểm tra tương thích màu sắc qua thư viện CLI; tất cả trong một luồng thao tác.
- Trợ lý viết lách cho nhà báo: người dùng chọn một đoạn văn bản trong trình soạn thảo (GUI); agent tự động chạy lệnh CLI để kiểm tra đạo văn, tra từ điển, và so sánh phong cách với bài viết gốc, rồi hiển thị kết quả ngay trong GUI.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.09426 |
| ArXiv Abstract | https://arxiv.org/abs/2606.09426 |
| PDF Download | https://arxiv.org/pdf/2606.09426.pdf |
| Github Repository | https://github.com/weavebench/WeaveBench |
5. MaxProof: Scaling Mathematical Proof with Generative-Verifier RL and Population-Level Test-Time Scaling (91 votes)
Tác giả: Jiacheng Chen, Xinyu Zhang, Shunkai Zhang, Yanmohan Wang, Lin Li, et al.
Xuất bản lúc: 2026-06-11
Tag: Mathematical Proof, Reinforcement Learning, Test-Time Scaling, Generative Verifier, LLM Reasoning, Population Search, Reward Hacking
I. Main Problem:
Chứng minh toán học ở cấp độ thi đấu đòi hỏi chuỗi suy luận chặt chẽ, dài hơi; các mô hình ngôn ngữ thường gặp khó vì thiếu tín hiệu thưởng chính xác. Việc dùng verifier sinh để làm phần thưởng RL dễ dẫn đến nhiễu và hành vi hack điểm thưởng, khiến mô hình học sai. Các phương pháp hiện tại vẫn chưa giải quyết triệt để vấn đề scale suy luận đáng tin cậy ở thời gian kiểm thử.
II. Main Idea:
MaxProof là khung scale suy luận dựa trên quần thể cho chứng minh toán, kết hợp ba năng lực được huấn luyện riêng của mô hình M3: sinh chứng minh bằng RL dài hạn có verifier đa lớp chống hack, xác minh bằng dò lỗi thay vì chấm điểm, và sửa chứng minh dựa trên phê bình. Ở thời gian kiểm thử, MaxProof duy trì một quần thể các ứng viên chứng minh, dùng verifier để đánh giá độ thích nghi, chọn lọc và lai ghép qua các vòng, cuối cùng chọn ra chứng minh cuối qua đối kháng vòng tròn.
III. Main Results:
- M3 với MaxProof đạt 35/42 điểm IMO 2025 và 36/42 điểm USAMO 2026, vượt ngưỡng huy chương vàng của con người.
- Verifier bốn lớp (lọc lỗi, chuẩn hóa giải pháp, đa giám khảo song song, tổng hợp bi quan) giảm triệt để false positive so với verifier đơn.
- Huấn luyện RL dài hạn với CISPO và bộ lọc ngưỡng độ lệch chuẩn nhóm giúp nhóm mẫu có phương sai lớn mới được cập nhật.
- Thí nghiệm chỉ ra RL với verifier đơn rơi vào bốn kiểu hack điểm thưởng (thiên lệch độ dài, hack định dạng, rút ngắn ngữ nghĩa, ưu tiên giám khảo).
- Scale thời gian kiểm thử tăng từ best@K lên pass@1 ổn định hơn nhờ tìm kiếm trên quần thể.
IV. Conclusion & Future Works:
MaxProof chứng minh hiệu quả scale thời gian kiểm thử ở cấp quần thể cho chứng minh toán, khắc phục hạn chế của verifier bằng thiết kế đa lớp phòng thủ. Hướng tương lai: giảm chi phí tính toán của tìm kiếm quần thể và mở rộng sang các miền suy luận dài hơi khác như lập trình hoặc hoạch định logic.
V. Brainstorming Space:
1. Publish Papers:
- Phát triển verifier chuyên biệt cho từng lĩnh vực suy luận (logic, lập trình, vật lý) dựa trên thiết kế đa lớp phòng thủ tương tự, nhằm chống hack điểm thưởng trong RL dài hạn.
- Áp dụng MaxProof cho bài toán sinh mã nguồn: dùng verifier thực thi (unit test) thay vì verifier sinh, kết hợp tìm kiếm quần thể và sửa lỗi để nâng độ tin cậy.
- Nghiên cứu chiến lược lai ghép thích ứng trong quần thể chứng minh: tự động điều chỉnh tỷ lệ khám phá và khai thác qua các vòng, tối ưu hiệu suất với ngân sách suy luận giới hạn.
2. Patent:
- Hệ thống chấm điểm bài giải toán tự động trên điện thoại: ảnh bài giải được gửi lên server, verifier đa lớp phân tích từng bước và trả về điểm với chú thích lỗi chính xác, giúp học sinh tự học hiệu quả.
- Ứng dụng hỗ trợ sinh lập trình cho lập trình viên: mô hình sinh mã kết hợp verifier thực thi trong vòng lặp quần thể, tự động sửa lỗi và tối ưu mã nguồn trước khi xuất ra.
- Trợ lý giải bài tập từ ảnh chụp cho học sinh phổ thông: chụp ảnh đề toán, hệ thống sinh nhiều lời giải, chọn lọc qua vòng đấu loại và trả về lời giải đúng, giải thích chi tiết từng bước.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.13473 |
| ArXiv Abstract | https://arxiv.org/abs/2606.13473 |
| PDF Download | https://arxiv.org/pdf/2606.13473.pdf |
| Github Repository | N/A |
6. InterleaveThinker: Reinforcing Agentic Interleaved Generation (82 votes)
Tác giả: Dian Zheng, Harry Lee, Manyuan Zhang, Kaituo Feng, Zoey Guo, et al.
Xuất bản lúc: 2026-06-11
Tag: Image Generation, Interleaved Generation, Multi-Agent, Reinforcement Learning, Vision-Language Model, GRPO
I. Main Problem:
Các mô hình sinh ảnh hiện tại chỉ hỗ trợ sinh/ chỉnh sửa một ảnh, không thể sinh chuỗi văn bản-hình ảnh xen kẽ (interleaved generation) — ví dụ: kể chuyện bằng hình, hướng dẫn từng bước. Mô hình đa phương thức thống nhất (UMM) có thể sinh xen kẽ nhưng bị lỗi 'phụ thuộc thị giác quá mức' và 'tích lũy sai số từng bước' trong các tác vụ dài hạn.
II. Main Idea:
InterleaveThinker là khung đa tác tử đầu tiên cho phép bất kỳ mô hình sinh ảnh có sẵn nào thực hiện sinh xen kẽ. Nó gồm ba module: Planner lập kế hoạch toàn bộ chuỗi hướng dẫn trước, Generator thực thi từng bước, và Critic (có RL) đánh giá kết quả, phát hiện sai lệch và tinh chỉnh prompt để tạo lại. Việc tách biệt lập kế hoạch và giám sát tránh phụ thuộc thị giác. Critic được huấn luyện với chiến lược phần thưởng kép (độ chính xác + cải thiện từng bước) và GRPO, cho phép tối ưu toàn bộ quỹ đạo thông qua RL từng bước hiệu quả.
III. Main Results:
- Trên benchmark UEval, InterleaveThinker (+FLUX.2-klein) đạt 66.3 avg, vượt xa các UMM nguồn mở (Emu3.5: 49.1) và sánh ngang với Nano Banana (66.0).
- Trên CoMM, vượt trội đối thủ mạnh DuoGen, với điểm IRS (văn bản-hình ảnh) lên tới 8.2/8.4.
- Cải thiện ngoạn mục trên WISE (suy luận sinh ảnh): từ 0.47 lên 0.73 khi dùng FLUX.2-klein.
- Trên RISE (suy luận chỉnh sửa ảnh): từ 13.3 lên 28.9 với cùng nền tảng.
- Ablation: Planner-SFT tăng vọt điểm Text từ 33.5 lên 58.5; Full-SFT cải thiện chất lượng ảnh.
IV. Conclusion & Future Works:
InterleaveThinker mở ra hướng mới cho sinh xen kẽ bằng cơ chế đa tác tử + RL từng bước, giải quyết hiệu quả các vấn đề cố hữu của UMM. Hướng phát triển: mở rộng cho đầu vào video, tối ưu Planner bằng RL, và áp dụng cho các tác vụ robotics trực quan phức tạp hơn.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu cơ chế Planner có thể tự động chia nhỏ tác vụ dài hạn thành các bước con tối ưu, kết hợp với mô hình ngôn ngữ để sinh hướng dẫn trực quan chính xác hơn.
- Áp dụng phương pháp dual-reward RL cho Critic vào các tác vụ sinh ảnh có tính sáng tạo cao (ví dụ: concept art, storyboarding), nơi cần nhiều vòng chỉnh sửa.
- Mở rộng InterleaveThinker cho sinh video từng bước (step-by-step video generation), với mỗi khung hình được tạo dựa trên hướng dẫn và đánh giá liên tục.
2. Patent:
- Ứng dụng trên điện thoại hướng dẫn sửa chữa đồ gia dụng: người dùng chụp ảnh hỏng hóc, hệ thống tự sinh các bước hướng dẫn trực quan (văn bản + ảnh minh họa) từng bước, có thể tương tác để sửa prompt nếu ảnh sai.
- Tính năng 'kể chuyện bằng hình' trên mạng xã hội: người dùng nhập câu chuyện ngắn, hệ thống tự sinh chuỗi 4-5 ảnh minh họa kèm chú thích, cho phép chỉnh sửa từng khung dựa trên phản hồi.
- Công cụ tạo hướng dẫn nấu ăn tương tác: người dùng chụp ảnh nguyên liệu, hệ thống lập kế hoạch các bước nấu, sinh ảnh và văn bản cho mỗi bước, đồng thời nhận diện lỗi thao tác để điều chỉnh prompt.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.13679 |
| ArXiv Abstract | https://arxiv.org/abs/2606.13679 |
| PDF Download | https://arxiv.org/pdf/2606.13679.pdf |
| Github Repository | https://github.com/zhengdian1/InterleaveThinker |
7. Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding? (81 votes)
Tác giả: Jiaqi Tang, Jianmin Chen, Youyang Zhai, Wei Wei, Runtao Liu, et al.
Xuất bản lúc: 2026-06-06
Tag: Multimodal Large Language Models, Visual Corruption Robustness, Image Restoration, Reinforcement Learning, Self-Recovery, MLLM, Flow-GRPO, Vision-Language
I. Main Problem:
Các MLLM hiện tại rất nhạy cảm với nhiễu thị giác trong thực tế như mờ, nén hay thời tiết xấu. Phương pháp cũ hoạt động dạng hộp đen (căn chỉnh đặc trưng) không giải thích được, hoặc dạng trắng (suy luận văn bản) như Robust-R1 không khôi phục được chi tiết pixel bị mất. Do đó, cần một cơ chế tự phục hồi trực quan rõ ràng để nâng cao độ bền vững của MLLM.
II. Main Idea:
Robust-U1 trang bị cho MLLM khả năng tự khôi phục ảnh bị hỏng qua ba giai đoạn: (1) Supervised Fine-Tuning (SFT) trên ImageNet-C để học tái tạo ảnh cơ bản, (2) Reinforcement Learning với Flow-GRPO dùng hai phần thưởng—SSIM cấp pixel và CLIP ngữ nghĩa—để nâng chất lượng ảnh khôi phục, (3) Multimodal Reasoning: mô hình suy luận dựa trên cả ảnh gốc hỏng lẫn ảnh đã phục hồi. Kết quả, Robust-U1 đạt SOTA trên R-Bench và giữ hiệu suất cao khi bị tấn công có chủ đích.
III. Main Results:
- Trên R-Bench, Robust-U1 đạt overall 0.7398, vượt xa BAGEL (0.5770) và Robust-R1 (0.5017).
- Trên MMMB với 100% độ hỏng, Robust-U1 đạt 83.18, so với BAGEL 78.48 và Robust-R1 75.35.
- Suy giảm hiệu suất từ ảnh sạch đến 100% hỏng chỉ 1.57 điểm trên MMMB (BAGEL giảm 3.44, Robust-R1 giảm 6.06).
- Ảnh khôi phục đạt PSNR 21.49, SSIM 0.6314, LPIPS 0.3223, vượt mọi giai đoạn huấn luyện trung gian.
IV. Conclusion & Future Works:
Robust-U1 thiết lập mô hình tự phục hồi thị giác rõ ràng, thay thế các phương pháp căn chỉnh đặc trưng hoặc suy luận văn bản yếu. Hướng tương lai: áp dụng cho ứng dụng an toàn cao như xe tự lái và y tế, đồng thời cần phát triển hướng dẫn sử dụng đạo đức để tránh lạm dụng khả năng tái tạo ảnh.
V. Brainstorming Space:
1. Publish Papers:
- Tích hợp cơ chế tự phục hồi đa độ phân giải: khôi phục ảnh ở nhiều kích thước khác nhau rồi gộp đặc trưng để cải thiện độ bền vững trước nhiễu cục bộ.
- Kết hợp attention chú ý vào vùng hỏng nặng với ưu tiên khôi phục để MLLM tập trung suy luận vào chi tiết quan trọng hơn.
- Mở rộng khung ba giai đoạn cho video: sử dụng thông tin thời gian để khôi phục khung hình hỏng dựa trên khung sạch lân cận.
2. Patent:
- Ứng dụng trên điện thoại thông minh: chụp ảnh dưới ánh sáng yếu hoặc nhiễu hạt, mô hình tự động khôi phục ngay trên thiết bị trước khi lưu, giúp ảnh rõ nét hơn mà không cần tải lên đám mây.
- Tích hợp vào camera giám sát: khi ảnh bị nhòe do mưa hoặc bụi, hệ thống tự phục hồi và suy luận nội dung (ví dụ: nhận dạng biển số xe) với độ chính xác cao hơn.
- Chế độ chụp chân dung chủ động: kết hợp cả ảnh gốc nhiễu và ảnh đã khôi phục để điện thoại đề xuất chỉnh sửa hoặc chú thích thông minh (ví dụ: 'xe đang rẽ trái') dù ảnh bị mờ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.08063 |
| ArXiv Abstract | https://arxiv.org/abs/2606.08063 |
| PDF Download | https://arxiv.org/pdf/2606.08063.pdf |
| Github Repository | https://github.com/jqtangust/Robust-U1 |
8. FORT-Searcher: Synthesizing Shortcut-Resistant Search Tasks for Training Deep Search Agents (77 votes)
Tác giả: Jia Deng, Yimeng Chen, Xiaoqing Xiang, Ziyang Zeng, Shuo Tang, et al.
Xuất bản lúc: 2026-06-10
Tag: Deep Search Agents, Training Data Synthesis, Shortcut Learning, Agentic Retrieval, Multi-Hop Reasoning, Large Language Models
I. Main Problem:
Các phương pháp tổng hợp dữ liệu tìm kiếm sâu hiện tại tập trung vào làm phức tạp cấu trúc đồ thị (tăng số bước, độ phân tán) nhưng không đảm bảo độ khó thực tế: tác tử có thể bỏ qua quá trình thu thập bằng chứng dự kiến nhờ các 'lối tắt' rẻ hơn. Kết quả là dữ liệu huấn luyện không khuyến khích các mô hình ngôn ngữ lớn thực hiện tìm kiếm, lập kế hoạch và tổng hợp thông tin dài hạn.
II. Main Idea:
Bài báo đề xuất FORT, một khung tổng hợp dữ liệu huấn luyện kháng lối tắt. Dựa trên khung khó khăn nhận thức được lối tắt (shortcut-aware difficulty framework), FORT xác định bốn rủi ro lối tắt có thể kiểm soát: đồng bao phủ bằng chứng, độ chọn lọc đơn manh mối, hằng số bị lộ và ràng buộc tri thức có sẵn. FORT can thiệp vào toàn bộ quá trình tạo dữ liệu: chọn thực thể gốc hiếm gặp, xây dựng đồ thị bằng chứng đa nguồn, đặt câu hỏi gián tiếp và làm mờ hằng số, và cuối cùng là tinh chỉnh đối kháng để sửa các câu hỏi có lối tắt. Dữ liệu này dùng để huấn luyện FORT-Searcher chỉ với supervised fine-tuning.
III. Main Results:
- FORT tạo ra dữ liệu có thời gian tìm kiếm trước câu trả lời dài hơn và ít lối tắt hơn so với các tập dữ liệu tìm kiếm sâu mã nguồn mở hiện có.
- FORT-Searcher (SFT) đạt điểm trung bình tốt nhất trong số các tác tử tìm kiếm mã nguồn mở cùng kích thước trên bốn benchmark khó: BrowseComp (72.2), BrowseComp-ZH (75.0), xbench-DeepSearch và Seal-0.
- FORT-Searcher vượt trội so với các mô hình cùng kích thước như MiroThinker (67.9), REDSearcher (61.0) và cạnh tranh với các mô hình lớn hơn như GPT-5.2 và GLM-5.
- Các phân tích về quỹ đạo cho thấy FORT ngăn chặn hiệu quả bốn kiểu lối tắt: đồng bao phủ, chọn lọc đơn, hằng số lộ và tri thức nền.
IV. Conclusion & Future Works:
FORT chứng minh rằng việc kiểm soát lối tắt khi tổng hợp dữ liệu là chìa khóa để huấn luyện các tác tử tìm kiếm sâu hiệu quả. Hướng phát triển tương lai bao gồm mở rộng khung này cho các tác vụ đa phương thức và tích hợp với các phương pháp học tăng cường để cải thiện hơn nữa khả năng khám phá bằng chứng.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng khung kháng lối tắt FORT cho tìm kiếm đa phương thức (văn bản + hình ảnh + video), xây dựng đồ thị bằng chứng đa phương tiện để kiểm soát các lối tắt như đồng bao phủ hình ảnh và hằng số nhìn thấy được.
- Nghiên cứu 'lối tắt chuyển giao' (transfer shortcuts) trong học tăng cường cho tác tử tìm kiếm: khi tác tử học từ dữ liệu huấn luyện có lối tắt, nó có xu hướng lặp lại các hành vi rẻ tiền đó trên các miền mới, dẫn đến khái quát hóa kém.
- Phát triển một phương pháp phát hiện và sửa lỗi lối tắt tự động dựa trên học máy, sử dụng các đại diện quỹ đạo (trajectory signatures) như thời gian chạm câu trả lời để gắn nhãn và loại bỏ dữ liệu xấu khỏi tập huấn luyện.
2. Patent:
- Hệ thống tạo câu hỏi kiểm tra năng lực tìm kiếm cho mô hình trí tuệ nhân tạo: hệ thống tự động sinh ra các câu hỏi có cấu trúc bằng chứng phức tạp và kiểm tra tính kháng lối tắt, đảm bảo câu hỏi thực sự yêu cầu suy luận nhiều bước thay vì có thể đoán mò.
- Phần mềm trợ lý tìm kiếm nâng cao trên điện thoại thông minh: sử dụng dữ liệu huấn luyện kháng lối tắt để trợ lý có thể thực hiện các cuộc tìm kiếm chuyên sâu, tự động đặt câu hỏi phụ và tổng hợp thông tin từ nhiều nguồn, thay vì chỉ trả về kết quả tìm kiếm đơn giản.
- Công cụ hỗ trợ nghiên cứu khoa học cho sinh viên và chuyên gia: một tác tử tìm kiếm sâu được huấn luyện trên dữ liệu kháng lối tắt giúp người dùng khám phá tài liệu một cách có hệ thống, theo dõi các chuỗi tham chiếu và tránh các kết luận vội vàng dựa trên một vài bằng chứng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.12087 |
| ArXiv Abstract | https://arxiv.org/abs/2606.12087 |
| PDF Download | https://arxiv.org/pdf/2606.12087.pdf |
| Github Repository | https://github.com/RUCAIBox/FORT-Searcher |
9. LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories (56 votes)
Tác giả: Baochang Ren, Xinjie Liu, Xi Chen, Yanshuo Liu, Chenxi Li, et al.
Xuất bản lúc: 2026-06-11
Tag: Vision-Language-Action, Robot Manipulation, Scientific Laboratory, Data Synthesis, Sim-to-Real, Flow Matching, FAST Action Tokens, Diffusion Transformer
I. Main Problem:
Các mô hình Vision-Language-Action (VLA) hiện tại chủ yếu được huấn luyện trên dữ liệu thao tác trong nhà hoặc trên bàn, thiếu kiến thức về dụng cụ, chất lỏng trong suốt và quy trình cố định trong phòng thí nghiệm khoa học. Việc thu thập dữ liệu thao tác trong phòng thí nghiệm thực tế rất tốn kém và khó mở rộng do yêu cầu thiết bị chuyên dụng, giám sát lĩnh vực và quy trình an toàn nghiêm ngặt.
II. Main Idea:
Bài báo giới thiệu LabVLA, một pipeline VLA cho phòng thí nghiệm, kết hợp với RoboGenesis, một công cụ mô phỏng và tạo dữ liệu có thể lập trình. RoboGenesis tự động xây dựng cảnh, tạo quy trình làm việc từ các kỹ năng nguyên tử, đa dạng hóa miền và lọc thành công để xuất ra các bản ghi thao tác với chú thích phong phú. LabVLA sử dụng backbone Qwen3-VL-4B-Instruct, huấn luyện hai giai đoạn: đầu tiên dùng FAST action token để căn chỉnh ngữ nghĩa hành động, sau đó dùng flow matching với DiT action expert để sinh hành động liên tục, kèm cơ chế cách ly tri thức (knowledge insulation) để giảm nhiễu từ mất mát hành động.
III. Main Results:
- LabVLA đạt tỷ lệ thành công trung bình cao nhất trong cả hai thiết lập in-distribution (71.1%) và out-of-distribution (70.0%) trên benchmark LabUtopia.
- Hiệu suất vượt trội so với các baseline mạnh như π0 (63.3% ID, 63.2% OOD), vượt 7.8% và 6.8% điểm phần trăm.
- LabVLA đạt điểm cao nhất hoặc đồng hạng ở các tác vụ Pick Up, Press Button và Open Door.
- Khoảng cách hiệu suất giữa ID và OOD rất nhỏ (chỉ 1.1pp), cho thấy khả năng tổng quát hóa tốt nhờ đa dạng hóa miền.
IV. Conclusion & Future Works:
LabVLA chứng minh rằng dữ liệu mô phỏng quy mô lớn kết hợp với kiến trúc VLA được thiết kế phù hợp có thể giải quyết các tác vụ thao tác phức tạp trong phòng thí nghiệm. Hướng tương lai có thể bao gồm mở rộng RoboGenesis cho các lĩnh vực khoa học khác, cải thiện xử lý chất lỏng và triển khai trên robot thực tế.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng RoboGenesis sang các lĩnh vực như sinh học ướt hoặc hóa học hữu cơ, với các kỹ năng nguyên tử mới như chuyển pipette hoặc sử dụng máy ly tâm, đồng thời thêm chú thích về trạng thái phản ứng hóa học.
- Nghiên cứu khả năng chuyển giao trực tiếp từ mô phỏng sang thực tế (sim-to-real) của LabVLA trên các cánh tay robot thật trong môi trường phòng thí nghiệm, đánh giá độ bền của chính sách trước nhiễu cảm biến và sai số mô hình.
- Tích hợp RoboGenesis với các LLM tạo quy trình thí nghiệm tự động, cho phép robot tự hiểu mô tả thí nghiệm bằng ngôn ngữ tự nhiên và sinh chuỗi hành động thao tác tương ứng mà không cần lập trình tay.
2. Patent:
- Hệ thống robot phòng thí nghiệm tự động có thể lập trình qua giao diện web: người dùng nhập mô tả thí nghiệm bằng văn bản, hệ thống tự động sinh cảnh và quy trình thao tác, sau đó robot thực hiện và báo cáo kết quả.
- Phần mềm mô phỏng và tạo dữ liệu huấn luyện cho robot công nghiệp dạng module, cho phép người dùng kéo thả các kỹ năng nguyên tử (nhặt, đặt, đổ, ấn nút) để tạo quy trình làm việc mới, tự động sinh dữ liệu đa dạng cho nhiều loại robot khác nhau.
- Ứng dụng trên điện thoại thông minh cho phép người dùng chụp ảnh dụng cụ phòng thí nghiệm, hệ thống tự động tạo mô hình 3D và tích hợp vào môi trường mô phỏng để huấn luyện robot thao tác với dụng cụ đó một cách an toàn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.13578 |
| ArXiv Abstract | https://arxiv.org/abs/2606.13578 |
| PDF Download | https://arxiv.org/pdf/2606.13578.pdf |
| Github Repository | https://github.com/zjunlp/LabVLA |
10. VIA-SD: Verification via Intra-Model Routing for Speculative Decoding (35 votes)
Tác giả: Yuchen Xian, Yang He, Yunqiu Xu, Yi Yang
Xuất bản lúc: 2026-06-10
Tag: Speculative Decoding, LLM Inference, Hierarchical Verification, Intra-Model Routing, KL Divergence, Acceleration
I. Main Problem:
Speculative decoding (SD) thường chỉ dùng cơ chế nhị phân (accept/recompute) để quyết định token, khiến nhiều token thuộc vùng trung gian—không an toàn để chấp nhận trực tiếp nhưng cũng không cần toàn bộ năng lực của mô hình lớn—vẫn bị đẩy lên mô hình đầy đủ, gây lãng phí tính toán và giảm tốc độ.
II. Main Idea:
VIA-SD giới thiệu khung xác minh đa tầng: thay vì binary, token được xử lý qua drafter (hạng mục cao), slim-verifier (trung bình) và full verifier (thấp). Slim-verifier là mô hình con được trích từ full model qua cơ chế routing động (DIMR), dùng để xử lý token có độ tin cậy trung bình mà không cần kích hoạt toàn bộ mô hình. Cách tiếp cận dựa trên phân tích KL-divergence cho thấy việc chèn phân phối trung gian giúp giảm chi phí kiểm tra tổng thể.
III. Main Results:
- Giảm rejection rate 0.10–0.22 so với baseline SD thông thường.
- Tăng tốc 10–20% so với các phương pháp cascade mạnh nhất, đạt 2.5–3× so với greedy decoding.
- Hiệu quả tỉ lệ thuận với khoảng cách năng lực giữa drafter và verifier đích (ví dụ 2B→27B đạt 2.32–2.61×).
- DIMR chỉ tốn 18–68 phút tìm kiếm offline một lần cho mỗi cặp mô hình.
- Có thể tích hợp trực tiếp vào các khung SD hiện có (EAGLE, PEARL) mà không cần huấn luyện lại.
IV. Conclusion & Future Works:
VIA-SD chứng minh rằng đa tầng hóa speculative decoding mang lại hiệu quả tốt hơn binary accept–reject. Hướng tới: mở rộng tự động chọn số tầng trung gian thích ứng theo task, kết hợp các kỹ thuật caching để tăng tốc thêm, và áp dụng cho các mô hình có cấu trúc ngoài Transformer.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu mở rộng VIA-SD cho kiến trúc MoE, mỗi expert được coi như một tầng xác minh trung gian, giúp giảm chi phí chuyển tiếp token qua nhiều expert không cần thiết.
- Phát triển cơ chế routing động online thay vì offline: mỗi lần generate, mô hình tự chọn số tầng và tỉ lệ skip dựa trên khó khăn của block hiện tại.
- Áp dụng đa tầng hóa vào speculative decoding cho mô hình đa phương thức (VLM): token văn bản và token hình ảnh được xử lý ở các tầng khác nhau, tối ưu theo độ tin cậy của từng modality.
2. Patent:
- Hệ thống sinh văn bản trên điện thoại thông minh: dùng mô hình nhỏ chạy nội bộ để dự thảo câu trả lời, mô hình con trích từ cloud kiểm tra nhanh, chỉ gọi mô hình đầy đủ khi cần — giảm độ trễ và dữ liệu truyền tải.
- Trợ lý giọng nói thông minh: token lời nói được xác minh qua nhiều tầng mô hình nhúng trong thiết bị; token âm thanh có độ tin cậy thấp được gửi lên đám mây để tái tạo, tối ưu thời gian phản hồi thực tế.
- Tìm kiếm ngữ nghĩa nâng cao trên di động: câu truy vấn người dùng được phân tích qua drafter cục bộ, các token trung gian (mờ nghĩa) được xử lý bằng mô hình con đã được tối ưu hóa routing trước, tránh gọi API tốn kém cho mọi từ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.12243 |
| ArXiv Abstract | https://arxiv.org/abs/2606.12243 |
| PDF Download | https://arxiv.org/pdf/2606.12243.pdf |
| Github Repository | N/A |
11. From 2D Grids to 1D Tokens: Reforming Shared Representations for Multimodal Image Fusion (32 votes)
Tác giả: Yuchen Xian, Yunqiu Xu, Yang He, Yi Yang
Xuất bản lúc: 2026-06-10
Tag: Multimodal Image Fusion, 1D Tokenization, Selective Token Editing, Appearance-Detail Decoupling, Infrared-Visible Fusion, Medical Image Fusion
I. Main Problem:
Các phương pháp hợp nhất ảnh đa phương thức hiện tại biểu diễn thông tin chung trên lưới đặc 2D (feature grid). Cách này giỏi mô hình cấu trúc cục bộ nhưng không kiểm soát được các yếu tố toàn cục (như độ sáng, độ tương phản) vì các yếu tố này bị phân tán và rối với chi tiết không gian, gây mất ổn định và khó điều chỉnh.
II. Main Idea:
Bài báo đề xuất thay thế lưới 2D bằng một chuỗi token 1D nhỏ gọn, dùng tokenizer ảnh tiền huấn luyện (TiTok) đóng băng làm giao diện toàn cục. Token 1D đóng vai trò 'mang ngoại hình' (appearance/base), trong khi con đường 2D vẫn giữ nhiệm vụ khôi phục chi tiết không gian. Kỹ thuật Selective Token Editing (STE) cho phép chỉnh sửa thưa thớt một vài token (vị trí 12 và 18) để điều chỉnh ngoại hình mà không cần thay đổi backbone hợp nhất hay thêm hàm mất mát phức tạp.
III. Main Results:
- Trên bốn bộ dữ liệu (M3FD, RoadScene, TNO, Harvard), phương pháp đạt kết quả tốt nhất hoặc nhì ở các chỉ số EN, SD, SCD, SSIM.
- Cải thiện rõ rệt trên tác vụ hạ nguồn: phát hiện đối tượng (mAP50:95 cao nhất) và phân đoạn ngữ nghĩa (mIoU cao nhất).
- Ablation: chỉnh sửa đồng thời token 12 và 18 mang lại hiệu quả tốt nhất; cấu hình 32 token vượt trội so với 64 và 128.
- Khảo sát: TiTok (1D tokenizer) phù hợp hơn các encoder nhận dạng như DINOv3 hay CLIP cho tác vụ hợp nhất.
- Hiệu quả: chỉ 1.3M tham số huấn luyện, SSIM đạt 1.49 so với 1.22 của Text-DiFuse.
IV. Conclusion & Future Works:
Khung làm việc dùng token 1D và chỉnh sửa token có chọn lọc cải thiện mạnh sự hài hòa ngoại hình toàn cục và trung thực chi tiết cục bộ. Hướng phát triển: tối ưu chiến lược chọn token và mở rộng cho các bài toán hợp nhất đa phương thức khác, tận dụng khả năng kiểm soát tập trung của không gian token.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng kiến trúc token 1D cho hợp nhất video đa phương thức: xử lý chuỗi hình ảnh, mỗi frame trích xuất token 1D, rồi dùng STE để hiệu chỉnh ngoại hình (sáng/tối) ổn định theo thời gian.
- Kết hợp STE với mô hình khuếch tán (diffusion) để sinh ảnh hợp nhất có kiểm soát: token 1D đóng vai trò điều kiện toàn cục, diffusion đảm nhận tái tạo chi tiết không gian.
- Nghiên cứu ảnh hưởng của các tokenizer 1D khác (như FlexTok) đến hiệu năng hợp nhất, tìm tokenizer tối ưu về cân bằng giữa nén và giữ thông tin ngoại hình.
2. Patent:
- Ứng dụng trên điện thoại thông minh: chế độ chụp ảnh ban đêm kết hợp camera hồng ngoại và thường, dùng token 1D để tự động cân bằng sáng và giữ chi tiết, tạo ảnh rõ nét hơn.
- Hệ thống giám sát giao thông ban đêm: camera nhiệt và quang học gửi ảnh về trung tâm, mô hình token 1D điều chỉnh tương phản toàn cục, giúp nhận diện vật thể (xe, người) chính xác hơn trong điều kiện thiếu sáng.
- Thiết bị hỗ trợ lái xe: tích hợp cảm biến hồng ngoại và camera thường, dùng token 1D để cải thiện đồng nhất ngoại hình màn hình hiển thị head-up, giảm hiệu ứng chói hoặc tối lóa.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.12303 |
| ArXiv Abstract | https://arxiv.org/abs/2606.12303 |
| PDF Download | https://arxiv.org/pdf/2606.12303.pdf |
| Github Repository | N/A |
12. HYDRA-X: Native Unified Multimodal Models with Holistic Visual Tokenizers (29 votes)
Tác giả: Guozhen Zhang, Xuerui Qiu, Yutao Cui, Tianhui Song, Changlin Li, et al.
Xuất bản lúc: 2026-06-11
Tag: Unified Multimodal Models, Visual Tokenizer, Video Understanding, Image Generation, Vision Transformer, Image Editing
I. Main Problem:
Các mô hình đa phương thức thống nhất (UMM) hiện tại chưa có một bộ tokenizer hình ảnh tổng thể có thể xử lý cả ảnh và video trong cùng một ViT. Các phương pháp cũ dùng tokenizer theo từng khung hình hoặc kết hợp bộ giải mã 3D rời rạc, gây mất thông tin động học và cấu trúc ngữ nghĩa, dẫn đến hiệu suất không đồng đều giữa hiểu và sinh.
II. Main Idea:
HYDRA-X giới thiệu HYDRA-XTOK, một bộ tokenizer thống nhất ảnh và video trong một ViT duy nhất. Thiết kế dựa trên hai phát hiện chính: (1) dùng causal attention khung hình liền kề (tubelet) thay vì full attention giúp tái tạo tốt hơn, và (2) temporal compression theo tầng (hierarchical patchify) vượt trội so với nén một lần. Để tích hợp ngữ nghĩa, tác giả dùng một Decompressor nhẹ nâng độ phân giải thời gian cho latent, cho phép distillation từ cả teacher ảnh và video. Đối với chỉnh sửa ảnh, nguồn và đích được xử lý như một clip dài 2 khung hình trong Sem-ViT, kích hoạt tương tác cấu trúc sớm ở mức latent thay vì ở LLM.
III. Main Results:
- Trên hiểu ảnh, HYDRA-X 7B đạt MME 2350 và AI2D 86.5, vượt các UMM cùng kích thước.
- Trên hiểu video, đạt MVBench 59.1 và Video-MME 60.0, cải thiện rõ so với Show-o2 7B.
- Trên sinh ảnh: GenEval 0.88, WISE Overall 0.56, dẫn đầu trong số mô hình 7B thống nhất.
- Trên sinh video: VBench Total 83.49, cao hơn Show-o2 1.5B và Emu3 8B.
- Chỉnh sửa ảnh: ImgEdit Overall 4.34, vượt BAGEL 14B và OmniGen2, nhờ cơ chế tương tác latent sớm.
IV. Conclusion & Future Works:
HYDRA-X là UMM đầu tiên thống nhất token hóa ảnh và video trong một ViT, chứng minh rằng causal attention hẹp và hierarchical patchify giúp cải thiện tái tạo và ngữ nghĩa. Hướng tới: mở rộng tokenizer cho nhiều phương thức hơn và tối ưu Decompressor để hỗ trợ video dài.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng cơ chế tương tác latent sớm cho chỉnh sửa video theo hướng dẫn, tận dụng tubelet causal attention như trong HYDRA-X để hợp nhất nguồn và đích ở cấp độ tokenizer.
- Nghiên cứu ảnh hưởng của dung lượng Decompressor và số bước temporal upsampling đến chất lượng sinh video dài (nhiều hơn 32 khung), nhằm giảm chi phí tính toán.
- Kết hợp HYDRA-XTOK với các backbone LLM lớn hơn (≥13B) để đánh giá hiệu suất trên các tác vụ hiểu và sinh cấp cao, đặc biệt trên các benchmark video dài như LVBench.
2. Patent:
- Ứng dụng bộ tokenizer thống nhất ảnh-video vào trợ lý ảo trên điện thoại: người dùng chụp ảnh hoặc quay video ngắn, mô hình hiểu ngữ cảnh và sinh nội dung trả lời trực quan (ảnh/video) mà không cần hai encoder riêng.
- Hệ thống chỉnh sửa ảnh trên điện thoại thông minh không cần tải xuống mô hình nặng: nguồn và chỉnh sửa được xử lý cùng lúc bằng cơ chế tubelet attention, giảm độ trễ và tiết kiệm bộ nhớ, phù hợp với thiết bị di động.
- Phương pháp sinh video quảng cáo cá nhân hóa: nhập ảnh sản phẩm và văn bản mô tả, tokenizer tích hợp sẵn khung ngữ nghĩa ảnh và video tạo ra clip ngắn đồng nhất với chuyển động mượt mà, giúp tối ưu hiển thị trên màn hình nhỏ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.13289 |
| ArXiv Abstract | https://arxiv.org/abs/2606.13289 |
| PDF Download | https://arxiv.org/pdf/2606.13289.pdf |
| Github Repository | N/A |
13. EurekAgent: Agent Environment Engineering is All You Need For Autonomous Scientific Discovery (28 votes)
Tác giả: Amy Xin, Jiening Siow, Junjie Wang, Zijun Yao, Fanjin Zhang, et al.
Xuất bản lúc: 2026-06-11
Tag: LLM-based Agents, Autonomous Scientific Discovery, Environment Engineering, Circle Packing, Kernel Engineering, MLE-Bench
I. Main Problem:
Các hệ thống nghiên cứu tự động hiện tại thường ép buộc tác nhân AI phải tuân theo một quy trình làm việc cố định, điều này không những hạn chế khả năng khám phá mà còn tiềm ẩn rủi ro như gian lận điểm số hoặc thao túng kết quả. Với sự tiến bộ của các tác nhân mã nguồn mở mạnh, nút thắt cổ chai đang chuyển từ việc thiết kế quy trình sang việc thiết kế môi trường hoạt động an toàn và hiệu quả.
II. Main Idea:
EurekAgent đề xuất phương pháp 'Environment Engineering' (Kỹ thuật Môi trường) thay vì can thiệp vào quy trình nghiên cứu. Hệ thống sử dụng các tác nhân CLI có sẵn và thiết kế một môi trường vòng ngoài gồm 4 khía cạnh: (1) kỹ thuật quyền hạn để ngăn chặn hành vi gian lận, (2) kỹ thuật lưu trữ để quản lý kết quả qua Git, (3) kỹ thuật ngân sách để kiểm soát chi phí và thời gian, và (4) kỹ thuật giám sát con người. Tác nhân được tự do lựa chọn chiến lược nghiên cứu của mình trong khuôn khổ môi trường này.
III. Main Results:
- Đạt kết quả SOTA mới cho bài toán xếp 26 hình tròn với điểm số 2.635999, chi phí API dưới 11 đô la.
- Vượt qua các kết quả AI tốt nhất trước đây trên cả 3 bài toán toán học (Erdős, Autocorrelation).
- Tìm ra giải pháp kernel cho TriMul nhanh hơn 4.3% so với giải pháp hàng đầu và 10.8% so với TTT-Discover.
- Đạt tỷ lệ huy chương cao nhất (85.71%) trên tập con MLE-Bench, sử dụng mô hình mã nguồn mở GLM-5.1.
- Chứng minh rằng chỉ cần kỹ thuật môi trường mà không cần cập nhật mô hình vẫn đạt được kết quả đột phá.
IV. Conclusion & Future Works:
EurekAgent cho thấy kỹ thuật môi trường là yếu tố then chốt để chuyển đổi năng lực mô hình thành tiến bộ khoa học đáng tin cậy. Hướng phát triển tương lai là mở rộng phương pháp này sang các lĩnh vực khoa học rộng hơn, nơi các bộ đánh giá phức tạp hơn và cần có sự giám sát chặt chẽ hơn.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu mở rộng khái niệm Environment Engineering cho các bài toán khoa học với bộ đánh giá không chạy được (non-executable), ví dụ như hóa học hoặc sinh học, nơi kết quả thí nghiệm là đầu vào từ thế giới thực.
- Phát triển một hệ thống tự động hóa việc thiết kế môi trường (Auto-Environment Engineering) để tối ưu các ràng buộc và siêu tham số như số vòng lặp, ngân sách, hay mức độ cô lập mà không cần can thiệp thủ công.
- Kết hợp Environment Engineering với kỹ thuật fine-tuning trên mô hình nền để tạo ra các tác nhân nghiên cứu lai, vừa có khả năng thích ứng với môi trường vừa được tối ưu hóa về chi phí và hiệu suất cho từng lĩnh vực cụ thể.
2. Patent:
- Hệ thống tối ưu hóa tham số cho thiết bị di động (ví dụ: thời lượng pin, chất lượng ảnh) thông qua các tác nhân AI tự động thử nghiệm các cấu hình khác nhau trong một môi trường mô phỏng biệt lập, giúp tìm ra thiết lập tối ưu mà không làm hỏng thiết bị thật.
- Phần mềm 'trợ lý khám phá' trên điện thoại giúp người dùng tìm ra công thức nấu ăn hoặc chế độ tập luyện tối ưu: người dùng nhập mục tiêu, tác nhân AI sẽ tự động chạy thử nghiệm ảo (dựa trên dữ liệu có sẵn) và đề xuất giải pháp tốt nhất.
- Module bảo mật cho ứng dụng AI trên điện thoại, ngăn chặn các tác nhân AI 'gian lận' bằng cách cô lập hoàn toàn dữ liệu nhạy cảm (ví dụ: ảnh cá nhân, lịch sử duyệt web) khỏi không gian làm việc của AI và chỉ cho phép truy cập qua các API an toàn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.13662 |
| ArXiv Abstract | https://arxiv.org/abs/2606.13662 |
| PDF Download | https://arxiv.org/pdf/2606.13662.pdf |
| Github Repository | https://github.com/THU-Team-Eureka/EurekAgent |
14. N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization (24 votes)
Tác giả: Xukun Zhu, Hang Yu, Peng Di, Linchao Zhu
Xuất bản lúc: 2026-06-09
Tag: Reinforcement Learning, Large Language Models, Mathematical Reasoning, GRPO, Embedding Space, Exploration, Semantic Neighbor Mixing
I. Main Problem:
Các phương pháp rollout hiện tại cho RL trong LLMs gặp một sự đánh đổi cơ bản: sampling ở mức token thường chỉ tạo ra các quỹ đạo dư thừa (chỉ khác về cách diễn đạt), trong khi các kỹ thuật ở mức embedding sử dụng nhiễu ngẫu nhiên lại thường phá vỡ tính nhất quán ngữ nghĩa, dẫn đến các quỹ đạo lệch lạc.
II. Main Idea:
N-GRPO đề xuất cơ chế Semantic Neighbor Mixing: thay vì sampling token rời rạc hoặc thêm nhiễu ngẫu nhiên, phương pháp này xây dựng embedding đầu vào cho bước sinh tiếp theo bằng cách trộn có trọng số embedding của token neo (token có logit cao nhất) với embedding của các token láng giềng gần nhất về mặt ngữ nghĩa. Cơ chế này được tích hợp vào rollout phase của GRPO với một mixing rate (mặc định 0.1) để kiểm soát tần suất kích hoạt, giúp mở rộng không gian tìm kiếm trong khi bám sát local semantic manifold, tránh semantic drift.
III. Main Results:
- Trên DeepSeek‑R1‑Distill‑Qwen‑1.5B, N-GRPO cải thiện Pass@32 trung bình từ 77.41 (GRPO) lên 79.17; trên AIME25, Pass@32 tăng từ 47.31 lên 50.28.
- Trên DeepSeek‑R1‑Distill‑Qwen‑7B, Pass@32 trung bình tăng từ 81.94 (GRPO) lên 84.20.
- Phương pháp cũng cải thiện hiệu suất trên backbones không được distillation (Llama-3.2-1B và Qwen3-1.7B-Base), đặc biệt trên AIME25.
- Trên GPQA-Diamond (OOD), N-GRPO đạt Pass@32 92.87 (1.5B) và 92.80 (7B), vượt trội so với các baseline.
- Ablation cho thấy Cosine distance cho chất lượng neighbor tốt nhất so với L2 và L1; mixing rate phù hợp (0.1) mang lại sự cân bằng tốt nhất giữa exploration và stability.
IV. Conclusion & Future Works:
N-GRPO chuyển đổi hiệu quả từ exploration dựa trên token rời rạc sang nhiễu có căn cứ ngữ nghĩa ở mức embedding, cải thiện đáng kể hiệu suất suy luận toán học. Phương pháp này mở ra hướng khám phá động lực suy luận trong không gian embedding. Hạn chế bao gồm chi phí tính toán tăng thêm ở rollout và chưa được kiểm chứng trên các tác vụ sinh mã.
V. Brainstorming Space:
1. Publish Papers:
- Áp dụng Semantic Neighbor Mixing cho các tác vụ sinh mã (code generation), nơi yêu cầu ngữ nghĩa và cú pháp nghiêm ngặt, để kiểm tra tính khái quát của phương pháp.
- Kết hợp N-GRPO với cơ chế tìm kiếm neighbor động thay vì cố định mỗi bước, cho phép embedding tham chiếu được cập nhật dựa trên context dài hạn.
- Mở rộng tư tưởng neighbor mixing ra các framework policy optimization khác như PPO hoặc DPO để xem tính hiệu quả có phụ thuộc vào cơ chế advantage của GRPO hay không.
2. Patent:
- Phương pháp cải thiện sinh văn bản cho trợ lý ảo trên điện thoại: thay vì lấy mẫu từ từ điển, trợ lý sẽ trộn embedding của token dự đoán cao nhất với các token ngữ nghĩa gần để tạo ra câu trả lời đa dạng và sáng tạo hơn mà vẫn đúng ngữ cảnh.
- Hệ thống tự động tạo đề thi toán học thích ứng trên ứng dụng học tập: dùng kỹ thuật này để sinh nhiều lời giải khác nhau cho cùng một bài toán, giúp hệ thống gợi ý cho học sinh nhiều cách tiếp cận khác nhau.
- Module tăng cường sinh caption cho ảnh chụp từ camera điện thoại: áp dụng neighbor mixing để tạo ra nhiều mô tả ảnh phong phú, tránh các caption lặp lại như 'người đàn ông và chiếc xe' bằng cách khám phá các biểu diễn embedding lân cận.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.10768 |
| ArXiv Abstract | https://arxiv.org/abs/2606.10768 |
| PDF Download | https://arxiv.org/pdf/2606.10768.pdf |
| Github Repository | N/A |
15. Demystifying Hidden-State Recurrence: Switchable Latent Reasoning with On-Policy Reinforcement Learning (21 votes)
Tác giả: Jiayu Yang, Chao Chen, Shengen Wu, Yinhong Liu, Yuxuan Fan, et al.
Xuất bản lúc: 2026-06-11
Tag: Latent Chain-of-Thought, Hidden-State Recurrence, On-Policy RL, GRPO, Reasoning, Mechanistic Interpretability
I. Main Problem:
Latent chain-of-thought dùng ẩn trạng thái lặp (hidden-state recurrence) giúp nén suy luận nhưng khó tối ưu bằng on-policy RL và khó giải thích. Lý do là các bước ẩn không sinh token, nên policy gradient (GRPO) không xác định, và không có điểm neo để phân tích nhân quả.
II. Main Idea:
Switch dùng cặp token biên
III. Main Results:
- Switch đạt 79.3% trên MATH-500, cao hơn 25.7 điểm so với baseline Coconut mạnh nhất cùng cỡ.
- Sau Switch-GRPO, độ chính xác có điều kiện tăng 12.6 điểm, tỉ lệ kích hoạt suy luận ẩn giảm từ 81% xuống 58%.
- Token
thể hiện chính sách học sắc nét, không phải tạo tác phong cách; xác suất đặt tại biên cao hơn bốn bậc so với vị trí ngẫu nhiên. - Can thiệp nhân quả: xóa trạng thái ẩn làm đúng giảm từ 100% xuống 33.3%; bỏ qua bước ẩn giảm còn 81%.
IV. Conclusion & Future Works:
Switch chứng minh suy luận ẩn kiểu hidden-state recurrence có thể tối ưu bằng on-policy RL và phân tích cơ học trực tiếp. Hướng tới điều chỉnh tinh tế hơn cho các bước ẩn và mở rộng cho bài toán đa bước phức tạp, tối ưu hóa chi phí suy luận.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng khung Switch sang đa tác vụ, nơi mô hình tự học khi nào cần suy luận ẩn cho từng dạng bài (toán, logic, truy vấn).
- Phân tích cơ học so sánh giữa suy luận ẩn và suy luận văn bản rõ để hiểu ưu điểm và hạn chế của mỗi phương pháp.
- Kết hợp Switch với kiến trúc mô hình lớn hơn (Qwen3-8B) và áp dụng cho lập luận đa bước trên tập dữ liệu khác (ví dụ: lập trình, lý giải hình ảnh).
2. Patent:
- Ứng dụng trên điện thoại thông minh cho hỏi đáp ngoại tuyến: mô hình tự động chọn chế độ suy luận ẩn để giảm sản sinh token dài, tiết kiệm pin và tăng tốc phản hồi.
- Trợ lý ảo trên thiết bị IoT (loa thông minh, smartwatch) dùng suy luận ẩn để xử lý các yêu cầu phức tạp mà không cần kết nối mạng liên tục.
- Công cụ học tập trên di động giải thích từng bước giải toán: đầu tiên suy luận ẩn nén suy luận, sau đó trình bày tóm tắt văn bản chính xác, giúp học sinh kiểm tra lại mà không bị quá nhiều chi tiết.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.13106 |
| ArXiv Abstract | https://arxiv.org/abs/2606.13106 |
| PDF Download | https://arxiv.org/pdf/2606.13106.pdf |
| Github Repository | N/A |
16. VideoMDM: Towards 3D Human Motion Generation From 2D Supervision (20 votes)
Tác giả: Amir Mann, Gal Michael Harari, Merav Keidar, Or Litany
Xuất bản lúc: 2026-06-11
Tag: Diffusion Model, 3D Human Motion Generation, Text-to-Motion, 2D Supervision, 2D-to-3D Lifting, Monocular Video, Motion Prior
I. Main Problem:
Các mô hình tạo chuyển động người 3D hiện tại phụ thuộc vào dữ liệu motion-capture (MoCap) đắt đỏ, thu thập trong phòng thí nghiệm và thiếu đa dạng. Trong khi đó, video đơn nhãn ngoài đời thực có sẵn số lượng lớn nhưng không cung cấp 3D ground truth, gây khó khăn cho việc huấn luyện các mô hình sinh 3D mạnh mẽ và phong phú.
II. Main Idea:
VideoMDM là khung huấn luyện diffusion-based được giám sát hoàn toàn bởi 2D pose từ video đơn nhãn, không cần bất kỳ 3D ground truth nào. Nó sử dụng một 2D-to-3D lifter đã được huấn luyện trước để tạo ra các chuỗi 3D xấp xỉ (noisy teacher), sau đó khuếch tán và khử nhiễu trong không gian 3D, nhưng chỉ so sánh với 2D pose chính xác thông qua phép chiếu lại. Để đảm bảo chất lượng, VideoMDM giới thiệu một hàm mất mát reprojection có trọng số độ sâu (depth-aware), tương đương về mặt kỳ vọng với 3D supervisions, cùng với các bộ điều chỉnh chuyển động tự nhiên như velocity loss và representation alignment được thích nghi cho không gian 2D.
III. Main Results:
- Trên HumanML3D, VideoMDM đạt FID 0.88, gần bằng hiệu suất của mô hình huấn luyện đầy đủ 3D (FID 0.54) và cải thiện gấp đôi so với baseline 2D-supervised mạnh nhất.
- Trên Fit3D (dữ liệu fitness thực tế), VideoMDM giảm một nửa lỗi khớp (MPJPE 111mm so với 228mm) và tạo chuyển động mượt mà hơn 5.5 lần (Accel 3.16 so với 17.66 m/s²) so với WHAM.
- Trên NBA dataset, 64% người dùng đánh giá cao chuyển động của VideoMDM hơn MAS trong các so sánh cặp.
- Các nghiên cứu ablation cho thấy kỹ thuật multistep denoising và representation alignment là hai thành phần quan trọng nhất, việc loại bỏ chúng làm tăng FID lên tương ứng 9.85 và 5.75.
IV. Conclusion & Future Works:
VideoMDM mở ra hướng tiếp cận mới để huấn luyện mô hình diffusion 3D từ nguồn video dồi dào ngoài đời thực, đạt chất lượng gần ngang bằng với các mô hình sử dụng 3D supervision. Hướng phát triển tương lai bao gồm cải thiện ước lượng camera, xử lý các tình huống bị che khuất và mở rộng sang các lĩnh vực như hành vi đa người hay tương tác người-vật.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng VideoMDM để tạo ra chuyển động tương tác giữa nhiều người từ video đơn nhãn, học các mối tương quan không-thời gian phức tạp mà không cần 3D ground truth.
- Kết hợp VideoMDM với kỹ thuật đám mây điểm để sinh ra chuyển động người 3D trong các khung cảnh 3D phức tạp, dựa trên chỉ dẫn văn bản và thông tin 2D từ video.
- Phát triển một mô hình 'teacher' 2D-to-3D linh hoạt hơn, được huấn luyện đồng thời với mô hình diffusion để giảm bớt sự phụ thuộc vào lifter cố định và cải thiện chất lượng tổng thể.
2. Patent:
- Ứng dụng trên điện thoại thông minh cho phép người dùng quay video bất kỳ và sử dụng mô hình 'học từ video' này để tạo ra các chuyển động 3D nhân vật ảo, phục vụ cho việc tạo hoạt cảnh giải trí cá nhân hoặc mạng xã hội.
- Hệ thống huấn luyện robot thực hiện các động tác mới dựa trên video hướng dẫn 2D từ người dùng, tận dụng mô hình tạo chuyển động 3D để robot 'học' và mô phỏng lại các động tác đó, giảm chi phí lập trình.
- Tính năng chỉnh sửa chuyển động trên ứng dụng chỉnh sửa video, nơi người dùng có thể nhập một chuyển động mẫu (video) và mô hình sẽ tự động tạo ra các phiên bản 3D khác nhau của chuyển động đó, điều chỉnh theo hướng dẫn văn bản hoặc thay đổi góc nhìn camera.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.13364 |
| ArXiv Abstract | https://arxiv.org/abs/2606.13364 |
| PDF Download | https://arxiv.org/pdf/2606.13364.pdf |
| Github Repository | https://github.com/Amir-Mann/VideoMDM_release |
17. Where, What, Why, and Importance: Structured Defect Grounding for Text-to-Image Feedback (15 votes)
Tác giả: Huaisong Zhang, Hao Yu, Yuxuan Zhang, Jiahe Wang, Xinrui Chen, et al.
Xuất bản lúc: 2026-06-04
Tag: Text-to-Image, Defect Grounding, Vision-Language Models, Structured Set Prediction, RL for Diffusion, Dataset, Image Refinement
I. Main Problem:
Các mô hình T2I dù tiến bộ vẫn mắc lỗi cục bộ, tinh vi, và có cấu trúc phức tạp. Phương pháp đánh giá điểm số vô hướng không chỉ ra được lỗi ở đâu, là loại gì, tại sao hỏng, và mức độ quan trọng (bốn câu hỏi then chốt). Dense feedback dạng heatmap khó gắn lý do ngữ nghĩa cho từng lỗi và không tương thích với đầu ra có cấu trúc của VLM.
II. Main Idea:
Bài báo đề xuất Structured Defect Grounding (SDG), mô hình hóa mỗi lỗi thành tuple (vị trí, loại, lý do, mức quan trọng) và xem chẩn đoán là bài toán dự đoán tập có số biến thiên. Họ xây dựng tập dữ liệu SDG-30K với 30K ảnh có bounding box và chú thích cho bốn bộ sinh T2I, cùng giao thức đánh giá SDG-Eval. SDG dùng VLM làm detector, sau đó dùng BoxFlow-GRPO để chuyển tập lỗi dự đoán thành phần thưởng không gian có trọng số, phục vụ căn chỉnh diffusion.
III. Main Results:
- SDG detector sau GRPO đạt BoxF1@0.5 là 0.263 (artifact) và 0.387 (misalignment), vượt GPT-5.4 và Gemini 3 Pro trên SDG-30K.
- Trên RichHF-18K, SDG zero-shot đạt misalignment F1=0.655, vượt xa ImageDoctor (0.250).
- BoxFlow-GRPO cải thiện trung bình +2.4% trên 5 chỉ số so với base, duy nhất tăng P(real) lên 0.228 (cao hơn base).
- Trong tinh chỉnh ảnh, SDG được ưa thích hơn ImageDoctor (Good 11% vs Bad 3.9%) và Fixed caption (Good 10.3% vs Bad 2.75%).
IV. Conclusion & Future Works:
SDG cung cấp giao diện thống nhất, mức instance để chẩn đoán, đánh giá và cải thiện mô hình T2I. Kết quả cho thấy SDG vượt VLM thương mại, cải thiện căn chỉnh T2I và hỗ trợ chỉnh sửa ảnh có mục tiêu. Hướng tới có thể mở rộng sang các loại lỗi mới hoặc kiến trúc sinh khác.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng SDG cho video generation: thay vì từng khung hình, dự đoán tập lỗi theo không-thời gian với bounding box 3D và mức quan trọng theo thời gian.
- Ứng dụng SDG làm reward function tự động thay vì dùng reward model rời: dùng chính detector SDG làm nguồn tín hiệu thưởng đa chiều cho RL.
- Kết hợp SDG với multimodal LLM để generate hướng dẫn sửa lỗi bằng ngôn ngữ tự nhiên, tạo pipeline tự động fix ảnh theo chỉ dẫn.
2. Patent:
- Hệ thống kiểm tra chất lượng ảnh trên điện thoại: chụp ảnh, model phát hiện lỗi (mờ, ám màu) và gợi ý vùng cần chụp lại kèm lý do, giúp người dùng có ảnh đẹp ngay lần đầu.
- Tính năng 'sửa ảnh thông minh' trong app chỉnh sửa: người dùng khoanh vùng muốn sửa, model tự gán nhãn lỗi và mức quan trọng, đưa ra gợi ý sửa tự động như giảm nhiễu hay điều chỉnh ánh sáng.
- Công cụ hỗ trợ quảng cáo: khi designer upload ảnh sản phẩm do AI tạo, hệ thống tự dò lỗi như chữ bị méo hay thiếu chi tiết, đánh dấu trực tiếp trên ảnh để sửa nhanh trước khi đăng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.06113 |
| ArXiv Abstract | https://arxiv.org/abs/2606.06113 |
| PDF Download | https://arxiv.org/pdf/2606.06113.pdf |
| Github Repository | https://github.com/nianbai006/SDG |
18. MoVerse: Real-Time Video World Modeling with Panoramic Gaussian Scaffold (14 votes)
Tác giả: Yang Zhou, Ziheng Wang, Yuqin Lu, Haofeng Liu, Jun Liang, et al.
Xuất bản lúc: 2026-06-11
Tag: 3D Gaussian Splatting, Video World Model, Panorama Generation, Diffusion Models, Autoregressive Video, Single-Image 3D, Real-Time Rendering
I. Main Problem:
Từ một ảnh đơn góc hẹp (NFOV), việc tạo ra thế giới có thể tương tác, điều hướng tự do là bài toán thiếu ràng buộc. Ảnh đầu vào chỉ quan sát được một phần nhỏ cảnh vật, trong khi yêu cầu là trọn vẹn 360°, hình học bền vững, chuyển động camera điều khiển được, và video chất lượng cao.
II. Main Idea:
MoVerse tách biệt việc xây dựng thế giới khỏi kết xuất quan sát. Đầu tiên, nó mở rộng ảnh đầu vào thành ảnh toàn cảnh 360° có trọng lực đồng nhất dùng diffusion nhận thức topo. Sau đó nâng ảnh toàn cảnh thành giàn Gaussian 3D bền vững. Cuối cùng, một bộ kết xuất video điều kiện Gaussian dạng tự hồi quy nhân quả được chưng cất từ mô hình song hướng, tạo video chất lượng cao với độ trễ thấp và nhất quán thời gian.
III. Main Results:
- Hỗ trợ tương tác thời gian thực 8 FPS trên GPU NVIDIA RTX 4090.
- Ba giai đoạn (sinh toàn cảnh, kiến tạo giàn Gaussian, kết xuất video) được thiết kế để không làm chậm quá trình tương tác.
- Kết quả cho thấy scaffold Gaussian cung cấp bộ nhớ không gian dài hạn, ngăn drift khi điều hướng xa.
- Video renderer tự hồi quy cung cấp chất lượng cao hơn so với kết xuất Gaussian thuần, đặc biệt ở vùng thiếu thông tin hoặc aliasing.
IV. Conclusion & Future Works:
MoVerse chứng minh thiết kế phân tách rõ ràng giữa xây dựng thế giới (offline) và kết xuất (online) cho phép tương tác thực tế từ một ảnh đơn. Hướng tương lai có thể bao gồm tối ưu hóa thời gian khởi tạo giàn Gaussian và mở rộng xử lý cảnh động hoặc đa đối tượng.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng MoVerse cho video đầu vào thay vì ảnh tĩnh: dùng nhiều khung hình NFOV đồng thời cải thiện độ chính xác của ảnh toàn cảnh và giàn Gaussian.
- Kết hợp tối ưu hóa online (test-time optimization) trên giàn Gaussian để sửa lỗi cục bộ khi người dùng tương tác mà không cần sinh lại toàn bộ.
- Áp dụng pipeline 'toàn cảnh + Gaussian + video' cho điều khiển robot nhập vai: robot dùng camera đơn để xây bản đồ 3D tức thì và mô phỏng hướng dẫn từ xa.
2. Patent:
- Ứng dụng di động 'Chụp và Dạo': người dùng chụp một ảnh phòng, điện thoại tự động tạo ảnh toàn cảnh 360° và mô hình 3D để dạo quanh ảo trong ứng dụng VR/AR.
- Tính năng 'Xem trước nội thất' trên điện thoại: từ một ảnh phòng trống, khởi tạo giàn Gaussian rồi kết xuất nội thất mới theo góc nhìn người dùng lướt, hỗ trợ thiết kế và mua sắm online.
- Hệ thống giám sát ảo thời gian thực: camera điện thoại ghi một khung hình góc hẹp, mô hình tạo toàn cảnh và giàn Gaussian để người dùng lướt kiểm tra toàn bộ khu vực từ xa mà không cần nhiều camera.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.13376 |
| ArXiv Abstract | https://arxiv.org/abs/2606.13376 |
| PDF Download | https://arxiv.org/pdf/2606.13376.pdf |
| Github Repository | https://github.com/Orange-3DV-Team/MoVerse |
19. HarnessBridge: Learnable Bidirectional Controller for LLM Agent Harness (13 votes)
Tác giả: Xiaoxuan Wang, Haixin Wang, Alexander Taylor, Jason Cong, Yizhou Sun, et al.
Xuất bản lúc: 2026-06-11
Tag: LLM Agents, Agent Harness, Long-Horizon Tasks, Instruction Tuning, Bidirectional Projection, Token Efficiency
I. Main Problem:
Các hệ thống LLM agent hiện tại dùng harness (giao diện giữa agent và môi trường) được thiết kế thủ công, không học hỏi. Khi tương tác dài hạn, những harness này tích lũy ngữ cảnh dư thừa, thông tin lỗi thời và cho phép các hành động không hiệu quả, gây tốn token và giảm hiệu suất.
II. Main Idea:
HarnessBridge là một harness có thể học, tham số hóa giao diện agent–môi trường dưới dạng hai phép chiếu hai chiều: observation projection nén lịch sử tương tác thô thành trạng thái gọn nhẹ, chỉ giữ thông tin quyết định; action projection kiểm tra hành động đề xuất rồi chuyển tiếp hoặc từ chối có phản hồi dựa trên lịch sử. Cả hai phép chiếu được huấn luyện unified instruction tuning trên một lightweight LLM, cho phép harness tự học cách tối ưu luồng thông tin.
III. Main Results:
- Trên Terminal-Bench 2.0, HarnessBridge đạt tỷ lệ thành công cao nhất (33.7% với Qwen3.5, +11.2% so với Terminus 2) và giảm token tiêu thụ 42.4%.
- Trên SWE-bench Verified, HarnessBridge cạnh tranh ngang các harness mạnh nhất nhưng dùng ít token nhất (1.13M so với 1.92M của Meta-Harness).
- Khi chuyển từ generator nhỏ sang mô hình thương mại lớn, HarnessBridge vẫn duy trì hoặc cải thiện tỷ lệ thành công, giảm token tới 90% (GPT-5.4-Nano: 18.0% → 22.5%, token giảm từ 9.77M xuống 0.91M).
- Ablation: bỏ observation hoặc action projection đều giảm tỷ lệ thành công, chứng tỏ cả hai đều đóng góp vào hiệu quả.
- HarnessBridge đặc biệt giảm số turn tương tác (trung bình 18 turn so với 52 turn của baseline) và token tiêu thụ tới 89% cho các task mà baseline thất bại.
IV. Conclusion & Future Works:
HarnessBridge chứng minh harness có thể được tối ưu hóa bằng học, thay vì thiết kế thủ công. Nó vượt trội về tỷ lệ thành công và tiết kiệm token, đồng thời khái quát hóa sang nhiều mô hình và môi trường khác nhau. Hướng tới, có thể mở rộng cho các môi trường đa phương thức và tối ưu chiến lược thăm dò trong harness.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng HarnessBridge cho agent đa phương thức (hình ảnh, âm thanh): observation projection nén đồng thời nhiều luồng cảm biến, action projection kiểm tra hành động trên từng modality.
- Kết hợp HarnessBridge với học tăng cường để tự động tìm chính sách harness tối ưu thay vì phụ thuộc dữ liệu giám sát từ trước.
- Áp dụng kiến trúc harness học được cho agent cộng tác nhiều agent, nơi mỗi agent có harness riêng nhưng được huấn luyện đồng bộ để chia sẻ thông tin hiệu quả.
2. Patent:
- Module plugin cho điện thoại thông minh tự động nén lịch sử trò chuyện với trợ lý ảo: giữ lại thông tin quan trọng (lệnh chưa xử lý, lỗi chưa khắc phục) và loại bỏ nội dung dư thừa, giúp giảm token phí và phản hồi nhanh hơn.
- Ứng dụng kiểm tra hành động trên trình duyệt di động: khi người dùng yêu cầu thao tác web phức tạp, hệ thống tự động từ chối các bước lặp vô ích và gợi ý hướng sửa, tiết kiệm thời gian và lưu lượng.
- Hệ thống quản lý tác vụ trên điện thoại cho nhân viên: tự động nén báo cáo công việc hàng ngày dài thành các mục tiêu chưa hoàn thành và phản hồi dựa trên lịch sử, giúp quản lý nắm bắt nhanh tiến độ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.12882 |
| ArXiv Abstract | https://arxiv.org/abs/2606.12882 |
| PDF Download | https://arxiv.org/pdf/2606.12882.pdf |
| Github Repository | https://github.com/mandyyyyii/HarnessBridge |
20. High-Fidelity Two-Step Image Generation via Teacher-Aligned End-to-End Distillation (13 votes)
Tác giả: Dongyang Liu, Ruoyi Du, David Liu, Dengyang Jiang, Liangchen Li, et al.
Xuất bản lúc: 2026-06-10
Tag: Diffusion Models, Few-Step Distillation, GAN, Adversarial Learning, Image Generation
I. Main Problem:
Các mô hình khuếch tán tạo ảnh chất lượng cao nhưng cần nhiều bước lấy mẫu, gây tốn kém tính toán. Nén xuống 2 bước là thách thức vì mỗi bước phải bao phủ một quãng đường lớn trên quỹ đạo nhiễu-ảnh, dẫn đến khó tối ưu và yêu cầu năng lực mô hình cao hơn so với các chế độ 4-8 bước.
II. Main Idea:
Z-Image Turbo++ giải quyết bằng ba thiết kế đồng bộ: (1) Distribution-Aligned Adversarial Learning: dùng ảnh do teacher 8 bước tạo ra làm 'ảnh thật' cho GAN thay vì ảnh ngoài, giúp mục tiêu gần hơn với phân phối student, ổn định huấn luyện. (2) Step-Decoupled Parameterization: gán tham số riêng cho hai bước khử nhiễm để tăng năng lực mô hình. (3) End-to-End Training with Iterative Regularization: lan truyền gradient từ ảnh cuối về bước một, đồng thời giữ loss riêng cho bước một để bảo toàn lối suy diễn lặp có sẵn.
III. Main Results:
- Trên OneIG, GenEval, DPG-Bench và LongTextBench, Z-Image Turbo++ đạt kết quả cao hơn TwinFlow, DMD2 và Z-Image Turbo ở 2 bước, tiến gần đến teacher 8 bước.
- Ablation cho thấy bỏ ảnh teacher làm 'ảnh thật' gây artifact nặng; dùng teacher giúp ổn định.
- Tách tham số hai bước (full weight decoupling) vượt trội hơn LoRA riêng bước, nhất là benchmark sinh chữ.
- Bỏ loss bước một làm suy giảm chất lượng trung gian và cuối, chứng tỏ cần duy trì lối sinh lặp.
- Z-Image Turbo++ vượt TwinFlow rõ rệt ở sinh chữ (LongText-EN: 89.88 vs 71.99).
IV. Conclusion & Future Works:
Z-Image Turbo++ thu hẹp đáng kể khoảng cách chất lượng giữa sinh 2 bước và 8 bước, nhờ ba kỹ thuật phối hợp. Hạn chế chính là tăng dung lượng lưu tham số (do tách bước) và vẫn yếu hơn teacher ở sinh chữ dày, vật thể phụ. Hướng tới có thể dùng khung end-to-end để tối ưu bằng reinforcement learning.
V. Brainstorming Space:
1. Publish Papers:
- Áp dụng phân bố-đối sánh đối kháng (thay 'ảnh thật' bằng đầu ra của teacher) cho các tác vụ sinh khác như video hoặc âm thanh, nơi teacher cũng đã được nén vài bước.
- Nghiên cứu cách giảm dung lượng tham số khi tách bước, ví dụ chia sẻ phần backbone nhưng dùng đầu ra chuyên biệt, để cân bằng chất lượng và triển khai.
- Mở rộng huấn luyện end-to-end với iterative regularization cho các mô hình nhiều hơn 2 bước (3-4 bước) để xem lợi ích gradient toàn chuỗi có còn đáng kể không.
2. Patent:
- Ứng dụng trên điện thoại: chụp ảnh với hiệu ứng khuếch tán chỉ 2 bước, dùng teacher đã nén 8 bước làm 'ảnh thật' để GAN ổn định, cho phép tạo ảnh nghệ thuật real-time mà không cần GPU mạnh.
- Module sinh ảnh siêu nén cho thiết bị IoT: chia hai chip riêng cho mỗi bước khử nhiễm, pipeline hóa để tăng thông lượng, phù hợp camera an ninh hoặc máy ảnh lập tức chỉnh sửa.
- Công cụ chỉnh sửa ảnh tương tác: giữ lại loss trung gian (bước một) để người dùng có thể điều chỉnh bố cục nửa chừng trước khi bước hai hoàn thiện chi tiết, mang lại trải nghiệm chỉnh sửa linh hoạt.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.12575 |
| ArXiv Abstract | https://arxiv.org/abs/2606.12575 |
| PDF Download | https://arxiv.org/pdf/2606.12575.pdf |
| Github Repository | N/A |
21. TreeSeeker: Tree-Structured Trial, Error, and Return in Deep Search (10 votes)
Tác giả: Zhuofan Shi, Mingzhe Ma, Lu Wang, Fangkai Yang, Pu Zhao, et al.
Xuất bản lúc: 2026-06-10
Tag: Deep Search, Web Agent, Branch-and-Return, UCB, LLM, Tree Search, Trial-and-Error
I. Main Problem:
Trong tác vụ deep search (tìm kiếm sâu), agent cần trả lời câu hỏi phức tạp qua nhiều bước tương tác web. Vấn đề trung tâm là khi có nhiều hướng tìm kiếm tiềm năng, agent khó quyết định nên tiếp tục hướng nào, thử hướng khác hay bỏ cuộc và quay lại. Cách tiếp cận tham lam dễ sa lầy vào hướng yếu, còn thăm dò vô tổ chức sẽ lãng phí ngân sách.
II. Main Idea:
TreeSeeker tổ chức tìm kiếm như cây trạng thái với chiến lược 'rẽ nhánh và quay lui'. Mỗi nhánh là một hướng tìm kiếm (truy vấn, nguồn, giả thuyết). Thành phần TreeSearch dùng tín hiệu ngữ nghĩa (value, uncertainty, risk) theo nguyên lý UCB để chọn giữa khai thác (exploit), thăm dò (explore) hoặc tỉa bỏ (prune) và quay về điểm rẽ trước đó. TreeMem lưu bằng chứng, xung đột, tiến độ, lỗi gắn với từng nhánh để hỗ trợ quyết định.
III. Main Results:
- TreeSeeker (gpt-5.2) đạt 56.3 trên XBench-DS, vượt Flash-Searcher (50.7), IterResearch (44.0) và Tongyi-DeepSearch (45.0).
- Trên BrowseComp và BrowseComp-ZH đạt 47.0 và 43.0, đứng đầu các baseline mã nguồn mở.
- Ablation: bỏ Textual UCB làm giảm 4.3 điểm; bỏ Explore & Prune giảm mạnh nhất 8.3 điểm; bỏ Leaf Trace giảm 5.0 điểm.
- TreeSeeker duy trì tỷ lệ thành công tích lũy cao hơn Flash-Searcher từ bước thứ 8 đến cuối ngân sách.
IV. Conclusion & Future Works:
TreeSeeker cho thấy kiểm soát rẽ nhánh và quay lui tường minh là bổ sung quan trọng cho các agent deep search hiện tại. Hạn chế gồm chưa hỗ trợ đa phương thức, chi phí suy luận tăng thêm và phụ thuộc vào chất lượng nguồn web bên ngoài. Hướng tương lai có thể mở rộng sang dữ liệu hình ảnh/video.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng TreeSeeker sang tìm kiếm đa phương thức (văn bản + hình ảnh + video) cho các tác vụ deep research liên quan đến nội dung trực quan, thử nghiệm trên benchmark BrowseComp đa phương thức.
- Kết hợp TreeSeeker với kỹ thuật RL (reinforcement learning) để tự động học các tín hiệu Textual UCB (value, uncertainty, risk) thay vì dùng prompt cố định, nhằm tối ưu ngân sách tìm kiếm.
- Áp dụng tư tưởng branch-and-return cho agent lập kế hoạch đa bước trong môi trường game hoặc mô phỏng, nơi cần thử sai và quay lui khi gặp ngõ cụt.
2. Patent:
- Hệ thống tìm kiếm thông tin trên điện thoại thông minh: khi người dùng hỏi một câu phức tạp, ứng dụng tự động tạo nhiều hướng tìm kiếm song song, đánh giá độ tin cậy từng hướng và ưu tiên khai thác hướng có bằng chứng mạnh nhất, đồng thời tỉa bỏ hướng nhiễu.
- Trợ lý ảo tích hợp deep search cho doanh nghiệp: khi cần tổng hợp dữ liệu từ nhiều nguồn nội bộ và web, hệ thống tổ chức các hướng nghiên cứu thành cây, tự động phân bổ ngân sách truy vấn và quay lại điểm rẽ nếu phát hiện xung đột dữ liệu.
- Ứng dụng đặt vé du lịch tự động: thay vì duyệt tuyến tính, hệ thống tạo nhiều nhánh tìm kiếm (chuyến bay, khách sạn, địa điểm), sử dụng tín hiệu giá và đánh giá để quyết định khai thác nhánh tiết kiệm nhất hoặc thăm dò thêm lựa chọn khác.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.11662 |
| ArXiv Abstract | https://arxiv.org/abs/2606.11662 |
| PDF Download | https://arxiv.org/pdf/2606.11662.pdf |
| Github Repository | N/A |