Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-06-17

Báo cáo được tạo tự động vào lúc 2026-06-30 17:01:11 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. Looped World Models (469 votes)​

Tác giả: Hongyuan Adam Lu, Z. L. Victor Wei, Qun Zhang, Jinrui Zeng, Bowen Cao, et al.

Xuất bản lúc: 2026-06-16

Tag: Looped Transformer, World Model, Reinforcement Learning, Latent Dynamics, Adaptive Computation, Spectral Stability, Parameter Efficiency

I. Main Problem:​

Các world model hiện tại rơi vào thế khó: mô phỏng trung thành tầm xa đòi hỏi tính toán sâu, nhưng mô hình sâu thì tốn tham số và dễ tích lũy sai số. Không có kiến trúc nào vừa giữ được tham số gọn nhẹ vừa đảm bảo rollout ổn định hàng trăm bước.

II. Main Idea:​

LoopWM dùng block transformer có tham số chia sẻ lặp lại nhiều vòng trên cùng biểu diễn ẩn, kết hợp ràng buộc phổ (spectral constraint) để giữ quỹ đạo ẩn luôn bị chặn. Nhờ vậy, mô hình có thể thích ứng độ sâu tính toán cho từng bước chuyển tiếp — bước đơn giản chỉ cần 1 vòng, bước phức tạp xài nhiều vòng — mà tổng tham số chỉ bằng 1% so với kiến trúc truyền thống. Cơ chế early exit entropy-regularized tự động dừng vòng lặp khi hội tụ, tiết kiệm tài nguyên.

III. Main Results:​

  • Trên ScienceWorld, LoopWM (≈1B tham số) vượt claude-opus-4-6-max (≈100× tham số) tới 21.2% điểm EM trung bình.
  • Ở tác vụ Lifespan, điểm cải thiện từ 0% lên 100% so với đối thủ mạnh.
  • Trên AlfWorld, LoopWM đạt BLEU tốt nhất trong 4 mô hình, xếp thứ hai về EM và Token F1.
  • Parameter efficiency: dùng ít hơn 100× tham số so với model ngôn ngữ lớn thương mại.
  • Adaptive early exit giảm FLOPs trung bình tới 25× trên các bước đơn giản như bay tự do.

IV. Conclusion & Future Works:​

LoopWM thiết lập hướng mới: iterative latent depth là trục scaling độc lập với kích thước mô hình và dữ liệu. Hướng tới: mở rộng cho môi trường 3D, kết hợp deferred decoding để tiết kiệm decode cuối chuỗi, và tối ưu curriculum mượt mà hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp LoopWM với diffusion head để sinh quan sát hình ảnh trung thành cho mô phỏng visual dài hạn — tận dụng ưu điểm iterative refinement của loop và chất lượng ảnh của diffusion.
  2. Áp dụng LoopWM vào autonomous driving dùng multi-modal sensor (lidar, camera, radar) với adaptive depth cho từng tình huống giao thông.
  3. Nghiên cứu cơ chế ngắt loop dựa trên uncertainty estimation thay vì entropy để cải thiện độ tin cậy khi môi trường nhiễu.

2. Patent:​

  1. Robot hút bụi thông minh dùng mô hình lặp có tham số chia sẻ để dự đoán chướng ngại vật và tối ưu đường đi, chỉ dùng bộ nhớ nhỏ (<100MB) nên chạy được trên chip nhúng.
  2. Trợ lý ảo trên điện thoại dùng world model lặp để dự đoán kết quả thao tác người dùng (ví dụ: vuốt màn hình, nhấn nút) và gợi ý hành động tiếp theo mà không cần tải model lớn.
  3. Module điều khiển drone mini dùng looped transformer adaptive depth: khi bay ổn định chỉ xài 1-2 vòng lặp để tiết kiệm pin, khi né chướng ngại vật tăng vòng lặp để dự đoán chính xác quỹ đạo.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18208
ArXiv Abstracthttps://arxiv.org/abs/2606.18208
PDF Downloadhttps://arxiv.org/pdf/2606.18208.pdf
Github RepositoryN/A

2. LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling (208 votes)​

Tác giả: Jian Yang, Shawn Guo, Wei Zhang, Tianyu Zheng, Yaxin Du, et al.

Xuất bản lúc: 2026-06-16

Tag: Parallel Loop Transformer, Looped Transformers, Test-Time Computation Scaling, Code Generation, Agentic Software Engineering, Gain-Cost Trade-off, Loop-Count Selection

I. Main Problem:​

Các mô hình Looped Transformer mở rộng tính toán ẩn hiệu quả nhưng bị hạn chế về độ trễ và bộ nhớ KV-cache theo số vòng lặp. Parallel Loop Transformer (PLT) khắc phục vấn đề này, nhưng việc chọn số vòng lặp tối ưu vẫn chưa được giải thích rõ. Bài toán đặt ra là xác định điểm bão hòa của PLT thông qua phân tích nội tại từng vòng lặp.

II. Main Idea:​

Bài báo đề xuất một góc nhìn lợi ích–chi phí để chọn số vòng lặp cho PLT: mỗi vòng lặp thêm có thể tinh chỉnh biểu diễn (gain) nhưng đồng thời gây ra sự lệch vị trí (cost) do cơ chế Cross-Loop Position Offset (CLP). Bằng cách huấn luyện LoopCoder-v2, một họ mã nguồn PLT 7B với số vòng lặp khác nhau trên 18T token, các tác giả phân tích chi tiết động thái trạng thái ẩn, sự tiến hóa của attention và sự dịch chuyển phân phối đầu ra qua từng vòng. Kết quả cho thấy vòng lặp thứ hai mang lại lợi ích tinh chỉnh lớn nhất, trong khi các vòng sau có cập nhật giảm dần và dao động, khiến chi phí CLP cố định chiếm ưu thế và dẫn đến bão hòa tại hai vòng lặp.

III. Main Results:​

  • Loop 2 cải thiện vượt bậc so với baseline không lặp trên nhiều benchmark, bao gồm SWE-bench Verified từ 43.0% lên 64.4% và Multi-SWE từ 14.0% lên 31.0%.
  • Số vòng lặp 3 hoặc 4 làm suy giảm hiệu suất, cho thấy hiệu ứng phi đơn điệu mạnh: loop 3 đạt 27.6% trên SWE-bench Verified, thấp hơn cả baseline.
  • Loop 2 là nơi tinh chỉnh chính: step size lớn, sự thay đổi attention và output shift cao nhất, effective rank đạt đỉnh.
  • Các vòng sau loop 2 có cập nhật dao động (cosθ < 0) và effective rank giảm, cho thấy thu hẹp không gian biểu diễn.
  • Chi phí lệch vị trí CLP (Ω(r)) gần như không đổi qua các vòng, trong khi lợi ích tinh chỉnh giảm nhanh, dẫn đến chi phí chiếm ưu thế ở vòng 3 trở đi.

IV. Conclusion & Future Works:​

Nghiên cứu chứng minh PLT có điểm bão hòa tại hai vòng lặp, giải thích bằng sự cân bằng giữa tinh chỉnh và chi phí lệch vị trí. Hướng tương lai có thể khám phá các cơ chế offset động hoặc kết hợp với chain-of-thought rõ ràng để mở rộng khả năng tinh chỉnh mà không gây suy giảm.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phân tích lợi ích–chi phí cho các kiến trúc looped khác như Universal Transformer hoặc các biến thể có cơ chế offset linh hoạt hơn.
  2. Kết hợp latent chain-of-thought (loop) với explicit chain-of-thought (token) để tận dụng cả hai hướng tinh chỉnh, có thể cải thiện hiệu suất trên các tác vụ suy luận phức tạp.
  3. Nghiên cứu tác động của việc huấn luyện loop count khác với inference loop count (mismatch) lên hiệu suất và khả năng khái quát hóa.

2. Patent:​

  1. Hệ thống tối ưu hóa mã nguồn tự động trên điện thoại: dùng mô hình loop 2 để sửa lỗi lập trình hoặc gợi ý cải tiến code trực tiếp trong IDE di động, tận dụng hiệu suất cao trên tài nguyên hạn chế.
  2. Trợ lý lập trình agentic cho developer: mô hình loop 2 có thể thực hiện các tác vụ sửa lỗi phức tạp trong kho code lớn mà không cần sinh token giải thích dài dòng, phù hợp cho ứng dụng real-time.
  3. Công cụ kiểm thử bảo mật tự động trên cloud: dùng loop 2 để phát hiện lỗ hổng trong mã nguồn bằng cách tinh chỉnh biểu diễn ẩn qua các vòng lặp, giảm chi phí tính toán so với mô hình lớn hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18023
ArXiv Abstracthttps://arxiv.org/abs/2606.18023
PDF Downloadhttps://arxiv.org/pdf/2606.18023.pdf
Github RepositoryN/A

3. Learning from the Self-future: On-policy Self-distillation for dLLMs (76 votes)​

Tác giả: Yifu Luo, Zeyu Chen, Haoyu Wang, Xinhao Hu, Yuxuan Zhang, et al.

Xuất bản lúc: 2026-06-16

Tag: Diffusion LLMs, On-policy Self-distillation, Reinforcement Learning, LLM Post-training, Reasoning

I. Main Problem:​

Các phương pháp On-policy Self-distillation (OPSD) hiện tại chỉ phù hợp với mô hình autoregressive (AR), dùng prefix conditioning và token-level supervision. Điều này mâu thuẫn với cơ chế sinh có thứ tự tùy ý và khử nhiễu lặp của Diffusion LLMs (dLLMs), khiến OPSD chưa thể áp dụng cho dLLMs.

II. Main Idea:​

Bài báo đề xuất d-OPSD, framework OPSD đầu tiên cho dLLMs. Đóng góp chính: (1) Thay vì thêm thông tin đặc quyền (reference solution) vào prefix kiểu AR, d-OPSD dùng câu trả lời do chính student sinh ra làm suffix conditioning (học từ “kinh nghiệm tương lai”). (2) Chuyển giám sát từ token-level sang step-level, khớp với quá trình denoising lặp của dLLMs. Mô hình student sinh trajectory, teacher (cùng mô hình) được tạo ra bằng cách tiết lộ một phần tokens từ câu trả lời sinh ra. Student học bằng cách tối thiểu KL divergence step-level giữa phân phối của chúng.

III. Main Results:​

  • d-OPSD vượt hoặc tương đương RLVR (diffu-GRPO) và SFT trên 4 benchmark reasoning (GSM8K, MATH500, Countdown, Sudoku).
  • d-OPSD hội tụ chỉ sau ~10% số optimization steps so với RLVR (ví dụ: 425 steps vs 7700 steps trên GSM8K).
  • Phương pháp teacher construction mới vượt trội so với AR-style OPSD (81.0 vs 78.4 trên GSM8K @256).
  • Cơ chế teacher construction mới cho phép truyền nhiều tri thức mới hơn (Overlap Top-K thấp hơn) so với AR-style.
  • d-OPSD dễ bị policy collapse sau peak performance, tương tự RLVR.

IV. Conclusion & Future Works:​

d-OPSD là framework OPSD đầu tiên cho dLLMs, giúp mô hình tự cải thiện bằng cách học từ kinh nghiệm tương lai của chính nó. Phương pháp này vượt trội về hiệu suất reasoning và sample efficiency so với RLVR. Hướng tương lai là khám phá các kỹ thuật ổn định hóa và tăng cường OPSD cho dLLMs.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng d-OPSD sang các kiến trúc dLLM khác (e.g., block diffusion, MDM) để kiểm tra tính khái quát của step-level self-distillation.
  2. Kết hợp d-OPSD với RLVR trong một framework hybrid: dùng d-OPSD để cung cấp dense supervision ban đầu, sau đó chuyển sang RL reward thưa để tinh chỉnh và tránh policy collapse.
  3. Nghiên cứu cơ chế chọn retaining ratio ρ_teacher động, dựa trên độ khó câu hỏi hoặc chất lượng trajectory, thay vì giữ cố định.

2. Patent:​

  1. Phương pháp cải thiện chatbot đàm thoại trên điện thoại: Chatbot dùng diffusion LLM tự sinh ra các câu trả lời cho một prompt, dùng chính các câu đó làm thông tin đặc quyền để tự huấn luyện thêm mà không cần dữ liệu người dùng mới, giúp cải thiện chất lượng hội thoại qua thời gian.
  2. Hệ thống gợi ý nội dung thông minh trên thiết bị di động: Hệ thống dùng d-OPSD để tự sinh và tự học từ các đề xuất của chính nó, cho phép cá nhân hóa theo thói quen người dùng mà không cần gửi dữ liệu riêng tư lên máy chủ.
  3. Công cụ soạn thảo văn bản hỗ trợ AI trên điện thoại: Khi người dùng viết một đoạn text, mô hình diffusion LLM sẽ tự sinh ra các phiên bản hoàn chỉnh, dùng các phiên bản đó làm “tương lai” để tinh chỉnh nội dung ngay trên thiết bị, cải thiện độ chính xác và phong cách viết.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18195
ArXiv Abstracthttps://arxiv.org/abs/2606.18195
PDF Downloadhttps://arxiv.org/pdf/2606.18195.pdf
Github Repositoryhttps://github.com/xingzhejun/d-opsd-code

4. Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients (63 votes)​

Tác giả: Byung-Kwan Lee, Ximing Lu, Shizhe Diao, Minki Kang, Saurav Muralidharan, et al.

Xuất bản lúc: 2026-06-16

Tag: Knowledge Distillation, Reinforcement Learning, Small Language Models, Vision-Language Models, Prompt Engineering, GRPO, Curriculum Learning

I. Main Problem:​

Phương pháp knowledge distillation truyền thống ép student nhỏ bắt chước logits của teacher lớn, gây mất khả năng tổng quát hóa (mode-seeking bias). Reinforcement learning (RL) tránh logit imitation nhưng lại “câm” trên các câu hỏi khó khi mọi rollout đều sai (zero advantage), vô tình bỏ qua cơ hội học. Việc chèn phản hồi của teacher vào gradient policy phá vỡ giả định on-policy và gây trôi chính sách.

II. Main Idea:​

Zone of Proximal Policy Optimization (ZPPO) giữ teacher bên trong prompt, không bao giờ trong gradient. Với câu hỏi khó (độ chính xác rollout trung bình < 50%), ZPPO tạo hai prompt cải biên: Binary Candidate-included Question (BCQ) ghép một phản hồi đúng của teacher với một phản hồi sai của student làm hai lựa chọn ẩn danh, yêu cầu student phân biệt; Negative Candidate-included Question (NCQ) tập hợp tất cả phản hồi sai của student vào một prompt để lộ mẫu lỗi chung. Bộ đệm prompt replay lưu câu hỏi khó và tái phát cho đến khi student “tốt nghiệp” (độ chính xác ≥ 50%).

III. Main Results:​

  • ZPPO vượt trội so với off/on-policy distillation và GRPO ở mọi tỷ lệ student (0.8B-9B) trên 31 benchmark (16 VLM, 10 LLM, 5 Video).
  • Student 0.8B đạt +9.3pp trên VLM; distillation làm giảm -2.5pp trên LLM/Video, còn ZPPO vẫn tăng +6.8pp.
  • Mỗi thành phần (BCQ, NCQ, replay buffer) đều đóng góp; kết hợp replay × cải biên prompt cho hiệu ứng siêu cộng.
  • Tỷ lệ tốt nghiệp của ZPPO cao hơn GRPO† rõ rệt: 28% vs 4% trên câu hỏi 0% rollout accuracy.
  • Lợi ích lớn nhất ở student nhỏ nhất (0.8B), nơi khoảng cách với teacher rộng nhất.

IV. Conclusion & Future Works:​

ZPPO khắc phục cả hai điểm yếu của distillation và RL trên student nhỏ bằng cách đưa kiến thức teacher vào prompt thay vì gradient. Phương pháp này cải thiện tổng quát hóa vượt xa tập huấn luyện. Hướng tương lai: mở rộng BCQ/NCQ cho các dạng tác vụ khác (sinh văn bản dài, lập kế hoạch đa bước) và tối ưu bộ đệm replay.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ZPPO cho các mô hình ngôn ngữ thuần túy (LLM) với reward dạng số thực, thay vì binary, để kiểm tra tính hiệu quả trên tác vụ sinh sáng tạo.
  2. Kết hợp NCQ với phân tích cụm lỗi tự động để nhóm các câu hỏi khó có cùng pattern sai, giúp student học nhanh hơn.
  3. Phát triển phiên bản ZPPO không cần teacher cố định, cho phép student tự sinh ra dữ liệu “đúng” (self-play) và áp dụng BCQ dạng nội bộ.

2. Patent:​

  1. Trên điện thoại, ứng dụng trợ lý ảo ngữ cảnh nhỏ: khi người dùng hỏi câu khó, hệ thống tự động xây dựng BCQ (hiển thị hai phương án trả lời ẩn danh) để người dùng chọn, từ đó cải thiện dần độ chính xác.
  2. Robot gia đình dùng camera nhúng để phát hiện đồ vật sai: khi robot cầm nhầm, hệ thống tạo prompt NCQ liệt kê các lần thất bại trước và yêu cầu suy luận lại, giúp robot tự sửa động tác mà không cần cập nhật mô hình.
  3. Tính năng học tập cá nhân hóa trên thiết bị di động: ứng dụng lưu các bài toán học sinh sai liên tục, ghép chúng thành prompt tập hợp lỗi (NCQ) và đưa ra bài tập tương tự, giúp học sinh nhận ra mẫu sai chung.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18216
ArXiv Abstracthttps://arxiv.org/abs/2606.18216
PDF Downloadhttps://arxiv.org/pdf/2606.18216.pdf
Github RepositoryN/A

5. GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine? (58 votes)​

Tác giả: Tongxu Luo, Rongsheng Wang, Jiaxi Bi, Chenming Xu, Zhengyang Tang, et al.

Xuất bản lúc: 2026-06-16

Tag: Coding Agents, Game Generation, Godot, Benchmark, Interactive Verification, Multimodal Evaluation, LLMs

I. Main Problem:​

Các benchmark hiện tại đánh giá khả năng sinh game của agent chỉ đáp ứng một phần ba yêu cầu: phát triển trong engine thực (Engine Grounding), tạo artifact hoàn chỉnh (Artifact Completeness), và kiểm tra tương tác (Interactive Verification). Do đó, chưa có benchmark nào đo được liệu agent có thể biến yêu cầu ngôn ngữ thành game playable trong một engine thực hay không.

II. Main Idea:​

GameCraft-Bench định nghĩa ba tiêu chí cho benchmark sinh game end-to-end và hiện thực hóa chúng trên engine Godot. Mỗi task gồm specification (cho agent), môi trường Godot, và rubric ẩn cho verifier. Agent phải tạo project Godot hoàn chỉnh và nộp kèm các replay trace. Verifier kiểm tra build, phát lại trace để ghi video gameplay, rồi dùng multimodal LLM chấm điểm theo rubric (Core Mechanics, Content Depth, Functional Visuals, Art & Presentation). Điểm tổng hợp có trọng số, ưu tiên Content Depth và Art & Presentation.

III. Main Results:​

  • Agent mạnh nhất (Opus-4.7) chỉ đạt 41.46% overall; hầu hết agent dưới 40%.
  • Build pass rate cao (~90-100%), nhưng điểm thấp do lỗi gameplay: cơ chế, nội dung, visual feedback và presentation đều yếu.
  • Agent thường tạo được mô phỏng cơ chế đơn lẻ, nhưng không tạo được game hoàn chỉnh, có nội dung phong phú và visual mạch lạc.
  • Hiệu suất thay đổi mạnh giữa các family game (platformer, strategy, tycoon).
  • Không agent nào đạt độ tin cậy cho sinh game end-to-end.

IV. Conclusion & Future Works:​

Sinh game end-to-end trong engine thực còn rất xa so với giải quyết. Các agent hiện tại chỉ tạo được các mảnh ghép game-like, chưa đáp ứng đủ ba tiêu chí. Hướng tương lai có thể mở rộng sang nhiều engine hơn và cải thiện khả năng làm theo specification của agent.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng GameCraft-Bench sang engine Unity hoặc Unreal để so sánh khả năng tổng quát hóa engine của các coding agent.
  2. Phân tích chi tiết các lỗi của agent ở từng game family và từng thành phần rubric, từ đó đề xuất phương pháp huấn luyện đặc thù cho sinh game.
  3. Kết hợp multi-agent collaboration (ví dụ: một agent viết code, một agent thiết kế asset) để cải thiện chất lượng Art & Presentation.

2. Patent:​

  1. Hệ thống tự động tạo game di động từ mô tả ngôn ngữ tự nhiên: người dùng nhập 'game platformer thu thập xu và tránh kẻ địch', hệ thống dùng LLM và engine nhẹ (Godot) để sinh project hoàn chỉnh có thể xuất sang Android/iOS.
  2. Công cụ kiểm tra chất lượng game tự động dựa trên replay trace và multimodal LLM: nhà phát triển nộp game và vài kịch bản chơi mẫu; công cụ phát lại, ghi hình và chấm điểm theo các tiêu chí gameplay cơ bản.
  3. Nền tảng học lập trình game tương tác: học viên viết mã Godot trên web; hệ thống tự động build, chạy, và chấm điểm game theo rubric, đồng thời gợi ý cải thiện dựa trên phân tích lỗi gameplay.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.17861
ArXiv Abstracthttps://arxiv.org/abs/2606.17861
PDF Downloadhttps://arxiv.org/pdf/2606.17861.pdf
Github Repositoryhttps://github.com/tongxuluo/gamecraft-bench

6. ACE-Ego-0: Unifying Egocentric Human and Robotic Data for VLA Pretraining (53 votes)​

Tác giả: Hao Li, Ganlong Zhao, Yufei Liu, Haotian Hou, Guoquan Ye, et al.

Xuất bản lúc: 2026-06-15

Tag: Vision-Language-Action, Robot Manipulation, Egocentric Video, Cross-Embodiment Learning, Imitation Learning, Flow Matching, Data Scaling

I. Main Problem:​

Thu thập dữ liệu robot quy mô lớn rất tốn kém và hạn chế về độ đa dạng. Video egocentric của con người là nguồn bổ sung chi phí thấp nhưng khác biệt về không gian, hình thái, tần số và chất lượng nhãn, gây khó khăn khi huấn luyện chung.

II. Main Idea:​

ACE-EGO-0 thống nhất dữ liệu người và robot qua ba bước: (1) biểu diễn hành động trong khung camera, dùng URDF embedding cho robot và surrogate embedding cho người, và đồng bộ hóa chunk hành động theo thời gian thực; (2) pipeline 5 giai đoạn chuyển đổi video egocentric thành pseudo-action tương thích robot; (3) mục tiêu huấn luyện có trọng số độ tin cậy, giảm ảnh hưởng của nhãn nhiễu từ pseudo-action bằng cách tập trung supervision vào kênh vị trí.

III. Main Results:​

  • Đạt 72.8% thành công trung bình trên RoboCasa GR1 TableTop, vượt các baseline như GR00T-N1.6 và FLARE.
  • Trên RoboTwin 2.0 Easy/Hard đạt lần lượt 91.12% và 90.62%, outperforming các mô hình mạnh như π0.5 và Hy-VLA.
  • Cải thiện rõ rệt khi thêm 1.48K giờ pseudo-action từ video người vào 4.53K giờ dữ liệu robot.
  • Ablation cho thấy morphology conditioning, time-aligned action chunking và reliability-aware loss đều đóng góp tích cực.

IV. Conclusion & Future Works:​

ACE-EGO-0 chứng minh việc thêm supervised từ video egocentric quy mô lớn cải thiện đáng kể hiệu suất VLA pretraining và fine-tuning. Hướng phát triển: tối ưu ước lượng độ tin cậy step-level, mở rộng pipeline cho nhiều nguồn video hơn, và nghiên cứu cơ chế chọn lọc dữ liệu chủ động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng biểu diễn hành động camera-space cho các robot phi cánh tay như drone hoặc mobile base, kiểm tra khả năng khái quát hóa trên nhiều hình thái hơn.
  2. So sánh reliability-aware loss với noise-robust loss khác và phân tích ảnh hưởng của các ngưỡng chất lượng lên hiệu suất cuối.
  3. Kết hợp pipeline ACE-EGO-0 với mô hình world model học từ video người để giảm nhu cầu pseudo-action chính xác, chuyển sang học tiềm ẩn.

2. Patent:​

  1. Ứng dụng cho robot hút bụi thông minh: camera trên robot ghi lại video tương tác của con người với đồ vật trong nhà; mô hình phân tích và tạo pseudo-action tương ứng, giúp robot học cách nhặt đồ mà không cần con người điều khiển từ xa.
  2. Hệ thống huấn luyện robot lắp ráp linh hoạt: công nhân đeo kính thông minh ghi lại các thao tác lắp ráp; video được xử lý thành pseudo-action và nạp vào robot để robot tự động thực hiện công đoạn tương tự trên dây chuyền.
  3. Robot chăm sóc sức khỏe tại gia: người dùng thực hiện động tác rót nước, mở tủ, v.v.; điện thoại thu video và gửi lên server biến thành pseudo-action, robot học và hỗ trợ người cao tuổi hoặc khuyết tật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.17200
ArXiv Abstracthttps://arxiv.org/abs/2606.17200
PDF Downloadhttps://arxiv.org/pdf/2606.17200.pdf
Github Repositoryhttps://github.com/ACERobotics-VLA/ACE-Ego-0

7. LectūraAgents: A Multi-Agent Framework for Adaptive Personalized AI-Assisted Learning and Embodied Teaching (39 votes)​

Tác giả: Jaward Sesay, Yue Yu, Siwei Dong, Yemin Shi, Guangyao Chen, et al.

Xuất bản lúc: 2026-06-15

Tag: Multi-Agent Framework, Personalized Learning, Embodied Teaching, LLM Agents, Educational AI, Hierarchical Architecture, Action-Speech Alignment

I. Main Problem:​

Các khung học tập cá nhân hóa hiện tại chủ yếu tập trung vào việc tạo nội dung tĩnh và mô phỏng trong môi trường ảo, chưa tích hợp được việc giảng dạy có thể thực hiện hành động cụ thể (embodied teaching) như viết tay, khoanh vùng, hay đánh dấu để điều chỉnh theo từng người học. Điều này dẫn đến thiếu một hệ thống thống nhất có thể kết nối giữa tạo nội dung cá nhân hóa và truyền đạt bài giảng một cách thích ứng, có thể quan sát được.

II. Main Idea:​

LectūraAgents là một khung đa tác tử có kiến trúc phân cấp, mô phỏng mối quan hệ giáo sư-sinh viên. Ở giai đoạn chuẩn bị, ProfessorAgent lãnh đạo các tác tử chuyên biệt lập kế hoạch, nghiên cứu, tạo và đánh giá nội dung bài giảng dựa trên hồ sơ người học. Ở giai đoạn giảng dạy, ProfessorAgent thực hiện các hành động giảng dạy có thể quan sát (như ghi chú tay, đánh dấu) lên slide trong thời gian thực. Một thuật toán TASA (Teaching Action-Speech Alignment) mới sử dụng phân tích ngữ nghĩa dựa trên độ nổi bật và phân đoạn thời gian để căn chỉnh các hành động này với lời nói, đảm bảo tính mạch lạc và sư phạm.

III. Main Results:​

  • Trên 280 bài giảng cá nhân hóa, LectūraAgents với Gemini 3 Pro đạt điểm tổng thể (AAR) cao nhất 80,4%, vượt trội các mô hình khác.
  • Chất lượng bài giảng (LCQ) tốt nhất là 80,2%, chất lượng cá nhân hóa (PQ) là 83,3%, và chất lượng đánh giá (AQ) là 81,6% (đều với Gemini 3 Pro).
  • Điểm chất lượng hành động giảng dạy (TAQ) cao nhất thuộc về Claude 4.5 Sonnet với 80,4%, nhờ khả năng căn chỉnh không gian và hành động ghi chú tay chính xác.
  • Mô hình Qwen 3 Omni có hiệu suất thấp nhất (AAR 64,1%), đặc biệt yếu ở chất lượng đánh giá (AQ 56,5%).
  • TASA giúp duy trì tính ổn định và mạch lạc của hành động giảng dạy trên nhiều bài giảng, dù căn chỉnh thời gian vẫn là thách thức.

IV. Conclusion & Future Works:​

LectūraAgens cung cấp một khung thống nhất, có cơ sở sư phạm, cho phép cá nhân hóa từ đầu đến cuối và giảng dạy có thể quan sát, vượt qua giới hạn của các hệ thống dựa trên mô phỏng. Hướng tương lai có thể cải thiện độ chính xác căn chỉnh thời gian giữa hành động và lời nói, mở rộng ra các ngữ cảnh học tập đa dạng hơn và tích hợp phản hồi thời gian thực từ người học.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung LectūraAgents sang môi trường học tập đa người dùng, nơi ProfessorAgent có thể giảng dạy đồng thời cho nhiều hồ sơ người học khác nhau, tối ưu hóa nhóm học tập.
  2. Tích hợp cơ chế phản hồi cảm xúc từ người học qua phân tích nét mặt và giọng nói, để điều chỉnh phương pháp giảng dạy theo trạng thái cảm xúc thực tế.
  3. Nghiên cứu khả năng tự thích ứng của ProfessorAgent khi gặp chủ đề hoàn toàn mới, sử dụng tìm kiếm kiến thức ngoài (RAG) để tự động cập nhật nội dung bài giảng.

2. Patent:​

  1. Hệ thống gia sư AI trên điện thoại: người dùng chụp ảnh bài tập hoặc tài liệu; ProfessorAgent phân tích, tạo bài giảng và thực hiện hành động giảng dạy (khoanh tròn, viết tay) trên màn hình điện thoại y như một gia sư thật.
  2. Ứng dụng học ngoại ngữ có gia sư ảo: khi người dùng đọc một văn bản, ProfessorAgent có thể gạch chân từ khó, phát âm và viết tay định nghĩa lên màn hình, giúp học từ vựng trực quan.
  3. Nền tảng luyện thi thích ứng: dựa trên kết quả bài kiểm tra của học sinh, hệ thống tự động tạo đề cương ôn tập và bài giảng cá nhân hóa, với các hành động như highlight công thức, viết tay ví dụ, và tạo câu hỏi tương tác.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.16428
ArXiv Abstracthttps://arxiv.org/abs/2606.16428
PDF Downloadhttps://arxiv.org/pdf/2606.16428.pdf
Github RepositoryN/A

8. TRIAGE: Dialectical Reasoning for Explainable Risk Prediction on Irregularly Sampled Medical Time Series with LLMs (30 votes)​

Tác giả: Hyeongwon Jang, Gyouk Chu, Changhun Kim, Joonhyung Park, Hangyul Yoon, et al.

Xuất bản lúc: 2026-06-08

Tag: LLMs, Medical Time Series, Risk Prediction, Calibration, Dialectical Reasoning, Clinical Decision Support, Irregularly Sampled Data, Reinforcement Learning

I. Main Problem:​

Các hệ thống cảnh báo sớm trên hồ sơ điện tử y tế cần vừa cho điểm rủi ro có thể so sánh giữa các bệnh nhân vừa đưa ra giải thích ngôn ngữ tự nhiên. Tuy nhiên, các mô hình hiện tại hoặc tối ưu một chỉ số mà bỏ qua chỉ số kia; đặc biệt, LLM khi được yêu cầu suy luận trước khi dự đoán thường bị phân cực rủi ro – điểm số bị đẩy về hai đầu cực, làm mất khả năng phân biệt và hiệu chuẩn.

II. Main Idea:​

TRIAGE giải quyết vấn đề phân cực rủi ro bằng cách thay thế suy luận một chiều bằng suy luận biện chứng: trước khi đưa ra dự đoán cuối cùng, mô hình tạo ra một lập luận riêng cho từng kết quả lâm sàng có thể xảy ra (ví dụ: sống/sót và tử vong). Các lập luận này chỉ liệt kê bằng chứng ủng hộ kết quả đó mà không đưa ra phán quyết. Điểm rủi ro cuối cùng được trích xuất từ xác suất của token quyết định đầu tiên sau chuỗi suy luận, giữ được tính liên tục. Mô hình được huấn luyện qua hai giai đoạn: (1) giám sát suy luận biện chứng dùng LLM mạnh sinh các rationale riêng rẽ, và (2) tự tinh chỉnh bằng học tăng cường (GRPO) với hàm thưởng cấp batch để tăng khả năng phân biệt giữa các bệnh nhân.

III. Main Results:​

  • TRIAGE cải thiện AUPRC trung bình 3,3% so với baseline mạnh nhất (GRU-D).
  • Giảm lỗi hiệu chuẩn (ECE) trung bình 81% so với các baseline.
  • Đạt hạng trung bình tốt nhất (1.58) trên 3 bộ dữ liệu ISMTS về AUROC và AUPRC.
  • Duy trì độ bền vững khi loại bỏ biến trong kiểm thử (leave-variables-out).
  • Rationale do TRIAGE tạo ra đạt điểm IDEA cao hơn 20% so với giải thích từ mô hình cơ sở + IG.

IV. Conclusion & Future Works:​

TRIAGE cho thấy việc kết hợp suy luận biện chứng và học tăng cường cho phép LLM vừa dự đoán rủi ro liên tục vừa giải thích được. Hướng phát triển tương lai mở rộng sang bài toán đa lớp/đa nhãn, giảm chi phí suy luận và đánh giá bởi chuyên gia lâm sàng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng TRIAGE sang bài toán dự đoán đa lớp (ví dụ: nhiều mức độ nặng của bệnh) bằng cách sinh rationale riêng cho từng lớp rồi tổng hợp trọng số.
  2. Kết hợp TRIAGE với mô hình thời gian liên tục (Neural ODE) để xử lý tín hiệu ISMTS hiệu quả hơn về mặt tính toán và biểu diễn.
  3. Nghiên cứu khả năng chuyển giao giữa các bệnh viện: kiểm tra liệu rationales biện chứng có giúp mô hình thích ứng với bộ dữ liệu lâm sàng mới mà không cần fine-tuning tốn kém.

2. Patent:​

  1. Hệ thống cảnh báo sớm trên điện thoại di động: kết hợp dữ liệu từ đồng hồ thông minh (nhịp tim, oxy máu) và lịch sử bệnh nhập tay; mô hình TRIAGE sinh rationale cho từng kịch bản (ổn định/nguy cấp) và đưa ra điểm nguy cơ cùng giải thích ngắn gọn.
  2. Trợ lý bác sĩ tại giường dùng tablet: khi nhập dấu hiệu sinh tồn mới, ứng dụng hiển thị hai hộp lập luận (‘bằng chứng ổn định’ và ‘bằng chứng suy giảm’) trước khi đưa ra cảnh báo về nguy cơ tử vong hoặc biến chứng.
  3. Công cụ đào tạo y khoa: sinh viên nhập ca bệnh giả định; TRIAGE tạo ra các rationale cho hai kết quả cực đoan, giúp sinh viên so sánh quá trình suy luận với các chuyên gia, tăng cường kỹ năng phân tích biện chứng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.09030
ArXiv Abstracthttps://arxiv.org/abs/2606.09030
PDF Downloadhttps://arxiv.org/pdf/2606.09030.pdf
Github Repositoryhttps://github.com/HyeongWon-Jang/TRIAGE

9. OPD-Evolver: Cultivating Holistic Agent Evolver via On-Policy Distillation (27 votes)​

Tác giả: Guibin Zhang, Xun Xu, Yanwei Yue, Zikun Su, Wangchunshu Zhou, et al.

Xuất bản lúc: 2026-06-16

Tag: Self-Evolving Agents, On-Policy Distillation, Memory-augmented Agents, Knowledge Distillation, Lifelong Learning, LLM Agents

I. Main Problem:​

Các tác nhân (agent) hiện tại dù có lưu trữ kinh nghiệm (memory), kỹ năng (skill) hay phản ánh (reflection), thường chỉ tối ưu một phần trong vòng đời kinh nghiệm, như chọn hoặc viết memory, mà thiếu năng lực tổng thể. Chúng không thể đồng thời chọn lọc, sử dụng, viết và quản lý kinh nghiệm một cách hiệu quả, dẫn đến cải thiện hành vi không bền vững.

II. Main Idea:​

OPD-Evolver là khung huấn luyện slow-fast co-evolution. Vòng fast cho phép tác nhân tương tác với môi trường qua hệ thống memory bốn cấp: trajectories, tips, skills, tools, để chọn, dùng, viết và bảo trì kinh nghiệm. Vòng slow dùng on-policy self-distillation: từ phản hồi môi trường cuối cùng, phương pháp tín hiệu outcome-calibrated attribution gán điểm cho từng memory; điểm này cùng thông tin ưu thế (privileged hindsight) làm mục tiêu huấn luyện cho cùng một policy để phát triển đồng thời bốn năng lực (chọn, dùng, viết, quản lý).

III. Main Results:​

  • Vượt các hệ thống memory mạnh như ReasoningBank tới 11.5% và phương pháp huấn luyện như Skill0 ~5.8%.
  • OPD-Evolver-9B cạnh tranh với các mô hình lớn hơn nhiều như QWEN3.5-397B (thắng 6/10 tập con) hay STEP-3.5-196B (thắng 9/10 tập con).
  • Ablation cho thấy bỏ memory attribution làm hiệu suất giảm mạnh nhất (~6.5 điểm trung bình).
  • Selection distillation và writing distillation cải thiện điểm memory trung bình được chọn/viết lên đáng kể (ví dụ: median score từ 0.66 lên 0.79).
  • Experience internalization: tác nhân sau huấn luyện hoàn thành nhiệm vụ với ít bước hơn mà không cần memory ngoài.

IV. Conclusion & Future Works:​

OPD-Evolver chứng minh rằng huấn luyện đồng bộ bốn năng lực vòng đời memory qua on-policy distillation có thể tạo ra tác nhân tự tiến hóa thực thụ. Hướng tương lai: mở rộng sang môi trường động hơn và tối ưu chiến lược bảo trì memory với chi phí thấp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu chiến lược bảo trì memory tự động: tác nhân chủ động hợp nhất, xóa, hoặc cập nhật memory dựa trên tần suất và giá trị suy giảm theo thời gian, thay vì bảo trì định kỳ.
  2. Mở rộng OPD-Evolver cho tác vụ đa tác nhân (multi-agent): mỗi tác nhân có memory riêng và trao đổi kinh nghiệm chọn lọc với nhau, tăng hiệu quả học tập hợp tác.
  3. Kết hợp OPD-Evolver với reinforcement learning từ phản hồi của con người (RLHF) để tinh chỉnh hành vi viết memory sao cho dễ hiểu và hữu ích hơn cho tác nhân trong tương lai.

2. Patent:​

  1. Trợ lý ảo trên điện thoại tự ghi nhớ và rút ra mẹo vặt khi người dùng lặp lại thao tác lỗi: điện thoại phân tích chuỗi hành động thất bại, tự động sinh mẹo (tip) ngắn gọn rồi hiển thị cho người dùng trong lần tương tự sau.
  2. Ứng dụng học tập có tác nhân AI hỗ trợ giải bài tập: mỗi lần học sinh sai dạng bài mới, tác nhân tự động viết kỹ năng (skill) giải dạng đó vào memory; lần sau gặp bài tương tự, tác nhân tự chọn kỹ năng và hướng dẫn chi tiết mà không cần lập trình lại.
  3. Trò chơi di động có NPC thông minh: NPC tự ghi nhớ chiến thuật người chơi thường dùng, tự viết kỹ năng đối phó mới và chọn lọc ra những kỹ năng hiệu quả nhất để thay đổi hành vi trong các màn chơi sau, tạo trải nghiệm thử thách liên tục.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.17628
ArXiv Abstracthttps://arxiv.org/abs/2606.17628
PDF Downloadhttps://arxiv.org/pdf/2606.17628.pdf
Github Repositoryhttps://github.com/bingreeky/opd-evolver

10. Show the Signal, Hide the Noise: Spectral Forcing for Pixel-Space Diffusion (21 votes)​

Tác giả: Weichen Fan, Haiwen Diao, Penghao Wu, Ziwei Liu

Xuất bản lúc: 2026-06-16

Tag: Pixel-Space Diffusion, Rectified Flow, Spectral Forcing, 2D-DCT, Image Generation, Coarse-to-Fine

I. Main Problem:​

Các mô hình pixel-space diffusion huấn luyện trên ảnh nhiễu toàn dải tần, nhưng tín hiệu hữu ích cho bộ khử nhiễu phụ thuộc mạnh vào tần số. Mạng tiêu chuẩn phải tự tìm ranh giới băng thông trong nội bộ, dẫn đến lãng phí năng lực tính toán vào vùng tần số-thời gian mà dự đoán tối ưu chỉ là baseline xác định, không phải mô hình hóa phân phối dữ liệu.

II. Main Idea:​

Tác giả đề xuất Spectral Forcing (SF), một toán tử low-pass 2D-DCT phụ thuộc thời gian, không tham số, áp dụng lên đầu vào nhiễu trước patch embedder. Ngưỡng cắt của mask tăng đơn điệu theo thời gian khuếch tán và trở thành identity tại điểm dữ liệu, loại bỏ vùng nhiễu trong khi giữ tín hiệu. SF tích hợp dễ dàng vào bất kỳ recipe pixel-space rectified-flow nào, không làm thay đổi forward process, loss, sampler hay classifier-free guidance.

III. Main Results:​

  • Trên ImageNet-256 với JiT-700M/32 (64 tokens), SF cải thiện FID từ 24.19 xuống 20.68 (+14.5%) và Inception Score từ 83.28 lên 93.96 (+13%) sau 60 epoch.
  • SF luôn cải thiện FID và Inception Score ở mọi epoch checkpoint, không chỉ là hiệu ứng tăng tốc đầu quá trình.
  • Với token hóa mịn (256 tokens), SF không gây hại nhưng cũng không mang lại lợi ích lớn (FID 21.29 vs 21.76 baseline).
  • SF chuyển giao thành công sang mô hình native vision-language SenseNova-U1, thắng 9/13 danh mục con trên DPG-Bench.
  • SF vượt các phương pháp thay thế như Focal Frequency Loss, blurring diffusion và DCTDiff.

IV. Conclusion & Future Works:​

Spectral Forcing biến ranh giới băng thông ngầm định thành prior đầu vào tường minh, giúp tăng hiệu quả năng lực cho pixel-space diffusion, đặc biệt trong chế độ coarse tokenization. Hướng tương lai: mở rộng sang các kiến trúc và loại dữ liệu khác, khám phá lịch trình cắt tối ưu cho độ phân giải cao hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Spectral Forcing cho các loại diffusion khác (như variance-preserving diffusion) để kiểm tra tính khái quát của toán tử đầu vào dựa trên phổ tần số.
  2. Nghiên cứu phương pháp học lịch trình cắt c(t) từ dữ liệu, thay vì cố định theo công thức, để thích ứng linh hoạt với phân bố phổ tự nhiên biến thiên.
  3. Kết hợp Spectral Forcing với các tokenizer tần số cao (ví dụ từ các model VLM) để tối ưu việc phân bổ năng lực giữa tín hiệu và nhiễu trong không gian ẩn.

2. Patent:​

  1. Bộ lọc low-pass phụ thuộc thời gian gắn vào model sinh ảnh trên điện thoại: tự động tùy chỉnh ngưỡng cắt theo bước khuếch tán, tạo ảnh chất lượng cao hơn với cùng tài nguyên tính toán, phù hợp chip mobile hạn chế.
  2. Hệ thống chụp ảnh đêm tích hợp AI: dùng toán tử low-pass DCT để ưu tiên khôi phục tần số thấp chứa tín hiệu hữu ích, giảm thiểu nhiễu tần số cao từ cảm biến yếu, xuất ảnh sạch hơn.
  3. Tối ưu sinh ảnh nén cho mạng 5G: model pixel-space diffusion kèm Spectral Forcing tự động loại bỏ vùng tần số nhiễu, chỉ gửi dữ liệu ảnh tinh gọn từ thiết bị đầu cuối lên server, tiết kiệm băng thông truyền tải.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.15236
ArXiv Abstracthttps://arxiv.org/abs/2606.15236
PDF Downloadhttps://arxiv.org/pdf/2606.15236.pdf
Github Repositoryhttps://github.com/WeichenFan/Spectral_Forcing

11. Text-Vision Co-Instructed Image Editing (19 votes)​

Tác giả: Chenxi Xie, Yuhui Wu, Qiaosi Yi, Lei Zhang

Xuất bản lúc: 2026-06-15

Tag: Image Editing, Diffusion Models, Multi-Modal, Drag-Based Editing, Instruction-Based Editing, Spatial Control, Dataset Construction

I. Main Problem:​

Các phương pháp chỉnh sửa ảnh hiện tại dùng đơn lẻ văn bản hoặc điểm kéo (drag) đều thiếu tính toàn vẹn: văn bản diễn tả ý đồ ngữ nghĩa tốt nhưng kiểm soát không gian thô, trong khi điểm kéo cho điều khiển không gian chính xác lại mơ hồ về ngữ nghĩa. Do đó, người dùng khó có thể thực hiện các thao tác phức tạp đòi hỏi cả hai loại ràng buộc.

II. Main Idea:​

Bài báo đề xuất TV-Edit, một khung làm việc plug-and-play tích hợp hướng dẫn văn bản làm ngữ nghĩa và hướng dẫn thị giác thưa (điểm kéo) làm ràng buộc không gian. TV-Edit dùng một nhánh điều khiển nội dung nhẹ (Content-Aware Spatial Controller) tiếp nhận các điểm nguồn-đích, ghép với đặc trưng ảnh và nhiễu để tạo ra các đặc trưng điều khiển có nhận thức ngữ nghĩa, rồi tiêm vào backbone chỉnh sửa cơ bản. Một tập dữ liệu 23K mẫu (TV-Edit-23K) được xây dựng từ video để huấn luyện siêu việt với cặp văn bản-điểm.

III. Main Results:​

  • Trên benchmark TV-Edit-Bench, TV-Edit-Qwen giảm sai số điểm (MDd) xuống 0.0462, cải thiện 28.7% so với GoodDrag.
  • TV-Edit nâng độ chính xác ngữ nghĩa (PF) từ 0.86 (Qwen-Image-Edit cơ sở) lên 0.93, vượt cả mô hình đóng NanoBanana Pro.
  • So với các phương pháp kéo, TV-Edit vượt trội về độ trung thực hình ảnh (LPIPS 0.1672 vs. GoodDrag 0.2234).
  • TV-Edit cho thấy khả năng điều khiển mịn biên độ chuyển động và phân biệt hành động ngữ nghĩa trên cùng quỹ đạo.
  • Khảo sát ảnh hưởng: huấn luyện với lịch lấy mẫu nhiễu Beta và bộ điều khiển 5 khối cho kết quả tối ưu.

IV. Conclusion & Future Works:​

TV-Edit thành công trong việc kết hợp văn bản và tín hiệu thị giác, vượt qua các hạn chế của cả hai loại hướng dẫn đơn lẻ, đạt được độ chính xác không gian và ngữ nghĩa cao. Hạn chế: tốc độ suy luận chưa đủ nhanh cho tương tác thời gian thực; khó khăn với thao tác 3D phức tạp như xoay ngoài mặt phẳng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng TV-Edit cho video: thay vì chỉnh sửa ảnh tĩnh, kết hợp hướng dẫn văn bản + chuỗi điểm kéo theo thời gian để can thiệp chuyển động liên tục trên từng khung hình.
  2. Nghiên cứu kiến trúc điều khiển nội dung nhanh hơn (ví dụ: adapter nhẹ hơn) để đạt tốc độ thời gian thực, cho phép sửa ảnh tương tác trên thiết bị di động.
  3. Xây dựng benchmark đa dạng hơn với các thao tác 3D (xoay ngoài mặt phẳng, nghiêng) để đánh giá toàn diện khả năng kết hợp văn bản-hình ảnh trong không gian ba chiều.

2. Patent:​

  1. Ứng dụng trên điện thoại: người dùng vẽ mũi tên kéo lên trên ảnh chụp cốc nước và nhập câu lệnh "di chuyển cốc sang phải 5cm"; hệ thống tự động sinh ảnh kết quả với cốc ở vị trí mới, chính xác theo hai loại hướng dẫn.
  2. Tính năng chỉnh kiểu tóc trong ứng dụng chụp ảnh: người dùng kéo điểm trên tóc để điều khiển độ dài / hướng uốn, đồng thời nhập văn bản "tóc xoăn sóng lớn"; mô hình kết hợp cả hai để tạo kiểu trung thực.
  3. Công cụ thiết kế sản phẩm: nhà thiết kế kéo một góc của chiếc ghế trên ảnh và nhập "xòe rộng chân ghế thêm 20%"; hệ thống sinh ảnh ghế mới với thay đổi hình học chính xác mà vẫn giữ phong cách và màu sắc gốc.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.16767
ArXiv Abstracthttps://arxiv.org/abs/2606.16767
PDF Downloadhttps://arxiv.org/pdf/2606.16767.pdf
Github Repositoryhttps://github.com/PolyU-VCLab/TVEdit

12. Rethinking the Role of Efficient Attention in Hybrid Architectures (18 votes)​

Tác giả: Ziqing Qiao, Yinuo Xu, Chaojun Xiao, Zhou Su, Zihan Zhou, et al.

Xuất bản lúc: 2026-06-13

Tag: Hybrid Architectures, Efficient Attention, Sliding-Window Attention, Recurrent Sequence Mixers, Scaling Laws, Long-Context Modeling, Large-Window Laziness, NoPE

I. Main Problem:​

Các mô hình ngôn ngữ lớn hiện đại thường kết hợp full attention với các module attention hiệu quả (như SWA hoặc recurrent). Tuy nhiên, vai trò của các module hiệu quả này trong việc hình thành năng lực của mô hình, đặc biệt là khả năng xử lý ngữ cảnh dài, vẫn chưa được hiểu rõ. Thiếu một phân tích cơ chế thống nhất để giải thích tại sao các thiết kế khác nhau lại dẫn đến tốc độ hội tụ và hiệu suất khác nhau.

II. Main Idea:​

Qua phân tích scaling law, bài báo chỉ ra rằng thiết kế efficient attention ít ảnh hưởng đến hiệu suất cuối cùng trên cả ngữ cảnh ngắn và dài, nhưng tác động mạnh đến tốc độ xuất hiện khả năng xử lý ngữ cảnh dài. Về mặt cơ chế, long-range retrieval chủ yếu do full attention đảm nhiệm, trong khi efficient attention đóng vai trò là một optimization prior, định hình quỹ đạo tối ưu hóa cho việc học retrieval. Hiện tượng 'Large-Window Laziness' cho thấy cửa sổ SWA lớn có thể làm chậm quá trình hình thành retrieval head vì nó cung cấp đủ thông tin dự đoán từ ngữ cảnh địa phương. Cuối cùng, áp dụng NoPE vào các lớp full attention của một hybrid SWA cửa sổ nhỏ cải thiện đáng kể hiệu suất ngữ cảnh dài.

III. Main Results:​

  • Các hybrid khác nhau cuối cùng hội tụ đến cùng một mức log(LongPPL) sau khi huấn luyện đầy đủ, nhưng có sự khác biệt lớn trong giai đoạn đầu.
  • Khi giới hạn receptive field của full attention, log(LongPPL) tăng mạnh; ngược lại, giới hạn efficient attention hầu như không ảnh hưởng.
  • SWA-2048 là ngoại lệ trong quá trình hình thành retrieval head: entropy chú ý cao hơn và trọng số hội tụ chậm hơn.
  • Áp dụng NoPE vào full attention của SWA-128 (SWA-128-NoPE) đạt 82.31 NIAH so với 65.91 của SWA-128 trên mô hình 0.66B.
  • Cả log(LongPPL) và validation Loss của SWA-128-NoPE đều được cải thiện hoặc giữ nguyên so với SWA-128.

IV. Conclusion & Future Works:​

Khả năng ngữ cảnh dài của mô hình hybrid chủ yếu do full attention quyết định, còn efficient attention hoạt động như một prior tối ưu hóa. Do đó, thiết kế hybrid nên ưu tiên các lựa chọn kích hoạt và tăng cường full attention, như SWA cửa sổ nhỏ và NoPE. Hạn chế: các thí nghiệm chưa đạt đến quy mô công nghiệp và chưa áp dụng phương pháp pretrain-cao-tiếp-theo.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tác động của các loại positional encoding khác nhau (như ALiBi) lên hiệu suất ngữ cảnh dài của full attention trong hybrid, có thể dẫn đến một phương pháp mới hiệu quả hơn NoPE.
  2. Mở rộng phân tích Large-Window Laziness cho các recurrent mixer phức tạp hơn để xác định điều kiện biên khi efficient attention bắt đầu trực tiếp lưu trữ thông tin tầm xa thay vì chỉ đóng vai trò optimization prior.
  3. Khám phá tính khả thi của việc điều chỉnh động tỷ lệ full-to-efficient attention layers trong quá trình huấn luyện để tối ưu hóa tốc độ hội tụ của retrieval heads, thay vì cố định từ đầu như các nghiên cứu trước đây.

2. Patent:​

  1. Phương pháp tinh chỉnh mô hình ngôn ngữ trên điện thoại để cải thiện khả năng tóm tắt tin nhắn dài: mô hình sử dụng attention cửa sổ nhỏ để xử lý nhanh các đoạn chat gần đây và full attention không có positional encoding (NoPE) để truy xuất thông tin từ các cuộc hội thoại cũ, giúp tiết kiệm pin khi hoạt động mà không làm giảm chất lượng.
  2. Hệ thống gợi ý văn bản thông minh trên bàn phím ảo: module attention hiệu quả (cửa sổ trượt) xử lý các từ người dùng vừa gõ để hoàn thành câu nhanh, trong khi full attention NoPE kích hoạt khi cần truy xuất ngữ cảnh xa (ví dụ: chủ đề của một email dài), giúp giảm độ trễ gõ phím.
  3. Thuật toán nén lịch sử trò chuyện cho trợ lý ảo: sử dụng recurrent mixer (như Mamba-2) để nén các hội thoại dài thành một trạng thái ngắn gọn, và đánh thức full attention NoPE chỉ khi cần truy xuất thông tin cụ thể từ quá khứ, giảm bộ nhớ chiếm dụng trên thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.15378
ArXiv Abstracthttps://arxiv.org/abs/2606.15378
PDF Downloadhttps://arxiv.org/pdf/2606.15378.pdf
Github Repositoryhttps://github.com/thunlp/rethinking-hybrid-attention

13. Beyond Monolingual Deep Research: Evaluating Agents and Retrievers with Cross-Lingual BrowseComp-Plus (16 votes)​

Tác giả: Yuheng Lu, Qingcheng Zeng, Heli Qi, Puxuan Yu, Fuheng Zhao, et al.

Xuất bản lúc: 2026-06-13

Tag: Deep Research, Cross-lingual Retrieval, Agentic Search, Multilingual Embeddings, Evaluation Benchmark, BrowseComp, Retrieval-Augmented Generation

I. Main Problem:​

Các benchmark tìm kiếm mạng sâu hiện tại chủ yếu đánh giá trong môi trường đơn ngữ, giả định câu hỏi và bằng chứng hỗ trợ cùng một ngôn ngữ. Điều này bỏ qua thách thức thực tế khi thông tin hữu ích lại xuất hiện bằng ngôn ngữ khác với câu hỏi, đặc biệt khi agent phải tích hợp bằng chứng đa ngôn ngữ vào câu trả lời duy nhất.

II. Main Idea:​

XBCP xây dựng bằng cách dịch toàn bộ ngữ liệu bằng chứng của BrowseComp-Plus sang 12 ngôn ngữ khác nhau (8 ngôn ngữ có nhiều tài nguyên và 4 ngôn ngữ ít tài nguyên) bằng GPT-5.4, trong khi giữ nguyên câu hỏi và câu trả lời bằng tiếng Anh. Benchmark có hai thiết lập: cross-lingual (mỗi câu hỏi có bằng chứng cùng một ngôn ngữ) và multilingual (bằng chứng phân bố đều ngẫu nhiên cho 12 ngôn ngữ). Qua đó, XBCP cho phép đánh giá riêng khả năng truy xuất của retriever đa ngữ và khả năng tích hợp bằng chứng khác ngôn ngữ của agent.

III. Main Results:​

  • DeepSeek-V4-Pro với Qwen3-Embedding-8B đạt độ chính xác cao nhất: 64.70% trên ngữ liệu gốc, 48.80% trên đa ngữ, và 42.29% trên xuyên ngữ.
  • Độ chính xác giảm trung bình 15-23 điểm phần trăm khi chuyển từ ngữ liệu gốc sang ngữ liệu đã dịch.
  • Ngay cả với oracle retrieval (cấp đầy đủ bằng chứng), độ chính xác trên ngữ liệu dịch vẫn thấp hơn ngữ liệu gốc, cho thấy khó khăn độc lập về tích hợp bằng chứng.
  • Ngôn ngữ ít tài nguyên (Swahili, Wolof, Yoruba, Zulu) có độ chính xác thấp hơn đáng kể khi dùng retriever, nhưng oracle accuracy gần tương đương, chỉ ra nút thắt chính là truy xuất.
  • Query expansion dựa trên reasoning trace cải thiện nhẹ độ chính xác và evidence recall ở mọi thiết lập.

IV. Conclusion & Future Works:​

XBCP chứng minh tính xuyên ngữ là nguồn khó khăn cấu trúc cho deep research agents, không chỉ là nhiễu ở khâu truy xuất. Hướng tới cần phát triển agentic search có nhận thức ngôn ngữ, điều phối giữa retriever, planner, reader và citation mechanism để xử lý bằng chứng lệch ngôn ngữ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng XBCP sang hơn 30 ngôn ngữ, bao gồm cả ngôn ngữ có hệ thống chữ viết không Latin, để kiểm tra tính tổng quát của các retriever và agent đa ngữ khi đối mặt với rào cản hình thái chữ viết.
  2. Nghiên cứu chiến lược tạo query tự động thích ứng ngôn ngữ: agent tự động dịch query hoặc chuyển đổi mã ngôn ngữ dựa trên ngôn ngữ của bằng chứng dự đoán, nhằm cải thiện evidence recall.
  3. Phát triển mô hình agent có khả năng tự đánh giá độ tin cậy của từng mảnh bằng chứng theo ngôn ngữ, từ đó quyết định khi nào cần dịch hoặc tìm kiếm thêm thay vì tích hợp mù quáng.

2. Patent:​

  1. Hệ thống tra cứu thông tin đa ngữ trên điện thoại: người dùng hỏi bằng tiếng Việt, hệ thống tự động tìm kiếm tài liệu tiếng Anh, tiếng Trung và tổng hợp câu trả lời bằng tiếng Việt có trích dẫn nguồn.
  2. Trợ lý nghiên cứu học thuật cho sinh viên: khi sinh viên đặt câu hỏi bằng tiếng mẹ đẻ, agent tự động truy xuất bài báo khoa học tiếng Anh, dịch và tổng hợp thành báo cáo song ngữ có chú thích.
  3. Công cụ tìm kiếm luật pháp xuyên biên giới: luật sư hỏi bằng tiếng Việt, hệ thống truy xuất văn bản pháp lý từ nhiều quốc gia bằng ngôn ngữ gốc của chúng, rồi tạo bản tóm tắt đối chiếu bằng tiếng Việt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.15345
ArXiv Abstracthttps://arxiv.org/abs/2606.15345
PDF Downloadhttps://arxiv.org/pdf/2606.15345.pdf
Github RepositoryN/A

14. EgoCS-400K: An Egocentric Gameplay Dataset for World Models (15 votes)​

Tác giả: Rongjin Guo, Dong Liang, Yuhao Liu, Fang Liu, Tianyu Huang, et al.

Xuất bản lúc: 2026-06-16

Tag: World Models, Egocentric Video, Dataset, Counter-Strike, Action-Conditioned Video, Gaming Agent, Temporal Segmentation

I. Main Problem:​

Các mô hình thế giới tương tác hiện nay đòi hỏi dữ liệu video-hành động-ngôn ngữ được căn chỉnh thời gian chính xác, nhưng các tập dữ liệu web chỉ có video thụ động, tập robot tốn kém và thiếu đa dạng, còn mô phỏng hiện có thường thiếu tương tác do con người lái. Thiếu một nguồn dữ liệu quy mô lớn có thể tái phát lại, cung cấp hành động điều khiển, chuyển động camera, trạng thái nội bộ và sự kiện môi trường một cách đồng bộ.

II. Main Idea:​

Bài báo giới thiệu EgoCS-400K, một tập dữ liệu egocentric quy mô lớn từ game Counter-Strike, được xây dựng từ các demo trận đấu chuyên nghiệp. Bằng cách phân tích file replay và kết xuất video góc nhìn thứ nhất, tập dữ liệu cung cấp các quỹ đạo hành động người chơi, trạng thái, chuyển động camera, sự kiện game và caption được ràng buộc bởi replay. Dữ liệu được tổ chức thành các cấp độ từ tick-level đến segment, với các chuỗi hành động được bảo vệ (protected action chains) và đoạn cắt tối ưu bằng quy hoạch động, phục vụ các tác vụ như dự đoán tương lai có điều kiện hành động và mô phỏng cảnh có kiểm soát.

III. Main Results:​

  • Tập dữ liệu chứa hơn 400,000 video góc nhìn thứ nhất, tổng cộng hơn 10,000 giờ gameplay từ hơn 1,000 trận đấu và 40,000 vòng.
  • Dữ liệu bao gồm 13 bản đồ, mỗi vòng có tối đa 10 góc nhìn người chơi đồng bộ.
  • Cung cấp 6 loại chú thích: tick-level state, atomic action, action timeline, protected chain, training segment và caption đa cấp.
  • Thiết lập đường ống phân đoạn DP để đảm bảo tính toàn vẹn của hành động trong các clip huấn luyện ngắn.
  • Caption được sinh ra từ VLM với prior hành động, chuyển động và camera để tránh hallucination.

IV. Conclusion & Future Works:​

EgoCS-400K là cầu nối thực tế giữa video web thụ động và dữ liệu robot đắt đỏ, cho phép học các ưu tiên egocentric như điều hướng, tìm kiếm trực quan và tương tác đa tác nhân. Hướng tương lai có thể mở rộng sang các game khác hoặc tích hợp thêm tương tác thời gian thực và đánh giá mô hình thế giới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phương pháp phân đoạn DP dựa trên hành động bảo vệ cho các tập dữ liệu egocentric khác như Ego4D, cho phép tạo clip huấn luyện nhất quán về mặt ngữ nghĩa.
  2. Sử dụng EgoCS-400K để huấn luyện mô hình dự đoán tương lai có điều kiện hành động, đánh giá khả năng chuyển giao sang môi trường robot mô phỏng.
  3. Kết hợp caption đa cấp từ EgoCS-400K với mô hình ngôn ngữ-thị giác để học biểu diễn hành động từ video và văn bản, áp dụng cho tác vụ hiểu hành động trong game.

2. Patent:​

  1. Hệ thống huấn luyện AI cho game bắn súng: sử dụng dữ liệu replay để tự động tạo video huấn luyện với chú thích hành động chính xác, giúp bot AI học di chuyển và chiến đấu từ người chơi giỏi.
  2. Phương pháp kiểm soát chất lượng video kết xuất từ replay: bộ lọc phát hiện lỗi như sai góc nhìn hoặc mất khung hình, tự động loại bỏ video hỏng trước khi đưa vào tập huấn luyện.
  3. Ứng dụng cho điện thoại: tạo ứng dụng phân tích lối chơi cá nhân từ video quay màn hình, tự động nhận diện và chú thích hành động như bắn súng, ném lựu đạn, thay vũ khí để giúp game thủ cải thiện kỹ năng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18180
ArXiv Abstracthttps://arxiv.org/abs/2606.18180
PDF Downloadhttps://arxiv.org/pdf/2606.18180.pdf
Github Repositoryhttps://github.com/EgoCS-400K/Dataset

15. Variable-Width Transformers (15 votes)​

Tác giả: Zhaofeng Wu, Oliver Sieberling, Shawn Tan, Rameswar Panda, Yury Polyanskiy, et al.

Xuất bản lúc: 2026-06-16

Tag: Transformers, Language Models, Variable-Width, Nonuniform Allocation, Efficiency, KV Cache, Scalability

I. Main Problem:​

Các mô hình Transformer hiện tại thường giữ nguyên độ rộng (width) ở mọi tầng, cấp phát tham số và tính toán đồng đều dù các tầng có thể đóng vai trò khác nhau. Việc này chưa chắc tối ưu, vì một số tầng có thể cần ít dung lượng hơn, nhưng chưa có nghiên cứu nào khám phá việc phân bổ độ rộng không đồng nhất trên toàn bộ mô hình Transformer một cách có hệ thống.

II. Main Idea:​

Bài báo đề xuất > <former, một kiến trúc Transformer có độ rộng thay đổi theo tầng, cụ thể là dạng ×-shaped (rộng ở đầu và cuối, hẹp ở giữa). Để thay đổi độ rộng, họ dùng cơ chế không tham số: khi thu hẹp thì cắt bớt chiều, khi mở rộng thì copy lại các chiều từ tầng trước đó. Cách này giữ nguyên kích thước residual stream tổng thể, mỗi tầng chỉ đọc/ghi vào một lát cắt. Với cùng số tham số, > <former giảm FLOPs và KV cache nhờ độ rộng trung bình thấp hơn (do tham số tỷ lệ bậc hai với độ rộng, trong khi attention FLOPs tỷ lệ tuyến tính).

III. Main Results:​

  • <former cải thiện perplexity ~3% so với mô hình baseline cùng tham số ở mọi kích thước (200M đến 2B dense và 3B MoE).

  • Giảm FLOPs khoảng 3-4.6% và giảm KV cache ~10-11%.
  • Theo scaling law, > <former đạt loss của baseline 2B với chỉ 77.8% FLOPs và 85.1% độ rộng trung bình.

  • <former kích hoạt MLP dày đặc hơn và có entropy ma trận cao hơn ở tầng giữa, cho thấy sử dụng dung lượng hiệu quả hơn và giảm sụp đổ biểu diễn.

  • Cải thiện trên phần lớn benchmark downstream (NLU và perplexity).

IV. Conclusion & Future Works:​

<former chứng minh phân bổ độ rộng không đồng nhất là chiến lược hiệu quả, tiết kiệm FLOPs và bộ nhớ. Hạn chế chính là phức tạp hóa việc triển khai kernel và song song hóa, nhưng hy vọng có thể khắc phục nhờ kernel tối ưu trong tương lai. Nghiên cứu mở ra bậc tự do mới trong thiết kế kiến trúc Transformer.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng > <former cho mô hình đa phương thức, nghiên cứu phân bổ độ rộng tối ưu khi kết hợp text, image và audio.
  2. Tự động tìm cấu hình độ rộng tối ưu cho mỗi tầng bằng phương pháp tìm kiếm kiến trúc (NAS) thay vì thủ công.
  3. Kết hợp > <former với Attention Sparse (e.g., sparse attention) ở tầng hẹp để giảm thêm FLOPs mà không mất chất lượng.

2. Patent:​

  1. Phương pháp tối ưu bộ nhớ suy luận trên điện thoại: mô hình ngôn ngữ nhúng trên thiết bị di động có các tầng giữa hẹp, giúp giảm kích thước KV cache khi sinh văn bản dài, tiết kiệm RAM và tăng tốc độ.
  2. Hệ thống chatbot đa nhiệm trên cloud: triển khai mô hình Transformer dạng ×-shaped giúp giảm chi phí tính toán khi xử lý hàng loạt yêu cầu nhờ độ rộng trung bình thấp hơn, tăng throughput.
  3. Ứng dụng tạo nội dung trên thiết bị di động: mô hình ngôn ngữ nhỏ gọn (> <former) có thể sinh văn bản nhanh hơn với cùng chất lượng nhờ giảm FLOPs, phù hợp cho tính năng gợi ý văn bản trên bàn phím ảo.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18246
ArXiv Abstracthttps://arxiv.org/abs/2606.18246
PDF Downloadhttps://arxiv.org/pdf/2606.18246.pdf
Github Repositoryhttps://github.com/ZhaofengWu/variable-width-transformers

16. Self-Evolving Visual Questioner (15 votes)​

Tác giả: Yijun Liang, Hengguang Zhou, Ming Li, Lichen Li, Cho-Jui Hsieh, et al.

Xuất bản lúc: 2026-06-11

Tag: Vision-Language Models, Visual Question Generation, Self-Improvement, Self-Training, Data-augmentation, Visual Reasoning

I. Main Problem:​

Các mô hình Vision-Language (VLM) thường chỉ được huấn luyện để trả lời câu hỏi thụ động. Khả năng chủ động đặt ra các câu hỏi đa dạng, hướng đến tri giác và lý luận vẫn chưa được khai thác, vì việc thu thập dữ liệu câu hỏi chất lượng cao từ con người hoặc các mô hình bên ngoài rất tốn kém và khó mở rộng.

II. Main Idea:​

Bài báo đề xuất một khung tự tiến hóa (self-evolving framework) cho phép một VLM tự cải thiện khả năng đặt câu hỏi mà không cần bất kỳ giám sát bên ngoài nào. Quy trình bao gồm: (1) mô hình tự đề xuất các câu hỏi, (2) viết lại chúng thành các câu hỏi khó hơn, trực quan hơn, (3) lọc giữ lại các câu hỏi chất lượng, sau đó (4) sử dụng chúng để huấn luyện mô hình ở cả hai định dạng

III. Main Results:​

  • Sau hai vòng tự tiến hóa, điểm QG trung bình tăng ~82% so với mô hình gốc.
  • Cải thiện nhất quán trên tất cả các chiều: Tìm kiếm Tri giác, Phạm vi Bằng chứng, Lý luận Ngữ cảnh, Lý luận Không gian và Đa dạng Câu hỏi.
  • Huấn luyện với dữ liệu tự sinh giúp tăng điểm QA trên một số benchmark, cho thấy câu hỏi tốt hơn cũng hữu ích cho việc trả lời.

IV. Conclusion & Future Works:​

Khung đề xuất cho phép VLM trở thành một người đặt câu hỏi giỏi hơn theo thời gian một cách tự chủ. Hướng phát triển tương lai bao gồm tinh chỉnh các tiêu chí lọc để nắm bắt chi tiết hơn và giảm chi phí tính toán của quy trình lặp lại.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung tự tiến hóa để cho phép mô hình đặt câu hỏi về các chủ đề đa phương thức và trong miền không gian 3D, nơi việc đặt câu hỏi về hình học và phối cảnh là quan trọng.
  2. Phát triển một hệ thống mà các câu hỏi tự sinh ra được dùng làm giám sát đa nhiệm, đồng thời cải thiện các khả năng như phân đoạn, phát hiện vật thể và lý luận nhân quả.
  3. Kết hợp cơ chế học tăng cường (Reinforcement Learning) vào vòng tự tiến hóa thay vì chỉ dùng SFT, với phần thưởng là độ khó và tính đa dạng của câu hỏi.

2. Patent:​

  1. Ứng dụng trên điện thoại cho phép người dùng thiết kế câu hỏi ôn tập: điện thoại chụp một vật thể, mô hình trên thiết bị tự động tạo ra các câu hỏi mới và khó dần về vật thể đó để người dùng tự kiểm tra kiến thức.
  2. Hệ thống hỗ trợ giáo dục cho trẻ em: khi quay phim một bức tranh hoặc sơ đồ, mô hình trong thời gian thực tạo ra các câu hỏi tìm kiếm và lý luận để hướng dẫn trẻ khám phá hình ảnh một cách chủ động.
  3. Công cụ kiểm thử tự động cho ứng dụng thực tế ảo: khi tải lên cảnh 3D, mô hình tự đặt các câu hỏi về tính năng thị giác và tương tác không gian để giúp kiểm tra chất lượng nội dung VR.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.13929
ArXiv Abstracthttps://arxiv.org/abs/2606.13929
PDF Downloadhttps://arxiv.org/pdf/2606.13929.pdf
Github Repositoryhttps://github.com/tianyi-lab/SeeQ

17. Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification (14 votes)​

Tác giả: Wujian Peng, Lingchen Meng, Yuxuan Cai, Xianwei Zhuang, Yuhuan Yang, et al.

Xuất bản lúc: 2026-06-16

Tag: Unified Multimodal Modeling, Autoregressive Model, Visual Tokenizer, Bitwise Quantization, Image Generation, Image Editing, Multimodal Understanding

I. Main Problem:​

Các mô hình đa phương thức thống nhất (UMM) hiện tại thường dùng hai bộ tokenizer thị giác riêng biệt cho hiểu và sinh ảnh, khiến không gian biểu diễn bị chia tách. Điều này phá vỡ mục tiêu

II. Main Idea:​

shared-context

III. Main Results:​

vì ảnh sinh ra phải được mã hóa lại bằng tokenizer hiểu trước khi mô hình có thể diễn giải. Bài toán đặt ra là thiết kế một tokenizer duy nhất đáp ứng đồng thời nhu cầu về ngữ nghĩa cao cấp (cho hiểu) và chi tiết tần số thấp (cho sinh).

IV. Conclusion & Future Works:​

UniAR đề xuất một kiến trúc tự hồi quy thống nhất dùng một tokenizer thị giác rời rạc duy nhất. Tokenizer tích hợp đa tầng đặc trưng (multi-level feature fusion) để giữ cả ngữ nghĩa và chi tiết, và dùng lượng tử hóa nhị phân không tra cứu (lookup-free bitwise quantization) để mở rộng từ vựng ảo hiệu quả. Mô hình tự hồi quy dự đoán song song các mã nhị phân theo nhóm không gian 2×2, giảm độ dài chuỗi và tăng tốc sinh. Bộ giải mã dựa trên Diffusion Transformer (DiT) chỉ dùng token thị giác để tái tạo ảnh chất lượng cao.

V. Brainstorming Space:​

1. Publish Papers:​

  1. UniAR đạt điểm tổng thể 0.86 trên GenEval, vượt GPT-4o và Flux.1-dev dù là mô hình thống nhất.
  • Trên OneIG-Bench và LongText-Bench về kết xuất chữ, UniAR đạt 0.873 và 0.917, tốt hơn GPT-4o (0.857) và Gemini 2.5 Flash Image (0.869).
  • Trên ImgEdit-Bench về chỉnh sửa ảnh, UniAR đạt 3.73, vượt các mô hình chuyên dụng như Flux.1 Kontext (3.71) và các mô hình thống nhất mạnh như BAGEL (3.20), OmniGen2 (3.44).
  • Trên các benchmark hiểu đa phương thức, UniAR đạt kết quả cạnh tranh, đặc biệt vượt trội trên các tác vụ OCR như OCRBench (833), DocVQA (91.4), InfoVQA (70.0).
  • Mô hình cho thấy khả năng nổi bật: sinh ảnh rồi trả lời câu hỏi chi tiết về ảnh đó trong cùng một ngữ cảnh mà không cần mã hóa lại.
  1. UniAR chứng minh rằng một tokenizer thị giác rời rạc duy nhất là chìa khóa để thống nhất hiểu và sinh trong cùng một không gian biểu diễn. Hướng nghiên cứu tương lai có thể bao gồm việc tích hợp thêm dữ liệu thuần văn bản và RL cho hiểu để tăng cường hiệu năng trên các tác vụ suy luận như MMMU.
  2. Mở rộng UniAR để hỗ trợ sinh và hiểu video, tận dụng khả năng tự hồi quy và không gian biểu diễn thống nhất cho dữ liệu tuần tự.
  3. Nghiên cứu cách tối ưu hóa việc dự đoán song song để tăng tốc hơn nữa cho sinh ảnh độ phân giải cao, đồng thời giảm số token thị giác cần dự đoán.
  4. Khám phá việc dùng UniAR cho các tác vụ tương tác người-dùng phức tạp, chẳng hạn như chỉnh sửa ảnh theo hội thoại nhiều vòng, tận dụng khả năng hiểu ngữ cảnh đã sinh của mô hình.

2. Patent:​

  1. Ứng dụng UniAR vào tính năng 'Chỉnh sửa ảnh bằng giọng nói' trên điện thoại: người dùng vừa nói vừa xem ảnh, mô hình tự động hiểu lệnh, sinh ảnh mới và trả lời câu hỏi về ảnh vừa tạo mà không cần tải lại ảnh.
  2. Hệ thống 'Tạo ảnh đại diện thông minh' cho mạng xã hội: người dùng mô tả ảnh mong muốn (ví dụ: 'ảnh chân dung với background bãi biển, mặc áo xanh'), UniAR sinh ảnh và ngay lập tức phân tích ảnh đó để đề xuất chỉnh sửa thêm (ví dụ: 'thêm kính râm'), tất cả trong một luồng hội thoại.
  3. Tính năng 'Hỗ trợ thiết kế nội thất' trên ứng dụng di động: người dùng chụp ảnh phòng, nói 'đổi ghế sofa màu đỏ thành màu xanh, thêm bàn trà gỗ', UniAR thực hiện chỉnh sửa, và sau đó có thể mô tả lại không gian mới (ví dụ: 'bàn trà đặt ở đâu?') mà không cần chụp ảnh lại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18249
ArXiv Abstracthttps://arxiv.org/abs/2606.18249
PDF Downloadhttps://arxiv.org/pdf/2606.18249.pdf
Github Repositoryhttps://github.com/ShareLab-SII/UniAR

18. Dr-DCI: Scaling Direct Corpus Interaction via Dynamic Workspace Expansion (11 votes)​

Tác giả: Yi Lu, Zhuofeng Li, Ping Nie, Haoxiang Zhang, Yuyu Zhang, et al.

Xuất bản lúc: 2026-06-12

Tag: Agentic Search, Direct Corpus Interaction, Retrieval-Augmented Generation, Workspace Expansion, Large-Scale Retrieval, Question Answering, LLM Agents

I. Main Problem:​

Các phương pháp Direct Corpus Interaction (DCI) cho phép tác nhân tương tác linh hoạt với kho văn bản qua lệnh terminal, nhưng khi kích thước kho văn bản tăng lên, các lệnh này trở nên chậm và dễ bị lỗi timeout. Trong khi đó, các hệ thống RAG truyền thống có khả năng mở rộng nhưng chỉ cung cấp danh sách kết quả xếp hạng giới hạn, không cho phép tác nhân tự do tổ chức, so sánh và kiểm tra chứng cứ xuyên suốt các văn bản.

II. Main Idea:​

DR-DCI giải quyết vấn đề trên bằng cách coi việc truy xuất (retrieval) là một hành động mở rộng không gian làm việc có thể gọi được bởi tác nhân. Tác nhân gọi hàm 'pull(query, topK)' để động kéo các văn bản tiềm năng từ kho tổng thể vào một không gian làm việc (workspace) cục bộ đang tiến hóa. Sau đó, tác nhân sử dụng các lệnh DCI kiểu terminal (như grep, find, read) để tìm kiếm, kiểm tra, so sánh và xác minh chứng cứ trong không gian làm việc giới hạn này. Thiết kế này tách biệt bài toán mở rộng (do retrieval đảm nhiệm) khỏi bài toán độ chính xác (do DCI trong workspace đảm nhiệm), cho phép kết hợp khả năng thu hồi (recall) của retriever với độ chính xác của DCI.

III. Main Results:​

  • Trên BrowseComp-Plus, DR-DCI đạt độ chính xác 71.2%, cải thiện 8.3 điểm so với DCI thô và giảm số lượng công cụ, thời gian chạy cũng như chi phí ước tính.
  • Với cơ chế 'reset ngữ cảnh bảo toàn workspace', độ chính xác tăng lên 73.3%.
  • Trong thí nghiệm mở rộng kho từ 100K lên 10M văn bản, DR-DCI duy trì hiệu quả ổn định (chính xác giảm nhẹ từ 80% xuống 70%), trong khi DCI thô trở nên không khả thi.
  • Trên bộ dữ liệu Wiki-18 QA với 20 triệu văn bản, DR-DCI đạt điểm trung bình 63.0, vượt qua các baseline dựa trên retrieval và search-agent.
  • Các thử nghiệm ablation cho thấy xem trước xếp hạng và DCI liên-văn-bản là các yếu tố then chốt cho hiệu suất.

IV. Conclusion & Future Works:​

DR-DCI chứng minh rằng việc kết hợp mở rộng workspace hướng retrieval và các thao tác DCI cục bộ là một giải pháp hiệu quả và thực tế để mở rộng DCI cho các kho văn bản lớn. Hướng phát triển tương lai có thể bao gồm tối ưu hóa chiến lược 'pull', điều chỉnh cơ chế reset ngữ cảnh, và mở rộng ra các cấu trúc dữ liệu phức tạp khác ngoài văn bản thuần.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các chiến lược quyết định 'khi nào' và 'truy xuất gì' của tác nhân trong vòng lặp mở rộng workspace nhằm tối ưu hóa độ chính xác trên chi phí.
  2. Áp dụng khung DR-DCI cho lĩnh vực pháp lý và y tế, nơi cần xác minh chứng cứ chính xác trong các kho tài liệu rất lớn và chuyên ngành.
  3. Kết hợp DR-DCI với các kỹ thuật đa phương thức để tác nhân có thể tương tác với kho dữ liệu bao gồm cả hình ảnh và bảng biểu cùng với văn bản.

2. Patent:​

  1. Hệ thống trợ lý thẩm mỹ dựa trên hướng dẫn sử dụng mỹ phẩm điện thoại: người dùng chụp ảnh sản phẩm, ứng dụng dùng thông tin đó để truy vấn kho tài liệu khổng lồ về thành phần và công dụng, sau đó cho phép tác nhân so sánh chéo và trả lời câu hỏi với độ chính xác cao.
  2. Công cụ tìm kiếm hợp đồng thông minh trên điện thoại: thay vì chỉ hiển thị danh sách, công cụ này cho phép người dùng (qua tác nhân) gửi lệnh tìm kiếm nâng cao và so sánh các điều khoản cụ thể trong nhiều hợp đồng đã được tải về workspace.
  3. Phương pháp xác minh thông tin cho ứng dụng tin tức di động: khi đọc một bài báo gây tranh cãi, tác nhân tự động kéo về các bài báo đối lập từ kho lưu trữ rộng lớn, cho phép người dùng kiểm tra tính nhất quán và so sánh trực tiếp các bằng chứng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.14885
ArXiv Abstracthttps://arxiv.org/abs/2606.14885
PDF Downloadhttps://arxiv.org/pdf/2606.14885.pdf
Github Repositoryhttps://github.com/EigenTom/DR-DCI