Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-06-25

Báo cáo được tạo tự động vào lúc 2026-06-30 21:56:36 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. Are We Ready For An Agent-Native Memory System? (119 votes)​

Tác giả: Wei Zhou, Xuanhe Zhou, Shaokun Han, Hongming Xu, Guoliang Li, et al.

Xuất bản lúc: 2026-06-23

Tag: LLM Agents, Memory Systems, Data Management, Knowledge Graph, Vector Database, Hybrid Retrieval, Benchmark

I. Main Problem:​

Các hệ thống memory cho LLM agent đang phát triển nhanh nhưng thiếu đánh giá có hệ thống từ góc nhìn quản lý dữ liệu. Các benchmark hiện tại chỉ đo lường qua metric đầu-cuối (F1, BLEU) mà xem memory như hộp đen, bỏ qua chi phí vận hành, sự đánh đổi kiến trúc và độ ổn định dưới cập nhật động.

II. Main Idea:​

Bài báo đề xuất khung phân tích phân rã memory agent thành bốn module: biểu diễn & lưu trữ, trích xuất, truy vấn & định tuyến, và bảo trì. Dưới khung này, tác giả đánh giá 12 hệ thống memory đại diện và 2 baseline trên 11 dataset bao gồm 5 workload. Qua ablation, họ đo riêng tác động của từng module lên độ chính xác, độ vững, và chi phí, từ đó chỉ ra trade-off và hướng đi cho memory thực sự dành cho agent.

III. Main Results:​

  • Không có kiến trúc nào thống trị mọi kịch bản; hybrid hệ tốt trên conversational QA, graph-based vượt trên single-hop fact recall.
  • Độ chính xác truy vấn suy giảm mạnh khi khoảng cách thời gian giữa evidence và câu hỏi tăng.
  • Graph-based xử lý cập nhật tri thức ổn định nhất; append-only stores hay bị trả lỗi thời ("hallucinations of the past").
  • Nhiều store kiểu append-only bị suy thoái trầm trọng khi tầm thời gian dài; raw long-context vẫn vượt memory-backed cho query phụ thuộc thời gian.
  • Hệ thống có cấu trúc cao tốn chi phí index và query lớn hơn nhiều lần so với store nhẹ, nhưng không luôn cho độ chính xác tương ứng.

IV. Conclusion & Future Works:​

Kết quả chỉ ra rằng không có giải pháp một-cỡ-cho-tất-ả; hiệu quả phụ thuộc vào sự phù hợp giữa cấu trúc memory và bottleneck của workload. Hướng tương lai bao gồm xây dựng memory thực sự dành riêng cho agent với khả năng điều chỉnh động, và mở rộng đánh giá cho các loại memory đa phương thức và parametric.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu thiết kế memory hybrid tự điều chỉnh kiến trúc module dựa trên phân tích workload runtime, giúp tối ưu hóa trade-off giữa chi phí và độ chính xác.
  2. Phát triển cơ chế đánh giá và cập nhật memory động dựa trên temporal reasoning, nhằm giảm "hallucinations of the past" khi tri thức thay đổi.
  3. Mở rộng khung đánh giá cho parametric memory (KV cache, hidden state) và memory đa phương thức (âm thanh, hình ảnh) để bao phủ đầy đủ hệ sinh thái agent.

2. Patent:​

  1. Hệ thống quản lý memory trên điện thoại cho trợ lý ảo: lưu lịch sử hội thoại dạng đồ thị, tự động phát hiện và gộp thông tin mâu thuẫn (ví dụ: thay đổi sở thích), giúp bot trả lời nhất quán xuyên phiên.
  2. Phương pháp xóa quên thông minh trên thiết bị di động: dùng điểm ưu tiên kết hợp tần suất truy cập và thời gian, tự động xóa memory cũ nhưng giữ lại các sự kiện quan trọng, tiết kiệm bộ nhớ.
  3. Cơ chế đồng bộ memory cross-app: trợ lý ảo trên điện thoại tổng hợp fact từ nhiều ứng dụng (lịch, ghi chú, tin nhắn) thành một biểu diễn thống nhất, cho phép tìm kiếm ngữ nghĩa chính xác dù dữ liệu nằm ở store khác nhau.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.24775
ArXiv Abstracthttps://arxiv.org/abs/2606.24775
PDF Downloadhttps://arxiv.org/pdf/2606.24775.pdf
Github Repositoryhttps://github.com/OpenDataBox/MemoryData

2. Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models (107 votes)​

Tác giả: Lianghua Huang, Zhifan Wu, Wei Wang, Yupeng Shi, Mengyang Feng, et al.

Xuất bản lúc: 2026-06-23

Tag: Real-time Interaction, Audio-Visual Streaming, Full-Duplex, Large Language Models, Visual Generation

I. Main Problem:​

Các hệ thống tương tác thực tế hiện nay thường được ghép từ nhiều module riêng rẽ như VAD, ASR, LLM, TTS, và sinh video, gây chậm trễ, tích lũy lỗi và khó đồng bộ hóa. Hơn nữa, các mô hình này chỉ hỗ trợ tương tác một chiều hoặc không bao gồm phản hồi thị giác đồng bộ, thiếu khả năng full-duplex thực sự.

II. Main Idea:​

Wan-Streamer là nền tảng tương tác end-to-end, native-streaming, xử lý đồng thời văn bản, âm thanh và video trong một Transformer duy nhất. Mô hình này sử dụng cơ chế block-causal attention để xử lý stream từng bước nhỏ 160ms, với bộ mã hóa/giải mã nhân quả hoàn toàn. Để tăng tốc suy luận, mô hình được triển khai theo pipeline thinker-performer, trong đó một GPU thực hiện cảm nhận và cập nhật trạng thái, GPU còn lại chỉ chạy flow-matching để sinh ngữ cảnh âm thanh-video.

III. Main Results:​

  • Độ trễ mô hình ~200ms và tổng độ trễ tương tác ~550ms cho phép giao tiếp âm-thanh-hình ảnh dưới 1 giây.
  • So với các hệ thống full-duplex khác (Moshi, Doubao), Wan-Streamer sinh cả phản hồi thị giác 25 FPS đồng bộ.
  • Mô hình có khả năng ngắt lời, chủ động nói và duy trì hành vi phi ngôn ngữ (nhìn, gật đầu, thở) trong lúc lắng nghe.
  • Không cần module bên ngoài: cảm nhận, suy luận và phát sinh âm thanh-video được học chung trong một mô hình duy nhất.

IV. Conclusion & Future Works:​

Wan-Streamer chứng minh việc thiết kế từ đầu với tính chất full-duplex native và causal mang lại hiệu năng vượt trội so với hệ thống ghép module. Hiện tại, kết quả v0.1 ở độ phân giải 192p; nâng cấp lên độ phân giải cao hơn là hướng phát triển tương lai. Kết quả này gợi ý rằng các tác nhân đa phương thức thời gian thực nên được xây dựng như hệ thống full-duplex nguyên bản.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Wan-Streamer cho tương tác với thế giới vật lý (robot): cảm nhận ảnh từ camera robot và sinh phản hồi hành động thay vì chỉ lời nói và video avatar.
  2. Tối ưu hóa mô hình với kỹ thuật distillation dạng cuộn (rolling distillation) để giảm khoảng cách huấn luyện-kiểm thử cho các phiên tương tác dài hơn.
  3. Kết hợp Wan-Streamer với mô hình thế giới để tạo tác nhân tương tác dự đoán trước các tình huống và hành động của người dùng, tăng tính chủ động và tự nhiên.

2. Patent:​

  1. Trợ lý ảo trên điện thoại có thể 'nhìn' người dùng qua camera, sinh avatar đồng bộ lời nói, chuyển động môi và nét mặt, cho phép cuộc gọi video với trợ lý ảo chân thực, gần như trò chuyện trực tiếp.
  2. Hệ thống livestream tương tác nơi streamer ảo tự động phản hồi khán giả bằng lời nói và biểu cảm khuôn mặt theo thời gian thực, tăng trải nghiệm người xem mà không cần con người vận hành liên tục.
  3. Chế độ 'gọi video thông minh' trên ứng dụng nhắn tin nơi người dùng nói và avatar 3D của họ xuất hiện, hiển thị cảm xúc và cử chỉ dựa trên giọng nói và hình ảnh thực tế, tương tự FaceTime nhưng với nhân vật hoạt hình được đồng bộ hóa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.25041
ArXiv Abstracthttps://arxiv.org/abs/2606.25041
PDF Downloadhttps://arxiv.org/pdf/2606.25041.pdf
Github RepositoryN/A

3. DomainShuttle: Freeform Open Domain Subject-driven Text-to-video Generation (65 votes)​

Tác giả: Nan Chen, Yiyang Cai, Rongchang Xie, Junwen Pan, Cheng Chen, et al.

Xuất bản lúc: 2026-06-24

Tag: Text-to-Video, Subject-Driven Generation, Diffusion, Domain Adaptation, DiT, Cross-Domain, Personalization

I. Main Problem:​

Các phương pháp sinh video chủ thể (S2V) hiện tại chủ yếu tối ưu độ trung thực trong cùng miền (in-domain), khiến khả năng chỉnh sửa và thích ứng kém khi chuyển sang miền khác (cross-domain) như phong cách mới, kết hợp ngữ nghĩa lạ hoặc thuộc tính khác biệt. Bài toán cần một phương pháp vừa giữ được đặc trưng cốt lõi của chủ thể, vừa linh hoạt biến đổi các thuộc tính không liên quan theo prompt.

II. Main Idea:​

DomainShuttle giới thiệu Domain-MoT để tách riêng luồng xử lý video và ảnh tham chiếu, kết hợp Domain-aware AdaLN giúp mô hình hóa chủ thể theo từng miền. Video-Reference DualRoPE đặt token ảnh tham chiếu vào không gian RoPE riêng, tách biệt với video để kiểm soát chính xác vị trí không gian của từng chủ thể. Cross-Pair Consistent Loss căn chỉnh đặc trưng giữa hai bộ ảnh tham chiếu khác nhau của cùng một video, giúp mô hình học được đặc trưng nội tại, không bị ảnh hưởng bởi yếu tố phụ như ánh sáng hay bố cục.

III. Main Results:​

  • DomainShuttle cải thiện Cross-Domain Score tới 18.7% so với SOTA (từ 0.697 lên 0.861 trên Wan2.2).
  • Vượt trội ở cả chỉ số text controllability (GMEScore 0.705) và subject consistency (CD-Score 0.861).
  • Đạt kết quả tốt nhất trên hầu hết các metric về độ trung thực chủ thể in-domain (DINO-I 0.400, CLIP-I 0.703).
  • Ablation: Domain-MoT tăng CD-Score từ 0.697 lên 0.783; bỏ VR-DualRoPE gây sai tương tác vị trí; bỏ CCL dẫn đến sao chép ảnh tham chiếu.
  • Hoạt động ổn định trên cả hai nền tảng Wan2.1-14B và Wan2.2-14B.

IV. Conclusion & Future Works:​

DomainShuttle chứng minh việc tách biệt luồng video và ảnh tham chiếu, cùng với cơ chế domain-aware, là chìa khóa để đạt được cả trung thực và linh hoạt trong S2V đa miền. Hướng tới có thể mở rộng cho nhiều chủ thể hơn, tối ưu chiến lược sinh cross-pair tự động, và ứng dụng vào các tác vụ tương tác phức tạp giữa chủ thể thực và ảo.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng DomainShuttle cho sinh video nhiều chủ thể với tương tác phức tạp, như người và vật thể ảo cùng thay đổi theo phong cách khác nhau.
  2. Nghiên cứu cơ chế domain-aware AdaLN có thể tự học nhãn miền từ dữ liệu thay vì gán nhãn thủ công, giúp mô hình tổng quát hơn.
  3. Kết hợp Cross-Pair Consistent Loss với contrastive learning để tăng cường tách biệt đặc trưng giữa các chủ thể khác nhau trong cùng một video.

2. Patent:​

  1. Ứng dụng tạo quảng cáo sản phẩm động: người dùng chụp ảnh sản phẩm, nhập mô tả ngữ cảnh mong muốn; hệ thống sinh video sản phẩm trong nhiều bối cảnh sáng tạo khác nhau giữ nguyên hình dáng.
  2. Tính năng biến ảnh đại diện trên điện thoại: chụp ảnh khuôn mặt, chọn phong cách hoạt hình, watercolor, hoặc 3D; video selfie được tạo ra với phong cách đó mà vẫn giữ được nét riêng.
  3. Công cụ thiết kế poster/short video cá nhân hóa: cho ảnh thú cưng, viết prompt như 'chú mèo đi dạo trong công viên anime'; máy tạo video với chú mèo y nguyên bộ lông nhưng trong thế giới hoạt hình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.26058
ArXiv Abstracthttps://arxiv.org/abs/2606.26058
PDF Downloadhttps://arxiv.org/pdf/2606.26058.pdf
Github Repositoryhttps://github.com/HKUST-C4G/DomainShuttle

4. ShutterMuse: Capture-Time Photography Guidance with MLLMs (45 votes)​

Tác giả: Jiayu Li, Yixiao Fang, Tianyu Hu, Wei Cheng, Ping Huang, et al.

Xuất bản lúc: 2026-06-24

Tag: MLLM, Photography Guidance, Image Cropping, Pose Recommendation, Benchmark, Dataset, Reinforcement Fine-Tuning

I. Main Problem:​

Chụp ảnh thực tế cần hướng dẫn đồng thời về khung hình (phía nhiếp ảnh gia) và tư thế người mẫu (phía chủ thể), nhưng các benchmark cắt ảnh thẩm mỹ hiện tại chỉ đánh giá cắt hậu kỳ, bỏ qua hướng dẫn phía chủ thể. MLLM tổng quát thiếu khả năng định vị cắt chính xác, còn mô hình chuyên dụng chỉ làm được cắt ảnh, không xử lý quyết định 'giữ' hay 'bỏ' và không đề xuất tư thế hành động được.

II. Main Idea:​

CaptureGuide-Bench giới thiệu hai tác vụ bổ sung: hướng dẫn phía nhiếp ảnh gia (quyết định ba chiều refine/keep/reject kèm khung cắt) và hướng dẫn phía chủ thể (đề xuất tư thế phù hợp cảnh). Xây dựng CaptureGuide-Dataset (~130K mẫu) bằng pipeline tự chưng cất có xác minh MLLM và pipeline sinh tư thế. ShutterMuse (dựa trên Qwen3-VL-8B) huấn luyện hai giai đoạn: supervised fine-tuning trên dataset rồi reinforcement fine-tuning (GRPO) với phần thưởng riêng cho từng tác vụ.

III. Main Results:​

  • ShutterMuse đạt IoU 74.30%, BDE 0.054, tỷ lệ refine thành công 70.03%, outperform tất cả baseline (bao gồm Gemini-3.1-Pro, Venus).
  • So với Venus (chuyên cắt), ShutterMuse xử lý tốt reject (RSR 82.76%) và keep (KSR 74.55%).
  • Trên tác vụ đề xuất tư thế, ShutterMuse đạt điểm trung bình 0.34, gần bằng GPT-Image-2 (0.35) nhưng thời gian suy luận giảm 21 lần (4.96s so với 102.61s).
  • Ablation cho thấy GRPO cải thiện RSR từ 68.97% lên 82.76% và MLLM-Score từ 0.56 lên 0.64.

IV. Conclusion & Future Works:​

ShutterMuse chứng tỏ MLLM có thể đóng vai trò trợ lý tương tác khi chụp ảnh, kết hợp quyết định bố cục và đề xuất tư thế với chi phí thấp. Hướng tương lai: mở rộng pipeline cho nhiều loại cảnh và đối tượng hơn, tích hợp thêm tương tác đa vòng để cải thiện trải nghiệm người dùng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CaptureGuide-Bench sang hướng dẫn đa ngôn ngữ và văn hóa, nghiên cứu cách MLLM thích ứng với các chuẩn thẩm mỹ khác nhau.
  2. Kết hợp ShutterMuse với bộ sinh ảnh (diffusion model) để tạo preview trực tiếp khung hình và tư thế đề xuất trên điện thoại.
  3. Nghiên cứu fine-tuning MLLM nhẹ hơn (e.g., 2B-4B) bằng GRPO để chạy on-device cho phản hồi thời gian thực.

2. Patent:​

  1. Ứng dụng trên điện thoại thông minh: khi người dùng ngắm khung, MLLM phân tích ảnh trực tiếp và đưa ra khung cắt tối ưu kèm hướng dẫn tư thế (bằng text + hình vẽ skeleton chồng lên màn hình).
  2. Tính năng chụp ảnh nhóm tự động: camera phát hiện số lượng người, đề xuất bố cục và từng tư thế riêng cho mỗi người, hiển thị như overlay AR.
  3. Hệ thống chấm điểm ảnh chụp theo thời gian thực: sau mỗi lần chụp, phân tích bố cục và tư thế, đưa ra lời khuyên cải thiện (giữ/loại/cắt lại) ngay lập tức.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.25763
ArXiv Abstracthttps://arxiv.org/abs/2606.25763
PDF Downloadhttps://arxiv.org/pdf/2606.25763.pdf
Github Repositoryhttps://github.com/lijayuTnT/ShutterMuse

5. Improved Large Language Diffusion Models (42 votes)​

Tác giả: Shen Nie, Qiyang Min, Shaoxuan Xu, Zihao Huang, Yuxuan Song, et al.

Xuất bản lúc: 2026-06-24

Tag: Diffusion Language Models, Masked Diffusion, Large Language Models, LLaDA, iLLaDA, Bidirectional Attention, Text Generation, Non-autoregressive

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLM) hiện nay hầu hết dùng kiến trúc autoregressive. Dù mô hình diffusion hai chiều (bidirectional) như LLaDA đã chứng minh tiềm năng, hiệu năng của chúng vẫn thua xa các mô hình autoregressive mạnh như Qwen2.5, để lại khoảng trống cải thiện lớn.

II. Main Idea:​

iLLaDA là mô hình diffusion có mặt nạ (masked diffusion) 8B tham số, được huấn luyện từ đầu với chú ý hai chiều hoàn toàn (fully bidirectional attention). Mô hình giữ nguyên hàm mục tiêu diffusion có mặt nạ trong cả pre-training (12T token) và supervised fine-tuning (SFT) (25B token, 12 epoch). iLLaDA dùng grouped-query attention (GQA) giảm bộ nhớ, liên kết embedding đầu vào và LM-head, thay đổi lịch trình learning rate, và áp dụng sinh độ dài biến thiên (variable-length generation) cùng phương pháp chấm điểm dựa trên độ tin cậy (confidence-based scoring) cho bài toán trắc nghiệm.

III. Main Results:​

  • iLLaDA-Base cải thiện 21.6 điểm trên BBH và 14.9 điểm trên ARC-Challenge so với LLaDA.
  • iLLaDA-Instruct tăng 14.5 điểm trên MATH và 16.5 điểm trên HumanEval so với LLaDA.
  • iLLaDA-Base đạt điểm trung bình 63.9, ngang ngửa Qwen2.5 7B (63.3) và vượt Dream 7B (61.4).
  • Phương pháp chấm điểm confidence cải thiện 2.3 điểm trên HellaSwag so với likelihood.
  • iLLaDA tiếp tục cải thiện khi tăng số epoch SFT lên 12.

IV. Conclusion & Future Works:​

iLLaDA chứng minh diffusion hai chiều huấn luyện từ đầu có thể cạnh tranh với autoregressive. Hạn chế gồm chưa có alignment bằng reinforcement learning và mới chỉ thử nghiệm ở quy mô 8B. Hướng tới là áp dụng RL cho iLLaDA và mở rộng lên quy mô lớn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khám phá áp dụng reinforcement learning (ví dụ VRPO, diffu-GRPO) cho iLLaDA để cải thiện khả năng suy luận và làm theo chỉ dẫn, tương tự Qwen2.5.
  2. Mở rộng iLLaDA lên quy mô 30B+ tham số với cùng công thức huấn luyện để kiểm tra giới hạn của diffusion hai chiều trên dữ liệu lớn.
  3. Kết hợp iLLaDA với kiến trúc multimodal (văn bản-hình ảnh) bằng cách huấn luyện chung với dữ liệu đa phương thức, tận dụng lợi thế bidirectional attention.

2. Patent:​

  1. Hệ thống tạo văn bản trên điện thoại thông minh dùng mô hình diffusion hai chiều, cho phép sinh câu trả lời không tuần tự (từ giữa câu) giúp tăng tốc và linh hoạt trên thiết bị di động.
  2. Công cụ dịch thuật thời gian thực trên điện thoại dùng confidence-based scoring để tự động chọn bản dịch tốt nhất từ nhiều ứng cử viên, cải thiện độ chính xác trong hội thoại.
  3. Ứng dụng trợ lý ảo trên di động có khả năng lập kế hoạch dài hạn (long-horizon planning) nhờ kiến trúc diffusion bidirectional, vượt trội so với autoregressive trong các tác vụ đa bước như đặt vé hay lên lịch trình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.25331
ArXiv Abstracthttps://arxiv.org/abs/2606.25331
PDF Downloadhttps://arxiv.org/pdf/2606.25331.pdf
Github RepositoryN/A

6. Beyond NL2Code: A Structured Survey of Multimodal Code Intelligence (38 votes)​

Tác giả: Xuanle Zhao, Qiushi Sun, Jingyu Xiao, Xuexin Liu, Haoyue Yang, et al.

Xuất bản lúc: 2026-06-16

Tag: Multimodal LLMs, Code Generation, GUI Generation, Scientific Visualization, Structured Graphics, Visually Grounded Programming, Code Agents, Verification

I. Main Problem:​

Các mô hình sinh mã hiện tại chủ yếu dựa trên mô tả văn bản, bỏ qua tín hiệu hình ảnh có băng thông cao và trực quan như ảnh chụp màn hình, biểu đồ, hay video. Điều này gây mất mát thông tin và sai lệch khi thực hiện các tác vụ lập trình mà kết quả đầu ra là trực quan, như phát triển giao diện người dùng hay tạo biểu đồ.

II. Main Idea:​

Bài báo đưa ra một khảo sát có cấu trúc về Multimodal Code Intelligence—hệ thống sinh, sửa, tinh chỉnh, hoặc suy luận mã từ đầu vào và đầu ra trực quan. Các tác giả phân loại vai trò của mã thành năm dạng (artifact kết xuất, cấu trúc chỉnh sửa, biểu diễn khoa học, dấu vết suy luận, chính sách hoặc giao diện công cụ) và tổ chức các benchmark cùng phương pháp vào bốn lĩnh vực: Giao diện Người dùng, Khoa học Trực quan, Đồ họa Cấu trúc, và các Tác vụ Tiên phong.

III. Main Results:​

  • Trên IWR-Bench, độ chính xác hình ảnh (64.25%) cao hơn nhiều so với độ chính xác tương tác (24.39%), phơi bày khe hở giữa mô phỏng tĩnh và đúng chức năng.
  • Các benchmark tĩnh như WebSight và Web2Code đo lường độ trung thực kết xuất, trong khi benchmark động như Interaction2Code kiểm tra tính tương tác thực thi.
  • Lĩnh vực Structured Graphics (SVG, CAD) có ít benchmark hơn nhưng đòi hỏi kiểm tra cấu trúc và ràng buộc chặt chẽ.
  • Các phương pháp đa tác tử (ví dụ ScreenCoder, TDDev) cho thấy khả năng phân hủy và cải tiến tốt hơn so với mô hình đơn khối.
  • Hướng tương lai bao gồm bốn trục xác minh: đa tín hiệu, đa trạng thái, chuyển giao tác vụ, và dấu vết tác tử có thể kiểm chứng.

IV. Conclusion & Future Works:​

Khảo sát kết luận rằng độ tương tự hình ảnh hữu ích nhưng chưa đủ; cần bằng chứng về ngữ nghĩa và tương tác để đánh giá đúng. Các hướng tương lai gồm xác minh đa tín hiệu, xác thực đa trạng thái, kiểm tra chuyển giao tác vụ, và dấu vết tác tử có thể kiểm chứng, từ đó đưa lĩnh vực từ bắt chước đầu ra đơn lẻ sang hệ thống thực thi dựa trên bằng chứng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển benchmark mới kết hợp cả tín hiệu hình ảnh tĩnh và trạng thái tương tác động cho GUI-to-code, giúp mở rộng đánh giá từ mô phỏng đến thực thi.
  2. Nghiên cứu phương pháp huấn luyện đa tác vụ cho một mô hình duy nhất có thể sinh mã cho nhiều định dạng hình ảnh khác nhau (biểu đồ, GUI, SVG) mà không cần tinh chỉnh riêng.
  3. Xây dựng cơ chế phản hồi đóng (execution feedback) cho các tác vụ chỉnh sửa mã trực quan, cho phép mô hình tự sửa lỗi dựa trên kết quả kết xuất hoặc tương tác thực tế.

2. Patent:​

  1. Ứng dụng trên điện thoại cho phép người dùng chụp ảnh giao diện ứng dụng và tự động sinh mã HTML/React tương ứng, kèm theo chức năng chỉnh sửa bằng giọng nói hoặc vẽ khoanh vùng.
  2. Hệ thống tạo slide thuyết trình từ ảnh chụp bảng vẽ tay hoặc biểu đồ, dùng mô hình đa phương thức chuyển đổi trực tiếp thành mã LaTeX/Beamer hoặc mã PowerPoint.
  3. Công cụ hỗ trợ thiết kế CAD trên thiết bị di động: người dùng chụp ảnh phác thảo 2D, hệ thống sinh mã CAD MLLM tương ứng, cho phép chỉnh sửa và kết xuất 3D trong thời gian thực.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.15932
ArXiv Abstracthttps://arxiv.org/abs/2606.15932
PDF Downloadhttps://arxiv.org/pdf/2606.15932.pdf
Github Repositoryhttps://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code

7. MVTrack4Gen: Multi-View Point Tracking as Geometric Supervision for 4D Video Generation (35 votes)​

Tác giả: JoungBin Lee, Jaewoo Jung, Jongmin Lee, Tongmin Kim, Hyunsung Kim, et al.

Xuất bản lúc: 2026-06-24

Tag: 4D Video Generation, Novel-View Synthesis, Multi-View Point Tracking, Video Diffusion Models, 3D Attention, Geometric Consistency

I. Main Problem:​

Các phương pháp sinh video từ góc nhìn mới dựa trên video đơn sắc gặp khó khăn trong việc duy trì tính nhất quán hình học và chuyển động khi không có biểu diễn 3D tường minh. Những phương pháp chỉ điều kiện hóa camera thường thiếu sự ràng buộc hình học, dẫn đến vật thể động bị đặt sai vị trí hoặc chuyển động không nhất quán giữa các góc nhìn.

II. Main Idea:​

MVTrack4Gen đề xuất tận dụng các lớp chú ý 3D trong mô hình khuếch tán video làm nguồn tín hiệu giám sát hình học và chuyển động tiềm năng. Cụ thể, nhóm tác giả xây dựng một module tracking đa góc nhìn trên các đặc trưng query-key từ các lớp chú ý trung gian, và huấn luyện đồng thời mô hình khuếch tán với mục tiêu point-tracking. Họ cũng áp dụng trực tiếp một hàm mất mát tương quan đa góc nhìn lên bản đồ chú ý, buộc mỗi token trong góc nhìn mục tiêu phải chú ý đến đúng vị trí tương ứng trong khung hình tham chiếu.

III. Main Results:​

  • Trên DA VIS, MVTrack4Gen đạt điểm MEt3R thấp nhất (0.267) và MEt3Rdynamic tốt nhất (0.287), vượt qua tất cả baseline kể cả các phương pháp dùng 3D rõ ràng.
  • Cải thiện đáng kể độ chính xác camera: mTransErr giảm xuống 0.073 trên Redirector backbone.
  • Trên iPhone dataset, PSNR tăng lên 11.83 (Redirector) so với baseline, đồng thời MEt3R giảm mạnh.
  • Các baseline chỉ điều kiện hóa camera (ReCamMaster, Redirector) được cải thiện rõ rệt về độ nhất quán hình học và chất lượng thị giác khi kết hợp MVTrack4Gen.
  • Hình ảnh tái tạo point cloud từ Depth Anything 3 cho thấy các vật thể động được căn chỉnh chính xác giữa khung tham chiếu và khung mới.

IV. Conclusion & Future Works:​

MVTrack4Gen chứng minh rằng tăng cường tương quan chéo giữa các góc nhìn trong mô hình khuếch tán video có thể thu hẹp khoảng cách về độ nhất quán hình học giữa phương pháp chỉ điều kiện hóa camera và phương pháp dùng 3D rõ ràng. Hướng tương lai có thể mở rộng giám sát point tracking cho các cấu trúc mô hình khác và kiểm chứng trên các tình huống camera phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của việc chọn lớp chú ý đến hiệu quả giám sát point tracking: so sánh các lớp trung gian khác nhau trong DiT để tối ưu hóa sự cân bằng giữa chi phí tính toán và độ chính xác hình học.
  2. Mở rộng phương pháp cho bài toán sinh video nhiều góc nhìn đồng thời: kết hợp multi-view tracking với camera điều khiển độc lập để tạo ra các video đồng bộ về không-thời gian từ nhiều góc quay khác nhau.
  3. Áp dụng giám sát attention map cho các tác vụ khác như sinh ảnh từ văn bản hoặc biên tập ảnh, nơi tính nhất quán hình học giữa các vùng là yếu tố quan trọng.

2. Patent:​

  1. Hệ thống tạo video quảng cáo sản phẩm từ một video gốc duy nhất: người dùng điện thoại có thể nhập quỹ đạo camera mong muốn, hệ thống sẽ tự động sinh video từ góc nhìn mới với vật thể sản phẩm bám chính xác chuyển động gốc.
  2. Ứng dụng trong thực tế ảo tăng cường (AR) trên điện thoại: khi người dùng di chuyển camera, mô hình MVTrack4Gen giúp giữ các đối tượng ảo gắn chặt với vị trí thực trong video, tránh hiện tượng trôi hoặc méo hình.
  3. Module chỉnh sửa video chuyên nghiệp trên thiết bị di động: cho phép người dùng chọn camera ảo bất kỳ và tự động sinh lại cảnh quay từ góc nhìn đó, đảm bảo chuyển động mượt và nhất quán về hình học.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.26087
ArXiv Abstracthttps://arxiv.org/abs/2606.26087
PDF Downloadhttps://arxiv.org/pdf/2606.26087.pdf
Github Repositoryhttps://github.com/cvlab-kaist/MVTrack4Gen

8. V-Zero: Answer-Label-Free On-Policy Distillation with Contrastive Evidence Gating for Fine-Grained Visual Reasoning (27 votes)​

Tác giả: Haoxiang Sun, Zhihang Yi, Langxuan Deng, Yuhao Zhou, Peiqi Jia, et al.

Xuất bản lúc: 2026-06-24

Tag: Fine-Grained Visual Reasoning, On-Policy Distillation, Contrastive Learning, Multimodal LLMs, Visual Grounding

I. Main Problem:​

Fine-grained visual reasoning yêu cầu MLLMs phải xác định bằng chứng trực quan ở vùng ảnh cục bộ. Các phương pháp agentic hiện tại phụ thuộc vào RL với phần thưởng xác minh (tốn kém) hoặc SFT với dữ liệu chú thích quy mô lớn (nguy cơ catastrophic forgetting). Câu hỏi đặt ra là liệu có thể cải thiện visual reasoning mà không cần RL tốn kém, nhãn văn bản quy mô lớn, hay làm gián đoạn năng lực vốn có của MLLMs hay không.

II. Main Idea:​

V-Zero khung không cần nhãn câu trả lời, bắt đầu từ góc nhìn On-Policy Distillation (OPD) như là negative-free stop-gradient alignment, và chỉ ra rằng OPD thiếu khả năng phân biệt cấp độ quỹ đạo. V-Zero giải quyết bằng cơ chế contrastive evidence gating: sinh các rollout sibling từ ảnh gốc, teacher phát lại với hai view trực quan—positive crop (vùng liên quan) và negative crop (vùng ngẫu nhiên không liên quan). Độ chênh log-probability giữa hai view được tổng hợp thành điểm tin cậy cấp quỹ đạo, dùng làm gate để điều chỉnh mức độ đóng góp của mỗi rollout vào mục tiêu OPD.

III. Main Results:​

  • V-Zero cải thiện mô hình nền Qwen3.5-4B trung bình 3.1 điểm trên bốn benchmark fine-grained visual reasoning (VStar, HR-4K, HR-8K, ZoomBench).
  • So với SFT, V-Zero nhanh hơn hơn 5 lần; so với RL, nhanh hơn hơn 10 lần về thời gian huấn luyện.
  • Đạt điểm tốt nhất trong số các hệ thống visually grounded reasoning trên HR-4K, HR-8K, ZoomBench và MMStar.
  • Ablation cho thấy bỏ contrastive gating làm giảm perception average từ 79.2 xuống 78.0; tăng rollout group size từ G=4 lên G=8 cải thiện ZoomBench 3.6 điểm.
  • Không cần nhãn câu trả lời văn bản, chỉ dùng paired visual evidence views trong huấn luyện.

IV. Conclusion & Future Works:​

V-Zero chứng minh rằng so sánh visual evidence ở phía teacher có thể tạo tín hiệu huấn luyện thực tế cho visual reasoning mà không cần nhãn câu trả lời, phần thưởng bên ngoài hay công cụ trực quan tại inference. Công việc tương lai có thể mở rộng cơ chế gating cho các loại đặc trưng khác (âm thanh, video) và tối ưu hóa chiến lược lấy negative crop.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khám phá việc thay thế negative crop cố định bằng negative crop động được sinh từ mô hình segment để cải thiện tính đa dạng và độ chính xác của contrastive signal.
  2. Áp dụng V-Zero cho video reasoning: teacher replay trên các keyframe được crop positive/negative, mở rộng contrastive gating cho chuỗi thời gian.
  3. Nghiên cứu kết hợp OPD với kỹ thuật continual learning để tránh catastrophic forgetting khi huấn luyện nhiều tác vụ visual reasoning khác nhau.

2. Patent:​

  1. Hệ thống hỗ trợ đọc biển báo giao thông trên điện thoại: camera chụp ảnh tổng thể, crop vùng biển báo làm positive view, crop vùng ngẫu nhiên làm negative view, mô hình tự động ưu tiên suy luận dựa trên vùng chứa biển báo mà không cần nhãn văn bản đào tạo trước.
  2. Ứng dụng thực tế tăng cường (AR) trên điện thoại: khi người dùng chỉ vào vật thể, hệ thống tự động crop vùng đó làm positive view, so sánh với các vùng ngẫu nhiên để quyết định mức độ chú ý, cải thiện độ chính xác nhận dạng mà không cần fine-tuning theo ngữ cảnh.
  3. Công cụ kiểm tra chất lượng sản phẩm trên dây chuyền: camera chụp ảnh sản phẩm, crop vùng khuyết tật tiềm năng làm positive view, crop vùng bình thường làm negative view; mô hình tự động gán trọng số cho các quỹ đạo suy luận dựa trên độ chênh, tăng độ tin cậy phát hiện lỗi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.25319
ArXiv Abstracthttps://arxiv.org/abs/2606.25319
PDF Downloadhttps://arxiv.org/pdf/2606.25319.pdf
Github Repositoryhttps://github.com/eVI-group-SCU/V-Zero

9. UnityShots: Memory-Driven Multi-Shot Audio-Video Generation with Boundary-Aware Gating (25 votes)​

Tác giả: Jiehui Huang, Yuechen Zhang, Bin Xia, Jiahao Wang, Xu He, et al.

Xuất bản lúc: 2026-06-19

Tag: Multi-shot video generation, Audio-video generation, Diffusion Transformer, Memory-driven generation, Boundary-aware gating, Strata-RoPE, Multi-cultural benchmark

I. Main Problem:​

Các phương pháp sinh video nhiều-shot hiện tại không duy trì được tính nhất quán xuyên suốt các cut vì thiếu cơ chế bộ nhớ phân biệt xa-gần. Hệ thống end-to-end bị giới hạn độ dài, shot-by-shot gây drift hoặc bộ nhớ tăng tuyến tính, còn agent-orchestrated không có backbone được huấn luyện cho xuyên-shot. Chưa có mô hình nào kết hợp tín hiệu biên từ cả thị giác lẫn âm thanh để điều khiển bộ nhớ.

II. Main Idea:​

UnityShots là hệ thống sinh audio-video nhiều-shot dựa trên ViT khuyếch tán kép 22B. Video có hai vị trí bộ nhớ cố định: bộ nhớ dài hạn (LTM) neo vào shot mở đầu và bộ nhớ ngắn hạn (STM) giữ tail ngay trước, cả hai được cập nhật bởi cổng điều kiện biên kết hợp xác suất cut thị giác và tín hiệu beat. Âm thanh dùng một token diễn giả tham chiếu cố định cho mọi shot. Strata-RoPE phân chia ba tầng vị trí riêng biệt để backbone tự động phân biệt chúng. Hệ thống được huấn luyện trên 146k clip điện ảnh và nhạc kịch, hỗ trợ chế độ I2V/T2V/R2V.

III. Main Results:​

  • Dẫn đầu mọi chỉ số video, âm thanh và xuyên-shot so với open-source baseline (NC +0.40, Story +0.69).
  • Vượt Kling về NC (+0.13), Story (+0.10) và mọi chỉ số âm thanh (AES-A +0.47).
  • Trên benchmark đa văn hóa 200 chuỗi, UnityShots giữ NC/Story/Char gần tối đa ở 6+ shot.
  • Ablation: cả hai vị trí bộ nhớ đều cần thiết; thiếu LTM hoặc STM làm giảm mọi chỉ số.
  • Cổng gating bất biến với độ dài chuỗi, không bị suy giảm gradient ở shot xa.

IV. Conclusion & Future Works:​

UnityShots khắc phục drift xuyên-shot bằng bộ nhớ kép cập nhật qua cổng biên kết hợp tín hiệu thị giác và âm thanh, cho phép kiểm soát độ mạnh chuyển tiếp tại suy luận. Hướng tương lai gồm cải thiện chất lượng phụ đề và scene đông người, và tận dụng agent hệ thống để tinh chỉnh frame từng shot tự động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng bộ nhớ sang sinh video dài vô hạn bằng cổng biên học được từ chính nội dung shot, thay vì rule-based, để thích ứng linh hoạt hơn với nhiều thể loại.
  2. Kết hợp Strata-RoPE với cơ chế cross-attention có điều kiện theo ngữ cảnh, cho phép mô hình học cách cân bằng giữa bộ nhớ dài và ngắn hạn tự động theo từng shot.
  3. Xây dựng bộ dữ liệu đa văn hóa lớn hơn với nhãn chuyển tiếp chi tiết, huấn luyện mô hình có khả năng hiểu ngữ nghĩa văn hóa nhưng vẫn giữ nhân dạng xuyên shot.

2. Patent:​

  1. Phần mềm chỉnh sửa video điện thoại tự động đồng bộ chuyển cảnh với beat nhạc: khi người dùng cắt cảnh, hệ thống tự động điều chỉnh thời điểm cut sao cho khớp nhịp và giữ khuôn mặt diễn viên nhất quán.
  2. Ứng dụng kể chuyện tương tác trên điện thoại: người dùng chọn nhân vật và lời thoại, hệ thống tự sinh nhiều cảnh liên tục, giữ nguyên diện mạo nhân vật và giọng nói xuyên suốt câu chuyện.
  3. Công cụ tạo video quảng cáo tự động từ ảnh sản phẩm và lời giới thiệu: hệ thống sinh nhiều góc máy khác nhau của sản phẩm, đảm bảo nhận diện thương hiệu và giọng đọc nhất quán giữa các cảnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.21661
ArXiv Abstracthttps://arxiv.org/abs/2606.21661
PDF Downloadhttps://arxiv.org/pdf/2606.21661.pdf
Github Repositoryhttps://github.com/JIA-Lab-research/UnityShots

10. Causal-rCM: A Unified Teacher-Forcing and Self-Forcing Open Recipe for Autoregressive Diffusion Distillation in Streaming Video Generation and Interactive World Models (23 votes)​

Tác giả: Kaiwen Zheng, Guande He, Min Zhao, Jintao Zhang, Huayu Chen, et al.

Xuất bản lúc: 2026-06-24

Tag: Video Generation, Diffusion Models, Consistency Models, Distribution Matching Distillation, Autoregressive Models, World Models, Knowledge Distillation

I. Main Problem:​

Các mô hình video diffusion autoregressive hiện tại gặp vấn đề exposure bias và suy giảm chất lượng khi tạo chuỗi dài. Kỹ thuật self-forcing giải quyết gap giữa huấn luyện và suy luận nhưng nhạy với khởi tạo, dễ bị mode collapse khi dùng DMD hoặc GAN. Mối liên hệ giữa các chiến lược khởi tạo, chế độ huấn luyện nhân quả và hàm mất mát chưa được nghiên cứu đầy đủ.

II. Main Idea:​

Causal-rCM mở rộng khuôn khổ rCM sang video diffusion autoregressive, kết hợp teacher-forcing Consistency Model (CM) ở giai đoạn offline với self-forcing Distribution Matching Distillation (DMD) ở giai đoạn on-policy. Teacher-forcing CM đóng vai trò forward-divergence, ổn định và bao phủ mode; self-forcing DMD là reverse-divergence, tối ưu phân phối sinh trực tiếp trên rollout của student. Phương pháp này triển khai continuous-time CM (sCM/MeanFlow) trên nền causal attention bằng kernel FlashAttention-2 JVP tùy chỉnh, hội tụ nhanh gấp 10 lần so với discrete-time CM.

III. Main Results:​

  • Mô hình Causal-rCM 2-step trên Wan2.1-1.3B đạt VBench-T2V 84.63, vượt baseline Causal Forcing (4-step) và Self Forcing (4-step).
  • Trên chế độ frame-wise và chunk-wise, Causal-rCM 1-step cũng đạt 84.63 – ngang bằng 2-step.
  • TF-sCM hội tụ nhanh gấp 10 lần so với TF-dCM nhờ JVP kernel tùy chỉnh.
  • Có thể áp dụng noisy context và custom step schedule: chunk đầu dùng nhiều step hơn (vd [4,2,2,...]) mà không làm giảm chất lượng.
  • Phương pháp này hoạt động trên cả hai mô hình Wan2.1 và Cosmos 3, bao gồm thế giới tương tác có điều kiện hành động.

IV. Conclusion & Future Works:​

Causal-rCM cung cấp công thức mở, thống nhất cho distillation diffusion autoregressive, đạt hiệu quả cao với 1-2 bước suy luận. Hướng phát triển tương lai: mở rộng noisy context sang giai đoạn TF, áp dụng custom step schedule phức tạp hơn, và nghiên cứu bổ sung kỹ thuật mới cho training SF-DMD.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích lý thuyết sự bổ trợ giữa forward-divergence và reverse-divergence trong các bài toán autoregressive khác, ví dụ như sinh văn bản hay âm thanh, để kiểm chứng tính tổng quát.
  2. Kết hợp Causal-rCM với kỹ thuật tăng cường độ phân giải thời gian (temporal upsampling) để tạo video độ phân giải cao, mượt mà hơn với chi phí thấp.
  3. Mở rộng Causal-rCM cho mô hình thế giới tương tác đa tác vụ, cho phép robot điều khiển đa phương thức (ảnh, lệnh, hành động) chỉ với 1-2 bước suy luận mà không giảm chất lượng mô phỏng.
  4. patent_ideas

2. Patent:​

  1. Hệ thống điện thoại tạo video trực tiếp với chất lượng cao chỉ sau 1-2 bước suy luận: người dùng nhập prompt, mô hình Causal-rCM sinh video dài liên tục theo từng khung hình mà không bị giật, thích hợp cho livestream.
  2. Trợ lý ảo tương tác thời gian thực trên điện thoại: ứng dụng làm mô hình thế giới, phản hồi hành động của người dùng bằng cách dự đoán khung hình tiếp theo với độ trễ tối thiểu, phục vụ chơi game hoặc mô phỏng thực tế ảo.
  3. Tính năng chỉnh sửa video thông minh trên điện thoại: người dùng chọn một đoạn video, hệ thống tự động sinh tiếp các khung hình mới dựa trên ngữ cảnh có sẵn, giúp kéo dài hoặc lấp đầy khoảng trống video mà vẫn giữ được phong cách và chuyển động mượt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.25473
ArXiv Abstracthttps://arxiv.org/abs/2606.25473
PDF Downloadhttps://arxiv.org/pdf/2606.25473.pdf
Github RepositoryN/A

11. Autodata: An agentic data scientist to create high quality synthetic data (18 votes)​

Tác giả: Ilia Kulikov, Chenxi Whitehouse, Tianhao Wu, Yixin Nie, Swarnadeep Saha, et al.

Xuất bản lúc: 2026-06-24

Tag: Synthetic Data, Agentic AI, Self-Instruct, LLMs, Reinforcement Learning, Data Augmentation, Autonomous Agents

I. Main Problem:​

Phương pháp tạo dữ liệu tổng hợp hiện tại như Self-Instruct không kiểm soát trực tiếp chất lượng và độ khó của dữ liệu. Dữ liệu tạo ra thường quá dễ hoặc quá khó so với năng lực của mô hình, dẫn đến tín hiệu học tập yếu khi dùng để huấn luyện tăng cường (RL).

II. Main Idea:​

Autodata định nghĩa một khung agentic, trong đó một agent đóng vai nhà khoa học dữ liệu: tạo dữ liệu, phân tích chất lượng (đo điểm yếu-mạnh), đúc kết bài học và lặp lại để cải thiện công thức tạo dữ liệu. Cài đặt cụ thể, Agentic Self-Instruct, dùng bốn subagent (Challenger, Weak Solver, Strong Solver, Judge) để tạo ra các mẫu huấn luyện vừa tầm—thách thức đủ cho weak model nhưng vẫn giải được bởi strong model—mang lại tín hiệu học tập tối ưu cho RL.

III. Main Results:​

  • Trên tác vụ CS Research: RL với dữ liệu Agentic Self-Instruct đạt 0.632 vs 0.500 (CoT Self-Instruct) trên test khó.
  • Trên Legal Reasoning: mô hình 4B huấn luyện với Agentic đạt 0.441, vượt cả mô hình 397B chưa RL (0.404).
  • Trên Scientific Reasoning: Agentic Self-Instruct đạt cải thiện avg@8 tốt nhất (+3.20%), vượt CoT (+2.42%) và Combined 2× dữ liệu (+2.70%).
  • Agentic loop tăng điểm weak solver từ 0.159 lên 0.283 (Legal) và giảm từ 0.677 xuống 0.458 (CS) để tạo độ khó vừa phải.
  • Meta-optimization (outer loop) mang lại cải thiện hiệu suất lớn hơn nữa.

IV. Conclusion & Future Works:​

Autodata biến chi phí inference compute gia tăng thành dữ liệu huấn luyện chất lượng cao hơn, giúp mô hình nhỏ vượt cả baseline lớn. Tương lai có thể mở rộng sang các lĩnh vực khác và tối ưu outer loop một cách tự động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu hiệu quả của Agentic Self-Instruct trên dữ liệu đa phương thức (hình ảnh, video) để tạo benchmark thách thức cho vision-language models.
  2. Phát triển phương pháp tự động chọn weak/strong solver tối ưu dựa trên năng lực hiện tại của mô hình, thay vì cố định.
  3. Áp dụng Autodata vào tác vụ code generation: tạo bài tập lập trình có độ khó vừa phải để huấn luyện mô hình nhỏ với RL.

2. Patent:​

  1. Hệ thống tạo câu hỏi kiểm tra năng lực cho chatbot hỗ trợ học tập: tự động điều chỉnh độ khó dựa trên lịch sử trả lời của người dùng để tạo bài tập cá nhân hóa.
  2. Ứng dụng tạo dữ liệu huấn luyện cho trợ lý ảo trên điện thoại: agent sinh ra các đoạn hội thoại khó nhằm cải thiện khả năng xử lý tình huống hiếm gặp của trợ lý.
  3. Phương pháp tạo bộ dữ liệu đánh giá cho hệ thống chấm điểm tự động (như bài luận): sử dụng agentic loop để đảm bảo mỗi đề bài có thang điểm rõ ràng và phân biệt được năng lực yếu-mạnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.25996
ArXiv Abstracthttps://arxiv.org/abs/2606.25996
PDF Downloadhttps://arxiv.org/pdf/2606.25996.pdf
Github RepositoryN/A

12. IV-CoT: Implicit Visual Chain-of-Thought for Structure-Aware Text-to-Image Generation (17 votes)​

Tác giả: Zixuan Li, Haokun Lin, Yicheng Xiao, Zhiwei Li, Xinyang Song, et al.

Xuất bản lúc: 2026-06-23

Tag: Text-to-Image Generation, Multimodal Large Language Models, Chain-of-Thought, Latent Reasoning, Diffusion Transformers, Structure-Aware Generation

I. Main Problem:​

Các MLLM thống nhất tạo ảnh tốt nhưng thường thất bại với prompt yêu cầu cấu trúc phức tạp—như đếm đối tượng, quan hệ không gian, gán thuộc tính. Nguyên nhân là do kế hoạch cấu trúc (bố cục, hình dạng) và hiển thị bề ngoài (màu sắc, họa tiết) bị trộn lẫn trong cùng một luồng điều kiện hóa, khiến mô hình khó phân biệt cái gì quyết định cấu trúc và cái gì kiểm soát diện mạo.

II. Main Idea:​

IV-CoT đề xuất một khung suy luận ẩn (latent reasoning) có cấu trúc: phân tách các truy vấn điều kiện hóa thành hai nhóm—truy vấn cấu trúc và truy vấn ngữ nghĩa—được sắp xếp theo thứ tự nhân quả (cascade). Truy vấn cấu trúc được huấn luyện với giám sát phác thảo (sketch supervision) chỉ trong quá trình training để học mã hóa bố cục, hình dạng, không gian; truy vấn ngữ nghĩa sau đó hiển thị chi tiết dựa trên kế hoạch cấu trúc đó. Kết quả là quá trình suy luận diễn ra trong một lượt forward duy nhất mà không cần giải mã ảnh trung gian hay tạo rationale văn bản.

III. Main Results:​

  • IV-CoT cải thiện OpenUni-L-1024 từ 0.86 lên 0.88 trên GenEval và từ 0.5448 lên 0.5743 trên T2I-CompBench.
  • Độ trễ suy luận chỉ 1.693 giây/mẫu, thấp hơn 9–15 lần so với các phương pháp CoT tường minh (T2I-R1, GoT-R1, TWIG-RL) mà vẫn đạt điểm cao nhất.
  • Các phép phân rã (ablation) cho thấy cả cascade cấu trúc–ngữ nghĩa và giám sát phác thảo đều cần thiết để đạt hiệu quả tối đa.
  • Phân tích cross-attention cho thấy truy vấn cấu trúc được ưu tiên tại đường biên và bố cục, truy vấn ngữ nghĩa tập trung vào vùng bề mặt.
  • IV-CoT cho phép kết hợp chéo cấu trúc–diện mạo giữa các prompt mà không cần huấn luyện thêm.

IV. Conclusion & Future Works:​

IV-CoT là một khung latent reasoning có cấu trúc, giúp tách bạch kế hoạch không gian và hiển thị bề ngoài, cải thiện độ chính xác về cấu trúc mà không ảnh hưởng hiệu năng suy luận. Hạn chế hiện tại là chưa tối ưu cho việc hiển thị chữ trong ảnh và chưa thử nghiệm với các tác vụ chỉnh sửa ảnh. Hướng phát triển tương lai bao gồm mở rộng suy luận cấu trúc–ngữ nghĩa ẩn cho các tác vụ này.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng IV-CoT cho video generation: sắp xếp truy vấn cấu trúc–ngữ nghĩa theo thời gian để đảm bảo tính nhất quán về bố cục và chuyển động giữa các khung hình.
  2. Kết hợp IV-CoT với reinforcement learning để truy vấn cấu trúc tự động tối ưu hóa bố cục sinh ra dựa trên phản hồi từ discriminator không gian.
  3. Nghiên cứu sử dụng IV-CoT trong kiến trúc autoregressive generation: phân tách latent plan và appearance tokens giúp giảm lỗi accumulation khi sinh từng token pixel.

2. Patent:​

  1. Ứng dụng trên điện thoại thông minh dành cho thiết kế nội thất: người dùng nhập mô tả bằng văn bản, hệ thống tự động phân tích bố cục phòng và sắp xếp đồ vật đúng vị trí mà không cần nhập layout tay.
  2. Công cụ tạo ảnh sản phẩm cho thương mại điện tử: người dùng mô tả bằng text, mô hình tự động sinh ảnh với đúng số lượng, màu sắc và vị trí sản phẩm, giảm thời gian dàn dựng thủ công.
  3. Tính năng tạo sticker cá nhân hóa trên ứng dụng nhắn tin: IV-CoT đọc mô tả nhân vật (vd 'mèo đội mũ đỏ bên trái, chó đội mũ xanh bên phải') và sinh sticker chính xác về bố cục, giúp người dùng tạo biểu cảm độc đáo ngay trên điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.24849
ArXiv Abstracthttps://arxiv.org/abs/2606.24849
PDF Downloadhttps://arxiv.org/pdf/2606.24849.pdf
Github RepositoryN/A

13. The Hitchhiker's Guide to Agentic AI: From Foundations to Systems (16 votes)​

Tác giả: Haggai Roitman

Xuất bản lúc: 2026-06-22

Tag: Agentic AI, LLMs, RLHF, DPO, GRPO, PPO, Reinforcement Learning, Systems

I. Main Problem:​

Tài liệu hướng dẫn toàn diện về trí tuệ nhân tạo tác nhân còn thiếu: các ấn phẩm hiện tại chỉ tập trung vào một khía cạnh (ví dụ: kiến trúc LLM, học tăng cường, hoặc hạ tầng) mà không có một nguồn thống nhất bao quát toàn bộ quy trình từ nền tảng đến triển khai hệ thống cho các tác nhân AI tự chủ.

II. Main Idea:​

Cuốn sách này cung cấp một hướng dẫn có cấu trúc, bao gồm ba phần: (I) nền tảng về kiến trúc LLM, tối ưu hóa, và hệ thống GPU; (II) các phương pháp RL cho LLM như PPO, DPO, GRPO và các biến thể; (III) huấn luyện tác nhân – định nghĩa quỹ đạo, kỹ thuật như Reflexion và ReAct, cùng hai case study chi tiết (productivity co-pilot và research agent). Nó kết hợp lý thuyết với mã nguồn thực tế (TRL) và các khuyến nghị về hạ tầng.

III. Main Results:​

  • Giới thiệu đầy đủ về PPO, DPO, GRPO và nhiều biến thể (Online DPO, KTO, ORPO) với phân tích toán học và triển khai.
  • Trình bày chi tiết kiến trúc hệ thống ở quy mô lớn (4-model memory, parallelism, vLLM) và tối ưu hóa chi phí đám mây.
  • Cung cấp hai use case thực tế: productivity co-pilot và research agent, với MDP, action space, reward design và evaluation framework.
  • Tổng hợp các kỹ thuật agentic RL như STaR, Reflexion, ReAct, LATS, AgentQ, Voyager, RLEF.
  • Phân tích sâu về huấn luyện RLVR (rule-based rewards), reward shaping và credit assignment.

IV. Conclusion & Future Works:​

Tác phẩm thiết lập một khuôn khổ thống nhất cho agentic AI, từ LLM đến RL và hạ tầng. Hướng phát triển: hoàn thiện kỹ thuật credit assignment dạng turn-level, mở rộng môi trường mô phỏng đa tác vụ, và cải tiến phương pháp đảm bảo an toàn cho tác nhân tự chủ trong sản xuất.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Giải quyết credit assignment cho workflows đa ứng dụng bằng cách tích hợp mô hình phần thưởng quá trình (process reward model) vào GRPO, giúp tác nhân hiểu hành động nào đóng góp vào kết quả cuối.
  2. Mở rộng kỹ thuật Reflexion bằng cách thêm cơ chế học từ thất bại qua replay buffer dạng quỹ đạo, cho phép tác nhân tự cải thiện chiến lược một cách có cấu trúc qua nhiều lần chạy.
  3. Kết hợp best-of-N sampling với DPO trực tuyến để tạo ra các cặp ưu tiên chất lượng cao hơn, giảm thiểu nhiễu từ dữ liệu không hoàn hảo và tăng hiệu suất alignment.

2. Patent:​

  1. Phương pháp tự động điều chỉnh phản hồi của trợ lý ảo trên điện thoại dựa trên phản ứng của người dùng: thu thập cử chỉ (swipe, tap) làm tín hiệu phần thưởng, cập nhật chính sách bằng DPO để tối ưu hóa trải nghiệm cá nhân.
  2. Kiến trúc mô phỏng tác vụ đa ứng dụng cho copilot di động: tạo môi trường ảo trên điện thoại mô phỏng các thao tác như gửi email, đặt lịch, nhắn tin; dùng GRPO để huấn luyện tác nhân thực hiện chuỗi hành động phức tạp.
  3. Module phát hiện và sửa lỗi thời gian thực cho tác nhân email thông minh: khi tác nhân gửi nhầm tập tin đính kèm, hệ thống tự động ghi lại quỹ đạo lỗi vào buffer và áp dụng kỹ thuật RLEF (RL from Execution Feedback) để cập nhật chính sách, tránh lặp lỗi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.24937
ArXiv Abstracthttps://arxiv.org/abs/2606.24937
PDF Downloadhttps://arxiv.org/pdf/2606.24937.pdf
Github RepositoryN/A

14. EBench: Elemental Diagnosis of Generalist Mobile Manipulation Policies (15 votes)​

Tác giả: Ning Gao, Jinliang Zheng, Xing Gao, Haoxiang Ma, Hanqing Wang, et al.

Xuất bản lúc: 2026-06-20

Tag: Mobile Manipulation, Vision-Language-Action, Benchmark, Generalization, Dexterous Manipulation, Sim-to-Real, Robotics

I. Main Problem:​

Các benchmark thao tác robot hiện tại chỉ báo cáo success rate tổng quát, không thể trả lời mô hình mạnh ở đâu, yếu chỗ nào và khả năng khái quát hóa thay đổi thế nào khi phân phối đầu vào lệch khỏi tập huấn luyện. Thiếu một benchmark duy nhất bao phủ đồng thời thao tác di động, tầm xa và khéo léo chính xác cao.

II. Main Idea:​

EBench là benchmark mô phỏng gồm 26 tác vụ (10 pick-and-place di động, 9 long-horizon đa giai đoạn, 7 dexterous sub-centimetre), mỗi tác vụ được gắn nhãn theo 5 trục năng lực (kịch bản, kỹ năng nguyên tử, tầm, độ chính xác, chế độ vận hành) và 4 chiều khái quát hóa (background, vật thể, chỉ dẫn, hỗn hợp). Dữ liệu huấn luyện 91.4 giờ được tổng hợp qua hai pipeline: teleoperation cho tác vụ khéo léo và key-frame pose + cuRobo cho tác vụ di động/tầm xa.

III. Main Results:​

  • 4 VLA (π0, π0.5, XVLA, InternVLA-A1) có test SR trong dải hẹp 24.4–29.5% nhưng hồ sơ năng lực chênh lệch hàng chục điểm.
  • π0.5 đạt test SR cao nhất (29.5%) và retention tốt nhất (0.92); InternVLA-A1 chiếm ưu thế ở tác vụ di động nhưng sụp đổ ở tác vụ dexterous (gap 29 điểm).
  • Không mô hình nào thống trị cả 11 kỹ năng nguyên tử; π0.5 là duy nhất không có hạng mục catastrophic-zero.
  • Thay đổi vật thể (Object swap) là thách thức khái quát lớn nhất, SR giảm xuống 21–29%.
  • EBench phát hiện chênh lệch 9–21 điểm SR giữa có và không pretraining, trong khi LIBERO/RoboTwin 2.0 bão hòa.

IV. Conclusion & Future Works:​

EBench cho thấy các VLA có SR tổng tương tự nhưng khác biệt rõ rệt theo các trục phân tích, cho phép chẩn đoán điểm yếu cụ thể. Hướng tới: mở rộng lên ≥50 tác vụ, nghiên cứu tương quan sim-to-real dựa trên cùng bộ tác vụ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển pipeline tự động sinh dữ liệu huấn luyện cho tác vụ dexterous kết hợp motion planning và teleoperation nhằm giảm chi phí và tăng độ phủ.
  2. Thiết kế mô hình VLA chuyên biệt hóa theo trục năng lực (ví dụ module riêng cho mobile và dexterous) thay vì dùng một checkpoint duy nhất.
  3. Xây dựng phương pháp đo lường correlation sim-to-real dựa trên cùng bộ tác vụ phân tầng như EBench để dự đoán hiệu suất thực tế.

2. Patent:​

  1. Hệ thống chẩn đoán robot dịch vụ gia đình: tự động thực hiện bộ test EBench trên mô phỏng để phát hiện điểm yếu (ví dụ khả năng cầm vật nhỏ) trước khi triển khai thực tế, gửi báo cáo lên đám mây.
  2. Phương pháp khái quát hóa robot bằng cách thay đổi vật thể ngẫu nhiên trong mô phỏng: robot tự động sinh scenario với vật thể mới (hình dạng/trọng lượng khác) và đánh giá khả năng thích ứng, cập nhật tham số qua fine-tuning.
  3. Ứng dụng phân tích phổ năng lực trên điện thoại: app cho người dùng chụp ảnh môi trường và vật thể, gửi lên server chạy mô phỏng nhanh để dự đoán độ khó của tác vụ và gợi ý điều chỉnh cách cầm nắm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18239
ArXiv Abstracthttps://arxiv.org/abs/2606.18239
PDF Downloadhttps://arxiv.org/pdf/2606.18239.pdf
Github Repositoryhttps://github.com/InternRobotics/EBench