Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-06-19

Báo cáo được tạo tự động vào lúc 2026-06-30 18:39:56 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. Moebius: 0.2B Lightweight Image Inpainting Framework with 10B-Level Performance (139 votes)​

Tác giả: Kangsheng Duan, Ziyang Xu, Wenyu Liu, Xiaohu Ruan, Xiaoxin Chen, et al.

Xuất bản lúc: 2026-06-17

Tag: Image Inpainting, Lightweight Architecture, Knowledge Distillation, Latent Diffusion, Efficient Attention

I. Main Problem:​

Các mô hình nền tảng 10 tỷ tham số đạt chất lượng sinh ảnh cao nhưng chi phí tính toán quá lớn, không thể triển khai trên thiết bị hạn chế tài nguyên. Việc nén trực tiếp các mô hình nhẹ gây ra nút thắt biểu diễn, làm chất lượng suy giảm thảm hại do các toán tử nhẹ thiếu khả năng suy luận ngữ nghĩa chính xác cho inpainting.

II. Main Idea:​

Moebius đề xuất khung inpainting cực nhẹ (0.22B tham số) kết hợp khối Local-λ Mix Interaction (LλMI) và chiến lược chưng cất đa phân giải thích ứng. LλMI dùng hai module Local-λ và Interactive-λ để tóm tắt ngữ cảnh không gian và ưu tiên ngữ nghĩa toàn cục thành ma trận tuyến tính kích thước cố định, thay thế attention đắt đỏ. Chưng cất đa phân giải với trọng số gradient động giúp khôi phục năng lực biểu diễn của mạng nén mà không tăng chi phí kiến trúc.

III. Main Results:​

  • Đạt FID 0.92 và LPIPS 0.091 trên Places2, ngang bằng hoặc vượt FLUX.1-Fill-Dev (0.94/0.099) dùng ít hơn 2% tham số (0.22B vs 11.9B).
  • Tốc độ suy luận tổng thể nhanh hơn 15 lần so với FLUX.1-Fill-Dev (0.52 giây vs 8.05 giây).
  • Trọng số hóa gradient động giúp hội tụ ổn định, loại bỏ nhu cầu tinh chỉnh tham số thủ công.

IV. Conclusion & Future Works:​

Moebius chứng minh rằng một chuyên gia nhẹ được tối ưu hoàn toàn có thể vượt qua khoảng cách tham số khổng lồ và đạt chất lượng ngang mô hình 10B. Hướng tương lai gồm mở rộng sang tác vụ hình ảnh khác như super-resolution và video inpainting.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng LλMI block cho mô hình sinh video nhẹ, nơi attention theo thời gian vốn rất đắt, giảm tham số và tăng tốc suy luận đáng kể.
  2. Kết hợp chưng cất đa phân giải với kiến trúc Mamba hoặc SSM thay vì Transformer U-Net để đạt siêu nhẹ hơn nữa.
  3. Xây dựng framework chưng cất đa tác vụ: một giáo viên 10B dạy nhiều học trò nhỏ chuyên biệt (inpainting, denoising, face restoration) cùng lúc, chia sẻ backbone.

2. Patent:​

  1. Ứng dụng trên điện thoại: khôi phục ảnh chụp bị che khuất (xóa người lạ, vật thể) trong thời gian thực dưới 1 giây, nhờ mô hình cực nhẹ chạy hoàn toàn trên thiết bị.
  2. Tính năng chỉnh sửa ảnh thông minh trong ứng dụng camera: người dùng chọn vùng muốn xóa, mô hình tự động sinh nội dung phù hợp với ngữ cảnh xung quanh, yêu cầu bộ nhớ thấp và không cần kết nối mạng.
  3. Hệ thống làm mờ khuôn mặt hoặc biển số xe trong video livestream: mô hình chạy trực tiếp trên thiết bị đầu cuối, đảm bảo hàng loạt khung hình được xử lý với độ trễ tối thiểu và bảo mật dữ liệu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.19195
ArXiv Abstracthttps://arxiv.org/abs/2606.19195
PDF Downloadhttps://arxiv.org/pdf/2606.19195.pdf
Github Repositoryhttps://github.com/hustvl/Moebius

2. DragMesh-2: Physically Plausible Dexterous Hand-Object Interaction with Articulated Objects (74 votes)​

Tác giả: Tianshan Zhang, Yijia Duan, Yanjun Li, Zeyu Zhang, Hao Tang

Xuất bản lúc: 2026-06-13

Tag: Dexterous Manipulation, Articulated Objects, Reinforcement Learning, Contact Dynamics, Hand-Object Interaction, PPO

I. Main Problem:​

Thao tác với vật thể có khớp động (cửa tủ, ngăn kéo) bằng bàn tay khéo léo khác với vật tĩnh: bộ phận không thể điều khiển trực tiếp mà chỉ chuyển động nhờ tiếp xúc vật lý bền vững giữa tay và tay cầm. Các phương pháp hiện tại dùng replay quỹ đạo hình học hoặc mở vòng hở không nắm được động lực tiếp xúc, dẫn đến thất bại khi thay đổi tải trọng (ví dụ ma sát tăng). Hơn nữa, chính sách RL chỉ tối ưu theo tỉ lệ thành công có thể khớp quá mức vào động lực học danh định, thiếu tính ổn định khi điều kiện tiếp xúc thay đổi.

II. Main Idea:​

DragMesh-2 định nghĩa tác vụ kéo có điều khiển tiếp xúc: chính sách chỉ điều khiển bàn tay, không có kênh tác động cho khớp vật thể—chuyển động của phần mở chỉ đến từ tương tác tay–tay cầm. Để tăng cường tính mạnh mẽ, PICA (Physically Informed Contact-Aware) đưa vào quá trình huấn luyện các tín hiệu vật lý quan sát được như duy trì tiếp xúc, rủi ro tách rời, và phản hồi tiếp xúc tạm thời—tất cả không cần cảm biến lực hay xúc giác. PICA kết hợp PPO với bộ mã hóa tạm thời (GLA) và hàm mất mát phụ trợ để dự đoán các đại lượng tiếp xúc, hướng học tập khỏi lối tắt danh nghĩa và sang hành vi có điều kiện tiếp xúc.

III. Main Results:​

  • Trong đánh giá trên 7 vật GAPartNet qua 3 mức giảm chấn (×1, ×2, ×4), PICA đạt tỉ lệ thành công trung bình tốt nhất ở mọi chế độ và mức damping: từ 0.89 (×1) xuống 0.56 (×4) so với PPO chỉ trạng thái 0.27 và Transformer-PPO 0.09 ở mức ×4.
  • Thử nghiệm loại bỏ thành phần cho thấy tín hiệu vật lý + bộ mã hóa GLA bổ trợ cho nhau: PICA vượt mỗi thành phần riêng lẻ ≥0.13 ở mức ×4.
  • Các chỉ số chẩn đoán tiếp xúc (action saturation clip099, detachment rate) cho thấy thang đo danh nghĩa không đủ: chính sách huấn luyện dài hơn có thể tăng thành công ở ×1 nhưng sụp đổ ở ×4 (từ 0.55 xuống 0.1) khi hành động bão hòa.
  • Quỹ đạo tiếp xúc cơ bản heuristic (277 quỹ đạo trên 7 loại) đóng vai trò khởi tạo tư thế nắm, chuẩn hóa thang và làm cơ sở dõi định hướng hình học.

IV. Conclusion & Future Works:​

DragMesh-2 xác lập khung tương tác dẫn động tiếp xúc cho vật thể có khớp động, với PICA tăng cường tính mạnh mẽ mà không cần cảm biến lực. Tuy nhiên, thành công giảm từ 0.89 xuống 0.56 dưới damping mạnh và sự không đồng nhất giữa các vật cho thấy cần giao diện tiếp xúc phong phú hơn (lực cổ tay, xúc giác). Hướng phát triển: mở rộng sang điều khiển toàn thân humanoid dùng bộ dữ liệu tương tác hình học thuần túy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PICA sang điều khiển bàn tay humanoid kết hợp balance và locomotion: kết hợp tín hiệu tiếp xúc tay với trọng tâm và lực chân để mở cửa trong tư thế đứng vững, dùng bộ dữ liệu quỹ đạo hình học làm prior motion-scale.
  2. Phát triển giao diện cảm biến lực tay–cổ tay giả định cho RL: tích hợp phản hồi lực ảo vào không gian quan sát mà không cần phần cứng thật, đánh giá xem có cải thiện OOD so với chỉ dựa trên lỗi động học.
  3. Kết hợp DragMesh-2 với thị giác toàn cục (RGB-D) thay vì tư thế tay cầm lý tưởng: mô hình hóa ước lượng tư thế vật thể không hoàn hảo và đối phó với tầm nhìn bị che khuất trong quá trình kéo mở.

2. Patent:​

  1. Hệ thống robot gia đình tự động mở tủ và cửa lò: điện thoại quét mã QR trên tay cầm, robot dùng quỹ đạo hình học có sẵn để tiếp cận và kéo mở với lực vừa phải không cần cảm biến lực đắt tiền.
  2. Phương pháp huấn luyện tay robot thuần mô phỏng rồi triển khai thực tế: kết hợp đa dạng hóa damping (ma sát) và tín hiệu tiếp xúc giả lập trong mô phỏng, sau đó dùng mô hình PICA chạy trên thiết bị di động để điều khiển tay robot thật mở cửa tủ.
  3. Tính năng auto-calibration cửa cho robot lau dọn: robot nhẹ nhàng rung tay cầm vài lần, cảm biến gia tốc trên điện thoại ghi nhận phản hồi rung động để suy ra ma sát bản lề hiện tại, từ đó điều chỉnh lực kéo cho phù hợp tránh hỏng cửa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.15133
ArXiv Abstracthttps://arxiv.org/abs/2606.15133
PDF Downloadhttps://arxiv.org/pdf/2606.15133.pdf
Github Repositoryhttps://github.com/AIGeeksGroup/DragMesh-2

3. Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages (60 votes)​

Tác giả: Maria Ivanova, Pavel Zadorozhny, Rodion Levichev, Ivan Petrov, Adamenko Pavel, et al.

Xuất bản lúc: 2026-06-18

Tag: Code Generation, Large Language Models, Multilingual, Benchmark, LiveCodeBench, Python Overfitting, Contamination

I. Main Problem:​

LiveCodeBench, một benchmark phổ biến để đánh giá LLMs về sinh mã, chỉ giới hạn ở Python. Điều này bỏ qua thực tế là các lập trình viên làm việc với nhiều ngôn ngữ lập trình, và liệu LLMs có khái quát hóa kỹ năng lập trình sang các ngôn ngữ khác hay không vẫn là một câu hỏi quan trọng.

II. Main Idea:​

Multi-LCB mở rộng LiveCodeBench lên 12 ngôn ngữ lập trình bằng cách chuyển đổi các tác vụ Python sang định dạng STDIN/STDOUT chung cho tất cả ngôn ngữ. Điều này cho phép so sánh trực tiếp khả năng giải quyết cùng một vấn đề trên các ngôn ngữ khác nhau mà vẫn kế thừa cơ chế chống nhiễm và giao thức đánh giá của LCB.

III. Main Results:​

  • Các mô hình mạnh về Python không phải lúc nào cũng mạnh về các ngôn ngữ khác, cho thấy 'Python overfitting' rõ rệt.
  • Phát hiện bằng chứng về nhiễm dữ liệu riêng biệt cho từng ngôn ngữ lập trình.
  • Hiệu suất trung bình trên Python cao nhất (48.2%), trong khi Scala thấp hơn hẳn (dưới 29%).
  • Các mô hình suy luận mạnh nhất (ví dụ GPT-OSS-120B, Qwen3-235B-Thinking) chỉ đạt dưới 70% Pass@1, chứng tỏ benchmark còn nhiều thách thức.

IV. Conclusion & Future Works:​

Multi-LCB cung cấp một benchmark mạnh mẽ để đánh giá khả năng sinh mã đa ngôn ngữ của LLM, vạch trần điểm yếu trong việc khái quát hóa. Hướng tương lai là mở rộng thêm ngôn ngữ mới và đánh giá các mô hình thương mại để thiết lập bảng xếp hạng toàn diện hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu kỹ thuật 'fine-tuning đa ngôn ngữ' để giảm thiểu tình trạng Python overfitting, ví dụ huấn luyện trên bộ dữ liệu bài toán giống nhau nhưng yêu cầu sinh mã bằng nhiều ngôn ngữ khác nhau.
  2. Phân tích sâu hơn về các yếu tố ngôn ngữ (ví dụ: hệ thống kiểu tĩnh/động, quản lý bộ nhớ) ảnh hưởng đến hiệu suất của LLM, nhằm thiết kế các giải pháp cải thiện khả năng dịch chuyển tri thức giữa các ngôn ngữ.
  3. Phát triển phương pháp 'học tăng cường với phần thưởng đa ngôn ngữ' để khuyến khích mô hình sinh mã chính xác trên nhiều ngôn ngữ, không chỉ tập trung vào Python.

2. Patent:​

  1. Hệ thống 'chuyển mã tự động đa ngôn ngữ trên điện thoại': người dùng nhập code Python, hệ thống sử dụng LLM được huấn luyện đặc biệt để tự động chuyển đổi sang Java, Kotlin, Swift, và chạy thử nghiệm trên máy chủ đám mây.
  2. Plugin IDE 'cảnh báo rủi ro khi chuyển ngôn ngữ': khi lập trình viên copy code Python sang dự án C++, plugin sẽ quét và cảnh báo các đoạn code khó dịch hoặc dễ sai, dựa trên benchmark đa ngôn ngữ.
  3. Ứng dụng 'học lập trình đa ngôn ngữ' cho điện thoại: cung cấp bài toán lập trình, yêu cầu học sinh viết lời giải bằng nhiều ngôn ngữ khác nhau, và dùng LLM để chấm điểm dựa trên benchmark, giúp phát hiện lỗi logic phụ thuộc vào ngôn ngữ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20517
ArXiv Abstracthttps://arxiv.org/abs/2606.20517
PDF Downloadhttps://arxiv.org/pdf/2606.20517.pdf
Github Repositoryhttps://github.com/Multi-LCB/Multi-LCB

4. Playful Agentic Robot Learning (50 votes)​

Tác giả: Junyi Zhang, Jiaxin Ge, Hanjun Yoo, Letian Fu, Zihan Yang, et al.

Xuất bản lúc: 2026-06-17

Tag: Code-as-Policy, Robot Learning, Playful Learning, Continual Learning, Intrinsic Motivation, Skill Acquisition, LLM Agents

I. Main Problem:​

Các hệ thống robot dùng Code-as-Policy hiện tại chỉ học kỹ năng sau khi nhận chỉ thị từ bên ngoài, tức là học phản ứng thay vì chủ động. Điều này hạn chế khả năng tích lũy kỹ năng tái sử dụng trước khi có nhiệm vụ cụ thể, khác xa cách trẻ em học qua chơi để khám phá và luyện tập.

II. Main Idea:​

RATS giới thiệu khung Học Robot Tác nhân qua Chơi (Playful Agentic Robot Learning), nơi một nhóm tác nhân chủ động đề xuất, lập kế hoạch, thực thi và xác minh các nhiệm vụ tự chọn trước khi có nhiệm vụ thực tế. Nhóm này dùng nguyên tắc Goldilocks (chọn nhiệm vụ vừa đủ mới vừa đủ khó) và phản hồi dày đặc từ từng bước để chẩn đoán lỗi, thử lại và chắt lọc thành công vào thư viện kỹ năng mã. Ở thời gian kiểm tra, thư viện này được truy xuất và tái sử dụng để giải quyết nhiệm vụ mới, hoặc cắm vào các tác nhân CaP khác mà không cần tinh chỉnh.

III. Main Results:​

  • Trên LIBERO-PRO, RATS đạt 43.8% thành công, vượt CaP-Agent0 (23.2%) 20.6 điểm phần trăm, và vượt tất cả baseline VLA (cao nhất là π0.5: 12.8%).
  • Trên MolmoSpaces, RATS cải thiện thành công từ 21.0% lên 38.0% (+17.0 pp).
  • Chuyển giao môi trường (từ LIBERO-PRO sang RoboSuite): +8.9 pp, và đặc biệt tác vụ hai tay tăng 24.0 pp.
  • Trên robot thực (sim-to-real), kỹ năng chơi trong mô phỏng cải thiện thành công 8.8 pp so với CaP-Agent0.
  • Ablation: tò mò có kế hoạch (curious play) vượt trội chơi ngẫu nhiên (random play) và kết hợp cả chơi + thực thi tốt nhất.

IV. Conclusion & Future Works:​

RATS chứng minh học qua chơi chủ động là cách hiệu quả để tích lũy kỹ năng mã tái sử dụng, cải thiện hiệu suất robot mà không cần tinh chỉnh mô hình. Tuy nhiên, việc đánh giá chủ yếu trên mô phỏng và phụ thuộc nhiều vào VLM, hạn chế chuyển giao thực tế. Hướng tới cần mở rộng môi trường chơi, cơ chế truy xuất kỹ năng thông minh hơn, và giảm chi phí tính toán.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RATS cho môi trường đa robot và vật thể tương tác phức tạp, phát triển cơ chế đề xuất nhiệm vụ hợp tác nhóm để học kỹ năng phối hợp.
  2. Nghiên cứu chơi tò mò không gian liên tục 3D, nơi tác nhân tự sinh mục tiêu vị trí/thao tác tinh vi để nâng cao khả năng thao tác khéo léo.
  3. Kết hợp RATS với học tăng cường từ phản hồi con người (RLHF) để thư viện kỹ năng điều chỉnh theo sở thích người dùng khi chuyển giao thực tế.

2. Patent:​

  1. Trợ lý robot gia đình có chế độ 'tự tập chơi': trước khi nhận lệnh, robot khám phá đồ vật và ghi lại các hành động thành công (ví dụ: nhấn nút, mở ngăn kéo) vào thư viện, giúp thực hiện nhanh nhiệm vụ mới sau này.
  2. Hệ thống cập nhật kỹ năng robot từ điện thoại thông minh: người dùng chạy ứng dụng chơi thử với đồ vật trong nhà, camera ghi lại và gửi lên đám mây để robot từ xa rút ra bài học dùng được.
  3. Module tự sửa lỗi robot khi vận hành nhà máy: robot gặp thao tác khó sẽ tự sinh nhiệm vụ phụ luyện tập riêng, lưu mã vào thư viện để tái sử dụng, không cần tinh chỉnh lại mô hình chính.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.19419
ArXiv Abstracthttps://arxiv.org/abs/2606.19419
PDF Downloadhttps://arxiv.org/pdf/2606.19419.pdf
Github Repositoryhttps://github.com/Playful-RATs/rats

5. Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents (41 votes)​

Tác giả: Dhaval C. Patel, Kaoutar El Maghraoui, Shuxin Lin, Yusheng Li, Tianjun Feng, et al.

Xuất bản lúc: 2026-06-18

Tag: LLM Agents, Benchmarking, Leaderboard, Predictive Validity, Out-of-distribution, Multi-dimensional Evaluation, MCP, Industrial Agents

I. Main Problem:​

Các bảng xếp hạng (leaderboard) dựa trên điểm tổng hợp (aggregate score) hiện tại không đánh giá đúng hiệu suất của LLM agent khi triển khai thực tế, vì điểm số trên tập kiểm thử không dự đoán được thứ hạng trong các tình huống mới (out-of-distribution). Sự bất ổn định về thứ hạng này khiến các quyết định triển khai dựa trên leaderboard trở nên thiếu tin cậy.

II. Main Idea:​

Bài báo đề xuất sử dụng 'predictive validity' (giá trị dự đoán) — tương quan giữa thứ hạng trong mẫu và thứ hạng ngoài mẫu — làm tiêu chí xếp hạng thay vì điểm trung bình trong mẫu. Kèm theo đó là một bộ đo lường 12 chiều (twelve-tier measurement apparatus) bao gồm các khía cạnh triển khai thiết yếu như hạ tầng, đối thoại đa lượt, và kiểm chứng độc lập với LLM judge. Bài báo cũng đưa ra ba tiêu chí OOD (held-out, cross-subset, adversarial) để kiểm chứng giả thuyết này.

III. Main Results:​

  • Phân tích từ 14 nghiên cứu mở rộng song song trên một benchmark MCP (AssetOpsBench) cho thấy điểm tổng hợp che giấu sự khác biệt về chất giữa các cấu hình (ví dụ: reasoning-on/off có cùng điểm tổng nhưng khác 31pp ở độ rõ ràng).
  • Trong cuộc thi 149 đội (CODS-2025), tương quan Spearman giữa leaderboard công khai và đánh giá ẩn là -0.13 (execution track) và 0.69 (planning track), chứng minh sự bất ổn định thứ hạng.
  • Bộ đo 12 chiều được tổng hợp từ 7 benchmark trước và 14 nghiên cứu mở rộng; không benchmark nào hiện tại bao phủ quá 4-5 chiều.
  • Các nghiên cứu độc lập hội tụ: LLM-as-judge có độ tin cậy thấp (Krippendorff α=0.61), cần neo kiểm chứng độc lập.
  • Ví dụ: chiến lược retrieval (single-pass RAG vs. multi-hop) cho độ chính xác 50-68% vs. ~90% nhưng chênh lệch token 4.5-10 lần — điểm tổng không phản ánh trade-off này.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng leaderboard nên được xếp hạng bằng predictive validity thay vì điểm trung bình, và cần báo cáo trên bộ 12 chiều đo lường. Hướng tới: thiết lập thí nghiệm có kiểm soát để kiểm chứng các tiêu chí OOD đã đề xuất, xây dựng bộ công cụ kiểm chứng độc lập (rule pipeline, DAG oracle) và bộ dữ liệu adversarial perturbation cho cộng đồng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kiểm chứng thực nghiệm bộ 12 chiều đo lường trên nhiều lĩnh vực khác ngoài bảo trì công nghiệp (ví dụ: hỗ trợ khoa học, dịch vụ khách hàng) để khẳng định tính khái quát của khung đánh giá.
  2. Phát triển phương pháp tối ưu hóa trọng số (α, β, γ) trong công thức predictive validity score PV(c) thông qua học máy, nhằm tự động điều chỉnh mức độ ưu tiên giữa hiệu suất trung bình và độ ổn định OOD.
  3. Nghiên cứu sâu về ảnh hưởng của LLM judge drift đến predictive validity: xây dựng mô hình drift và đề xuất cơ chế cập nhật judge tự động dựa trên các anchor độc lập (rule pipeline) để duy trì độ tin cậy của leaderboard.
  4. patent_ideas: Nghiên cứu sâu về ảnh hưởng của LLM judge drift đến predictive validity: xây dựng mô hình drift và đề xuất cơ chế cập nhật judge tự động dựa trên các anchor độc lập (rule pipeline) để duy trì độ tin cậy của leaderboard.

2. Patent:​

  1. Hệ thống đánh giá ứng dụng AI trên điện thoại: người dùng chạy thử agent trên vài kịch bản mẫu (ví dụ: đặt lịch hẹn, tra cứu thời tiết), hệ thống tự động so sánh thứ hạng dự đoán với kết quả thực tế để đưa ra 'điểm tin cậy triển khai' cho từng agent.
  2. Công cụ kiểm tra độ ổn định của chatbot dịch vụ khách hàng: khi có bản cập nhật, công cụ tự động chạy agent trên tập kịch bản gốc và kịch bản biến thể (paraphrase, đổi tên), tính toán tương quan thứ hạng để cảnh báo nếu thứ hạng thay đổi quá nhiều.
  3. Nền tảng so sánh agent trên điện thoại theo nhiều chiều: người dùng chọn các tiêu chí ưu tiên (tốc độ, độ chính xác, chi phí), hệ thống hiển thị bảng xếp hạng được cá nhân hóa dựa trên predictive validity thay vì điểm tổng, giúp lựa chọn agent phù hợp nhất với nhu cầu cụ thể.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.19704
ArXiv Abstracthttps://arxiv.org/abs/2606.19704
PDF Downloadhttps://arxiv.org/pdf/2606.19704.pdf
Github RepositoryN/A

6. S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence (40 votes)​

Tác giả: Yalun Dai, Hao Li, Shulin Tian, Runmao Yao, Yuhao Dong, et al.

Xuất bản lúc: 2026-06-18

Tag: Spatial Agent, Tool-Use, Spatial Reasoning, VLM, Video Understanding, 3D Scene Understanding, Memory

I. Main Problem:​

Các mô hình VLM hiện tại xử lý không gian ở trạng thái tĩnh và phi trạng thái, chỉ suy luận trên từng khung hình riêng lẻ. Điều này thất bại khi cần tích hợp bằng chứng không gian từ nhiều góc nhìn hoặc qua thời gian để xây dựng hiểu biết 3D nhất quán, vì thiếu cơ chế tích lũy bằng chứng và duy trì bộ nhớ ngữ cảnh.

II. Main Idea:​

S-Agent đóng khung lý luận không gian như quá trình tích lũy bằng chứng theo chiều không gian và thời gian. Nó dùng VLM làm người lập kế hoạch ngữ nghĩa, quyết định cần bằng chứng gì, sau đó ủy thác cho hệ thống phân cấp các công cụ không gian: (1) phát hiện 2D, (2) nâng lên tọa độ 3D, (3) chuyên gia không gian tổng hợp tri thức cấp cao. Bộ nhớ kép gồm Scene Memory và Agent Memory giúp duy trì trạng thái thực thể và lịch sử lý luận xuyên suốt các khung hình và bước suy diễn.

III. Main Results:​

  • Trong zero-shot, S-Agent vượt Gemini 3 Pro 1.2% và GPT-5.4 4.5% trên MMSI-Bench.
  • Trên ViewSpatial-Bench, S-Agent đạt 60.0% trung bình, hơn GPT-5.4 tới 14.4%.
  • Trên ReVSI, S-Agent xếp thứ hai toàn bảng với 58.8 điểm, đặc biệt mạnh ở lý luận hướng và lập lộ trình.
  • S-Agent-8B (từ 300K quỹ đạo huấn luyện) cải thiện baseline 8B 10.5% trên MMSI-Bench, sánh ngang GPT-5.4 và Gemini 3 Pro.
  • Kết quả khẳng định S-Agent hiệu quả cả khi không huấn luyện và như giáo viên để xây agent nhỏ gọn.

IV. Conclusion & Future Works:​

S-Agent là giải pháp mới cho lý luận không gian video thay vì chỉ ảnh đơn, nhờ tách biệt lập kế hoạch ngữ nghĩa và thu thập bằng chứng không gian. Hướng tới: mở rộng bộ công cụ tích hợp phản hồi chủ động từ môi trường và giảm chi phí suy diễn tạo điều kiện triển khai thực tế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp S-Agent với reinforcement learning để robot tự tìm hiểu và chọn chiến lược thu thập bằng chứng không gian thích nghi theo ngữ cảnh.
  2. Mở rộng bộ nhớ kép ra thành hệ thống lý luận đa tác tử, mỗi tác tử quản lý một khía cạnh của cảnh 3D động.
  3. Nghiên cứu cơ chế nén bộ nhớ hiệu quả để S-Agent hoạt động trên thiết bị biên, giữ nguyên độ chính xác lý luận không gian.

2. Patent:​

  1. Ứng dụng trên điện thoại thông minh cho người khiếm thị: camera điện thoại quét phòng, hệ thống dùng S-Agent tích lũy bằng chứng để mô tả vị trí và hướng của đồ vật, đọc kết quả bằng giọng nói.
  2. Hệ thống chỉ dẫn lắp ráp nội thất: người dùng quay video các mảnh ghép từ nhiều góc; ứng dụng dùng S-Agent xác định vị trí và hướng chính xác của từng bộ phận, sau đó hiển thị hướng dẫn từng bước trên màn hình.
  3. Module hỗ trợ đỗ xe song song: camera điện thoại hoặc xe quay video toàn cảnh; S-Agent phân tích không gian và hướng, tính toán lộ trình đỗ tối ưu, hiển thị overlay trên giao diện người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20515
ArXiv Abstracthttps://arxiv.org/abs/2606.20515
PDF Downloadhttps://arxiv.org/pdf/2606.20515.pdf
Github Repositoryhttps://github.com/Ropedia/S-Agent

7. DF3DV-1K: A Large-Scale Dataset and Benchmark for Distractor-Free Novel View Synthesis (32 votes)​

Tác giả: Cheng-You Lu, Yi-Shan Hung, Wei-Ling Chi, Hao-Ping Wang, Charlie Li-Ting Tsai, et al.

Xuất bản lúc: 2026-06-18

Tag: Dataset, Benchmark, Radiance Fields, Novel View Synthesis, Distractor Removal, 3D Gaussian Splatting, NeRF

I. Main Problem:​

Các phương pháp distractor-free radiance fields hiện nay thiếu một bộ dữ liệu và benchmark quy mô lớn, có cả ảnh sạch và ảnh có nhiễu (distractor) cho mỗi cảnh. Điều này khiến khó đánh giá đúng điểm mạnh/yếu của từng phương pháp và làm chậm quá trình phát triển các giải pháp tổng quát hóa thay vì tối ưu riêng từng cảnh.

II. Main Idea:​

DF3DV-1K là bộ dữ liệu thực tế quy mô lớn gồm 1.048 cảnh trong nhà và ngoài trời, mỗi cảnh đều có bộ ảnh sạch và bộ ảnh có nhiễu, với 128 loại distractor và 161 chủ đề cảnh. Bộ dữ liệu được thu thập thủ công trong 9 tháng bằng nhiều thiết bị di động thông thường. Dựa trên DF3DV-1K, nhóm tác giả đánh giá 9 phương pháp distractor-free radiance field gần đây cùng 3DGS, chỉ ra AsymGS và RobustSplat là mạnh nhất. Ngoài ra, họ fine-tune một bộ tăng cường ảnh 2D trên DF3DV-1K để tạo DI2FIX, giúp cải thiện đáng kể chất lượng kết xuất.

III. Main Results:​

  • AsymGS và RobustSplat là hai phương pháp mạnh nhất trên DF3DV-1K và DF3DV-41, theo sau bởi OCSplats và DeGauss.
  • DF3DV-1K thách thức hơn các benchmark trước đây: phương pháp mạnh nhất chỉ đạt 20.49 PSNR trên DF3DV-1K so với 29.44 trên RobustNeRF.
  • Các kịch bản khó nhất bao gồm vật nhiễu có màu tương tự nền, vật nhiễu dạng linh hoạt (nước, khói), và cảnh đêm.
  • DI2FIX mang lại cải thiện trung bình 0.96 dB PSNR và 0.057 LPIPS trên tập kiểm tra (DF3DV-41 + On-the-go).

IV. Conclusion & Future Works:​

DF3DV-1K là bộ dữ liệu và benchmark quy mô lớn đầu tiên cho distractor-free novel view synthesis, giúp phân tích độc lập điểm mạnh/yếu của từng phương pháp. Tương lai, bộ dữ liệu này có thể hỗ trợ phát triển các mô hình tổng quát hóa (generalizable), vượt khỏi tối ưu theo cảnh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển mô hình distractor-free radiance field tổng quát hóa (generalizable) bằng cách huấn luyện trên DF3DV-1K, thay vì tối ưu riêng từng cảnh.
  2. Nghiên cứu các cơ chế chú ý hoặc biểu diễn đặc biệt cho các loại distractor khó như vật nhiễu dạng linh hoạt (nước, khói) và cảnh đêm.
  3. Kết hợp thông tin ngữ nghĩa (semantic) từ các mô hình thị giác lớn (như SAM) để phân biệt rõ hơn giữa thành phần tĩnh và vật nhiễu động.

2. Patent:​

  1. Ứng dụng xóa vật thể lạ trong ảnh du lịch: khi người dùng chụp ảnh tại điểm đông người, hệ thống dùng nhiều ảnh liên tiếp để tự động loại bỏ người qua đường, tạo ảnh sạch.
  2. Tính năng chụp ảnh sản phẩm thương mại trên điện thoại: trợ lý AI hướng dẫn người dùng chụp nhiều góc của sản phẩm, sau đó tự động loại bỏ tay, bóng, hoặc vật cản để tạo ảnh hoàn chỉnh.
  3. Hệ thống giám sát an ninh thông minh: camera ghi lại cảnh nền tĩnh (không có người) rồi liên tục so sánh với cảnh có người, tự động trích xuất và loại bỏ hình ảnh người lạ để lưu lại khung nền gốc.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.13416
ArXiv Abstracthttps://arxiv.org/abs/2604.13416
PDF Downloadhttps://arxiv.org/pdf/2604.13416.pdf
Github Repositoryhttps://github.com/johnnylu305/DF3DV

8. FreeStyle: Free Control of Style-Content Dual-Reference Generation from Community LoRA Mining (28 votes)​

Tác giả: Jinghong Lan, Wei Cheng, Yunuo Chen, Ziqi Ye, Peng Xing, et al.

Xuất bản lúc: 2026-06-18

Tag: LoRA Mining, Style Transfer, Dual-Reference Generation, Attention Constraint, RoPE Modulation, Community Models, Diffusion Models

I. Main Problem:​

Sinh ảnh với tham chiếu kép (nội dung và phong cách) rất khó vì cần cân bằng độ trung thực nội dung, khớp phong cách và làm theo hướng dẫn. Thiếu dữ liệu bộ ba quy mô lớn có sự tách biệt rõ ràng giữa nội dung và phong cách, bao phủ nhiều phong cách hiếm gặp, là nút thắt chính.

II. Main Idea:​

FreeStyle xây dựng khung sinh ảnh tham chiếu kép có thể mở rộng bằng cách khai thác LoRA từ cộng đồng làm neo thành phần cho phong cách và nội dung. Một pipeline chặt chẽ được thiết kế để lọc và tạo bộ ba dữ liệu lớn với độ bao phủ phong cách dài đuôi rộng. Để giải quyết rò rỉ nội dung, FreeStyle dùng curriculum huấn luyện hai giai đoạn với các cơ chế gỡ rối riêng: ràng buộc tăng cường chú ý cho giai đoạn chuyển phong cách và điều chế RoPE theo tần số cho giai đoạn tham chiếu kép khó hơn.

III. Main Results:​

  • Trên benchmark tham chiếu phong cách, FreeStyle đạt VLM-S 7.142 và Ver-S 0.482, cạnh tranh với các mô hình đóng.
  • Trên benchmark tham chiếu kép, FreeStyle dẫn đầu về ONEIG (0.387) và VLM-S (5.467) trong số các phương pháp mở.
  • Ràng buộc chú ý giảm rò rỉ nội dung hiệu quả, thể hiện qua Ver-C 0.928 trong SRef.
  • Điều chế RoPE giúp giảm rò rỉ vị trí trong CRef+SRef, duy trì cân bằng tốt hơn.
  • Bộ dữ liệu FreeStyle gồm 273k (FLUX), 33k (Qwen) và 172k (Illustrious) bộ ba chất lượng cao.

IV. Conclusion & Future Works:​

FreeStyle chứng minh khai thác LoRA cộng đồng là hướng hiệu quả để xây dựng dữ liệu tham chiếu kép quy mô lớn. Chiến lược huấn luyện hai giai đoạn với cơ chế gỡ rối riêng biệt giúp kiểm soát rò rỉ nội dung tốt hơn. Hướng tương lai có thể mở rộng sang các loại điều khiển phức tạp hơn và cải thiện hiệu quả lọc LoRA.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng pipeline khai thác LoRA cho các mô hình nền khác (SD3, Stable Diffusion) để tăng tính khái quát và đa dạng phong cách.
  2. Nghiên cứu cơ chế gỡ rối nội dung-phong cách tự động dựa trên phân tích tần số không gian trong không gian tiềm ẩn, thay vì điều chỉnh RoPE thủ công.
  3. Xây dựng phương pháp đánh giá mới cho sinh ảnh tham chiếu kép, tích hợp phản hồi từ người dùng để đo mức độ hài lòng về sự cân bằng giữa nội dung và phong cách.

2. Patent:​

  1. Ứng dụng trên điện thoại cho phép người dùng chụp ảnh sản phẩm làm nội dung, chọn ảnh phong cách từ thư viện, và tạo ảnh sản phẩm mới với phong cách đó mà không cần kỹ năng chỉnh sửa.
  2. Hệ thống chỉnh sửa ảnh tích hợp cho phép người dùng chọn một khuôn mặt và một kiểu tóc từ hai ảnh khác nhau, tự động tạo ảnh chân dung kết hợp cả hai mà không bị lỗi rò rỉ đặc điểm.
  3. Công cụ thiết kế thời trang trực tuyến dùng LoRA cộng đồng: người dùng nhập ảnh quần áo (nội dung) và ảnh họa tiết vải (phong cách) để xem trước bộ sưu tập mới mà không cần may mẫu thật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20506
ArXiv Abstracthttps://arxiv.org/abs/2606.20506
PDF Downloadhttps://arxiv.org/pdf/2606.20506.pdf
Github Repositoryhttps://github.com/Blue2Giant/FreeStyle

9. FlowBender: Feedback-Aware Training for Self-Correcting Conditional Flows (21 votes)​

Tác giả: Daniel Gilo, Sven Elflein, Ido Sobol, Or Litany

Xuất bản lúc: 2026-06-18

Tag: Diffusion Models, Flow Matching, Conditional Generation, Feedback-Aware Training, Self-Correction, Image-to-Image Translation, 3D Texturing

I. Main Problem:​

Các mô hình diffusion và flow matching có điều kiện thường tạo ra mẫu không tuân thủ đúng điều kiện đầu vào (ví dụ: ảnh tạo ra từ bản đồ độ sâu có độ sâu trích xuất lại sai lệch). Các phương pháp hiện tại (học có giám sát hoặc guidance tại suy luận) đều không tận dụng được thông tin lỗi alignment của chính mô hình, dẫn đến sự đánh đổi giữa độ trung thành với điều kiện và tính hợp lý của mẫu sinh.

II. Main Idea:​

FlowBender biến quá trình sinh có điều kiện thành một vòng lặp đóng (closed-loop) bằng cách coi lỗi alignment (alignment error) như một đầu vào chính thức. Tại mỗi bước, mô hình thực hiện hai lượt: (1) một lượt 'look-ahead' để dự đoán tín hiệu sạch và tính toán tín hiệu lỗi, (2) một lượt 'refine' thứ hai sử dụng tín hiệu này để tạo ra vận tốc đã hiệu chỉnh. Khung này hỗ trợ cả phản hồi gradient (cho toán tử khả vi) và phản hồi bậc không (cho toán tử đen, phi khả vi như JPEG). Bằng cách học chính sách hiệu chỉnh phi tuyến dựa trên lỗi riêng, FlowBender đồng thời cải thiện độ trung thành và tính hợp lý, vượt qua các phương pháp guidance tuyến tính truyền thống.

III. Main Results:​

  • Trên các tác vụ image-to-image (siêu phân giải, depth-to-RGB, edge-to-RGB, khôi phục JPEG), FlowBender vượt trội so với Standard FT, FT + Lalign và IT Guidance (FlowChef) cả về độ trung thành (PSNR, SSIM) và tính hợp lý (FID).
  • Trong JPEG restoration (toán tử phi khả vi), biến thể zero-order của FlowBender đạt PSNR 28.86 vs 26.29 của Standard FT, cải thiện FID từ 4.35 xuống 3.80.
  • Trong 3D mesh texturing trên Objaverse và Toys4K, FlowBender (biến thể w.r.t. ˆx1) vượt trội mọi baseline, đạt FID tốt nhất (6.64) và điểm trung thành cao nhất.
  • Phân tích cho thấy 80% năng lượng hiệu chỉnh của FlowBender trực giao với gradient, chứng tỏ mô hình học chính sách phi tuyến vượt xa guidance trọng số vô hướng.
  • Kỹ thuật 'prior-step shortcut' giảm chi phí suy luận xuống chỉ còn N+1 đánh giá mô hình mà vẫn duy trì lợi ích hiệu chỉnh đáng kể.

IV. Conclusion & Future Works:​

FlowBender giải quyết hạn chế 'vòng lặp mở' của mô hình flow có điều kiện bằng cách huấn luyện mô hình tận dụng lỗi alignment của chính nó, đồng thời cải thiện độ trung thành và tính hợp lý. Hạn chế hiện tại là huấn luyện cần thêm một lượt đánh giá mô hình mỗi lần lặp. Hướng phát triển trong tương lai bao gồm phát triển kiến trúc tích hợp phản hồi hiệu quả hơn và huấn luyện trên quy mô lớn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng FlowBender cho các tác vụ video có điều kiện, nơi forward operator (ví dụ: quang dòng, bản đồ chiều sâu) cần được thỏa mãn trên toàn bộ chuỗi thời gian, đồng thời duy trì tính nhất quán tạm thời.
  2. Áp dụng cơ chế hai lượt của FlowBender vào các mô hình ngôn ngữ lớn (LLMs) để tự hiệu chỉnh các câu trả lời không nhất quán với ngữ cảnh đầu vào hoặc tri thức đã được thiết lập.
  3. Nghiên cứu kiến trúc mạng đơn giản hơn có thể nội suy các tín hiệu phản hồi bậc không và bậc nhất mà không cần hai lượt suy luận riêng biệt, nhằm giảm chi phí tính toán trong huấn luyện và suy luận.

2. Patent:​

  1. Ứng dụng trên điện thoại: Chụp ảnh chân dung với hiệu ứng xóa phông. Hệ thống sử dụng bản đồ độ sâu từ camera làm điều kiện, nhưng liên tục kiểm tra độ chính xác của độ sâu được suy luận lại từ ảnh đã chỉnh sửa và tự động hiệu chỉnh để tránh lỗi viền.
  2. Ứng dụng chỉnh sửa ảnh bằng văn bản: Người dùng mô tả thay đổi (ví dụ: 'thay áo xanh thành đỏ'). Mô hình FlowBender kiểm tra xem màu sắc vùng áo sau chỉnh sửa có khớp với mô tả không và tự động tinh chỉnh để đảm bảo tuân thủ chính xác lệnh.
  3. Khôi phục ảnh nén JPEG trên điện thoại: Zero-order variant của FlowBender cho phép khôi phục ảnh bị nén mất dữ liệu mà không cần truy cập vào thuật toán giải nén nội bộ, cải thiện chất lượng ảnh lưu trữ trên điện thoại mà không cần thay đổi phần cứng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20404
ArXiv Abstracthttps://arxiv.org/abs/2606.20404
PDF Downloadhttps://arxiv.org/pdf/2606.20404.pdf
Github RepositoryN/A

10. ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing? (21 votes)​

Tác giả: Yuyang Zhang, Wenyao Zhang, Zekun Qi, He Zhang, Haitao Lin, et al.

Xuất bản lúc: 2026-06-17

Tag: World Action Models, Image Editing, Robot Manipulation, Diffusion Models, Vision-Language-Action, Flow Matching

I. Main Problem:​

Các World Action Models (WAMs) hiện tại dựa trên sinh video tổng thể gặp ba hạn chế: chi phí suy luận cao do phải sinh nhiều frame tương lai, lãng phí năng lực vào chi tiết thị giác không liên quan đến hành động, và lỗi trong video tưởng tượng có thể dẫn dắt sai dự đoán hành động.

II. Main Idea:​

ImageWAM thay thế sinh video bằng mô hình chỉnh sửa ảnh đã huấn luyện trước. Thay vì giải mã ảnh đã chỉnh sửa, nó trích xuất KV caches từ quá trình denoising của nhánh chỉnh sửa và dùng chúng làm ngữ cảnh world-action nhỏ gọn cho một action expert dạng flow-matching. Cách này giữ nguyên nguyên lý reason-before-act nhưng tránh sinh token video dày đặc, tập trung vào khác biệt trực quan liên quan đến lệnh từ hiện tại đến trạng thái mong muốn.

III. Main Results:​

  • ImageWAM đạt 93.56% thành công trên RoboTwin 2.0 (ngẫu nhiên), vượt các VLA baseline và ngang bằng WAM mạnh nhất.
  • Trên LIBERO-Plus (biến đổi phân phối), ImageWAM với FLUX.2 4B đạt 83.1% trung bình, cải thiện đáng kể so với FastWAM (51.5%).
  • Trong thí nghiệm thực tế, ImageWAM đạt 84.5% thành công, cao hơn π0 (55.8%) và FastWAM (79.0%).
  • Giảm FLOPs xuống 1/6 (9.72 TFLOPs) và độ trễ xuống 1/4 (263ms) so với WAM dựa trên video.
  • Attention visualization cho thấy editing caches tập trung vào vùng thay đổi liên quan đến tác vụ.

IV. Conclusion & Future Works:​

ImageWAM chứng minh chỉnh sửa ảnh là giải pháp thay thế hiệu quả cho sinh video trong WAMs, nhờ tập trung vào biến đổi trực quan theo lệnh, chi phí thấp và tránh lỗi tích lũy. Hướng tương lai: mở rộng sang các tác vụ động hơn và kết hợp với các backbone chỉnh sửa ảnh mạnh hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tác động của các backbone chỉnh sửa ảnh khác nhau (từ nhỏ đến lớn) lên khả năng tổng quát hóa của WAM trong môi trường đa dạng, đặc biệt là biến đổi camera và layout.
  2. Phát triển phiên bản ImageWAM có khả năng xử lý nhiều bước tương lai bằng cách kết hợp nhiều KV cache từ các timestep denoising khác nhau, thay vì chỉ một frame cuối.
  3. So sánh chi tiết giữa việc dùng editing caches và các biểu diễn trung gian khác (ví dụ: depth, optical flow) để hiểu rõ bản chất của 'world-action context' hiệu quả.

2. Patent:​

  1. Hệ thống điều khiển robot nhà bếp: điện thoại chụp ảnh bàn bếp, người dùng nói 'đặt bát lên bếp'; mô hình chỉnh sửa ảnh sinh ra ảnh mong muốn và KV cache để robot suy luận hành động ngay lập tức.
  2. Ứng dụng thực tế ảo tăng cường cho sửa chữa: người dùng chụp ảnh thiết bị hỏng, chỉnh sửa ảnh bằng lệnh 'thay ốc A bằng ốc B'; hệ thống trích xuất thay đổi để robot hoặc hướng dẫn người dùng thao tác.
  3. Tính năng 'làm theo ảnh gốc' trên robot gia đình: người dùng chụp ảnh phòng ngăn nắp làm mục tiêu; robot tự so sánh với ảnh hiện tại thông qua editing caches để dọn dẹp đồ vật về đúng vị trí.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.19531
ArXiv Abstracthttps://arxiv.org/abs/2606.19531
PDF Downloadhttps://arxiv.org/pdf/2606.19531.pdf
Github Repositoryhttps://github.com/yuyangalin/ImageWAM

11. JanusMesh: Fast and Zero-Shot 3D Visual Illusion Generation via Cross-Space Denoising (20 votes)​

Tác giả: Siang-Ling Zhang, Huai-Hsun Cheng, Tsung-Ju Yang, Yu-Lun Liu

Xuất bản lúc: 2026-06-18

Tag: 3D Visual Illusion, Zero-shot Generation, Dual-Branch Denoising, SDF Blending, CLIP-guided, View-Conditioned Texturing, Rectified Flow, TRELLIS

I. Main Problem:​

Tạo ảo ảnh thị giác 3D—một mesh duy nhất hiển thị nhiều ngữ nghĩa khác nhau tùy góc nhìn—là thách thức lớn. Các phương pháp tối ưu hiện tại chậm (∼40 phút) và gây bão hòa màu, trong khi ghép nối thô sơ tạo ra đường nối giả và rò rỉ ngữ nghĩa, phá vỡ hiệu ứng ảo ảnh.

II. Main Idea:​

JanusMesh là khung zero-shot, không cần huấn luyện, gồm hai giai đoạn. (1) Giai đoạn Hình học: dùng quá trình khử nhiễu hai nhánh trên không gian tiềm ẩn TRELLIS, tại mỗi bước giải mã sang voxel, căn chỉnh hai đối tượng bằng tìm kiếm hướng CLIP, hợp nhất qua SDF blending, rồi mã hóa ngược để tiếp tục khử nhiễu. (2) Giai đoạn Kết cấu: chiếu và tổng hợp các ưu tiên khuếch tán 2D theo góc nhìn lên mesh đã hợp nhất, tạo kết cấu mịn, mạch lạc. Các chiến lược Noise Guidance và Space Control Guidance cung cấp tiên đề không gian trước khi khử nhiễu để cải thiện chất lượng hợp nhất.

III. Main Results:​

  • Phương pháp tạo ảo ảnh 3D kép hoàn chỉnh chỉ trong 3–5 phút trên một GPU RTX 4090, nhanh hơn đáng kể so với ∼40 phút của SDS.
  • Vượt trội các baseline (Shape from Semantics, Direct Concatenation, TRELLIS, DreamBeast) về độ toàn vẹn hình học và khả năng nhận dạng ngữ nghĩa.
  • Đánh giá định lượng gồm CLIP similarity, GPT-4.1-mini accuracy, FID/KID và Object Detection metric, kèm khảo sát người dùng, xác nhận tính hiệu quả.
  • Mở rộng tự nhiên lên ảo ảnh ba đối tượng với cùng pipeline, chỉ cần thêm nhánh khử nhiễu thứ ba và điều chỉnh Noise Guidance.

IV. Conclusion & Future Works:​

JanusMesh mở rộng ảo ảnh quang học từ 2D lên mesh 3D hoàn chỉnh, tạo ra hiệu ứng ảo ảnh bền vững và nhận dạng rõ ràng trong thời gian ngắn. Hướng tương lai có thể bao gồm lấy mẫu góc quay dày hơn trong CLIP-guided Orientation Search và hỗ trợ nhiều hơn ba ngữ nghĩa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng JanusMesh cho ảo ảnh động: tạo mesh thay đổi ngữ nghĩa liên tục khi quay camera, sử dụng quá trình khử nhiễu đa nhánh theo thời gian.
  2. Kết hợp JanusMesh với kỹ thuật sinh 3D tức thì (feed-forward) để giảm thời gian dưới 1 phút, tạo pipeline tối ưu cho ứng dụng thời gian thực.
  3. Áp dụng tư tưởng SDF blending trong JanusMesh cho chỉnh sửa 3D đa ngữ nghĩa: người dùng nhập nhiều prompt và góc nhìn, hệ thống tự động hợp nhất các thuộc tính mong muốn vào một mesh duy nhất.

2. Patent:​

  1. Ứng dụng trình chỉnh sửa ảnh 3D trên điện thoại: người dùng chụp ảnh vật thể từ hai góc, nhập hai mô tả; hệ thống tạo mesh 3D kết hợp cả hai ngữ nghĩa, cho phép xoay xem hiệu ứng ảo ảnh trực tiếp trên màn hình.
  2. Hệ thống quảng cáo tương tác: tạo vật trưng bày 3D có hình dáng thay đổi khi nhìn từ góc khác; người dùng xoay điện thoại để thấy sản phẩm hoặc logo khác nhau, tăng trải nghiệm thương hiệu.
  3. Phần mềm tạo hình xăm hoặc họa tiết 3D: người dùng nhập hai hình ảnh; hệ thống sinh mesh trang trí có hai ngữ nghĩa nhìn từ các hướng, ứng dụng trong thiết kế thời trang hoặc trang trí nội thất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20563
ArXiv Abstracthttps://arxiv.org/abs/2606.20563
PDF Downloadhttps://arxiv.org/pdf/2606.20563.pdf
Github Repositoryhttps://github.com/siang1105/JanusMesh

12. Current World Models Lack a Persistent State Core (16 votes)​

Tác giả: Jinpeng Lu, Dexu Zhu, Haoyuan Shi, Linghan Cai, Guo Tang, et al.

Xuất bản lúc: 2026-06-18

Tag: World Models, Video Generation, Benchmark, State Persistence, Viewpoint Intervention, Dynamics Evaluation

I. Main Problem:​

Các mô hình thế giới (world models) hiện tại chỉ tập trung vào chất lượng khung hình, chuyển động và khả năng điều khiển camera, nhưng không kiểm tra liệu thế giới mô phỏng có tiếp tục tiến hóa khi không được quan sát hay không. Đây là một điểm mù trong các benchmark hiện có, khiến chúng ta không biết liệu mô hình có thực sự nắm bắt được trạng thái thế giới diễn ra liên tục, độc lập với quan sát hay không.

II. Main Idea:​

WRBench là benchmark chẩn đoán có hệ thống đầu tiên coi chuyển động camera như một can thiệp vào khả năng quan sát. Nó đánh giá các mô hình qua chuỗi sáu chiều: độ chính xác camera, độ toàn vẹn hình ảnh, tính nhất quán không gian/trạng thái khi còn trong tầm nhìn, hỗ trợ tái quan sát, và tính nhất quán không gian/trạng thái sau khi mục tiêu rời khỏi tầm nhìn rồi quay lại. Benchmark được xây dựng trên bộ 25 kịch bản, 9600 video từ 23 mô hình, và có sự đánh giá của con người để hiệu chỉnh các chỉ số tự động.

III. Main Results:​

  • Kết quả chính: các mô hình hiện tại duy trì thế giới như một cảnh quay liên tục theo camera; khi camera quay lại, mục tiêu ở trạng thái bị bỏ rơi, chứ không tiến triển sự kiện tiếp theo.
  • Lỗi này xuất hiện ở mọi kiểu điều khiển (source-video, geometry-cache, model-inferred, prompt-only) và mọi quy mô mô hình.
  • Tăng tham số từ 1.3B lên 14B (Wan-Fun) làm giảm điểm tái quan sát từ 0.66 xuống 0.62.
  • Lingbot-World có điểm không gian và trạng thái khi quan sát cao nhất (0.874, 0.719), nhưng độ chính xác camera yếu nhất (0.468).
  • Chỉ có khoảng 12-39% video (tùy loại mô hình) có dữ liệu tái quan sát có thể đánh giá được.

IV. Conclusion & Future Works:​

WRBench cho thấy tính nhất quán trạng thái sau tái quan sát là một năng lực tách biệt so với độ trung thực hình ảnh hay khả năng tái xuất hiện, và không tỷ lệ thuận với quy mô mô hình. Hướng tương lai cần phát triển bộ nhớ ghi lại thay đổi ẩn (what-memory) và mục tiêu huấn luyện giám sát tính bền vững của trạng thái cuối.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển kiến trúc mô hình thế giới tích hợp bộ nhớ ẩn (what-memory) để lưu trữ và cập nhật trạng thái đối tượng khi không quan sát, nhằm cải thiện tính nhất quán khi tái quan sát.
  2. Nghiên cứu phương pháp huấn luyện với mục tiêu endpoint persistence, yêu cầu mô hình dự đoán trạng thái cuối của sự kiện sau một khoảng thời gian không quan sát được.
  3. Xây dựng benchmark mở rộng từ WRBench với nhiều loại can thiệp khác ngoài thay đổi góc nhìn, như di chuyển camera trong không gian 3D, để đánh giá toàn diện hơn sự bền vững của thế giới mô phỏng.

2. Patent:​

  1. Hệ thống giám sát video thông minh: khi camera tạm thời mất dấu đối tượng (bị che khuất), mô hình thế giới tiếp tục mô phỏng chuyển động của đối tượng và cập nhật vị trí khi camera quay lại, giúp hệ thống không bỏ sót hành vi.
  2. Ứng dụng hiệu ứng thực tế ảo trên điện thoại: khi người dùng xoay camera điện thoại khỏi cảnh, mô hình thế giới vẫn giữ trạng thái các vật thể (cốc nước trên bàn, con vật nhảy) và hiển thị chính xác khi camera trở về, tăng trải nghiệm sống động.
  3. Trợ lý ảo cho nhà thông minh: camera di động có thể theo dõi hoạt động trong nhà; khi bị khuất tầm nhìn, mô hình thế giới vẫn ước tính trạng thái (cửa đã đóng chưa, thú cưng đang ở đâu) và thông báo lại khi camera có thể quan sát lại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20545
ArXiv Abstracthttps://arxiv.org/abs/2606.20545
PDF Downloadhttps://arxiv.org/pdf/2606.20545.pdf
Github Repositoryhttps://github.com/JinPLu/WRBench

13. Context-Aware RL for Agentic and Multimodal LLMs (16 votes)​

Tác giả: Peiyang Xu, Bangzheng Li, Sijia Liu, Karthik R. Narasimhan, Pramod Viswanath, et al.

Xuất bản lúc: 2026-06-15

Tag: Reinforcement Learning, LLMs, Context-Awareness, Multimodal, Agentic Systems, GRPO, Contrastive Learning

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) thường bỏ qua bằng chứng nhỏ nhưng quan trọng trong ngữ cảnh dài hoặc phức tạp, như một dòng lệnh trong tool trace hay chi tiết nhỏ trong ảnh. Sự thiếu hụt khả năng bám (grounding) này khiến mô hình đưa ra quyết định hợp lý cục bộ nhưng không nhất quán với ngữ cảnh tổng thể. Các mô hình mã nguồn mở mạnh như Qwen3 thậm chí còn đạt gần 50% ngẫu nhiên trong bài kiểm tra chọn ngữ cảnh có đối chứng.

II. Main Idea:​

Bài báo đề xuất CONTEXTRL, một phương pháp tăng cường Reinforcement Learning (RL) bằng một mục tiêu phụ nhằm chọn ngữ cảnh hỗ trợ câu trả lời. Thay vì chỉ thưởng cho kết quả cuối cùng, CONTEXTRL thêm một hàm mất mát LCA yêu cầu mô hình phân biệt giữa ngữ cảnh đúng (C+) và ngữ cảnh gây nhiễu (C-) khi có câu hỏi và câu trả lời. Phương pháp xây dựng cặp ngữ cảnh đối chứng cho cả tác vụ agent code và đa phương thức, sau đó kết hợp linh hoạt với GRPO tiêu chuẩn.

III. Main Results:​

  • CONTEXTRL cải thiện +2.2% trung bình so với GRPO tiêu chuẩn trên 5 benchmark tác vụ dài, và +1.8% trên 12 benchmark VQA.
  • Trên SWE-Bench, CONTEXTRL từ Klear-AgentForge-8B vượt Qwen3-32B gấp 4 lần kích thước.
  • Các phương pháp tăng cường dữ liệu (DA-SFT, DA-RL) thất bại: DA-SFT gây sụp đổ chính sách, DA-RL không cải thiện đáng kể.
  • CONTEXTRL là phương pháp duy nhất vừa đạt độ chính xác chọn ngữ cảnh cao vừa cải thiện hiệu suất tác vụ cuối.

IV. Conclusion & Future Works:​

CONTEXTRL chứng minh rằng việc thêm một mục tiêu chọn ngữ cảnh nhẹ vào RL là đủ để cải thiện khả năng grounding cho cả tác vụ agent và đa phương thức. Hướng tới: mở rộng cho các modality khác và kết hợp với các cơ chế phản hồi ngữ cảnh chi tiết hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CONTEXTRL cho các tác vụ agent đa phương thức (ví dụ: robot điều khiển bằng ngôn ngữ) để kiểm tra tính khái quát hóa giữa agent code và visual grounding.
  2. Kết hợp mất mát chọn ngữ cảnh với các phương pháp reward shaping khác như PAPO để tạo ra một khung RL đa mục tiêu mạnh hơn cho multimodal reasoning.
  3. Nghiên cứu cơ chế học chọn ngữ cảnh mà không cần dữ liệu đối chứng thủ công, sử dụng các mô hình ngôn ngữ mạnh hơn để tự động tạo cặp ngữ cảnh cho nhiều lĩnh vực khác.

2. Patent:​

  1. Hệ thống hỗ trợ lập trình trên điện thoại: khi user sửa code, mô hình kiểm tra xem sửa đổi có tham khảo đúng dòng code liên quan trong file hay không, giảm lỗi runtime do bỏ sót biến.
  2. Trợ lý ảnh trên điện thoại thông minh: khi user hỏi về ảnh chụp, mô hình chọn lọc vùng ảnh quan trọng và báo cáo nếu câu trả lời không dựa trên chi tiết ảnh đó, giúp người dùng chụp lại ảnh rõ hơn.
  3. Ứng dụng chat tự động cho dịch vụ khách hàng: mô hình kiểm tra nội dung hội thoại có hỗ trợ câu trả lời không trước khi gửi, ngăn chặn tình trạng trả lời mơ hồ dù có đủ thông tin.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.17053
ArXiv Abstracthttps://arxiv.org/abs/2606.17053
PDF Downloadhttps://arxiv.org/pdf/2606.17053.pdf
Github Repositoryhttps://github.com/xupy2003/ContextAwareRL

14. HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining (14 votes)​

Tác giả: Juncheng Ma, Jianxin Bi, Yufan Deng, Xuanran Zhai, Kewei Zhang, et al.

Xuất bản lúc: 2026-06-18

Tag: Embodied AI, Egocentric Video, Robot Pretraining, World-Action Model, Scaling Law, Generalization

I. Main Problem:​

Mô hình nền tảng embodied đang gặp nghẽn dữ liệu vì nguồn chính là dữ liệu teleoperation robot thật có chi phí cao, quy mô nhỏ và độ đa dạng kém. Điều này hạn chế khả năng khái quát hóa khi triển khai ra ngoài môi trường tập luyện. Video người dạng egocentric được xem là giải pháp thay thế rẻ và phong phú, nhưng chưa có so sánh trực tiếp nào đánh giá hiệu quả của nó so với dữ liệu robot thật ở cùng quy mô.

II. Main Idea:​

Bài báo thực hiện so sánh có kiểm soát giữa video egocentric người và dữ liệu robot thật ở cùng khối lượng 5000 giờ. Cả hai đều được dùng để pretrain cùng một mô hình World-Action Model dạng autoregressive với kiến trúc Mixture-of-Transformers (MoT), rồi post-train trên cùng bộ dữ liệu AgiBot World và đánh giá trên hai bộ seen/unseen. Video egocentric được lọc từ HumanNet, có phạm vi mở về cảnh, vật thể và tương tác, trong khi dữ liệu robot thật có tín hiệu hành động chính xác nhưng ít đa dạng.

III. Main Results:​

  • Pretrain từ video egocentric có validation loss thấp hơn 24% so với robot thật trên unseen tasks.
  • Tỉ lệ thành công trên real-robot: 92.5% in-distribution, 90% out-of-distribution; không pretrain chỉ đạt 40% và 0%.
  • Scaling log-linear: loss trên unseen giảm từ 0.0234 xuống 0.0204 khi dữ liệu tăng từ 100 lên 5000 giờ.
  • Pretrain robot bão hòa sớm trên unseen (loss ~0.0254), không cải thiện khi tăng dữ liệu.
  • Egocentric đa dạng hơn: gấp ~25 lần cặp động từ-đối tượng và >2 lần số cảnh so với robot thật.

IV. Conclusion & Future Works:​

Video egocentric vượt trội hơn dữ liệu robot thật khi dùng làm nguồn pretrain cho mô hình embodied, nhờ tính đa dạng và quy mô lớn. Hướng tới sẽ mở rộng pretrain lên quy mô lớn hơn và thử nghiệm thêm trên các kiến trúc VLA cũng như nhiều embodiment khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng nghiên cứu scaling của pretrain egocentric trên kiến trúc Vision-Language-Action (VLA) thay vì chỉ World-Action Model, kiểm tra xem lợi thế về khái quát hóa có còn giữ nguyên hay không.
  2. Nghiên cứu phương pháp chọn lọc dữ liệu egocentric tối ưu hơn (ví dụ dựa trên độ mới của tương tác) thay vì lọc theo nhãn ngữ nghĩa, để tăng hiệu quả trên mỗi giờ video.
  3. Phân tích định lượng tác động của độ mượt chuyển động và tỷ lệ idle trong dữ liệu egocentric lên chất lượng pretrain, tách biệt khỏi ảnh hưởng của đa dạng cảnh và vật thể.

2. Patent:​

  1. Hệ thống huấn luyện robot gia đình sử dụng video từ kính thông minh hoặc camera điện thoại của người dùng: video được gửi lên đám mây, xử lý thành tín hiệu giả hành động, rồi pretrain mô hình điều khiển, sau đó post-train bằng vài lần dạy robot thực tế.
  2. Phương pháp thu thập dữ liệu egocentric quy mô lớn cho robot bằng cách phát video YouTube nấu ăn, sửa chữa đồ gia dụng và lọc tự động các phân đoạn tay chạm vật thể, rồi gán nhãn giả vị trí tay để làm nguồn pretrain.
  3. Ứng dụng trên điện thoại thông minh: camera quay người dùng thao tác (ví dụ gấp quần áo, sắp xếp đồ), điện thoại nén và gửi video lên server; server tách chuyển động tay, tạo giả hành động và tự động cập nhật mô hình điều khiển cho robot của người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20521
ArXiv Abstracthttps://arxiv.org/abs/2606.20521
PDF Downloadhttps://arxiv.org/pdf/2606.20521.pdf
Github RepositoryN/A

15. ENPIRE: Agentic Robot Policy Self-Improvement in the Real World (14 votes)​

Tác giả: Wenli Xiao, Jia Xie, Tonghe Zhang, Haotian Lin, Letian "Max" Fu, et al.

Xuất bản lúc: 2026-06-18

Tag: Coding Agents, Autoresearch, Dexterous Manipulation, Physical RL, Robot Fleet, Policy Self-Improvement, Closed-Loop Learning, Multi-Agent Scaling

I. Main Problem:​

Việc huấn luyện robot thao tác khéo léo trong thế giới thực phụ thuộc nhiều vào sự giám sát của con người trong toàn bộ vòng đời—từ thu thập dữ liệu, đánh giá, reset môi trường đến điều chỉnh thuật toán. Sự phụ thuộc này trở thành nút thắt cổ chai khi muốn mở rộng quy mô. Đồng thời, các coding agent tiên tiến chủ yếu thành công trong môi trường số, thiếu vòng lặp phản hồi vật lý lặp lại để tự cải thiện chính sách trên robot thật.

II. Main Idea:​

ENPIRE là một khung tác tử (agent harness) giúp coding agent tự động hóa nghiên cứu robot trong thế giới thực thông qua vòng lặp phản hồi vật lý lặp lại, gồm bốn module: Environment (EN) tự động reset và xác minh, Policy Improvement (PI) cho phép agent sửa code huấn luyện, Rollout (R) đánh giá chính sách trên robot, và Evolution (E) cho phép nhiều agent cộng tác, phân tích log, tra cứu tài liệu để cải tiến. Hệ thống chuyển việc học robot thực tế thành quy trình tối ưu hóa có thể điều khiển, giảm thiểu công sức con người, cho phép các coding agent tự động leo đồi (hill-climb) tỷ lệ thành công lên đến 99% trên các tác vụ khéo léo như PushT, cắm pin hay cắt dây rút.

III. Main Results:​

  • ENPIRE cho phép coding agent tự động leo tỷ lệ thành công lên đến 99-100% trên các tác vụ thao tác khó trong thế giới thực.
  • Với tác vụ cắm pin (pin insertion), hội tụ nhanh hơn phương pháp có con người trong vòng lặp (human-in-the-loop).
  • Mở rộng từ 1 lên 8 robot giúp giảm thời gian đạt hiệu suất cao xuống ~40 phút thay vì >1.5 giờ.
  • ENPIRE vượt trội so với mô hình VLA đầu cuối (GR00T) trên benchmark RoboCasa365 nhờ kết hợp motion planning và công cụ nhận diện.
  • Các coding agent khác nhau (Codex, Claude Code, Kimi Code) đều thành công trên PushT mô phỏng, nhưng chỉ Codex thành công trên robot thật.

IV. Conclusion & Future Works:​

ENPIRE chứng minh tiềm năng tự động hóa nghiên cứu robot trong thế giới thực ở quy mô lớn. Tuy nhiên, coding agent chưa tận dụng hết tài nguyên robot và GPU, chi phí token tăng siêu tuyến tính khi mở rộng đội robot. Hướng phát triển tương lai: tối ưu lịch trình agent để tăng tỷ lệ sử dụng robot và GPU, giảm chi phí token, và mở rộng khả năng chuyển giao kinh nghiệm giữa các tác vụ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế tinh giản token cho các coding agent trong vòng lặp vật lý, giảm chi phí LLM mà vẫn giữ hiệu quả cải thiện chính sách trên robot thật.
  2. Phát triển framework cho phép các agent tự sinh curriculum (chương trình tự động) để tự động tăng độ khó tác vụ trong quá trình tự cải thiện trên robot.
  3. Kết hợp ENPIRE với các mô hình thế giới (world model) để coding agent có thể suy luận và dự đoán kết quả trước khi triển khai vật lý, giảm số lần chạy thử trên robot thật.

2. Patent:​

  1. Hệ thống tự động tinh chỉnh robot lắp ráp linh kiện điện tử: dùng camera và cảm biến lực, robot tự đánh giá thành công và thất bại, coding agent tự điều chỉnh tham số điều khiển (lực, đường đi) để đạt tỷ lệ cắm linh kiện gần như 100% mà không cần kỹ thuật viên.
  2. Ứng dụng trên điện thoại: khi điều khiển robot gia đình, người dùng chụp ảnh mô tả hiện trạng; robot tự thực hiện chuỗi động tác thăm dò ngắn, gọi coding agent trên cloud phân tích kết quả, tự đề xuất cải tiến lần chạy sau mà không cần người lập trình.
  3. Trạm robot bán hàng thông minh: robot tự động reset và thực hiện lại tác vụ sắp xếp hàng hóa nhiều lần; nếu tỷ lệ thành công giảm, coding agent phân tích log và video để tự động sửa code điều khiển hoặc thông số nhận diện, đảm bảo vận hành ổn định 24/7.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.19980
ArXiv Abstracthttps://arxiv.org/abs/2606.19980
PDF Downloadhttps://arxiv.org/pdf/2606.19980.pdf
Github RepositoryN/A

16. Thinking with Visual Grounding (11 votes)​

Tác giả: Junkai Zhang, Yihe Deng, Kai-Wei Chang, Wei Wang

Xuất bản lúc: 2026-06-15

Tag: Vision-Language Models, Visual Grounding, Chain-of-Thought, Reinforcement Learning, Spatial Reasoning, Object Counting, GRPO

I. Main Problem:​

Các mô hình VLM hiện tại có thể suy luận bằng ngôn ngữ tự nhiên, nhưng chuỗi suy luận đó thường không chỉ ra vùng ảnh nào hỗ trợ cho từng bước. Điều này khiến quá trình suy nghĩ khó kiểm chứng, khó giám sát, và dễ bị ảo giác: câu trả lời cuối cùng có thể đúng nhưng suy luận lại không trung thực với ảnh gốc.

II. Main Idea:​

Tác giả đề xuất visually grounded thinking: mô hình xen kẽ suy luận ngôn ngữ với các thẻ tọa độ (bounding box hoặc điểm) để chỉ rõ vùng ảnh được tham chiếu ở mỗi bước. Dữ liệu huấn luyện được tổng hợp tự động qua pipeline dùng SAM3 để trích xuất mặt nạ đối tượng, từ đó tạo ra các mẫu SFT và RL với cả dạng box và point. Ngoài ra, tác giả thiết kế grounding-aware RL kết hợp reward về độ chính xác của grounding với reward về đáp án đúng, giúp mô hình tối ưu cả hai mục tiêu.

III. Main Results:​

  • Trên 2 benchmark đếm (TallyBench, CountQA) và 4 benchmark suy luận không gian (VSR, EmbSpatial, SpatialMQA, MultihopSpatial), visually grounded thinking cải thiện đáng kể so với base model Gemma3-4B-IT và baseline non-grounded thinking.
  • Trên suy luận không gian, mô hình 4B có grounded thinking đạt kết quả ngang hoặc vượt mô hình Gemma3-27B-IT.
  • Point grounding vượt trội ở tác vụ đếm; box grounding có lợi thế rõ hơn khi được huấn luyện với grounding reward ở tác vụ không gian.
  • Non-grounded thinking bị length collapse trong RL, trong khi các biến thể có grounding duy trì rollouts ổn định hơn.
  • Pass@4 cho thấy mức cải thiện rất lớn trên các spatial benchmark, vượt xa Gemma3-27B-IT.

IV. Conclusion & Future Works:​

Visually grounded thinking buộc mô hình phải chỉ rõ bằng chứng trong ảnh trong quá trình suy luận, giúp cải thiện cả độ chính xác và khả năng kiểm chứng. Hướng tương lai gồm mở rộng pipeline cho nhiều tác vụ hơn, cải thiện point reward để tối ưu mượt hơn, và áp dụng grounded thinking trên các VLM khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng visually grounded thinking cho các tác vụ visual question answering phức tạp hơn như Visual Commonsense Reasoning hoặc Embodied QA, nơi cần nhiều bước suy luận liên quan đến nhiều đối tượng và mối quan hệ phức tạp.
  2. Nghiên cứu cải tiến point grounding reward bằng cách thay F1 rời rạc bằng score liên tục (ví dụ khoảng cách Chamfer giữa các điểm) để tín hiệu huấn luyện mượt hơn, giúp huấn luyện RL hiệu quả hơn khi chỉ dùng point.
  3. Kết hợp visually grounded thinking với multi-agent framework, nơi một agent suy luận và một agent chuyên trách grounding cùng hợp tác để cải thiện độ chính xác và kiểm soát độ tin cậy của từng tham chiếu.

2. Patent:​

  1. Hệ thống hướng dẫn lắp ráp trên điện thoại: khi người dùng chụp ảnh các bộ phận, mô hình suy luận từng bước (ví dụ 'gắn ốc vít bên trái') và vẽ box lên ảnh thực tế để chỉ đúng vị trí cần thao tác.
  2. Ứng dụng mua sắm AR: người dùng chụp một khu vực trong nhà, hỏi bằng giọng nói 'ghế gần nhất màu xanh?', máy chủ suy luận kèm box cho mỗi đối tượng, gửi lại khung hình với chú thích rõ để tăng độ tin cậy trước khi đặt hàng.
  3. Trình kiểm tra bài tập vẽ trên điện thoại: học sinh chụp bức vẽ, dùng giọng nói đặt câu hỏi về vị trí các đối tượng; mô hình suy luận với các chấm điểm trên ảnh gốc, giúp giáo viên hoặc phụ huynh dễ dàng kiểm tra và chấm điểm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.16122
ArXiv Abstracthttps://arxiv.org/abs/2606.16122
PDF Downloadhttps://arxiv.org/pdf/2606.16122.pdf
Github Repositoryhttps://github.com/Jun-Kai-Zhang/visually_grounded_thinking

17. The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation (10 votes)​

Tác giả: Nicolas Dufour, Alexei A. Efros, Patrick Pérez

Xuất bản lúc: 2026-06-18

Tag: FID, Generative Models, Diffusion, Reproducibility, Evaluation, SiT, Seed Lottery

I. Main Problem:​

FID là thước đo chính cho chất lượng ảnh sinh, nhưng hầu hết báo cáo chỉ đưa ra một con số duy nhất từ một lần chạy. Sự biến thiên tiềm ẩn từ các yếu tố ngẫu nhiên như khởi tạo, thứ tự dữ liệu và nhiễu huấn luyện thường bị bỏ qua, dẫn đến các tuyên bố về cải tiến không đáng tin cậy.

II. Main Idea:​

Bài báo xem FID như một biến ngẫu nhiên phụ thuộc vào hai loại hạt giống: huấn luyện (khởi tạo, thứ tự dữ liệu, nhiễu) và sinh mẫu. Trên hàng trăm mô hình SiT với ImageNet, tác giả đo độ phân tán FID và phát hiện rằng thay đổi hạt giống huấn luyện gây biến thiên gấp 3.2 lần so với thay đổi hạt giống sinh mẫu. Phương pháp GS-FID (tối ưu CFG cho từng cặp hạt giống) giảm một nửa độ phân tán nhưng làm xáo trộn thứ hạng các hạt giống.

III. Main Results:​

  • Việc huấn luyện lại với hạt giống khác làm FID biến thiên gấp 3.2 lần so với chỉ sinh mẫu lại.
  • Hệ số biến thiên (CoV) FID luôn nằm trong khoảng 1-2% bất kể kích thước mô hình hay thời gian huấn luyện.
  • GS-FID giảm CoV từ 1.26% xuống 0.67% nhưng thứ hạng hạt giống chỉ tương quan Spearman ρ=0.73.
  • Một hạt giống 'may mắn' đạt cùng FID với ít hơn tới 2 lần chi phí tính toán so với hạt giống 'xui xẻo'.
  • Nhiễu flow-matching là nguồn gây biến thiên lớn nhất (77%), kế đến là khởi tạo (67%) và thứ tự dữ liệu (51%).

IV. Conclusion & Future Works:​

FID có một sàn nhiễu đáng kể (~1.3% CoV) mà mọi cải tiến dưới mức này nên được coi là không kết luận được. Tương lai có thể mở rộng phân tích sang các kiến trúc khác, metric khác (KID, CMMD) và tìm cách giảm biến thiên ngay trong quá trình huấn luyện.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu sàn nhiễu FID trên các kiến trúc diffusion khác (latent, pixel) và text-to-image, xác định CoV đặc trưng cho từng họ mô hình.
  2. Phát triển phương pháp huấn luyện giảm biến thiên FID, ví dụ bằng cách regularize hướng tới một quỹ đạo hội tụ ổn định hơn, không phụ thuộc hạt giống.
  3. So sánh độ biến thiên của các metric thay thế FID (KID, CMMD, Precision/Recall) trên cùng một thiết lập để tìm metric ổn định và đáng tin cậy nhất.

2. Patent:​

  1. Ứng dụng trên điện thoại: khi chụp ảnh chân dung bằng AI, hệ thống tự động sinh nhiều phiên bản với các hạt giống khác nhau và chọn ra bức đẹp nhất, thay vì chỉ dùng một lần sinh duy nhất.
  2. Công cụ đánh giá mô hình sinh ảnh trên cloud: thay vì báo cáo một điểm FID, hệ thống chạy nhiều lần huấn luyện và sinh mẫu, trả về khoảng tin cậy (error bar) giúp người dùng so sánh mô hình chính xác hơn.
  3. Phần mềm tối ưu siêu tham số cho mô hình diffusion: áp dụng tìm kiếm tỷ lệ CFG tối ưu (golden-section search) tự động cho từng mô hình, đảm bảo so sánh công bằng giữa các phiên bản mà không bị nhiễu hạt giống.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20536
ArXiv Abstracthttps://arxiv.org/abs/2606.20536
PDF Downloadhttps://arxiv.org/pdf/2606.20536.pdf
Github RepositoryN/A

18. Holo-World: Unified Camera, Object and Weather Control for Video World Model (10 votes)​

Tác giả: Xiangchen Yin, Wenzhang Sun, Jiahui Yuan, Zijie Liu, Yinda Chen, et al.

Xuất bản lúc: 2026-06-18

Tag: Video World Model, Camera Control, Object Control, Weather Control, Diffusion, Scene Decomposition, State Video Dataset

I. Main Problem:​

Các mô hình video thế giới hiện tại chỉ điều khiển camera, đối tượng hoặc thời tiết riêng lẻ, chưa có khả năng kết hợp cả ba trong cùng một giao diện. Việc sinh thời tiết thường yêu cầu video nguồn hoặc cảnh đã tái tạo hoàn chỉnh, không phù hợp với bài toán sinh từ một ảnh đơn lẻ.

II. Main Idea:​

Holo-World thống nhất điều khiển camera, đối tượng và thời tiết từ một ảnh đầu tiên. Mô hình dùng Unified Scene Adapter gồm World Adapter (bảo toàn cảnh) và State Adapter (chuyển đổi thời tiết) trên cùng backbone video đông lạnh. Scene-Weather Decomposed CFG tách riêng hướng dẫn suy luận cho hai nhánh, tránh khuếch đại sai lệch. Bộ dữ liệu HoloStateData cung cấp các mẫu có camera, đối tượng, thời tiết được chú thích đồng bộ.

III. Main Results:​

  • Trên tập Real, Holo-World đạt VBench-I2V 89.05%, vượt các baseline Uni3C, GEN3C, VerseCrafter, NeoVerse.
  • Sai số camera RotErr=0.719° và ObjMC=7.731, thấp nhất so với các phương pháp so sánh.
  • Trên tập Weather, Holo-World đạt Weather Alignment 86.00% và VLM Evaluation 68.51, vượt Cosmos-Transfer2.5 và Wan2.7-Edit.
  • Người dùng thích Holo-World 83.00% so với Cosmos-Transfer2.5 và 62.00% so với Wan2.7-Edit.
  • Ablation: SW-CFG (+ G-buffer + UniSA) cải thiện PSNR nền từ 13.20 lên 18.12 và Weather Alignment từ 51.00% lên 86.00%.

IV. Conclusion & Future Works:​

Holo-World chứng minh khả năng bảo toàn cấu trúc cảnh đồng thời chuyển đổi thời tiết chỉ từ một ảnh, vượt các phương pháp V2V trong thiết lập I2V. Hướng phát triển: mở rộng điều khiển trạng thái môi trường phức tạp hơn ngoài thời tiết, và hướng tới mô phỏng vật lý đầy đủ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung unified state control cho điều khiển kết hợp thời gian ngày/đêm và thảm họa tự nhiên, cùng camera và chuyển động đối tượng từ một ảnh duy nhất.
  2. Áp dụng tách rời adapter world/state cho điều khiển đa tác vụ, ví dụ vừa thay đổi kết cấu mặt đường vừa điều khiển camera và vật thể.
  3. Phát triển chiến lược guidance phi tuyến với trọng số động cho từng tác vụ thành phần (cảnh, thời tiết) thay vì hằng số cố định.

2. Patent:​

  1. Ứng dụng trên điện thoại: chụp ảnh nền, dùng Holo-World để chỉnh camera quay phim với hiệu ứng thời tiết (mưa, tuyết, sương) mà không cần video nguồn dài.
  2. Công cụ quay phim quảng cáo ô tô: nhập ảnh chụp xe, điều khiển camera và chuyển động của xe đồng thời hiển thị hiệu ứng thời tiết (sương mù, mưa) trực tiếp trên video kết quả.
  3. Module hội thoại AR: camera điện thoại chụp phòng khách thực, người dùng dùng cử chỉ kéo/di chuyển đồ vật và chọn thời tiết mô phỏng, hệ thống sinh video liên tục đáp ứng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20083
ArXiv Abstracthttps://arxiv.org/abs/2606.20083
PDF Downloadhttps://arxiv.org/pdf/2606.20083.pdf
Github Repositoryhttps://github.com/XiangchenYin/Holo-World

19. FAPO: Fully Autonomous Prompt Optimization of Multi-Step LLM Pipelines (10 votes)​

Tác giả: Paul Kassianik, Baturay Saglam, Huaibo Zhao, Blaine Nelson, Supriti Vijay, et al.

Xuất bản lúc: 2026-06-17

Tag: Prompt Optimization, LLM Pipelines, Agentic Systems, Multi-step Reasoning, Automated Optimization, Claude Code, GEPA

I. Main Problem:​

Các pipeline LLM đa bước thường thất bại do tương tác giữa các bước truy xuất, suy luận và định dạng, nhưng các phương pháp tối ưu prompt đơn thuần không thể sửa được các nút thắt trong chuỗi xử lý. Cần một giải pháp có thể chẩn đoán lỗi ở từng bước và tự động đề xuất thay đổi phù hợp.

II. Main Idea:​

FAPO sử dụng Claude Code làm tác nhân tối ưu hóa: đánh giá pipeline hiện tại, ghi lại đầu ra từng bước, phân loại lỗi, đề xuất một thay đổi có phạm vi hẹp (ưu tiên prompt trước), kiểm tra an toàn, và lặp lại. Chỉ khi prompt không đủ, FAPO mới mở rộng sang thay đổi tham số hoặc cấu trúc pipeline dựa trên bằng chứng lỗi. Toàn bộ quy trình được giới hạn bởi hợp đồng phạm vi của từng tác vụ.

III. Main Results:​

  • FAPO thắng GEPA ở 15/18 cặp mô hình–benchmark, với mức cải thiện trung bình +14.1 điểm phần trăm.
  • Trên HoVer và IFBench, khi FAPO nâng cấp từ prompt lên thay đổi cấu trúc, mức tăng trung bình lên đến +33.8 điểm phần trăm.
  • Trên CTIBench-RCM (bảo mật), FAPO chỉ dùng prompt đã cải thiện độ chính xác thêm +4.0 pp (GPT-5), +7.1 pp và +2.0 pp trên hai mô hình Foundation-Sec.
  • AIME là benchmark duy nhất GEPA dẫn trước, kết quả không có ý nghĩa thống kê rõ ràng.

IV. Conclusion & Future Works:​

FAPO biến các lỗi pipeline thành vòng lặp tối ưu hóa có thể tái sản xuất: đánh giá, chẩn đoán, đề xuất thay đổi có phạm vi, và xác thực. Hướng tới, có thể mở rộng chiến lược thăm dò chủ động, áp dụng cho nhiều loại pipeline phức tạp hơn, và giảm phương sai giữa các lần chạy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng FAPO cho các pipeline đa tác nhân, nơi mỗi tác nhân LLM có thể được tối ưu hóa độc lập và phối hợp thông qua một orchestrator.
  2. Tích hợp cơ chế học tăng cường (RL) để tự động điều chỉnh ngưỡng quyết định khi nào nên nâng cấp từ prompt sang thay đổi cấu trúc pipeline.
  3. Áp dụng tư tưởng tối ưu hóa dựa trên bằng chứng lỗi cho các hệ thống RAG phức tạp, nơi lỗi truy xuất và suy luận đan xen.

2. Patent:​

  1. Hệ thống tối ưu hóa prompt tự động cho chatbot chăm sóc khách hàng: khi chatbot trả lời sai, hệ thống ghi nhận bước lỗi (truy xuất hay suy luận) và tự sửa prompt hoặc thêm bước kiểm tra để cải thiện mà không cần lập trình viên.
  2. Trợ lý ảo trên điện thoại tự động tinh chỉnh pipeline trả lời: khi người dùng hỏi đòi hỏi nhiều bước suy luận, trợ lý tự phân tích nguyên nhân sai (thiếu dữ liệu, định dạng lỗi) và điều chỉnh prompt hoặc thêm bước hậu xử lý giúp câu trả lời chính xác hơn.
  3. Hệ thống tối ưu hóa tác vụ đa bước cho trợ lý tìm kiếm thông tin: khi kết quả tìm kiếm không khớp, hệ thống tự động mở rộng số bước truy xuất hoặc thêm bước xác thực chéo để nâng cao độ tin cậy cho câu trả lời cuối cùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.19605
ArXiv Abstracthttps://arxiv.org/abs/2606.19605
PDF Downloadhttps://arxiv.org/pdf/2606.19605.pdf
Github Repositoryhttps://github.com/cisco-foundation-ai/fully-automated-prompt-optimization