Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-07-16

Báo cáo được tạo tự động vào lúc 2026-07-17 10:25:26 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable (169 votes)​

Tác giả: Ruhan Wang, Yucheng Shi, Zongxia Li, Zhongzhi Li, Yue Yu, et al.

Xuất bản lúc: 2026-07-14

Tag: Agent Harness, Behavior Localization, Code Representation, Static Program Analysis, Coding Agents, Repository Understanding, LLM-assisted Structuring

I. Main Problem:​

Tác nhân AI hiện đại cần một harness — lớp phần mềm điều phối prompt, quản lý trạng thái, gọi công cụ và điều khiển luồng thực thi — để hoạt động trong thực tế. Khi mô hình nền, API, môi trường chạy hoặc yêu cầu ứng dụng thay đổi, harness phải được cập nhật liên tục.

Vấn đề cốt lõi là repository tổ chức theo file, hàm và module, trong khi yêu cầu sửa đổi thường diễn đạt hành vi hệ thống cần thay đổi. Một hành vi có thể trải dài nhiều file, nhiều giai đoạn thực thi và nhiều trạng thái chia sẻ. Các công cụ hiện có — tìm kiếm mã, bản đồ repository, xử lý ngữ cảnh dài — giúp duyệt code dễ hơn nhưng vẫn để người phát triển hoặc tác nhân lập trình tự nối các mảnh lại. Nút thắt này gọi là behavior localization (xác định tất cả vị trí mã thực hiện một hành vi).

II. Main Idea:​

Harness Handbook là biểu diễn tổ chức kiến thức theo hành vi hệ thống thay vì theo cấu trúc file. Cấu trúc gồm ba tầng:

  • L1: tổng quan hệ thống — kiến trúc, mô hình thực thi, các giai đoạn chính, luồng dữ liệu toàn cục.
  • L2: tổng quan thành phần — trách nhiệm, đầu vào/ra, phụ thuộc và trạng thái cục bộ của từng giai đoạn.
  • L3: đơn vị chi tiết gắn với mã nguồn — mỗi mục trỏ thẳng đến vị trí tĩnh trong repository.

Handbook được xây dựng tự động bằng phân tích chương trình tĩnh và cấu trúc hóa hành vi có hỗ trợ LLM. Quy trình sửa đổi dùng Behavior-Guided Progressive Disclosure (BGPD): từ mô tả hành vi cao cấp, dần lộ thông tin chi tiết, theo dõi đến các vị trí mã nguồn ứng viên, rồi xác minh trực tiếp với repository hiện tại. Sau mỗi diff không rỗng, handbook tự động đồng bộ lại.

Ví dụ đời thường: giống như sửa xe bằng sổ hướng dẫn được tổ chức theo từng hệ thống ("phanh", "đề nổ", "làm mát"), mỗi mục chỉ thẳng đến đúng bộ phận cần mở, thay vì phải lục tung catalog phụ tùng xếp theo tên linh kiện.

III. Main Results:​

  • Đánh giá trên hai harness nguồn mở Codex và Terminus-2, mỗi harness 30 yêu cầu sửa đổi thực tế.
  • Chất lượng kế hoạch: Handbook-Assisted thắng Baseline ở tỷ lệ win rate +10.0 điểm % trên Codex và +18.9 điểm % trên Terminus-2, đồng thời giảm token lập kế hoạch: -12.7% và -8.6%.
  • Độ chính xác localization: F1 tăng từ +5.0 đến +18.8 điểm ở cả cấp file và cấp symbol so với kế hoạch tham chiếu từ Opus 4.8 và GPT-5.5.
  • Giảm miss hoàn toàn: tỷ lệ Wrong (không trùng khớp nào với tham chiếu) giảm tới 25.9 điểm %.
  • Lợi ích lớn nhất xuất hiện ở các thay đổi có vị trí thực hiện phân tán, luồng hiếm khi chạy và tương tác xuyên module.

IV. Conclusion & Future Works:​

Handbook làm rõ mối quan hệ giữa hành vi và triển khai, giúp tiến hóa harness chính xác và hiệu quả hơn mà không cần tăng ngân sách token. Ngoài lập kế hoạch sửa đổi, nó còn hỗ trợ kiểm toán hành vi và phân tích ảnh hưởng của regression.

Hướng tương lai: dùng Handbook làm bộ nhớ hành vi chung để harness tự tiến hóa — tác nhân tự động khép kín vòng lặp localization, lập kế hoạch, thực thi và đồng bộ hóa, hướng tới khả năng tự cải thiện.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Handbook cho tác nhân tự tiến hóa harness, trong đó tác nhân tự động khép kín vòng localization, lập kế hoạch, thực thi và đồng bộ hóa handbook.
  2. Áp dụng biểu diễn theo hành vi cho các hệ thống phân tán lớn khác như cơ sở hạ tầng đám mây, game engine hoặc hệ thống giao dịch.
  3. Kết hợp Handbook với học tích cực để ưu tiên xác định hành vi cần cập nhật khi API hoặc mô hình nền tảng thay đổi.

2. Patent:​

  1. Trợ lý duyệt code trên điện thoại: người dùng nhập yêu cầu thay đổi hành vi (ví dụ: thêm cơ chế retry khi gọi công cụ), ứng dụng tra Handbook và chỉ đến đúng file, hàm cần sửa, đồng thời gợi ý bản vá ngắn trên màn hình di động mà không cần mở toàn bộ repository.
  2. Công cụ onboarding kỹ sư mới qua điện thoại: gửi liên kết repository, ứng dụng tự tạo Handbook hành vi và cho phép kỹ sư tìm kiếm theo câu hỏi đời thường ("tính năng đăng nhập hoạt động thế nào?") để nhanh chóng đến đúng mã nguồn.
  3. Hệ thống phản ứng sự cố trên thiết bị di động: khi báo cáo lỗi sản xuất, ứng dụng ánh xạ triệu chứng sang hành vi, truy Handbook để liệt kê mọi vị trí mã liên quan, và đẩy gợi ý sửa đến điện thoại của người bảo trì.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.13285
ArXiv Abstracthttps://arxiv.org/abs/2607.13285
PDF Downloadhttps://arxiv.org/pdf/2607.13285.pdf
Github RepositoryN/A

2. Boogu-Image-0.1: Boosting Open-Source Unified Multimodal Understanding and Generation (110 votes)​

Tác giả: Guoxuan Chen, Chufeng Xiao, Haoran Yang, Siyue Xie, Binxiao Huang, et al.

Xuất bản lúc: 2026-07-14

Tag: Text-to-Image Generation, Multimodal Understanding, Image Editing, Inference-Time Scaling, Open-Source Models

I. Main Problem:​

Tạo ảnh từ văn bản đang chuyển từ Text-to-Image sang Requirement-to-Image: người dùng không chỉ mô tả, mà đưa ra yêu cầu phức tạp, ngầm ý, đa tầng, kèm ràng buộc về độ trễ/chi phí. Tuy nhiên, các mô hình mã nguồn mở thường chỉ tập trung vào chất lượng pixel và gắn thêm LLM viết lại prompt, bỏ qua hiểu biết thực sự về nhu cầu. Đồng thời, các benchmark công khai như GenEval hay DPG-Bench đã bão hòa, bị rò rỉ dữ liệu, và không còn tương quan với đánh giá con người, khiến việc so sánh và hướng tới chất lượng thực tế trở nên khó khăn.

II. Main Idea:​

Boogu-Image-0.1 nâng understanding thành mục tiêu thiết kế hàng đầu, đồng thời cải thiện chất lượng dữ liệu, công thức huấn luyện và pipeline suy luận. Cụ thể:

  • Text encoder là sensor: dùng Qwen3-VL-8B để mã hóa yêu cầu người dùng với khả năng hiểu ngôn ngữ mạnh hơn, thay vì text encoder thông thường.
  • Agentic Image Generation: một agent xử lý yêu cầu, viết lại prompt cho đúng ý định, chọn biến thể phù hợp (Base/Turbo/Edit/Thinking) để cân bằng tốc độ và chất lượng, rồi dùng Reflection để nâng cao kết quả ở inference time.
  • Data curation và training recipe tối ưu: ưu tiên chất lượng hơn số lượng, chỉ dùng 208,62 triệu ảnh duy nhất với chi phí huấn luyện cơ sở khoảng 400K USD.
  • Unified understanding + generation: cùng một mô hình vừa hiểu đa模态, vừa sinh ảnh chất lượng cao, chỉnh sửa theo hướng dẫn và render song ngữ Anh–Trung.

Ví dụ đời thường: giống như đầu bếp không chỉ đọc tên món từ thực khách, mà hỏi rõ khẩu vị, viết lại đơn gọi món, chọn bếp nhanh hay bếp tinh chế phù hợp, và kiểm tra lại đĩa ăn trước khi bê ra.

III. Main Results:​

  • Boogu Arena (benchmark nội bộ mô phỏng arena.ai, 1.200 prompt song ngữ, >4.000 phiếu bình chọn): Boogu-Image-0.1-Turbo-Thinking đạt Elo 1048, dẫn đầu nhóm mã nguồn mở, chỉ kém GPT-Image-2 (1196) và Nano-Banana-Pro (1087). Ưu thế rõ ở ảnh chân thực và nghệ thuật; bản Thinking cải thiện mạnh ở render văn bản nhờ viết lại prompt chính xác.
  • Boogu Arena tương quan cao với LMArena: Pearson r = 0.986, Spearman ρ = 1.000, cho thấy benchmark phản ánh đúng thứ hạng theo sở thích người dùng.
  • Qwen-Image-Bench: Boogu-Image-0.1-Base-Thinking đạt điểm overall cao nhất trong các mô hình mã nguỗi mở được đánh giá: 53.57 (Chinese) và 53.73 (English), vượt Qwen-Image-2512 và HunyuanImage-3.0. Cải thiện lớn nhất ở chiều Creativity (+8 điểm với bản Thinking).
  • Hiệu quả huấn luyện: chỉ huấn luyện trên 208,62 triệu ảnh duy nhất, chi phí lý thuyết của mô hình cơ sở chỉ khoảng 400.000 USD, cho chất lượng gần các hệ thống đóng.

IV. Conclusion & Future Works:​

Boogu-Image-0.1 chứng minh rằng khi hiểu biết được đối xử như thành phần chính, các mô hình mã nguồn mở có thể bắt kịp hệ thống đóng trong tạo ảnh và chỉnh sửa, mà vẫn tiết kiệm tính toán. Việc công bố trọng số, code, công thức và bài học thực tiễn dưới Apache 2.0 giúp giảm chi phí kỹ thuật ẩn cho cộng đồng. Hướng tương lai: mở rộng inference-time scaling và agentic reasoning, cải thiện thêm hiệu quả và đa dạng biến thể, đồng thời xây dựng các benchmark sát thực tế hơn để đánh giá đúng năng lực tạo ảnh hiện đại.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu có hệ thống về khả năng text encoder như sensor trong mô hình tạo ảnh: thang LLM nào, ở kích thước nào, mang lại lợi ích rõ rệt nhất cho việc tuân thủ yêu cầu phức tạp.
  2. Agentic inference-time scaling cho tạo ảnh: thiết kế agent tự quyết định khi nào viết lại prompt, khi nào gọi reflection, và khi nào chọn biến thể nhanh hay chất lượng để tối ưu chi phí–chất lượng.
  3. Công thức xây dựng caption và lọc dữ liệu cho huấn luyện tạo ảnh: làm thế nào để caption thực sự phản ánh nhu cầu người dùng thay vì chỉ mô tả đối tượng.
  4. Unified multimodal editing: mô hình vừa hiểu vừa chỉnh sửa ảnh theo hướng dẫn đa tầng, đặc biệt trong bối cảnh song ngữ và văn bản trong ảnh.

2. Patent:​

  1. Trợ lý tạo ảnh trên điện thoại di động: người dùng mô tả yêu cầu bằng giọng nói hoặc văn bản, ứng dụng tự chọn chế độ nhanh (Turbo) khi mạng yếu hoặc chế độ chất lượng cao (Thinking) khi cần poster, đồng thời viết lại prompt và kiểm tra lại kết quả trước khi trả ảnh.
  2. Ứng dụng chỉnh sửa ảnh sản phẩm thương mại điện tử trên di động: chụp ảnh sản phẩm, người dùng ra lệnh tự nhiên như “thêm dòng chữ khuyến mãi tiếng Trung, đổi nền sang màu pastel”, hệ thống tự hiểu, chọn mô hình Edit phù hợp và tạo ảnh marketing.
  3. Hệ thống tạo poster song ngữ Anh–Trung tự động: nhận nội dung văn bản, phong cách thiết kế và ràng buộc bố cục, tự động chọn variant, viết lại prompt để render chính xác từng nét chữ, và xuất file in ấn chất lượng cao.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.13125
ArXiv Abstracthttps://arxiv.org/abs/2607.13125
PDF Downloadhttps://arxiv.org/pdf/2607.13125.pdf
Github Repositoryhttps://github.com/boogu-project/Boogu-Image

3. Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning (80 votes)​

Tác giả: Xinyu Tang, Gangqiang Cao, Yurou Liu, Yuliang Zhan, Xiaochong Lan, et al.

Xuất bản lúc: 2026-07-14

Tag: Zero RL, Reinforcement Learning with Verifiable Rewards, Chain-of-Thought, Emergent Reasoning, Trillion-Parameter Models, Self-Distillation

I. Main Problem:​

Zero RL (RLVR không cần dữ liệu người) đã chứng minh khả năng khai phá reasoning, nhưng hầu hết nghiên cứu trước đây chỉ thử nghiệm trên mô hình nhỏ. Điều này để lại hai khoảng trống lớn:

  • chưa rõ động lực huấn luyện và khả năng nổi lên (emergent capabilities) ở quy mô 1 nghìn tỷ tham số
  • khi áp dụng Zero RL thô, mô hình tạo ra CoT khó đọc, dư thừa token, và thiếu khả năng điều chỉnh độ sâu reasoning theo độ khó câu hỏi.

II. Main Idea:​

Tác giả xây dựng pipeline Ring-2.5-1T-Zero — huấn luyện tự lặp đa giai đoạn từ base model 1T mà không cần supervised CoT data. Cơ chế cốt lõi:

  • Clipped importance sampling policy gradient: chỉ cắt trên IS ratio để khuếch đại token reasoning có xác suất thấp mà không zero gradient, giúp mô hình tự học suy luận từ đầu.
  • Training-inference ratio correction: dùng logits từ engine huấn luyện (Megatron) làm tử số thay vì logits engine rollout (SGLang), giảm khe hở số học giữa hai engine.
  • Self-distillation: chọn và tinh chỉnh CoT đúng ngắn nhất, xóa lỗi số học tích lũy và tạo điểm khởi đầu ổn định cho RL tiếp theo.
  • Sample-level loss + bỏ KL penalty: ngăn suy luận kéo dài vô hạn sau khi đã có khả năng reasoning.
  • Tier-based training: chia câu hỏi thành 3 mức độ khó với ngân sách token khác nhau (4k, 16k, 64k), dạy mô hình phân bổ compute thích ứng.

Qua đó, mô hình tự phát triển các hành vi nhận thức nâng cao: anthropomorphism, structured formatting, self-verification, parallel reasoning, context anxiety.

Ví dụ đời thường: giống như người học một trò chơi mới không cần hướng dẫn — đầu tiên thử đủ cách (discovery), sau đó rút gọn và sắc bén hóa chiến thuật hiệu quả nhất (sharpening), cuối cùng tự biết chơi nhanh với câu đơn giản và nghĩ lâu với câu khó.

III. Main Results:​

  • Ring-2.5-1T-Zero (First Stage RL) đạt 84.2% trên AIME 2026 mà không cần dữ liệu người.
  • Mỗi giai đoạn đều cải thiện: First Stage RL → Self-Distillation → Second Stage RL → Third Stage RL; Second Stage RL đạt 93.5% AIME 2024, 91.6% AIME 2025, 92.5% AIME 2026.
  • Scaling lên 1T vượt trội 104B: mô hình 1T có sample efficiency và trần hiệu suất cao hơn hẳn, đặc biệt trên benchmark khó.
  • Emergent behaviors xuất hiện tự nhiên: mô hình tự tổ chức bước, tự kiểm tra, suy luận song song, và điều chỉnh độ sâu reasoning.
  • CoT quality framework: đánh giá theo comprehensibility, reproducibility, efficiency; mô hình sinh CoT có cấu trúc, ngắn gọn, dễ đọc.

IV. Conclusion & Future Works:​

Paper xác nhận "bài học đắng" (bitter lesson) ở quy mô 1T: compute và scale vượt trội các heuristic thiết kế thủ công. Zero RL tự thúc đẩy mô hình phát triển reasoning chất lượng cao mà không cần dữ liệu con người. Hướng tương lai: cải thiện chất lượng dữ liệu reasoning siêu dài cho chế độ High, giảm negative transfer giữa các tier, và mở rộng đánh giá CoT quality ra các miền ngoài toán học.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích chi tiết giai đoạn "discovery" và "sharpening" trong Zero RL — đo lường khi nào mỗi giai đoạn xuất hiện và điều kiện kích hoạt.
  2. Hệ thống hóa các emergent reasoning behaviors (self-verification, parallel reasoning) thành taxonomy để so sánh giữa các quy mô mô hình.
  3. Mở rộng tier-based adaptive compute cho các tác vụ đa miền (coding, khoa học, agentic planning) với reward verifiable.

2. Patent:​

  1. Trợ lý học toán trên điện thoại: app tạo lời giải từng bước có cấu trúc rõ ràng, tự kiểm tra và tự điều chỉnh độ dài giải thích theo trình độ người dùng, không cần người gán nhãn.
  2. Hệ thống tự học reasoning cho chatbot doanh nghiệp: mô hình tự cải thiện chuỗi suy luận từ phản hồi khách hàng, tự rút gọn và định dạng câu trả lời để nhân viên kiểm tra nhanh.
  3. Công cụ lập trình AI tự debug trong IDE: plugin sinh nhiều luồng suy luận song song, tự xác minh từng luồng, và chọn cách sửa lỗi code ngắn gọn nhất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.12395
ArXiv Abstracthttps://arxiv.org/abs/2607.12395
PDF Downloadhttps://arxiv.org/pdf/2607.12395.pdf
Github RepositoryN/A

4. KnowAct-GUIClaw: Know Deeply, Act Perfectly, Personal GUI Assistant with Self-Evolving Memory and Skill (46 votes)​

Tác giả: Yunxin Li, Jinchao Li, Shibo Su, Zhenran Xu, Chenrui Zhao, et al.

Xuất bản lúc: 2026-07-15

Tag: GUI Agents, Mobile Agents, OpenClaw, Personal Assistant, Self-Evolution, Memory, Skills, Cross-Platform

I. Main Problem:​

Các framework trợ lý cá nhân kiểu OpenClaw thiếu khả năng tương tác GUI đa nền tảng và cơ chế tự cải thiện từ kinh nghiệm chạy. Cụ thể:

  • Nhiều tác vụ thực tế đòi hỏi thao tác qua giao diện đồ họa thay vì API sạch sẽ.
  • GUI là môi trường quan sát từng phần (POMDP): agent chỉ thấy screenshot, cây UI, và lịch sử hành động hạn chế, dễ thất bại khi trạng thái thay đổi.
  • Các quỹ đạo thành công/thất bại thường bị vứt đi, buộc agent khám phá lại từ đầu.
  • Thiếu tích hợp shortcut nhanh như deeplink, intent, hoặc CLI tools, và không có cách lưu trữ, sửa chữa skill lâu dài.

II. Main Idea:​

KnowAct-GUIClaw tổ chức thực thi tác vụ GUI dài hạn theo vòng lặp Know–Route–Act–Reflect giữa một host agent và một GUI executor subagent:

  • Know: host thu thập ngữ cảnh, truy xuất memory cá nhân và skill liên quan, chỉ chuyển sang GUI executor khi thực sự cần quan sát trực tiếp.
  • Route: phân rã tác vụ thành chuỗi subtask đơn app hoặc cross-app, dùng blackboard để truyền dữ liệu định kiểu với ràng buộc đầu vào/đầu ra rõ ràng.
  • Act: GUI executor chạy vòng lặp observe–reason–act trên không gian hành động lai gồm primitive GUI, skill, deeplink/intent, và hành động xin can thiệp người dùng. Skill chỉ được dùng sau khi xác thực trạng thái màn hình.
  • Reflect: cô đọng quỹ đạo thành experience memory và skill có thể tái sử dụng; sửa chữa skill cũ khi gặp lỗi và trích xuất skill mới từ hành vi thành công.

Cách tiếp cận chia tách vai trò: host giữ ngữ cảnh dài hạn, phân bổ và định tuyến; executor chịu nhận thức màn hình và thao tác thiết bị, giúp tận dụng shortcut khi có thể và chỉ gọi GUI khi cần.

Ví dụ đời thường: Giống như người quản lý nhà hàng (host) nhận yêu cầu của khách, chia việc cho từng bếp (app) và ghi chú rõ món cần nấu; đầu bếp (GUI executor) làm theo công thức đã lưu (skill) nếu phù hợp, hoặc tự quan sát và thao tác tay khi gặp món mới, rồi sau ca họp lại rút kinh nghiệm để lần sau làm nhanh và ít sai hơn.

III. Main Results:​

  • Đạt SOTA trên MobileWorld GUI-Only với Kimi-K2.6: 64.1% SR (pass@1), vượt Seed-2.0-Pro (63.2%) và GPT-5.5 (62.4%).
  • Với Qwen3.5-35B-A3B, base executor đạt 24.8%; tích hợp host + memory tăng lên 34.5%; thêm skill lên 37.9%; dùng memory/skill chuyển giao từ Kimi-K2.6 lên 41.0% (+16.2 điểm so với base).
  • Memory và skill có thể chuyển giao giữa các base model: Kimi-K2.6 tăng 8.5% khi có memory và skill.
  • Triển khai cross-platform trên Android, iOS, HarmonyOS và Windows.
  • Thiết kế host–executor có chọn lọc giảm chi phí token và tăng tỷ lệ thành công cho tác vụ dài hạn.

IV. Conclusion & Future Works:​

KnowAct-GUIClaw cho thấy việc kết hợp memory có khả năng quy kết, skill tự tiến hóa, và phân tách host–executor giúp trợ lý cá nhân vượt qua giới hạn của GUI agent đơn lẻ và framework OpenClaw thuần túy. Hệ thống không chỉ cải thiện độ chính xác mà còn tái sử dụng kinh nghiệm qua nhiều nền tảng và mô hình nền. Hướng tương lai: mở rộng quy mô kỹ năng tự động, cải thiện khả năng tổng quát hóa skill giữa các nền tảng khác nhau, và tích hợp sâu hơn với các công cụ bên ngoài.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khái quát hóa skill GUI tự động qua nhiều nền tảng di động và desktop, giảm thiểu việc viết lại kỹ năng cho từng hệ điều hành.
  2. Kết hợp reflective memory với user profile để cá nhân hóa định tuyến tác vụ trong trợ lý cá nhân đa kênh.
  3. Mở rộng không gian hành động lai (hybrid action space) cho web agent và computer-use agent, tích hợp API, shortcut hệ thống, và GUI primitives trong một framework thống nhất.

2. Patent:​

  1. Trợ lý cá nhân trên điện thoại tự học cách thao tác app: ghi nhớ quy trình đặt vé, chuyển tiền, hoặc đăng bài theo thói quen người dùng, rồi thực hiện lại chỉ bằng một câu lệnh.
  2. Hệ thống chuyển đổi dữ liệu tự động giữa các app trên điện thoại: đọc thông tin từ app này, lưu vào bảng dữ liệu có cấu trúc, rồi điền vào form app khác mà không cần người dùng copy-paste thủ công.
  3. Module tự sửa lỗi giao diện cho ứng dụng di động: khi một shortcut hoặc skill thất bại do cập nhật UI, hệ thống tự ghi nhận và điều chỉnh lại các bước thao tác cho lần sau.
  4. Công cụ hỗ trợ người dùng khuyết tật thao tác điện thoại bằng giọng nói: trợ lý hiểu yêu cầu, phân rã thành các hành động GUI, và tự động điều hướng qua nhiều app để hoàn thành tác vụ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.12625
ArXiv Abstracthttps://arxiv.org/abs/2607.12625
PDF Downloadhttps://arxiv.org/pdf/2607.12625.pdf
Github Repositoryhttps://github.com/HITsz-TMG/KnowAct

5. OvisOCR2 Technical Report (43 votes)​

Tác giả: Shiyin Lu, Yinglun Li, Yu Xia, Yuhui Chen, An-Yang Ji, et al.

Xuất bản lúc: 2026-07-15

Tag: OCR, Document Parsing, Vision-Language Models, Reinforcement Learning, Distillation, Markdown Generation

I. Main Problem:​

Phân tích tài liệu hình ảnh thành Markdown có cấu trúc đang bị chia làm hai hướng không hoàn hảo:

  • Phương pháp pipeline (phân tích layout → nhận dạng vùng → ghép trang) vẫn dẫn đầu bảng xếp hạng nhưng phức tạp khi triển khai, lỗi tích lũy qua từng giai đoạn, và thường cần nhiều mô hình chạy riêng.
  • Phương pháp end-to-end đơn giản hơn nhưng hiệu suất vẫn thua pipeline trên các benchmark chính.

Thách thức là làm sao có một mô hình end-to-end nhỏ gọn, dễ triển khai, nhưng vẫn đạt chất lượng vượt trội trên cả văn bản, công thức, bảng biểu và thứ tự đọc.

II. Main Idea:​

OvisOCR2 là mô hình end-to-end 0.8B tham số, dựa trên Qwen3.5-0.8B, nhận ảnh trang tài liệu và sinh Markdown theo thứ tự đọc tự nhiên. Quy trình huấn luyện gồm hai nhánh:

  • Nhánh teacher 4B: supervised fine-tuning (SFT) → reinforcement learning (RL) với GRPO và phần thưởng đa thành phần (text, công thức, bảng) để căn chỉnh chính sách.
  • Nhánh student 0.8B: SFT → on-policy distillation (OPD) từ teacher 4B → model fusion, tạo mô hình cuối nhỏ gọn nhưng mang hành vi đã được RL tối ưu.

Bên cạnh đó, data engine kết hợp hai nguồn:

  • Dữ liệu thực được chuyển đổi từ đầu ra OCR parser (PaddleOCR-VL-1.5, MinerU2.5-Pro) thành Markdown thống nhất, lọc bằng quy tắc và kiểm tra mẫu thủ công.
  • Dữ liệu tổng hợp được render từ HTML, trong đó ảnh và nhãn Markdown sinh ra từ cùng một nguồn HTML, đảm bảo nhãn sạch và kiểm soát được các trường hợp khó (bảng phức tạp, công thức, chữ viết tay, layout nhiều cột).

Ví dụ đời thường: giống như một thư ký đọc một trang báo cáo hỗn độn và gõ lại thành văn bản Word hoàn chỉnh — không chỉ sao chép từng chữ, mà còn giữ đúng tiêu đề, bảng biểu, công thức, hình ảnh và thứ tự đọc — nhưng ở đây thư ký được rèn luyện bằng cách so sánh nhiều bản gõ khác nhau và chỉ giữ bản tốt nhất.

III. Main Results:​

  • OmniDocBench v1.6: đạt 96.58, đứng đầu bảng xếp hạng, đưa mô hình end-to-end vượt qua các phương pháp pipeline trước đây.
  • PureDocBench: đạt Avg3 = 75.06, cao nhất trong các phương pháp so sánh.
  • Benchmark nội bộ trên hơn 1.000 trang tài liệu đa dạng: đạt hiệu suất tổng thể tốt nhất, dẫn đầu ở cả ba cấp độ khó.
  • Khả năng tổng quát hóa: vượt trội đặc biệt trên các tập con khó như chữ viết tay và bảng phức tạp, những trường hợp thường gặp trong thực tế nhưng ít được bao phủ trong dữ liệu huấn luyện thông thường.

IV. Conclusion & Future Works:​

OvisOCR2 chứng minh rằng mô hình end-to-end nhỏ gọn có thể vượt qua pipeline phức tạp trong phân tích tài liệu, miễn là có data engine chất lượng cao và quy trình huấn luyện đa giai đoạn (SFT → RL → distillation → fusion). RL với phần thưởng cấu trúc và distillation on-policy là hai yếu tố then chốt giúp chuyển hành vi từ mô hình teacher 4B xuống mô hình 0.8B triển khai được.

Hướng tương lai: mở rộng sang nhiều ngôn ngữ hơn, tối ưu chi phí tính toán của RL trên dữ liệu đa phương thức, và nâng cao độ chính xác cho các tài liệu dài, nhiều trang và layout không chuẩn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng phương pháp RL đa thành phần và on-policy distillation cho các tác vụ chuyển đổi hình ảnh-thành-cấu trúc khác, như chuyển ảnh slide thành mã HTML hoặc chuyển bảng tính viết tay thành CSV.
  2. Xây dựng tập dữ liệu tổng hợp tài liệu đa ngôn ngữ từ HTML, để huấn luyện mô hình OCR end-to-end hiểu được cả tài liệu tiếng Trung, tiếng Anh, tiếng Việt và các ký tự toán học pha trộn.
  3. Nghiên cứu cách kết hợp phản hồi người dùng vào vòng lặp RL để mô hình tự cải thiện khi triển khai trong các ứng dụng thực tế, ví dụ học từ các sửa đổi Markdown của người dùng.

2. Patent:​

  1. Ứng dụng quét tài liệu trên điện thoại: người dùng chụp ảnh một trang sách, hóa đơn hoặc báo cáo, ứng dụng chạy mô hình OvisOCR2 0.8B trên thiết bị và trả về văn bản Markdown có cấu trúc, sẵn sàng sao chép, lưu ghi chú hoặc đồng bộ lên đám mây.
  2. Hệ thống nhập liệu hóa đơn tự động cho doanh nghiệp: máy quét hóa đơn giấy, mô hình trích xuất bảng sản phẩm, giá tiền, thuế và chuyển thành dữ liệu kế toán Markdown hoặc JSON mà không cần nhiều mô hình pipeline riêng biệt.
  3. Trợ thư đọc tài liệu cho người khiếm thị: chụp ảnh tài liệu bất kỳ, hệ thống phân tích layout, đọc theo đúng thứ tự tự nhiên (tránh đọc nhầm cột báo), mô tả bảng biểu và công thức bằng giọng nói tự nhiên.
  4. Hệ thống số hóa biểu mẫu giấy: chụp ảnh đơn xin việc, hợp đồng hoặc phiếu khảo sát, mô hình nhận diện các trường, tiêu đề, chữ ký và chuyển thành biểu mẫu điện tử có thể điền và chỉnh sửa.
  5. Máy quét lưu trữ tài liệu lịch sử: chuyển ảnh sách cũ, tạp chí, tài liệu chính phủ đã scan thành Markdown có cấu trúc, giữ nguyên tiêu đề mục lục, bảng biểu và chú thích hình ảnh để lập chỉ mục và tìm kiếm toàn văn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.13639
ArXiv Abstracthttps://arxiv.org/abs/2607.13639
PDF Downloadhttps://arxiv.org/pdf/2607.13639.pdf
Github RepositoryN/A

6. PolicyShiftGuard: Benchmarking and Improving Policy-Adaptive Image Guardrails (30 votes)​

Tác giả: Mingyang Song, Luxin Xu, Haoyu Sun, Minzhou Pan, Yu Cheng, et al.

Xuất bản lúc: 2026-07-07

Tag: Image Guardrails, Policy-Adaptation, Vision-Language Models, Content Moderation, Multimodal Safety, Benchmarking

I. Main Problem:​

Các hệ thống image guardrail hiện tại được huấn luyện và đánh giá dưới một chính sách an toàn cố định, ngầm coi sự an toàn là thuộc tính nội tại của ảnh. Trong triển khai thực tế, cùng một ảnh có thể được cho phép ở sản phẩm này, bị hạn chế ở sản phẩm khác, hoặc bị cấm khi chính sách thay đổi. Các benchmark truyền thống gán một nhãn duy nhất cho mỗi ảnh, thiếu policy bundle thời gian chạy, khả năng lắp ráp chính sách theo danh mục, và thước đo đo lường policy flip trên cùng một ảnh. Kết quả là các VLM và guardrail chuyên biệt đạt F1 khá nhưng PSS rất thấp: chúng nhận ra nội dung rủi ro nhưng không điều chỉnh quyết định khi chính sách thay đổi.

II. Main Idea:​

PolicyShiftGuard là guardrail nhỏ gọn theo điều kiện chính sách, huấn luyện theo hai giai đoạn để tách nhận thức thuộc tính hình ảnh khỏi phán quyết chính sách.

Quy trình dữ liệu:

  • Mỗi ảnh được ba VLM gán các thuộc tính rủi ro (ví dụ: khỏa thân, vũ khí, bản quyền, PII, văn bản nguy hại).
  • Các thuộc tính được tổng hợp theo đa số phiếu, tạo metadata có thể kiểm toán.
  • Nhãn cuối được suy ra bằng luật chính sách thực thi được, để cùng một ảnh với cùng bằng chứng hình ảnh có thể nhận nhãn pass/block khác nhau khi chính sách khác nhau.

Hai giai đoạn huấn luyện:

  • RP-SFT (Randomized Policy SFT): dạy mô hình làm theo policy bundle với thứ tự/danh hiệu ngẫu nhiên và xuất ra quyết định ngắn gọn (false hoặc true | c).
  • BP-Adapt (Boundary-Pair Policy Adaptation): tinh chỉnh trên các boundary pair — cùng ảnh, cùng danh mục rủi ro, một chính sách cho phép và một chính sách chặn. Mất mát gồm cross-entropy, nhãn, danh mục, và pair margin loss để buộc policy chặn có điểm unsafe cao hơn policy cho phép.

Ví dụ đời thường: giống như bảo vệ tòa nhà không ghi nhớ mặt người nào “cấm vào”, mà mỗi lần có người đến đều mở sổ quy định đang áp dụng hôm nay để xem trang phục/vật dụng của họ có vi phạm quy định hiện hành không, dù hôm qua cùng trang phục đó có thể được phép.

III. Main Results:​

  • POLICYSHIFTBENCH: 265 ảnh, 2.000 instance đánh giá, 28 chính sách lắp ráp từ 7 nhóm rủi ro và 5 kịch bản kiểm duyệt; mỗi ảnh trung bình 7.55 prompt theo chính sách, 262/265 ảnh có cả nhãn pass và block.
  • PolicyShiftGuard-7B đạt SOTA: Avg. F1 = 76.9, Avg. PSS = 72.1; PolicyShiftGuard-3B đạt 73.8 Avg. F1 và 64.8 Avg. PSS.
  • Cải thiện mạnh so với Qwen2.5-VL-7B: Avg. F1 từ 20.6 lên 76.9, Avg. PSS từ 4.8 lên 72.1.
  • Khả năng chuyển giao: PolicyShiftGuard-7B đạt điểm tổng thể tốt nhất trên UnSafeBench, SafeEditBench, và POLICYSHIFTBENCH.
  • Tốc độ: PolicyShiftGuard-7B giảm độ trễ từ 273.3 ms xuống 163.9 ms, vượt Gemini-3-Flash-Preview về F1/PSS trong khi nhanh hơn hơn một bậc độ lớn.
  • Ablations: RP-SFT tăng F1; pair loss là thành phần cốt lõi; huấn luyện không suy luận (no-think) vượt trội so với thinking/RL; chỉ thêm dữ liệu post-training không đủ.
  • Phát hiện chính: nhiều mô hình có F1 khá nhưng PSS rất thấp (ví dụ GuardReasoner-VL-3B 59.2 F1 vs 3.2 PSS); scale model giúp nhưng không giải quyết policy adaptation; các danh mục nhạy cảm về hàng hóa quản chế, IP, quyền riêng tư, text-in-image khó hơn khỏa thân/bạo lực.

IV. Conclusion & Future Works:​

Cần đánh giá guardrail đa phương thức dựa trên khả năng neo quyết định vào chính sách đang thực thi, không chỉ nhận diện safe/unsafe cố định. PolicyShiftGuard cho thấy huấn luyện boundary-pair và dữ liệu có thể kiểm toán giúp cải thiện độ nhạy chính sách và giữ độ trễ thấp. Hướng tương lai:

  • mở rộng lên video và luồng nội dung thời gian thực với chính sách thay đổi liên tục;
  • cho phép người dùng/ứng dụng cập nhật chính sách bằng ngôn ngữ tự nhiên;
  • nghiên cứu tính mạnh trước các cuộc tấn công làm rối chính sách (policy confusion) và jailbreak;
  • tích hợp kiểm toán con người vào chuỗi quyết định để giải thích mức vi phạm.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Benchmark và phương pháp policy-adaptive cho video luồng trực tiếp, với chính sách có thể thay đổi theo khung hình và ngữ cảnh.
  2. Hệ thống guardrail cho phép người dùng chỉnh sửa chính sách bằng ngôn ngữ tự nhiên và tự động chuyển đổi thành luật thực thi.
  3. Đánh giá độ bền của guardrail trước các cuộc tấn công làm sai lệch chính sách và jailbreak đa phương thức.
  4. Kỹ thuật huấn luyện guardrail nhẹ cho thiết bị di động với policy bundle cục bộ và độ trễ thấp.

2. Patent:​

  1. SDK kiểm duyệt ảnh trên điện thoại: ứng dụng mạng xã hội hoặc nhắn tin tải policy bundle phù hợp với độ tuổi/khu vực; mô hình guardrail nhỏ trên thiết bị phân loại ảnh người dùng tải lên là cho phép hay chặn theo chính sách đang áp dụng, đồng thời trả về mã danh mục vi phạm để kiểm toán.
  2. Hệ thống kiểm soát nội dung cho phụ huynh: điện thoại của trẻ cài đặt chính sách child-safe có thể thay đổi theo độ tuổi; guardrail quét ảnh và chụp màn hình trước khi chia sẻ, chặn hoặc cảnh báo nếu ảnh vi phạm chính sách đang bật.
  3. Cổng kiểm duyệt quảng cáo thương hiệu: nhà quảng cáo cung cấp bộ quy tắc thương hiệu; hệ thống guardrail quét hình ảnh chiến dịch trước khi đăng để đảm bảo không chứa khỏa thân, bạo lực, vi phạm bản quyền theo chính sách của thương hiệu, trả kết quả nhanh cho pipeline xuất bản.
  4. Cổng bảo vệ đầu ra hình ảnh từ AI: mô hình tạo ảnh từ văn bản tích hợp guardrail để kiểm tra ảnh sinh ra đối chiếu với policy bundle của nền tảng; nếu vi phạm, từ chối hiển thị và chỉ rõ danh mục rủi ro, giúp điều chỉnh chính sách theo từng thị trường.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.05910
ArXiv Abstracthttps://arxiv.org/abs/2607.05910
PDF Downloadhttps://arxiv.org/pdf/2607.05910.pdf
Github Repositoryhttps://github.com/ssmisya/PolicyShiftGuard

7. GigaWorld-Policy-0.5: A Faster and Stronger WAM Empowered by AutoResearch (23 votes)​

Tác giả: GigaWorld Team, Angen Ye, Angyuan Ma, Boyuan Wang, Chaojun Ni, et al.

Xuất bản lúc: 2026-07-15

Tag: World Action Model, Robotics, Mixture-of-Transformers, AutoResearch, Vision-Language-Action

I. Main Problem:​

Các mô hình World Action Model (WAM) hiện có thường tạo video tương lai ngay cả trong quá trình suy diễn, dẫn đến:

  • chi phí tính toán lớn do token video nặng hơn token hành động rất nhiều
  • độ trễ cao, cản trở triển khai điều khiển vòng kín theo thời gian thực
  • lỗi tích lũy từ các khung hình tưởng tượng làm suy yếu sinh hành động trong tầm dài hạn

Thách thức là làm sao giữ lợi ích của việc học động lực học trực quan mà không cần tạo video tương lai tốn kém khi chạy thực tế.

II. Main Idea:​

GigaWorld-Policy-0.5 đề xuất một WAM lấy hành động làm trung tâm (action-centered): dùng mô hình hóa trực quan tương lai làm giám sát dày đặc trong huấn luyện, nhưng khi suy diễn chỉ giải mã riêng hành động, bỏ qua bước sinh video.

Ba cải tiến chính:

  • Mixture-of-Transformers (MoT): tách chuyên gia xử lý động lực học trực quan (visual expert) và chuyên gia sinh hành động (action expert). Action expert nhẹ hơn nhiều, cho phép đường suy diễn chỉ hành động tiết kiệm phép tính.
  • Tiền huấn luyện hỗn hợp AC-WM + WAM: kết hợp Action-Conditioned World Modeling với World Action Model để tăng cường mối liên kết giữa hành động và biến đổi trực quan, cải thiện khả năng chuyển giao biểu diễn hành động.
  • AutoResearch: pipeline dựa trên agent tự động thử nghiệm pilot, thu thập metric validation, chọn cấu hình tốt và đẩy lên huấn luyện dài hơn, giảm can thiệp thủ công khi chỉnh hyperparameter.

Ví dụ đời thường: giống như một đầu bếp trong lúc tập nghề tưởng tượng thành phẩm để củng cố kỹ thuật, nhưng khi phục vụ khách thì chỉ thực hiện thao tác nấu một cách tự động; nhà bếp có hai khu vực chuyên môn — một bộ phận lập kế hoạch nguyên liệu và một bộ phận xào nấu nhanh — để món ăn ra nhanh mà vẫn đúng chuẩn.

III. Main Results:​

  • Hiệu quả suy diễn: độ trễ 189 ms trên A100, 110 ms trên RTX 4090, và chỉ 85 ms khi triển khai bằng runtime C++ — nhanh hơn 23% so với π0.5 và 53% so với FastWAM trên cùng phần cứng.
  • Theo chỉ dẫn ngôn ngữ (fruit-picking): đạt success rate trung bình 0.85, vượt π0.5 (+0.09), Motus (+0.05), FastWAM (+0.07) và GigaWorld-Policy (+0.05).
  • Đặt vật thể theo quan hệ không gian: đạt 0.89, vượt baseline mạnh nhất là Motus (+0.06), cho thấy khả năng gắn kết ngôn ngữ và mục tiêu vị trí tốt hơn.
  • Tác vụ dài hạn (Food Heating, Tableware Arrangement): đạt 0.80, cao hơn 33% so với baseline mạnh nhất trước đó (0.60), cho thấy lợi ích lớn từ biểu diễn động lực học trong chuỗi hành động dài.
  • Ablation tiền huấn luyện hỗn hợp: mô hình huấn luyện bằng AC-WM + WAM hội tụ nhanh hơn và đạt 0.85 trong khi baseline chỉ WAM thấp hơn, cho thấy biểu diễn hành động chuyển giao tốt hơn.

IV. Conclusion & Future Works:​

GigaWorld-Policy-0.5 chứng minh rằng lợi ích của world modeling trong điều khiển robot không nhất thiết phải đi kèm với chi phí sinh video tương lai khi suy diễn. Bằng cách tách chuyên gia trực quan và chuyên gia hành động, kết hợp AC-WM trong tiền huấn luyện, và dùng AutoResearch để tối ưu cấu hình, mô hình đạt được cả hiệu suất cao lẫn độ trễ thấp trên phần cứng biên. Hướng tương lai: mở rộng quy mô MoT cho nhiều hình thái robot, tối ưu thêm đường C++ cho các nền tảng nhúng, và tích hợp AutoResearch sâu hơn vào toàn bộ pipeline thiết kế mô hình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích lý thuyết tại sao việc tách chuyên gia trực quan và chuyên gia hành động trong MoT không làm mất thông tin động lực học cần thiết cho sinh hành động.
  2. Mở rộng action-centered WAM cho điều khiển đa robot (multi-embodiment), trong đó action expert được chia sẻ còn visual expert thích ứng với từng hình thái.
  3. Kết hợp AutoResearch với tìm kiếm kiến trúc (Neural Architecture Search) để tự động hóa cả thiết kế mô hình và siêu tham số cho WAM.

2. Patent:​

  1. Hệ thống điều khiển cánh tay robot biên cho nhà máy: sử dụng mô hình MoT với action expert nhẹ để suy diễn hành động cục bộ trên card RTX 4090 với độ trễ dưới 100 ms, trong khi visual expert chỉ kích hoạt khi cần hiệu chỉnh hoặc huấn luyện lại.
  2. Ứng dụng điện thoại thông minh điều khiển robot gia đình: điện thoại đóng vai trò camera và giao tiếp ngôn ngữ; robot thực hiện hành động chỉ trong 85 ms/lần nhờ action-only inference, đảm bảo phản hồi mượt mà khi người dùng ra lệnh bằng giọng nói.
  3. Module AutoResearch dạng dịch vụ đám mây cho robot: tự động chạy thử nghiệm pilot, đánh giá validation và đề xuất cấu hình huấn luyện tối ưu cho từng tác vụ/từng robot mới, giảm thời gian triển khai từ tuần xuống còn vài giờ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.13960
ArXiv Abstracthttps://arxiv.org/abs/2607.13960
PDF Downloadhttps://arxiv.org/pdf/2607.13960.pdf
Github RepositoryN/A

8. MetaView: Monocular Novel View Synthesis with Scale-Aware Implicit Geometry Priors (23 votes)​

Tác giả: Yufei Cai, Xuesong Niu, Hao Lu, Kun Gai, Kai Wu, et al.

Xuất bản lúc: 2026-07-13

Tag: Novel View Synthesis, Diffusion Models, Monocular Depth, Geometry Priors, Camera Control, MM-DiT, Implicit Geometry

I. Main Problem:​

Các mô hình tạo hình ảnh hiện đại có thể tạo nội dung chất lượng cao nhưng thiếu nhận thức không gian mạch lạc. Phương pháp novel view synthesis trước đây gặp hai hướng tiếp cận đối lập:

  • Phương pháp dựa trên reconstruction (ViewCrafter, Gen3C, PE-Field): sử dụng biểu diễn 3D tường minh để đảm bảo tính nhất quán cục bộ, nhưng bị giới hạn bởi chất lượng reconstruction và khó khái quát hóa khi góc nhìn thay đổi lớn.
  • Phương pháp thuần implicit (HY-World, Lingbot-World): linh hoạt hơn nhưng thiếu kiểm soát camera chính xác và gặp scale drifting — hình học không gian mơ hồ, khiến điều khiển góc máy không ổn định.

Thách thức là cân bằng giữa tính nhất quán hình học và khả năng khái quát hóa dưới thay đổi góc nhìn lớn từ một ảnh đơn.

II. Main Idea:​

MetaView là framework diffusion-based tổng hợp góc nhìn mới từ một ảnh đơn, kết hợp mô hình hình học implicit với các gợi ý 3D tường minh tối thiểu nhưng thiết yếu. Quy trình chính:

  • Implicit geometry priors: Trích xuất đặc trưng phân cấp từ mạng cảm nhận hình học feed-forward (DepthAnything3) để regularize cấu trúc cảnh mà không cần pipeline reconstruction cồng kềnh.
  • Scale-aware camera control: Mã hóa intrinsic/extrinsic camera vào RoPE (theo PRoPE), đồng thời cấp thêm một chiều z-axis chứa metric depth từ DepthAnything3-Metric để neo quá trình tạo sinh vào thang đo metric, khử mơ hồ tỷ lệ.
  • Non-invasive adaptation: Dựa trên mô hình pretrained MM-DiT / Qwen-Image-Edit, đóng băng toàn bộ tham số gốc, thêm parallel attention layers cho geometry tokens, tích hợp tín hiệu 3D mà không làm mất kiến thức ngữ nghĩa đã học.

Ví dụ đời thường: giống như người vẽ tranh phối cảnh không cần đo đạc từng viên gạch xây mô hình 3D, mà chỉ cần một vài gợi ý về khoảng cách và hướng nhìn để tưởng tượng không gian đúng tỷ lệ, rồi vẽ góc nhìn mới tự nhiên và mạch lạc.

III. Main Results:​

  • Vượt trội trên các benchmark: MetaView vượt các baseline cả reconstruction-based và implicit-based trên DL3DV, RealEstate10K và Sekai-Real-Walking-HQ, đặc biệt rõ rệt ở tập hard (góc nhìn thay đổi lớn, chồng chéo 30–50%).
  • Khả năng khái quát hóa: Hoạt động tốt trên nhiều loại cảnh đa dạng (trong nhà, ngoài trời, đi bộ) mà không bị giới hạn bởi chất lượng reconstruction thưa.
  • Kiểm soát camera chính xác: Giải quyết scale drifting nhờ metric depth, giúp điều khiển góc máy ổn định hơn so với các phương pháp implicit thuần túy.
  • Metric mới: Đề xuất DenseMatchingDistance (DMD) để đánh giá sự căn chỉnh không gian chính xác hơn các metric cấp thấp như PSNR/SSIM trong bài toán NVS góc nhìn lớn.

IV. Conclusion & Future Works:​

MetaView chứng minh rằng có thể đạt được cả tính nhất quán hình học và khả năng khái quát hóa trong monocular novel view synthesis mà không cần reconstruction pipeline tường minh. Bằng cách kết hợp implicit geometry priors với metric scale cues, framework cân bằng được điểm mạnh của cả hai hướng tiếp cận trước đây. Hướng tương lai: mở rộng cho video dài/đa khung hình, tích hợp với các mô hình world model tương tác, và cải thiện độ chính xác của metric depth trong cảnh có độ sâu phức tạp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng MetaView cho tổng hợp video 4D từ ảnh đơn, duy trì tính nhất quán không gian-thời gian trong các cảnh động.
  2. Kết hợp implicit geometry priors với các mô hình generative 3D khác như Gaussian Splatting để tăng tốc suy luận real-time.
  3. Phát triển phương pháp tự hiệu chỉnh metric depth cho từng miền dữ liệu mới mà không cần fine-tune toàn bộ mô hình diffusion.

2. Patent:​

  1. Ứng dụng chụp ảnh trên điện thoại: người dùng chụp một ảnh, nhập góc máy mong muốn, hệ thống tổng hợp ảnh góc nhìn mới với độ sâu metric chính xác để chỉnh sửa nội thất hoặc xem trước không gian.
  2. Hệ thống hỗ trợ lái xe/bản đồ: từ một ảnh camera đơn, tổng hợp các góc nhìn xung quanh phương tiện để phát hiện vật cản và hỗ trợ định vị mà không cần nhiều camera.
  3. Công cụ thiết kế kiến trúc nội thất: nhà thiết kế tải ảnh phòng, di chuyển camera ảo để xem không gian từ mọi góc độ, hệ thống giữ nguyên tỷ lệ và cấu trúc 3D nhờ metric depth.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.12000
ArXiv Abstracthttps://arxiv.org/abs/2607.12000
PDF Downloadhttps://arxiv.org/pdf/2607.12000.pdf
Github Repositoryhttps://github.com/KlingAIResearch/MetaView

9. Registers Matter for Pixel-Space Diffusion Transformers (16 votes)​

Tác giả: Nikita Starodubcev, Ilia Sudakov, Ilya Drobyshevskiy, Artem Babenko, Dmitry Baranchuk

Xuất bản lúc: 2026-07-06

Tag: Diffusion Transformers, Register Tokens, Pixel-Space Diffusion, Image Generation, Guidance Methods

I. Main Problem:​

Vision Transformers (ViTs) gặp hiện tượng patch-token outlier có norm cao, làm xuống cấp attention map, và register tokens được dùng để khắc phục. Khi Diffusion Transformers (DiTs) chuyển sang kiến trúc transformer và huấn luyện trực tiếp trên pixel space, hai câu hỏi nổi lên:

  • DiTs có xuất hiện outlier giống ViTs không?
  • Register tokens có giúp ích cho DiTs không?

Hơn nữa, pixel-space DiT phải xử lý không gian chiều cao và nhiễu lớn, khiến các đặc trưng trung gian dễ bị nhiễu và thiếu cấu trúc không gian, trong khi latent-space DiT đã được nén và có cấu trúc hơn.

II. Main Idea:​

Bài báo chứng minh DiT không có outlier ở patch tokens như ViTs, nhưng vẫn hưởng lợi lớn khi thêm một số register tokens học được vào chuỗi patch. Cơ chế khác ViT:

  • Norm sinks: một số register trở thành outlier, hấp thụ phần norm/magnitude từ patch tokens, giúp patch tokens giảm norm.
  • Global information carriers: một số register khác mã hóa thông tin ngữ nghĩa toàn cục (background, bộ phận đối tượng).
  • Kết quả là feature maps trung gian mượt hơn, đặc biệt ở mức nhiễu cao (timestep nhỏ), nơi flow-matching định hình nội dung chính.
  • Hiệu quả lớn nhất ở pixel-space; latent-space chỉ cải thiện nhẹ hoặc thậm chí giảm (RAE-space).

Từ đó, tác giả đề xuất Register Guidance (RG): huấn luyện một mô hình duy nhất có thể bật/tắt register, rồi ở inference dùng sự khác biệt giữa dự đoán có register và không register như một hướng hướng dẫn bổ sung, tương tự AutoGuidance nhưng không cần mô hình yếu riêng.

Ví dụ đời thường: giống như một nhóm làm việc có thêm trợ lý ghi chép chuyên trách — người đó hút bớt các công việc lặt vặt và nắm tổng thể, giúp các thành viên còn lại tập trung vào chuyên môn; Register Guidance như việc so sánh bản thuyết trình khi có trợ lý và khi không có trợ lý, rồi lấy điểm khác biệt để chỉnh lại kết quả cuối.

III. Main Results:​

  • DiT không có patch-token outlier: theo Hình 2, norm của patch tokens trong pDiT gần như đều, không giống DINOv2 với một số token norm cao bất thường.
  • Registers vẫn giúp DiT: trên pDiT-B/16 ImageNet 256×256, FID giảm từ 7.395 → 5.30 ở epoch 200 và 4.80 → 3.80 ở epoch 600 khi thêm registers; PixelDiT-XL/16 giảm từ 2.74 → 2.24 (epoch 80) và 2.25 → 2.12 (epoch 120).
  • Pixel-space hưởng lợi nhiều nhất: pDiT backbone trong pixel-space giảm FID rõ rệt; trong VAE-space cải thiện ít; trong RAE-space thậm chí xấu đi (Bảng 2).
  • Registers nên đặt ở các tầng sâu: pDiT-B/16 đạt FID tốt nhất khi registers bắt đầu từ block 4 trở đi, dùng 32 tokens (Bảng 3).
  • Register Guidance hiệu quả: trên ImageNet 256×256, JiT-B/16 đạt FID 3.32 với RG+CFG so với 3.71 chỉ CFG; JiT-L/16 đạt 2.16 so với 2.47; JiT-H/16 đạt 1.80 so với 1.86 (Bảng 5 và 6).
  • In-context conditioning ngầm là registers: các token class nhân bản trong JiT cũng phân hóa thành norm sinks và carriers thông tin toàn cục, giải thích phần lớn lợi ích của phương pháp này.

IV. Conclusion & Future Works:​

Registers quan trọng trong pixel-space DiT theo cơ chế khác hẳn ViT: chúng không chỉ hấp thụ outlier mà còn làm mượt đặc trưng trung gian và mã hóa thông tin toàn cục, đặc biệt hữu ích ở mức nhiễu cao. Register Guidance cung cấp cách tăng cường hiệu ứng này bằng một mô hình thống nhất, không cần mô hình yếu riêng, và bổ sung tốt với CFG.

Hướng mở rộng:

  • Khảo sát register tokens trong các mô hình text-to-image và video diffusion transformers.
  • Tối ưu số lượng, vị trí và lịch dropout của registers theo timestep hoặc nội dung ảnh.
  • Kết hợp Register Guidance với các phương pháp căn chỉnh đặc trưng như REPA để cải thiện hội tụ và chất lượng.
  • Phân tích lý thuyết sâu hơn về vai trò norm sinks và carriers trong quá trình diffusion.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích cơ chế register tokens trong diffusion transformers: sự phân hóa giữa norm sinks và global information carriers qua các không gian huấn luyện (pixel, VAE, RAE) và các quy mô mô hình.
  2. Mở rộng register tokens và Register Guidance cho text-to-image diffusion transformers (MM-DiT) và video diffusion transformers, kiểm tra xem một số text tokens có thực sự hoạt động như implicit registers.
  3. Kết hợp Register Guidance với REPA hoặc iREPA: điều chỉnh tỷ lệ dropout registers và tham số hướng dẫn để tận dụng đồng thời cả căn chỉnh đặc trưng và làm mượt đặc trưng.
  4. Thiết kế registers thích ứng: tự động chọn số lượng và vị trí register tokens theo mức nhiễu hoặc độ phức tạp của ảnh, thay vì cấu hình cố định.

2. Patent:​

  1. Ứng dụng tạo ảnh trên điện thoại di động sử dụng pixel-space DiT kết hợp Register Guidance: cải thiện cấu trúc đối tượng và giảm artifact khi người dùng nhập prompt văn bản hoặc chọn phong cách, chạy cục bộ hoặc trên đám mây.
  2. Module chỉnh sửa ảnh AI trong dịch vụ lưu trữ ảnh đám mây: tự động tái tạo hoặc nâng cấp ảnh độ phân giải thấp bằng pixel-space DiT có register tokens, đảm bảo chi tiết và tính liên tục của vật thể khi phóng to hoặc khôi phục.
  3. Hệ thống tạo ảnh sản phẩm thương mại điện tử: nhập mô tả sản phẩm và danh mục, mô hình dùng register tokens để cố định bố cục toàn cục và kiểu dáng, tạo nhiều ảnh quảng cáo nhất quán cho các sản phẩm khác nhau.
  4. Công cụ tạo khung hình video ổn định trên thiết bị di động: áp dụng Register Guidance trong diffusion transformer để duy trì cấu trúc vật thể và giảm rung giật giữa các khung hình khi tạo hoặc nội suy video ngắn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.16147
ArXiv Abstracthttps://arxiv.org/abs/2605.16147
PDF Downloadhttps://arxiv.org/pdf/2605.16147.pdf
Github Repositoryhttps://github.com/quickjkee/register-guidance

10. Self-Improvements in Modern Agentic Systems: A Survey (14 votes)​

Tác giả: Zhe Ren, Yimeng Chen, Dandan Guo, Guowei Rong, Tonghui Li, et al.

Xuất bản lúc: 2026-07-14

Tag: Self-Improving Agents, Agentic Systems, Foundation Models, Scaffolding, Prompt Optimization, Tool Learning, Memory Systems, Survey

I. Main Problem:​

Các hệ thống agentic hiện đại đang chuyển từ nghiên cứu sang triển khai, nhưng cơ chế tự cải thiện bị phân mảnh về thuật ngữ và phạm vi. Các công trình dùng nhãn khác nhau như self-correction, meta-prompting, self-play, khiến những tương đồng cơ chế bị che lấp. Thiếu một khung thống nhất phân biệt việc cập nhật tham số mô hình nền tảng với việc cập nhật scaffold vận hành (hướng dẫn, bộ nhớ, công cụ, logic điều khiển), đồng thời thiếu liên hệ lịch sử với các nguồn gốc self-improvement trong AI cổ điển.

II. Main Idea:​

Bài khảo sát đề xuất xem agent hiện đại là cặp (mô hình nền tảng, scaffold vận hành) và định nghĩa self-improvement là toán tử cập nhật tự gây ra: agent tự thu thập tín hiệu từ kinh nghiệm và ghi nhận vào một trong hai nền tảng:

  • Foundation Model Improvement: cập nhật trọng số mô hình qua các tín hiệu từ bản thân mô hình — minh chứng sinh ra nội bộ, phản hồi đánh giá nội bộ, hoặc kinh nghiệm thăm dò bên ngoài.
  • Scaffolding Improvement: cập nhật scaffold mà không đổi tham số mô hình, gồm tối ưu prompt, tiến hóa bộ nhớ, điều phối/tạo công cụ, và thiết kế lại toàn bộ scaffold.

Cách tiếp cận này cho phép so sánh các phương pháp trên cùng một cơ sở: cập nhật gì và tín hiệu cải thiện từ đâu.

Ví dụ đời thường: giống như một đầu bếp vừa nấu vừa tự điều chỉnh — có thể cải thiện kỹ năng cơ bản bằng luyện tập (cập nhật năng lực bản thân), hoặc chỉnh công thức, dụng cụ, ghi chú trên bếp để nấu hiệu quả hơn ngay lập tức mà không cần thay đổi bản chất.

III. Main Results:​

Đây là bài khảo sát tổng hợp, không phải thực nghiệm mới. Các kết quả chính là:

  • Đề xuất khung thống nhất với hai đường cải thiện — foundation model và scaffold — mỗi đường chia thành các tín hiệu và thành phần cụ thể.
  • Liệt kê và vị trí hóa hàng trăm công trình đại diện từ 2023–2026 trên một timeline phân loại.
  • Ánh xạ các cơ chế sang 6 lĩnh vực ứng dụng: kỹ thuật phần mềm, duyệt web và tự động hóa, game/chiến lược, khám phá khoa học, AI nhúng/robotics, và điều khiển máy tính chung.
  • Phân tích phương pháp đánh giá: đo lường dựa trên metric so với đo lường dựa trên judge agent, cùng với phân biệt benchmark cấp cơ chế và benchmark cấp lĩnh vực.
  • Chỉ ra các khoảng trống: tín hiệu đánh giá nội bộ còn yếu, nguy cơ lạm dụng tín hiệu (reward hacking), và thách thức an toàn khi agent tự sửa đổi chính mình đệ quy.

IV. Conclusion & Future Works:​

Các agent tự cải thiện đang trở thành hệ thống thực, nhưng cần khung đánh giá và thiết kế chặt chẽ để tránh drift và lạm dụng tín hiệu. Cần tích hợp hai đường cải thiện (mô hình và scaffold), xây dựng cơ chế đánh giá nội bộ đáng tin cậy, và đảm bảo an toàn trong vòng lặp cải tiến đệ quy. Hướng tương lai: kết hợp world models, tự chứng minh tính đúng đắn của bản cập nhật, đánh giá liên tục, và mở rộng sang môi trường thực phức tạp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Thiết kế một agent tự cải thiện có thể đồng thời cập nhật trọng số mô hình nền tảng và tiến hóa scaffold, kèm cơ chế bảo đảm tính đúng đắn của các bản cập nhật tự sinh.
  2. Xây dựng benchmark cấp cơ chế để đo lường khả năng tự cải thiện thực sự của agent, không chỉ hiệu suất tác vụ cuối cùng.
  3. Phát triển phương pháp tự đánh giá đáng tin cậy để giảm phụ thuộc vào phản hồi bên ngoài trong vòng lặp cải thiện đệ quy.

2. Patent:​

  1. Trợ lý lập trình tự cải thiện: agent tự phân tích các lỗi và bản sửa trong dự án phần mềm, cập nhật hướng dẫn và bộ nhớ kinh nghiệm để sửa bug nhanh hơn mà không cần huấn luyện lại mô hình lớn.
  2. Trợ lý trên điện thoại tự học thao tác ứng dụng: quan sát cách người dùng tương tác với giao diện, agent tự tinh chỉnh công cụ và ghi nhớ quy trình để tự động hóa các tác vụ lặp lại trên thiết bị di động.
  3. Nền tảng tự động hóa nghiên cứu khoa học: agent kết nối với công cụ thí nghiệm mô phỏng, tự thiết kế thí nghiệm, ghi nhớ các giả thuyết thất bại/thành công và cải thiện chiến lược thử nghiệm qua nhiều vòng lặp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.13104
ArXiv Abstracthttps://arxiv.org/abs/2607.13104
PDF Downloadhttps://arxiv.org/pdf/2607.13104.pdf
Github Repositoryhttps://github.com/selfimproving-agent/awesome-Self-Improving-Agents

11. ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation (12 votes)​

Tác giả: Qingyu Zhang, Qianhao Yuan, Hongyu Lin, Yaojie Lu, Xianpei Han, et al.

Xuất bản lúc: 2026-07-14

Tag: LLMs, Structured Pruning, Knowledge Distillation, On-Policy Distillation, Model Compression, Post-Training Recovery

I. Main Problem:​

Cắt giảm cấu trúc (structured pruning) là cách nén LLM thân thiện với phần cứng, nhưng hầu hết các điểm chuẩn trước đây chỉ đánh giá trên nhiệm vụ nhận dạng dạng trắc nghiệm (MMLU, HellaSwag), che giấu sự sụp đổ trên tạo văn bản tự do (toán, code, hội thoại) mà triển khai thực tế cần. Ví dụ, chỉ cần xóa 4 trong 36 lớp của Qwen3-4B-Instruct là pass@1 greedy trên toán/code gần như biến mất. Tuy nhiên, hai quan sát cho thấy vẫn có thể phục hồi:

  • Các chuỗi đúng không bị xóa, mà bị đẩy xuống dưới: pass@k tăng dần khi lấy mẫu nhiều, thậm chí trên GSM8K vượt qua cả điểm greedy của teacher khi k đủ lớn.
  • Thất bại chủ yếu là lặp lại hậu tố: mô hình cắt dễ rơi vào vòng lặp ở cuối chuỗi sinh, và những token lặp này mang rất ít tín hiệu distillation.

II. Main Idea:​

ShortOPD xây dựng trên On-Policy Distillation (OPD) — mô hình con bị cắt tự sinh các rollout, rồi học để khớp phân phối token tiếp theo của chính bản thân chưa bị cắt (frozen pre-compression teacher) trên từng vị trí của chuỗi con tự tạo ra. Điểm mới là bộ điều khiển ngân sách rollout ngắn-dài:

  • Phát hiện hậu tố bị lặp lại được teacher xác nhận.
  • Coi phần trước hậu tố đó là độ dài hữu ích (effective length) của rollout.
  • Khi tỷ lệ lặp cao, rút ngắn ngân sách rollout về gần độ dài hữu ích; khi lặp thấp và nhiều rollout sạch bị cắt ngắn, kéo dài ngân sách để khôi phục khả năng sinh dài.
  • Dùng EMA để tránh dao động; tất cả thống kê tái sử dụng token/teacher scores đã tính, không tốn thêm forward pass.

Ví dụ đời thường: giống như huấn luyện viên dạy người mới tập viết lại sau tai nạn — thay vì bắt viết ngay cả đoạn văn dài, thầy cắt bỏ phần chữ viết lặp lại vô nghĩa ở cuối, chỉ cho luyện đến đoạn còn khỏe, rồi từ từ tăng độ dài khi tay đã vững.

III. Main Results:​

  • Trên Qwen3-4B-Instruct cắt 25%, ShortOPD đạt 48.46 Avg (8 tác vụ), gần gấp 9 lần mô hình cắt chưa phục hồi (5.71) và đạt 64.5% điểm của teacher nguyên bản (75.17).
  • Vượt xa các công thức phục hồi chuẩn: SFT w/o KD, SeqKD, KD (gấp 1.6–4.4 lần), và cả RLVR với thưởng thưa (PPO/GRPO gần như không tăng GSM8K).
  • So với OPD có horizon cố định 8192 token, ShortOPD chỉ kém khoảng 2 điểm Avg nhưng dùng 25% thời gian (8.5 so với 35.9 giờ) và giảm 71% số token rollout.
  • Bộ điều khiển giúp distillation loss đạt vùng ổn định sớm hơn: khoảng 40–50 bước so với 80 bước của OPD cố định, đồng thời giảm số token lãng phí trong hậu tố lặp.
  • Khả năng scale tốt: từ 1 epoch (48.46) lên 3 epoch đạt 55.41 (73.7% teacher) với cải thiện đều trên toán, code, và mở.
  • Ablations xác nhận cần cả on-policy states lẫn dense teacher distributions; thiếu domain trong corpus làm sụt khả năng tương ứng — phủ dữ liệu là yếu tố thiết kế hàng đầu.

IV. Conclusion & Future Works:​

ShortOPD cho thấy để phục hồi LLM bị cắt cấu trúc, cần kết hợp ba yếu tố: học trên chính trạng thái on-policy mà mô hình con tự sinh, tín hiệu dày đặc từ phân phối token của teacher (bản đầy đủ), và ngân sách rollout khớp với khả năng sinh hiện tại để tránh lãng phí vào hậu tố lặp. Công thức này giúp chuyển pruning từ lợi ích biên trên perplexity/trắc nghiệm sang chất lượng tạo sinh thực sự có thể triển khai.

Hướng tương lai: mở rộng ShortOPD cho các tỷ lệ cắt mạnh hơn và các kiểu cắt khác (width pruning, kết hợp depth/width); tối ưu hơn nữa chiến lược điều chỉnh ngân sách; thiết kế corpus recovery một cách có hệ thống; và kết hợp với speculative decoding hoặc quantization để đạt bộ nén triển khai đầy đủ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tổng quát hóa ShortOPD cho các kiến trúc pruning khác ngoài depth pruning, như width pruning trong Minitron/Sheared LLaMA, và đo lường lợi ích trên cả nhận dạng lẫn tạo sinh.
  2. Phân tích lý thuyết về ưu thế của dense on-policy distillation so với sparse reward trong chế độ mô hình con bị hỏng nặng và hiếm khi sinh đáp án đúng.
  3. Nghiên cứu thiết kế và tối ưu hóa recovery corpus cho on-policy distillation, vì tín hiệu on-policy chỉ sửa được những kỹ năng mà corpus thực sự bao phủ.
  4. Kết hợp ShortOPD với speculative decoding và low-bit quantization để xây dựng pipeline nén-serve-hồi-phục toàn diện cho LLM trên thiết bị biên.

2. Patent:​

  1. Hệ thống nén và phục hồi LLM trên điện thoại thông minh: thiết bị nhận bản mô hình đã cắt giảm, dùng bản mô hình đầy đủ làm teacher trong vùng an toàn, tự chạy ShortOPD trên dữ liệu người dùng cục bộ để khôi phục chất lượng trả lời mà không cần gửi dữ liệu lên đám mây.
  2. Trợ lý lập trình chạy trên máy tính cá nhân: sau khi loại bỏ một phần lớp mô hình để tăng tốc, phần mềm tự sinh đoạn code thử và so sánh từng token với phân phối của bản mô hình gốc, từ từ kéo dài đoạn code khi mô hình đã hết lặp.
  3. Chatbot nhẹ đa ngôn ngữ cho thiết bị IoT: thiết bị cắt giảm mô hình ngôn ngữ để tiết kiệm bộ nhớ, sau đó dùng mô hình gốc làm teacher để dạy lại mô hình nhỏ theo từng token, tự động điều chỉnh độ dài câu trả lời dựa trên việc phát hiện và cắt bỏ câu bị lặp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.13124
ArXiv Abstracthttps://arxiv.org/abs/2607.13124
PDF Downloadhttps://arxiv.org/pdf/2607.13124.pdf
Github RepositoryN/A

12. Hallo4D: Multi-Modal Hallucination Mitigation for Consistent Spatio-Temporal Generation (11 votes)​

Tác giả: Hongbo Wang, Huaibo Huang, Jie Cao, Jin Liu, Haoyang Tong, et al.

Xuất bản lúc: 2026-07-15

Tag: 3D Generation, 4D Generation, Diffusion Models, Score Distillation Sampling, Large Multimodal Models, Multi-Modal Reasoning, Spatio-Temporal Consistency, Computer Vision

I. Main Problem:​

Các phương pháp tạo nội dung 3D/4D hiện tại chủ yếu dựa vào giám sát 2D từ diffusion model, thiếu cơ chế kiểm soát hình học liên tục. Hệ quả:

  • Hallucination không gian: nhân đôi cấu trúc, hình học sai lệch, vấn đề Janus (nhiều mặt/đầu) ở các góc nhìn không chính diện.
  • Hallucination thời gian: rung hình, nhấp nháy khuôn mặt, biến dạng cấu trúc khi chuyển động trong nội dung 4D.
  • Các công cụ hiện có thường phải fine-tune lại kiến trúc hoặc chỉ xử lý riêng lẻ từng bài toán 3D/4D, khó tổng quát hóa.

II. Main Idea:​

Hallo4D là một khung plug-and-play, không phụ thuộc kiến trúc, dùng quy trình sinh – phát hiện – sửa chữa:

  • Sinh: render ảnh từ nhiều góc nhìn (3D) và nhiều khung hình (4D).
  • Phát hiện: Large Multimodal Model (LMM) đọc toàn bộ ảnh/video render, xác định mâu thuẫn không gian/thời gian và xuất ra negative prompt nâng cao mô tả lỗi (ví dụ: “duplicated eagle head, collapsed face, motion blur”).
  • Sửa chữa: dùng DDIM inversion để chỉnh sửa ảnh trong không gian ảnh dưới hướng dẫn của negative prompt, sau đó LMM Consensus Selector bỏ phiếu qua nhiều mô hình để chọn ảnh sửa đúng đắn nhất, tránh tích lũy lỗi.
  • Các mô-đun bổ trợ: Multi-view Appearance Alignment (đồng nhất texture), LMM-guided initialization (can thiệp sớm trong 4D), OF-Range keyframe sampling (chọn khung hình có chuyển động nổi bật dựa trên optical flow), và exposure-aware losses (CSEA + LDR) cùng union-of-frusta pruning để ổn định độ sáng ở góc nhìn xiên.

Ví dụ đời thường: giống như một biên tập viên đọc nhiều bản thảo của cùng một câu chuyện ở các góc nhìn và thời điểm khác nhau, đánh dấu chỗ mâu thuẫn, rồi nhờ vài người viết lại và bỏ phiếu chọn bản mượt nhất, đảm bảo câu chuyện cuối cùng không bị “lỗi logic” hình ảnh.

III. Main Results:​

  • Hallo4D liên tục vượt trội so với các baseline mạnh trên nhiều thiết lập tạo sinh 3D và 4D đa dạng.
  • Giảm rõ rệt các lỗi hallucination không gian như nhân đôi cấu trúc, đầu/mặt thừa, hình học méo mó.
  • Cải thiện độ ổn định thời gian: giảm rung, giảm nhấp nháy nhân vật, giảm trôi cấu trúc trong nội dung động.
  • Ổn định độ phơi sáng ở góc nhìn không chính diện nhờ CSEA và LDR, tránh hiện tượng cháy sáng/tối đen.
  • Không cần retrain hay sửa kiến trúc của các mô hình gốc, dễ tích hợp vào nhiều pipeline khác nhau.

IV. Conclusion & Future Works:​

Hallo4D cho thấy LMM không chỉ nhận diện được mâu thuẫn trong nội dung 3D/4D mà còn có thể tham gia trực tiếp vào quá trình tối ưu thông qua bỏ phiếu đồng thuận, mở ra hướng plug-and-play cho việc tạo sinh nội dung có tính nhất quán cao. Hướng tương lai:

  • Mở rộng cho các cảnh động phức tạp hơn với chuyển động camera tự do và nhiều đối tượng.
  • Kết hợp với các LMM mạnh hơn để phát hiện lỗi tinh vi hơn và tự động sinh negative prompt chính xác hơn.
  • Cải thiện tốc độ để áp dụng trong các ứng dụng thời gian thực như AR/VR và tạo avatar di động.
  • Khảo sát cách áp dụng cơ chế consensus editing cho các bài toán sửa lỗi khác trong tổng hợp đa khung hình (video generation, novel-view synthesis).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Hallo4D cho các cảnh động đa đối tượng, trong đó LMM phân đoạn và theo dõi từng đối tượng để sửa lỗi hallucination theo nhóm thay vì toàn cục.
  2. Kết hợp Hallo4D với video diffusion đa góc nhìn (multi-view video diffusion) để thay thế hoàn toàn SDS bằng giám sát trực tiếp trên video 4D.
  3. Phát triển LMM chuyên biệt cho kiểm tra nhất quán 3D/4D, được fine-tune trên tập dữ liệu render lỗi có chú thích để tăng độ chính xác và giảm chi phí gọi mô hình lớn.
  4. Nghiên cứu giới hạn lý thuyết của image-space SDS reformulation, đặc biệt điều kiện để ˆx0 đảm bảo hội tụ và không phá vỡ động lực học tối ưu 3D/4D.

2. Patent:​

  1. Ứng dụng di động tạo mô hình 3D sản phẩm từ vài ảnh chụp điện thoại: đám mây dùng LMM phát hiện chỗ nhân đôi chi tiết hoặc texture lệch, sau đó tự động sửa và trả về mô hình 3D đồng nhất cho bán hàng online.
  2. Tính năng avatar 4D trên điện thoại từ video selfie: hệ thống sinh avatar động, dùng LMM phát hiện nhấp nháy khuôn mặt/rung người, rồi chỉnh sửa theo nguyên tắc đồng thuận để xuất video avatar mượt mà cho mạng xã hội.
  3. Hệ thống AR xem nội thất trên điện thoại: khi người dùng di chuyển camera quanh phòng, ứng dụng phát hiện hình học mâu thuẫn và độ phơi sáng không ổn định của đồ nội thất ảo, tự động hiệu chỉnh để ghép cảnh tự nhiên hơn.
  4. Máy quét 3D cầm tay cho thương mại điện tử: nhân viên kho quay sản phẩm từ nhiều góc; dịch vụ đám mây dùng Hallo4D để loại bỏ chi tiết trùng lặp, chỉnh exposure và đồng nhất texture, tạo tài sản 3D sẵn sàng đăng bán.
  5. Dịch vụ video quảng cáo 4D từ điện thoại: doanh nghiệp quay video ngắn sản phẩm, hệ thống tự động chọn khung hình chuyển động quan trọng bằng optical flow, sửa lỗi thời gian và xuất nội dung 4D tương tác cho quảng cáo.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.12752
ArXiv Abstracthttps://arxiv.org/abs/2607.12752
PDF Downloadhttps://arxiv.org/pdf/2607.12752.pdf
Github Repositoryhttps://github.com/wafer-bob/Hallo4D