🤗 Daily Hugging Face Paper Digest - 2026-08-04

Báo cáo được tạo tự động vào lúc 2026-08-05 10:18:06 bằng mô hình hermes-agent.

📰 Summary of Papers

1. SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks (142 votes)

Tác giả: Yu Zhang, Ruiqi Li, Changhao Pan, Ke Lei, Xiang Yin, et al.

Xuất bản lúc: 2026-08-03

Tag: TTS, Speech Generation, Audio Generation, Zero-Shot, Instruct TTS, Diffusion, MoE, GRPO, Multi-Speaker, VAE

I. Main Problem:

Các hệ thống text-to-speech (TTS) hiện tại gặp ba vướng mắc lớn khi áp dụng vào sản xuất nội dung media (phim, audio drama, quảng cáo, game, podcast, short-video):

Thiếu dữ liệu caption đa cấp độ: TTS zero-shot có thể dùng corpus công khai, nhưng tác vụ instruct cần mô tả ngôn ngữ tự nhiên về môi trường, phong cách nhân vật và nội dung chi tiết — rất tốn kém để thu thập và gán nhãn.
Xung đột hai tác vụ: instruct lấy phong cách từ caption, zero-shot lấy từ reference audio; huấn luyện chung dễ làm yếu lẫn nhau.
Đa phương thức âm thanh phức tạp: cần sinh đồng thời lời nói biểu cảm, hiệu ứng môi trường, tiếng hát, nhạc nền trong một waveform — mỗi thành phần có cấu trúc thời gian khác nhau (lời nói cần căn chỉnh từ vựng, hiệu ứng cục bộ thoáng qua, nhạc cần giữ tone).

II. Main Idea:

SwanTale giải quyết từ cả hai phía dữ liệu và mô hình.

Phía dữ liệu — SwanData-Caption (4 giai đoạn):

Coverage Design: kết hợp dữ liệu media thật + 3 tập hợp synthetic nhắm vào kịch bản hiếm (giọng người già, câu cực ngắn, phát âm khó như đa âm tiếng Trung, tên thương hiệu).
SwanData-Speech Preprocessing: tách giọng/không gian âm thanh, diarization, ASR, căn chỉnh.
Caption Annotation: MLLM gán nhãn 3 trường — Environment (bối cảnh, hồi âm, tiếng nền), Speakers (giới, tuổi, persona, timbre), Content (cảm xúc, hiệu ứng cục bộ
Data Refinement: lọc waveform (DNSMOS, PESQ, STOI), chuẩn hóa caption, kiểm tra người thật.

Phía mô hình — SwanTale:

SwanVAE: autoencoder 48kHz, latent 96-dim @ 25Hz, decoder dùng Transformer Resampling Block để tái tạo chi tiết cao mà giảm gánh nặng cho DiT.
Flow-based DiT: tách riêng nhánh caption (Qwen encoder + Engram) và nhánh text (CosyVoice tokenizer).
Reward-conditioned quality control: chèn caption chất lượng + flag, inference ép mức cao nhất mà không cần RL rollout.
Engram conditioning: bảng nhớ các cụm caption lặp lại (persona, hiệu ứng) để giảm tải cho attention.
Unified MoE: task router (zero-shot/instruct) + audio router (Top-P) chọn expert.
Curriculum learning + GRPO post-training: học dần từ zero-shot → caption → full-mixture → SFT, rồi cải thiện phát âm/ổn định bằng GRPO.

Ví dụ đời thường: giống một đạo diễn vừa tự thu âm thử vài kiểu giọng mẫu để máy học giọng (zero-shot), vừa viết một tờ đề bài chi tiết 'nhân vật nữ trẻ, giọng lạnh, quán cà phê ồn' cho máy tự diễn (instruct), thay vì phải thu hàng trăm file tham chiếu cho từng vai.

III. Main Results:

Dẫn đầu nhiều chỉ số zero-shot và instruct trọng yếu trên SwanBench-Speech, InstructTTSEval, SwanBench-Scene.
Đạt điểm biểu cảm (expressiveness) tốt nhất ở cả hai tác vụ zero-shot và instruct.
Hỗ trợ sinh instruct phức tạp đa speaker kết hợp lời nói và hiệu ứng âm thanh (SwanBench-Caption).
SwanVAE cải thiện chất lượng tái tạo và giảm gánh nặng học của prior DiT.
GRPO post-training cải thiện độ chính xác phát âm, độ ổn định và kiểm soát thuộc tính speaker theo caption.

IV. Conclusion & Future Works:

SwanTale là mô hình đa speaker, đa phương thức âm thanh đầu tiên gộp được cả zero-shot và instruct trong một kiến trúc nhờ SwanData-Caption (dữ liệu) và SwanVAE + Unified MoE + Engram + reward-conditioned QC (mô hình). Hướng tương lai: mở rộng sang sinh nhạc/hát tự nhiên hơn, cải thiện kiểm soát thời gian thực giữa speech và hiệu ứng, và nâng cao khả năng tái dùng giọng đã thiết kế qua zero-shot ở quy mô lớn hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng SwanData-Caption thành benchmark công khai cho instruct TTS đa phương thức, bao gồm audio drama và phim hoạt hình đa ngôn ngữ, để chuẩn hóa đánh giá sinh lời nói có bối cảnh.
Nghiên cứu Unified MoE chuyên sâu hơn: phân tích cách task router và audio router tương tác khi sinh đồng thời speech + nhạc + tiếng hát trong một đoạn dài.
Áp dụng reward-conditioned quality control sang các mô hình generative audio khác (nhạc, sound effect) để kiểm soát chất lượng tại inference mà không cần huấn luyện RL.

2. Patent:

Ứng dụng điện thoại: app dựng phim short-video cho phép người dùng gõ mô tả 'giọng nam trung niên, đau khổ, quán bar ồn' rồi tự sinh thoại nhân vật có hiệu ứng môi trường, không cần thu âm mẫu — tích hợp trực tiếp vào tính năng chỉnh sửa video.
Hệ thống audio drama tự động: người sáng tác nhập kịch bản kèm persona từng vai, SwanTale sinh lời thoại đa nhân vật có hồi âm và tiếng nền phù hợp, hỗ trợ tái dùng giọng đã thiết kế cho các tập sau qua một clip tham chiếu ngắn.
Tính năng thiết kế giọng quảng cáo trên nền tảng AI: marketer mô tả 'nữ trẻ, tin cậy, năng lượng cao' để sinh voice-over sản phẩm, sau đó clone giọng đó qua zero-shot để đồng bộ toàn chiến dịch mà không thu lại.
Công cụ dubbing phim hoạt hình: upload đoạn gốc, hệ thống tự diarize, gán caption bối cảnh và sinh lồng tiếng đa speaker giữ đúng cảm xúc và hiệu ứng âm thanh nền theo cảnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.02023
ArXiv Abstract	https://arxiv.org/abs/2608.02023
PDF Download	https://arxiv.org/pdf/2608.02023.pdf
Github Repository	N/A

2. LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks (131 votes)

Tác giả: Ziyu Ma, Hailang Huang, Shun Zou, Yong Wang, Shidong Yang, et al.

Xuất bản lúc: 2026-08-03

Tag: Long-Horizon Agents, LLM Agents, Task-State Management, Agent Harness, MEA Loop, Auditing, Computer Use, RAG-like Verification

I. Main Problem:

Các agent dựa trên LLM ngày càng làm nhiệm vụ dài hạn (long-horizon) gồm nhiều bước phụ thuộc, nhưng harness hiện tại giữ thực thi, trạng thái nhiệm vụ và đánh giá hoàn thành trong cùng một context ngày càng phình to. Hậu quả:

Trạng thái khó theo dõi: lịch sử thực thi dài làm nhiệm vụ mất kiểm soát trạng thái.
Sai sót tự đánh giá lan truyền: agent tự phán hoàn thành, sai lệch bị ghi vào state và dùng làm tiền đề cho bước sau.

Ba thách thức chung của long-horizon:

Lỗi cộng dồn & chệch mục tiêu (goal drift): sai ở bước trước kéo lệch quyết định sau.
Context rot: thông tin liên quan càng khó rút ra khi lịch sử dài.
Mất trạng thái nhiệm vụ: không giữ được yêu cầu, artifact, fact đã xác minh.

Hai giới hạn cấu trúc của harness cũ:

Thực thi và quản lý trạng thái dùng chung một context phình to.
Thực thi và đánh giá hoàn thành bị ghép cặp (tự làm tự xét).

II. Main Idea:

Tác giả định lại long-horizon thành bài toán quản lý trạng thái nhiệm vụ: giữ state bên ngoài thực thi, chỉ cập nhật bằng fact được môi trường xác minh độc lập. Cơ chế cốt lõi là vòng Manage-Execute-Audit (MEA) lặp lại:

Manager: đọc state hiện tại, định 1 subtask (mục tiêu, tiêu chí chấp nhận, ràng buộc, bằng chứng prior) — không được chạm môi trường.
Executor: chạy trong context tươi, giới hạn budget, chỉ làm đúng subtask đó rồi bị vứt bỏ lịch sử thô.
Auditor (read-only): tự soi môi trường qua tool chỉ đọc, xác nhận cái gì thật sự đổi/hoàn thành — report audit là ký ức duy nhất xuyên vòng.

Một AgentAdapter nhẹ cho phép thay đổi model/harness backend (Claude Code, Codex, OpenClaw, Hermes Agent...) mà không sửa vòng lặp native của chúng.

Ví dụ đời thường: giống tổ trưởng giao việc — một người viết phiếu yêu cầu rõ ràng (manager), thợ mới nhận phiếu làm một mẩu trong xưởng trắng (executor), rồi một thanh tra không liên quan đến làm xưởng đi kiểm tra tận nơi xem có đúng không (auditor); chỉ biên bản thanh tra mới được lưu, lời tự khen của thợ không được ghi vào sổ.

III. Main Results:

Đánh giá trên 3 benchmark long-horizon, giữ nguyên model và executor backend (Claude Code):

WeaveBench (Qwen 3.7-Plus): PassRate 51.8% → 80.7%, mean score 0.702 → 0.835; thắng mọi domain, vượt cả Claude Opus 4.7 chính thức (41.2%).
Terminal-Bench 2.1 (Qwen 3.7-Plus): 69.7% → 77.2%; với Codex+GPT-5.6 Luna đạt 83.1%.
OSWorld 2.0 (Qwen 3.7-Plus): binary completion 2.8% → 8.3% (gấp 3), partial 21.5 → 35.2.
OSWorld 2.0 subset 34 tasks (Claude Opus 4.7): binary 20.6% → 35.3%, partial 55.8 → 66.9 — chứng tỏ không chỉ bù đắp model yếu.

Phân tích chi phí: Manager chỉ tốn 2–8% token; Auditor là khoản đầu tư thêm chính (~19–38%). Tổng token tăng 2.3× (WeaveBench), 3.6× (OSWorld) nhưng giảm 24% trên Terminal-Bench. Lợi ích lớn nhất ở task cần giữ/sửa nhiều state phụ thuộc; ít lợi hơn khi bottleneck là năng lực từng bước (thị giác, toán, code).

IV. Conclusion & Future Works:

Năng lực agent là thuộc tính của cả hệ thống model–harness: model quyết định hành động trong mỗi vòng, harness quyết định việc phân rã, xác minh, phục hồi, tích lũy tiến trình. Harness mạnh nâng trần hiệu suất của model cố định (Qwen+LH vượt cả Opus+Claude Code gốc). Hướng tương lai: tối ưu ngân sách vòng MEA theo năng lực executor, giảm token cho model mạnh, mở rộng sang tác vụ multi-agent và domain phi computer-use.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chi phí–hiệu năng: tự động điều chỉnh số vòng MEA và budget theo độ khó task để giảm token trên model mạnh mà vẫn giữ gain.
Mở rộng MEA sang multi-agent: nhiều executor song song với một auditor tập trung xác minh trạng thái chung.
Áp dụng nguyên lý state-bên-ngoài + audit độc lập cho agent phi computer-use (research, scientific discovery) nhằm chống goal drift.
Thiết kế backend-native adapter chuẩn hóa để LH-Harness cắm được vào mọi harness mà không viết lại vòng lặp.

2. Patent:

Trợ lý điện thoại tự động làm nhiệm vụ dài (đặt lịch, gửi mail, chỉnh file): màn hình chạy executor tươi từng bước, một module chỉ-đọc chụp và soi trạng thái app để xác nhận rồi mới sang bước sau, tránh tự báo xong sai.
App sửa lỗi máy tính cá nhân: chia việc thành subtask, một thành phần kiểm tra (auditor) đọc log/file để chắc chắn lỗi đã sửa thật trước khi báo người dùng, không tin lời tool tự claim.
Hệ thống tự động hóa văn phòng trên mobile: quản lý trạng thái task hiển thị rõ từng bước đã xong/chưa qua bằng chứng môi trường, giúp người dùng giám sát agent dài hạn mà không đọc toàn bộ log.
Trình duyệt thương mại điện tử tự đặt hàng nhiều bước: executor thao tác GUI, auditor đối chiếu giỏ hàng/thanh toán thực tế trước khi xác nhận, giảm rủi ro thao tác sai lan sang bước thanh toán.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.01964
ArXiv Abstract	https://arxiv.org/abs/2608.01964
PDF Download	https://arxiv.org/pdf/2608.01964.pdf
Github Repository	https://github.com/AMAP-ML/LongHorizon-Harness

3. DAPD: Dual-Anchored Policy Distillation (58 votes)

Tác giả: Jianyu Wu, Yizhou Wang, Encheng Su, Chen Tang, Shixiang Tang

Xuất bản lúc: 2026-08-03

Tag: On-Policy Distillation, Self-Distillation, LLMs, Post-training, Knowledge Distillation, Privilege Illusion

I. Main Problem:

Phương pháp on-policy self-distillation (OPSD) tăng cường teacher bằng thông tin đặc quyền (ví dụ lời giải tham khảo), nhưng student không được truy cập thông tin này khi suy luận. Hậu quả:

Ảo giác đặc quyền (privilege illusion): student học hành vi phụ thuộc vào thông tin không có sẵn, rồi hành xử như thể vẫn thấy nó → đưa ra đáp án không căn cứ, suy giảm hiệu năng.
Nguyên nhân gốc: bất đối xứng thông tin giữa teacher (có đặc quyền) và student (không) tại thời điểm suy luận.
Các phương pháp cũ chỉ sửa tín hiệu teacher bất đối xứng (lọc/routing) thay vì khớp thông tin sẵn có → giảm thiểu không triệt để, vì vẫn để teacher có đặc quyền giám sát student không có nó.

II. Main Idea:

DAPD (Dual-Anchored Policy Distillation) giải quyết trực tiếp tại nguồn bất đối xứng thông tin bằng 2 cơ chế neo:

Dual-Path Anchoring (DPA): thêm phân phối self-conditioned (Self) làm cầu nối — nó điều kiện trên chính phần hoàn thành đang dự đoán, nên khớp thông tin với teacher. Tạo 2 đường căn chỉnh: unconditioned path (ghép Entangled Distillation + Inference Anchor để căn chỉnh hai phân phối None không đặc quyền) và privileged path (Privileged Anchor căn chỉnh Self–Cross khi cả hai đều có đặc quyền).
Dual-Source Anchoring (DSA): áp dụng hai đường trên cả hai chiều reference→rollout và rollout→reference, cân bằng hướng dẫn từ lời giải tham khảo (đúng nhưng off-policy) và từ rollout tự sinh (student-reachable nhưng có thể sai).

Ví dụ đời thường: giống sinh viên luyện thi — thay vì chỉ nhìn đáp án rồi 'nhớ' kết quả, bạn vừa tự giải lại toàn bộ bài từ đề gốc (self-conditioned) vừa đối chiếu với lời giải mẫu, để học được cách giải thật chứ không phải 'hồi tưởng' đáp án mà lúc thi không được thấy.

III. Main Results:

Trên Qwen3-4B, DAPD đạt trung bình 6 task 57.34, hơn OPSD +2.00 điểm.
Vượt các baseline sửa tín hiệu đặc quyền: hơn PurifiedOPSD +1.09, hơn DOPD +3.85.
Hiệu quả bền vững theo quy mô: OPSD suy giảm dần khi scale tăng (từ +5.19 ở 1.7B xuống +0.28 ở 32B), trong khi DAPD giữ +2.69 (4B) và +2.78 (32B).
Giảm 73% wrong claims giai đoạn cuối so với OPSD.
Đánh giá ngoài phân bố (OOD): trung bình 49.64, hơn OPSD +1.37, mạnh nhất trên LCB v5 (+4.82).
Ablation: cả 2 path của DPA và cả 2 nguồn của DSA đều cần thiết; trọng số tối ưu thay đổi theo scale (mô hình nhỏ cần tham khảo hơn, lớn tin rollout hơn).

IV. Conclusion & Future Works:

DAPD xác định bất đối xứng thông tin là nguyên nhân gốc của privilege illusion và khắc phục bằng neo khớp thông tin + kết hợp hai nguồn hướng dẫn, vượt OPSD ổn định từ 1.7B đến 32B.

Hạn chế: tăng tính toán lúc train (không tốn lúc suy luận); trọng số cần hiệu chuẩn lại theo scale/kiến trúc; bản verified-rollout cần tín hiệu đúng/sai tự động (không có với task mở).

Hướng tương lai: DAPD không cần lời giải tham khảo (dùng 2 rollout độc lập hoặc rollout có verifier) → mở rộng sang thiết lập thiếu dữ liệu chuẩn; tự động hóa điểm cân bằng reliability–reachability theo quy mô.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng DAPD không cần tham khảo: dùng nhiều rollout độc lập và verifier tự động thay thế lời giải chuẩn, áp dụng cho tác vụ mở thiếu đáp án.
Nghiên cứu điểm cân bằng reliability–reachability theo quy mô: tự động điều chỉnh trọng số reference/rollout theo kích thước mô hình thay vì thủ công.
Áp dụng neo khớp thông tin cho các phương pháp distillation off-policy và RLHF để giảm hành vi phụ thuộc thông tin không có tại suy luận.

2. Patent:

Điện thoại chạy trợ lý suy luận offline: áp dụng DAPD để mô hình trên thiết bị tự cải thiện nhờ rollout tự sinh làm hướng dẫn, không cần gửi câu hỏi lên server lấy đáp án mẫu — giảm ảo giác khi không có thông tin đặc quyền.
Tính năng kiểm tra đáp án trên app học tập: dùng verifier nội bộ chọn rollout đúng làm 'neo', kết hợp với lời giải của giáo viên để hướng dẫn mô hình giải toán trên điện thoại mà không để student 'nhớ' đáp án.
Hệ thống gợi ý viết code trên mobile: DAPD cân bằng giữa đoạn code tham khảo (đúng nhưng off-policy) và code tự sinh (student-reachable) để gợi ý chính xác, phù hợp năng lực người dùng thực tế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.01735
ArXiv Abstract	https://arxiv.org/abs/2608.01735
PDF Download	https://arxiv.org/pdf/2608.01735.pdf
Github Repository	https://github.com/uanu2002/DAPD

4. Progressive Agent Skill Generation via Reinforcement Learning (50 votes)

Tác giả: Junhao Shen, Zhanqiu Zhang, Yiwen Guo, Hong Cheng

Xuất bản lúc: 2026-08-03

Tag: Reinforcement-Learning, LLM-Agents, Agent-Skills, GRPO, Skill-Generation, Credit-Assignment

I. Main Problem:

Các agent LLM dùng kỹ năng bên ngoài (skill) như các module thủ tục để định hướng suy luận, nhưng việc tự động sinh skill chất lượng cao từ tài liệu hoặc kinh nghiệm vẫn khó. Hai lỗ hổng chính:

Các phương pháp hiện tại (heuristic, pipeline, prompting) thiết kế riêng cho từng nguồn bằng chứng (tài liệu khác kinh nghiệm), thiếu khung học tập thống nhất.
Skill không có tín hiệu giám sát tự nhiên về độ đúng/sai: một skill viết trôi chảy vẫn có thể thừa, quá hẹp hoặc gây hiểu lầm; giá trị chỉ bộc lộ qua việc nó cải thiện hành vi agent trên tác vụ thực tế hay không. Đây là nút thắt credit assignment dựa trên thực thi.

II. Main Idea:

Skill-α coi sinh skill như một quá trình chỉnh sửa tuần tự (progressive editing) và huấn luyện bằng Reinforcement Learning (GRPO). Cốt lõi:

Phân rã sinh skill thành các edit cục bộ: từ skill ban đầu z0, đọc bằng chứng từng phần (xt), tại mỗi bước chọn một hành động chỉnh sửa — CREATE (thêm), UPDATE (sửa), MERGE (gộp), PRUNE (xóa), NOOP (giữ nguyên).
Rollback reward (phần thưởng lùi): với mỗi edit, chạy worker cố định trên cùng một anchored query dưới skill cũ và skill đã sửa, rồi so sánh điểm của verifier. Nếu edit làm điểm tăng → thưởng 1; nếu không edit nào tốt hơn → NOOP được thưởng. Nhờ so sánh trực tiếp old-vs-edited, tín hiệu phản ánh đúng tác động cục bộ của edit chứ không lẫn với năng lực sẵn có của worker.
Khung này gộp chung document-to-skill và experience-to-skill thành một bài toán học duy nhất; huấn luyện SFT warm-up (Qwen3-8B) rồi GRPO với worker cố định GPT-4o.

Ví dụ đời thường: giống thợ sửa máy điều hòa, thay vì viết lại toàn bộ sổ tay một lần, mỗi lần nhận được một mẹo mới (bằng chứng) liền ghi chú sửa một dòng vào sổ, rồi thử chạy máy trên đúng một lỗi cũ để xem sửa dòng đó có khiến máy chạy ngon hơn không — chỉ giữ lại những dòng thử xong thấy hiệu quả, bỏ những dòng vô dụng.

III. Main Results:

Dưới worker GPT-4o, Skill-α vượt baseline sinh skill mạnh nhất trung bình +3.3 điểm trên CL-Bench và +6.7 điểm trên tau2-bench.
CL-Bench (document-to-skill): Procedural Task Execution tăng từ 4.30 (không skill) lên 9.68, vượt hẳn các baseline (AutoSkill 3.23, Ctx2Skill 4.30).
Experience-to-skill: SpreadsheetBench 18.00→27.50; tau2 Airline 40.00→65.00, Telecom 12.50→22.50, tau2 Avg 33.33→55.83.
Chuyển giao sang worker khác (Claude-Sonnet-4.5) vẫn giữ ưu thế (tau2 Avg 70.33), chứng tỏ học được tri thức dùng được chung chứ không chỉ là shortcut của một worker.
Ablation: bỏ rollback reward → sát mức chỉ SFT (3.68 vs 10.38 CL-Bench Avg); bỏ MERGE/PRUNE → sụt mạnh (tau2 39.17); bỏ NOOP vẫn tốt (9.55) nhưng bản đầy đủ ổn định nhất.

IV. Conclusion & Future Works:

Skill-α tối ưu sinh skill dựa trên cách một edit thay đổi hành vi worker hạ nguồn chứ không chỉ dựa vào vẻ mặt văn bản, và học được từ cả tài liệu lẫn kinh nghiệm trong một khung thống nhất. Hạn chế: reward/verifier vẫn phụ thuộc benchmark, biểu diễn skill mới ở dạng văn bản. Hướng tương lai: verifier tổng quát hơn, định dạng skill đa phương thức (multimodal), và tín hiệu huấn luyện dài hạn vượt ngoài so sánh rollback cục bộ.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng rollback reward thành tín hiệu huấn luyện dài hạn (multi-step credit assignment) cho sinh skill theo chuỗi tác vụ phức tạp thay vì chỉ so sánh cục bộ từng edit.
Thiết kế verifier đa phương thức và tổng quát để sinh skill từ ảnh, bảng tính, log giao tiếp mà không cần benchmark-specific rubric.
Áp dụng progressive editing có RL để tối ưu hóa bộ nhớ ngoài (external memory) và chọn lọc công cụ (tool-use) dưới một khung học thống nhất thay vì tách rời.
Nghiên cứu định lượng evidence granularity: tìm kích thước batch bằng chứng tối ưu tự động theo loại tác vụ thay vì thử thủ công.

2. Patent:

Trợ lý ảo trên điện thoại tự học quy trình app: mỗi lần người dùng thao tác hoặc gửi ảnh lỗi, điện thoại ghi nhớ một mẹo nhỏ, tự chạy thử trên tình huống cũ để giữ lại chỉ những mẹo giúp hoàn thành tác vụ trơn tru hơn, rồi gợi ý lại khi gặp ngữ cảnh tương tự.
Tính năng 'tự viết sổ tay sửa lỗi' cho phần mềm doanh nghiệp: hệ thống thu thập log lỗi và phản hồi người dùng, dùng mô hình học liên tục chỉnh sửa từng dòng hướng dẫn khắc phục, tự kiểm chứng bằng cách chạy lại kịch bản lỗi cũ trước khi lưu.
Robot gia đình tự cập nhật kỹ năng dọn dẹp: từ video/conversation thất bại và thành công, robot chỉnh sửa dần bộ quy tắc hành động, mỗi lần sửa đều thử lại trên một nhiệm vụ neo để loại bỏ quy tắc gây lỗi, không cần kỹ sư viết lại phần mềm.
Trình duyệt thông minh tự sinh 'quy tắc truy cập' cá nhân hóa: từ lịch sử duyệt web, hệ thống rút gọn thành các thủ tục nhỏ, tự kiểm thử trên truy vấn mẫu cũ để giữ lại quy tắc lọc thông tin hiệu quả nhất cho từng người.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.01678
ArXiv Abstract	https://arxiv.org/abs/2608.01678
PDF Download	https://arxiv.org/pdf/2608.01678.pdf
Github Repository	https://github.com/ejhshen/skill-alpha

5. UEmbed: Unified Sparse and Dense Multimodal Embeddings (43 votes)

Tác giả: Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, et al.

Xuất bản lúc: 2026-08-03

Tag: Learned Sparse Retrieval, Dense Retrieval, Multimodal Embedding, Decoder-only, MLLM, RAG, Sparse-Dense Unification, vLLM

I. Main Problem:

Phương pháp truy xuất sparse (thưa) học được (LSR) như SPLADE bị kẹt ở kiến trúc encoder hai chiều (BERT), không tận dụng được decoder-only LLM/MLLM vốn có sẵn. Ba điểm nghẽn:

Rào cản kiến trúc: attention một chiều (causal) của decoder không cho phép max-pooling toàn chuỗi như BERT, nên không sinh được vector sparse.
Hạn chế đa phương thức: LSR chủ yếu chỉ làm text; đa phương thức hiện phải gắn thêm module cross-modal phụ trợ, khó mở rộng.
Nút thắt thông tin: dựa vào một token (EOS/CLS) để chiếu vào từ vựng khổng lồ (|V| ~ 248k chiều) làm giảm nghiêm trọng dung lượng biểu diễn.
Thiếu đánh giá thực tế: lợi ích sparse (tốc độ, giải thích được) ngoài độ chính xác ít được khám phá.

II. Main Idea:

UEmbed là mô hình embedding đa phương thức decoder-only (dựa trên Qwen3.5 MLLM) sinh cùng lúc cả vector sparse lẫn dense trong một lượt forward. Cơ chế:

Thêm N=16 token đặc biệt học được vào cuối chuỗi đầu vào; nhờ causal attention, mỗi token nhìn thấy toàn bộ input và tóm tắt ngữ cảnh.
Chia từ vựng thành N tập rời nhau bằng k-means clustering ngữ nghĩa; mỗi token phụ trách một tập, dự đoán trọng số sparse qua một sparse head riêng, rồi nối 16 tập con thành vector sparse hoàn chỉnh.
Vector dense lấy từ hidden state của token EOS đứng trước các token đặc biệt (khi chỉ cần dense, bỏ luôn token đặc biệt, không tốn tính toán thêm).
Hàm mục tiêu chung: InfoNCE cho dense (cosine) + InfoNCE cho sparse (inner product) + hai FLOPS regularizer ép thưa. Huấn luyện trên dữ liệu công khai (Echo, MLDR, MMEB), phát hành 2B/4B/9B.

Ví dụ đời thường: giống một thư viện thuê 16 thủ thư, mỗi người chỉ phụ trách một mảng chủ đề riêng (thể thao, địa lý, hóa học...), ai nấy đọc xong cuốn sách rồi ghi trọng số từ khóa của mảng mình — thay vì bắt một thủ thư duy nhất phải phân loại mọi chủ đề, dễ sót và lẫn lộn.

III. Main Results:

MMEB-v2: UEmbed-9B đạt 71.8 (dense) và 71.0 (sparse) — dẫn đầu các mô hình huấn luyện trên dữ liệu công khai về dense, và lập SOTA sparse đa phương thức. Chênh sparse-dense luôn < 1 điểm mọi quy mô.
BEIR (9 tập, nDCG@10): UEmbed-9B dense trung bình 56.3 (cao nhất so với baseline so sánh), sparse 55.2 ngang bằng chuyên gia Echo-Mistral-SPLADE (55.2) dù UEmbed còn làm được dense và multimodal.
Hybrid scoring (kết hợp 2 mode): cộng thêm Text +0.3 và VisDoc +0.5; ảnh/video lợi ích nhỏ vì ít từ khóa bề mặt.
Agentic search (BrowseComp-Plus): mode sparse giảm số lượt tool-call của agent mà recall tương đương — tiết kiệm chi phí cho vòng lặp suy luận lặp.
Ablation: huấn luyện chung 2 mode không làm giảm chất lượng so với chuyên biệt; clustering ngữ nghĩa tốt nhất (random tệ nhất); N=16 là tối ưu (N=32 sụt do tập từ vựng quá nhỏ); nhiệt độ sparse τs=32.
UEmbed-2B vượt baseline SPLADE hai chiều cùng backbone +3.2 (dense) / +2.1 (sparse), mạnh nhất ở IMG-QA.

IV. Conclusion & Future Works:

UEmbed biến sparse retrieval từ module rời rạc thành sản phẩm phụ tự nhiên của MLLM, gộp统一 dense+sparse và text+đa phương thức trong một backbone causal, tương thích sẵn với vLLM và inverted index. Hạn chế & hướng tới: (1) thiên kiến ngôn ngữ (chủ yếu EN/ZH) → cần dữ liệu đa ngôn ngữ lớn; (2) sinh token lạ (vd _alt) do từ vựng LLM quá rộng → cần prune từ vựng / lọc hậu kỳ; (3) gap sparse-dense lớn hơn ở video do mật độ thời gian — cần cơ chế pooling không gian-thời gian tốt hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng sparse retrieval đa ngôn ngữ: huấn luyện trên corpus cân bằng ngôn ngữ để khắc thiên kiến EN/ZH và kích hoạt token ngôn ngữ thứ ba trong sparse head.
Ổn định từ vựng: kết hợp prune từ vựng mục tiêu, clustering ngữ nghĩa tinh chỉnh và bộ lọc hậu kỳ để loại bỏ token artifact (_alt) trước khi triển khai sản xuất.
Pooling không gian-thời gian cho video: thay vì gộp flat sparse vector, thiết kế cơ chế tổng hợp theo khung/thời điểm nhằm thu hẹp gap sparse-dense trên tác vụ video.

2. Patent:

Tìm kiếm trên điện thoại thông minh chạy tại thiết bị (on-device): một mô hình duy nhất sinh vector sparse để tra inverted index siêu nhanh và vector dense để hiểu ngữ nghĩa, giúp tìm ảnh/ghi chú nội bộ không cần lên mây, tiết kiệm pin và bảo mật.
Trợ lý agent tiết kiệm chi phí: trong app hỏi đáp đa phương thức, dùng mode sparse của UEmbed làm bước lọc từ khóa đầu tiên trước khi gọi LLM — giảm số lượt truy vấn web của agent, hạ phí API khi duyệt web sâu (deep research).
Tìm kiếm tài liệu ảnh (scan, hóa đơn, slide) trong doanh nghiệp: dùng mode sparse ưu tiên khớp từ khóa bề mặt trên VisDoc, kết hợp dense để hiểu bố cục, triển khai trên kho lưu trữ giấy tờ số mà vẫn giải thích được (hiển thị từ nào được kích hoạt).

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.02583
ArXiv Abstract	https://arxiv.org/abs/2608.02583
PDF Download	https://arxiv.org/pdf/2608.02583.pdf
Github Repository	https://github.com/Alibaba-NLP/UEmbed

6. VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation (43 votes)

Tác giả: Kangning Zhang, Yixing Li, Shuai Shao, Qingyao Li, Zhengxi Lu, et al.

Xuất bản lúc: 2026-07-30

Tag: Multimodal OPD, Knowledge Distillation, MLLM, Visual Attribution, Counterfactual, Fine-grained Visual Perception, Jensen-Shannon Divergence

I. Main Problem:

Phương pháp multimodal on-policy distillation (OPD) dùng một teacher có góc nhìn đặc quyền (privileged view) để truyền tri thức thị giác tinh vi cho student, nhưng các correction (sửa lỗi) next-token bị trộn nguồn: vừa chứa tín hiệu thị giác, vừa lẫn prior ngôn ngữ và hiệu ứng riêng của teacher. Hậu quả:

Vision-OPD chép nguyên phân bố next-token của teacher, nhưng chỉ ~23% correction mạnh thực sự liên kết với bằng chứng thị giác (77% còn lại là source-mixed).
VA-OPD / V-Zero dùng visual advantage để ưu tiên token, nhưng advantage dương bỏ sót phủ định: khi bằng chứng rõ ràng phải hạ xác suất token sai của student, chúng lại gán trọng số 0.
Thách thức cốt lõi: ước lượng thành phần nào của correction được hỗ trợ bởi một can thiệp thị giác có kiểm soát, thay vì chỉ biết ở đâu hoặc mạnh đến đâu.

II. Main Idea:

Visual Attribution Distillation (VAD) là thuật toán counterfactual target-reconstruction. Quy trình tại mỗi student-generated prefix:

Giữ nguyên teacher cố định và context văn bản, query teacher hai lần: dưới evidence-present view (x⁺) và evidence-removed view (x⁻).
Độ lệch log-xác-suất đã chuẩn hóa giữa hai lần gọi sinh ra u_t — vector có dấu làm proxy cho hướng bằng chứng thị giác (dương = ủng hộ token, âm = phủ định token).
Chiếu (project) correction gốc r_t của teacher lên u_t → tách thành r^vis_t (thành phần quy kết được cho thị giác) và r^res_t (phần dư không giải thích được bởi proxy, coi là mixed residual chứ không thuần ngôn ngữ).
Tái cấu trúc target neo tại student: cộng r^vis_t (đã clip và chia riêng nhánh support/refutation) vào logit của student, nâng token được ủng hộ, hạ token bị phủ định, loại bỏ phần correction proxy không giải thích được.
Huấn luyện: target tái cấu trúc là tín hiệu giám sát chính (JSD loss); teacher đặc quyền chỉ đóng vai trò weak regularizer để giữ ngôn ngữ/định dạng. Các view phụ chỉ dùng lúc train; lúc inference student chạy full-image bình thường.

Ví dụ đời thường: giống giáo viên chấm bài, thay vì đưa nguyên cả bài giải mẫu cho học sinh chép, ta so sánh lúc cho học sinh xem hình gốc và lúc che hình đi để biết phần nào giáo viên sửa là do thực sự nhìn thấy trong tranh; rồi chỉ bảo học sinh sửa đúng chỗ đó, không bắt chép cả lối hành văn riêng của thầy.

III. Main Results:

Trên 6 benchmark thị giác tinh vi ở quy mô 4B và 9B, VAD đạt Avg6 = 78.32 (4B) và 79.93 (9B), dẫn đầu phương pháp scale-khớp gần nhất lần lượt +2.40 và +2.80 điểm.
Thắng Decomposed OPD +2.95 (4B) và +2.88 (9B).
Checkpoint 4B vượt cả Gemini 3 Flash, Gemini 3.1 Pro, Qwen3.5-397B theo Avg6.
RQ2 (phân tách ngữ nghĩa): r^vis_t tập trung bằng chứng thị giác — visual/object/A-D chiếm 42.0% (vs 26.7% ở r_t); r^res_t giữ ngôn ngữ/định dạng (82.3%). Token A–D, thuộc tính (vertical, metal) nổi bật ở r^vis_t; từ nối (to, inside) nổi bật ở r^res_t.
RQ3 (ablation target): branch-aware reconstruction cho +1.00 điểm so với one-sided; Full VAD tốt nhất (78.32), cao hơn one-sided có reg +0.80.
RQ4 (khái quát hóa): VAD giữ nguyên mức Base trên tập held-out (MMVP, CV-Bench, MMStar, POPE), Avg4 cao nhất cả hai quy mô (+0.24 và +0.23).

IV. Conclusion & Future Works:

VAD giải quyết bài toán visual-correction attribution bằng cách tái cấu trúc cái gì cần chắt lọc thay vì chỉ rescale mạnh đến đâu, cô lập được thành phần correction quy kết cho can thiệp thị giác và tách rõ support/refutation. Phân tích token và thử nghiệm target có kiểm soát xác nhận target tái cấu trúc giữ được correction thị giác hữu ích. Hướng tương lai: mở rộng proxy counterfactual sang đa phương thức khác (video/audio), kết hợp với reinforcement learning từ evidence, và nghiên cứu can thiệp bằng chứng phong phú hơn (mặt nạ vùng, nhiễu) để giảm phụ thuộc vào crop cố định.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng counterfactual attribution sang video và audio: dùng can thiệp che/mở khung hình hoặc đoạn âm thanh để quy kết correction của teacher đa phương thức.
Kết hợp VAD với thuật toán RL (như GRPO) sao cho phần thưởng được điều chỉnh bởiEvidence direction thay vì chỉ dùng teacher distribution.
Nghiên cứu proxy evidence tổng quát hơn crop cố định — ví dụ mặt nạ ngẫu nhiên vùng, làm mờ cục bộ — để giảm thiên kiến vùng được đánh dấu sẵn trong dữ liệu huấn luyện.

2. Patent:

Điện thoại camera kép trợ lý hỏi-đáp hình ảnh: hệ thống tự so sánh vùng ảnh phóng to với toàn ảnh để biết chi tiết nhỏ (màu, chữ, hình dạng) nằm ở đâu, từ đó tự sửa câu trả lời thay vì đoán mù — hữu ích cho nhận diện sản phẩm, biển báo.
Ứng dụng y tế trên điện thoại: model đọc ảnh X-quang tự đối chiếu vùng phóng to với toàn ảnh để giảm chẩn đoán sai do bỏ sót tổn thương nhỏ, chỉ đưa ra kết luận khi bằng chứng thị giác thực sự ủng hộ.
Camera thông minh cho người khiếm thị: thiết bị mô tả cảnh vật, tự che/mở từng vùng ảnh để xác nhận thuộc tính (màu áo, biển số) trước khi đọc to, tránh bịa chi tiết không có trong hình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28590
ArXiv Abstract	https://arxiv.org/abs/2607.28590
PDF Download	https://arxiv.org/pdf/2607.28590.pdf
Github Repository	https://github.com/DeepExperience/VAD_Multimodal_OPD

7. Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs (31 votes)

Tác giả: Zixuan Huang, Yang Zhou, Kaixuan Wang, Guli Zhang, Hongyan Xie, et al.

Xuất bản lúc: 2026-08-03

Tag: Vision-Language-Action, Autonomous Driving, Chain-of-Thought, RLVR, GRPO, Reinforcement Learning, Multiple-Choice, Hallucination

I. Main Problem:

Các mô hình VLA cho xe tự hành thường dùng giám sát chain-of-thought (CoT) để tăng khả năng lý luận, nhưng quy trình chú thích phổ biến phơi bày quỹ đạo tương lai (GT trajectory) cho mô hình teacher. Hậu quả:

Trajectory anchoring bias: teacher đảo ngược suy luận, hợp lý hóa kết quả đã biết thay vì suy ra quyết định từ bằng chứng的场景 — giống thiên kiến mỏ neo (anchoring bias) trong tâm lý học.
CoT kém causally faithful và sinh ảo giác nghiêm trọng (hallucination tăng từ 29% lên 50%), đặc biệt ở các cảnh có nhân quả phức tạp.
Xóa GT thì rơi vào bài toán sinh quỹ đạo tự do, đan xen quyết định cấp cao với hình học chính xác và động lực học cấp thấp — không phù hợp với paradigm solve-then-verify.

II. Main Idea:

Hai đóng góp cốt lõi:

1. AD-MCQ (Autonomous-Driving Multiple-Choice Question) — biến lập kế hoạch thành chọn một trong các ứng viên quỹ đạo rõ ràng. Quy trình:

mã hóa toàn bộ quỹ đạo quá khứ bằng codebook K-means (K=8192) thành từ vựng chuyển động rời rạc
lượng tử hóa GT thành prototype gần nhất, tìm 5 hard-negative distractor theo độ tương đồng, xáo trộn thành 6 lựa chọn A–F
đáp án đúng = vị trí của prototype oracle → xác minh chính xác (verifiable) mà không cần sinh tọa độ liên tục.

2. DEFT-RLVR (Deferred Exposure of Future Trajectories for RLVR) — trì hoãn phơi bày ứng viên đến SAU khi policy đã chốt quyết định:

Turn 1 (Causal Decision Reasoning): chỉ từ cảnh, ép model suy luận nhân quả và cam kết high-level decision (HLD)
Turn 2 (Explicit-Trajectory Grounding): mới lộ bộ ứng viên, model chỉ ghép quyết định đã có vào quỹ đạo gần nhất
tối ưu chung 2 turn bằng GRPO, reward = R_MCQ × R_RUB (đúng lựa chọn × rubric lý luận sinh offline, chấm bởi text-only judge).

Ví dụ đời thường: giống thí sinh thi trắc nghiệm bị cấm xem các phương án đến phút chót — các em phải tự lập luận đáp án từ đề bài trước, rồi mới đối chiếu với đáp án A–F để chọn câu khớp nhất; nhờ vậy không bị 'mỏ neo' vào một phương án ngon lành rồi kéo lời giải bẻ lái theo nó.

III. Main Results:

DEFT triệt tiêu anchoring bias: ACC tăng từ 28.1% → 56.6% (Qwen3-VL-8B) và 34.0% → 65.6% (Qwen3.5-4B) so với JEFT (phơi bày sớm).
DEFT-RLVR mạnh nhất: ACC 77.9% (8B) / 82.2% (4B), CFS 0.658 / 0.822, HLD 0.501 / 0.582 — vượt JEFT+RLVR tới +15.3 điểm.
Giữ năng lực thị giác tổng quát: DEFT-RLVR nâng Avg. general visual từ 54.81% → 56.09% (8B), trong khi SFT distillation làm giảm xuống 49.80%.
Khái quát OOD: trên nuScenes, DEFT-RLVR đạt ACC 49.5% vs 39.6% của training-free DEFT.
Hiệu quả: rubric offline chỉ tốn +0.5% thời gian bước so với correctness-only, nhanh hơn 41.1% so với variant chấm rubric online.
Tại sao MCQ: sinh token quỹ đạo trực tiếp giữ ADE lỗi cao (trên sàn 0.279m của codebook) và làm suy giảm năng lực tổng quát nặng nề.

IV. Conclusion & Future Works:

DEFT-RLVR chứng minh trì hoãn phơi bày quỹ đạo tương lai biến chúng từ 'tiền đề gây shortcut' thành 'mục tiêu xác minh hậu quyết định', giúp lý luận xe tự hành causal-faithful mà vẫn giữ năng lực thị giác chung. AD-MCQ cung cấp nền tảng linh hoạt, scalable, mở rộng được nhờ độ khó điều khiển qua cấu trúc ứng viên. Hướng tương lai: mở rộng sang miền dữ liệu khác, kết hợp rubric đa dạng hơn, và áp dụng paradigm deferred-exposure cho các bài toán quyết định có cấu trúc verifiable khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng DEFT-RLVR sang bài toán quyết định robot và điều khiển, nơi quỹ đạo/ hành động tương lai cũng có thể trì hoãn phơi bày để tránh anchoring bias trong CoT supervision.
Nghiên cứu rubric generator đa phương thức trực tuyến thay vì offline, kết hợp với text-only judge để cân bằng chất lượng chấm và chi phí tính toán.
Áp dụng AD-MCQ làm benchmark đánh giá lý luận nhân quả của VLM tổng quát, không chỉ giới hạn xe tự hành.

2. Patent:

Hệ thống hỗ trợ lái trên điện thoại thông minh: app camera quét cảnh giao thông, đưa ra vài phương án lộ trình (rẽ trái/đi thẳng/phanh) dạng trắc nghiệm; người lái hoặc AI chọn trước khi xem đáp án tối ưu, tránh bị 'neo' vào một route có sẵn.
Trợ lý lái an toàn ô tô: trước khi gợi ý quỹ đạo cụ thể, hệ thống bắt buộc mô-đun lý luận đưa ra quyết định cao cấp (vượt xe/giảm tốc) chỉ từ camera, sau đó mới ghép vào các kịch bản quỹ đạo ứng viên để xác minh — giảm ảo giác chỉ dẫn đường sai.
Thiết bị huấn luyện lái mô phỏng: dùng bộ câu hỏi trắc nghiệm quỹ đạo có đáp án xác minh chính xác để đào tạo mô hình lý luận của xe tự hành mà không cần sinh tọa độ liên tục, giảm dung lượng tính toán trên phần cứng xe.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.01755
ArXiv Abstract	https://arxiv.org/abs/2608.01755
PDF Download	https://arxiv.org/pdf/2608.01755.pdf
Github Repository	https://github.com/hzx122/DEFT-RLVR

8. WorldExam: Benchmarking World Models from Apparent Appearance to Inherent Reactivity (30 votes)

Tác giả: Yuxue Yang, Shuyao Shang, Jiahe Wang, Zitong Zhou, Liang Tan, et al.

Xuất bản lúc: 2026-08-03

Tag: World Models, Video Generation, Benchmark, Controllable Generation, Vision-Language Model, Scene-conditioned Reaction

I. Main Problem:

Các mô hình sinh video có điều khiển đang được phát triển như world models, nhưng đa số benchmark hiện tại chỉ đo chất lượng thị giác hoặc mức độ thực hiện chỉ thị tường minh (kiểm tra hành động/ kết quả có xuất hiện đúng như yêu cầu). Điều này bỏ sót khả năng inherent reactivity — phản ứng nội tại: năng lực suy luận từ trạng thái cảnh để biết thế giới nên phản ứng ra sao và sinh ra hậu quả không được mô tả trong đầu vào. Ví dụ: vật thể đi lên cầu thang thì chuyển động phải thích nghi theo địa hình, gặp vật cản thì phải dừng/tránh/va chạm — những hiệu ứng này không do input chỉ định trực tiếp.

II. Main Idea:

WorldExam xây dựng hệ phân cấp chẩn đoán 4 mức từ apparent appearance đến inherent reactivity, đánh giá thống nhất 3 dòng mô hình (camera-, action-, language-driven) qua 1.474 ca trên 8 tác vụ.

Cơ chế cốt lõi:

Mỗi hành vi có điều khiển được biểu diễn bằng atomic control units (đơn vị điều khiển nguyên tử) xếp thứ tự, rồi adapt sang giao diện原生 của từng mô hình: quỹ đạo camera SE(3), chuỗi hành động rời rạc {W/S/A/D...}, hoặc prompt ngôn ngữ tự nhiên.
4 mức chẩn đoán: Visual Quality (chất lượng bề ngoài), Control Adherence (tuân thủ điều khiển — Camera/Subject Control), Spatial Consistency (nhất quán không gian — Scene Revisit), và World Reactivity (phản ứng theo cảnh + hoàn thành mục tiêu).
Ở tầng World Reactivity, input chỉ nêu điều khiển/ mục tiêu tường minh, còn phản ứng theo cảnh được để ngầm — mô hình phải tự suy luận. Hai track (static-scene, dynamic-interaction) tránh phạt những năng lực giao diện không hỗ trợ.

Ví dụ đời thường: giống một người mới vào nhà bạn, bạn chỉ bảo 'đi thẳng rồi rẽ phải' mà không nói 'có bậc thang ở đấy nhớ bước lên, có chú mèo đang nằm thì tránh', người đó phải tự nhìn cảnh vật để điều chỉnh bước chân — WorldExam chính là bài kiểm tra xem mô hình có 'tự nhìn và tự ứng biến' như thế không.

III. Main Results:

Đánh giá 20 mô hình đại diện, phơi bày sự chia rẽ năng lực theo dòng:
- Camera-driven: giỏi điều khiển camera nhưng giao diện không hỗ trợ tương tác động.
- Action-driven: điều khiển chủ thể chính xác hơn nhưng thế giới thường không phản ứng.
- Language-driven: làm tốt tác vụ tương tác hơn nhưng tuân thủ điều khiển phức tạp kém trung thành.
Không mô hình nào kết hợp bao phủ tác vụ rộng với hiệu suất mạnh đồng đều — chứng tỏ chất lượng thị giác cao và thực hiện chỉ thị tường minh không đảm bảo có inherent reactivity.
Các điểm số tổng hợp che giấu sự chia rẽ này, nên WorldExam báo cáo riêng từng mức và tác vụ.

IV. Conclusion & Future Works:

WorldExam mở rộng đánh giá world model từ bề ngoài sang phản ứng nội tại — năng lực suy luận hậu quả ngầm từ trạng thái cảnh. Nhóm sẽ công khai dữ liệu benchmark và toolkit đánh giá để thúc đẩy đánh giá có hệ thống và tiến bộ cộng đồng video world model. Hướng tới: mở rộng độ bao phủ ngữ nghĩa và tích hợp đánh giá vào vòng lặp huấn luyện.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng WorldExam sang world model đa phương thức (thêm cảm biến âm thanh/độ sâu) để đánh giá phản ứng vật lý không chỉ dựa trên thị giác.
Xây dựng protocol đánh giá reactivity theo thời gian dài (long-horizon) để đo khả năng duy trì phản ứng nhất quán qua nhiều sự kiện liên tiếp.
Nghiên cứu mối tương quan giữa điểm World Reactivity và hiệu năng thực tế khi dùng world model làm simulator huấn luyện agent.

2. Patent:

Ứng dụng di động: app quay video thực tế tăng cường cho người lái xe — camera điện thoại làm world model dự đoán phản ứng giao thông (xe khác tránh/người đi bộ dừng) từ khung cảnh hiện tại, cảnh báo sớm điểm mù mà không cần chỉ thị tường minh.
Điện thoại thông minh hỗ trợ người già/trẻ em: mở camera, nhập mục tiêu bằng giọng nói ('xếp 3 hộp theo chiều cao'), máy tự sinh chuỗi hành động khung hình và dẫn từng bước dựa trên phản ứng thực tế của vật thể trong phòng.
Game/thực tế tăng cường trên điện thoại: world model sinh phản ứng môi trường (vật bị đẩy lăn, nước tràn) khi người dùng chạm vào màn hình, giúp tương tác vật lý thực tế mà không cần lập trình từng trường hợp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.02603
ArXiv Abstract	https://arxiv.org/abs/2608.02603
PDF Download	https://arxiv.org/pdf/2608.02603.pdf
Github Repository	https://github.com/YuxueYang1204/worldexam

9. CADENA: Stepwise CAD Reverse Engineering (30 votes)

Tác giả: Soslan Kabisov, Gennadiy Savrasov, Maksim Elistratov, Antonio Rodriguez, Daniil Ignatiev, et al.

Xuất bản lúc: 2026-08-01

Tag: CAD reverse engineering, parametric CAD, Vision-Language Models, Reinforcement Learning, CAD reconstruction, Qwen2-VL

I. Main Problem:

Chuyển đổi một mảnh hình học 3D (mesh) thành mô hình CAD tham số có thể chỉnh sửa vốn tốn nhiều công sức chuyên gia. Các hệ thống AI hiện tại phát ra toàn bộ chương trình CAD trong một lượt mà không hề kiểm tra hình học trung gian, dẫn đến hai lỗi:

Lỗi sớm lan truyền: mô hình chốt mỗi thao tác mà không thấy kết quả của các thao tác trước, sai sót đầu tiên nhân lên âm thầm.
Sai ngữ cảnh: mô hình điều kiện hóa trên văn bản chương trình đã viết thay vì trên phần hình học còn thiếu, nên chọn thao tác theo thống kê tập huấn luyện chứ không theo hình dáng thực tế.

Thêm vào đó: thiếu benchmark cho chi tiết cơ khí thật, và các metric chuẩn (IoU, Chamfer) chỉ đo hình dạng chứ không đo chương trình — một khối lắp từ sai nguyên thủy vẫn đạt điểm cao.

II. Main Idea:

CADENA ("chuỗi" trong tiếng Tây Ban Nha) tái tạo một mesh thành chương trình CAD tham số bằng cách mọc dần từng thao tác một, thực thi mỗi bước rồi so sánh đích với hình đang dựng ở mọi bước. Cơ chế:

Quan sát thị giác: một ảnh đa góc ghép chồng đích (kênh xanh) và khối đang dựng (kênh đỏ); vùng xanh = thiếu vật liệu, vùng đỏ = thừa, vàng = trùng.
Hint point: một tọa độ 3D chỉ vùng cần sửa, giúp mô hình biết thao tác tiếp theo tác động đâu.
Mô hình: VLM Qwen2-VL-2B sinh dòng lệnh DSL (dựa trên CadQuery) qua một biến duy nhất r để mọi bước là tiếp nối hợp lệ.
Huấn luyện: (1) SFT trên 19.8 triệu mẫu bước sinh tự động từ bộ sinh quy tắc; (2) RL trực tuyến (GRPO) thưởng bằng IoU thể tích của hình thực thi — học cả tính hợp lệ thay vì lọc sau.
Suy luận: giải mã tham lam, trả về tiền tố có IoU cao nhất, nên thêm bước sai không làm kết quả tệ hơn.

Cùng công bố CADENA-Bench (3396 chi tiết cơ khí thật, 6 họ) và GMS — metric khớp theo cả pháp tuyến bề mặt lẫn vị trí, đo đúng loại bề mặt chứ không chỉ thể tích.

Ví dụ đời thường: giống thợ điêu khắc nặn đất, sau mỗi lần thêm một ít đất đều xoay tác phẩm lên soi với mẫu gốc để xem chỗ nào còn hụt hay thừa rồi mới nặn tiếp, thay vì nhắm mắt nặn toàn bộ rồi mới mang ra soi.

III. Main Results:

Vượt mọi phương pháp trước trên 5 tập: DeepCAD, Fusion360, MCB, CADENA-Bench, BenchCAD.
DeepCAD đã bão hòa: mọi phương pháp cách nhau vài điểm (CD 0.15–0.18, GMS 89.8–97.0), không phân biệt được mô hình tốt hay dở.
Chi tiết cơ khí thật khó gấp đôi: chuyển từ DeepCAD sang CADENA-Bench, GMS của mọi mô hình học được rớt ~một nửa (cadrille 94.8→49.8; CAD-Recode 92.9→48.9).
CADENA-RL đạt GMS 67.0 trên CADENA-Bench, bỏ xa baseline mạnh nhất (~53); khoảng cách với baseline nới rộng từ 1.7 lên ~14.
Tỷ lệ không hợp lệ (IR) tập trung ở chi tiết tiện và có hoa văn của MCB/CADENA-Bench.

IV. Conclusion & Future Works:

CADENA chứng minh điều kiện hóa trên phần hình học còn lại (residual) qua vòng phản hồi từng bước khép kín là then chốt, vượt hẳn phát một lượt. Ba đóng góp: mô hình bước, benchmark CADENA-Bench và metric GMS. Hướng tương lai: mở rộng vốn từ thao tác (helical, pattern...), gộp GMS làm signal huấn luyện an toàn hơn, và thu hẹp khoảng cách giữa chi tiết tiện/hoa văn với các họ dễ hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu huấn luyện RL bằng metric bề mặt (GMS) thay IoU nhưng tránh hiệu ứng tự thỏa mãn: kết hợp GMS làm ràng buộc phụ cùng IoU làm thưởng chính để vừa đúng hình vừa đúng cấu trúc.
Mở rộng vòng phản hồi bước sang thao tác lặp (pattern/chữ thập) và ren xoắn, đo lường trên các chi tiết tiện nơi CADENA còn yếu.
So sánh hệ thống prompt hint point tự động với ground-truth hint để định lượng đóng góp của việc định vị vùng sửa đúng vào chất lượng tái tạo.

2. Patent:

Ứng dụng trên điện thoại: người dùng quét vật thể bằng camera, app chạy mô hình bước từng lớp để trả về mô hình CAD có thể chỉnh kích thước — ví dụ quét ốc vít cũ rồi in ra bản thay thế với đường kính lỗ lớn hơn.
Công cụ sửa bản vẽ kỹ thuật trong xưởng: thợ chụp chi tiết hỏng, hệ thống tự dựng lại chương trình tham số để sửa một thông số (dài hơn, khoan lỗ thêm) thay vì vẽ lại từ đầu.
Tính năng 'hồi phục thiết kế' trong app CAD di động: từ file mesh tải về mạng, app tự sinh chuỗi thao tác có thể biên tập, giúp người dùng thay đổi tỷ lệ chi tiết cho vừa với linh kiện khác mà không cần kỹ sư CAD.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.00799
ArXiv Abstract	https://arxiv.org/abs/2608.00799
PDF Download	https://arxiv.org/pdf/2608.00799.pdf
Github Repository	https://github.com/zhemdi/cadena

10. InfiniSplat: Implicit Gaussian Decoding for Large-Baseline Monocular View Synthesis (27 votes)

Tác giả: Jiawei Wang, Hao Yu, Yongzhen Hu, Xinyi Yang, Tao Ni, et al.

Xuất bản lúc: 2026-08-03

Tag: 3D Gaussian Splatting, Novel View Synthesis, Single-Image 3D Reconstruction, Feed-Forward, Implicit Decoding, Monocular Depth

I. Main Problem:

Các phương pháp 3D Gaussian Splatting (3DGS) từ một ảnh hiện tại dùng biểu diễn pixel-aligned: các Gaussian được sinh từ lưới điểm ảnh cố định. Hậu quả:

dưới góc nhìn lệch lớn (large-baseline), kết quả gần góc gốc trông đẹp nhưng bộc lộ xé rách, đứt gãy bề mặt, cấu trúc lỏng lẻo.
Gaussian bị ràng buộc vào lưới điểm ảnh nên khớp yếu với bề mặt thật của cảnh, khó giữ cấu trúc mạch lạc khi camera dịch chuyển xa.
SHARP, Flash3D đạt nét gần góc gốc nhưng mất tính liên kết bề mặt khi đổi góc mạnh.

II. Main Idea:

InfiniSplat chuyển từ biểu diễn gắn điểm ảnh sang surface-aligned (gắn bề mặt) qua hai thành phần ghép cặp:

Geometry-guided sampling: dùng mô hình độ sâu đơn nhìn (DepthPro) để back-project độ sâu thành lưới tam giác 3D, tính diện tích từng mảnh, rồi lấy mẫu support theo diện tích — bề mặt nghiêng/rộng nhận nhiều support hơn, bỏ các tam giác vượt đứt gãy độ sâu. Mỗi support khởi tạo thành một Gaussian cơ sở.
Implicit Gaussian decoding: một MLP chia sẻ truy vấn đặc trưng DINO (ngữ nghĩa) + CNN (kết cấu) tại tọa độ support, rồi dự đoán các hiệu chỉnh có giới hạn (vị trí, tỷ lệ, xoay, màu, độ mờ) thay vì sinh từ đầu.

Nhờ decoder là hàm chia sẻ trên support bất kỳ, nó xử lý được layout không đều do sampling sinh ra, còn support có neo hình học giúp decoder không thành tập điểm vô tổ chức.

Ví dụ đời thường: giống thợ ốp gạch không kẻ ô vuông đều khắp tường, mà nhìn mặt tường nghiêng cong ở đâu thì đặt viên gạch dày hơn vùng đó, rồi căn chỉnh từng viên theo hình dáng tường — tường phẳng mượt thay vì rời rạc.

III. Main Results:

RGB-only: InfiniSplat-RGB đứng đầu mọi bộ dữ liệu (ETH3D, ScanNet++, Tanks-and-Temples, DL3DV) theo PSNR/SSIM/LPIPS.
Trung bình 4 bộ: 20.394 / 0.806 / 0.277, hơn SHARP +1.919 PSNR, +0.048 SSIM, giảm 0.022 LPIPS.
Hơn Flash3D / Flash3D-DepthPro / LagerNVS: +3.050 / +4.082 / +2.934 PSNR; giảm LPIPS 0.051 / 0.083 / 0.173.
LiDAR-conditioned: InfiniSplat-LiDAR trung bình 22.548 / 0.851 / 0.225, hơn ADGaussian +10.299 PSNR, +0.212 SSIM, giảm 0.193 LPIPS.
Zero-shot: huấn luyện trên Hypersim (indoor synthetic) nhưng tổng quát sang cảnh thực tế mở (DL3DV), giữ cấu trúc bề mặt mạch lạc dưới góc lệch lớn, ít nứt vỡ hơn SHARP/Flash3D.

IV. Conclusion & Future Works:

InfiniSplat chứng minh single-image 3DGS nên thoát khỏi giãn nở splat theo điểm ảnh, hướng tới biểu diễn gắn bề mặt qua geometry-guided support + implicit decoding — giữ cấu trúc ổn định khi đổi góc mạnh. Hướng tương lai: mở rộng sang video/đa cảnh, cải thiện độ sâu đơn nhìn ở vùng phức tạp, và áp dụng cho AR/VR duyệt ảnh không gian theo chuyển động đầu.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng InfiniSplat cho bài toán duyệt ảnh 3D tương tác trên thiết bị cầm tay: từ một ảnh chụp, sinh đại diện Gaussian gắn bề mặt để người dùng xoay nhìn mượt mà không cần chụp đa góc.
Kết hợp support sampling theo diện tích với prior hình học từ mô hình SSDNeRF để giảm nứt vỡ ở vùng đứt gãy độ sâu phức tạp dưới góc side-view lớn.
Nghiên cứu decoder ẩn phân cấp (multi-scale) cho implicit Gaussian decoding nhằm tăng chi tiết kết cấu cục bộ mà vẫn giữ tính nhất quán lân cận.

2. Patent:

Tính năng 'xoay ảnh 3D' trên điện thoại: chụp một tấm, app tự sinh cảnh Gaussian gắn bề mặt, cho phép nghiêng/xoay ảnh hiển thị góc nhìn mới mượt mà — hữu ích cho xem sản phẩm thương mại điện tử hay du lịch ảo.
Kính AR/VR duyệt ảnh phố/nhà: từ một ảnh người dùng chụp, hệ thống tái tạo cấu trúc bề mặt ổn định để hiển thị khi người dùng quay đầu, tránh hiện tượng xé rách khung cảnh như các app panorama cũ.
Camera thông minh kèm LiDAR (như trên xe, robot): kết hợp ảnh RGB + điểm sâu thưa để sinh bản đồ 3D gắn bề mặt thời gian thực, hỗ trợ tránh va chạm và hiển thị không gian cho người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.02437
ArXiv Abstract	https://arxiv.org/abs/2608.02437
PDF Download	https://arxiv.org/pdf/2608.02437.pdf
Github Repository	https://github.com/zju3dv/InfiniSplat

11. SKT: Skill-Use Training at Scale via Verified Synthetic Data Generation (27 votes)

Tác giả: Zelin Tan, Yiqun Zhang, Hao Li, Zhiyao Cui, Hejia Geng, et al.

Xuất bản lúc: 2026-08-03

Tag: Agent Skills, LLMs, Synthetic Data, Supervised Fine-Tuning, Data Synthesis, Verification, Agent Harness

I. Main Problem:

Các Agent Skill (gói hướng dẫn, siêu dữ liệu và công cụ đóng gói để LLM discover và dùng) đã có sẵn hàng trăm nghìn bản, nhưng chỉ có skill không đảm bảo mô hình dùng được nó. Thực tế nhiều LLM yếu ở kỹ năng dùng skill:

không nhận diện được skill nào đang liên quan
không hiểu và tuân thủ ràng buộc vận hành của skill
không phối hợp nhiều skill bổ trợ cho nhau
không thực thi đúng quy trình theo chỉ dẫn skill kèm công cụ.

Các nghiên cứu trước chỉ tập trung vào truy xuất, nội tại hóa hay cài đặt skill, chứ chưa dạy mô hình hiểu, phối hợp và tận dụng skill để giải bài toán đa dạng.

II. Main Idea:

SKT (Skill-use Training) là một pipeline sinh dữ liệu huấn luyện quy mô lớn, có kiểm chứng, gồm 3 giai đoạn:

Giai đoạn 1 – Chọn skill: lọc skill khả thi từ kho công khai, rồi ghép thành cấu hình 1, 2 hoặc 3 skill sao cho tạo thành luồng công việc mạch lạc (có vai trò riêng biệt).
Giai đoạn 2 – Sinh và kiểm chứng bài tập: điền mẫu để tạo gói bài (lệnh, môi trường chạy, bộ chấm điểm, lời giải mẫu). Gói này phải qua 3 cổng: kiểm tra dựa luật (đủ file, chạy lời giải mẫu đạt điểm tuyệt đối, không lộ đáp án), kiểm tra dựa agent LLM (bài đặt nghĩa rõ ràng, không lộ lời giải), và độ khó (nếu solver dễ làm xong quá 60% thì sửa lại cho khó hơn). Thất bại quay về sửa với phản hồi.
Giai đoạn 3 – Sinh trajectory: mô hình giáo viên mạnh giải bài qua harness, giữ lại chỉ những trajectory thành công và thực sự dùng đúng mọi skill (kiểm bởi luật + LLM). Loại thì sinh lại không tiết lộ lỗi.

Dữ liệu cuối dùng masked SFT: chỉ tính loss trên token do assistant sinh (lý luận, gọi tool, trả lời), còn system/task/quan sát tool bị mask — để mô hình học cả quy trình dùng skill chứ không chỉ đáp án.

Ví dụ đời thường: giống một trường dạy nghề — thầy nhận một dụng cụ/bí quyết (skill), được giao bài tập, làm mẫu trong khi trường quay lại từng bước; mẻ nào làm hỏng hoặc làm mà chẳng xài tới dụng cụ bị vứt, chỉ giữ lại các video làm đúng và có xài dụng cụ để chiếu cho học viên mới bắt chước theo.

III. Main Results:

Từ 2.000 skill công khai, SKT sinh 4.000 gói bài (1.520 đơn / 1.295 đôi / 1.185 ba skill) và 27.164 trajectory đã kiểm chứng.
Huấn luyện Qwen3.5-9B và Gemma 4 E4B-IT, đánh giá trên 4 benchmark (SkillsBench, MolBench-Bind, AgentSkillOS-Bench, SkillEval).
16/16 cặp so sánh đều tăng: mức tăng tuyệt đối 3.20 → 18.91 điểm. Lớn nhất: Qwen3.5-9B + DeepAgents trên SkillEval (51.62 → 70.53). Nhỏ nhất: Gemma + OpenCode trên SkillsBench (7.08 → 10.28).
Phụ thuộc skill: khi tắt skill tại inference, tăng chỉ 0.53–5.69 điểm; có skill tăng 8.68–18.91 → lợi ích thực sự đến từ kỹ năng dùng skill.
Dữ liệu chưa kiểm chứng: SFT trên trajectory thô làm giảm mọi benchmark; SKT tăng mọi benchmark; chênh lệch 11.91–24.61 điểm → kiểm chứng là then chốt.
Chuyển harness: huấn luyện bằng harness này rồi đánh giá harness kia vẫn tăng, giữ 49.1%–58.1% mức tăng so với khớp harness.
Mixed-harness: một checkpoint huấn luyện chung cả hai harness đạt gần bằng specialist trên cả hai môi trường.

IV. Conclusion & Future Works:

SKT chứng minh sinh dữ liệu có kiểm chứng là cách tiếp cận hiệu quả và mở rộng được để dạy LLM dùng Agent Skill: lợi ích đến từ giám sát chất lượng cao, khái quát qua nhiều giao diện agent, và tăng theo độ phủ skill rộng hơn. Hướng tương lai: mở rộng quy mô kho skill và độ phức tạp đa-skill, tự động hóa kiểm chứng ngữ nghĩa sâu hơn, và khảo sát transfer sang các harness/thiết bị mới mà không cần tái sinh dữ liệu.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng SKT sang cấu hình đa-skill phức tạp hơn (4–5 skill) kèm kiểm chứng phụ thuộc theo cặp để buộc mô hình học phối hợp luồng DAG thay vì chỉ ghép nối tuyến tính.
Nghiên cứu tự động sinh benchmark held-out liên tục: dùng cùng pipeline trên pool skill mới mỗi tháng để theo dõi drift năng lực dùng skill của mô hình theo thời gian.
Kết hợp kiểm chứng bằng luật với verifier học được (trainable reward model) để thay thế LLM validator tốn kém, hạ giá thành sinh dữ liệu quy mô cực lớn.
Khảo sát transfer chéo nền tảng: huấn luyện trên trajectory của một họ model rồi đánh giá trên model kiến trúc khác để đo phần hành vi dùng skill độc lập với trọng số.

2. Patent:

Điện thoại thông minh tự học dùng tiện ích mới: khi người dùng cài một 'kỹ năng' (ví dụ công cụ kiểm tra hóa đơn, trích xuất PDF), điện thoại tự sinh bài tập mẫu, nhờ mô hình mạnh trên đám mây làm mẫu đã được xác minh, rồi tinh chỉnh mô hình tại thiết bị để trợ lý chủ động gọi đúng công cụ khi cần — giúp người dùng không phải chỉ mặt gọi tên từng chức năng.
Huấn luyện chatbot chăm sóc khách hàng tự động: hệ thống tự tạo hàng nghìn đoạn hội thoại mẫu có gắn 'bài viết hướng dẫn/kỹ năng' (chính sách hoàn tiền, tra cứu đơn hàng), kiểm chứng bot phải thật sự dùng đúng bài viết mới lưu, từ đó dạy bot tra cứu knowledge base chính xác thay vì bịa.
Tự động hóa quy trình doanh nghiệp trên app di động: với mỗi quy trình mới (đối chiếu bảng lương, lập báo cáo thuế), máy sinh task thực thi kèm bộ kiểm tra, quay lại cách làm đúng của chuyên gia, rồi fine-tune trợ lý văn phòng trên điện thoại để nhân viên chỉ cần nói ý định là app tự phối hợp các 'kỹ năng' hoàn thành.
Trình tạo nội dung ảnh/văn bản trên điện thoại: khi cài thêm bộ lọc hoặc mẫu thiết kế, điện thoại sinh bài tập thiết kế, giữ lại các lượt làm mẫu thực sự áp dụng đúng mẫu đó, giúp tính năng chỉnh sửa tự gợi ý và dùng đúng style người dùng mong muốn mà không cần hướng dẫn thủ công.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.02287
ArXiv Abstract	https://arxiv.org/abs/2608.02287
PDF Download	https://arxiv.org/pdf/2608.02287.pdf
Github Repository	N/A

12. DiffusionGemma Technical Report (24 votes)

Tác giả: DiffusionGemma Team, Adrien Ali Taïga, James Assiene, Daniele Calandriello, Rahma Chaabouni, et al.

Xuất bản lúc: 2026-07-31

Tag: Discrete Diffusion, LLMs, Mixture-of-Experts, Text Generation, Inference Speed, Reinforcement Learning, Sampler Distillation, Multimodal, Block-Autoregressive

I. Main Problem:

Mô hình autoregressive (AR) thống trị LLM nhưng sinh văn bản từng token trái-sang-phải, tạo nút thắt bộ nhớ: khi phục vụ một vài yêu cầu đồng thời, thời gian chuyển trọng số mô hình và KV cache từ bộ nhớ sang GPU lớn hơn hẳn thời gian tính toán, khiến chip tính toán bị rảnh.

Speculative decoding (dự thảo rồi xác minh) cải thiện đôi chút nhưng vẫn kẹt ở 3–6 token/mỗi lượt tính toán (TPF) và tỷ lệ chấp nhận giảm dần ở các vị trí dự thảo xa.

Các mô hình text diffusion hiện có buộc phải đánh đổi: hoặc đóng sau API độc quyền (Gemini Diffusion, Mercury), hoặc mở trọng số nhưng hạn chế tư duy/multimodal hoặc không đạt được độ trễ cực thấp. Chưa có mô hình nào vừa thông minh, vừa siêu nhanh, vừa mở.

II. Main Idea:

DiffusionGemma là bản fine-tune của mô hình MoE Gemma 4 26B A4B thành mô hình diffusion rời rạc — sinh cả khối 256 token song song thay vì nối nhau. Quy trình 2 giai đoạn dùng dưới 10% ngân sách token huấn luyện của mô hình gốc:

SFT: dạy mô hình chú ý hai chiều (bidirectional) để khử nhiễu một khối 256 token.
SD·RL (sampler distillation + reinforcement learning): vừa tăng chất lượng qua reward, vừa nén số bước khử nhiễu xuống ~12 lượt.

Cơ chế sinh: mã hóa ngữ cảnh thành KV cache (causal), rồi lặp block-autoregressive — khử nhiễu một canvas 256 token từ nhiễu ngẫu nhiên cho sạch, gắn vào lịch sử, làm tiếp khối sau. Dùng multinomial diffusion + entropy-bounded sampler (chấp nhận token từ entropy thấp trước, tái nhiễu phần còn lại) và temperature annealing (0.8→0.4). Trung bình ~20 token/lượt tính toán, ~1.500 token/giây trên 1 GPU H100.

Mô hình giữ được AR gốc: thinking mode, multimodal, ngữ cảnh dài, và vẫn sinh AR được (suy giảm nhẹ) → mở đường lai diffusion-AR.

Ví dụ đời thường: giống một nhóm biên tập viên cùng sửa một đoạn nháp — mỗi lượt cả đội đọc toàn bộ đoạn và sửa những chữ mờ nhạt nhất cùng lúc, thay vì một người gõ từng chữ trái sang phải rồi mới biết chữ tiếp theo.

III. Main Results:

Thiết lập Pareto frontier mới về tốc độ so với năng lực, vượt cả họ Gemma 4 AR (kể cả khi bật MTP) và các mô hình diffusion trước.
~20 TPF so với 3–6 của speculative decoding tối tân.
~1.500 TPS trên 1 H100; bên thứ ba đo được tới 2.000 TPS trên RTX 6000.
Huấn luyện chỉ <10% token ngân sách mô hình gốc nhờ warm-start từ trọng số AR.
Giữ nguyên khả năng multimodal, ngữ cảnh dài, thinking mode; sinh AR vẫn dùng được với suy giảm nhỏ.
Cộng đồng adopting nhanh: ASR đa ngôn ngữ, soạn báo cáo X-quang y tế chỉ vài tuần sau phát hành.

IV. Conclusion & Future Works:

DiffusionGemma chứng minh có thể có mô hình vừa thông minh, vừa cực nhanh, vừa mở trọng số (Apache 2.0), hạ rào cản tính toán cho fine-tune theo miền. Chế độ kép (diffusion + AR) mở ra định tuyến động theo độ trễ và tác vụ, cũng như giải mã lai. Hạn chế: tính độc lập có điều kiện giữa các bước khử nhiễu đôi khi gây mâu thuẫn cục bộ; các khối đã sinh bị đóng băng, không sửa lại được.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu định tuyến động giữa giải mã diffusion và AR theo ràng buộc độ trễ thực tế, tối ưu điểm vận hành lai trên cùng một mô hình.
Phân tích interpretability của tín hiệu self-conditioning rời rạc như một bottleneck token có thể đọc được, kết nối với minh bạch thuật toán.
Mở rộng block-autoregressive diffusion sang luồng đa phương tiện (hình ảnh + văn bản) để soạn câu trả lời multimodal theo khối thay vì từng token.
Sampler distillation kết hợp reward model đa mục tiêu để vừa nén bước suy luận vừa giữ chất lượng tư duy dài hạn trên canvas 256 token.

2. Patent:

Bàn phím gợi ý siêu nhanh trên điện thoại: thay vì hiện từng chữ, mô hình sinh cả câu dự thảo 256 ký tự song song chỉ trong vài lượt tính toán, giúp gợi ý văn bản hiện tức thì ngay cả khi mạng yếu.
Trợ lý nhắn tin offline trên điện thoại: nhờ kiến trúc nhẹ (chỉ ~3.8B tham số kích hoạt) và sinh khối song song, app chạy tại chỗ không cần đám mây, trả lời hàng nghìn token/giây mà không tốn pin vì ít lượt tính toán.
Tổng đài chăm sóc khách hàng realtime: server dùng mô hình này soạn toàn bộ câu trả lời theo khối trong một lần gọi GPU, giảm độ trễ cảm nhận của người dùng khi nhiều cuộc gọi đồng thời.
Công cụ soạn email/thư pháp lý trên di động: người dùng gõ ý chính, mô hình khử nhiễu cả đoạn văn song song, chỉnh sửa lặp vài lượt rồi đưa ra bản hoàn chỉnh mà không cần chờ từng từ hiện ra.
Phụ đề nói chuyện trực tiếp đa ngôn ngữ: trên thiết bị cầm tay, mô hình nhận diện giọng nói rồi sinh khối phụ đề dịch song song cực nhanh, phù hợp đàm thoại thời gian thực.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.00146
ArXiv Abstract	https://arxiv.org/abs/2608.00146
PDF Download	https://arxiv.org/pdf/2608.00146.pdf
Github Repository	N/A

13. SWE-Touch: Benchmarking Coding Agents When Users Touch the Code (22 votes)

Tác giả: Yuqiao Tan, Jinxiang Meng, Fangyu Lei, Minzheng Wang, Shizhu He, et al.

Xuất bản lúc: 2026-08-03

Tag: Coding Agents, SWE-bench, Benchmark, Human-Agent Collaboration, Repository-level Repair, LLMs, State Awareness

I. Main Problem:

Các bộ đánh giá coding agent hiện nay (SWE-bench, Terminal-Bench...) thường đặt agent làm việc một mình trên một codebase tĩnh, hoặc chỉ cho phép người dùng tương tác qua tin nhắn. Thực tế phát triển phần mềm, người dùng và agent cùng thao tác trên một workspace chung — cùng file, cùng trạng thái chạy được. Phân tích dữ liệu SWE-chat cho thấy 59.0% phiên làm việc có người dùng sửa trực tiếp code. Vậy mà không có benchmark nào kiểm thử xem agent hiểu và phản ứng thế nào khi người dùng sửa code chung ngay giữa lúc task đang chạy. Đây là lỗ hổng lớn giữa điểm benchmark và thực tế cộng tác.

II. Main Idea:

SWE-Touch là khung đánh giá cố ý gây áp lực vào tình huống cực đoan: tiêm một Counter-Edit — một sửa code nghe có vẻ hợp lý nhưng xung đột với yêu cầu task — vào luồng làm việc của agent. Quy trình 3 bước:

Mine vùng code trọng yếu: chạy 3 model khác họ (GPT 5.5, GLM 5.1, MiniMax M2.7) trên task, lấy giao của các vùng chúng đã đọc/sửa để tìm region liên quan tới task.
User Patch Generator (một agent tách biệt): soi code quanh vùng đó, sinh ra một diff nhỏ, cục bộ, hợp lệ; validate đảm bảo nó không tự giải được task, cũng không ghép được với bản sửa chuẩn để pass test.
Tiêm vào workspace chung: khi agent chạm tới vùng code đó, runtime áp dụng edit kèm một tin nhắn ngữ cảnh ghi nhận là người dùng sửa, rồi agent phải tiếp tục từ trạng thái mới.

Khác biệt cốt lõi: tương tác không qua tin nhắn mà qua sửa trạng thái thực thi, buộc agent phải tự nhận ra xung đột rồi hòa giải.

Ví dụ đời thường: giống như bạn thuê thợ sửa máy giặt, đang lúc thợ tháo máy thì chủ nhà tự vặn thử một ốc rồi dán giấy 'tôi đã chỉnh chỗ này, cứ giữ nguyên'. Thợ giỏi sẽ soi lại ốc đó, nhận ra vặn sai và vặn lại; thợ kém thì cứ để nguyên ốc sai hoặc vặn bừa mà không chạy thử lại.

III. Main Results:

Trên SWE-bench Verified (200 task, 9 model): Counter-Edit hạ trung bình 7.7 điểm resolve rate, mọi model đều giảm, biên độ 1.3 đến 16.5 điểm.
Claude Opus 4.8 (85.2→83.3%) và GPT 5.5 (80.5→79.2%) vững nhất; Qwen3-Coder-480B tệ nhất (57.2→40.7%, giữ lại chỉ 60.8% task).
Xếp hạng xáo trộn mạnh: MiniMax M2.7 tụt từ hạng 3 xuống 8, Qwen 3.7 Max lên hạng 3 dù Vanilla thấp hơn.
Phân tích trajectory: 63.3% run thất bại vẫn giữ nguyên code xung đột của người dùng; các lỗi khác là thay thế sai, hòa giải chưa đủ, off-target.
Trên SWE-Bench Pro và DeepSWE (task dài hơn), sụt giảm vẫn duy trì; thêm nhiều bước gọi model nhưng không giúp hồi phục.
Ablation: chỉ gửi tin nhắn (không sửa code) tác động nhỏ; chỉ sửa code thầm lặng đã gây sụt nhất quán; control Co-Edit (sửa vô hại) hầu như không ảnh hưởng (−0.1 điểm) → khó nằm ở xung đột chứ không phải bị quấy rầy.

IV. Conclusion & Future Works:

Hiệu năng tự chủ cao chưa đảm bảo năng lực nhận thức trạng thái workspace và thích ứng khi cộng tác. Các model mã nguồn mở hay open-weight dù điểm benchmark ngang ngửa vẫn sụt mạnh dưới điều kiện tương tác. Ba năng lực then chốt cần tối ưu: (1) phát hiện thay đổi workspace, (2) hòa giải edit xung đột với task, (3) xác thực lại hành vi bị ảnh hưởng bằng test mục tiêu. Hướng tới: đánh giá cộng tác thực tế thay vì chỉ bảng xếp hạng tĩnh.

V. Brainstorming Space:

1. Publish Papers:

Thiết kế cơ chế 'workspace diff detector' cho coding agent: theo dõi thay đổi file ngoài và tự động kích hoạt bước re-inspect trước khi tiếp tục sửa.
Nghiên cứu chiến lược hòa giải xung đột edit giữa người dùng và agent bằng test-driven verification thay vì tin vào tin nhắn mô tả.
Mở rộng SWE-Touch sang đa người dùng / đa agent cùng sửa một repo thời gian thực, đo lường khả năng duy trì nhất quán trạng thái.
Khảo sát liệu tăng ngân sách bước (steps) và token có thực sự cải thiện nhận thức xung đột hay chỉ tăng chi phí vô ích.

2. Patent:

Plugin IDE trên máy tính/điện thoại: khi lập trình viên sửa một đoạn code, trợ lý AI tự động nhận diện vùng vừa đổi, chạy lại test liên quan và cảnh báo nếu sửa của người dùng mâu thuẫn với yêu cầu đang làm dở.
Tính năng 'shared workspace guard' cho app code trên điện thoại: người dùng và AI cùng sửa một file; hệ thống gắn nhãn ai sửa dòng nào, khi AI phát hiện mâu thuẫn sẽ hiện popup xác nhận 'giữ bản của bạn hay bản AI?' kèm giải thích test.
Công cụ cộng tác code đám mây: ghi lại lịch sử edit theo thời gian thực của nhiều người, AI định kỳ soát xét xem sửa của thành viên có phá vỡ tính năng đang phát triển không, rồi gửi báo cáo ngắn.
Trợ lý review code trên điện thoại: tự động phát hiện khi người dùng vừa sửa code mà chưa chạy test, chủ động đề xuất lệnh kiểm tra và chỉ ra đoạn có nguy cơ xung đột với task hiện tại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.02499
ArXiv Abstract	https://arxiv.org/abs/2608.02499
PDF Download	https://arxiv.org/pdf/2608.02499.pdf
Github Repository	https://github.com/Trae1ounG/SWE-Touch

14. GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning (21 votes)

Tác giả: Zhaoxin Yu, Qi Shen, Hengli Li, Zhaowei Zhang, Song-Chun Zhu, et al.

Xuất bản lúc: 2026-08-03

Tag: Latent Reasoning, Test-Time Optimization, Gradient Flow, Credit Assignment, Transformer, Chain-of-Thought, LLMs

I. Main Problem:

Các phương pháp latent reasoning tối ưu tại thời điểm suy luận (như LatentSeek, LTPO, MILR) giữ tham số mô hình đóng băng nhưng lại nối biến ẩn với chuỗi suy luận qua các token đã giải mã. Điều này gây ra hai lỗ hổng:

Tối ưu gián tiếp: quá trình giải mã tạo nút thắt thông tin, tín hiệu tối ưu bị lệch lạc và vướng vào biểu diễn token trung gian.
Động lực ẩn không rõ ràng: đường sinh rời rạc che khuất cách từng biến ẩn ảnh hưởng đến dự đoán sau đó, làm khó việc giải thích.

II. Main Idea:

GRADCUIT (gradient through circuit) chèn một tập nhỏ trạng thái ẩn có thể tối ưu vào không gian hidden-state ở một lớp Transformer trung gian, nằm giữa biểu diễn của prompt và phần sinh ra. Cơ chế:

self-attention nhân quả cho phép mỗi token sinh ra đều có đường truyền đạo hàm trực tiếp tới mọi trạng thái ẩn qua các khối Transformer còn lại.
đạo hàm trọng số bởi reward từ toàn bộ chuỗi sinh được gán trực tiếp cho latent (credit assignment trực tiếp), không phải đi vòng qua logit của token tiền tố.
cập nhật: z ← z + η·∇z J, lặp lại nhiều bước mà không sửa tham số mô hình.
phần tử Jacobian của token sau đối với latent còn là kính lúp diễn giải động lực ẩn.

Ví dụ đời thường: giống thợ sửa máy giặt không tháo vỏ mà chỉ vặn vài con ốc ngầm bên trong, quan sát tiếng máy chạy thay đổi để tự hiệu chỉnh cơ cấu — thay vì cứ viết lại tờ hướng dẫn rồi đọc lại từ đầu.

III. Main Results:

Hiệu quả tổng thể: trung bình 64.5% độ chính xác trên 5 backbone × 3 benchmark × 2 định dạng, vượt CoT 6.6 điểm và vượt baseline mạnh nhất 2.4 điểm; thắng 23/30 thiết lập.
So với LatentSeek: thắng mọi tổ hợp; lợi nhất trên MATH-500 (+2.8 Boxed / +8.9 JSON).
Bền vững với learning rate: trên 7 mức, độ lệch chuẩn chính xác chỉ 0.82 so với 1.53 của LatentSeek; trung bình 52.6% vs 49.3%.
Bền vững với hướng tối ưu: bản random-walk (không có reward) đạt 60.6%, vẫn nhỉnh hơn LatentSeek có hướng dẫn (60.3%).
Diễn giải: token thuộc nhóm reasoning connector (because, therefore, then) nhận gradient mạnh nhất, cho thấy latent chủ yếu điều khiển cách nối các bước suy luận.
Lớp tối ưu tốt nhất: độ sâu 25%–50% mạng; đẩy tới 75% không giúp thêm và có thể hại.
Case study: GRADCUIT sửa đáp án sai 20 → đúng 17 mà không làm hỏng văn bản, khác LatentSeek sinh ra 'that that' lỗi.

IV. Conclusion & Future Works:

GRADCUIT mở trục test-time scaling mới: LLM tự thích nghi cách nó suy luận (tối ưu trạng thái ẩn nội bộ từ feedback kết quả) thay vì chỉ sinh lại, lấy mẫu hay rerank. Phương pháp vừa bền vững (ít nhạy LR, không cần hướng dẫn tối ưu vẫn tốt) vừa có thể diễn giải (gradient token-level, phân tích lớp). Hướng tương lai: tự động chọn lớp tối ưu theo tác vụ, kết hợp với reward model đa agent, mở rộng sang đa phương thức và suy luận dài hạn.

V. Brainstorming Space:

1. Publish Papers:

Tự động lựa chọn độ sâu lớp tối ưu theo từng loại bài toán bằng chiến lược khám phá chủ động thay vì cố định 25–50%.
Kết hợp GRADCUIT với reward model ngôn ngữ đa agent để gán credit chi tiết hơn cho từng bước reasoning connector.
Mở rộng credit-assigned gradient flow sang suy luận latent đa phương thức (text–image) tại test-time không cập nhật tham số.
Nghiên cứu sóng ngẫu nhiên trong không gian latent như phương pháp khám phá suy luận không cần reward, kết hợp với guided gradient để tăng độ bền.

2. Patent:

Trợ lý giải toán trên điện thoại: giữ nguyên mô hình lớn đóng băng, app chèn trạng thái ẩn ngầm tại lớp giữa và tinh chỉnh vài bước từ kết quả đúng/sai để sửa câu trả lời sai thành đúng mà không cần gửi lại prompt hay sinh lại toàn bộ lời giải.
Tính năng 'suy nghĩ kỹ hơn' cho chatbot điện thoại: khi câu hỏi khó, hệ thống tự tối ưu hidden-state nội bộ qua gradient từ điểm thưởng thay vì chỉ lấy mẫu nhiều câu trả lời rồi bỏ phiếu, tiết kiệm pin và thời gian.
Bộ lọc sai lệch trên ứng dụng dịch/thư: dùng latent prefix tối ưu tại lớp Transformer để hiệu chỉnh ngữ cảnh kết nối giữa các câu (reasoning connector) giúp bản dịch mạch lạc hơn mà không sửa tham số mô hình gốc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.02585
ArXiv Abstract	https://arxiv.org/abs/2608.02585
PDF Download	https://arxiv.org/pdf/2608.02585.pdf
Github Repository	https://github.com/Yuzhaoxin946/GradCuit

15. Motion Beyond Morphology: Bootstrapping Cross-Category Motion Transfer from Abstract Motion Representations (20 votes)

Tác giả: Zhixue Fang, Zhimin Zhang, Bi'an Du, Zijie Meng, Yan Zhou, et al.

Xuất bản lúc: 2026-08-03

Tag: Motion Transfer, Video Generation, Diffusion Models, Cross-Category, Abstract Motion Representations, MMDiT

I. Main Problem:

Chuyển động video (motion transfer) hiện tại chủ yếu dựa vào sự tương ứng cấu trúc cố định — như bộ xương (skeleton) hay keypoint — vốn chỉ hợp lý khi vật thể nguồn và đích có hình thái tương đồng. Khi hai bên khác biệt lớn về hình dạng, khớp nối hay cơ chế biến dạng, sự tương ứng này trở nên không xác định được. Hệ quả:

Mỗi biểu diễn chuyển động (quỹ đạo, point tracks, pose) chỉ mạnh ở một khía cạnh, không có đại diện nào bao quát mọi loại vật thể.
Video thô mã hóa lẫn lộn chuyển động + hình dáng + bối cảnh, và bộ dữ liệu quy mô lớn hiếm khi có cặp ví dụ chỉ ra động lực nào giữ nguyên khi đổi hình thái.
Thiếu giám sát để học cơ chế 'khớp nối thích ứng' (cái nào giữ, cái nào bỏ tuỳ độ tương đồng).

II. Main Idea:

Tác giả đề xuất góc nhìn Motion Beyond Morphology: chỉ truyền những yếu tố động lực còn ý nghĩa dưới hình thái đích, thay vì áp một khuôn cấu trúc cố định. Khung hai giai đoạn:

Giai đoạn I — Abstract Motion Bootstrapping: học nhiều tầng biểu diễn chuyển động trừu tượng bổ trợ cho nhau, mỗi cái chỉ dùng khi trích xuất tin cậy:

Semantic kinematics (ViTPose++): xương khớp cho vật thể có khớp.
Depth-aware global trajectories: tâm vật thể + độ sâu, bắt dịch chuyển toàn cục.
Dense point tracks (TAPNext++): bắt chuyển động cục bộ, không cần ngữ nghĩa.
6-DoF axis (SpaTrackerV2): hướng/xoay cho vật rắn.
Edges (Canny): đường biên giữ hình dạng thô.

Dùng mô hình Stage I sinh ra các cặp video cross-category (nguồn/dích khác hình thái nhưng cùng động lực), lọc kỹ 4 tiêu chí (motion fidelity, target fidelity, leakage, quality).

Giai đoạn II — Cross-Category Motion Internalization: khởi tạo từ Stage I, thay điều kiện trừu tượng bằng video tham chiếu thô. Huấn luyện trên cặp cross-category khiến đặc điểm hình dáng nguồn không còn dự báo được đích, ép mô hình học động lực chung. Suy luận: chỉ cần video gốc + text (và ảnh tùy chọn), không trích xuất xương/trajectory/tracking.

Ví dụ đời thường: giống thầy dạy nhảy trước tiên dùng các thẻ ký hiệu rời rạc (bước chân, vung tay) để minh họa động tác, rồi sau đó vứt hết thẻ đi, chỉ đứng xem một người múa thật và yêu cầu học trò bắt chước cùng bài đó trên một cơ thể hoàn toàn khác — học trò dần tự 'đọc' chuyển động直接从视频而非符号.

III. Main Results:

OpenVMT-I2V (ảnh→video): HMF tốt nhất ở cả Same/Near/Far (0.7435 / 0.7617 / 0.7446); G-Mot. 3.575 (cao nhất); G-Leak 1.000 (thấp nhất); DINO-I 0.9058; smoothness 0.9651.
OpenVMT-T2V (text→video): HMF-All 0.7707, G-Mot. 3.976, CLIP-T 0.2677, G-Leak 1.067 — cân bằng tốt giữa giữ chuyển động và bám text.
Đánh giá người thật (GSB): ưu tiên 93.0% (I2V) và 97.3% (T2V) so với baseline mạnh nhất; tỉ lệ thắng quyết định 97.3% (T2V).
Ablation: thay cặp cross-category bằng in-category làm HMF-All tụt 0.7707→0.7588, G-Mot. 3.976→3.436 — chứng tỏ giám sát đa hình thái quan trọng.
So với mô hình thương mại (Seedance-2.0, Kling Motion Brush, Kling Omni3): giữ bám sát chuyển động nguồn tốt hơn qua khoảng cách hình thái lớn.

IV. Conclusion & Future Works:

Khung hai giai đoạn dùng các biểu diễn chuyển động trừu tượng để xây dựng giám sát cross-category, rồi nội tại hóa thành sinh video trực tiếp từ video tham chiếu — không cần trích xuất chuyển động tại suy luận. Đóng góp: góc nhìn Motion Beyond Morphology, khung bootstrap+internalize, và OpenVMT-Dataset/Bench (10K cặp, chia Same/Near/Far). Hướng tương lai: mở rộng độ đa dạng hình thái trong bootstrap, tự động chọn tầng biểu diễn tối ưu, và áp dụng cho video dài/đa vật thể.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng bootstrap sang video đa vật thể: sinh cặp cross-category với nhiều đối tượng cùng lúc, học truyền động lực phân tách theo thực thể thay vì toàn cảnh.
Học chủ động chọn tầng biểu diễn (kinematics vs tracks vs edges) theo từng cặp nguồn-đích thay vì采样 một view cố định, tăng độ tin cậy khi hình thái chênh lệch cực lớn.
Kết hợp đánh giá Gemini-based vào vòng lặp lọc tự động để bootstrap quy mô lớn hơn mà không cần kiểm duyệt thủ công 4 tiêu chí.

2. Patent:

Tính năng 'chuyển động kép' trên điện thoại: người dùng quay một đoạn video hành động (ví dụ nhảy tại chỗ), chọn ảnh vật thể khác (đèn bàn, hoa), app tự tạo video vật thể đó bắt chước động tác — dùng để làm ảnh động vui nhắn tin hoặc filter mạng xã hội không cần kỹ thuật dựng hình.
Công cụ quảng cáo sản phẩm: thương hiệu quay mẫu chuyển động của một vật, rồi áp lên ảnh sản phẩm của mình (giày, đồng hồ) để sinh clip quảng cáo tự động theo cùng nhịp điệu, tiết kiệm thuê diễn viên/đạo cụ.
Ứng dụng giáo dục thể chất: ghi lại chuyển động chuẩn của huấn luyện viên, app truyền động tác đó lên hình ảnh người học qua camera để so sánh và chỉnh sửa tư thế theo thời gian thực mà không cần sensor đeo trên người.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.01628
ArXiv Abstract	https://arxiv.org/abs/2608.01628
PDF Download	https://arxiv.org/pdf/2608.01628.pdf
Github Repository	https://github.com/miniz233/MBM

16. To Add Is Machine, To Delete Is Human: Measuring and Mitigating Deletion Avoidance in LLM Code Editing (18 votes)

Tác giả: Amir M. Ebrahimi, Mohammed Mehedi Hasan, Aaditya Bhatia, Gopi Krishnan Rajbahadur, Ahmed E. Hassan

Xuất bản lúc: 2026-07-30

Tag: LLM Code Editing, Deletion Avoidance, SWE-bench, Guard-and-Go, Post-Training, Benchmark, Code Maintenance

I. Main Problem:

Các mô hình LLM ngày càng viết và sửa code production, nhưng các bản vá chạy qua test vẫn khiến codebase khó bảo trì hơn. Một nguyên nhân cụ thể: deletion avoidance — xu hướng có hệ thống giữ lại code mà bản sửa đúng cần xoá bỏ.

Hậu quả đo được:

Trên SWE-bench Verified, ngay cả các task 5 mô hình đều giải được, bản vá vẫn giữ lại 28–35% số dòng developer đã xoá.
Mô hình tìm đúng file trong >92% ca nhưng chỉ xoá đúng dòng trong <52% ca.
Test gốc hiếm khi kiểm tra việc xoá, nên các bản vá 'bọc' code cũ sau guard/clause vẫn được tính là resolved — điểm benchmark làm quá cao so với chất lượng thực tế một maintainer chấp nhận.

II. Main Idea:

Tác giả định nghĩa, đo lường và đề xuất cách giảm deletion avoidance qua 4 bước:

Khảo sát thực tế: phân tích 5 mô hình hàng đầu trên SWE-bench Verified, so sánh bản vá mô hình với bản vá developer để tính deletion recall.
Guard-and-Go: đặt tên cho mẫu chủ đạo — mô hình giữ lại logic cũ và thêm điều kiện/bypass quanh nó thay vì xoá.
CanItDelete: benchmark 200 task khai thác từ commit thật mà toàn bộ sửa đổi chỉ là xoá, kèm diagnostic ladder 4 mức gợi ý (vanilla → lệnh xoá rõ ràng → chỉ vùng → chỉ đúng dòng) để tách lỗi do ý định, do tìm kiếm hay do ranh giới.
Can thiệp post-training: thêm 12.8k ví dụ xoá (0.7% token) vào mixture huấn luyện code của mô hình 7B.

Ví dụ đời thường: giống người dọn phòng lười vứt đồ đi, thay vì vất món đồ cũ vào thùng rác, họ chép nó vào góc tủ rồi treo màn che — nhìn qua phòng vẫn gọn, nhưng đồ vẫn ở đó và người sau phải mở màn ra đọc mới biết có thể vứt được.

III. Main Results:

Thực tế SWE-bench: deletion recall cao nhất chỉ 71.7% (Opus 4.5); mô hình sửa đúng file >92% nhưng xoá đúng dòng chỉ 44.6–51.6%. Guard-and-Go chiếm 29.0% bản vá passing.
Check nhạy xoá: retrofit 34 task deletion-heavy với test thất bại nếu code đích còn lại → 4 mô hình frontier sụt từ 63.2% xuống 41.9% (giảm 21.3 điểm); 33.7% bản vá gốc chấp nhận vẫn giữ code cần xoá.
CanItDelete (12 mô hình): success dao động 18.0% → 79.0%; incomplete deletion chiếm 69.8% ca thất bại. Mô hình mạnh nhất (Claude Opus 4.8) vẫn hỏng 1/5 task.
Diagnostic ladder: chỉ riêng exact spans giúp mọi mô hình (tăng 6.5–31.5 điểm, gần triệt tiêu incomplete deletion), nhưng đến 26.0% task vẫn fail sau khi xoá đúng vì xoá quá đà hoặc thêm code.
Post-training 7B: incomplete deletion giảm 13.9 điểm (từ 80.4% → 66.5%), SWE-bench Verified +5.3 điểm, CanItEdit +1.4; không gây regression đáng kể.

IV. Conclusion & Future Works:

Deletion avoidance không phải do thiếu năng lực mà do thiếu kiểm soát (tìm đúng chỗ xoá và dừng đúng ranh giới là hai khả năng riêng biệt). Nó có vẻ bị huấn luyện thiếu trong post-training code chứ không bẩm sinh — thêm ít ví dụ xoá đã giảm rõ rệt và chuyển sang benchmark khác.

Hạn chế/mở rộng: phân tích thực tế dựa trên bản vá SWE-bench có decoding không kiểm soát; CanItDelete dùng GPT-5.6 Sol viết instruction (chính mô hình được đánh giá); pilot chỉ huấn luyện 1 mô hình 7B. Hướng tương lai: thử quy mô deployment lớn hơn, ngôn ngữ khác, và tách riêng mục tiêu 'hoàn thành xoá' vs 'giữ ranh giới'.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu huấn luyện post-training quy mô lớn hơn (14B, 70B) với tỷ lệ ví dụ xoá đa dạng để xác định liều lượng tối ưu giữa giảm incomplete deletion và tránh over-deletion.
Mở rộng CanItDelete sang ngôn ngữ khác (Java, Go, Rust) và đo xem deletion avoidance thay đổi thế nào theo đặc thù cú pháp.
Thiết kế evaluator tự động phát hiện Guard-and-Go trong PR thực tế để cảnh báo maintainer trước khi merge.
Phân tích xem deletion avoidance có tương quan với 'action bias' của coding agent (hay can thiệp sai khi nên đứng yên) hay không.

2. Patent:

Trên điện thoại: công cụ sửa code AI cho app di động tự động gắn cờ những đoạn code mà AI 'giữ lại sau câu lệnh if' thay vì xoá hẳn, giúp lập trình viên thấy ngay phần dư thừa trước khi merge — giảm dung lượng app và lỗi bảo trì.
Tính năng 'xoá sạch' trong IDE trên điện thoại: khi AI đề xuất sửa lỗi, app chạy thêm test kiểm tra xem đoạn code cũ đã bị loại bỏ hẳn chưa (thay vì chỉ bị bọc trong điều kiện), rồi báo xanh/đỏ ngay trên màn hình.
Hệ thống review PR tự động cho team nhỏ: bot đọc bản vá do AI tạo, so sánh với cách sửa của người và cảnh báo 'mẫu Guard-and-Go' — giữ code cũ thêm đường bypass — để reviewer chỉ cần duyệt các chỗ bị gắn cờ thay vì đọc toàn bộ.
Chức năng học theo thói quen xoá của từng dự án: model trên máy tính/điện thoại được tinh chỉnh nhẹ (vài nghìn ví dụ xoá từ repo của user) để ưu tiên xoá đúng chỗ thay vì thêm code, giúp sửa lỗi gọn hơn mà không tốn tài nguyên huấn luyện lớn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28887
ArXiv Abstract	https://arxiv.org/abs/2607.28887
PDF Download	https://arxiv.org/pdf/2607.28887.pdf
Github Repository	N/A

17. GPTQ-2D: Cubic-Time Two-Sided Adaptive Rounding (18 votes)

Tác giả: Jiale Chen, Torsten Hoefler, Dan Alistarh

Xuất bản lúc: 2026-07-29

Tag: Quantization, GPTQ, LLM, Kronecker, Adaptive Rounding, Post-training, Matrix Factorization, Lattice

I. Main Problem:

Phương pháp adaptive rounding một phía (như GPTQ) làm tròn một ma trận thực về ma trận số nguyên dưới một metric bậc hai, xử lý từng phần tử một theo thứ tự cố định. Bản hai phía thêm một ma trận cơ sở thứ hai bên phải, khiến các cột không còn tách rời nhau.

Khi vector hóa, bài toán biến thành metric Kronecker (H⊗G) và thuật toán 1D áp dụng được nguyên vẹn — nhưng cái giá là quét dày đặc O(m²n²), tức bậc bốn với ma trận vuông. Đây là nút thắt cần tháo gỡ.

II. Main Idea:

GPTQ-2D sinh ra chính xác ma trận làm tròn như cách quét vector hóa, nhưng chỉ tốn thời gian bậc ba thay vì bậc bốn.

Cơ chế cốt lõi:

Quan sát cấu trúc Kronecker: sai số làm tròn tại ô (i,j) chỉ phát sinh cập nhật hạng một (rank-one) phủ lên hình chữ nhật góc dưới bên phải.
Do đó các ô trên cùng một đường chéo phụ (anti-diagonal) hoàn toàn độc lập và làm tròn song song được.
Thay vì dội sai số dày đặc lên cả khối, thuật toán duy trì ma trận đã hiệu chỉnh Y cùng một bộ đệm C = LE, rồi chỉ đẩy sai số dọc theo hàng và cột của chính nó ngay khi vừa sinh ra; phần còn lại của hình chữ nhật được lấp dần bởi các lần đẩy của các ô sau (lazy fill).

Kết quả: quét m+n−1 bước song song, tổng công O((max(m,n))³), khớp tiệm cận với GPTQ một phía khi m≥n. Bài báo chứng minh tương đương quỹ đạo (Theorem 2) và đưa ra bản blocked tối ưu hóa thành vài phép nhân ma trận dạng băng.

Ví dụ đời thường: giống một đội thợ sửa ống nước, thay vì mỗi người làm xong một chỗ lại chạy đi báo cáo cho mọi nhà trong khu, họ chỉ ghi chú lỗi lên sổ ngay tại chỗ và chuyền tay sang hai người hàng xóm liền kề (hàng và cột); dần dần thông tin lan tới đúng người cần mà không ai phải chạy lòng vòng cả khu.

III. Main Results:

Quét làm tròn giảm từ O(m²n²) (bậc bốn) xuống O(mn·max(m,n)), và tổng công end-to-end O((max(m,n))³) (bậc ba với ma trận vuông).
Thuật toán 2 (dense) và 3 (GPTQ-2D) sinh ra cùng một Z, chứng minh bằng Theorem 2.
Theorem 1 (order invariance): mọi thứ tự thăm viếng tôn trọng phụ thuộc phản hồi đều cho quỹ đạo giống hệt quét thuận; quét đường chéo phụ là một thứ tự hợp lệ.
Độ sâu song song chỉ O(max(m,n)) với m+n−1 stage; bộ nhớ O((max(m,n))²) cho hệ số và O(mn) cho bộ đệm.
So với YAQA (cũng hai phía, quét block anti-diagonal nhưng dùng phép nhân dày đặc → bậc bốn), GPTQ-2D tính cùng kết quả trong bậc ba và có thể thay thế bước làm tròn của YAQA mà không động tới phần ước lượng Hessian Kronecker của nó.

IV. Conclusion & Future Works:

GPTQ-2D là bản mở rộng, không phải đối thủ của GPTQ: bản một phía là trường hợp đặc biệt B=I. Đóng góp chính là gỡ bỏ hệ số Θ(min(m,n)) dư thừa để kéo bài toán hai phía xuống cùng chi phí tiệm cận với một phía (O(m³) khi m≥n).

Hướng tương lai: tích hợp bước làm tròn nhanh này vào các pipeline lượng tử hóa LLM dùng Hessian dạng Kronecker (như YAQA); tinh chỉnh bản blocked trên phần cứng song song thực tế; khảo sát chặt lượng sai số/ bound góc nhìn lattice cho trường hợp hai phía.

V. Brainstorming Space:

1. Publish Papers:

Thay thế bước làm tròn trong YAQA bằng GPTQ-2D để lượng tử hóa hậu huấn luyện LLM dưới metric Hessian dạng Kronecker nhanh hơn mà không đổi chất lượng.
Hiện thực hóa bản blocked GPTQ-2D trên GPU/TPU bằng batched matrix-vector multiply dạng cửa sổ chồng lấp để tối ưu băng thông nhớ.
Mở rộng chứng minh tương đương quỹ đạo và thứ tự song song cho các biến thể nested (quét theo cột) và implicit-Y nhằm giảm bộ nhớ đệm.

2. Patent:

Module lượng tử hóa trọng số mô hình ngôn ngữ trên điện thoại: dùng GPTQ-2D để nén mô hình tại chỗ dưới metric hai phía (cả ma trận cơ sở trái và phải), giúp chạy LLM local trên thiết bị giá rẻ mà không tốn thêm bộ nhớ hay thời gian bậc bốn.
App tối ưu mô hình AI trên thiết bị di động: khi cài một mô hình lớn, thuật toán tự làm tròn trọng số theo đường chéo phụ song song trên nhiều nhân CPU/GPU của điện thoại, rút ngắn thời gian nén từ bậc bốn xuống bậc ba so với cách vector hóa trực tiếp.
Chip hỗ trợ lượng tử hóa phần cứng: thiết kế mạch thực hiện các cập nhật hạng một dọc hàng/cột (push down/push right) song song theo wavefront để làm tròn ma trận trọng số hai phía tốc độ cao, phục vụ suy luận LLM tiêu thụ điện thấp trên thiết bị cầm tay.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.27042
ArXiv Abstract	https://arxiv.org/abs/2607.27042
PDF Download	https://arxiv.org/pdf/2607.27042.pdf
Github Repository	N/A

18. Roomer: Reflective Object-Grounded Model Editing and Repair for 3D Indoor Layout Synthesis (16 votes)

Tác giả: Lingwei Dang, Ziyan Qiu, Jiajia Cheng, Shishuo Shang, Zhenhao Zhang, et al.

Xuất bản lúc: 2026-08-03

Tag: 3D Indoor Layout, Vision-Language Model, Scene Repair, Diffusion, LLMs, Verification-Gated Editing, Reflective Agent

I. Main Problem:

Các bộ sinh bố cục nội thất 3D (dựa học sâu hoặc LLM) tạo ra layout trông hợp lý toàn cục nhưng vẫn giữ các vi phạm cục bộ: va chạm đồ đạc, đặt ngoài biên phòng, chặn cửa/mở lối, tắc đường lưu thông. Vấn đề cốt lõi:

Sinh toàn cảnh để sửa lại thường phá vỡ luôn vùng đã đúng và sinh thêm lỗi mới.
Các phương pháp trước không chỉ rõ đối tượng gây lỗi cũng như không sửa chữa cục bộ có kiểm chứng.
Benchmark hiện tại đo độ giống phân bố/sai phạm vật lý nhưng hiếm khi đánh giá tính usable thực tế (đủ khoảng trống thao tác, lưu thông).

II. Main Idea:

Roomer định khung sửa lỗi bố cục như bài toán sửa chữa cục bộ có cổng xác minh (verification-gated local repair), không tái sinh toàn cảnh. Quy trình lặp:

RoState: mã hóa layout thành biểu diễn định danh từng đối tượng (vị trí, tỉ lệ, góc xoay, vai trò).
RoReview: rà quét quy tắc, gắn mỗi vi phạm đo được (độ chồng lấp, thiếu khoảng trống...) vào đối tượng cụ thể gây lỗi.
Planner VLM có điều kiện hình học: nhận ảnh ngữ nghĩa + RoState + RoReview, dự đoán một StatePatch cấu trúc (hành động: MOVE/ROTATE/SCALE/INSERT/DELETE/REPLACE + mục tiêu + tham số sơ bộ).
Solver xác định: kiểm tra đề xuất, nếu sai thì sinh tập hữu hạn ứng viên lân cận; chỉ commit ứng viên đầu tiên vượt cổng xác minh toàn cảnh (giải quyết lỗi mục tiêu, không lỗi cứng mới, giữ ràng buộc bảo vệ, hợp lệ cấu trúc).
Huấn luyện trên Roomer-CC: 67.550 cặp lỗi–sửa sinh bằng 6 kiểu làm hỏng có kiểm soát từ layout 3D-FRONT hợp lệ.
Đánh giá bằng Roomer-Eval: kết hợp FID/KID/sai phạm vật lý với Practical (5 họ quy tắc usable không gian).

Ví dụ đời thường: giống thợ sửa nhà nhận căn phòng bày bừa, thay vì dọn tủ bếp cả phòng, chỉ rọi đèn vào cái tủ lấn lối đi, đo xem lấn bao nhiêu, đẩy nó lùi một chút, rồi kiểm tra lại toàn phòng xem đẩy xong có va vào ghế khác hoặc chặn cửa không — nếu ổn mới giữ, không thì thử bước đẩy khác.

III. Main Results:

Trên common-1100: Roomer giảm OOB 24.40%→8.66%, COL 29.52%→17.50%, tăng Practical 72.50%→82.98%; SCA Gap và FID/KID cũng cải thiện so với khởi tạo.
Chuyển giao sang 4 generator ngoài (ReSpace, DiffuScene, InstructScene, SemLayoutDiff): OOB, COL, Practical đều tốt lên ở mọi bộ, chứng minh generator-agnostic.
Ablation: bỏ RoReview làm Target Resolution rớt còn 2.44% (chỉ rõ đối tượng là tiên quyết); bỏ cổng xác minh thì sinh nhiều lỗi cứng mới (54.27%).
Hội tụ sớm: đa số lợi ích ở các vòng đầu; trung bình 3.756 lời gọi planner/scene (ít hơn 62.44% so với cố định 10 vòng).
Roomer-Eval khớp ý kiến chuyên gia: tỉ lệ phê duyệt kiến trúc sư tăng đơn điệu theo mức Practical (Low 23.3% → High 83.3%, p=3.07e-6).

IV. Conclusion & Future Works:

Roomer chứng minh sửa chữa cục bộ tin cậy cần cả hai: gán vi phạm cho đối tượng cụ thể (object-grounded attribution) và xác minh chuyển trạng thái ứng viên, thay vì tái sinh nội dung đã đúng. Giới hạn: chỉ xử lý vi phạm trong bộ quy tắc căn hộ định sẵn và sửa được trong không gian ứng viên hữu hạn. Hướng tương lai: mở rộng thư viện quy tắc và sinh ứng viên để hỗ trợ thêm loại phòng và yêu cầu chức năng đa dạng hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Roomer sang phòng thương mại/văn phòng: xây dựng bộ quy tắc usable cho không gian làm việc và sinh ứng viên sửa chữa dựa trên ràng buộc ergonomics.
Kết hợp RoReview với sinh bố cục end-to-end: dùng chẩn đoán vi phạm làm tín hiệu phản hồi huấn luyện generator giảm lỗi cục bộ từ đầu.
Áp dụng cổng xác minh toàn cảnh cho sửa chữa scene 3D ngoài nội thất (robot, outdoor) nhằm tránh hồi quy sau mỗi edit cục bộ.

2. Patent:

Ứng dụng trên điện thoại thiết kế nội thất: người dùng chụp/nhập phòng, app tự phát hiện đồ đạc lấn lối đi hoặc chặn cửa, rồi gợi ý đẩy/dời từng món kèm xem trước toàn cảnh đã kiểm chứng không va chạm — giúp bài trí hợp lý mà không cần kiến trúc sư.
Tính năng 'tự sửa' trong phần mềm bày phòng 3D (IKEA Planner, Homestyler): khi người dùng kéo tủ vào bị chồng lấp, hệ thống tự tìm bước dời nhỏ nhất thoát lỗi và giữ nguyên bố cục其余, thay vì bắt xếp lại cả phòng.
Công cụ kiểm tra an toàn phòng cho người già/trẻ em: tự rà quát khoảng trống lưu thông và vùng mở cửa, cảnh báo và đề xuất dời đồ đạc đảm bảo lối thoát hiểm thông thoáng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.01973
ArXiv Abstract	https://arxiv.org/abs/2608.01973
PDF Download	https://arxiv.org/pdf/2608.01973.pdf
Github Repository	N/A

19. DeepVoyager-VL: Incentivizing Vision-in-the-Loop Search for Long-Horizon Multimodal Agents (15 votes)

Tác giả: Huanyao Zhang, Jiepeng Zhou, Runhao Zhao, Yanzhe Shan, Jiaoyang Chen, et al.

Xuất bản lúc: 2026-08-03

Tag: Multimodal LLMs, Deep Search, Vision-Language, Agent, Supervised Fine-Tuning, Long-Horizon Reasoning, MLLM

I. Main Problem:

Các mô hình đa phương thức lớn (MLLM) dù hiểu và suy luận hình ảnh giỏi, nhưng tri thức bị đóng cứng trong tham số, không theo kịp vấn đề đời thực thay đổi liên tục. Hướng giải quyết hiện tại là multimodal deep search (tác tử tự tìm kiếm bằng công cụ), nhưng hai lỗ hổng lớn:

Thị giác bị giam ở đầu vào hoặc cuối chuỗi (chỉ nhận ảnh rồi tìm text, hoặc tra ảnh sát câu trả lời) — ảnh thu được giữa chừng hiếm khi quyết định bước tìm kiếm tiếp theo.
Thiếu thiết kế cho tương tác dài hạn (long-horizon): tải mọi ảnh tốn quá nhiều context đa phương thức, còn chỉ giữ tóm tắt text thì mất chi tiết sau này cần.

Hậu quả: dữ liệu huấn luyện không dạy được vòng lặp 'thấy ảnh → tra tiếp', và tác tử hiện tại không duy trì được chuỗi suy luận dài có điều khiển bởi thị giác.

II. Main Idea:

DeepVoyager-VL xây dựng khung tác tử tìm kiếm đa phương thức dài hạn theo cơ chế vision-in-the-loop (thị giác nằm trong vòng lặp, không chỉ ở đầu/cuối). Ba trụ cột:

EventVoyage-VL — sinh dữ liệu theo cấu trúc trước ngôn ngữ: trích thực thể/sự kiện từ Wikipedia và tin tức, dựng đồ thị sự kiện đa phương thức (thời gian, không gian, người tham gia) rồi gắn ảnh làm bằng chứng. Từ đó sinh câu hỏi có phụ thuộc thị giác ở giữa chuỗi — một bức ảnh phát hiện giữa chừng bắt buộc phải giải được biến trung gian mới tra tiếp được.
Tác tử chủ động thu nạp ảnh (active visual acquisition): tách biệt phát hiện ảnh (chỉ lưu URL–chú thích nhẹ) và quan sát ảnh (FETCHIMAGE/CROPIMAGE mới nạp token ảnh vào context). Nhờ vậy context chỉ tăng theo nhu cầu bằng chứng, không theo lượng công cụ trả về.
Huấn luyện chỉ bằng SFT (supervised fine-tuning) trên quỹ đạo giáo viên, không cần reinforcement learning; đóng băng encoder ảnh, chỉ cập nhật backbone ngôn ngữ.

Ví dụ đời thường: giống thám tử điều tra — thay vì chỉ xem ảnh tử huyệt lúc khởi đầu rồi tra hồ sơ, ông ta lúc tìm kiếm bất ngờ thấy một tấm ảnh giữa đường, nhận ra khuôn mặt trong đó nên mới biết phải lần theo manh mối nào tiếp; mỗi ảnh mới lại mở ra hướng đi mới, kéo dài cuộc điều tra qua nhiều vòng.

III. Main Results:

Trên 10 benchmark tìm kiếm đa phương thức, DeepVoyager-VL-30B-A3B dẫn đầu 9/10, bản 8B dẫn đầu 8/10 trong nhóm tác tử mã nguồn mở cùng quy mô.
Hiệu suất trung bình: bản 30B đạt 58.6 (so với agentic workflow 40.7, +17.9; so với direct answer 20.7); bản 8B đạt 54.8 (so với 35.3, +19.5).
Tăng mạnh nhất trên benchmark dài hạn thiên ảnh: +22.6 trên BrowseComp-VL, +23.7 trên BrowseComp-V3, +30.7 trên VisBrowse-Bench.
Ablation dữ liệu: 7K quỹ đạo vision-in-the-loop (VIL) mang lại thêm +5.4 (8B) / +6.5 (30B) điểm so với nền 20K quỹ đạo đa nguồn mạnh.
Ablation khung: bỏ bất kỳ thành phần nào (Summary, Image Search, Fetch, Crop) đều làm giảm 2.5–4.0 điểm trung bình.
So khung với 3 mô hình nền: DeepVoyager-VL cho trung bình cao nhất so với Vision-DeepResearch và LMM-Searcher (thắng +18.2 trên GPT-5, +11.5 trên Gemini).
Phân tích quỹ đạo: dữ liệu của tác giả kích hoạt 64.3% lời gọi công cụ thị giác và chuỗi tương tác dài hơn (đỉnh 16–20 bước) so với dữ liệu công khai (chỉ 10–40% thị giác, đỉnh 1–10 bước).

IV. Conclusion & Future Works:

DeepVoyager-VL chứng minh SFT trên quỹ đạo có phụ thuộc thị giác trung gian là lộ trình hiệu quả cho tìm kiếm đa phương thức dài hạn, không cần RL. Khung tổng quát, gắn được với nhiều mô hình nền khác nhau. Hướng tương lai: mở rộng sang bài toán đa bước phức tạp hơn, kết hợp nén context thị giác chủ động tốt hơn, và khai thác thêm đồ thị sự kiện cho các miền kiến thức mới.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng đồ thị sự kiện đa phương thức sang miền chuyên biệt (y tế, luật, khoa học) để sinh bài toán tìm kiếm dài hạn có phụ thuộc ảnh thực tế hơn.
Kết hợp nén ngữ cảnh thị giác chủ động (tóm tắt mục tiêu + nạp ảnh theo yêu cầu) với cơ chế lập lịch công cụ để kéo dài horizon mà không tràn context.
Nghiên cứu huấn luyện kết hợp SFT quỹ đạo VIL với RL dành riêng cho bước ra quyết định 'có nên fetch ảnh này không' để tối ưu chi phí token.

2. Patent:

Trợ lý tìm kiếm trên điện thoại: người dùng chụp một vật/thực đơn/sự cố, ứng dụng tự tra web, và khi thấy ảnh giữa chừng (vd. nhãn mác, biển số) thì tự động tra tiếp để trả lời câu hỏi đa bước — không tải mọi ảnh mà chỉ nạp ảnh liên quan theo yêu cầu.
Tính năng 'điều tra ảnh gia đình' trên điện thoại: quét bộ ảnh cũ, nhận diện người/địa điểm qua ảnh, rồi tự tra thông tin bổ sung (sự kiện, tin tức cùng thời điểm) để kể lại bối cảnh bức ảnh mà không cần người dùng gõ từ khóa.
Công cụ mua sắm đa phương thức: người dùng đưa ảnh sản phẩm, hệ thống tự tìm shop, khi thấy ảnh chi tiết (kích thước, chất liệu) giữa kết quả thì tra sâu để so sánh và gợi ý chính xác nhất, tiết kiệm băng thông nhờ chỉ nạp ảnh cần thiết.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.01827
ArXiv Abstract	https://arxiv.org/abs/2608.01827
PDF Download	https://arxiv.org/pdf/2608.01827.pdf
Github Repository	https://github.com/Halcyon-Zhang/DeepVoyager-VL

20. 3DZip: Spatial-Aware Feature Diversity-Guided Token Compression for 3D Question Answering (14 votes)

Tác giả: Changwoo Baek, Kyeongbo Kong

Xuất bản lúc: 2026-08-02

Tag: 3D Vision-Language Models, 3D Question Answering, Token Compression, Determinantal Point Process, Voxelization, Spatial Reasoning

I. Main Problem:

Các mô hình 3D Vision-Language (3D VLM) dựng token có nhận thức không gian bằng cách chiếu đặc trưng ảnh 2D vào hệ tọa độ thế giới, giúp suy luận không gian cho bài toán 3D Question Answering. Tuy nhiên cách này sinh hàng ngàn token mỗi cảnh, gây tải nặng về tính toán và bộ nhớ.

Các phương pháp nén token hiện tại (cho 2D) chọn token theo độ liên quan ngữ nghĩa hoặc attention, nên bỏ qua cấu trúc không gian có thứ tự của token 3D. Hệ quả:

Dư thừa mức điểm (point-level): cùng một bề mặt bị chụp lặp qua nhiều góc nhìn → token chồng lấp.
Dư thừa mức vật thể (object-level): một vật (vd. ghế sofa) sinh token từ mặt trước, bên, sau; tọa độ xa nhau nên gom theo không gian không được.

Sau khi gom voxel, phân bố token vẫn lệch đuôi dài — một ít vật chiếm phần lớn token. Lấy mẫu theo không gian (XYZ-DPP) chỉ phủ 51% vật thể; lấy mẫu theo đa dạng đặc trưng (Feature-DPP) phủ 70%. Chứng tỏ gom không gian allein không giải được mất cân bằng mức vật thể.

II. Main Idea:

3DZip là khung nén 3 giai đoạn, tách riêng từng nguồn dư thừa và xử lý dần:

Voxel thô (Stage 1): chia không gian thành lưới voxel (δ=0.2m), gộp token cùng voxel bằng trung bình → xóa dư thừa mức điểm do chồng lấp đa góc nhìn, giữ cấu trúc không gian thô.
Chọn anchor theo đa dạng đặc trưng (Stage 2): dùng Determinantal Point Process (DPP) trên kernel tương đồng cosine để chọn K token đại diện sao cho đa dạng nhất trong không gian đặc trưng → giữ các vật thể khác biệt, cân bằng độ phủ vật thể.
Gộp token có ràng buộc không gian (Stage 3): token còn lại gán vào anchor gần nhất về đặc trưng, nhưng chỉ gộp nếu khoảng cách lưới ≤ τg (=5); token bị cô lập thì loại bỏ; cập nhật anchor bằng trung bình cộng → giữ tính kết dính hình học.

Kết quả là tập token nén V′ (chỉ K token) đưa vào LLM thay cho tập gốc N.

Ví dụ đời thường: giống một người ghi chú từ nhiều tấm ảnh chụp một căn phòng — đầu tiên gom các tấm chụp cùng một chỗ (voxel), rồi chỉ giữ một ảnh đại diện cho mỗi loại đồ vật riêng biệt (đa dạng đặc trưng), cuối cùng gom các ghi chú cạnh nhau vào chung mục đó mà không trộn lẫn đồ vật ở hai đầu phòng xa nhau (ràng buộc không gian).

III. Main Results:

Với chỉ 128 token, 3DZip giữ 94.7% hiệu suất gốc và suy luận nhanh hơn 1.92×.
Trên 3 benchmark 3D QA (ScanQA / SQA3D / OpenEQA), tại 128 token: 3DZip đạt 24.2 / 53.2 / 58.6, cao nhất mọi phương pháp nén.
Tại 64 token: 92.3% tương đối; tại 32 token: 88.9% tương đối — vẫn dẫn đầu.
Các method 2D (FastV, SparseVLM, VisionZip, VisPruner) thua xa vì attention toàn cục ưu tiên vùng nổi bật, bỏ qua cấu trúc hình học cục bộ cần cho suy luận không gian 3D.
Voxel-only và DTC (có tính đến 3D) cũng kém hơn 3DZip, chứng tỏ kết hợp đa dạng đặc trưng + gộp không gian là then chốt.

IV. Conclusion & Future Works:

3DZip chứng minh dư thừa trong 3D VLM phải được phân rã thành ba thành phần (mật độ điểm, trùng lặp vật thể, kết dính hình học) và xử lý từng bước. Đóng góp cốt lõi: phát hiện mất cân bằng token mức vật thể dai dẳng; chỉ ra đa dạng đặc trưng quan trọng hơn nhóm không gian để cân bằng độ phủ; đề xuất pipeline 3 giai đoạn hiệu quả. Hướng tương lai: triển khai 3D VLM đa góc nhìn quy mô lớn thực tế; mở rộng sang cảnh động/luồng (video 3D) và các kiến trúc 3D LLM khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng 3DZip sang cảnh 3D động và luồng (streaming multi-view): nén token theo từng khung thời gian với ràng buộc nhất quán giữa các frame để hỗ trợ robot di chuyển liên tục.
Kết hợp DPP đa dạng đặc trưng với các 3D LLM chỉ dùng point-cloud (không cần 2D backbone) để giảm chi phí huấn luyện và tăng khả năng khái quát.
Nghiên cứu ngưỡng voxel δ và τg tối ưu theo đặc trưng cảnh (rộng/hẹp) thay vì cố định, giúp nén thích ứng cho cảnh trong nhà và ngoài trời.

2. Patent:

Trợ lý 3D trên điện thoại: khi người dùng xoay quanh một căn phòng chụp nhiều góc, hệ thống nén đám mây điểm 3D sinh ra rồi cho AI trả lời câu hỏi ('bàn ở đâu', 'phòng này dùng làm gì') ngay trên máy mà không tốn nhiều RAM hay pin.
Robot gia đình hiểu lệnh không gian: máy hút bụi hoặc tay máy nhận lệnh 'đứng cạnh ghế gỗ' — bản đồ 3D được nén theo đa dạng vật thể và ràng buộc vị trí để hiểu đúng vật thể mục tiêu trên phần cứng yếu.
Kính AR nhận diện phòng: thiết bị ghi nhiều góc nhìn, nén token 3D về vài chục đại diện rồi chạy mô hình ngôn ngữ nhẹ để mô tả và trả lời câu hỏi về không gian theo thời gian thực mà không cần đẩy lên đám mây.
Ứng dụng đo đạc nội thất: người dùng quét phòng, hệ thống nén đặc trưng 3D để ước lượng kích thước và bố cục, gợi ý sắp xếp đồ đạc ngay trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.01185
ArXiv Abstract	https://arxiv.org/abs/2608.01185
PDF Download	https://arxiv.org/pdf/2608.01185.pdf
Github Repository	https://github.com/cvsp-lab/3DZip

21. LeapTalk: Breaking the Latency-Quality Trade-off in Talking Head Generation (13 votes)

Tác giả: Rongxiang Zhang, Songhua Liu

Xuất bản lúc: 2026-07-29

Tag: Diffusion, Brownian Bridge, Talking Head Generation, Distillation, Real-time, Classifier-Free Guidance, Autoregressive, Audio-driven

I. Main Problem:

Sinh video người nói chuyện theo thời gian thực (talking-head) gặp nghịch lý độ trễ – chất lượng:

Diffusion đa bước: chất lượng cao nhưng tính toán đắt, chỉ sinh clip ngắn 5–10s, chạy offline, không hỗ trợ tương tác thời gian thực.
Autoregressive few-step: nhanh hơn nhưng sinh khung hình dựa vào khung trước → sai số tích lũy (error accumulation), trôi danh tính (identity drift), mất chi tiết tần số cao (môi đồng bộ kém) khi video dài.
DMD (distribution matching distillation): giảm bước nhưng hy sinh chi tiết高频, làm mờ/lệch khớp môi ở chế độ 1 bước.

II. Main Idea:

LeapTalk tái định nghĩa sinh talking-head thành quá trình vận chuyển data-to-data qua Brownian bridge, sinh mỗi đoạn video chỉ trong 1 bước mà vẫn giữ danh tính và khớp môi.

Các thành phần cốt lõi:

Bridge Forcing: thay vì khởi động từ nhiễu Gaussian (noise-to-data), mỗi đoạn bắt đầu từ ảnh tham chiếu cố định I (persistent reference anchor) rồi vận chuyển đến khung đích qua cầu Brownian. Điểm đầu luôn neo vào danh tính gốc → triệt tiêu trôi danh tính. Ghép nối các đoạn bằng motion prefix (vài khung cuối đoạn trước).
Heterogeneous DMD: chắt kiến thức từ teacher flow-matching sang student Brownian bridge (hai quy trình khác biệt). Dùng hàm biến đổi thời gian Φ(τ) căn chỉnh SNR để so khớp điểm nhiễu giữa hai mô hình, giúp hàm score được định nghĩa đúng.
Audio-driven CFG: thay teacher score bằng classifier-free guidance điều khiển bởi âm thanh → giữ động lực môi tinh vi, chống đơ cứng chuyển động ở 1 bước.
Kiến trúc: dựa trên Wan2.1-DiT; bản Pro dùng WanVAE 3D, bản Lite dùng TAEHV 2D nhẹ hơn (200 FPS).

Ví dụ đời thường: giống nhân viên mới nhận một tấm ảnh chân dung sếp để mốc, mỗi lần nói chỉ chỉnh mỗi miệng và biểu cảm trên đúng tấm ảnh đó thay vì vẽ lại cả khuôn mặt từ đầu — nên dù nói hàng giờ cũng không bao giờ 'biến thành người khác'.

III. Main Results:

Chỉ 1 NFE (1 bước) đạt tới 200 FPS trên 1 GPU H200 (Lite), Pro đạt 55 FPS.
Chất lượng tốt nhất: FID 21 / FVD 197 (HDTF), Sync-C 8.38; vượt mọi baseline kể cả SoulX-FlashHead 4 bước.
Ổn định danh tính dài hạn: đường DINO similarity giữ phẳng cao (≥0.95) suốt 30 phút, trong khi OmniAvatar/Hallo3 sụt rõ rệt.
Ablation: bỏ Brownian Bridge → FID tăng 21→217, Sync-C 8.38→7.16; bỏ Time Transformation → FID 378 (mờ); bỏ Audio CFG → Sync-C tụt 8.38→4.34.
User study: được ưu tiên nhất ở cả 4 tiêu chí (danh tính, khớp môi, chất lượng, tổng thể).
Tổng quát hóa: chạy tốt trên ảnh nghiêng, hoạt hình, tượng, tranh sơn dầu.

IV. Conclusion & Future Works:

LeapTalk phá vỡ nghịch lý độ trễ – chất lượng bằng cách dùng Brownian bridge neo danh tính + DMD dị đồng nhất có Φ(τ) và audio CFG, đạt sinh streaming thời gian thực mở rộng vô hạn ở 1 bước. Hướng tương lai: mở rộng sang tương tác đa người, tối ưu chính sách thăm dò, và áp dụng công thức bridge cho các tác vụ video-to-video dài hạn khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Bridge Forcing sang sinh video người nói đa nhân vật, mỗi nhân vật neo riêng một ảnh tham chiếu để tránh trôi danh tính khi tương tác chéo.
Áp dụng time transformation Φ(τ) căn chỉnh SNR cho bài toán蒸馏 dị đồng nhất khác (teacher GAN → student bridge) ngoài talking-head.
Kết hợp audio-driven CFG với điều khiển cảm xúc để sinh biểu cảm khuôn mặt theo ngữ điệu mà không tăng bước suy luận.
Nghiên cứu chunk size và độ phân giải tối ưu nhằm đẩy FPS trên phần cứng rẻ (điện thoại, GPU tích hợp) lên mức thời gian thực.

2. Patent:

Tính năng 'avatar gọi video' trên điện thoại: chụp 1 ảnh selfie làm ảnh neo, app sinh video người nói thời gian thực khớp với giọng người dùng, chỉ 1 bước xử lý mỗi đoạn ngắn để chạy mượt trên máy yếu và tiết kiệm pin.
Trợ lý ảo trên thiết bị di động: dùng Brownian bridge neo khuôn mặt chủ nhân, đọc tin nhắn/thông báo bằng giọng nói đồng thời sinh hình đại diện nói chuyện mượt, không bị 'biến dạng' sau hàng phút tương tác.
Camera thông minh / kính AR: chuyển ảnh chân dung tĩnh thành người dẫn chương trình ảo phát sóng trực tiếp, duy trì danh tính ổn định suốt buổi dài nhờ motion prefix ghép nối các đoạn.
Ứng dụng tạo nội dung mạng xã hội: người dùng up ảnh và file audio, hệ thống tự sinh clip talking-head dài vô hạn chất lượng cao ngay trên điện thoại mà không cần đám mây.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.00079
ArXiv Abstract	https://arxiv.org/abs/2608.00079
PDF Download	https://arxiv.org/pdf/2608.00079.pdf
Github Repository	https://github.com/zhangrongxiang/LeapTalk

22. StyleForge: Indoor Furniture Styling by Counterfactual Reasoning in a Hypergraph Field (12 votes)

Tác giả: Lingwei Dang, Shishuo Shang, Pan Liu, Jiajia Cheng, Ziyan Qiu, et al.

Xuất bản lúc: 2026-08-03

Tag: 3D Asset Retrieval, Hypergraph, Counterfactual Reasoning, Energy-Based Learning, Indoor Scene Synthesis, Test-Time Training, Multimodal LLM, Style Coherence

I. Main Problem:

Fixed-layout indoor furniture styling yêu cầu gán một asset cho mỗi vị trí nội thất từ kho asset lớn, nhưng giữ nguyên category, position, orientation, scale của mọi slot — không được dời chỗ hay đổi loại để né xung đột. Thử thách cốt lõi là dung hòa semantic relevance mức object với coherence thẩm mỹ mức scene.

Các cách cũ đều hổng:

Object-level retrieval (CLIP, ULIP, OpenShape, Uni3D): đo độ tương đồng văn bản–asset từng món độc lập. Món đúng style một mình, nhưng ghép vào phòng cố định thì vỡ vì xung đột màu, chất liệu, hình dáng, tỉ lệ.
Relation-based (graph/hypergraph): chỉ dùng topology tĩnh hoặc cạnh đôi, không bắt được higher-order dependencies thay đổi theo layout và style yêu cầu.
Cả hai dừng sau 1 lần retrieval, không sửa lại lựa chọn局部 khi context scene tiến triển.

II. Main Idea:

StyleForge định hình lại bài toán thành scene-level structured selection trên một dynamic hypergraph style field kết hợp counterfactual reasoning. Quy trình:

Frozen MLLM (Qwen3-VL) trích structured style priors (room-level palette/chất liệu + slot-level query) từ mô tả style mở và layout cố định.
Khởi tạo phân bố ứng viên (softmax logits) cho mỗi slot thay vì chốt top-1 — giữ sự không chắc chắn để scene context sửa sau.
Dynamic hypergraph style field: node = candidate distribution của slot; local hyperedges nối furniture liên quan không gian/chức năng, global hyperedge tóm tắt cả phòng. Style mục tiêu quyết định activate/weight cạnh nào → cùng layout sinh higher-order dependencies khác nhau cho mỗi yêu cầu.
Counterfactual style preference learning: coi mỗi candidate như một sự thay thế local (one-hot) trong field hiện tại, giữ nguyên các slot khác, rồi đo Mahalanobis energy (candidate-level + scene-level). Phương sai đường chéo học được giúp phân biệt thuộc tính định style với biến thiên chấp nhận được.
Alternating training (field ↔ logits) + test-time training chỉ update room-specific logits → sửa dần cross-slot conflicts khi global context tiến triển.

Ví dụ đời thường: giống khi trang trí phòng, thay vì mua ngay món đầu tiên thấy 'cũng ổn', bạn bày tạm vài món lên, lùi lại nhìn tổng thể rồi đổi dần ghế này bàn kia cho tới khi cả bộ hài hòa — mỗi lần đổi một ghế lại làm thay đổi cảm nhận về cái bàn cạnh nó.

III. Main Results:

3D-FRONT: Final R@1 = 79.1, vượt baseline scene-aware mạnh nhất MetaFind +34.6 điểm (44.5 → 79.1); object-level (ULIP 33.9, OpenShape 35.1, Uni3D 36.3) kém xa.
GPT-4o scene metrics (AES, Color&Material, Style Coherence, Realism&Geometry) đạt 4.53–4.64, sát Ground Truth (4.58–4.67), trong khi MetaFind chỉ 4.25, object-level ~3.0–3.1.
Ổn định mọi room type: Bedroom 82.4, Dining 80.6, Library 78.3, Living Room khó nhất (nhiều furniture) vẫn 75.8.
Ablation: full (HG+Iter+Maha) = 79.1; bỏ iterative = 23.7; thay Mahalanobis bằng Euclidean = 61.7; chỉ retrieval prior = 22.8.
Convergence TTT: R@1 tăng 22.8 (step 0) → 79.1 (step 200); số slot đổi top-candidate tăng, các slot hội tụ bất đồng bộ — lợi ích đến từ relocate đa slot không phải one-shot.
Professional validation: tỉ lệ duyệt của designer mù tăng đơn điệu theo AES — Low 22.2%, Medium 58.3%, High 86.1%.

IV. Conclusion & Future Works:

Kết luận: style coherence nảy sinh từ phối hợp màu, chất liệu, hình dáng, vai trò không gian; asset locally optimal chưa chắc tạo scene globally coherent → phải sửa lại theo evolving context. Higher-order modeling, contextual energy, và iterative inference bổ trợ lẫn nhau.

Hướng tương lai: hiện StyleForge chỉ tối ưu trên top-K candidate cố định, hiệu năng phụ thuộc recall của retriever ban đầu (asset bị loại khỏi top-K không được xem xét lại). Sẽ làm reflection-guided iterative retrieval — dùng scene-level feedback cập nhật query/candidate set mỗi slot để đưa lại asset bị sót lúc init.

V. Brainstorming Space:

1. Publish Papers:

Reflection-guided iterative retrieval: dùng feedback mức scene để động cập nhật truy vấn và mở rộng candidate set mỗi slot, cho phép đưa lại asset bị bỏ sót trong top-K ban đầu.
Mở rộng counterfactual Mahalanobis energy sang structured selection đa domain khác (phối đồ thời trang, bố cục outdoor, ghép phụ kiện) ngoài nội thất.
Kết hợp style field với generative diffusion để vừa chọn vừa sinh asset tuân thủ style thay vì chỉ truy xuất từ thư viện đóng.

2. Patent:

App thiết kế nội thất trên điện thoại: người dùng chụp phòng hoặc nhập mô tả style, app gợi ý bộ nội thất từ kho shop có sẵn sao cho hài hòa (màu/chất liệu), tự sửa lại khi đổi ý — thay designer, không cần chỉnh layout.
Tích hợp sàn TMĐT nội thất: khi khách chọn ghế, hệ thống tự gợi ý bàn/đèn/tranh đi kèm đã cân bằng tone màu và chất liệu, tăng tỉ lệ mua chung (bundle) và hài lòng.
Công cụ kiểm tra cho kiến trúc sư/xây dựng: auto-phát hiện xung đột style của bộ nội thất trong bản vẽ 3D cố định trước khi thi công, highlight món vỡ phối cảnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.01954
ArXiv Abstract	https://arxiv.org/abs/2608.01954
PDF Download	https://arxiv.org/pdf/2608.01954.pdf
Github Repository	N/A

23. DreamTraj: Generating 6-DoF Object Trajectories by Reading Unrendered Video Diffusion Latents (12 votes)

Tác giả: Tongsheng Ding, Zhen Luo, Yixuan Yang, Boyu Wang, Luyang Xie, et al.

Xuất bản lúc: 2026-08-01

Tag: Video Diffusion, 6-DoF Trajectory, Robotics, Flow-Matching, Vision-Language, Egocentric Manipulation, World Modeling

I. Main Problem:

Dự đoán quỹ đạo vật thể trong thao tác robot bị kẹt ở hai lỗ hổng:

Thiếu dữ liệu chất lượng: các tập dữ liệu hiện có chỉ gán nhãn thô (động-từ + danh từ) chứ không có chỉ dẫn ngôn ngữ tinh tế ghép với chuyển động 6-DoF.
Đầu vào đặc quyền: các mô hình dự báo hiện tại hoặc cần video nhiều khung hình, độ sâu, mô hình CAD, hoặc pose ban đầu — những thứ hiếm khi có sẵn ngoài phòng thí nghiệm; hoặc sinh hẳn một video rồi chạy cả dây chuyền nhận thức (phân đoạn, tracking, ước lượng độ sâu, fit pose) vừa chậm vừa dễ lỗi.

Hậu quả: robot khó triển khai thực tế và không thể học chuyển động 3D từ một ảnh 2D đơn giản.

II. Main Idea:

DreamTraj dự báo chuỗi pose 6-DoF của vật thể từ một ảnh RGB và một câu lệnh, không cần video, độ sâu hay CAD. Cơ chế cốt lõi:

dùng một mô hình image-to-video diffusion (Wan2.2) đóng băng hoàn toàn, chỉ cho nó khử nhiễu hướng tới khung hình tương lai tưởng tượng.
dừng ở bước khử nhiễu sớm (bước 16/40), đọc trực tiếp hai tín hiệu ẩn: attention q·k (theo dõi điểm vật thể như tracker ngầm) và hidden states được gộp (bối cảnh hình học cảnh).
một Reader flow-matching nhẹ (7.1M tham số) giải mã hai tín hiệu này thành 13 token pose tương đối (dịch chuyển + góc xoay), rồi dùng một ước lượng độ sâu đơn ảnh để trả về thang metric.

Khác generate-then-extract: không bao giờ sinh hoặc giải mã toàn bộ video, nên nhanh gấp 4.6 lần. Đóng góp nền tảng là tập Moves: 5,038 quỹ đạo 6-DoF egocentric được con người kiểm duyệt, mỗi cái ghép với một chỉ dẫn ngôn ngữ tinh tế.

Ví dụ đời thường: giống nhân viên mới không quay cảnh thử việc rồi thuê người xem lại từng khung hình, mà chỉ liếc nhanh bản nháp ý tưởng của sếp ở bước phác thảo đầu tiên, đọc thấu hướng tay sếp sẽ đưa vật gì đi đâu, rồi làm ngay — nhanh và không tốn công quay phim.

III. Main Results:

State-of-the-art về cả dịch chuyển và xoay, vượt EgoScaler (nhận thêm độ sâu + pose ban đầu) và ObjectForesight (nhận thêm video + mesh + 3 pose ngữ cảnh) dù DreamTraj chỉ có 1 ảnh + lệnh.
Sai số: 6.4 cm ADE, 9.5 cm FDE, 24.6°旋转 trên toàn bộ 5,038 mẫu out-of-fold.
Nhanh gấp 4.6×: 76s/clip so với 348s của pipeline sinh-video-rồi-trích (80 bước khử nhiễu + 4 mô hình nhận thức).
Khái quát hóa: thành công 80% trên 50 cảnh hoàn toàn ngoài dữ liệu huấn luyện (ảnh điện thoại, khung hình game) do dùng prior internet-scale đóng băng.
Ablation xác nhận cả q·k track (quyết định vị trí) và pooled hidden states (quyết định thang metric) đều cần thiết.

IV. Conclusion & Future Works:

DreamTraj chứng minh có thể giải mã trực tiếp quỹ đạo 6-DoF từ biểu diễn trung gian của mô hình video diffusion đóng băng, né được sinh video và đầu vào đặc quyền, đồng thời nhanh và chính xác hơn. Hướng tương lai: điều khiển một cánh tay robot thật trực tiếp từ quỹ đạo dự báo — khép kín vòng lặp nhận thức–hành động.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng DreamTraj sang đa vật thể: đọc đồng thời nhiều track q·k từ backbone để dự báo quỹ đạo tương đối giữa các vật thể đang tương tác trong một cảnh thao tác.
Học domain flag linh hoạt hơn: thay vì cờ thực/sinh, dùng adaptation không cần nhãn để Reader tự căn chỉnh khi gặp phân phối đặc trưng mới của mô hình diffusion khác.
Kết hợp DreamTraj với bộ điều khiển model-predictive: dùng quỹ đạo 6-DoF dự báo làm ràng buộc mềm để robot kiểm chứng hành động trước khi thực thi thật.
Nghiên cứu bước đọc tối ưu trên các kiến trúc video diffusion khác (cơ chế chuyển expert nhiễu cao/thấp) để tìm quy luật chung về 'khi nào motion signal bão hòa'.

2. Patent:

Ứng dụng trên điện thoại: người dùng chụp một ảnh vật thể trên bàn và gõ 'xếp vào hộp', điện thoại chạy mô hình diffusion nhẹ đọc đặc trưng ẩn để dự báo đường đi 3D của vật, giúp robot gia đình hoặc xe tự hành cầm tay lập kế hoạch gắp đặt mà không cần cảm biến độ sâu.
Tính năng xem trước thao tác cho app nội thất: chụp phòng và nói 'kê ghế sát cửa sổ', app sinh quỹ đạo 6-DoF ảo của ghế để hiển thị vật thể di chuyển mượt trong ảnh增强 thực tế, hỗ trợ người dùng hình dung trước khi dời đồ thật.
Hệ thống hỗ trợ lắp ráp cho kính thông minh: đeo kính, nhìn vật cần lắp và nghe chỉ dẫn bằng giọng nói, thiết bị đọc đặc trưng video diffusion tại chỗ để vẽ quỹ đạo chuyển động 3D của linh kiện, dẫn dắt người dùng thao tác từng bước mà không cần video hướng dẫn quay sẵn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.00486
ArXiv Abstract	https://arxiv.org/abs/2608.00486
PDF Download	https://arxiv.org/pdf/2608.00486.pdf
Github Repository	N/A

24. Poplar: A Scalable Pipeline for Human-Centric Image Dataset Synthesis (10 votes)

Tác giả: Zhishan Zou

Xuất bản lúc: 2026-08-01

Tag: Diffusion Models, Synthetic Dataset, Vision-Language, Human-Centric Image, Image Generation, Quality Inspection, Prompt Engineering, Dataset Synthesis

I. Main Problem:

Tạo một bức ảnh người thuyết phục đã dễ, nhưng tạo ra cả một bộ dữ liệu hữu ích lại là bài toán khác. Bộ dữ liệu lấy con người làm trung tâm phải đạt bốn tính chất:

đa dạng ngữ nghĩa (nhiều người, bối cảnh khác nhau)
sự đồng xuất hiện thuộc tính hợp lý (tuổi – trang phục – bối cảnh khớp nhau)
độ chân thực thị giác cao
nhất quán ảnh – văn bản đáng tin

Các quy trình cũ hổng ở quy mô bộ sưu tập: prompt viết tay không mở rộng được; lấy mẫu thuộc tính độc lập sinh ra các tổ hợp vô lý; lỗi sinh ảnh và lệch prompt tích tụ qua hàng ngàn mẫu.

II. Main Idea:

Poplar là pipeline tái hiện được gồm ba khâu khớp nhau: Specify – Render – Inspect.

1. Specify (Prompt Producer): tách quy hoạch nội dung khỏi cách diễn đạt.

lấy mẫu thuộc tính có cấu trúc (tuổi, trang phục, cảnh, góc máy…) theo phân bố rõ ràng, lọc bằng ràng buộc tri thức thông thường (tuổi–cảnh, giới–trang phục, văn hóa–trang phục…) để bỏ tổ hợp vô lý
chia prompt thành hai lớp: lớp ngữ nghĩa (người, cảnh) và lớp thuật chụp (ai cầm máy, flash điện thoại, góc nhìn, khung hình lỏng) để ra ảnh đời thường chứ không phải chân dung dàn dựng
LLM (Qwen3.5-27B) chỉ đóng vai người diễn đạt, không tự bịa nội dung

2. Render (Image Producer): dùng generator khuếch tán có sẵn (Krea 2 Turbo + adapter realism), sinh theo nhiều tỷ lệ khung hình (1:1

III. Main Results:

Poplar-9K: 9.401 cặp ảnh–văn bản được giữ lại từ 11.765 ứng viên duyệt (tỉ lệ chấp nhận 79,9%), chạy trên 4 GPU RTX 4090.
Tổng 10.877 người xuất hiện (một phần ảnh đa nhân vật).
13 nhóm nền văn hóa phủ khá đều (~6,9%–8,5% mỗi nhóm).
Trang phục: casual 18,8%, thời trang nữ trendy 15,5%, đồ nhà 12,3%.
Cảnh phân bố long-tail rộng, nhóm phổ biến nhất chỉ 3,8%.
Cùng một prompt Poplar sinh được qua nhiều generator khác nhau (GPT Image 2, Qwen-Image-2.0, Seedream 4.5), chứng tỏ tách biệt khâu spec và render.
Mỗi mẫu giữ 4 lớp provenance: prompt bất biến + hash, thuộc tính cấu trúc, cài đặt render, bản ghi inspect; mẫu bị loại lưu mã lỗi để audit.

IV. Conclusion & Future Works:

Poplar coi tổng hợp dữ liệu là bài toán cấp độ bộ sưu tập, nối khớp quy định ngữ nghĩa – sinh ảnh – kiểm soát chất lượng thành một quy trình có thể tái hiện và audit. Thành phần thay thế được (backend sinh ảnh, chính sách inspect, không gian thuộc tính) nên dễ tiến hóa độc lập. Hạn chế: thống kê tuổi/văn hóa mô tả thuộc tính yêu cầu chứ không phải dân số thực; inspect tự động vẫn có thể sót/thừa; luật tương hợp mang tính thiết kế. Hướng tương lai: tăng ngân sách sinh và mở rộng không gian thuộc tính/cảnh để dựng bộ lớn hơn; cho phép người dùng thay backend sinh ảnh hoặc chính sách inspect; mở rộng sang miền ảnh người chuyên biệt khác (thể thao, y tế…).

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Poplar sang tổng hợp dữ liệu đa người có tương tác xã hội phức tạp, bổ sung luật tương hợp bậc cao giữa hành động, ánh nhìn và khoảng cách giữa các nhân vật.
Nghiên cứu chính sách lấy mẫu thuộc tính chủ động để tối ưu độ phủ vùng long-tail mà không cần tăng ngân sách sinh ảnh thô.
Thiết kế inspector đa mô hình (nhiều VLM bỏ phiếu) để giảm cả sót lỗi lẫn loại nhầm so với một VLM duy nhất như trong Poplar.
Áp dụng hợp đồng provenance JSONL của Poplar làm tiêu chuẩn mở cho các pipeline dữ liệu tổng hợp khác nhằm tăng khả năng audit.

2. Patent:

Ứng dụng điện thoại tạo ảnh stock người đa dạng theo yêu cầu: người dùng chọn 'cần ảnh phụ nữ châu Á đầu 30 mặc đồ thể thao ngoài công viên', app chạy pipeline Poplar trên thiết bị/đám mây để xuất ảnh đời thường thay vì thuê studio.
Tính năng thử đồ ảo cho app thương mại điện tử: tự sinh ảnh người mẫu thuộc nhiều nền văn hóa, độ tuổi, bối cảnh mặc chính sản phẩm của shop, giúp hiển thị đa dạng mà không cần buổi chụp thực tế.
Dịch vụ kiểm duyệt chất lượng dữ liệu huấn luyện AI trên mobile: chụp hoặc nhập batch ảnh, app chạy bộ lọc vision–language theo rubric có cấu trúc để gắn cờ ảnh lệch mô tả, nhân bản, hỏng trước khi đưa vào huấn luyện mô hình.
Tạo bộ ảnh đại diện (avatar) huấn luyện nhận diện cho app bảo mật: sinh hàng ngàn ảnh người giả đa điều kiện ánh sáng/góc máy/cảnh để tăng độ bền mô hình face-unlock mà không vi phạm quyền riêng tư cá nhân thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.00440
ArXiv Abstract	https://arxiv.org/abs/2608.00440
PDF Download	https://arxiv.org/pdf/2608.00440.pdf
Github Repository	https://github.com/choucisan/poplar

📰 Summary of Papers
1. SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks (142 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks (131 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. DAPD: Dual-Anchored Policy Distillation (58 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. Progressive Agent Skill Generation via Reinforcement Learning (50 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. UEmbed: Unified Sparse and Dense Multimodal Embeddings (43 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation (43 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs (31 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. WorldExam: Benchmarking World Models from Apparent Appearance to Inherent Reactivity (30 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. CADENA: Stepwise CAD Reverse Engineering (30 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. InfiniSplat: Implicit Gaussian Decoding for Large-Baseline Monocular View Synthesis (27 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. SKT: Skill-Use Training at Scale via Verified Synthetic Data Generation (27 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. DiffusionGemma Technical Report (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. SWE-Touch: Benchmarking Coding Agents When Users Touch the Code (22 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. Motion Beyond Morphology: Bootstrapping Cross-Category Motion Transfer from Abstract Motion Representations (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. To Add Is Machine, To Delete Is Human: Measuring and Mitigating Deletion Avoidance in LLM Code Editing (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. GPTQ-2D: Cubic-Time Two-Sided Adaptive Rounding (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. Roomer: Reflective Object-Grounded Model Editing and Repair for 3D Indoor Layout Synthesis (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. DeepVoyager-VL: Incentivizing Vision-in-the-Loop Search for Long-Horizon Multimodal Agents (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. 3DZip: Spatial-Aware Feature Diversity-Guided Token Compression for 3D Question Answering (14 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. LeapTalk: Breaking the Latency-Quality Trade-off in Talking Head Generation (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. StyleForge: Indoor Furniture Styling by Counterfactual Reasoning in a Hypergraph Field (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. DreamTraj: Generating 6-DoF Object Trajectories by Reading Unrendered Video Diffusion Latents (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
24. Poplar: A Scalable Pipeline for Human-Centric Image Dataset Synthesis (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks (142 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks (131 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. DAPD: Dual-Anchored Policy Distillation (58 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Progressive Agent Skill Generation via Reinforcement Learning (50 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. UEmbed: Unified Sparse and Dense Multimodal Embeddings (43 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation (43 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs (31 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. WorldExam: Benchmarking World Models from Apparent Appearance to Inherent Reactivity (30 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. CADENA: Stepwise CAD Reverse Engineering (30 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks (142 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks (131 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. DAPD: Dual-Anchored Policy Distillation (58 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Progressive Agent Skill Generation via Reinforcement Learning (50 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. UEmbed: Unified Sparse and Dense Multimodal Embeddings (43 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation (43 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs (31 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. WorldExam: Benchmarking World Models from Apparent Appearance to Inherent Reactivity (30 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. CADENA: Stepwise CAD Reverse Engineering (30 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: