🤗 Daily Hugging Face Paper Digest - 2026-07-31

Báo cáo được tạo tự động vào lúc 2026-08-01 10:19:22 bằng mô hình hermes-agent.

📰 Summary of Papers

1. AskChem: Claim-Centered Infrastructure for Chemistry Literature Synthesis (285 votes)

Tác giả: Bing Yan, Gregory Wolfe, Stefano Martiniani, Kyunghyun Cho

Xuất bản lúc: 2026-07-30

Tag: RAG, Literature Search, Claim Extraction, Knowledge Graph, Chemistry Informatics, LLM Applications, Cross-Paper Synthesis

I. Main Problem:

Hòa tan các phát hiện cụ thể rải rác qua nhiều bài báo hóa học là thách thức lớn, nhưng hệ thống tìm kiếm hiện tại chỉ trả về danh sách tài liệu theo thứ hạng. Nhà khoa học và AI agent phải tự mở bài báo, định vị bằng chứng, kiểm tra giá trị báo cáo, và tổng hợp câu trả lời thủ công. Khi LLM trả lời từ bộ nhớ tham số, nó tạo ra trích dẫn giả (hallucination) — Agrawal et al., 2024.

II. Main Idea:

AskChem thay đổi đơn vị truy xuất từ bài báo sang claim mang nguồn gốc (provenance-carrying claim). Mỗi bài báo được phân đoạn thành các claim nguyên tử, có kiểu, được gắn DOI nguồn và trích dẫn nguyên văn (hoặc evidence locator). Trên kho claim chung, AskChem cung cấp ba cấu trúc bổ sung:

Taxonomy khía cạnh ổn định (stabilized faceted taxonomy): tổ chức claim theo loại phản ứng, lớp chất, ứng dụng, kỹ thuật, cơ chế, kiểu claim, dữ liệu, thời gian — hỗ trợ truy xuất phân cấp, duyệt, nhóm và khám phá thời gian.
Đồ thị bằng chứng (evidence graph): liên kết claim qua các quan hệ có kiểu supports, contradicts, extends, derives_from, cites_as_evidence — giúp điều hướng chéo bài báo.
Living Taxonomy: đặt các lá bài báo dưới các nguyên lý, lý thuyết, mô hình, cơ chế, hiện tượng — cái nhìn khám phá theo nguyên lý khoa học.

Giao diện: Web UI, REST API, SDK, MCP server cho cả con người và AI agent.

Ví dụ đời thường: giống như thay vì ném cho bạn một đống sách và bảo "tự tìm", một thư ký研究专员 đã đọc hết, trích từng kết luận chính kèm số trang & dòng, gom theo chủ đề, vẽ sơ đồ quan hệ hỗ trợ/phản bác, và cho bạn một bảng tra cứu có thể kiểm chứng ngay từng con số.

III. Main Results:

Quy mô corpus: 2.4M claim từ 147K bài báo (1925–2026), 307K node taxonomy, 171K cạnh bằng chứng.
Chất lượng nguồn gốc: 100% claim có DOI + trích dẫn nguyên văn; 97.9% độ chính xác kiểu cạnh (audit 148 cạnh).
AskChem-Bench (30 câu hỏi cross-paper): GPT-5.5 được grounding bằng AskChem đạt 100% DOI có thể giải quyết (vs 88.3% không retrieval), mật độ trích dẫn cao nhất 18.1 DOI/đáp án, điểm liên quan trung bình tốt nhất, và bao phủ công trình gần đây tác động cao nhất.
So sánh 5 hệ thống: AskChem loại bỏ hallucination DOI, nhanh đủ để duyệt tương tác, dữ liệu mở, dùng trực tiếp làm công cụ agent — trong khi Edison Scientific (closed deep-research) cho nhiều chi tiết định lượng hơn nhưng không mở.

IV. Conclusion & Future Works:

AskChem chứng minh cơ sở hạ tầng tâm điểm claim (claim-centered) là nền tảng thực tế cho tổng hợp văn헌 hóa học — cho phép kết quả tìm kiếm có thể kiểm chứng qua trích dẫn & DOI, tổ chức qua khía cạnh ổn định, và liên kết qua quan hệ bằng chứng cross-paper. Hệ thống triển khai ở quy mô corpus và phục vụ cả người và agent.

Hướng tương lai: mở rộng bao phủ lĩnh vực hóa học; cải thiện độ chính xác trích xuất claim/quan hệ/taxonomy (LLM vẫn có thể sai); tách biệt lợi ích truy xuất từ taxonomy-based recall; validation chuyên gia cho vị trí taxonomy; benchmark rộng hơn 30 câu hỏi.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng kiến trúc claim-centered cho các lĩnh vực khoa học khác (vật liệu, sinh học, vật lý) với taxonomy khía cạnh đặc thù miền.
Tích hợp AskChem với quy hoạch thực nghiệm tự động (lab automation) — agent dùng claim đã kiểm chứng để thiết kế điều kiện phản ứng, dự đoán kết quả, và ghi nhận provenance tự động.
Phát triển active claim extraction: agent tự xác định lỗ hổng kiến thức trong đồ thị bằng chứng và ưu tiên trích xuất full-text các bài báo liên quan.
Xây dựng claim-level peer review assistant: so sánh claim mới nộp với kho claim đã lập chỉ mục để phát hiện xung đột, trùng lặp, hoặc thiếu bằng chứng.

2. Patent:

Ứng dụng di động cho hóa học gia công: nhà nghiên cứu nhập câu hỏi tự nhiên ("chất xúc tác nào giảm CO2 thành CO với FE > 90%?"), app trả về danh sách claim có DOI, trích dẫn nguyên văn, điều kiện phản ứng cấu trúc hóa, và đồ thị bằng chứng — cho phép so sánh nhanh mà không đọc full-text.
Plugin cho ELN (Electronic Lab Notebook): khi ghi nhận kết quả mới, hệ thống tự tra cứu AskChem để gợi ý claim liên quan (hỗ trợ/phản bác), cảnh báo trùng lặp, và đề xuất vị trí trong Living Taxonomy.
Công cụ kiểm tra trích dẫn cho bài nộp tạp chí: quét bibliography, đối chiếu với AskChem để phát hiện DOI không tồn tại, giá trị bị sai lệch so với claim gốc, hoặc claim bị phản bác bởi công trình mới hơn.
Agent lập kế hoạch hợp thành tự động: dùng evidence graph để truy vết chuỗi claim từ mục tiêu sản phẩm ngược về nguyên liệu xuất phát, tổ hợp điều kiện phản ứng từ nhiều claim đã kiểm chứng, và xuất kế hoạch có provenance đầy đủ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28618
ArXiv Abstract	https://arxiv.org/abs/2607.28618
PDF Download	https://arxiv.org/pdf/2607.28618.pdf
Github Repository	https://github.com/bingyan4science/askchem

2. Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents (269 votes)

Tác giả: Hanzhang Zhou, Panrong Tong, Xu Zhang, Quyu Kong, Chenglin Cai, et al.

Xuất bản lúc: 2026-07-30

Tag: GUI Agents, Mobile Agents, Computer-Use Agents, Browser Agents, Reinforcement Learning, Online RL, AutoResearch, Hybrid Action Space, Real-Device Execution, Cross-Platform Workflows, Proactive Services

I. Main Problem:

Các GUI agent hiện tại chủ yếu được tối ưu cho benchmark mô phỏng, tạo ra khoảng cách lớn so với tính hữu ích thực tế. Bài toán cốt lõi bao gồm sáu chuyển đổi cần thiết:

Từ môi trường mô phỏng sang thực thi trên thiết bị thật (đặc biệt mobile: UI phức tạp, interruption, permission, network instability)
Từ domain đơn lẻ sang workflow跨 domain,跨 platform (mobile, web, desktop, DeepSearch)
Từ action thuần GUI sang hybrid GUI+CLI + batched actions để hiệu quả hơn
Từ task ngắn hạn sang hoàn thành task long-horizon tin cậy (cần planning, state tracking, recovery)
Từ pipeline training tốn sức người sang AutoResearch tự động hóa (sinh task, phân tích failure, lặp lại)
Từ thực thi reactive sang proactive service initiation (nhận diện tín hiệu số, đề xuất hành động)

II. Main Idea:

Qwen-UI-Agent là foundation GUI agent thực tế, tích hợp bốn thành phần cốt lõi:

1. Environment Infrastructure 多层次

Sandbox quy mô lớn: 10,000 môi trường song song (mobile, computer, browser, DeepSearch) trên redroid/container
Real-device mobile runtime: 100+ thiết bị vật lý, 150+ app, health-aware scheduler, virtual display (1 phone → multi session), user takeover cho CAPTCHA/login/payment
Hybrid GUI+CLI action space: click/type/scroll + cli_command (bash) + api_call + ask_user + batched actions (Kt > 1)
Unified interface: chuẩn hóa thinking–action–observation loop跨 heterogeneous env

2. AutoResearch Data Flywheel

Agent tự sinh task, xây env, chạy rollout, phân tích failure, đề xuất iteration kế tiếp → giảm can thiệp người

3. Unified Training Framework

SFT trên trajectory đa dạng
Action RL: sửa lỗi action lặp lại
Online RL quy mô lớn: trajectory >100 steps, 10k env đồng thời, curriculum adaptive (ưu tiên task success rate trung bình, thay task đã master bằng task khó hơn)

4. Harness Layer

Proactive service: nhận notification (vd: flight cancel) → reasoning → search API → ask_user approval → mobile GUI rebook → desktop GUI+CLI update schedule → send artifact
Cross-platform workflow: shared context span mobile/computer/DeepSearch, preserve state跨 platform

Ví dụ đời thường: giống một trợ lý thực thụ không chỉ chờ lệnh, mà khi thấy tin nhắn huỷ chuyến bay trên điện thoại, tự tìm chuyến thay thế, hỏi xác nhận, đặt vé trên app mobile, cập nhật lịch meeting trên máy tính qua GUI và script CLI, rồi gửi file cập nhật cho đồng nghiệp — tất cả trong một luồng liên tục không ngắt quãng.

III. Main Results:

MobileWorld-Real (400+ task, 100+ app, thiết bị thật): 92.2% — vượt Gemini 3.1 Pro (+6.0), Opus 4.8 (+7.5), GPT-5.6 Sol (+6.8), Seed 2.1 Pro (+3.5)
AndroidDaily (thiết bị thật): 97.5% (gần hoàn hảo)
MobileWorld (sim): 82.1% — vượt Opus 4.8 (+14.6), GPT-5.6 Sol (+12.0), Seed 2.1 Pro (+8.9)

Computer Use

OSWorld-Verified: 79.5% (rank 2, vượt GPT-5.5, Gemini 3.1 Pro, Seed 2.1 Pro)
OSWorld-v2: binary success 13.9% (rank 2), partial-progress 40.0% (rank 3) — vượt MiniMax M3 (+17.7), Qwen 3.7 Plus (+18.5) với 58.4% và 21.7% fewer steps

Browser Use & DeepSearch

WebArena: 73.6% (vượt Opus 4.8 +1.7, GPT-5.5 +4.1, Gemini 3.1 Pro +8.3)
BrowseComp: 64.1%, BrowseComp-ZH: 75.0% (vượt Qwen3.5-397B-A17B, UI-TARS-2)

GUI Grounding

ScreenSpot-Pro (zoom-in): 81.5% (vượt Seed 2.1 Pro, GUI-Owl-1.5, UI-Venus-1.5)
UI-Vision: 70.0%, OSWorld-G-Refined: 78.5%, MMBench-GUI L2: 92.6%, ScreenSpot-V2: 97.5% (best among baselines)

General & Agentic Capabilities

13 benchmark (MMMU-Pro, MMLU-Pro, Terminal-Bench 2.0, Claw-Eval...): vượt Qwen base trên agentic, comparable trên reasoning, vượt xa các model GUI-specialized trên cả hai loại

Behavioral Insights

40% action outputs là batched (computer-use), CLI + GUI click là 2 action type dominant
Online RL tạo ra trajectory-level shift: better planning, state tracking, intermediate verification, error recovery

IV. Conclusion & Future Works:

Qwen-UI-Agent chứng minh rằng kết hợp real-device execution, hybrid action space, scalable online RL, AutoResearch flywheel, và proactive harness có thể đẩy GUI agent từ benchmark-centric sang real-world utility. Limitations: (1) Real-device scale vẫn hạn chế (100 devices), (2) Proactive service chưa đánh giá systematic user study, (3) Cross-platform context sharing còn sơ khai, (4) Safety/privacy cho proactive actions cần framework tốt hơn. Future: mở rộng real-device fleet, đánh giá proactive service với user thật, cải thiện cross-platform state sync, nghiên cứu safety guardrails cho autonomous action.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng AutoResearch flywheel cho multi-agent collaboration: nhiều agent đồng thời sinh task, cross-validate trajectory, hợp nhất failure analysis để tăng tốc capability acquisition
Phát triển unified safety framework cho proactive GUI agent: risk assessment real-time, user consent granularity, rollback mechanism cho cross-platform action
Nghiên cứu continual learning trên real-device stream: agent tự cập nhật từ interaction hàng ngày mà không quên khả năng cũ (catastrophic forgetting mitigation)
Benchmark standardized cho proactive service evaluation: metric đo lường user trust, task appropriateness, false positive rate của proactive trigger

2. Patent:

Hệ thống trợ lý di động chủ động: điện thoại nhận notification (huỷ vé, thay đổi meeting, tin nhắn quan trọng) → agent tự phân tích context (lịch trình, preference, budget) → tìm giải pháp thay thế qua API/search → trình bày plan để user one-tap approve → thực thi跨 app (booking, calendar, messaging) mà không cần user mở từng app
Cross-device workflow engine: user bắt đầu task trên mobile (vd: tìm nhà hàng) → agent chuyển ngữ cảnh sang desktop (booking nhóm lớn, so sánh menu chi tiết qua browser) → sync state real-time qua cloud → hoàn tất trên thiết bị thuận tiện nhất
Hybrid GUI-CLI automation cho power user: agent nhận lệnh tiếng Việt/English tự nhiên → tự quyết định dùng GUI (visual interaction) hay CLI (batch file ops, script) hoặc kết hợp → batched execution giảm latency → fallback GUI khi CLI fail
Real-device training platform as a service: cung cấp API cho developer fine-tune GUI agent trên fleet thiết bị thật (Android/iOS) với health-aware scheduling, virtual display, automatic environment failure detection — loại bỏ sim-to-real gap cho startup/enterprise

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28227
ArXiv Abstract	https://arxiv.org/abs/2607.28227
PDF Download	https://arxiv.org/pdf/2607.28227.pdf
Github Repository	N/A

3. Metis: Memory Foundation Model (242 votes)

Tác giả: Zeyu Zhang, Ziliang Guo, Yihang Sun, Xichong Zhang, Xixuan Hao, et al.

Xuất bản lúc: 2026-07-29

Tag: Memory Foundation Model, Native Memory, AI Agents, Transformer Architecture, Mid-training, Fast Weight Programming

I. Main Problem:

Các AI agent hiện tại triển khai bộ nhớ qua module bên ngoài (RAG) thay vì tích hợp gốc vào foundation model. Hạn chế:

Tách biệt (decoupled): bộ nhớ ngoài và backbone tối ưu riêng biệt, gradient không truyền qua được operations rời rạc
Khó tối ưu end-to-end: post-training domain-specific gần như bất khả thi
Độ trễ suy luận: cần thao tác explicit trên storage ngoài backbone
Thiếu statefulness: model không duy trì trạng thái nhớ qua các bước tương tác

II. Main Idea:

Metis — prototype đầu tiên của Memory Foundation Model — internalize khả năng nhớ vào forward computation của backbone. Kiến trúc cốt lõi:

Metis Block trong mỗi Transformer layer:
- Local Memory Block: dense memory network M ∈ ℝ^{d_k×d_v} + query-key normalization vector S ∈ ℝ^{d_k} — dynamic parameters lưu trữ thông tin nén
- Hyper Memory Block: static parameters (importance vector, K/Q/V projection) — không gian hàm parametric để transform memory state
Native Storage: hyper block aggregate activation → top-ρ selection → projection → update M, S bằng Gated Delta Network (gradient-free, chỉ forward pass)
Native Utilization: memory attention ˜A = diag(Q̃S)^{-1} Q̃M tích hợp vào attention gốc với trọng số γ
Mid-training trên large-scale memory-specific data với 3 objectives: memory reconstruction, memory operation, regularization

Ví dụ đời thường: giống như não bộ nén trải nghiệm hàng ngày vào kết nối thần kinh (động tham số) và tự động nhớ/quên/cập nhật khi tư duy — không cần ghi chép ngoài rồi đọc lại.

III. Main Results:

Native memory capabilities: Metis lưu trữ, truy xuất, cập nhật thông tin qua multi-step interaction mà không cần external storage
Gradient-free online maintenance: memory update chỉ cần một forward pass, weights frozen tại inference
End-to-end optimization: mid-training cho phép domain adaptation data-driven
Parallel efficiency: native procedures tích hợp trong computation hỗ trợ parallelization
Limitations:
- Degraded trên long-term tasks do information loss khi nén vào fixed-size parameters
- Information confusion trong một số case do semantic blending trong latent space

IV. Conclusion & Future Works:

Metis chứng minh memory foundation model là hướng đi khả thi: chuyển bộ nhớ từ module tách biệt thành internal mechanism của backbone. Cung cấp architectural + optimization foundation để eliminate external memory reliance. Hướng tương lai: cải thiện long-term retention (giảm compression loss), giảm semantic confusion, scale lên larger contexts, explore lifelong learning scenarios.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Metis cho multi-agent systems với shared native memory state để enable collaborative reasoning qua memory synchronization
Kết hợp retrieval-augmented native memory: dùng external knowledge làm initial θ₁, native memory cho online adaptation — hybrid approach
Phát triển memory-aware attention mechanisms cho phép dynamic allocation memory capacity per layer/task type
Nghiên cứu catastrophic forgetting mitigation trong native memory qua regularization objectives mới

2. Patent:

Smartphone personal AI assistant với native memory: nén lịch sử hội thoại, thói quen user vào on-device model weights; cập nhật real-time qua forward pass chỉ khi user chat — zero latency, privacy-preserving, không cloud sync
Mobile context-aware keyboard/input method: native memory lưu typing patterns, vocabulary, correction preferences trong model parameters; adapt tức thì khi user gõ — không cần retrain, không gửi data ra server
On-device health monitoring agent trên wearable: nén vital signs history, anomaly patterns vào native memory state; detect trend changes qua memory attention trong single forward pass — real-time, offline, battery-efficient

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.26760
ArXiv Abstract	https://arxiv.org/abs/2607.26760
PDF Download	https://arxiv.org/pdf/2607.26760.pdf
Github Repository	https://github.com/MemTensor/Metis

4. Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering (157 votes)

Tác giả: Junlin Yang, Che Jiang, Yu Fu, Tianwei Luo, Can Ren, et al.

Xuất bản lúc: 2026-07-30

Tag: AI4AI, Recursive Self-Improvement, Machine Learning Engineering, Meta-Evolution Agent, Evolutionary Search, Execution-Grounded RL, OpenMLE

I. Main Problem:

Hệ thống AI hiện tại chưa có khung full-stack tái sản xuất được để nghiên cứu recursive self-improvement (RSI) trong machine learning engineering (MLE). Các công trình trước chỉ giải quyết một phần:

inference-time search (evolutionary/harness)
executable task environments
execution-grounded post-training

Nhưng không có hệ thống nào kết hợp cả ba với artifacts đầy đủ để chạy vòng lặp hoàn chỉnh. MLE là testbed lý tưởng vì yêu cầu cải tiến lặp qua execution feedback có độ trễ, nhiễu, đa dạng — nhưng thiếu substrate thống nhất cho training, search, evaluation.

II. Main Idea:

OpenMLE — full-stack open system cho RSI trong MLE, gồm 3 layer cùng interface chung:

OpenMLE-Gym (environment layer): 5,758 task executable chất lượng cao từ Curated Anchors, Kaggle Datasets, Kaggle Competitions. Mỗi task = package thống nhất (spec, public data, private answers, metric.py) + sandbox executionisolated, structured feedback (6 modes).
OpenMLE-ERL (learning layer): Train 4 atomic program-evolution operators — Draft, Improve, Debug, Crossover — thông qua:
- Execution-grounded SFT: distill strong solutions & successful revisions từ teacher models
- Execution-grounded RL: budget-adaptive supervision, entropic advantage, reward normalization → Cùng operator được train và sau đó compose ở inference.
OpenMLE-Evo (search layer): Long-horizon search với:
- Structured experience accumulation (program DB per task)
- Experience-guided parent selection (quality + progress + novelty)
- Operation-triggered memory synthesis
- Operator-conditioned context construction

Meta-evolutionary loop: verified evolutionary transitions supervise same transformations that search composes → trained model becomes variation engine của evolutionary harness. Frontis-MA1-35B là Meta-evolution Agent (generation 1).

Ví dụ đời thường: giống team kỹ sư ML thay vì chỉ viết code một lần, họ train một 'meta-engineer': nhân viên này học cách sửa, debug, lai ghép pipeline từ hàng ngàn lần chạy thực tế, sau đó tự dùng kỹ năng đó để tìm giải pháp tốt nhất trong 12h cho task mới — quá trình học và tìm kiếm dùng cùng một bộ công cụ (Draft/Improve/Debug/Crossover).

III. Main Results:

MLE-Bench Lite (12 GPU-hour/task, 1×RTX 4090 12GB):
- Frontis-MA1-35B + OpenMLE-Evo: Medal Average 39.39% → 60.61% (base Qwen3.6-35B-A3B), Human Rank 0.5828 → 0.7647
- Frontis-MA1-35B + OpenMLE-Evo-Max (async search + benchmark-independent priors): 71.21% Medal Average, 0.8126 Human Rank — vượt GPT-5.5 + Codex, tiếp cận GPT-5.6 Sol & Kimi K3 (2.8T)
- Cross-model replication: Frontis-MA1-30B cải thiện Qwen3-30B từ 34.85% → 53.03%
NatureBench Lite (held-out scientific AutoResearch):
- Fixed framework, swap trained model: Match-SOTA 50% → 70%
- Fixed model, swap OpenMLE-Evo: Match-SOTA 20% → 50% → Cả post-training VÀ evolutionary search đều transfer ra khỏi competition-style MLE
Harness-level: OpenMLE-Evo vượt Claude Code/Codex scaffolds trên 4 frontier models + AIRA-Evo gốc
Release đầy đủ: model weights, datasets, training/eval code, sandbox infra, harness code → reproducible meta-evolution research

IV. Conclusion & Future Works:

OpenMLE cung cấp full-stack technical solution đầu tiên kết hợp verifiable environments, execution-grounded post-training, test-time evolution trong một workflow validated cho executable AI4AI toward RSI. Key insight: align post-training và inference quanh cùng atomic operators (Draft/Improve/Debug/Crossover) tạo ra meta-evolutionary loop nơi improver tự được train.

Hướng tương lai:

Mở rộng OpenMLE-Gym sang modalities/tasks phức tạp hơn (multi-modal generation, NAS, agent harness design)
Research scaling laws cho meta-evolution: compute vs. performance khi tăng training/search budget
Investigation reward hacking detection/prevention ở scale lớn hơn (Appendix B.6)
Enable community contributions: task packages, operator variants, search strategies
Study RSI trajectory: generation-n agents improving generation-(n+1) training process

V. Brainstorming Space:

1. Publish Papers:

Meta-Evolution Scaling Laws: quantifying how post-training compute, search budget, and operator diversity jointly determine MLE performance ceilings
Transfer of Evolutionary Operators across AI4AI Domains: from MLE to neural architecture search, agent workflow optimization, and hardware-aware model compression
Reward Hacking in Execution-Grounded RL: taxonomy, detection benchmarks, and mitigation strategies for meta-evolutionary training loops
Asynchronous Evolutionary Search at Scale: system design for heterogeneous compute, fault tolerance, and experience sharing across distributed workers

2. Patent:

Hệ thống AutoML trên điện thoại: app chạy cục bộ (on-device) dùng model 35B quantized, user đưa dataset CSV/ảnh → hệ thống tự Draft pipeline, Improve qua vài vòng train/eval thực tế trên GPU điện thoại, Debug lỗi OOM/convergence, Crossover best configs → xuất model TFLite/CoreML tối ưu cho device đó, không cần cloud
MLOps copilot cho startup nhỏ: IDE plugin quan sát engineer viết training code, tự gợi ý Improve (thêm augmentation, scheduler), Debug (catch NaN, gradient explosion từ log), Crossover (kết hợp best practices từ repo nội bộ) — chạy nền trong sandbox cục bộ, không upload data
Personalized model distillation pipeline: user chọn base model (ví dụ Qwen3-30B), hệ thống tự chạy OpenMLE-Evo-Max trên task distribution của user (code generation, summarization, RAG) → sản xuất distilled checkpoint 4-bit chuyên biệt, deploy ngay trên laptop/phone
Automated Kaggle competition assistant: nhập competition URL → tự fetch data, Draft baseline, chạy evolutionary search 12h trên 1 GPU consumer → xuất submission.csv + solution writeup, sẵn sàng submit, không cần expertise ML

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28568
ArXiv Abstract	https://arxiv.org/abs/2607.28568
PDF Download	https://arxiv.org/pdf/2607.28568.pdf
Github Repository	https://github.com/FrontisAI/OpenRSI

5. PhiZero: A World Model Built Around Physical Language (150 votes)

Tác giả: Shuyao Shang, Yuqi Wang, Ruopeng Gao, Xu Chen, Tieniu Tan, et al.

Xuất bản lúc: 2026-07-30

Tag: Vision-Language Action, World Modeling, Video Generation, Physical AI, Zero-Shot Transfer, Reason-Then-Render

I. Main Problem:

Các mô hình thế giới vật lý hiện nay dự đoán video tương lai trực tiếp trong không gian pixel, để động lực học ngầm định bên trong các bộ dự đoán thị giác chiều cao. Điều này dẫn đến:

Kết quả thường vô lý về mặt vật lý (va chạm không gây dịch chuyển, vật thể rơi không bị biến dạng)
Không có biểu diễn rõ ràng của chuyển trạng thái để suy luận, kiểm soát hoặc chuyển giao
Khó tách biệt động lực học khỏi ngoại hình thị giác

II. Main Idea:

PhiZero học một ngôn ngữ vật lý (physical language) — biểu diễn rời rạc nén của các mẫu chuyển trạng thái — từ video in-the-wild qua tự giám sát. Mô hình áp dụng paradigm reason-then-render:

1. Physical Language Tokenizer (nén):

Encoder spatiotemporal + Transition-level Q-Former trích xuất đặc trưng chuyển tiếp giữa các trạng thái kế tiếp
FSQ (Finite Scalar Quantization) lượng tử hóa thành chuỗi ký hiệu rời rạc (256 token/video 4s)
Diffusion decoder (Wan2.2-5B pretrained) tái tạo video từ frame đầu + physical language
Pure-noise warm-up buộc decoder phải dùng physical language thay vì tận dụng prior denoising

2. Physical Language Reasoner (suy luận):

Khởi tạo từ VLM pretrained (Qwen3-VL-4B), mở rộng từ vựng với các ký hiệu FSQ
Dự đoán autoregressive chuỗi physical language từ frame đầu + ý định hành động dạng văn bản
Huấn luyện 2 giai đoạn: continued pretraining (5M clips) → SFT trên 1M clips giàu chuyển động/vật lý

Ví dụ đời thường: giống như người quan sát hàng nghìn clip video tự nhiên, tự trừu tượng hóa ra "ngữ pháp" của cách thế giới thay đổi (gió thổi lá rơi, nước chảy, vật va chạm), rồi khi thấy tình huống mới + ý định "đổ nước", suy diễn trong không gian ngữ pháp đó trước khi vẽ ra video — thay vì đoán pixel từng cái.

III. Main Results:

Video Generation (SOTA trên 3 benchmark):
- Physics-IQ Verified: IQ-Score 41.2 (cao nhất, so với Wan2.2-14B 32.2, Grok-Video 34.8)
- PhyGround: Physics Score 3.01, Overall 2.97 (cao nhất)
- WorldModelBench: Physics Adherence 4.88, Total 8.19 (cao nhất)
Video Understanding (cạnh tranh trên 3 benchmark):
- IntPhys2: Overall 56.34 (gần Gemini-2.5 Flash 55.63, vượt GPT-4o 53.75)
- LikePhys: Avg Error 41.7 (thấp nhất = tốt nhất)
- YoCausal: Agg. Rank 2.0 (tốt nhất)
Tokenizer Reconstruction: 256 token đạt PSNR 28.9 / SSIM 0.903 / LPIPS 0.087 — tốt nhất trong nhóm nén cao (VAE Wan2.2: 44.800 token)
Ablation quan trọng:
- Bỏ diffusion decoder → sụt giảm mạnh (PSNR 26.6)
- Bỏ transition Q-Former → giảm (PSNR 28.2)
- Bỏ pure-noise warm-up → giảm (PSNR 27.9)
- Prompt enhancement alone (Wan2.2-5B) chỉ 26.6 IQ-Score vs 41.2 full
Transferability: Physical language tách được chuyển động khỏi ngoại hình — cùng chuỗi token decode trên frame đầu khác vẫn giữ đúng tiến trình vật lý (đổ nước, lan dính, chảy)
Cấu trúc ngữ nghĩa: Embedding physical language tự tổ chức thành manifold/cluster theo kinematics (lái trái/phải/đi thẳng/đứng yên trong lái xe; 4 pattern kẹp robot)

IV. Conclusion & Future Works:

PhiZero chứng minh physical language là một giao diện đa năng cho biểu diễn, điều khiển, chuyển giao chuyển trạng thái vật lý — hỗ trợ:

Video generation vật lý thực tế (sóng biển, đổ nước, nổ, va chạm)
Fine-grained action-conditioned simulation (điều khiển chính xác góc lái, chuyển động kẹp)
Interactive rollouts dưới chuỗi điều khiển tuần tự (duy nhất các world model hiện tại)
Zero-shot motion transfer cross-embodiment (human → G1 humanoid, human hand → Shadow Dexterous Hand)

Hướng phát triển: Mở rộng physical language cho nhiều miền hơn, cải thiện suy luận long-horizon, tích hợp sâu hơn với điều khiển robot thực tế.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng physical language thành hệ thống đa phương thức kết hợp lực/tactile/proprioception cho manipulation chính xác
Phát triển active exploration policy để robot tự thu thập dữ liệu in-the-wild phong phú hơn cho tokenizer/reasoner
Nghiên cứu compositional physical language — hợp thành các primitive chuyển trạng thái để tổng quát hóa tới tác vụ chưa thấy
Áp dụng test-time adaptation với physical language cho robot tự hiệu chỉnh khi môi trường thay đổi (ma sát, khối lượng, hình dạng)

2. Patent:

Điều khiển robot gia đình qua điện thoại với camera tùy ý: người dùng đặt điện thoại bất kỳ góc độ; robot thực hiện vài động tác thăm dò ngắn, encoder suy luận physical language từ video, reasoner dịch lệnh tự nhiên thành chuỗi token, decoder render hành động chính xác theo góc nhìn đó — không cần calibrate camera
Module tự hiệu chuẩn cánh tay robot công nghiệp: trước mỗi ca, robot chạy chuỗi động tác khám phá 10s; tokenizer nén thành physical language; reasoner đối chiếu với mô hình tham chiếu để phát hiện độ lệch động học (wear, payload change) và cập nhật chính sách ngay — không cần sensor lực/torque đắt tiền
Chuyển giao kỹ năng người → robot zero-shot cho dây chuyền lắp ráp: công nhân biểu diễn thao tác (vặn ốc, cắm kết nối) trước camera đơn; hệ thống trích xuất physical language, điều chỉnh cho morphology robot mục tiêu (độ dài cánh tay, loại kẹp), sinh video hành động robot — giảm từ tuần training xuống phút
Ứng dụng AR/VR: người dùng tương tác vật lý ảo (đổ nước, ném bóng) trong headset; physical language capture ý định + động lực học, render real-time với vật lý chính xác — giảm motion sickness do vật lý giả không khớp thực tế

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28624
ArXiv Abstract	https://arxiv.org/abs/2607.28624
PDF Download	https://arxiv.org/pdf/2607.28624.pdf
Github Repository	https://github.com/yaoyao-jpg/PhiZero

6. VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System (62 votes)

Tác giả: Haodong Li, Tianfei Ren, Xiaoxiao Ma, Chunmei Qing, Zhen Fang, et al.

Xuất bản lúc: 2026-07-29

Tag: Text-to-Video, Chain-of-Thought, Code-as-CoT, Physics-Consistent Generation, Dual-Engine System, Blender, Video Editing, Diffusion Models

I. Main Problem:

Các mô hình text-to-video hiện tại thất bại khi tạo động học vật lý nhất quán vì prompt văn bản nén cực cao ý định, để nguyên lý vật lý quản trị sự tiến triển hoàn toàn không được chỉ định. Mô hình buộc phải tự tái dựng toàn bộ quá trình không-thời-gian đồng thời tổng hợp hình ảnh — gọi là Causal Opacity (mờ आदमी nhân quả). Các phương pháp chain-of-thought trước đây dùng kế hoạch văn bản, keyframes, hoặc tìm kiếm test-time — đều phi-thực-thi (non-executable) hoặc thưa thời gian (temporally sparse), không thể khởi tạo và kiểm soát được toàn bộ quá trình.

II. Main Idea:

VideoCoCo — khung agentic dual-engine dùng code Blender có thể chạy làm chain-of-thought cấp độ quá trình (process-level CoT).

Stage 1 – Executable Simulation Engine:

Coding agent tổng hợp chương trình Blender Python tự chứa từ prompt
Chạy trong sandbox Blender → render draft spatiotemporal xác định (deterministic) — low-fidelity (white-clay), nhưng mật độ thời gian đầy đủ, mọi frame là trạng thái vật lý đã khởi tạo

Stage 2 – Generative Video Engine:

Instruction agent đọc prompt + draft → viết editing instruction tập trung vào appearance (vật liệu, ánh sáng, phong cách), không định nghĩa lại chuyển động
Draft-conditioned video editor (Gθ) nhận draft + instruction → xuất video photorealistic

VideoCoCo-3K: pipeline tự động xây dataset 3000 triplet (draft, instruction, target photorealistic) dùng teacher editor Seedance 2.0 làm ground-truth, để fine-tune editor thích ứng với draft simulation.

Ví dụ đời thường: giống như kỹ sư mô phỏng trước khi xây dựng — viết code mô phỏng toàn bộ quá trình nóng chảy bơ trong chảo (Stage 1), sau đó nhandoff cho họa sĩ vẽ lại thành video thực tế tuyệt đẹp nhưng giữ nguyên đúng động lực học đã mô phỏng (Stage 2).

III. Main Results:

PhyGenBench: OmniWeaving baseline 0.475 → 0.558 (best average), dẫn đầu mechanics (0.558), optics (0.613), material (0.525), thermal rank 2 (0.511)
VBench-2.0: OmniWeaving baseline 52.18% → 77.88% (+25.7 điểm, best average), top-1 mechanics (92.31%) & thermotics (72.92%), top-2 material (68.42%)
Ablation (Table 3): Tuning-free đã vượt baseline (0.48→0.51) → chứng minh executable drafting alone có đóng góp; LoRA-tune đạt tốt nhất (0.56) → drafting + editor adaptation bổ sung lẫn nhau
So với open-source mạnh nhất (Wan2.2-TI2V-5B 0.544), VideoCoCo vẫn tốt hơn

IV. Conclusion & Future Works:

VideoCoCo chứng minh executable code là biểu diễn trung gian hiệu quả, có thể kiểm soát và kiểm tra (inspectable) cho video generation vật lý nhất quán. Tách biệt reasoning cấp độ quá trình khỏi visual realization cho phép mỗi engine chuyên môn hóa. Hướng tương lai: tối ưu chiến lược active exploration cho coding agent, mở rộng cho môi trường động liên tục, cải thiện editor adaptation để giảm độ lệch appearance-draft.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Code-as-CoT cho video generation đa vật thể tương tác phức tạp (va chạm, chất lỏng, biến dạng mềm) với Blender physics engine nâng cao
Kết hợp VideoCoCo với world model để agent tự sinh prompt vật lý mới từ quan sát thực tế, đóng vòng self-supervised
Áp dụng dual-engine framework cho robot simulation-to-real: code draft → sim-to-real video → policy training

2. Patent:

Ứng dụng điện thoại: App mô phỏng nấu ăn AR — người dùng quay video nguyên liệu, app sinh code Blender mô phỏng quá trình nấu (tan chảy, sôi, biến màu), render draft, rồi video editor tạo video hướng dẫn nấu ăn photorealistic đúng vật lý, hiển thị lên bề mặt bàn bếp qua AR
Ứng dụng điện thoại: Công cụ thiết kế hiệu ứng video cho creator — nhập mô tả văn bản ("bóng bay nổ tan trong không khí lạnh"), app tự động sinh code vật lý, cho phép chỉnh sửa tham số (nhiệt độ, độ ẩm) bằng slider, xem trước draft real-time, xuất video 4K cuối cùng
Ứng dụng điện thoại: Giáo dục vật lý tương tác — học sinh vẽ sketch hoặc nói chú thích, app chuyển thành code Blender chạy simulation, hiển thị song song draft (white-clay) và video thực tế, cho phép so sánh lý thuyết vs thực nghiệm

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.27380
ArXiv Abstract	https://arxiv.org/abs/2607.27380
PDF Download	https://arxiv.org/pdf/2607.27380.pdf
Github Repository	https://github.com/micky-li-hd/VideoCoCo

7. Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory (46 votes)

Tác giả: Rubin Wei, Jiaqi Cao, Jiarui Wang, Junming Zhang, Qipeng Guo, et al.

Xuất bản lúc: 2026-07-30

Tag: Long-Term Memory, Language Models, Parametric Memory, kNN Retrieval, Domain Adaptation, Memory Scaling, Efficient Pretraining

I. Main Problem:

Các mô hình ngôn ngữ decoder-only hiện nay gắn kết bộ nhớ dài hạn và lý luận trong một tập tham số duy nhất. Hậu quả:

Không thể pretrain hoặc scale bộ nhớ độc lập với backbone
Tăng dung lượng bộ nhớ buộc phải tăng toàn bộ tham số mô hình
Domain adaptation (continued pretraining/fine-tuning) tốn chi phí lớn, rủi ro catastrophic forgetting
Không có bộ nhớ độc lập để hoán đổi giữa các domain hoặc tái sử dụng cho nhiều backbone

II. Main Idea:

Memory Decoder at Scale: pretrain một module bộ nhớ tham số (parametric memory) độc lập, sau đó interpolate phân phối đầu ra của nó với backbone đóng băng tại inference. Quy trình cốt lõi:

Xây dựng datastore kNN: dùng backbone đóng băng encode context → key (hidden state cuối), value = token tiếp theo
Huấn luyện Memory Decoder (M_ψ): minimize KL divergence giữa phân phối kNN (p_ret) và phân phối của memory (p_ψ) + language modeling loss trên corpus gốc
Inference song song: backbone M_θ và memory M_ψ xử lý cùng context → p_final = (1-α)p_θ + α p_ψ

Đổi mới kỹ thuật để scale lên 300B tokens / 6.9B params:

Distributed Faiss pipeline: OPQ nén embedding 4096→256-d, IVF+HNSW sharding, parallel GPU search
Sparse kNN storage: chỉ lưu token-prob > ε (trung bình 65 tokens/hàng, tiết kiệm ~250× so với dense)
Distributed streaming: memory-mapped shards, chỉ load slice cần thiết cho batch

Ví dụ đời thường: giống như tách "thư viện kiến thức" ra khỏi "bộ não suy luận" — backbone chỉ lo suy luận, còn memory là kho kiến thức pretrained sẵn, có thể gắn/tháo, mở rộng riêng biệt, dùng chung cho nhiều "bộ não" khác nhau.

III. Main Results:

General memory: Pythia-410M + Mem-6.9B đạt 37.34 AVG trên 17 benchmark, vượt Pythia-12B (37.24) với 39% ít tham số hơn
Memory scaling > backbone scaling: tại cùng tổng tham số, config Base+Mem luôn vượt backbone-only (33-42% ít params hơn ở cùng AVG)
Domain memory 1.7B: cải thiện Qwen3 0.6B→14B trung bình >9 điểm trên BioInst/LawBench/FinEval; trên Qwen3-14B: +17.96 (Bio), +8.97 (Law), +3.04 (Fin)
Cross-vocabulary transfer: adapt sang OLMo-2/3-7B chỉ với 20% budget vẫn gain 4.26 / 7.77 điểm trung bình
Lợi ích tập trung vào task knowledge-intensive: TriviaQA +8.8→+17.1, 2WikiMultiHopQA +5.7, HotpotQA +2.8
Effective dưới few-shot, memory size và training budget càng lớn càng tốt

IV. Conclusion & Future Works:

Kết luận: Pretrained parametric memory tách biệt và scale độc lập là đường đi parameter-efficient hơn backbone scaling. Cho phép memory bank hoán đổi domain tại inference, tái sử dụng cross-backbone, transfer cross-vocabulary với budget thấp.

Hướng phát triển:

Tối ưu active exploration cho memory (thay vì random sampling)
Mở rộng cho môi trường động liên tục (continual memory update)
Kết hợp với test-time adaptation để memory tự cập nhật từ context mới
Nghiên cứu memory compression / quantization cho deployment edge/mobile

V. Brainstorming Space:

1. Publish Papers:

Active Memory Pretraining: dùng uncertainty-based sampling chọn context khó nhất để xây datastore kNN, giảm budget training vẫn giữ performance
Continual Memory Decoder: cho phép memory cập nhật tăng dần từ stream data mới mà không catastrophic forgetting, dùng replay buffer ký ức quan trọng
Mixture-of-Memories at Scale: gating network chọn kết hợp multiple domain memories tại inference dựa trên query routing, single forward pass
Mobile Memory Decoder: quantize memory module xuống 4-bit/INT8, deployment on-device cho RAG-local không cần server retrieval

2. Patent:

Hệ thống trợ lý AI cá nhân trên điện thoại với memory module 1-2B params pretrained trên dữ liệu người dùng (email, tin nhắn, lịch sử tìm kiếm). Khi hỏi, backbone nhỏ (0.5B) chạy on-device + memory interpolate → trả lời có ngữ cảnh cá nhân mà không gửi dữ liệu lên cloud. Memory cập nhật hàng tuần qua federated learning.
App học từ vựng/ngôn ngữ có domain memory riêng cho từng chuyên ngành (y khoa, pháp luật, tài chính). User tải memory module ~500MB cho lĩnh vực cần học; backbone chung nhỏ chạy nhanh, memory cung cấp kiến thức chuyên sâu. Chuyển domain chỉ cần swap file memory.
Robot gia đình với episodic memory module: mỗi ngày robot ghi nhận sự kiện quan trọng vào memory parametric nhỏ (few-shot update). Khi chủ hỏi "hôm qua tôi để chìa khóa đâu?", memory interpolate với backbone để truy xuất ngữ cảnh cụ thể thay vì RAG tìm kiếm chậm.
Hệ thống gợi ý y tế trên thiết bị vestige: memory module pretrained trên guideline y khoa + lịch sử bệnh án ẩn danh. Bác sĩ nhập triệu chứng → backbone suy luận + memory cung cầu chứng cứ guideline liên quan → output khuyến nghị. Cập nhật guideline chỉ cần retrain memory nhỏ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.27919
ArXiv Abstract	https://arxiv.org/abs/2607.27919
PDF Download	https://arxiv.org/pdf/2607.27919.pdf
Github Repository	https://github.com/LUMIA-Group/MemoryDecoder-at-Scale

8. Beacon: Knowing When and How to Perform Agentic Visual Reasoning (45 votes)

Tác giả: Qixun Wang, Yang Shi, Letian Cheng, Zhuoran Zhang, Yan He, et al.

Xuất bản lúc: 2026-07-30

Tag: Agentic Visual Reasoning, MLLMs, Reinforcement Learning, Tool Use, Adaptive Reasoning, Multimodal

I. Main Problem:

Các mô hình agentic visual reasoning hiện tại thiếu khả năng thích ứng khi triệu gọi công cụ — chúng hoặc dùng công cụ quá nhiều (gây overhead không cần thiết) hoặc quá ít (bỏ lỡ vấn đề khó). Kết quả: lợi ích từ công cụ trên bài khó bị triệt tiêu bởi lỗi trên bài dễ, hiệu năng tổng thể cải thiện rất ít so với reasoning chỉ dùng text.

II. Main Idea:

Beacon — mô hình agentic visual reasoning mới với framework RL hai thành phần cốt lõi:

Necessity-Aware Adaptive Reward (NAAR): reward mềm ưu tiên reasoning text-only khi đủ dùng, vẫn cho reward một phần cho code đúng khi text-only thất bại — khuyến khích dùng công cụ chỉ khi cần thiết.
Hint-Guided Capability Expansion (HCE): khi policy thất bại trên bài khó, chuyên gia (Gemini 3.1 Pro) sinh hint không có đáp án từ trajectory đúng → policy rollout thêm với hint → chuyển hành vi có hint về policy không hint qua importance sampling — mở rộng ranh giới khả năng dùng công cụ trên bài khó nhất.

Ví dụ đời thường: giống như sinh viên học dùng máy tính: trước tiên tự giải tay (text-only), chỉ bật máy khi thực sự cần; nếu bị kẹt, thầy cho gợi ý bước giải (hint) chứ không cho đáp án, sinh viên tự tìm ra cách dùng máy để giải bài tương tự sau này.

III. Main Results:

Top-1 trung bình 13 benchmark trong các mô hình open-source (điểm trung bình 66.05% vs 64.57% Metis, 60.57% Qwen3-VL-8B).
Mode Adaptiveness (MA) mạnh nhất: MA_mean = 58.98% (random baseline 50%), MA_tool cao nhất trên bài khó, MA_text cao nhất trên bài dễ.
Tool Effect tốt nhất: Tool-Gain 9.3%, Tool-Harm chỉ 0.2% → gap +3.1% (các model khác gap ≤ +1.7%).
Cải thiện +6.07 điểm so với base Qwen3-VL-8B-Instruct.
Trên high-res visual search: +12.26% VisualProbe, +6.17% HRBench 4K so với base.
Trên quantitative reasoning: +16.82% ChartQAPro, +10.60% GameQA.

IV. Conclusion & Future Works:

Beacon chứng minh framework RL kết hợp NAAR + HCE đồng thời nâng cao thích ứng chế độ reasoning và lợi ích thực tế của công cụ — giải quyết bài toán cốt lõi của agentic visual reasoning. Hướng phát triển: tối ưu chiến lược thăm dò chủ động (active exploration) thay vì hint cố định, mở rộng cho môi trường động liên tục, giảm phụ thuộc vào expert model lớn để sinh hint.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng NAAR/HCE cho multi-agent visual reasoning: các agent chia sẻ hint và reward thích ứng để điều phối dùng công cụ tập thể.
Kết hợp HCE với active learning: policy tự chọn bài khó cần hint nhất thay vì dùng hết budget trên all-hard examples.
Áp dụng tư duy necessity-aware cho tool use trong LLM chung (không chỉ visual): code execution, web search, function calling.

2. Patent:

Hệ thống assistant di động thích ứng: điện thoại phân tích độ khó câu hỏi người dùng (text-easy vs text-hard) → tự quyết định dùng camera/OCR/GPS hay trả lời trực tiếp — tiết kiệm pin và độ trễ.
Robot công nghiệp tự hiệu chuẩn: trước mỗi ca, robot chạy vài động tác thăm dò, dùng NAAR quyết định có cần chạy vision pipeline phức tạp hay không, HCE học từ chuyên gia khi gặp lỗi lạ mới.
App giải bài tập học sinh: chụp ảnh đề → mô hình tự nhận biết bài nào cần crop/tính toán pixel (hình học) vs bài chỉ cần đọc hiểu (OCR) → chỉ chạy heavy tool khi cần thiết, giảm 80% chi phí compute.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28595
ArXiv Abstract	https://arxiv.org/abs/2607.28595
PDF Download	https://arxiv.org/pdf/2607.28595.pdf
Github Repository	https://github.com/NOVAglow646/Beacon

9. BM25 Wins at Scale: A Scaling Study of Retrieval-Augmented Generation Paradigms (39 votes)

Tác giả: Pengyu Wang, Benfeng Xu, Shaohan Wang, Xin Zeng, Huarui Wu, et al.

Xuất bản lúc: 2026-07-30

Tag: RAG, Information Retrieval, Scaling Laws, BM25, Dense Retrieval, GraphRAG, Agentic Retrieval, Enterprise Search

I. Main Problem:

Các paradigm RAG (lexical, dense, graph-based, agentic) thường được đánh giá riêng lẻ trên benchmark khác nhau ở một quy mô corpus cố định, khiến không rõ mối quan hệ accuracy–cost khi corpus lớn dần. Triển khai thực tế (knowledge base doanh nghiệp) có hàng trăm nghìn document và tiếp tục tăng — cần hiểu scaling behavior chứ không phải point comparison.

II. Main Idea:

Controlled corpus-scaling study trên EnterpriseRAG-Bench với 28 tier lồng nhau (tăng 1.25×/rung, ~450× từ 1,144 → 511,959 docs, 1.7M → 601M tokens). Cố định câu hỏi (500), gold evidence, adversarial traps/lures. Đánh giá 7 pipeline native qua 4 paradigm dưới cùng reader (Qwen3-6-27B), cùng judge, metering token-level cho build/query.

Kết quả cốt lõi — scale-dependent crossover:

File-System Agent dẫn đầu ở tier nhỏ (bedrock: 77.4 vs BM25 74.7)
Khoảng 10M tokens BM25 vượt qua và dẫn ở mọi tier lớn hơn
Full scale (601M tokens): BM25 50.5 vs File-System Agent 30.7 vs DenseRAG 29.9
GraphRAG (MS-GraphRAG, LightRAG, HippoRAG 2) đụng tường construction trước khi đạt deployment scale; biến thể scalable (LinearRAG) vẫn dưới BM25 ở shared tier

Ví dụ đời thường: giống như tìm thông tin trong thư viện — khi sách ít, nhân viên đi từng kệ, mở từng cuốn (agentic) hiệu quả; khi thư viện khổng lồ, thẻ mục từ khóa (BM25) thắng vì xếp hạng toàn cục thay vì tìm cục bộ lần lượt.

III. Main Results:

Crossover point: ~10M corpus tokens BM25 bắt đầu dẫn và kéo dài margin → gần 20 điểm ở full scale
Query cost: BM25 scale-invariant (~5.8K tok/q), File-System Agent tăng 39–60× BM25 (226K→343K tok/q) do sequential exploration
Build cost: GraphRAG tốn generative tokens khổng lồ — HippoRAG 2'extrapolate 2.9B tokens (~3 ngày), LightRAG siêu tuyến tính 102B tokens (~4 năm instance), MS-GraphRAG 7.9B tokens (~50 ngày)
Pareto frontier: BM25 gác lại đầu low-cost không cần LLM build; DenseRAG hiệu quả nhưng kém accuracy
Agent + BM25 (thay raw-file tools bằng lexical search): full scale 69.4 (vs Native BM25 50.5, File-System Agent 36.9) — agency giúp sau ranked discovery, không thay thế nó
Graph substrate experiment: cùng index, agentic access thay đổi score −6.7 đến +29.9 pts tùy method
Question-type breakdown: File-System Agent tốt hơn ở completeness/conflicting-info; BM25 thắng hoặc hòa 5/10 loại
Robustness: Binary re-scoring giữ ranking 9/9 scale; independent judge đồng thuận 96.2% alignment verdicts

IV. Conclusion & Future Works:

Kết luận: Corpus growth càng lớn càng favor global candidate ranking. Lexical retrieval (BM25) là scalable default mạnh nhất cho enterprise corpus; agentic reasoning hoạt động tốt nhất SAU khi đã có ranked discovery (Agent+BM25), không phải thay thế nó. Graph methods fail do construction cost, extraction noise, information loss (predicate text bị loại), và semantic traps.

Hướng tương lai:

Mở rộng ladder scaling cho web-scale, multi-lingual, dynamic corpora
Tối ưu agent policy cho active probing thay vì random exploration
Hybrid paradigms: BM25 discovery + lightweight graph refinement + agentic synthesis
Benchmark standards: báo cáo nested-scale accuracy, build/query cost, index coverage thay vì single-point

V. Brainstorming Space:

1. Publish Papers:

Mở rộng scaling ladder lên web-scale (tỷ document) với dynamic corpus updates để kiểm tra crossover persistence
Khám phá hybrid pipeline: BM25 candidate set → lightweight graph expansion → agentic multi-hop reasoning cho complex queries
Benchmark chuẩn hóa cross-paradigm: nested tiers, unified metering, coverage-adjusted scoring cho deployment readiness

2. Patent:

Hệ thống RAG doanh nghiệp auto-select paradigm theo corpus size: <10M tokens dùng agentic file exploration; >10M tokens chuyển sang BM25 + agentic refinement — giảm 90% query tokens, tăng 20+ accuracy points
Mobile/on-device RAG: BM25 index + quantized reader (≤1B params) chạy offline trên điện thoại, chỉ gọi cloud LLM cho synthesis — chi phí gần-zero, latency <500ms cho enterprise knowledge lookup
Adaptive query router: classifier nhẹ dự đoán question type (lookup/completeness/conflicting) → route sang BM25 (lookup), Agent+BM25 (completeness), hoặc graph agent (conflicting) — tối ưu cost/accuracy per query
Construction-cost predictor cho GraphRAG: estimator dựa trên corpus stats (entity density, noise ratio) dự báo build tokens/time trước khi commit — tránh 'construction wall' surprise ở production scale

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.26497
ArXiv Abstract	https://arxiv.org/abs/2607.26497
PDF Download	https://arxiv.org/pdf/2607.26497.pdf
Github Repository	N/A

10. Flux-OPD: On-Policy Distillation with Evolving Contexts (38 votes)

Tác giả: Yuran Wang, Zekun Wang, Bohan Zeng, Ruixu Zhang, Wenxuan Liu, et al.

Xuất bản lúc: 2026-07-30

Tag: On-Policy Distillation, Context Distillation, KL Divergence, Large Language Models, Open-Ended Domains, Knowledge Distillation

I. Main Problem:

Huấn luyện LLM trong miền mở (open-ended domains) thiếu phần thưởng có thể xác minh, khiến sở thích tác vụ khó định dạng thành giám sát hiệu quả. Các phương pháp hiện có:

OPD chỉ phản ánh sở thích của teacher, không nắm bắt sở thích tác vụ thực
Context Distillation / OPCD dùng context cố định trước huấn luyện — sau khi thông tin được蒸馏 vào student, context không còn cung cấp giám sát bổ sung
OEL tiến hóa context nhưng gây mục tiêu distillation không ổn định (loss surge) và phân bố mục tiêu xung đột giữa các context

II. Main Idea:

Flux-OPD — một paradigm OPD dùng context tiến hóa (evolving contexts) làm giám sát trong huấn luyện để nắm bắt sở thích tác vụ trong miền mở. Cốt lõi dựa trên phân rã reverse KL:

Phân rã reverse KL (Proposition 1): Mục tiêu OPCD phân rã thành distillation term (KL giữa student và geometric mean chuẩn hóa của các teacher có context) và conflict term (−log Z đo lường sự bất đồng giữa các teacher). Chỉ distillation term đóng góp gradient trực tiếp.
Huấn luyện lặp (Iterative Training): Chia một lần chạy huấn luyện thành K lần lặp, mỗi lần có context extraction (teacher trích xuất experience từ trajectory của student) và context distillation.
Contextual Correction (Chiến lược 1): Neo mục tiêu distillation vào context-free teacher ổn định, tiêm contextual difference signals (độ chênh log-prob giữa geometric mean teacher có context và teacher không context) thay vì bắt chép trực tiếp teacher có context.
Contextual Weighting (Chiến lược 2): Điều chỉnh độ mạnh correction (λₖ) dùng conflict term làm chỉ báo — tăng correction khi các teacher có context nhất quán, giảm khi chúng xung đột (Eq. 20: λₖ = α·clip(1−δₖ/τ, λ_min, λ_max)).

Ví dụ đời thường: giống như huấn luyện viên điều chỉnh bài tập cho vận động viên dựa trên video quay các lần thử trước — thay vì ép học viên bắt chép hoàn toàn phong cách của chuyên gia (có thể không phù hợp), huấn luyện viên lấy sự khác biệt giữa phong cách chuyên gia và phong cách cơ bản, tiêm nhẹ vào bài tập cơ bản, và giảm liều khi các chuyên gia đưa ra lời khuyên trái chiều nhau.

III. Main Results:

Prompt Optimization cho Video Generation (Table 1, 3): Flux-OPD đạt tổng điểm cao nhất trên VBench & Video-Bench với 2 generator (Wan2.1-V ACE-1.3B, CogVideoX-2B) dưới 3 cài đặt student-teacher (Qwen3-VL 4B/8B, Qwen2.5-VL 7B/32B). OPD, OPCD, OEL đều giảm hiệu suất so với student ban đầu.
Medical Question Answering (Table 2): Flux-OPD 20.61 trên HealthBench, vượt OPD (19.63), OPCD (19.53), OEL (19.66).
Độ ổn định (Fig. 5a): Loss Flux-OPD giảm đều như OPD; OEL bị loss surge khi cập nhật context. Gradient norm Flux-OPD ổn định.
Khái quát hóa OOD (Fig. 5b): Flux-OPD đạt strict accuracy cao nhất trên IF-Eval sau khi train trên Medical QA.
Ablation (Table 4): Cả 3 thành phần (evolving contexts, contextual correction, contextual weighting) đều cần thiết. Contextual correction alone (V2) đã vượt OEL ở mọi λ cố định.
Chạy độc lập 3 lần (Fig. 4): Flux-OPD luôn vượt OPD trên VBench (CogVideoX-2B) và HealthBench.

IV. Conclusion & Future Works:

Flux-OPD chứng minh kết hợp giám sát teacher với context tiến hóa trong huấn luyện on-policy hiệu quả cho miền mở. Phân rã reverse KL cung cấp cơ sở lý thuyết: student hướng về geometric mean của teacher có context, conflict term đo lường sự xung đột. Hai chiến lược — neo vào teacher không context + tiêm tín hiệu chênh lệch và trọng số theo conflict term — giải quyết bất ổn và xung đột.

Hướng phát triển:

Mở rộng cho nhiều tác vụ mở hơn (viết code sáng tạo, lập kế hoạch agent)
Khám phá conflict term như tín hiệu reward nội tại cho RL
Tối ưu chiến lược context extraction (số lượng rollout, số seed, bổ sung downstream result)
Áp dụng cho multi-turn dialogue với context tiến hóa theo hội thoại

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Flux-OPD cho học tập đa vòng (multi-turn) với context tiến hóa theo lịch sử hội thoại, áp dụng cho agent lập kế hoạch và sử dụng công cụ.
Nghiên cứu conflict term như tín hiệu reward nội tại trong RLHF cho miền mở — dùng −log Z để phát hiện và giảm thiểu hallucination khi các teacher không đồng thuận.
Kết hợp Flux-OPD với RLAIF (RL from AI Feedback): dùng teacher làm evaluator, context tiến hóa từ trajectory(student) để cải thiện reward model cho tác vụ không có ground-truth.
Điều tra geometric mean vs arithmetic mean trong distillation đa teacher — khi nào geometric mean (reverse KL) tốt hơn arithmetic mean (forward KL) cho alignment sở thích người dùng.

2. Patent:

Hệ thống tự tối ưu prompt cho ứng dụng video di động: người dùng nhập prompt thô, app chạy Flux-OPD nhẹ trên thiết bị (student 1.7B) với teacher đám mây, context tiến hóa từ video kết quả trước đó → sinh prompt tối ưu cho generator video cục bộ (Wan2.1/CogVideoX) mà không cần gửi dữ liệu nhạy cảm lên cloud.
Trợ lý y tế cá nhân hóa trên điện thoại: model 1.7B on-device học từ phản hồi bác sĩ (rubrics) qua context tiến hóa — mỗi lần tương tác, context cập nhật từ hội thoại trước, Flux-OPD điều chỉnh câu trả lời theo phong cách giao tiếp, độ chính xác y khoa và tuân thủ hướng dẫn của bệnh viện cụ thể.
Module tự hiệu chuẩn mô hình ngôn ngữ nhỏ cho keyboard dự đoán: keyboard thu thập context từ văn bản người dùng gõ (evolving contexts), dùng Flux-OPD蒸馏 từ teacher đám mây vào model on-device 4B, contextual weighting tự động giảm ảnh hưởng khi ngữ cảnh người dùng mơ hồ/xung đột (ví dụ: gõ tiếng lóng vs văn bản trang trọng).

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28022
ArXiv Abstract	https://arxiv.org/abs/2607.28022
PDF Download	https://arxiv.org/pdf/2607.28022.pdf
Github Repository	N/A

11. MPIE-Bench: Benchmarking Anatomically Plausible Multi-Person Interaction Editing (35 votes)

Tác giả: Jiajia Lin, Mingxuan Du, Tuowen Zhou, Benfeng Xu, Hongtao Xie

Xuất bản lúc: 2026-07-30

Tag: Multi-Person Interaction Editing, Benchmark, 3D Human Mesh Reconstruction, Anatomy Evaluation, Interaction Geometry, Text-to-Image Generation, Personalized Editing

I. Main Problem:

Các mô hình text-to-image và personalized editing hiện tại thất bại khi đặt nhiều người vào các hành động tiếp xúc chặt chẽ (bào ôm, gánh, cữ tranh). Các lỗi phổ biến:

Chi thể fusion: tay/chân hai người bị gộp lại
Chi thể bịa đặt: xuất hiện tay/chân thừa tại đường tiếp xúc
Thâm nhập cơ thể: một cơ thể chiếm thể tích của cơ thể khác

Các benchmark hiện có bỏ qua vấn đề giải phẫu/hình học ở thời điểm tiếp xúc. VLM-as-a-judge checklist thường bão hòa gần ceiling (0.95-0.99) trong khi lỗi rõ ràng với con người. Câu hỏi "edit có xảy ra không" và "cơ thể có sống sót sau edit không" là hai câu hỏi khác nhau, hiện chỉ có câu đầu được hỏi.

II. Main Idea:

MPIE-Bench + MPIE-Eval — benchmark và giao thức đánh giá đầu tiên đo lường tính liên贯 cơ thể tại thời điểm tiếp xúc từ reconstruciton mesh 3D công khai, không phải ý kiến VLM.

MPIE-Bench (dữ liệu):

2,500 triplet chỉnh sửa được khai thác từ video trên 405 cảnh, 14 loại tương tác, 4 mức độ tiếp xúc (C0–C3)
Valley→Peak: frame thưa người (dễ crop) làm reference; frame dày đặc cùng cảnh làm target held-out — đảm bảo cùng interaction thật
Prompt được VLM viết ngược từ (references, target) không lộ pixel target

MPIE-Eval (đánh giá):

Anatomy: mọi khối giống người có được giải thích bởi tập cơ thể hoàn chỉnh không? (phát hiện fused/invented limbs, floating parts, broken structure, residual mass)
Interaction: độ thâm nhập & khoảng cách bề mặt giữa mesh có khớp intent tiếp xúc (required/forbidden/unspecified) không?
6 trục riêng biệt (Count, ID, Instruction, Quality, Anatomy, Interaction) không bao giờ gộp thành một số
Frontend Multi-HMR công khai đóng băng trước khi chấm; mọi ngưỡng/weight công bố → ranking có thể tái tính từ dump

Ví dụ đời thường: giống như thẩm phán đấu vật không chỉ nhìn "có ôm không" mà dùng scanner 3D kiểm tra: tay chân có bị gộp, có phần lơ lửng, có cơ thể đè nhau sai vật lý — chấm điểm từng lỗi cụ thể thay vì hỏi khán giả "trông có thật không".

III. Main Results:

10 editor (3 closed, 7 open): Mesh Anatomy max 0.65 (Gemini), Mesh Interaction max 0.72 (Seedream) — không editor nào mạnh cả hai
VLM checklist (V-Inter) bão hòa 0.98–0.99 trên cùng ảnh → sát ceiling, mất phân biệt
Identity gap closed/open lớn nhất: 0.49–0.58 vs 0.02–0.21
Human study (5 rater, N=170 hard C2–C3): Mesh axes track human judgement gần hơn VLM judge trên 9/10 item (Steiger p<0.05 cho Anatomy fused/invented, Interaction required)
Ablation toàn bộ weight/gate/threshold: Rank Spearman ≥ 0.98 → ranking bền vững
Track B (letterbox→1024²): Anat rank Spearman 0.89 (open) / 0.83 (all) vs Track A → consistent
Contact density stress: Anatomy mềm dần C2→C3 cho Gemini/Seedream/FireRed; một số open system gần flat (DreamO 0.54→0.56)
Corruption check (GT reconstructions): Interaction giảm dưới mọi dạng hư hỏng (force penetration, separate far, drop/duplicate person)

IV. Conclusion & Future Works:

MPIE-Bench + MPIE-Eval làm có thể đo lường được tính liên贯 cơ thể tại thời điểm tiếp xúc cho multi-person interaction editing. Mesh axes làm được điều checklist không làm: V-Inter bão hòa, M-Inter giữ dynamic range; Identity vẫn là gap closed/open lớn; Anat/Inter leaders không nhất thiết trùng nhau; density/corruption/human/ablation hỗ trợ ranking cấp model thay vì single blended score.

Phát hành: subset redistributable, evaluation code, per-sample Multi-HMR dumps, calibration recipe → community có thể audit ranking và thêm alternate-frontend tracks mà không cần định nghĩa lại task.

Hướng tương lai: Part-conditioned contact locus (hand-hand/gaming check hiện chỉ đổi Inter ~0.005–0.011); stronger contact-aware reconstructors như alternate leaderboard tracks; mở rộng cho interaction nhiều người (>3) phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng MPIE-Eval với contact-aware reconstructor mạnh hơn (hand-specific, SDF-based) làm alternate track để so sánh robustness across frontends.
Kết hợp MPIE-Bench với video generation benchmark để đánh giá temporal coherence của multi-person interaction qua các frame.
Phát triển active probing strategy: editor tự sinh thêm reference view tại contact-dense region để cải thiện anatomy/interaction trước khi commit output cuối.

2. Patent:

Ứng dụng AR fitting room cho cặp đôi/nhóm: user upload ảnh từng người → hệ thống sinh ảnh hai người ôm/gánh nhau với anatomy đúng (không fused limbs, không interpenetration) để thử đồ phối hợp.
Bộ lọc mạng xã hội multi-person: tự động detect và sửa lỗi fused limbs/interpenetration trong ảnh nhóm chụp selfie/tự động tạo pose tương tác thực tế từ vài ảnh reference.
Virtual try-on cho video call: avatar 3D của người gọi được reconstruct real-time từ camera đơn, sau đó áp dụng MPIE-Eval anatomy check để đảm bảo tay/ngón không bị méo khi chạm mặt/đồ vật ảo.
Game character customization: người chơi tạo đội hình nhiều nhân vật tương tác (bào ôm, cao tay) từ reference ảnh thật; hệ thống dùng mesh anatomy/interaction scoring để auto-fix artifact trước khi render final.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.27616
ArXiv Abstract	https://arxiv.org/abs/2607.27616
PDF Download	https://arxiv.org/pdf/2607.27616.pdf
Github Repository	https://github.com/AnnLin0628/mpie-bench

12. ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine (34 votes)

Tác giả: Yukang Cao, Haozhe Xie, Beichen Wen, Runmao Yao, Yinghao Liu, et al.

Xuất bản lúc: 2026-07-30

Tag: Embodied AI, Multi-modal Dataset, Human-Object Interaction, Ambient Capture, Robotics, Computer Vision, World Models, Imitation Learning

I. Main Problem:

Trí tuệ nhúng (embodied AI) gặp nút cổ chai dữ liệu căn bản: học hành động trong thế giới vật lý đòi hỏi nắm bắt cách quan sát thứ nhất, chuyển động toàn thân, thao tác khéo léo, trạng thái vật thể, âm thanh và xúc giác đồng thời tiến hóa khi con người theo đu mục tiêu theo thời gian. Các bộ dữ liệu hiện có phân mảnh trải nghiệm này qua góc nhìn, 양 thức, hoặc quy mô không gian, khiến vòng lặp cảm nhận-hành động chỉ được quan sát một phần.

Ba thiếu hụt cụ thể:

** 양 thức phân mảnh**: bộ dữ liệu egocentric quy mô lớn (Ego-Exo4D, EPIC-Kitchens) có hành vi tự nhiên nhưng thiếu ground-truth chuyển động cơ thể/vật thể và quan sát thứ ba đồng bộ; ngược lại bộ dữ liệu motion-captured (BEHAVE, GRAB, ARCTIC) có pose chính xác nhưng bỏ qua góc nhìn egocentric. Gần như tất cả thiếu âm thanh hoặc xúc giác.
Môi trường phi tự nhiên: bộ dữ liệu có annotation vật lý gần như chỉ quay trong phòng thí nghiệm — bố cục thưa loãng loại bỏ chính xác những che khuất, ràng buộc không gian, và đa dạng vật thể khiến nhà thật trở nên thách thức.
Horizon ngắn: đa số clip HOI chỉ kéo dài vài giây, miêu tả một động tác đơn giản. Hoạt động gia đình thật thì có mục tiêu, kéo dài phút/giờ, chuỗi nhiều sub-task và vật thể, đòi hỏi di chuyển qua cảnh.

II. Main Idea:

Ambient Capture Engine (ACE) — một engine dữ liệu human-centric biến môi trường nhà thật thành studio ghi hình được hiệu chuẩn không gian, đồng bộ thời gian ở hai quy mô bổ sung nhau:

Table-scale: camera cận góc dày đặc, motion capture quang học, găng tay xúc giác phân giải cao → giải quyết chi tiết thao tác tay-vật thể.
Room-scale: cùng bộ cảm biến trải rộng trên căn hộ đầy đủ nội thất (~200 m²) → ghi lại chuyển động toàn thân, di chuyển, tương tác phân tán.

Cả hai chia sẻ pipeline thu thập & annotation: tất cả luồng cảm biến đồng bộ thời gian (phần cứng khi cho phép, phần mềm khi không), đăng ký vào frame thế giới chung, và làm giàu annotation.

Kết quả: ACE-Data-0 — 150 giờ, 17M frames, 200 loại task, 50 người tham gia, 2 môi trường, 75.000 episode tương tác. Người tham gia nhận chỉ dẫn cấp mục tiêu (không script từng bước) → lập kế hoạch, do dự, 즉흥 như tại nhà. Mọi khoảnh khắc được quan sát đồng thời từ >8 góc nhìn và grounded trong trạng thái metric cơ thể, tay, vật thể.

Benchmark phân cấp ba cấp độ tiến từ tín hiệu → thành phần cảnh → tương tác:

Low-level signals: dự đoán xúc giác từ quan sát thị giác.
Scene components: khôi phục pose cơ thể & tay từ video ego/exo, so với ground-truth tracked.
Embodied interactions: ước lượng chuyển động tay khi HOI từ góc ego & exo; so sánh trực tiếp hai góc nhìn.

Ví dụ đời thường: giống như biến căn nhà thành studio phim có nhiều camera đồng bộ, nơi diễn viên sống bình thường (nấu ăn, dọn dẹp, tập thể dục) thay vì diễn theo kịch bản — mọi chuyển động tay, rung động vật thể, âm thanh va chạm, cảm giác xúc giác đều được ghi lại cùng lúc, cùng hệ tọa độ, để sau này robot học mô phỏng chính xác "cảm giác" cầm ly, mở tủ, gấp áo.

III. Main Results:

Quy mô dữ liệu: 150 giờ / 17M frames video / 75.000 episode tương tác / 200 task categories (nấu ăn, dọn dẹp, uống nước, tập thể dục...) / 50 người tham gia / 2 môi trường nhà thật (table-scale + room-scale).
Đa 양 thức đồng bộ hoàn chỉnh: egocentric video, 8 exocentric RGB cameras, full-body + articulated hand motion (OptiTrack 16 camera), per-object 6-DoF trajectories, multi-channel audio, tactile signals — tất cả aligned trên timeline & frame không gian chung.
Annotation giàu & tự động hóa lớn: camera calibration, synchronized timeline, full-body/hand poses chiếu lên mọi frame mọi camera, per-object mesh + 6-DoF pose + bounding box + motion trail, mô tả văn bản sự kiện. Phần lớn derived tự động từ tracked physical states thay vì offline fitting.
Benchmark 3-track đánh giá 30+ SOTA methods:
- Tactile from Vision: gap lớn dưới che khuát, 접촉, egomotion.
- Human Motion Estimation: thất bại ở horizon dài, occlusion nặng, góc nhìn cực đoan.
- HOI from Ego/Exo: so sánh trực tiếp hai góc nhìn — exo tốt hơn ở ngữ cảnh toàn cảnh, ego tốt hơn ở chi tiết tay-vật thể gần.
Giá trị cho robot learning: demonstrations human đồng bộ cung cấp supervision cảm nhận, kinematic, contact aligned — thuộc tính thiết yếu cho imitation learning, world models, VLA systems, vì mọi training signal đều tham chiếu cùng một khoảnh khắc vật lý.

IV. Conclusion & Future Works:

ACE-Data-0 điền khoảng trống giữa benchmark HOI hình học, video egocentric dài, và corpus trajectory robot — hỗ trợ phân tích không chỉ cosa xảy ra mà cả tín hiệu, trạng thái, và động lực học tương tác qua đó task long-horizon được thực thi.

Hướng phát triển:

Mở rộng quy mô môi trường, số lượng người tham gia, và đa dạng task.
Phát triển chiến lược thăm dò chủ động (active exploration) để robot tự chọn hành động thu thập thông tin nhất thay vì ngẫu nhiên.
Kết hợp world modeling ngầm với active learning cho appropriate adaptation test-time.
Áp dụng tư duy thăm dò-tương tác-suy luận cho xe tự hành / robot đa tác nhân để ngầm hiệu chuẩn mô hình động lực học trong điều kiện mới.
Tích hợp ACE-Data-0 vào pipeline human-to-robot transfer (EgoMimic, EgoBridge, EgoVLA) với supervision contact-level độc đáo.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng ACE sang nhiều môi trường nhà hơn (văn phòng, nhà xưởng, ngoài trời) với chiến lược calibration tự động hóa hoàn toàn.
Phát triển benchmark long-horizon policy learning trực tiếp trên ACE-Data-0: từ imitation learning đến world model training với supervision xúc giác aligned.
Nghiên cứu cross-embodiment transfer dùng ACE-Data-0 làm cầu nối: human demo (egocentric + exocentric + tactile) → robot policy (mobile manipulation, bimanual).
Xây dựng foundation model multimodal pre-trained trên ACE-Data-0 cho tactile-from-vision, human motion recovery, và HOI estimation thống nhất.

2. Patent:

Hệ thống hiệu chuẩn robot gia đình tại chỗ: trước mỗi ca làm việc, robot thực hiện vài động tác thăm dò ngắn; camera gia đình (điện thoại, camera thông minh) ghi lại và mô hình suy luận tư thế camera + độ lệch động học để chỉnh chính sách ngay lần chạy đầu — không cần marker, không cần motion capture chuyên dụng.
Điều khiển robot qua điện thoại với camera tùy ý: người dùng đặt điện thoại bất kỳ góc độ; robot chạy chuỗi động tác thăm dò 10-15 giây, gửi video lên edge/cloud để phân tích tương quan không gian (ego-exo alignment) rồi thực hiện lệnh (ví dụ: "đổ nước vào ly") từ góc nhìn đó.
Module nhận diện thay đổi phụ kiện end-effector cho robot lắp ráp: khi đổi kẹp/tay cầm, robot tự chạy chương trình thăm dò ngắn (cầm vật test, đập nhẹ, trượt) — luồng video + audio + tactile (nếu có) đưa vào mô hình để ước lượng độ dài tay mới, độ mở kẹp, ma sát, khối lượng — cập nhật tham số động lực học ẩn ngay lập tức.
Ứng dụng ACE mobile kit cho teleoperation y tế/từ xa: bác sĩ đeo headset AR + găng tay tactile tại nhà; hệ thống ACE portable (camera ego, 4-6 camera exo gọn, IMU, tactile glove) ghi lại toàn bộ demonstration phẫu thuật/mổ xương khớp với supervision xúc giác aligned — dữ liệu dùng train robot phẫu thuật tự động hoặc hướng dẫn thực tập sinh qua haptic feedback.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28625
ArXiv Abstract	https://arxiv.org/abs/2607.28625
PDF Download	https://arxiv.org/pdf/2607.28625.pdf
Github Repository	N/A

13. Beyond Borrowed Histories: Person-Aligned User Simulation for Interactive Role-Playing Evaluation (30 votes)

Tác giả: Yuhang Zhu, Mingxuan Du, Benfeng Xu, Jie Gao, Lingyun Yu, et al.

Xuất bản lúc: 2026-07-30

Tag: Role-Playing Agents, LLM Evaluation, User Simulation, Personalized Benchmarks, Multi-Turn Dialogue

I. Main Problem:

Các benchmark đánh giá role-playing agents (RPAs) hiện nay có hai lỗi thiết kế cốt lõi:

Fixed-history evaluation: Mọi RPA candidate đều tiếp tục từ cùng một lịch sử hội thoại cố định do bên ngoài tạo ra. Lịch sử này ảnh hưởng trực tiếp đến output của RPA, làm trộn lẫn khả năng thật của candidate với chất lượng lịch sử kế thừa (bias có hệ thống ~0.21 điểm trên thang 5).
User-independent rubric: Dùng một bộ tiêu chí chung cho mọi người dùng, bỏ qua rằng trải nghiệm role-play thay đổi lớn giữa các cá nhân (ví dụ: slow-burn tốt cho người thích từ từ, nhưng tệ cho người muốn xung đột nhanh). Đánh giá đơn nhất nén chặt sự khác biệt thực tế thành một ranking duy nhất.

II. Main Idea:

PALATE (Person-Aligned LLM-Simulated User Assessment with Tailored Evaluation) — benchmark free multi-turn thay đổi cả đường chạy đánh giá và góc chấm điểm:

User-behavior modeling: Huấn luyện 5 user simulators riêng biệt (per-user LoRA fine-tuning trên Qwen3.5-35B-A3B Instruct) từ lịch sử chat thật của từng người (~1000 turns/user). Simulator học được phong cách nói, nhịp độ, thói thoát [QUIT] — không cần profile thủ công.
Free multi-turn interaction: Mỗi simulator tự do đối thoại với candidate RPA trên 10 character cards cố định, cùng xây dựng trajectory từ lời mở đầu — không kế thừa history ngoài, không orchestrator can thiệp.
Personalized rubric: Từ cùng dữ liệu training (có gán nhãn satisfaction turn-level), một meta-prompt tự động khuếch xuất ra rubric cá nhân (4 drivers/user, ví dụ: U1=Progress/Initiative/Grounding/Specificity, U2=Autonomy/Reserve/Reciprocity/Slowburn...). Rubric đóng băng, dùng chung prompt scoring cho mọi candidate.
Three-track scoring: Đồng thời chấm ba góc độ bổ sung:
- Personalized: rubric cá nhân chấm cặp (RPA response + next user reaction) → trải nghiệm user-specific
- Generic: 12 dimensions chung (fluency, coherence, persona, knowledge...)
- Session: 11 dimensions whole-session (persona stability, relationship arc, plot progression...)

Ví dụ đời thường: giống như thuê 5 người thật mỗi người có gu riêng để cùng diễn với actor, ghi lại toàn bộ buổi diễn, sau đó mỗi người tự chấm theo tiêu chí của mình (ngoài chấm chung kỹ năng diễn xuất) — thay vì cho tất cả actor tiếp tục từ cùng một kịch bản có sẵn và chấm theo một bảng điểm chung.

III. Main Results:

Fixed-history bias confirmed: Thực nghiệm controlled — high-quality borrowed histories nâng điểm trung bình +0.21/5, degraded histories hạ −0.13/5 cho cùng một RPA.
Simulator fidelity: Per-user LoRA đạt 2AFC fooling rate 0.561 (macro, target 0.5) và identity consistency 77.6/100 — xa hơn prompted LLM (0.180 / 55.9) và LLM+profile (0.242 / 61.7).
Personalized rubric agreement: Macro pairwise agreement với human judgment 0.613 (có next reaction) vs Generic 0.507 vs MiniMax baseline 0.467 (chance=0.5). Tất cả 5 users đều cải thiện.
16 candidates, no universal winner: Cross-track capability mismatches rõ rệt:
- Generic turn quality: GPT-5.4 dẫn đầu (4.73)
- Session quality: Claude Sonnet 4.6 dẫn đầu (4.32)
- Personalized per-user: U1→Qwen3-Max, U2→DeepSeek V4 Pro, U3/U5→Claude Opus 4.8, U4→Claude Sonnet 4.6
- Open-weight GLM-5.1 cân bằng ba track tốt nhất (U-Score 76.15, G-Score 85.00)
- Role-play specialized models (MiniMax M2-her, CoSER) không tự động vượt trội.
Stability: Spearman correlation giữa các run độc lập ≥0.959; cross-judge rejudging bảo toàn wide-margin ordering.

IV. Conclusion & Future Works:

PALATE chứng minh đơn vị đánh giá cơ bản của role-play không phải RPA đơn lẻ mà là cặp user–RPA. Ba track scoring tách biệt cho thấy khả năng generic, long-horizon, và trải nghiệm cá nhân không tỉ lệ thuận — một model mạnh turn-level có thể kém session hoặc không hợp gu user cụ thể. Output chính không phải leaderboard scalar mà hồ sơ hiệu suất user–RPA có diễn giải.

Hướng tiếp theo: Mở rộng panel user (>5), calibrate cross-candidate rankings với human judgments end-to-end, giảm chi phí annotation cho simulator/rubric mới.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng PALATE sang multi-user simulation: nhiều simulator cùng tương tác với một RPA trong group role-play, đánh giá dynamic xã hội và conflict resolution.
Active user simulation: simulator tự chọn character cards / steering conversation để khám phá failure modes của RPA thay vì passive rollout.
Cross-lingual PALATE: dùng 300 character cards song ngữ (zh-en) để benchmark RPA đa ngôn ngữ với user simulators song ngữ.
Online PALATE: tích hợp human-in-the-loop để continuously update simulator và rubric từ live feedback, thích ứng với drifting user preferences.

2. Patent:

Hệ thống benchmark tự động cho chatbot companion: nhà phát triển upload model, hệ thống chạy 5 user simulators đa dạng + personalized rubrics, trả về profile điểm chi tiết per-user thay vì single score — dùng cho A/B testing trước deploy.
Công cụ cá nhân hóa trải nghiệm role-play cho end-user: user chat vài buổi để train simulator + rubric riêng, sau đó dùng simulator đó để screen/hàng ngày chấm điểm các RPA candidates, recommend model phù hợp gu nhất.
Module đánh giá an toàn感性 cho AI companion: personalized rubric tự động detect red-flags theo ngưỡng cá nhân (ví dụ user nhạy cảm với manipulation, rubric penalize coercive patterns) — không cần hand-craft rules cho từng demographic.
Dataset generation pipeline: dùng PALATE simulators sinh dữ liệu training cho RPA mới — simulator đóng vai user đa dạng, RPA học từ trajectories co-constructed thay vì static scripts, cải thiện generalization multi-turn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.27816
ArXiv Abstract	https://arxiv.org/abs/2607.27816
PDF Download	https://arxiv.org/pdf/2607.27816.pdf
Github Repository	https://github.com/Zhuyh1139/PALATE

14. RefCaptioner: Multi-Reference Image-Grounded Video Captioning (24 votes)

Tác giả: Tengfei Liu, Yang Shi, Yuran Wang, Xiaohan Zhang, Yuqing Wen, et al.

Xuất bản lúc: 2026-07-30

Tag: Multi-Reference Video Captioning, MLLMs, GRPO, Reference Grounding, Video Understanding, RLHF

I. Main Problem:

Các mô hình video captioning hiện tại tạo được mô tả tự nhiên nhưng không thể gán nhãn (grounding) các yếu tố thị giác cục bộ vào nhiều hình ảnh tham chiếu (reference images). Ba thách thức cốt lõi:

Chọn tham chiếu mơ hồ: mô hình không biết hình nào thực sự xuất hiện trong video khi có nhiều hình tương tự, dư thừa hoặc không liên quan
Gán nhãn cấp cụm từ (phrase-level binding): mỗi hình tham chiếu phải đặt ngay sau cụm từ mô tả đúng đối tượng/hành động, tránh nhầm lẫn giữa các chủ thể
Nhất quán chéo tham chiếu: nhiều hình mô tả cùng một đối tượng (khác góc nhìn, dáng 자세) phải gom nhóm sau cùng một cụm từ, không tách riêng

II. Main Idea:

RefCaptioner — khung post-training hai giai đoạn trên nền Qwen3-VL-8B:

Giai đoạn 1: Mixed-data SFT — trộn tỷ lệ bằng nhau:
- Multi-reference set: caption có gắn tag <Image_n> đúng vị trí, kiểm tra thủ công
- General-caption set: mô tả video chi tiết chuẩn, giữ khả năng captioning chung
Giai đoạn 2: Hierarchical Coverage-Discounted GRPO (HCD-GRPO) — tối ưu song song hai nhánh reward:
- Caption branch: đo độ phủ keypoint (chủ thể, hành động, nền, camera, style) + kiểm tra sai thật qua video-QA
- Reference branch: ba thành phần kết hợp dạng coverage-discounted:
  - C_ref: recall hình tham chiếu hợp lệ và gán đúng cụm từ
  - **DAES (Distractor-Aware Evidence Suppression)*: phạt khi dùng hình không có trong video
  - **CRSC (Cross-Reference Semantic Coherence)*: nhóm các hình cùng một thực thể sau cùng một cụm từ
MRVBench: benchmark 462 video (60% thực tế, 40% AI-gen), 3.831 hình tham chiếu, 2.172 cặp QA — đánh giá factuality, selection, binding, distractor rejection, subject consistency

Ví dụ đời thường: giống như người dẫn chuyện xem video đồng thời cầm một mớ ảnh chụp近景, phải chỉ ra từng chi tiết trong lời kể kèm ảnh minh chứng đúng chỗ, bỏ qua ảnh không liên quan, và gom các ảnh cùng một người/vật lại một chỗ thay vì rải rác.

III. Main Results:

MRVBench (Table 1): RefCaptioner đạt MRVScore 0.882 — tốt nhất trong các mô hình open-source, ngang Gemini-3.1-Pro (0.878) và vượt GPT-5.4 (0.927) trên các metric grounding: Ref-Tag-R 0.943, Ref-Bind 0.967, Eff-Bind 0.912, Subj-R 0.817, Subj-F1 0.869, Dist-Rej 0.985
So sánh two-stage CaptionRefine (Table 2): RefCaptioner one-pass vượt trội trên mọi metric grounding (Ref-Tag-R, Ref-Bind, Subj-R, Subj-F1) so với pipeline sinh caption rồi chèn tag sau
General captioning (Table 3, 4): Trên VDC dẫn đầu 5/5 chiều (Camera, Short, Background, Object, Detail); trên VCapsBench AR 66.13, CR 76.39 — cải thiện 1.3–1.7 điểm so với base Qwen3-VL-8B
Robustness (Fig 4): Giữ điểm grounding robustness cao nhất ở mọi nhóm số lượng reference (2–4, 5–8, 9–12, 13+), tại 13+ đạt 0.769 vs GPT-5.4 0.703
Human eval (Fig 6): 76% Good vs Qwen3.6-35B-A3B, 64% vs InternVL3.5-38B, 54% vs GPT-5.4, 58% vs Gemini-3.1-Pro trong caption-conditioned video reconstruction
Ablation (Table 5): Ba reward component bổ sung lẫn nhau — factual reward quan trọng nhất cho VQA, DAES quan trọng nhất cho Dist-Rej, CRSC cải thiện Subj-R

IV. Conclusion & Future Works:

RefCaptioner chứng minh có thể tích hợp multi-reference grounding tường minh vào video captioning mà không đánh đổi chất lượng mô tả chung. HCD-GRPO với reward phân tầng giải quyết được ba thách thức cốt lõi cùng lúc. MRVBench cung cấp tiêu chuẩn đánh giá đầy đủ cho nhiệm vụ mới này. Hướng mở rộng: ứng dụng downstream cho video generation/editing điều kiện bằng caption có grounding, mở rộng sang long-form video và multi-modal reference (audio, 3D).

V. Brainstorming Space:

1. Publish Papers:

Mở rộng RefCaptioner cho video generation/editing có điều kiện multi-reference — dùng caption grounded làm điều kiện kiểm soát chính xác chủ thể, ngoại hình, bối cảnh trong các mô hình Sora/Veo/Kling
Xây dựng hệ thống video retrieval/search theo ngữ nghĩa fine-grained — user cung cấp hình tham chiếu, hệ thống tìm đoạn video khớp và trả về caption có gán tag vị trí chính xác
Ứng dụng cho AR/VR real-time captioning — khi user quay video kết hợp object thực/ảo, sinh caption kèm grounding tag để đồng bộ hóa nội dung ảo với thực tế

2. Patent:

App chỉnh sửa video trên điện thoại: user chọn vài ảnh tham chiếu (mặc áo, túi,背景), AI sinh caption grounded rồi tự động thay thế/ghép object trong video theo đúng vị trí, góc nhìn, ánh sáng của reference — không cần keyframe thủ công
Công cụ tạo nội dung cho TikTok/Reels: nhập video thô + bộ ảnh sản phẩm/outfit, AI xuất caption có gắn tag sản phẩm chính xác + tự động chèn link mua hàng/AR try-on tại đúng khoảnh khắc object xuất hiện
Hệ thống giám sát an ninh thông minh: camera ghi lại sự kiện, AI sinh báo cáo grounded caption — mỗi đối tượng nghi ngờ (người, xe, vật) kèm tag hình ảnh crop từ video, tra cứu nhanh qua database mà không xem lại toàn bộ footage

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28509
ArXiv Abstract	https://arxiv.org/abs/2607.28509
PDF Download	https://arxiv.org/pdf/2607.28509.pdf
Github Repository	https://github.com/pkucs-Ltf/RefCaptioner

15. SpatialCLI: Learning to Reason With Spatial Tools, Then Without Them (21 votes)

Tác giả: Yang Zhou, Zixuan Huang, Sunzhu Li, Zhuo Yang, Chen Zhang, et al.

Xuất bản lúc: 2026-07-30

Tag: Vision-Language Models, Spatial Reasoning, Tool Use, Capability Internalization, Embodied AI

I. Main Problem:

Các Vision-Language Models (VLM) chung thiếu khả năng nhận thức không gian tinh vi (định vị chính xác, phân đoạn, độ sâu metric, tư thế) cần cho lý luận về cơ thể (embodied reasoning), trong khi các mô hình vision chuyên biệt (SAM 3, Depth Anything 3, VGGT) cung cấp bằng chứng nhận thức đáng tin cậy nhưng không hiểu nhiệm vụ, không biết kết hợp nhiều công cụ, không dịch bằng chứng thành quyết định cấp nhiệm vụ. Khoảng cách này khiến VLM không thể phối hợp nhiều khả năng nhận thức bổ sung theo yêu cầu của tác vụ thực tế.

II. Main Idea:

SpatialCLI là khung Call–Learn–Internalize ba giai đoạn biến chuyên môn nhận thức ngoài thành năng lực nội tại của VLM:

1. Call – Tăng cường công cụ tại thời điểm suy luận

Trình bày 4 mô hình vision chuyên biệt như công cụ không gian: Locate (Locate Anything + Grounding DINO), Segment (SAM 3), Depth (Depth Anything 3), Pose (Orient Anything V2 + VGGT).
VLM theo vòng lặp ReAct: suy luận nội bộ → gọi công cụ → nhận kết quả → tiếp tục suy luận, giữ toàn bộ lịch sử suy luận để tránh lặp lại.

2. Learn – tinh chỉnh tác nhân (agentic fine-tuning)

Cold-Start SFT: dùng Qwen3.5-397B-A17B làm teacher, chạy khung tác nhân, lọc trajectory hợp lệ (định dạng đúng, thực thi thành công, đáp án đúng) → dataset SFT.
Agentic RL (GRPO): từ checkpoint SFT, rollout nhiều trajectory, phần thưởng dựa trên đáp án cuối, tối ưu hóa việc chọn công cụ, sinh đối số, dùng kết quả, quyết định dừng.

3. Internalize – nội hóa khả năng theo hướng dẫn trajectory

Verbal hóa tiến trình dựa trên bằng chứng (Progressive Evidence-Grounded Trajectory Verbalization):
- Hợp nhất theo lượt: sau mỗi lần gọi công cụ, tóm tắt bằng chứng mới + quan sát trực quan từ suy luận, giữ phụ thuộc chéo lượt.
- Verbal hóa toàn cục: gom chuỗi bằng chứng đã hợp nhất thành chuỗi lý luận trực quan súc tích, dẫn từ quan sát đến đáp án đúng.
Huấn luyện nhìn kép (Dual-View Capability Internalization):
- Capability-Internalization View: prompt trả lời trực tiếp, giám sát chuỗi lý luận trực quan + đáp án → nội hóa khả năng không dùng công cụ.
- Tool-Use View: giữ cấu trúc tương tác có công cụ, giám sát suy luận + lời gọi + đáp án → giữ chính sách dùng công cụ.
- Hàm mất mát: L_CI = L_internal + λ L_agentic.

Ví dụ đời thường: giống như thực tập sinh mới làm việc cùng chuyên gia (công cụ) để giải quyết bài toán phức tạp: trước quan sát chuyên gia dùng máy đo, cắt, gia công; sau đó ghi nhớ quy trình, cuối cùng tự thực hiện chính xác các thao tác đó mà không cần chuyên gia đi kèm.

III. Main Results:

SpatialCLI-Bench (516 ví dụ, 6 lựa chọn, lý luận tổ hợp định vị/phân đoạn/độ sâu/tư thế): SpatialCLI-8B đạt 91.3% có công cụ, 72.7% không công cụ (cải thiện +56.0/+37.4 so với Qwen3-VL-8B-Instruct gốc).
MindCube: Qwen3-VL-8B-Instruct từ 29.3% → 84.6% có công cụ, vượt GPT-5.6 Sol (72.1%); giữ 73.8% không công cụ sau nội hóa.
Bảng 1: mọi biến thể SpatialCLI vượt mô hình gốc không công cụ trên tất cả tập con; huấn luyện cũng củng cố dùng công cụ thực tế (w/ Tools score cao hơn áp dụng công cụ thô lên mô hình gốc).
Phân tích động lực học RL (Hình 3): Cold-Start SFT ổn định chính sách dùng công cụ (~2.56 lời gọi/trajectory) tránh bùng nổ khám phá (6.74 khi RL không SFT); RL không công cụ làm sụt hiệu năng dùng công cụ sau ~100 bước.
Mở rộng dữ liệu nội hóa (Hình 4a-b): w/o Tools score từ 40.1% → 74.0%, CII trung bình 4 capability từ 45.6 → 61.6, hai đường cong cùng tăng → chuyển giao thực sự chứ không học vẹt đáp án.
Mở rộng dung lượng mô hình (Hình 4c-d): w/ Tools bão hòa (~1 điểm chênh lệch 8B/27B/35B-A3B), w/o Tools và CII tiếp tục scale với dung lượng lớn hơn.
Ablation (Bảng 2-3): trả về có cấu trúc (tọa độ, đa giác) là nguồn cải thiện chính; verbal hóa tiến trình + nhìn kép toàn bộ cần thiết — One-Pass Dual-View kém hơn Full Dual-View (72.7 vs 64.5 w/o Tools).

IV. Conclusion & Future Works:

SpatialCLI chứng minh khả năng chuyên biệt ngoài có thể vừa tăng cường suy luận tại runtime, vừa được chuyển vào VLM mà không hy sinh dùng công cụ, định hướng cho foundation models native to the physical world. Hạn chế hiện tại: phạm vi công cụ chuyên biệt còn hạn hẹp (chỉ đầu ra có cấu trúc, tác vụ tập trung nhận thức). Hướng tương lai: mở rộng nội hóa sang đầu ra đa phương thức dùng unified multimodal models (hiểu + sinh), tích hợp công cụ VLA dưới lập kế hoạch VLM cho nhận thức-hành động liên kết.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng khung Call–Learn–Internalize cho công cụ sinh hình/âm thanh (diffusion models, AudioCraft) để VLM nội hóa khả năng tạo nội dung đa phương thức từ trajectory thành công.
Thiết kế chiến lược thăm dò chủ động (active exploration) trong giai đoạn Learn: VLM tự chọn chuỗi công cụ tối ưu thông tin thay vì rollout đồng đều, giảm chi phí RL.
Kết hợp internalization đa tác vụ với benchmark compositional lớn hơn (SpatialCLI-Bench v2) bao gồm lý luận không gian-thời gian, tương tác vật lý, để kiểm tra khái quát hóa mạnh hơn.

2. Patent:

Hệ thống robot gia đình tự hiệu chuẩn cảm biến: trước mỗi phiên làm việc, robot dùng camera + SpatialCLI Tools (Locate/Segment/Depth/Pose) kiểm tra vị trí đồ vật, độ sâu, tư thế; trajectory thành công được verbal hóa để cập nhật mô hình nhận thức nội tại, robot sau đó vận hành chính xác không cần gọi công cụ ngoài trong suốt phiên.
Ứng dụng điện thoại di động làm cảm biến không gian tạm thời cho AR/VR: người dùng quay video ngắn môi trường; app chạy SpatialCLI Tools trên đám mây, verbal hóa trajectory thành chuỗi lý luận không gian, nén thành lightweight spatial reasoning module nhúng vào headset để chạy real-time offline.
Module tự động chuyển đổi quy trình kiểm soát chất lượng vision: dây chuyền lắp ráp thay đổi linh kiện → robot chạy SpatialCLI Call+Learn trên vài mẫu mới → Internalize sinh ra đặc trù nhận thức tùy chỉnh (segmentation mask, pose template) nhúng vào VLM nhẹ triển khai edge, không cần fine-tuning toàn mô hình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.27703
ArXiv Abstract	https://arxiv.org/abs/2607.27703
PDF Download	https://arxiv.org/pdf/2607.27703.pdf
Github Repository	https://github.com/IANNXANG/SpatialCLI

16. See2Think: Do Multimodal Models Really Use Intermediate Visual States? (21 votes)

Tác giả: Siyu Yan, Zhuoran Yan, Haiying Xu, Panhao Zhou, Jingyu Chen, et al.

Xuất bản lúc: 2026-07-29

Tag: Multimodal-LLMs, Visual-Reasoning, Benchmark, Evaluation-Framework, Chain-of-Thought

I. Main Problem:

Các mô hình đa phương thức hiện nay sử dụng sơ đồ, chú thích, công cụ và trạng thái hình ảnh trung gian trong suy luận, nhưng chưa rõ chúng có thực sự phụ thuộc vào các trạng thái hình ảnh đó không. Các benchmark hiện tại có hai hạn chế lớn:

Dữ liệu: tập task bao phủ hẹp, nhiều mẫu giải được chỉ bằng văn bản (text-only shortcuts)
Đánh giá: tập trung vào câu trả lời cuối cùng, không chẩn đoán cách trạng thái hình ảnh trung gian được sinh, render và sử dụng

Hậu quả: không thể xác định xem hành động thị giác có liên quan đến task, render có trung thực, và reasoning sau có thực sự dùng phản hồi hình ảnh hay không.

II. Main Idea:

See2Think — khung đánh giá thống nhất tách biệt tính hữu ích của trạng thái hình ảnh khỏi sự phụ thuộc hành vi của mô hình. Hai thành phần cốt lõi:

See2ThinkBench: 1.2K bài toán suy luận phụ thuộc hình ảnh mở, 12 category x 3 môi trường:

2D có cấu trúc: Geometry, Spatial Puzzle, Physics, Chemistry, Science QA, Abstract Pattern
3D scene: Object Attributes, Compositional 3D
Thực tế: Robot Manipulation, Robot State Change, Visual Commonsense, Intuitive Physics

Visual Action-of-Thought (VAoT): giao thức suy luận lúc inference ghi nhận luân phiên suy nghĩ văn bản → hành động thị giác → trạng thái render → reasoning tiếp theo. 4 thiết lập so sánh:

CoT: chỉ văn bản trên ảnh gốc
VAoT-NoRender: sinh hành động nhưng không render
VAoT: closed-loop đầy đủ với render thật
VAoT-WrongRender: render bị làm hỏng có mục đích (corrupted feedback) để dò sự phụ thuộc

Ví dụ đời thường: giống như người giải toán hình học vẽ đường phụ, tô góc, cắt vùng — See2Think quan sát xem mô hình có thực sự nhìn và dùng những nét vẽ đó, hay chỉ nói là vẽ rồi vẫn suy luận từ trí nhớ.

III. Main Results:

Không có thiết lập đơn lẻ nào thống trị: GPT-5.5 & Qwen3-VL tốt nhất với CoT; GPT-o3 tốt nhất với VAoT; Gemini 3.5 Flash tốt nhất với VAoT-NoRender → khả năng suy luận thị giác phụ thuộc mạnh vào model + task.
Robot Manipulation luôn là outlier độ chính xác thấp (cần grounding chính xác, hành động ngay lập tức).
Chuỗi suy luận VAoT: Action Relevance gần bão hòa (0.95–0.99), nhưng Render Faithfulness thấp rõ rệt (0.56–0.71) → nút thắt nằm ở thực thi render trung thực, không phải chọn hành động.
Feedback Uptake cao ≠ độ chính xác cao: Qwen3-VL có Uptake cao nhất (0.87) nhưng accuracy thấp hơn → dùng phản hồi hình ảnh khác dùng nó đúng.
Môi trường khác nhau gãy ở giai đoạn khác: 3D scene gãy ở Render Faithfulness (gap 0.097); thực tế gãy ở Action Relevance (0.044); 2D đều nhỏ (<0.026).
Render kém trung thực gây hại nặng ở 2D (−6.1%) và 3D (−9.3%); render trung thực cao chủ yếu giảm hại, chuyển cân bằng sang trung tính/nhẹ dương.
Corrupted feedback làm sụt accuracy >10 pp ở 3D scene khi Feedback Uptake = 1 → mô hình thực sự phụ thuộc trạng thái hình ảnh trung gian trong 3D.

IV. Conclusion & Future Works:

See2Think chứng minh suy luận thị giác trung gian là khả năng có điều kiện, không phải bộ tăng cường toàn phần. Tách thành công utility (render đúng có giúp không?) khỏi dependence (làm hỏng render có hại không?).

Hướng phát triển:

Mở rộng VAoT cho hành động thị giác phức tạp hơn (sketch tự do, edit vùng, multi-step construction)
Cải thiện renderer / mô hình để nâng Render Faithfulness — nút thắt lớn nhất hiện nay
Khám phá chiến lược thích ứng: chọn CoT / VAoT-NoRender / VAoT theo task & model tại test-time
Áp dụng khung cho video reasoning, embodied agents, và multi-turn visual dialogue

V. Brainstorming Space:

1. Publish Papers:

Mở rộng See2Think sang video reasoning: VAoT theo dõi object qua frame, đo lường sự phụ thuộc vào trạng thái trung gian thời gian.
Kết hợp See2Think với active perception: agent tự quyết định hành động thị giác nào cần render tiếp theo dựa trên uncertainty estimate.
Benchmark version cho embodied agents: robot thực hành vật lý, ghi nhận state change thật, so sánh với VAoT-WrongRender trong môi trường thực.

2. Patent:

App di động chụp sơ đồ tay / bảng trắng → mô hình tự vẽ đường phụ, tô vùng, crop quan trọng → giải bài toán hình học / vật lý từng bước, hiển thị trung gian để học sinh kiểm tra.
Hệ thống kiểm tra lắp ráp điện thoại: camera chụp từng bước, VAoT tự highlight bộ phận sai, so sánh với render chuẩn, cảnh báo ngay nếu render trung gian lệch (Render Faithfulness thấp).
Trợ lý AR cho sửa xe / lắp đồ: người dùng quay video, mô hình sinh visual action (vẽ mũi tên, khoanh vùng) → render overlay lên kính AR → người dùng làm theo; VAoT-WrongRender mô phỏng lỗi lắp để test độ phụ thuộc của hướng dẫn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.26769
ArXiv Abstract	https://arxiv.org/abs/2607.26769
PDF Download	https://arxiv.org/pdf/2607.26769.pdf
Github Repository	https://github.com/CSU-JPG/See2Think

17. β-OPSD: Deriving with Policy Optimization, Training with Self-Distillation (16 votes)

Tác giả: Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

Xuất bản lúc: 2026-07-30

Tag: Self-Distillation, Policy Optimization, RLHF, Mathematical Reasoning, KL Regularization, Curriculum Learning

I. Main Problem:

On-Policy Self-Distillation (OPSD) hứa hẹn cải thiện mô hình ngôn ngữ reasoning nhưng brittle trong thực tế: thường cần engineering lớn mới chạy ổn. Nguyên nhân cấu trúc là vanilla OPSD ngầm cố định β=1 trong một họ policy-optimization rộng hơn, nơi β điều chỉnh sức mạnh KL penalty neo chính sách học vào reference policy. Không có độ tự do này, OPSD buộc student nhảy thẳng vào teacher privileged, gây tối ưu hóa không ổn định và hiệu suất reasoning giảm.

II. Main Idea:

β-OPSD biến β từ giá trị ngầm thành tham số điều khiển tường minh, mở ra một đường interpolation giữa reference policy và privileged teacher. Quy trình 2 bước:

Derive với Policy Optimization: tối ưu KL-regularized RL objective có reward = log-ratio teacher/reference → nghiệm tối ưu dạng đóng là geometric interpolation π*_β = π_ref^(1-1/β) · p_T^(1/β)
Train với Self-Distillation: thay RL tốn kém/cao variance bằng distillation token-level nhắm vào target interpolation này. Thực hiện bằng scheduled logit interpolation (trộn logits student và teacher theo trọng số w=1/β) + return-to-go credit assignment (gán trọng số gradient cho token sớm dựa trên mismatch tương lai).

Ví dụ đời thường: giống như người hướng dẫn không bắt học sinh mô phỏng ngay chuyên gia, mà cho học sinh thực hành từ từ: lúc đầu gần phong cách cũ, dần dần đưa vào kỹ thuật chuyên gia, đồng thời nhìn xa hơn (return-to-go) để sửa lỗi sớm trước khi lan rộng.

III. Main Results:

Trên Qwen3-1.7B: β-OPSD +9.16 pp trên AIME 2024, +5.27 pp trên AIME 2025, +2.78 pp trên HMMT 2025 so với vanilla OPSD (avg +5.74 pp)
Qwen3-4B: cải thiện avg +1.76 pp; Qwen3-8B: +1.66 pp
Vượt SFT và GRPO trên mọi scale
Ablation xác nhận: cả logit-interpolant target và return-to-go credit đều cần thiết; bỏ một trong hai giảm hiệu suất rõ rệt
Linear schedule w_start=0.5 → w_end=0.8, γ=0.99 ổn định nhất

IV. Conclusion & Future Works:

β-OPSD cung cấp lộ trình có nguyên tắc từ self-distillation sang policy optimization và ngược lại, giữ được hiệu quả tính toán của OPSD. Kết quả khẳng định: scheduled interpolation target + sequence-level credit assignment là chìa khóa ổn định hóa distillation. Hướng mở rộng: (1) adaptive β scheduling thay vì fixed linear, (2) kết hợp với reward model cho RLHF end-to-end, (3) áp dụng cho domain reasoning khác (code, science), (4) nghiên cứu theoretical guarantees cho interpolation path.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng β-OPSD cho multi-turn reasoning: interpolation path điều khiển theo độ khó câu hỏi, teacher privileged cung cấp feedback từng bước
Kết hợp β-OPSD với process-supervised reward model (PRM) để credit assignment chính xác hơn trên reasoning chain dài
Áp dụng framework interpolation-reference-teacher cho distillation cross-model (teacher lớn → student nhỏ) với β schedule thích ứng gap phân phối

2. Patent:

Hệ thống post-training reasoning cho LLM trên thiết bị di động: β-OPSD chạy local với LoRA, schedule β tự động điều chỉnh theo dung lượng GPU/NPU, cho phép fine-tune reasoning hiệu quả trên phone mà không cần cloud
Module tự điều chỉnh curriculum distillation cho AI tutor: theo dõi mismatch token-level của học sinh (student model), tự động tăng/giảm β để teacher guidance đủ mạnh nhưng không gây forgetting, tối ưu hóa learning curve cá nhân
API dịch vụ β-OPSD-as-a-service: khách hàng upload base model + dataset reasoning, hệ thống tự sinh privileged teacher (có ground-truth), chạy β-OPSD với schedule tối ưu, trả về model đã cải thiện + log stability metrics

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28582
ArXiv Abstract	https://arxiv.org/abs/2607.28582
PDF Download	https://arxiv.org/pdf/2607.28582.pdf
Github Repository	N/A

18. Chimera: Designing and Chinchilla-Scaling Hybrid Visual Diffusion Transformers (16 votes)

Tác giả: Chongjian Ge, Hanwen Jiang, Tianyu Wang, Jiuxiang Gu, Yiran Xu, et al.

Xuất bản lúc: 2026-07-30

Tag: Diffusion Transformers, Visual Generation, Hybrid Architecture, Chinchilla Scaling, Long-Context Modeling, Multimodal Generation

I. Main Problem:

Visual generation đang bước vào chế độ token-intensive: ảnh độ phân giải cao, video dài, và context đa phương thức khiến chi phí quadratic của full attention trong Diffusion Transformers trở nên cấm đoán. Mô hình ngôn ngữ đã giải quyết vấn đề tương tự, nhưng giải pháp của chúng không chuyển giao trực tiếp được cho visual diffusion vì cần:

Giữ tính cục bộ không gian-thời gian (spatiotemporal locality)
Hỗ trợ tương tác hai chiều cross-modality
Thiếu khung hệ thống để scale hybrid visual backbones (hyperparameter transfer, scaling laws cho activated params, token budget, data composition)

II. Main Idea:

Chimera = hybrid visual diffusion backbone co-designed với scaling recipe có nguyên tắc. Ba cơ chế bổ sung trong single stream:

KimiDeltaAttention (KDA): O(N) long-context state tracking với fine-grained channel-wise decay
Interleaved Multi-head Latent Attention (MLA): global token-to-token interaction trực tiếp qua compressed KV
Modality-aware short convolutions: capture local spatiotemporal context theo native axes (1D cho text, 3D cho video)

No Positional Embeddings (NoPE): raster scan temporal-major + convolution cung cấp order/locality. Sparse MoE + identity hyper-connections + sandwich norm cho capacity & stability.

HeteroP: module-wise hyperparameter transfer dựa trên functional fan-in của từng tensor và model depth — thay vì global ratio duy nhất.

Chinchilla-style scaling laws fit trên activated params, training tokens, và image–video ratio.

Ví dụ đời thường: giống như một kiến trúc sư thiết kế cả tòa nhà và quy trình xây dựng theo modules — mỗi tầng (KDA/MLA/conv) có quy mô riêng phù hợp chức năng, thay vì ép toàn bộ theo một tỷ lệ chung.

III. Main Results:

Compute efficiency: Dense backbone 1.7× Wan-2.1 (2B) baseline; full system 7.3× ở matched training compute
Zero-shot length extrapolation: Train 5-sec clips → generate 30-sec videos (6× horizon) chỉ degrade 6.5% FID (vs >50% prior art)
Scaling laws: Image pretraining → near-balanced growth activated size vs tokens (N_opt ∝ C^0.48–0.52); Video pretraining → modestly favor model capacity at high compute (N_opt ∝ C^0.53–0.56)
Final model: 11B total params, 2B activated, train ~600 H100 days (vs 12.4K H100 days cho Z-Image-Turbo = 20× less)
Memory/speed: 1.68× longer sequences trên 1× A100 80GB; 2.14× faster at 255k tokens vs matched MHA/MLA baseline

IV. Conclusion & Future Works:

Chimera chứng minh joint architecture-scaling design cung cấp nền tảng có nguyên tắc cho efficient long-context diffusion. Ba đóng cốt:

Hybrid single-stream backbone (KDA + MLA + modality-aware conv + MoE + NoPE)
HeteroP — first comprehensive hyperparameter-transfer parameterization cho heterogeneous visual diffusion
Chinchilla scaling laws mở rộng cho image–video data composition

Hướng tương lai: Áp dụng HeteroP cho các hybrid backbone khác; mở rộng scaling laws sang post-training (RLHF, distillation); khám phá zero-shot extrapolation dài hơn (phút/giờ); optimize fused kernels cho mobile/edge deployment.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng HeteroP cho các kiến trúc hybrid khác (DiT-MoE, Mamba-DiT) để enable reliable cross-scale transfer mà không per-scale retuning
Fit scaling laws cho post-training stages (RLHF, preference alignment, distillation) để predict optimal compute allocation end-to-end
Nghiên cứu zero-shot extrapolation lên phút/giờ video với curriculum learning trên sequence length
Benchmark Chimera trên multimodal editing & control (inpainting, outpainting, video-to-video) với single-stream design

2. Patent:

App mobile text-to-video dài: user nhập prompt → Chimera-on-device sinh video 30s+ từ model train 5s, không cần fine-tune length, tiết kiệm RAM/GPU nhờ KDA O(N) + NoPE
Hệ thống tạo nội dung đa phương thức real-time trên điện thoại: text + image + video tokens unified stream → single forward pass cho multimodal generation (caption → image → video extension)
Module video extrapolation engine cho social media: upload clip 5s → auto-extend lên 30s/60s với consistency cao (6.5% FID degradation), dùng cho Reels/TikTok/Shorts
On-device diffusion model compression: HeteroP-guided pruning/quantization giữ activated params optimal dưới compute budget mobile (NPU/DSP), deploy 2B activated Chimera trên Snapdragon 8 Gen 4

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28611
ArXiv Abstract	https://arxiv.org/abs/2607.28611
PDF Download	https://arxiv.org/pdf/2607.28611.pdf
Github Repository	N/A

19. ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow (16 votes)

Tác giả: Jin Cao, Zian Meng, Kaipeng Zhang

Xuất bản lúc: 2026-07-30

Tag: Video World Models, Latent Actions, Dynamics Representation, Interactive Generation, Robotics, Gaming, Self-Supervised Learning

I. Main Problem:

Mô hình thế giới video tương tác hiện tại thiếu giao diện điều khiển thống nhất cho mọi loại động lực học:

Lệnh ký hiệu/văn bản chỉ định cái gì xảy ra nhưng để generator tự sáng tạo như thế nào nó diễn ra từng khung hình
Đầu vào chuyển động có cấu trúc (3D pose, point tracks, camera trajectory) đạt độ chính xác khung hình nhưng mỗi định dạng chỉ phục vụ một họ động lực học, cần bộ ước lượng chuyên biệt và dễ gãy
Mô hình hành động tiềm ẩn (LAM) học từ tự-tái-đạo clip gốc rốiappearance với dynamics — latent không phân biệt được đặc trưng thuộc hành động hay chỉ đồng hiện với nó, dẫn đến chuyển động giả khi transfer sang môi trường mới

II. Main Idea:

ShadowDancer giải quyết bằng cặp bóng (shadow pairs) và dự báo chéo bóng (cross-shadow prediction):

Shadow Library xây dựng cặp bóng ở quy mô lớn: render cùng một dynamics d hai lần dưới appearance c và c̃ độc lập (nhân vật, cảnh, ánh sáng, camera khác nhau) → video x và x̃ đồng bộ khung hình, chỉ chia sẻ dynamics
Cross-shadow prediction huấn luyện LAM: encoder đọc chuyển tiếp từ x, decoder dự đoán khung hình tiếp theo của x̃ từ (x̃_t, z_t)
- Vì appearance mục tiêu đã cho sẵn qua x̃_t, bài toán bắt buộc transfer dynamics chứ không tái-đạo appearance
- Bottleneck KL chỉ còn chỗ cho dynamics chung → bất biến bằng thiết kế chứ không phải regularization
Đại diện động lực học thống nhất z điều khiển world model block-causal (fine-tune từ SkyReels-V2 DiT)
Action assets tái sử dụng: trích xuất (z, s) từ clip demo bất kỳ, lưu trữ, concat theo stream điều kiện → dạy hành động mới chỉ một pass encoder đóng băng, không vocabulary, labels, fine-tuning

Ví dụ đời thường: giống như bạn xem hai video cùng một người nhảy múa nhưng ở hai sân khấu, trang phục, ánh sáng hoàn toàn khác — não bạn tự lọc ra động tác nhảy (dynamics) và bỏ qua trang phục/sân khấu (appearance), sau đó có thể tưởng tượng người đó nhảy cùng động tác ở bất kỳ sân khấu nào mới.

III. Main Results:

Action transfer (Table 1): ShadowDancer dẫn đầu tất cả 5 họ dynamics so với Olaf-World SOTA:
- Human motion: PSNR 22.4 vs 18.2, LPIPS 0.184 vs 0.288
- First-person combat: PSNR 17.0 vs 13.0, LPIPS 0.354 vs 0.532
- Third-person action: PSNR 17.4 vs 12.6, LPIPS 0.309 vs 0.506
- Camera control: ATE 0.005 vs 0.072, RPE 0.003 vs 0.021
- Robot manipulation: PSNR 22.6 vs 14.0, LPIPS 0.116 vs 0.478
- Olaf-World bị méo nhân vật, rò rỉ chuyển động camera giả; ShadowDancer tái diễn trung thực
Long action rollout (Table 2): Tỷ lệ thắng blinded 86% trung bình so với 3 baseline:
- Olaf-World: 94% / 95% / 94% (control / fidelity / consistency)
- Yume-1.5: 88% / 86% / 91%
- LingBot-World 2.0: 78% / 83% / 64%
- Baseline bị drift, hallucinate, degrade; ShadowDancer giữ aligned (Fig 4)
Ablation (Table 3): Cặp bóng là nền tảng — thêm pairing vào z-only cải thiện PSNR 12.44→14.75; asset mạnh nhưng latent unpaired không thêm giá trị (a' vs c); latent paired + asset đạt 16.35 PSNR (+1.4 so unpaired)
Transfer hành động chưa thấy (Fig 5): Nhân vật mod + kiếm hai tay (swing không phải shot) không có trong thư viện → ghi asset → replay trên map mới → gait và swing được tái sinh trung thực → encoder đọc dynamics chứ không memorize categories

IV. Conclusion & Future Works:

ShadowDancer cho phép điều khiển mọi hành động cấp khung hình bằng demo — trích xuất dynamics từ clip bất kỳ thành action asset tái sử dụng, replay trong môi trường mới không cần labels/estimators/fine-tuning. Thí nghiệm chứng minh cải thiện rõ rệt về transfer và long-horizon rollout trên đa dạng dynamics (human, camera, gameplay, robot).

Hướng tương lai (Supplementary Sec. A):

Mở rộng Shadow Library cho dynamics phức tạp hơn (chảy, biến dạng, đa vật)
Cải thiện world model block-causal cho horizon dài hơn
Khám phá active pairing: agent tự chọn resample factors nào để tách ego/scene dynamics

V. Brainstorming Space:

1. Publish Papers:

Mở rộng cặp bóng cho động lực học liên tục (chảy, khí, mềm) bằng renderer differentiable — cho phép mô hình học dynamics lỏng/khí từ video demo và transfer sang cảnh mới.
Kết hợp active shadow pairing với embodied agent: robot tự thiết kế cặp render (giữ arm motion, đổi camera/object) để tự tách ego/scene dynamics trong lúc hoạt động.
Áp dụng unified dynamics representation cho cross-embodiment policy learning: dùng shadow pairs từ video human/robot/game để học latent action chung, sau đó deploy lên robot thật bằng một lần demo.
Phát triển interactive world model cho mobile AR/VR: người dùng quay video hành động tay → ShadowDancer trích xuất asset → overlay vào môi trường thực tế real-time với dynamics trung thực.

2. Patent:

Hệ thống dạy robot qua điện thoại: người dùng quay clip demo (nhặt ly, mở nắp) → app trích xuất action asset → robot replay trong nhà user với ánh sáng/camera khác nhau, không cần kinesthetic teaching hay motion capture.
Công cụ tạo game content bằng demo: designer quay clip nhân vật nhảy/vơ đao → ShadowDancer sinh action asset → nhân vật mới, map mới, camera khác đều replay đúng timing/amplitude/style, giảm 90% effort animation thủ công.
Module auto-calibration camera cho robot di động: robot thực hiện động tác tham chiếu ngắn (xoay, tiến) dưới nhiều góc camera → shadow pairs tách camera dynamics → self-calibrate extrinsic/intrinsic không cần checkerboard.
Ứng dụng AR fitness coach: user demo một động tác tập (squat, push-up) → app trích xuất body-motion asset → so sánh real-time với user qua camera phone → feedback form chính xác (độ sâu, tốc độ, đối xứng) bất kể góc quay/trang phục.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28362
ArXiv Abstract	https://arxiv.org/abs/2607.28362
PDF Download	https://arxiv.org/pdf/2607.28362.pdf
Github Repository	https://github.com/AlayaLab/ShadowDancer

20. Can Large Language Models Execute Parent Orders? (13 votes)

Tác giả: Zane Shen, Xinli Xu, Guangyi Zhang, Jialong Chen, Jinsong Zhou, et al.

Xuất bản lúc: 2026-07-30

Tag: LLM, Algorithmic Trading, Parent-Order Execution, Finance, PACE

I. Main Problem:

Thực thi lệnh cha (parent-order execution) — chia lệnh lớn thành nhiều lệnh nhỏ để giảm chi phí — hiện phụ thuộc vào giả định thị trường được chỉ định trước (như phân bố khối lượng trong ngày) hoặc huấn luyện chuyên biệt cho từng tác vụ. Cả hai cách đều kém thích ứng khi điều kiện thị trường thay đổi hoặc khi cần triển khai nhanh cho thiết lập mới.

II. Main Idea:

PACE (Plan-Ahead Controlled Execution) — khung phân cấp tách lập kế hoạch dài hạn (Planner) và thực thi ngắn hạn (Executor), dùng LLM tại thời điểm suy luận không cần giả định giá cũng không cần huấn luyện chính sách.

Planner: nhận lệnh cha, lịch sử thị trường, đường cơ sở TWAP → đánh giá xu hướng dài hạn, phân bổ lượng giao dịch vào N khung con với trọng số kết hợp TWAP và tín hiệu LLM (Eq. 5).
Executor: trong mỗi khung con, dùng lịch sử gần, đánh giá Planner, baseline TWAP → điều chỉnh lượng lệnh tại từng phút (Eq. 6).

Ví dụ đời thường: giống như trưởng phòng giao dịch sáng nay xem biểu đồ, lập kế hoạch "sớm bán nhiều, chiều bán ít" cho cả ngày; đến từng giờ.trong ngày, nhân viên điều hành quan sát giá chập chờn, quyết định "giá cao hơn bình thường một chút → bán thêm 50 cổ phiếu ngay" để tận dụng cơ hội cục bộ.

III. Main Results:

Hiệu suất: PACE (DeepSeek-v4-flash) vượt TWAP +1.02 bps (aggressive) và +1.07 bps (passive); mạnh hơn baseline tốt nhất (Almgren-Chriss/LSTM) 0.65–0.71 bps. Đối với quỹ 100 tỷ USD/năm ≈ 6,5–10 triệu USD tiết kiệm/năm.
Độ bền: Lợi ích dương trên tất cả nhóm: mua/bán, cửa sổ ngắn/dài, lượng lệnh nhỏ/lớn, biến động thấp/cao.
Chi phí suy luận: ~30 USD cho 1.680 lệnh cha (giá trị giao dịch 35,6 triệu USD) — nhỏ so với lợi ích.
Ablation: Cả Planner và Executor đều cần; bỏ một trong hai giảm hiệu suất rõ rệt. Prompt có hướng dẫn mua/bán và thuật ngữ thị trường giúp thêm nhưng không bắt buộc.

IV. Conclusion & Future Works:

LLM có thể bổ sung cho trader người trong quyết định thực thi: (1) độ tin cậy mô hình dự báo hiệu suất tốt hơn (khác với sự tự tin quá mức của con người làm giảm lợi nhuận), (2) mô hình giao dịch sớm thay vì trì hoãn đến deadline. Hướng phát triển: đánh giá trên giao dịch thực (live trading), bổ sung tin tức, vi cấu trúc thị trường, tín hiệu tài sản.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng PACE cho thực thi đa tài sản: Planner lập kế hoạch phân bổ lint asset, Executor điều phối thực thi song song trên nhiều sàn/giao dịch chéo.
Kết hợp PACE với reinforcement learning tại thời điểm suy luận: dùng LLM làm khởi tạo chính sách, sau đó tinh chỉnh online bằng bandit/RL nhẹ cho từng phiên giao dịch.
Nghiên cứu hành vi LLM dưới áp lực thanh khoản cực thấp (ví dụ: giao dịch khối lớn trên cổ phiếu ít thanh khoản) để hiểu ranh giới an toàn của phương pháp.

2. Patent:

Ứng dụng di động cho trader cá nhân: app nhập lệnh cha (mua/bán, lượng, khung giờ) → PACE chạy trên đám mây, gửi thông báo thực thi theo thời gian thực; trader chỉ cần xác nhận hoặc ghi đè quyết định Executor tại các mốc quan trọng.
Module thực thi thông minh tích hợp vào hệ thống OMS/EMS của ngân hàng/quỹ: Planner chạy đầu phiên, Executor chạy từng phút; ghi log độ tin cậy và lý do điều chỉnh để tuân thủ kiểm soát rủi ro (MiFID II, SEC Rule 606).
Hệ thống mô phỏng huấn luyện trader junior: chạy PACE song song với trader người trên cùng dữ liệu lịch sử, so sánh quyết định Planner/Executor để phát hiện thiên kiến (procrastination, overconfidence) và coaching có mục tiêu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28410
ArXiv Abstract	https://arxiv.org/abs/2607.28410
PDF Download	https://arxiv.org/pdf/2607.28410.pdf
Github Repository	https://github.com/zaneopen/PACE

21. MemHarness: Memory Is Reconstructed, Not Replayed (13 votes)

Tác giả: Rong Wu, Daocheng Fu, Licheng Wen, Xuemeng Yang, Shu Zou, et al.

Xuất bản lúc: 2026-07-30

Tag: LLM Agents, Memory-Augmented Agents, Reinforcement Learning, GRPO, Reconstructive Memory, ALFWorld, WebShop, Experiential Memory, Negative Transfer

I. Main Problem:

Các agent LLM tăng cường bộ nhớ hiện tại áp dụng chuyển phát nguyên văn (verbatim replay): trải nghiệm quá khứ được truy xuất và tiêm trực tiếp vào context mà không điều chỉnh cho trạng thái hiện tại. Điều này gây chuyển giao tiêu cực (negative transfer) vì:

Ký ức lưu trữ mang tính trừu tượng, chung chung
Trạng thái quyết định mang tính cụ thể, thay đổi liên tục
Khoảng cách giữa hai dẫn đến hướng dẫn không phù hợp, làm giảm hiệu suất

II. Main Idea:

MemHarness chuyển đổi từ truy xuất - chuyển phát sang truy xuất - phê bình - tái cấu trúc - hành động. Quy trình 5 giai đoạn:

Quan sát môi trường - nắm bắt tình huống hiện tại
Truy xuất kinh nghiệm - gọi lại ký ức liên quan kèm ngữ cảnh lịch sử
Phê bình bộ nhớ - đánh giá tính áp dụng, nhận diện sự lệch trạng thái
Tái cấu trúc ngữ cảnh - giữ kiến thức có thể chuyển giao, sửa đổi/bỏ nội dung không tương thích
Sinh hành động - dùng hướng dẫn đã tái cấu trúc để quyết định

Điểm đột phá: khả năng tái cấu trúc nổi lên tự nhiên qua GRPO end-to-end - không cần giám sát nhân loại. Một chính sách thống nhất πθ cùng làm phê bình, tái cấu trúc và sinh hành động, tối ưu hóa bởi phần thưởng nhiệm vụ thưa.

Ví dụ đời thường: giống như bác sĩ già không áp y nguyên đơn thuốc cũ cho bệnh nhân mới; thay vào đó, bác sĩ so sánh triệu chứng hiện tại với hồ sơ cũ, giữ nguyên nguyên tắc điều trị đúng, bỏ thuốc không còn phù hợp, rồi kê đơn mới thích ứng với tình trạng bệnh nhân lúc này.

III. Main Results:

ALFWorld: 85.2% SR (vượt Gemini-2.5-Pro +23.1%, GRPO +8.8%)
WebShop: 75.6% SR (vượt Gemini-2.5-Pro +39.7%, GRPO +9.5%)
OOD robustness (ALFWorld unseen layouts): 85.9% vs 76.3% (raw memory replay)
Ablation 핵심:
- Bỏ tái cấu trúc → hiệu suất sụt xuống mức verbatim replay (79.6% → 85.2% ALFWorld)
- Thay tái cấu trúc nội bộ bằng LLM zero-shot → giảm 7.5% (85.2% → 77.7%)
- Vô hiệu hóa bộ nhớ lúc test vẫn vượt GRPO thuần túy (83.0% vs 76.4%) → mục tiêu tái cấu trúc khi train cải thiện khả năng suy luận nội tại của agent
Động lực học train: Agent học chiến lược bộ nhớ đặc thác nhiệm vụ — ALFWorld hội tụ thưa (2-3 truy xuất/trajectory), WebShop duy trì lọc chủ động liên tục

IV. Conclusion & Future Works:

MemHarness chứng minh tái cấu trúc có điều kiện trạng thái khắc phục được nhược điểm verbatim replay, kết hợp được truy xuất gốc (traceability) của bộ nhớ tường minh với tính thích ứng của bộ nhớ tham số. Hướng phát triển:

Mở rộng sang mô hình lớn hơn (7B → 70B+)
Môi trường open-ended, long-horizon phức tạp hơn
Khám phá chiến lược truy xuất/tái cấu trúc chủ động (active retrieval) thay vì phản ứng

V. Brainstorming Space:

1. Publish Papers:

Mở rộng MemHarness cho hệ đa agent — mỗi agent duy trì ngân hàng ký ức riêng nhưng tái cấu trúc dùng quan sát chung để đạt phối hợp mới nổi.
Kết hợp tái cấu trúc phân cấp: cấp cao tái cấu trúc chiến lược trừu tượng, cấp thấp tái cấu trúc kỹ thuật cụ thể — giảm chi phí tính toán cho nhiệm vụ dài.
Áp dụng tái cấu trúc đối kháng — agent học phát hiện và sửa bộ nhớ bị 'đầu độc' (adversarial memory poisoning) trong môi trường đa tác nhân không tin cậy.

2. Patent:

Trợ lý điện thoại tự tái cấu trúc thói quen người dùng: khi môi trường thay đổi (đổi múi giờ, ứng dụng mới, thay đổi sở thích), hệ thống so sánh ngữ cảnh hiện tại với lịch sử, giữ thói quen cốt lõi, bỏ hành vi lỗi thời, đề xuất thói quen mới — không cần người dùng nhập lại.
App dẫn đường tái cấu trúc tuyến đường qua kinh nghiệm cá nhân: thay vì chỉ dùng dữ liệu giao thông thực tế, app so sánh điều kiện đường hiện tại với chuyến đi trước thành công, tự điều chỉnh làn đường, điểm rẽ, tốc độ phù hợp — giống tài xế cũ 'nhớ tay lái' nhưng thích ứng ngay.
Robot gia đình tái cấu trúc kỹ năng theo thay đổi nhà cửa: khi chủ nhà sắp xếp lại đồ đạc, robot so sánh quan sát camera hiện tại với bộ nhớ vị trí cũ, tự sửa lại quỹ đạo cầm nắm, tránh va chạm — không cần re-train hay mapping lại toàn bộ nhà.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.28272
ArXiv Abstract	https://arxiv.org/abs/2607.28272
PDF Download	https://arxiv.org/pdf/2607.28272.pdf
Github Repository	https://github.com/KnowledgeXLab/MemHarness

22. INTACT: Isomorphic Intent-to-Action Learning for Search-Free World Models (12 votes)

Tác giả: Junhan Sun, Hao Zhao, Guofeng Zhang

Xuất bản lúc: 2026-07-28

Tag: JEPA, World Models, Robotics, Intent-to-Action, Search-Free Control, Latent Dynamics, Goal-Conditioned Control, Action-Law Semantics

I. Main Problem:

Các forward latent world models (như LeWM) dự đoán được hành động làm thay đổi cảnh như thế nào, nhưng khôi phục hành động cho một thay đổi mong muốn lại cần tìm kiếm test-time tốn kém (CEM/MPPI).

Điều này tạo ra bất đối xứng representation–control:

Hành động định hình latent trong lúc train
Khi triển khai, CEM/MPPI khởi tạo từ hành động Gaussian ngẫu nhiên
World model học "hành động này làm gì" nhưng không học "hành động nào thực hiện được latent change này"
Kết quả: độ trễ planner ~1.48s (CEM 300×30), bottleneck lớn cho điều khiển tần số cao

II. Main Idea:

INTACT (INtent-To-ACTion) là JEPA end-to-end biến trajectory có nhãn hành động, không reward, thành giao diện intent-to-action có thể triển khai trực tiếp.

Cơ chế cốt lõi:

Mỗi transition cung cấp physical intent: (z_{t+1} - z_t)
Goal tương lai cung cấp deployment intent: (sg(z_g) - z_t)
Một INTACT Predictor chung (G_\eta) được gọi hai lần với input grammar đồng nhất (4 slot: (z_t, m_t, z_t \odot m_t, a_{t-1})) và chia sẻ tham số
Gradient endpoint bất đối xứng: local successor gắn liền (attached) cung cấp reachability vật lý; future goal là anchor stop-gradient
Không có loss pointwise ép hai latent condition family trùng nhau

Hai dạng intact transfer:

RGB ↔ latent intent: gradient hành động end-to-end giữ thông tin action-effective, lọc noise vô关 motion intent
Intent family ↔ action-law family: predictor chung học mapping family được hỗ trợ

Kết quả: intent coordinates hỗ trợ distributional action law mạnh mẽ — conditional mean phục vụ trực tiếp làm policy search-free, sampling chỉ tùy chọn cho diversity/verification.

Ví dụ đời thường: giống như người lái xe đã quen đường — thay vì mô phỏng hàng nghìn khả năng lái (CEM), họ nhìn đích → trực quan lực lái/phanh cần thiết → thực hiện ngay, chỉ kiểm tra lại (verify) khi tình huống bất ngờ.

III. Main Results:

Single-task (1 epoch, zero search): PushT 85.78%, Cube 100.00%, Reacher 97.67%, TwoRoom 97.89% SR
Optional Guarded A (local CEM quanh Direct plan): 96.86% macro SR, 92.22% worst-task SR dùng 384 sequences thay vì 9,000 (giảm 23.44×), cải thiện pure CEM +16.00 pp
Multi-task E5 (1 shared encoder 4-task): 89.39±0.77% macro Direct SR, cải thiện mọi task so với shared-encoder LeWM (+5.66/+32.23/+12.56/+42.44 pp)
Actor-disabled pure CEM (test representation): LeWM 66.17% → INTACT 70.08% (+3.91 pp)
Latency planner: 2.9–5.5 ms (Direct) vs 1.48 s (CEM 300×30) → ~300× nhanh hơn
Diagnostics native-coordinate (45 checkpoint E1–E5):
- Predicted–expert kNN ↔ SR: r = 0.954 (vs action R² r = 0.815)
- CKA ↔ SR: r = 0.897
- kNN giữ r = 0.902 sau khi control epoch/cohort
Paired correspondence audit (21,600 episode): paired 68.04% SR vs shuffled 9.46%
Full INTACT E1: 42.69±7.19% macro vs waypoint-only 35.75±7.58% vs inverse-only 33.47±3.98%

IV. Conclusion & Future Works:

INTACT là kiến trúc latent-control end-to-end đầu tiên kết hợp ba yếu tố: (1) shared proper action likelihood cho cả observed-transition và deployable goal-intent, (2) attached physical-successor endpoints + stop-gradient future-goal anchors, (3) không pointwise loss collapse hai latent condition family.

Điểm mới: align hai family qua hành động sinh ra dưới cùng conditional operator, không bằng cách ép latent coordinates trùng nhau. Goal-intent-only là ablation GCSL-like; Full INTACT bắt đầu khi physical anchor gắn liền và deployment condition stop-gradient phải được giải thích bởi CÙNG MỘT action-law operator.

Hướng mở rộng:

Áp dụng nguyên tắc cho biểu diễn học chung bất cứ khi nào có action-labeled transitions
Mở rộng sang multi-modal intent (language, visual goals)
Tích hợp active verification cho safety-critical deployment
Khám phá hierarchical intent cho long-horizon tasks

V. Brainstorming Space:

1. Publish Papers:

Mở rộng INTACT cho điều khiển đa robot với shared intent space, mỗi agent dùng local/goal intent để đồng thời ước lượng động lực học bản thân và đối tác
Kết hợp world modeling ngầm với active learning để robot tự chọn intent thăm dò thông tin nhất thay vì random exploration
Áp dụng tư duy intent-to-action isomorphic cho xe tự hành: ngầm hiệu chỉnh mô hình động lực học qua displacement intent khi gặp điều kiện đường mới
Phát triển hierarchical INTACT với high-level semantic intent phân rã thành low-level motion intent chunks cho long-horizon manipulation

2. Patent:

Hệ thống điều khiển robot công nghiệp search-free: trước mỗi tác vụ, robot encode current/goal image → INTACT Predictor sinh action chunk trực tiếp (2.9–5.5 ms) → thực thi ngay, chỉ verify local khi cần → giảm 300× latency so với CEM truyền thống
Module tự hiệu chuẩn intent-to-action cho robot gia đình: người dùng chỉ cần đặt goal (ảnh/video), robot dùng shared encoder đa nhiệm (PushT/Cube/Reacher/TwoRoom) sinh plan Direct, optional Guarded A verify an toàn → không cần fine-tuning per task
Hệ thống an toàn critical cho phẫu thuật robot: INTACT Direct plan làm baseline, Guarded A (128×3, σ₀=0.25) verify cục bộ quanh plan → 96.86% macro SR, 92.22% worst-task SR chỉ với 384 sequences → đáp ứng real-time safety
Framework transfer intent law sang hardware mới: frozen INTACT encoder + predictor, chỉ calibrate action embedding head → 1 epoch training đạt 89.39% 4-task macro SR → giảm巨大 effort triển khai robot mới

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2607.26056
ArXiv Abstract	https://arxiv.org/abs/2607.26056
PDF Download	https://arxiv.org/pdf/2607.26056.pdf
Github Repository	https://github.com/zju3dv/INTACT-JEPA

📰 Summary of Papers
1. AskChem: Claim-Centered Infrastructure for Chemistry Literature Synthesis (285 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents (269 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. Metis: Memory Foundation Model (242 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering (157 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. PhiZero: A World Model Built Around Physical Language (150 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System (62 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory (46 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. Beacon: Knowing When and How to Perform Agentic Visual Reasoning (45 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. BM25 Wins at Scale: A Scaling Study of Retrieval-Augmented Generation Paradigms (39 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. Flux-OPD: On-Policy Distillation with Evolving Contexts (38 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. MPIE-Bench: Benchmarking Anatomically Plausible Multi-Person Interaction Editing (35 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine (34 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. Beyond Borrowed Histories: Person-Aligned User Simulation for Interactive Role-Playing Evaluation (30 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. RefCaptioner: Multi-Reference Image-Grounded Video Captioning (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. SpatialCLI: Learning to Reason With Spatial Tools, Then Without Them (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. See2Think: Do Multimodal Models Really Use Intermediate Visual States? (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. β-OPSD: Deriving with Policy Optimization, Training with Self-Distillation (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. Chimera: Designing and Chinchilla-Scaling Hybrid Visual Diffusion Transformers (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. Can Large Language Models Execute Parent Orders? (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. MemHarness: Memory Is Reconstructed, Not Replayed (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. INTACT: Isomorphic Intent-to-Action Learning for Search-Free World Models (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. AskChem: Claim-Centered Infrastructure for Chemistry Literature Synthesis (285 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents (269 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Metis: Memory Foundation Model (242 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering (157 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. PhiZero: A World Model Built Around Physical Language (150 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System (62 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory (46 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. Beacon: Knowing When and How to Perform Agentic Visual Reasoning (45 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. BM25 Wins at Scale: A Scaling Study of Retrieval-Augmented Generation Paradigms (39 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. AskChem: Claim-Centered Infrastructure for Chemistry Literature Synthesis (285 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents (269 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Metis: Memory Foundation Model (242 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering (157 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. PhiZero: A World Model Built Around Physical Language (150 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System (62 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory (46 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. Beacon: Knowing When and How to Perform Agentic Visual Reasoning (45 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. BM25 Wins at Scale: A Scaling Study of Retrieval-Augmented Generation Paradigms (39 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: