🤗 Daily Hugging Face Paper Digest - 2026-09-15

Báo cáo được tạo tự động vào lúc 2026-09-16 10:25:45 bằng mô hình hermes-agent.

📰 Summary of Papers

1. Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation (562 votes)

Tác giả: Jintao Zhang, Kai Jiang, Jintao Chen, Xu Wang, Deyuan Liu, et al.

Xuất bản lúc: 2026-09-10

Tag: Video Generation, Diffusion Models, DiT, Real-Time Inference, Streaming Generation, Video Editing, Spatial Video, VR

I. Main Problem:

Các mô hình video hiện đại (Sora, Veo, Wan, Seedance) vẫn theo paradigm offline một lần: nhập prompt → chờ nhiều phút → nhận video hoàn chỉnh, người dùng không thể tương tác trong lúc tạo. Trong khi nhu cầu nội dung trực quan tương tác thời gian thực (gọi video, livestream, game) rất lớn.

Phiên bản trước Vidu S1 cho phép tạo video trực tiếp bằng lời nói nhưng còn hạn chế:

độ phân giải thấp (540p), tham chiếu nhân vật cố định sau khi bắt đầu stream
khó theo động tác cơ thể lớn (nhảy múa)
không hỗ trợ chỉnh sửa luồng video đầu vào.

II. Main Idea:

Vidu S2 gồm hai mô hình bổ sung nhau:

Vidu S2-Avatar — nhân vật số tương tác thời gian thực, cải tiến 4 hướng:

Self-Replay Forcing (SRF): khắc phục trôi dạt (drift) khi tạo stream theo từng đoạn. Học sinh tự tạo một chuỗi dài, sau đó ghi lại toàn bộ quỹ đạo tự tạo, thêm nhiễu lại từng đoạn (theo Diffusion Forcing) rồi phát lại (replay) trong MỘT pass có gradient — gradient lan qua các đoạn liền kề mà không cần backprop qua rollout gốc
720p: Refiner 1 bước nâng phân giải trong latent space, backbone chạy nhanh ở độ phân giải thấp; chọn data theo độ rõ đo thực tế thay vì độ phân giải danh nghĩa
Theo lệnh tốt hơn: thêm video nhảy solo và hoạt hình 2D/3D, toán tử background stabilization giữ video có camera chuyển động, caption mô tả thứ tự thời gian của sự kiện; RLHF (DPO + Streaming NFT) cải thiện tự nhiên và tuân lệnh
Tham chiếu động: đổi ảnh tham chiếu (đồ vật, quần áo, nền) bất cứ lúc nào trong stream, có hệ thống VLM agent tự sinh prompt và phản hồi trực quan

Vidu S2-Editing — chỉnh sửa luồng video real-time (style transfer, thử đồ, thay nhân vật, thay nền) bằng frame-aligned attention: mỗi frame đích chỉ đọc frame nguồn cùng thời điểm → giữ nguyên chuyển động, còn ảnh tham chiếu hiện diện cho mọi frame. Ngoài ra cả hai hỗ trợ video không gian (spatial) cho kính VR.

Ví dụ đời thường: giống một diễn viên quay video tự luyện rồi xem lại băng của chính mình để tự bắt lỗi — thay vì học chỉ trên phim mẫu của người khác, người đó phát lại toàn bộ màn trình diễn vừa quay, chỉ ra từng chỗ sai và sửa dần cho lần sau.

III. Main Results:

Vượt mọi baseline trong thực nghiệm, đồng thời đạt yêu cầu suy luận thời gian thực.
S2-Avatar tạo video 720p real-time ở 25–42 FPS trên GPU người dùng phổ thông (nhờ SageAttention/SpargeAttention/SLA, W8A8 GEMM, kernel fusion, CUDA Graphs, multi-GPU parallelism).
Không còn mờ/nhòe/trôi dạt khi tạo stream vô hạn; theo được động tác nhảy múa lớn mà S1 không làm được.
S2-Editing thực hiện đồng thời 4 tác vụ chỉnh sửa trong khi giữ nguyên chuyển động và nhịp của video nguồn; tổng hợp dữ liệu style transfer từ NormalCrafter tổng quát tốt tới hơn 50 phong cách.
Demo online chạy được tại vidu.com/vidu-stream, kèm xuất video spatial cho VR.

IV. Conclusion & Future Works:

Vidu S2 chứng minh video generation có thể vừa thời gian thực, vừa tương tác, vừa có thể chỉnh sửa và không gian trên phần cứng giá rẻ, thay vì chỉ là quá trình offline một lần. SRF cho thấy huấn luyện on-policy trên quỹ đạo tự tạo với gradient lan qua các đoạn là chìa khóa để stream dài không sụp đổ. Hướng tương lai: mở rộng tương tác phong phú hơn, cải thiện độ tin cậy của hệ agentic, và đẩy mạnh trải nghiệm video spatial trên thiết bị VR.

V. Brainstorming Space:

1. Publish Papers:

Phân tích lý thuyết Self-Replay Forcing: điều kiện hội tụ của DMD on-policy trên quỹ đạo autoregressive khi gradient chỉ chảy qua pass replay, và ảnh hưởng của mức nhiễu cache bất đối xứng giữa backbone và Refiner.
Khung đánh giá chuẩn cho video generation tương tác thời gian thực: đo độ trễ theo lệnh, độ ổn định stream dài hạn và chất lượng tham chiếu động — các thước đo mà benchmark offline hiện tại không bắt được.
Video editing frame-aligned cho nội dung không gian: mở rộng attention căn khung sang cặp view trái/phải để chỉnh sửa stereoscopic trực tiếp mà không cần tách pipeline.

2. Patent:

Ứng dụng video call avatar trên điện thoại: người dùng upload một ảnh chân dung, nói lệnh thoại ('cười, vẫy tay, nhặt cốc lên'), avatar phản hồi tức thì 720p; có thể đổi đồ vật, trang phục hoặc phông nền ngay giữa cuộc gọi bằng ảnh chụp từ camera.
Ứng dụng thử đồ thời gian thực trên điện thoại: camera selfie quay liên tục, người dùng chọn món quần áo từ ảnh mẫu; mô hình thay trang phục trên luồng video ngay lập tức, giữ nguyên chuyển động cơ thể, và mỗi lần đổi món áo mới áp dụng ngay không cần quay lại.
Kính VR/AR tương tác nhân vật không gian: avatar tạo ra từ ảnh người thật được render thành hai view trái/phải đồng bộ theo thời gian thực; người dùng nói chuyện, ra lệnh, đổi bối cảnh bằng giọng nói trong khi trải nghiệm như đối diện người thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.11638
ArXiv Abstract	https://arxiv.org/abs/2609.11638
PDF Download	https://arxiv.org/pdf/2609.11638.pdf
Github Repository	https://github.com/shengshu-ai/Vidu-S

2. Atria Dawn: The Dawn of Agentic Superintelligence (388 votes)

Tác giả: Honglin Guo, Tao Gui, Yicheng Chen, Guanting Dong, Qiming Ge, et al.

Xuất bản lúc: 2026-09-14

Tag: Agentic LLM, AI Agents, Human-AI Collaboration, Recursive Self-Improvement, Tool Use, Verifiable Training, Scientific Research

I. Main Problem:

Các tác tử AI ngày càng tham gia vào quá trình phát triển các mô hình AI kế tiếp, nhưng hiệu suất đơn lẻ trên benchmark không trả lời được câu hỏi lớn: trong một dự án phát triển mô hình thực tế, ai xác định vấn đề đáng làm, ai chọn phương pháp, ai diễn giải kết quả không chắc chắn và ai quyết định hướng đi tiếp theo? Thiếu hiểu biết về phân chia trách nhiệm người–máy này sẽ đánh giá sai cả đóng góp của tác tử lẫn vai trò đang thay đổi của nhà nghiên cứu, và khiến lộ trình tiến tới tự cải thiện đệ quy (RSI) thiếu cơ sở thực nghiệm.

II. Main Idea:

Bài báo giới thiệu Atria Dawn Preview, mô hình ngôn ngữ tác tử nền tảng (744 tỷ tham số, kiến trúc mixture-of-experts) cho các quy trình nghiên cứu khoa học và kỹ thuật, được huấn luyện qua Verifiable Experience Pipeline: mọi tác vụ huấn luyện đều gắn với môi trường thực thi được — mô hình quan sát trạng thái, gọi công cụ, tạo artifact, và kết quả cuối được kiểm chứng bằng tín hiệu bên ngoài (test chạy được, metric, trạng thái file, nguồn dẫn chứng) trước khi đưa vào dữ liệu huấn luyện. Phần thứ hai là nghiên cứu tình huống trên chính quá trình R&D của Atria Dawn: phân tích 769 bản ghi tác vụ từ 56 người tham gia cùng log tác tử để đo lường cách vai trò người–máy phân hóa — tác tử đề xuất phương pháp và thực hiện sửa đổi, còn người giữ phần lớn quyết định cuối và lái hướng khám phá. Ví dụ đời thường: giống một đầu bếp trưởng trong bếp nhà hàng — phụ tá (AI) đề xuất món, chuẩn bị nguyên liệu và chỉnh lại món ăn khi bị góp ý, nhưng chính đầu bếp quyết định thực đơn, nếm thử và chọn món nào được mang ra cho khách.

III. Main Results:

Trên 16 benchmark (nghiên cứu, kỹ thuật phần mềm, bảo mật, công việc số), Atria Dawn đạt điểm cao nhất đã công bố trên 5 benchmark: AutomationBench (53.8), BFCL v4 (77.0), DeepSearchQA (96.0), BrowseComp (92.5), CyberGym (86.5 — nổi bật về phân tích lỗ hổng bảo mật).
Đứng thứ hai trên 3 benchmark khác với khoảng cách nhỏ (SkillsBench, Workspace-Bench, Workspace-Bench-Lite).
Case study thực tế: xử lý hơn 100GB dữ liệu thời tiết và huấn luyện mô hình 0.4 tỷ tham số; dựng hệ điều hành MiniOS từ con số không trong ~20 phút; tối ưu decode Gated Delta Network đạt tỉ lệ 1.46×, 52/54 workload formal pass; tạo báo cáo nghiên cứu có nguồn và CAD động cơ 4 xi-lanh.
Phân tích hợp tác: 96,5% tác vụ dùng AI; tỉ lệ hành động tác tử trên mỗi lệnh người tăng từ 11.0 lên 28.5 trong một tháng.
33,2% tác vụ hoàn thành được người tham gia đánh giá là bất khả thi nếu không có AI (không phải chỉ tiết kiệm thời gian — mở ra việc từng không thể làm).
Phân vai quyết định: mô hình phổ biến nhất là "AI đề xuất, người chọn" (55,4% quyết định về phương pháp); người giữ quyết định cuối trong 85,5% trường hợp phương pháp, 93,4% mục tiêu/phạm vi, 81,9% tiêu chí chấp nhận.
Khi gặp khó khăn: 76% tiến triển nhờ can thiệp của người, nhưng chủ yếu ở dạng cung cấp ngữ cảnh/chẩn đoán (≈70%), còn chỉnh sửa trực tiếp hoặc tiếp quản cực hiếm (<4%).

IV. Conclusion & Future Works:

Kết quả chỉ ra sự chuyển dịch từ thực thi cấp tác vụ sang quan hệ đối tác cấp dự án: AI đề xuất và thực thi, người tập trung vào đánh giá, chọn lựa và định hướng những gì đáng theo đuổi. Tuy nhiên RSI thật sự còn xa: cải thiện hiệu suất tác vụ không đồng nghĩa cải thiện năng lực xác định hướng nghiên cứu đáng giá, thiết kế thí nghiệm thông tin và rút bài học từ kết quả mơ hồ. Điểm mù tương quan giữa các tác tử (cùng prior) càng khiến đa dạng hóa phải dựa vào con người. Hướng tương lai: tiến tới tự trị hơn trong nghiên cứu AI phải song song nâng cao cả năng lực khám phá lẫn giám sát có ý nghĩa của con người, giữ quyền quyết định có trách nhiệm về rủi ro và hướng phát triển.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu định lượng dài hạn về sự tiến hóa của phân chia trách nhiệm người–AI trong các dự án R&D AI quy mô lớn, theo dõi thời gian thực tỉ lệ hành động tác tử/người và mối liên hệ với chất lượng kết quả nghiên cứu.
Phương pháp huấn luyện tác tử dựa trên trải nghiệm có kiểm chứng bên ngoài (Verifiable Experience Pipeline) mở rộng cho các lĩnh vực đòi hỏi phán đoán mơ hồ mà chưa có tín hiệu kiểm chứng tự động.
Cơ chế phát hiện và giảm thiểu điểm mù tương quan giữa nhiều tác tử AI cùng nền tảng bằng cách tích hợp đa dạng quan điểm nghiên cứu của con người vào vòng lặp khám phá.

2. Patent:

Trợ lý nghiên cứu trên điện thoại cho nhà khoa học: người dùng đặt mục tiêu nghiên cứu, ứng dụng tự đề xuất phương pháp, chạy thử nghiệm trên máy chủ đám mây và trình danh sách phương án có bằng chứng để người dùng chạm một lần duyệt hướng đi.
Hệ thống phân tích mã nguồn tự động cho doanh nghiệp: tác tử AI quét ứng dụng, phát hiện lỗ hổng bảo mật, tự sửa và tự chạy lại kiểm thử xác nhận, chỉ báo cáo tổng hợp cho kỹ sư con người phê duyệt.
Nền tảng quản lý dự án kỹ thuật kiểu đồng nghiệp AI: ghi nhận ai đề xuất và ai phê duyệt từng quyết định (phương pháp, tham số, tiêu chí nghiệm thu), tạo nhật ký trách nhiệm có kiểm toán cho các quyết định do AI hỗ trợ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.15818
ArXiv Abstract	https://arxiv.org/abs/2609.15818
PDF Download	https://arxiv.org/pdf/2609.15818.pdf
Github Repository	https://github.com/atria-asi/Atria-Dawn-Preview

3. ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search (291 votes)

Tác giả: Jiyan He, Guang Liang, Hao Liu, Haoxiang Guan, Jinbo Sun, et al.

Xuất bản lúc: 2026-09-11

Tag: Foundation Models, LLM Training Efficiency, FP8, Muon Optimizer, Long Context, Mathematical Reasoning, Agentic Search, Open Source

I. Main Problem:

Cộng đồng học thuật bị loại khỏi tiến bộ của mô hình suy luận toán học và agentic do hai rào cản:

Rào cản quy mô: suy luận hạng nặng và agentic search bị xem là đặc quyền của mô hình hàng trăm tỷ tham số — ngân sách compute học thuật không đủ.
Rào cản đóng kín: các mô hình cạnh tranh chỉ công bố weights, còn công thức lọc dữ liệu, curriculum mid-training, lịch mở rộng context và trace agent đa lượt vẫn là hộp đen.

II. Main Idea:

ZGCM-1 là mô hình dense 7.39B tham số, train từ đầu, fully open (weights, code, dữ liệu, W&B logs). Luận điểm cốt lõi: mô hình nhỏ không thể nhớ thụ động web, nhưng vượt giới hạn dung lượng tham số bằng cặp đôi suy nghĩ nội tại dài hơi + chủ động dùng công cụ bên ngoài (web, terminal, phân tích binary).

Bốn trụ cột kỹ thuật:

Hybrid Attention: xen kẽ gated sliding-window attention (128 token) và global attention tỉ lệ 5:1 → giảm 6.4× KV cache, tăng 3.94× throughput ở 256K context.
System-Algorithm Co-design: Muon + FP8 hybrid + regularization TWEO → ~4.2× nhanh hơn baseline AdamW/BF16 về time-to-loss.
MDP Mid-Training: mở rộng context dần 16K→64K→256K trên 600B tokens, viết lại trace tương tác thành Markov Decision Process (state-action) để giám sát từng bước.
AI-Native R&D: bầy agent do researcher điều phối tự vận hành cluster, curation dữ liệu, đánh giá chẩn đoán.

Ví dụ đời thường: giống sinh viên nghèo không thể học thuộc lòng cả thư viện, nhưng học cách suy nghĩ chậm và tra cứu thông minh — ghi nhớ ít mà vẫn giải được bài khó nhờ biết đi hỏi sách và dùng máy tính đúng lúc.

III. Main Results:

Toán/suy luận: đứng đầu trung bình 14 benchmark suy luận ở tầm 7B-8B; 97.1% MATH-500, 75.0% AIME 2026, 70.4% HMMT 2025 — cạnh tranh Qwen3-235B-A22B và GLM-5.1 lớn hơn hàng chục lần.
Agentic search: 63.1% WebWalkerQA, 19.4% BrowseComp, 62.0% Binary Function Search — ngang tầm các frontier model.
Hiệu quả pre-training: ~4.2× cải thiện time-to-loss ở 16K (SWA 1.4× × FP8 1.5× × Muon 1.8× × Pre-LN 1.1×), đạt ~60% BF16-equivalent MFU trên H100.
Rút ra 8 empirical findings về architectural scaling, curriculum, long-context, agentic co-training, AI-native R&D.

IV. Conclusion & Future Works:

ZGCM-1 chứng minh mô hình compact fully open có thể đạt năng lực frontier-level ở toán và agentic search nhờ kết hợp thinking nội tại với tool use, cùng pipeline training hiệu quả cực cao trên ngân sách học thuật. Mọi giai đoạn (pre-training, mid-training, post-training) đều được mở để cộng đồng nghiên cứu training dynamics. Hướng tương lai: thiết kế kiến trúc và thuật toán học vẫn phụ thuộc phán đoán con người — tăng mức độ tự chủ của agent ở khâu này là hướng đi tiếp theo.

V. Brainstorming Space:

1. Publish Papers:

Mô hình nhỏ dùng công cụ: nghiên cứu định lượng ranh giới giữa dung lượng tham số và khả năng bù đắp bằng tool use có chọn lọc.
Curriculum context scaling: tối ưu lịch 16K→64K→256K cho mô hình dense tầm trung trên ngân sách GPU giới hạn.
Agentic co-training: cách phối hợp dữ liệu trace MDP với dữ liệu toán để cả suy luận và hành động cùng cải thiện.
AI-native R&D: đo lường mức độ tin cậy khi giao việc vận hành cluster và curation dữ liệu cho agent swarm.

2. Patent:

Trợ lý AI trên điện thoại cho học sinh: mô hình nhỏ chạy offline kết hợp duyệt web chủ động để giải toán — khi không nhớ công thức, tự tra tài liệu và suy luận từng bước thay vì cần mô hình khổng lồ.
Hệ thống đào tạo LLM tiết kiệm điện cho công ty nhỏ: pipeline FP8 + Muon + sliding-window attention cho phép train mô hình 7B trên cụm GPU vừa với hiệu suất gần hạng tỷ tham số.
Tổng đài agentic tự tra cứu: chatbot dịch vụ khách hàng dùng cơ chế state-action học từ trace tương tác, tự gọi API tra đơn hàng/kho hàng thay vì chỉ trả lời từ trí nhớ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.13356
ArXiv Abstract	https://arxiv.org/abs/2609.13356
PDF Download	https://arxiv.org/pdf/2609.13356.pdf
Github Repository	https://github.com/zgcagi/ZGCM-1

4. Dream-RSI: Recursive Self-Improvement through Evolving Worlds (263 votes)

Tác giả: Tong Zheng, Xidong Wu, Zheng Zhang, Zhankui He, Chaoyi Zhang, et al.

Xuất bản lúc: 2026-09-14

Tag: Recursive Self-Improvement, LLM Agents, Meta-Learning, World Models, Program Discovery, Exploration Policy

I. Main Problem:

Các hệ thống tự cải thiện đệ quy (RSI) dựa trên vòng lặp khám phá của AI agent đang gặp nghẽn cổ chai ở tầng chiến lược khám phá (exploration policy):

Chiến lược cố định không học được từ kinh nghiệm tích lũy, lặp lại việc dồn tính toán vào các hướng tìm kiếm vô ích khi không gian tìm kiếm mở rộng.
Tối ưu chiến lược trực tuyến phải đối mặt với phản hồi trễ và đắt đỏ: đánh giá một chiến lược khám phá cần quan sát cả quá trình phát sinh hàng nghìn vòng propose–evaluate, trong khi không gian chính sách meta lại rất lớn, nên mỗi lần thử chiến lược mới là một rollout trực tuyến tốn kém.

Kết quả: vòng tự cải thiện ở tầng meta-exploration gần như không thể khép kín về chi phí.

II. Main Idea:

Dream-RSI biến lịch sử khám phá đã hoàn thành thành một replay simulator — tương tự World Model trong model-based RL. Quy trình vòng lặp 3 giai đoạn:

Online Explore: chiến lược khám phá hiện tại điều khiển coding agent (giữ nguyên, không đổi) mở rộng một discovery tree, ghi lại toàn bộ trace thực thi (workspace, artifact, điểm số).
Construct Replay Simulator: cây khám phá được chuyển thành pool simulator tái sử dụng; mọi kết quả đã lưu sẵn nên đánh giá chiến lược mới chỉ cần đọc lại bản ghi, không chạy lại agent hay evaluator.
Dreaming-based Policy Improvement: một policy-development agent (LLM) sinh hàng loạt phiên bản chính sách thay thế, "mơ" (replay) chúng trên cây lịch sử để nhận phản hồi tức thì, rẻ, off-policy; chọn phiên bản tốt nhất (điểm = chất lượng phát hiện − chi phí + thưởng song song) rồi triển khai lại trực tuyến, mở rộng tiếp simulator pool.

Một lớp orchestration nhẹ làm khám phá explicit và có thể lập trình (chọn nhánh, chạy song song, dừng), trong khi underlying agent không đổi.

Ví dụ đời thường: giống người lái xe lần đầu qua khu phố lạ phải đi vòng, vào ngõ cụt rồi vẽ bản đồ trong đầu; lần sau không cần chạy xe thật — chỉ ngồi "mơ" lại bản đồ, thử hàng trăm lộ trình khác nhau trong trí, chọn đường tốt nhất rồi mới lên xe.

III. Main Results:

Algorithm engineering (Lasso path solver): vượt sklearn, glmnet và SimpleTES về runtime trên 6 dataset held-out; giảm discovery-agent calls tới 162× so với SimpleTES (51,200 → 317 calls với Gemini-3.1 Pro) và 1.7× so với fixed exploration, đồng thời chất lượng tốt hơn.
Mathematical optimization (Sum-Difference, Autocorrelation, Circle Packing): bằng hoặc vượt các hệ thống mạnh (AlphaEvolve, EvoX, SimpleTES) trong dưới 1,000 thế hệ, tiết kiệm hơn 50× budget so với SimpleTES; Circle Packing đạt kết quả ngang mức tốt nhất đã báo cáo.
GPU kernel engineering (KernelBench): đạt hiệu năng tương đương với ít hơn 2.43× (VGG16) và 1.79× (LayerNorm) generations, hoặc cải thiện hiệu năng kernel tới 2.09× (ConvDiv) trong cùng ngân sách.
Chính sách được khám phá cho Lasso kết hợp strong-rule screening, KKT pruning dựa trên Cauchy–Schwarz và active-set bookkeeping thích ứng — khác hẳn thiết kế thủ công của SimpleTES.

IV. Conclusion & Future Works:

Dream-RSI chứng minh rằng lịch sử khám phá không chỉ là ngữ cảnh văn bản hay dữ liệu fine-tuning mà là một mô hình môi trường có thể replay, biến cải thiện chính sách meta từ thử-sai trực tuyến đắt đỏ thành mô phỏng "mơ" nhanh và rẻ, khép kín vòng RSI ở tầng khám phá. Hệ thống hoạt động tốt xuyên suốt 3 lĩnh vực khác nhau với chất lượng cạnh tranh và chi phí thấp hơn đáng kể. (Bản trích chỉ dừng ở mục thực nghiệm nên phần thảo luận và hướng phát triển tương lai không nằm trong tài liệu.)

V. Brainstorming Space:

1. Publish Papers:

Mở rộng replay simulator từ cây khám phá sang các cấu trúc lịch sử đa dạng hơn (đồ thị, chu trình lặp) để "mơ" được các chiến lược tái sử dụng và sửa đổi lời giải trung gian, thay vì chỉ duyệt lại các nhánh đã ghi.

Kết hợp Dream-RSI với cập nhật trọng số mô hình: vừa tinh chỉnh chính sách ở tầng orchestration, vừa fine-tune discovery agent trên các trace chất lượng cao để tăng tốc cả hai tầng của vòng RSI.
Áp dụng cơ chế dreaming vào tối ưu siêu tham số và lập lịch tính toán cho pipeline AI tự động trong doanh nghiệp, nơi mỗi lần chạy thử online là rất đắt.

2. Patent:

Hệ thống tự tối ưu chiến lược tìm kiếm cho trợ lý AI lập trình trên điện thoại: mỗi lần agent giải một bài toán, ứng dụng lưu cây các lần thử và kết quả chạy thử; khi người dùng đặt bài toán tương tự, ứng dụng "mô phỏng lại" hàng trăm cách phân bổ nhánh tìm kiếm từ dữ liệu cũ để chọn chiến lược rẻ nhất, giảm đáng kể số lần gọi mô hình và tiền API.

Nền tảng tự cải thiện quy trình thiết kế thuật toán cho doanh nghiệp: lớp điều phối tách riêng khỏi agent lập trình, ghi lại toàn bộ quá trình khám phá thành bản đồ có thể chạy lại; bộ phát triển chính sách tự đề xuất và chấm điểm các chiến lược phân rã song song, dừng sớm dựa trên bản đồ đó, liên tục nâng cấp mà không thay đổi mô hình nền.
Công cụ tối ưu mã GPU cho lập trình viên di động/hậu kỳ: hệ thống lưu lại cây các phiên bản kernel đã thử và tốc độ đo thực tế, sau đó thử nghiệm nội bộ vô số thứ tự tinh chỉnh và mức song song trong bản ghi trước khi chạy benchmark thật, đạt tốc độ tương đương với ít lần chạy thử hơn nhiều.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.14858
ArXiv Abstract	https://arxiv.org/abs/2609.14858
PDF Download	https://arxiv.org/pdf/2609.14858.pdf
Github Repository	https://github.com/zhengkid/Dream-RSI

5. PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models (169 votes)

Tác giả: DeepCybo Team, Yu Bin, Haipeng Cao, Zheng Chang, Kai Chen, et al.

Xuất bản lúc: 2026-09-14

Tag: Vision-Language Models, Vision-Language-Action, Embodied AI, Physical Foundation Models, World Modeling, Autoregressive Models, Tokenization, Robotics

I. Main Problem:

Trí tuệ vật lý yêu cầu vòng lặp quan sát → hành động → thay đổi môi trường, nhưng các khả năng này hiện bị phân mảnh:

VLM tổng quát chỉ hiểu ngôn ngữ–hình ảnh, không tạo được hành động hay dự đoán trạng thái.
Mô hình chuyên biệt xử lý riêng lẻ spatial reasoning, grounding, planning, VLA (π, GR00T, Qwen-VLA), world modeling — khó kết hợp.
Ba loại giám sát rất khác nhau: ngôn ngữ/toạ độ (hiểu), chuyển động có cấu trúc thời gian (hành động), ảnh dày đặc (dự đoán trạng thái); dữ liệu lại khác nhau về embodiment, chuẩn chú thích và độ chi tiết thời gian — khiến huấn luyện chung trở nên khó.

II. Main Idea:

PhysBrain 1.5 mở rộng Qwen3-VL-Instruct (8B) thành mô hình vật lý thống nhất bằng cách mã hoá mọi thứ thành token rời rạc trong một bộ từ vựng chung:

Language tokens: câu trả lời ngôn ngữ, toạ độ không gian.
Action tokens: quỹ đạo cổ tay robot (16 bước, 10 chiều: vị trí tương đối + xoay 6D + độ mở kẹp) được mã hoá bởi ActionPiece (32 token cho mỗi quỹ đạo).
Visual tokens: trạng thái tương lai gồm RGB + depth + robot mask (128×128, VQ-VAE, 770 token, đan xen theo vị trí không gian).

Cả ba chia sẻ cùng backbone, bảng embedding và output head, học qua mục tiêu autoregressive next-token prediction duy nhất với loss mask theo từng tác vụ — không cần head riêng. Dữ liệu tiền huấn luyện hoàn toàn từ video người tương tác (~30.000 giờ, 24.3M hiểu + 31.2M hành động + 26.8M trạng thái tương lai), sau đó SFT trên hỗn hợp người + robot thật (17 nguồn) + mô phỏng. Điểm hay: thay vì chuẩn hoá toàn cục khó và dễ sai, mô hình dùng lịch sử hành động ngay trước đó làm ngữ cảnh để tự suy ra hệ toạ độ/nhịp điệu của từng embodiment và tiếp tục quỹ đạo tự nhiên.

Ví dụ đời thường: giống một người thợ thay vì học sách hướng dẫn của từng máy, đứng cạnh máy nào cũng nhìn vài động tác vừa thực hiện để đoán cách máy đó phản ứng, rồi nối tiếp thao tác cho trôi chảy.

III. Main Results:

Trên 28 benchmark embodied understanding, bản 8B đạt trung bình 72.5 — state-of-the-art mã nguồn mở, sát hai mô hình proprietary mạnh nhất: GPT-6-Astra (73.3) và Gemini 3.6 Flash (73.0).
Đứng đầu mã nguồn mở trên 14 benchmark, nhì trên 10 benchmark khác; vượt xa các mô hình open-source cùng cỡ như Hy-Embodied (66.0), Embodied-R1.5 (64.9), RynnBrain 1.1 (63.1).
Vẫn giữ khả năng multimodal tổng quát sau khi huấn luyện embodied (không bị quên kiến thức cũ nhờ pha trộn 1M dữ liệu instruction chung).
Kết quả định tính cho thấy mô hình sinh được quỹ đạo cổ tay và dự đoán khung cảnh tương lai dạng RGB + depth + robot mask căn chỉnh không gian.

IV. Conclusion & Future Works:

PhysBrain 1.5 chứng minh hiểu, hành động và dự đoán trạng thái tương lai có thể học chung trong một mô hình autoregressive duy nhất, với giám sát tiền huấn luyện lấy hoàn toàn từ video tương tác của con người — nguồn dữ liệu rẻ và sẵn có hơn nhiều so với dữ liệu robot. Việc dùng lịch sử hành động làm ngữ cảnh giúp né bài toán chuẩn hoá toàn cục giữa các embodiment. Hướng tương lai: cải thiện chất lượng dự đoán trạng thái tương lai (hiện mới chủ yếu định tính), mở rộng sang nhiều dạng embodiment và tác vụ dài hạn hơn, và thu hẹp khoảng cách với các mô hình proprietary.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chuẩn hoá độ tin cậy của trạng thái tương lai dự đoán (RGB/depth/mask) thành một benchmark định lượng, vì hiện kết quả chủ yếu định tính và thiếu metric chung cho world modeling ở mô hình VLA thống nhất.
Mở rộng cơ chế 'action history làm nhận diện hệ thống' sang điều khiển đa tay/đa robot, nơi lịch sử chuyển động của nhiều end-effector phải được mã hoá đồng thời trong cùng chuỗi token.
Kết hợp PhysBrain với chu trình thực thi thật (như SayCan, Code as Policies) để đánh giá khả năng dự đoán trạng thái tương lai trong việc chọn và sửa hành động lâu dài trên robot vật lý.

2. Patent:

Trợ lý robot gia đình học từ video người dùng: người dùng quay video mình làm việc nhà bằng điện thoại; ứng dụng gửi video lên đám mây để mô hình học quỹ đạo tay và dự đoán kết quả, sau đó điều khiển robot hút bụi/tay máy bắt chước thao tác đó.
Tính năng 'xem trước hậu quả' trên điện thoại cho thiết bị thông minh: trước khi ra lệnh cho robot/thiết bị (ví dụ cánh tay hỗ trợ người khuyết tật), ứng dụng hiển thị ảnh dự đoán trạng thái tương lai (gồm cả bản đồ độ sâu) để người dùng xác nhận an toàn rồi mới thực thi.
Hệ điều khiển robot tự thích ứng khi thay đổi phụ kiện hoặc góc camera: robot thực hiện vài động tác thăm dò ngắn, ứng dụng trên điện thoại phân tích video để mô hình tự suy ra hệ toạ độ và nhịp điệu mới từ lịch sử chuyển động, không cần hiệu chuẩn thủ công.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.14973
ArXiv Abstract	https://arxiv.org/abs/2609.14973
PDF Download	https://arxiv.org/pdf/2609.14973.pdf
Github Repository	https://github.com/DeepCybo-PhysAI/PhysBrain-1.5

6. RSIAgent: Autonomous Exploration for Recursive Self-improvement in New Environments (64 votes)

Tác giả: Sibo Zhu, Shicheng Fan, Xinyue Wang, Wenyi Wu, Kun Zhou, et al.

Xuất bản lúc: 2026-09-14

Tag: Recursive Self-Improvement, Digital Agents, Multi-Agent Systems, Autonomous Exploration, Agentic Memory, Causal Discovery, LLMs, OSWorld, Computer-Use Agents

I. Main Problem:

Các digital agent khi vào môi trường mới thường gặp giao diện, công cụ, quy ước và failure modes mà pretrained models không nắm đầy đủ. Cách thích ứng hiện tại thường cần thu thập dữ liệu tương tác bổ sung rồi train lại, nhiều khi vẫn cần con người hỗ trợ, dẫn tới chi phí cao và khó áp dụng cho môi trường private hoặc liên tục thay đổi.

Vấn đề cốt lõi: làm sao để agent tự khám phá môi trường mới, xác nhận kết quả bằng feedback thật, rồi củng cố kiến thức thành bộ nhớ tái sử dụng được mà không cập nhật tham số mô hình?

II. Main Idea:

RSIAgent là framework training-free gồm ba vai trò phối hợp theo vòng lặp recursive self-improvement:

Curriculum agent: quyết định hôm nay nên tập gì, chọn prerequisite skills, biến thể có thông tin, failure-driven practice và stress-test cases.
Actor agent: dùng code-as-policy để thao tác trong môi trường, đồng thời cập nhật evolvable memory chứa procedures, scripts, failure lessons và quan hệ điều kiện–hành động–hậu quả.
Verifier agent: đánh giá độc lập bằng cách nhìn execution results, interface state và bằng chứng môi trường trả về, giảm correlated errors rồi quyết định kinh nghiệm nào được đưa vào memory.

Chiến lược khám phá là broad-then-deep:

Broad Recursive Self-exploration: chạy song song nhiều hướng để nhanh có bản đồ rộng về môi trường, failure patterns và reusable procedures.
Deep Recursive Self-exploration: tập trung lần lượt vào hard cases, hidden constraints, boundary conditions và causal dependencies còn yếu; sau mỗi lượt success/failure/uncertainty, memory được củng cố trước khi đề xuất bài khó hơn.

Khi đã đủ, memory bị đóng băng và được tái sử dụng trực tiếp cho downstream tasks; lúc test không còn curriculum agent hay memory updates.

Ví dụ đời thường: giống nhân viên mới vào công ty không đọc sơ đồ suông: đầu tiên đi lòng vòng nhiều phòng để lập bản đồ “việc gì ở đâu, ai phụ trách”, sau đó luyện lại những thao tác hay sai, ghi vào sổ tay điều kiện–cách làm–kết quả; khi nhận việc thật chỉ cần tra sổ tay là xử lý được.

III. Main Results:

Trên OSWorld 2.0 / OSWorld-v2 0808 offline với 82 tasks: partial score tăng từ 71.97 → 78.98, binary accuracy từ 37.80 → 42.68.
Trên Agents’ Last Exam Near-term với 67 tasks: partial score tăng từ 83.75 → 84.82, binary accuracy từ 49.25 → 50.75.
Dùng các open-source models GLM-5.3 làm actor và Kimi-K3 làm verifier/curriculum, RSIAgent đạt 78.98 trên OSWorld 2.0 và 84.82 trên ALE, vượt reported scores của GPT-6 Astra lần lượt +6.38 và +2.56 points, đồng thời trên cao hơn Claude Opus 5 ở cả hai benchmark.
Case theo rounds: trên OSWorld 2.0, T044 video editing đạt 100%, T065 railway booking đạt 100%, T049 presentation repair đạt 80% ở step 8, cho thấy điểm số có thể nhảy cục bộ khi memory đã che phủ bottleneck còn lại.
Ablation trên 4 OSWorld tasks: Full RSI đạt mean 74.54%, cao hơn broad-only 65.52%, deep-only 56.50%, cho thấy cần kết hợp broad rồi deep.
Trên GameCraft-Bench với 40 tasks, RSIAgent cải thiện chất lượng game so với baseline và Play2Code; khác Play2Code là có thể làm game mạnh hơn yếu đi, RSIAgent cải thiện cả base games yếu và mạnh.
Phân tích failure modes chỉ ra ba nút thắt: insufficiently targeted exploration, incomplete verification, và unreliable memory consolidation.

IV. Conclusion & Future Works:

RSIAgent cho thấy agent-level recursive self-improvement có thể thu hẹp và đảo ngược khoảng cách giữa open-source và frontier closed-source models mà không cập nhật tham số, nhờ tự khám phá môi trường và tái sử dụng memory đã verify. Điểm mạnh là kiến trúc curriculum–actor–verifier rõ trách nhiệm và chiến lược broad-then-deep giống coarse-to-fine: phủ rộng trước, sau đó đào sâu vào ca khó.

Hạn chế quan trọng: nếu curriculum không tạo bài đủ targeted, verifier chấp nhận kết quả chưa đủ điều kiện, hoặc memory lưu rule sai như thể đúng, agent có thể củng cố lỗi qua nhiều vòng. Hướng cải tiến cần tập trung vào: chọn trải nghiệm thử thách đúng uncertain knowledge, verifier nghiêm ngặt hơn theo rubric và artifact evidence, memory ghi kèm điều kiện áp dụng, nguồn bằng chứng và mức uncertainty, cùng cơ chế tách biệt tốt hơn giữa actor reasoning và verifier judgment.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu curriculum learning cho recursive self-improvement: cách chọn practice tasks sao cho cố ý tấn công đúng uncertain rules, missing-information cases và target-specific bottlenecks thay vì chỉ mở rộng độ đa dạng.
Phát triển verifier độc lập cho digital agents: kết hợp environment feedback, artifact inspection và official rubric để giảm false PASS, đặc biệt cho các tác vụ có output nhưng yêu cầu ngầm chưa được kiểm chứng.
Thiết kế agentic memory schema có provenance, applicability conditions và uncertainty calibration để tránh biến một kết quả cục bộ thành quy tắc sai nhưng reusable.
Mở rộng broad-then-deep exploration cho môi trường liên tục thay đổi: cập nhật/ghi phiên bản memory theo thời gian, phát hiện khi knowledge cũ đã outdated.
Kết hợp causal discovery với active exploration: agent tự chọn hành động thí nghiệm có giá trị thông tin cao nhất để xác định quan hệ nhân quả giữa action, condition và consequence.

2. Patent:

Trợ lý trên điện thoại tự làm quen app mới: trước khi người dùng ra lệnh, agent mở app trong sandbox, thử bấm các luồng phổ biến, ghi lại đâu là nút, điều kiện và kết quả, sau đó khi người dùng yêu cầu việc thật chỉ cần dùng sổ tay đó để thao tác nhanh hơn.
Bot nội bộ cho doanh nghiệp thích ứng phần mềm riêng: không cần gửi dữ liệu huấn luyện ra ngoài, bot tự thao tác thử trên hệ thống nội bộ, lưu quy trình thành công/thất bại và tái sử dụng cho các yêu cầu lặp lại như nhập liệu, duyệt đơn, xuất báo cáo.
Hệ thống tự playtest game trên điện thoại hoặc máy tính: agent chơi thử nhiều vòng, phát hiện lỗi cơ chế, đồ họa, độ sâu lối chơi rồi đề xuất sửa code; phù hợp studio nhỏ muốn nâng chất lượng game mà không tốn nhiều người test.
Agent CAD/thiết kế tự học phần mềm mô hình hóa: với một phần mềm lạ, agent thử tạo lỗ, cột, gân, xuất file kiểm chứng, ghi nhớ lỗi sai và cách sửa; sau đó nhận bản vẽ thật và dựng mô hình theo memory đã kiểm chứng.
Trợ lý sửa bài thuyết trình/tài liệu trên điện thoại: tự mở các file mẫu, thử chỉnh font, layout, hình ảnh, bảng biểu và lưu các ràng buộc ẩn; khi người dùng yêu cầu sửa slide nhanh, agent áp dụng đúng quy tắc đã học mà không cần train lại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.15364
ArXiv Abstract	https://arxiv.org/abs/2609.15364
PDF Download	https://arxiv.org/pdf/2609.15364.pdf
Github Repository	https://github.com/AetherLabsAI/RSIAgent

7. Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction (60 votes)

Tác giả: Vishesh Tripathi, Abhay Kumar, Ramsha Khan

Xuất bản lúc: 2026-09-08

Tag: KV Cache, Transformer, Attention, GQA, MLA, RoPE, LLM Inference, Efficient Serving

I. Main Problem:

Khi sinh văn bản từng token, Transformer phải đọc lại toàn bộ khóa và giá trị của mọi token trước đó, nên bộ nhớ cache KV và băng thông đọc cache tăng tuyến tính theo độ dài ngữ cảnh. GQA đã giảm bằng cách chia sẻ key-value head, nhưng vẫn lưu cả hai luồng ở mỗi bước; MLA nén chung thành latent nhưng làm đường decode phức tạp hơn.

II. Main Idea:

Grouped Value Attention (GVA) chỉ lưu grouped values và dựng lại content key cho từng query head bằng một phép chiếu tuyến tính học được: K_h = V_{g(h)} M_h. Vì M_h cố định lúc inference, nó được hấp thụ vào query thành q~_h = q_h nhân transpose của M_h, nên score content trở thành một inner product trực tiếp với value đã cache; không cần vật lý hóa content key trong đường decode. RoPE chuẩn phá vỡ absorption, vì rotation phụ thuộc cặp vị trí query-key, nên tác giả dùng decoupled RoPE: một content slice không xoay được reconstruct từ value, cộng một positional slice ngắn được xoay và chia sẻ giữa các head. Positional key chỉ thêm d_r scalar mỗi token thay vì G d_r. Kết quả persistent cache là T G d_h + T d_r, tức khoảng 45–47% nhỏ hơn GQA tương ứng; khởi tạo scale-matched cũng quan trọng để tránh attention gần uniform lúc đầu. Ví dụ đời thường: giống bếp trưởng chỉ cất nguyên liệu chung, còn khi nếm từng món thì dùng chiếc thìa đã gắn sẵn công thức riêng để đo trực tiếp từ nồi, thay vì cất riêng từng bộ dụng cụ cho mọi món.

III. Main Results:

Shared KV, tức dùng chung một vector cho key và value, chỉ còn nửa cache nhưng loss không phục hồi, cho thấy cần value riêng và reconstruct key.
Scale-matched GVA + query RMSNorm đạt 44.41 trung bình trên 5 benchmark, ngang GQA 44.36; bản variance-fixed không Q-norm đạt 43.77, gần MLA 43.88.
Thiết kế serving đề xuất, GVA + decoupled RoPE với d_r=16, đạt 44.35 so với GQA 44.36 — chênh 0.01, trong biến thiên seed; d_r=24 đạt 44.29.
Mức giảm khoảng 45–47% là số scalar cache ở mức representation, chưa phải đo serving-memory, throughput hay batch capacity cuối cùng; kernel decode tùy chỉnh đang được đánh giá và open-source được dự kiến sớm.

IV. Conclusion & Future Works:

GVA chứng minh có thể giữ chất lượng gần GQA trong khi cache persistent chỉ còn xấp xỉ một nửa, bằng cách lưu grouped values, reconstruct key bằng linear map, hấp thụ map vào query, và giữ vị trí qua một shared decoupled RoPE channel rất nhỏ. Hạn chế: thí nghiệm mới ở một scale khoảng 350M parameters, một data mix 30B FineWeb-Edu tokens, ba seed mỗi cấu hình; d_r=24 thấp hơn GQA trung bình; chưa sweep RoPE width, cách chia content-position width, hay context dài. Hướng tiếp theo: hoàn tất đo fused decode throughput, peak serving memory và batch capacity; mở rộng sweep RoPE width, model scale, random seeds và long-context; thử các biến thể cấp phát content-position khác nhau.

V. Brainstorming Space:

1. Publish Papers:

Đánh giá end-to-end GVA với kernel decode tùy chỉnh trên nhiều model scale và context length, đo throughput, latency, peak serving memory và batch capacity so với GQA và MLA.
Nghiên cứu systematic sweep của decoupled RoPE width, additive versus carved allocation, và chiến lược khởi tạo scale-matched cho reconstruction map ở scale lớn hơn.
Kết hợp value-only cache với quantization, paged attention và mixture-of-experts để xem mức cộng hưởng khi cả cache representation và serving schedule cùng được tối ưu.

2. Patent:

Trợ lý ngôn ngữ chạy offline trên điện thoại: thay vì lưu hai dòng dữ liệu cho mỗi nhóm ngữ cảnh, ứng dụng chỉ giữ một dòng nội dung và một dấu vị trí nhỏ; khi có từ mới, bộ lọc chấm điểm được gắn sẵn trên câu hỏi để tính trực tiếp từ dòng đã giữ, giảm RAM, nhiệt và tiêu hao pin.
Bộ gợi ý soạn thảo hoặc dịch máy trên thiết bị di động: khi người dùng gõ tiếp, hệ thống chỉ nạp lại phần nội dung đã nén theo nhóm và tái tạo trọng số chấm điểm theo đầu chú ý ngay tại thời điểm dùng, giúp duy trì hội thoại dài mà không giật lag.
Máy chủ hỏi-đáp tiết kiệm bộ nhớ: dịch vụ lưu một luồng nội dung chung cho nhiều luồng truy vấn và một kênh vị trí ngắn dùng chung, rồi tái tạo cách chấm điểm cho từng yêu cầu khi decode, qua đó tăng số phiên đồng thời trên cùng phần cứng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.13285
ArXiv Abstract	https://arxiv.org/abs/2609.13285
PDF Download	https://arxiv.org/pdf/2609.13285.pdf
Github Repository	N/A

Tác giả: Xiaofeng Mao, Peijia Lin, Shaohao Rui, Yibo Zhang, Haibin Wan, et al.

Xuất bản lúc: 2026-09-14

Tag: Video Generation, Diffusion Models, Multimodal Transformer, Few-step Distillation, VAE Decoder, Agentic Workflows

I. Main Problem:

Mô hình video diffusion tạo hình ảnh đẹp nhưng khó kiểm soát: nội dung chính xác thường phải sampling lại nhiều lần, còn video dài dễ drift về ngoại hình, tương tác vật thể và mạch thời gian. Trục agentic creation đưa reference, scene 3D chỉnh sửa được hoặc game state có thể chạy để cố định điều kiện, nhưng tự nó không đảm bảo độ trung thực nhân vật/vật thể.

Các pipeline riêng lẻ cho từng tác vụ khó ghép lại, tốn engineering và hay không nhất quán.
Video dài thiếu consistency, dễ đổi identity và artifact quang học.
Benchmark cũ tách rời quality, physics, control, audio, multishot continuity.
Sau few-step distillation, VAE decoder thành bottleneck mới.

II. Main Idea:

LynnReal-Omni là một native multimodal video generation framework: dùng một shared multimodal diffusion transformer khoảng 32B để gom text-to-video, image-conditioned, reference-guided, structural control, editing, restoration và long-video generation trong một model. Điểm then chốt là task representation gốc: mỗi đầu vào được gắn modality tag, row index, 3D rotary coordinate và noise-time riêng, nên ảnh tham chiếu, render 3D, pose, game recording và lịch sử chunk trước đó giữ đúng vai trò trong cùng một denoiser.

Video và audio dùng hai noise clock nhưng cùng chuỗi forward, giúp sinh audiovisual mà không trộn mốc thời gian.
Bản Flash 27B giảm transformer blocks, token count và dùng 3 denoising steps, kèm lightweight VAE decoder để đẩy nhanh inference.
Long video đi theo chunk-wise generation + bounded history: giữ head cố định, nén lịch sử cũ, sinh frame mới rồi nối tiếp.
Pipeline dữ liệu làm sạch video, gom shot theo scene, liên kết subject, chú thích đa modal và tạo reference/pose/audio có kiểm chứng; chỉ giữ lại khoảng 0.6% dung lượng gốc thành multishot clip ≤ 60s.

Ví dụ đời thường: giống một đầu bếp dùng một bếp chung nhưng gắn thẻ rõ ràng cho từng nguyên liệu: thịt, rau, gia vị, nhiệt độ và thời điểm cho vào nồi đều có chỗ riêng; nhờ đó món ra lò đủ vị mà không bị trộn lẫn.

III. Main Results:

Kiến trúc thống nhất: standard backbone có 50 transformer blocks; Flash giữ 42 blocks, giảm token và chỉ cần 3 forwards/sample cho text-to-video/keyframe-conditioned generation.
Hỗ trợ đầu vào dị dạng: appearance references, editable 3D renders, game recordings, pose/hand references, editing sources; các control frame-aligned có cùng spatial grid với target và lệch temporal offset dương cố định.
Few-step distillation: standard dùng 4 evaluation steps; video và audio share forward steps nhưng theo modality-specific timesteps, ví dụ video gần (0, 0.0270, 0.0769, 0.2) còn audio (0, 0.1, 0.25, 0.5) trong cấu hình 768p.
Decoder acceleration: sau khi giảm denoising cost, lightweight VAE decoder nhắm vào bottleneck decode; công bố latency warm trên một H100 cho video 22-frame 540p là 843 ms với LynnReal-Omni và 377 ms với Flash; một đoạn method nêu cấu hình native 768p là 909 ms / 591 ms, cho thấy số đo phụ thuộc config.
Evaluation: đề xuất MSAVP, 100 prompts, tách instruction following, plausibility, visual quality, temporal behavior và audio coordination thay vì gom một điểm tổng duy nhất.
Hạn chế: đoạn text cung cấp mới chủ yếu trình bày pipeline, method và benchmark design; chưa có điểm benchmark chi tiết để kết luận thắng/thua so với từng baseline.

IV. Conclusion & Future Works:

Bài báo chứng minh hướng kết hợp agentic explicit control với native multimodal diffusion là khả thi: một model có thể nhận nhiều loại điều kiện, giữ phân vai rõ ràng giữa reference/control/target, sinh audio-video đồng bộ hơn và mở đường cho real-time streaming.

Hướng tiếp theo hợp lý: tối ưu thêm few-step multimodal distillation để giữ fidelity khi giảm bước lặp.
Mở rộng long-video consistency với bounded history và temporal repair rõ ràng hơn.
Chuẩn hóa MSAVP để đo multishot continuity, action binding, physical plausibility, controllability và audio semantics công bằng hơn.
Tối ưu decoder/deployment để latency thấp không làm lệch phase thời gian hay reconstruction quality.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu long-video generation với bounded history chặt hơn: cân bằng bộ nhớ lịch sử, identity retention và khả năng mở rộng số shot mà không phụ thuộc toàn bộ video đã sinh.
Phát triển few-step distillation cho multimodal video-audio generation, kiểm chứng cách giảm số forward ảnh hưởng đến motion dynamics, audio sync và controllability từ reference.
Mở rộng MSAVP từ 100 prompts thành benchmark quy mô lớn hơn, có phân tách rõ semantic compliance, observed physics, visual quality, temporal behavior và sound-event timing.
Khảo sát agent-generated 3D scenes và executable game controls như một ngôn ngữ điều khiển trung gian cho video diffusion, đo lường khi nào scene geometry giúp giảm sampling attempts.
Tối ưu lightweight VAE decoder cho real-time video generation, đánh giá đồng thời reconstruction quality, temporal phase và end-to-end latency thay vì chỉ báo cáo từng thành phần.

2. Patent:

Ứng dụng điện thoại tạo video quảng cáo ngắn từ ảnh sản phẩm: người dùng chọn vài ảnh mẫu và mô tả cảnh; hệ thống dùng một mô hình video đa năng để giữ màu sắc, logo, bố cục sản phẩm đồng nhất trong nhiều góc quay.
Công cụ chỉnh sửa video bằng ngôn ngữ tự nhiên trên mobile: người dùng nói “đổi trời từ nắng sang mưa, giữ nguyên người và chuyển động”; hệ thống tách điều kiện chỉnh sửa khỏi nội dung cần giữ rồi tạo video mới theo yêu cầu.
Hệ thống dựng cảnh game/playable prototype rồi render thành video đẹp: một trợ lý tự tạo bản chơi thử đơn giản, ghi lại luật va chạm và chuyển động, sau đó mô hình video bổ sung vật liệu, ánh sáng và chi tiết nhân vật để ra clip hoàn chỉnh.
Khôi phục video cũ, mờ hoặc bị nhiễu trong thư viện ảnh điện thoại: hệ thống tự nhận vùng hỏng, giữ nguyên nhân vật và cốt truyện, rồi tái tạo khung hình và âm thanh phù hợp theo thời gian.
Giao diện tham chiếu đa ảnh cho quay phim ngắn: đạo diễn cung cấp ảnh nhân vật, ảnh bối cảnh và ảnh phụ kiện; ứng dụng sinh các shot liên tiếp có cùng nhân vật, cùng không gian và chuyển cảnh mạch lạc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.15863
ArXiv Abstract	https://arxiv.org/abs/2609.15863
PDF Download	https://arxiv.org/pdf/2609.15863.pdf
Github Repository	https://github.com/LynnReal-AI/LynnReal-Omni

9. How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus (26 votes)

Tác giả: Ilya Koziev, Leonid Sinev, Ivan Oseledets

Xuất bản lúc: 2026-09-14

Tag: Speculative Decoding, Lossless Decoding, Numerical Precision, BF16, FP32, Diffusion Language Model, Autoregressive Model, KV Cache, Inference Acceleration

I. Main Problem:

Orthrus tuyên bố tăng tốc sinh token song song của mô hình autoregressive đông cứng mà vẫn "lossless": giữ nguyên chuỗi token như mô hình gốc. Vấn đề là cơ chế kiểm chứng consensus có thể đúng trên lý thuyết, nhưng khi chạy bằng số học độ chính xác hữu hạn, sai khác nhỏ có thể làm thay đổi token được chọn và khiến quỹ đạo sinh lệch dần.

Điểm mù quan trọng: điểm benchmark tốt không chứng minh output giống hệt. Hai hệ thống có thể cùng điểm task-level nhưng sinh chuỗi token khác nhau, hoặc lệch nhẹ về số học lại vô tình cho câu trả lời được benchmark ưa thích hơn.

II. Main Idea:

Bài báo tái hiện độc lập Orthrus và kiểm tra tuyên bố lossless bằng so khớp trực tiếp chuỗi token sinh ra với mô hình autoregressive gốc. Thay vì chỉ xem điểm benchmark, họ đo exact trajectory matching trên 1,190 prompt thuộc 12 domain, so sánh khi dùng BF16 và FP32, đồng thời huấn luyện lại diffusion view bằng dữ liệu teacher-generated on-policy: lấy prompt công khai, dùng chính mô hình autoregressive sinh continuation greedy rồi học từ các quỹ đạo đó.

Cơ chế được kiểm tra là: diffusion view đề xuất nhiều token tương lai, autoregressive view kiểm chứng, nhưng với số học precision thấp, một sai khác nhỏ ở bước tính logits có thể đổi argmax token; từ đó KV cache và toàn bộ chuỗi sau đó rẽ nhánh. Họ cũng dùng hồi quy logistic để kiểm tra liên hệ giữa khả năng khớp chuỗi và response-conditional perplexity của mô hình tham chiếu.

Ví dụ đời thường: giống như hai người cùng tính một phép tính dài, nhưng một người làm tròn số ở bước giữa; kết quả gần giống, nhưng khi cuối cùng phải chọn một mã số duy nhất thì người này chọn mã này, người kia chọn mã khác.

III. Main Results:

Tái huấn luyện độc lập: mô hình của tác giả bài báo dùng 4,113,358 prompt–response do Qwen3-1.7B greedy sinh ra; đạt TPF cao hơn checkpoint gốc trong 10/12 domain, cho thấy dữ liệu on-policy cải thiện hiệu quả parallel decoding.
BF16 không lossless: exact trajectory matching chỉ đạt 45% với checkpoint của tác giả Orthrus và 43% với mô hình huấn luyện lại; tỉ lệ lệch tương ứng là 55% và 57% trên 1,190 prompt.
Domain rất khác nhau: GEC tiếng Anh khớp tới khoảng 88%, trong khi poetry/creative chỉ khoảng 8–14%; điều này cho thấy lỗi không đồng đều mà tập trung ở dữ liệu khó, phân phối rộng.
Dấu hiệu dự báo lỗi: trajectory lệch có perplexity có điều kiện cao hơn rõ rệt; hệ số log perplexity trong hồi quy logistic là -8.10 và -10.92, đều rất có ý nghĩa thống kê.
Benchmark không giảm hệ thống: trên GSM8K, HumanEval, IFEval, Orthrus không cho thấy suy giảm nhất quán; một số điểm ước lượng còn cao hơn Qwen3, nhưng không đủ kết luận cải thiện đáng kể.
FP32 khôi phục exact match: cùng prompt, tham số và greedy decoding, cả hai mô hình Orthrus khớp 100% chuỗi token với autoregressive reference; chứng tỏ nguyên nhân chủ yếu là finite-precision numerical effects, không phải consensus mechanism vô hiệu.

IV. Conclusion & Future Works:

Kết luận chính: "lossless" phải được định nghĩa vận hành rõ ràng — là giống bit từng token, giống phân phối, hay chỉ tương đương điểm benchmark — và phải kèm precision, hardware, attention implementation, KV cache state được đo. Exact trajectory equivalence nên được báo cáo tách riêng khỏi downstream task performance.

Hướng tương lai: xác định các stage tính toán cụ thể gây lệch dưới precision thấp; kiểm tra trên nhiều model, phần cứng, backend attention và chiến lược decoding hơn; xây dựng tiêu chuẩn kiểm chứng speculative decoding tuyên bố lossless.

V. Brainstorming Space:

1. Publish Papers:

Một protocol/benchmark đánh giá lossless speculative decoding theo nhiều mức precision và phần cứng, tách riêng exact token matching, distributional equivalence và downstream benchmark equivalence.
Phân tích cơ chế numerical nondeterminism trong KV cache, attention và parallel token verification để tìm điểm tính toán chịu trách nhiệm cho lệch quỹ đạo khi dùng số học độ chính xác thấp.
Nghiên cứu dữ liệu teacher-generated on-policy distillation cho parallel token predictor: cân bằng giữa TPF, độ trung thành chuỗi token và chi phí sinh dữ liệu từ mô hình teacher.

2. Patent:

Trợ lý AI trên điện thoại có chế độ tự kiểm tra độ trùng output: khi chạy tăng tốc song song, hệ thống so chuỗi token với phiên bản tham chiếu ở độ chính xác cao hơn; nếu phát hiện rủi ro lệch, tự chuyển sang chế độ an toàn chậm hơn nhưng giữ đúng câu trả lời mong muốn.
Bộ điều khiển độ chính xác động cho bàn phím/voice assistant di động: dùng sinh token nhanh cho nội dung ít rủi ro, nhưng khi độ bất định của câu trả lời cao tương tự perplexity lớn, tự tăng độ chính xác số học hoặc quay về kiểu sinh từng token để tránh đổi câu.
Công cụ kiểm thử cập nhật mô hình AI cho ứng dụng di động/đám mây: trước khi phát hành, tự chạy bộ prompt chuẩn, đo tỉ lệ output giống hệt giữa bản cũ và bản tăng tốc ở từng cấu hình chip, GPU/NPU và độ chính xác số, rồi cảnh báo "benchmark giống nhưng câu trả lời khác".
Dịch vụ chứng nhận chất lượng inference cho chatbot doanh nghiệp: cấp nhãn "output-identical", "distributionally close" hoặc "benchmark-equivalent only" để khách hàng biết mức độ lossless thật sự trước khi bật chế độ sinh nhanh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.15504
ArXiv Abstract	https://arxiv.org/abs/2609.15504
PDF Download	https://arxiv.org/pdf/2609.15504.pdf
Github Repository	N/A

10. Discovery Foundation Models: Toward Open-Ended Discovery Intelligence (24 votes)

Tác giả: Ling Yang, Zhenfei Yin, Yingcheng Wu

Xuất bản lúc: 2026-09-14

Tag: Foundation Models, Scientific AI, Autonomous Discovery, AI Agents, Hypothesis Generation, Experimental Design, Closed-Loop Learning, Recursive Intelligence

I. Main Problem:

Các foundation model và AI-for-science hiện nay mạnh khi bài toán đã được người định hình sẵn: câu hỏi, biến số, mục tiêu, công cụ và hàm đánh giá đều cố định. Chúng tối ưu rất tốt bên trong cấu trúc đó nhưng yếu khi tiến bộ đòi hỏi thay đổi chính cấu trúc nghiên cứu:

không phân biệt được anomaly thật với artifact do đo lường
hai giả thuyết cùng khớp dữ liệu vì quan sát hiện có không đủ phân biệt cơ chế
benchmark có thể thưởng cho proxy sai, khiến mô hình tối ưu một câu hỏi bị khung sai
thất bại kéo dài có thể do thiếu biến số hoặc evaluator lệch, không phải do optimizer yếu

Khoa học là môi trường tố để lộ khoảng trống này vì bằng chứng đến từ thế giới bên ngoài, can thiệp tốn kém, kết quả trễ, và mô hình không thể tự viết lại quan sát sau khi thấy kết quả.

II. Main Idea:

Bài báo đề xuất Discovery Foundation Models (DFMs): không định nghĩa theo kiến trúc mạng hay mức tự trị, mà theo khả năng tham gia vào quá trình sản xuất tri thức. Thay vì chỉ nhận đầu vào cố định rồi trả lời, DFM xuất phát từ thế giới chưa được hiểu đầy đủ và sinh ra cả tri thức được xác thực bên ngoài lẫn vết tích quá trình điều tra gồm giả thuyết, can thiệp, quan sát, công thức hóa thất bại và chỉnh sửa.

Bảy năng lực ghép nối gồm:

C_find: chọn unknown đáng nghiên cứu, loại bỏ ảo giác do calibration, retrieval hoặc baseline yếu
C_form: biến unknown thành bài toán có phạm vi, điều kiện, observable và có thể kiểm chứng
C_repr: xây dựng/chỉnh sửa biến, quan hệ, abstraction, scale; đôi khi phải đổi ontology hoặc dạng biểu diễn
C_hyp: tạo giải thích khác nhau về cơ chế, điều kiện áp dụng, dự đoán và điều có thể bác bỏ chúng
C_int: chọn thí nghiệm, mô phỏng, ablation, counterexample, replication vì giá trị thông tin, không phải để xác nhận
C_rev: khi kết quả lệch dự đoán, quy kết đúng nguyên nhân: giả thuyết sai, đo sai, lệch protocol, confounding ẩn, simulator sai, hay môi trường đổi
C_cont: biến kinh nghiệm đã qua kiểm chứng thành Discovery Skill dùng được cho tác vụ khác

Hệ thống minh họa Zetema dùng research state tường minh có nhánh/rollback, cổng kiểm chứng và Research World Model, nối Dry-Lab reasoning với bằng chứng tính toán hoặc vật lý, và cập nhật kỹ năng xuyên tác vụ. GALILEO là ví dụ thật trong phát hiện thuốc: đề cử target từ multi-omics, thiết kế peptide, tổng hợp bằng robot, đo phenotype đa phương thức, assay tay chéo, rồi lặp lại chỉnh sửa theo bằng chứng.

Ví dụ đời thường: giống nhà nghiên cứu không chỉ làm đúng đề thi, mà được phép kiểm tra xem thước đo có sai không, đổi câu hỏi nếu đề bị khung lệch, chọn thí nghiệm khiến hai lý giải phải bất đồng, rồi ghi lại bài học để lần sau tránh lặp sai.

III. Main Results:

Đoạn trích chủ yếu trình bày khung khái niệm và hệ thống, không đưa leaderboard số học kiểu benchmark cuối cùng. Ba đóng góp chính:

định nghĩa DFM như một category theo capability, tách biệt với search trong không gian cố định và với việc áp foundation model lên dữ liệu khoa học
instantiate quy trình bằng Zetema: research-state revision, experimental gating, external grounding, cross-task Discovery Skill evolution
đề xuất cách học và đánh giá theo process: đo tiến bộ tri thức được xác thực ngoài episode và cả cải thiện hành vi discovery tương lai dưới ngân sách tài nguyên tương đương, có kiểm soát retrieval

Bằng chứng thực nghiệm trong phần trích: GALILEO chạy vòng lặp Dry-Lab/Wet-Lab trên các nhánh LRRC8C và SLC25A1; đo vật lý làm thay đổi belief về target, lựa chọn assay, giả thuyết cơ chế và chính sách thiết kế phân tử. Sau năm vòng tối ưu, phản hồi được củng cố thành Amphiphilic Balance Grammar, một quy tắc thiết kế có thể chuyển giao.

IV. Conclusion & Future Works:

Thông điệp lõi là discovery có thể trở thành learnable, executable, evaluable capability của foundation-model systems, nếu huấn luyện và đo lường tập trung vào các quyết định trung gian làm thay đổi chương trình nghiên cứu thay vì chỉ chấm đáp án cuối. Hướng phân tích tiếp theo gồm: digital discovery, discovery grounded bằng simulation, embodied/physical discovery, và recursive discovery systems nơi kết quả đã kiểm chứng liên tục cập nhật hiểu biết thế giới và gieo vòng lặp tiếp theo. Bài báo cũng nhấn mạnh ranh giới tri thức: cần independent validation, provenance/auditability, scoped authority, human oversight, và kiểm soát rủi ro khi hệ thống tự cập nhật đệ quy.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng DFM từ cấu hình Dry-Lab/Wet-Lab sang các phòng lab robot mở, trong đó research state, provenance và quyền phê duyệt của con người được chuẩn hóa xuyên nhiều nền tảng thực nghiệm.
Xây dựng benchmark process-centered cho scientific agents: chấm không chỉ câu trả lời cuối mà cả khả năng nhận diện câu hỏi bị khung sai, chọn can thiệp phân biệt cơ chế, và quy kết thất bại đúng nguyên nhân.
Nghiên cứu recursive update risk: khi Discovery Skill tự cải thiện qua nhiều episode, làm sao giữ audit trail, ngăn skill lỗi lan truyền, và thiết kế cơ chế rollback có kiểm chứng ngoài.

2. Patent:

Ứng dụng điện thoại cho nhà nghiên cứu sinh học: chụp ảnh kết quả assay, ghi note giọng nói, app đề xuất câu hỏi kiểm chứng được, chọn thí nghiệm kế tiếp và gửi lệnh tới hệ thống lab tự động sau khi người dùng phê duyệt.
Hệ quản lý thí nghiệm có vết kiểm toán: mỗi thay đổi giả thuyết, protocol, thước đo hay quyết định dùng robot đều lưu ai đề xuất, bằng chứng nào chấp nhận, ai duyệt, và điều kiện nào sẽ kích hoạt rollback.
Trợ lý phát hiện vật liệu/thuốc trên đám mây: người dùng nhập tín hiệu bất thường từ điện thoại; hệ thống phân biệt nhiễu đo với hiệu ứng thật, đề xuất thí nghiệm làm các giải thích bất đồng, rồi tổng hợp quy tắc thiết kế có thể dùng lại cho hợp chất mới.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.15973
ArXiv Abstract	https://arxiv.org/abs/2609.15973
PDF Download	https://arxiv.org/pdf/2609.15973.pdf
Github Repository	https://github.com/Gen-Verse/DFM-Plans

11. BVB: Benchmarking Agentic Video Understanding via Programmatic Reconstruction in Blender (23 votes)

Tác giả: Yolo Y. Tang, Daiki Shimada, Jiayue Meng, Jing Bi, Pinxin Liu, et al.

Xuất bản lúc: 2026-09-14

Tag: Video Understanding, Benchmark, Multimodal Agents, Blender, Code Generation, Spatial-Temporal Reasoning, Evaluation

I. Main Problem:

Các benchmark hiểu video hiện nay chủ yếu dùng question answering (QA) — nhưng trả lời đúng không chứng minh mô hình thực sự hiểu video: mô hình có thể đoán đúng từ khả năng phán đoán đáp án hoặc chỉ từ một frame tĩnh, mà không theo dõi cảnh theo thời gian. Ngoài ra:

Các hệ thống tạo video bằng coding agent mới chỉ được demo trên vài cảnh chọn lọc, với hướng dẫn của con người và thư viện asset ngoài.
Thiếu một tiêu chuẩn công bằng để so sánh độ tin cậy xuyên qua các gia đình mô hình khác nhau, theo chi phí kiểm soát được.

II. Main Idea:

Đề xuất BVB (Blender-VideoBench): thay vì hỏi đáp, benchmark yêu cầu agent dựng lại video thật thành scene Blender có animation bằng code — vì một bản dựng đúng buộc phải khớp nguồn về vị trí vật thể, quỹ đạo camera và thứ tự sự kiện, điều không thể đoán mò từ một frame.

Quy trình:

Mỗi agent chạy qua harness thống nhất Mini-BVB với đúng 2 hành động: frames (xem frame video) và bash (chạy code Python/Blender), trong sandbox Docker không mạng, giới hạn $3/scene, cấm asset ngoài — scene phải dựng từ primitive.
Đánh giá 2 trục: Dual VQA (VLM judge hỏi cùng câu hỏi không gian-thời gian trên video gốc và video render; đo tỉ lệ giữ lại câu trả lời đúng) và Latent Similarity (so khớp đặc trưng V-JEPA 2.1 đông lạnh giữa 2 video về layout và motion).
Điểm tổng Overall dùng square-root mean của hai trục để thưởng cho kết quả cân bằng, không cho trục này bù lỗ trục kia.

Ví dụ đời thường: giống kiểm tra một người có hiểu bộ phim thật không bằng cách bắt họ xây lại toàn bộ phim trường và dựng lại cảnh quay — thay vì chỉ trả lời trắc nghiệm; muốn dựng đúng thì bắt buộc phải nhớ vật nằm ở đâu, camera di chuyển thế nào, chuyện xảy ra theo thứ tự nào.

III. Main Results:

Đánh giá 51 cấu hình thuộc 10 gia đình mô hình (GPT-6 Astra, Grok, Claude, Gemini, Qwen, Kimi, GLM, MiniMax, Seed, Muse Spark) trên 288 scene và 5.130 câu hỏi từ VSI-Bench.
GPT-6-Astra-high dẫn đầu với Overall 70.07; mô hình mã nguồn mở tốt nhất là GLM-5.3-Flash-xhigh (63.96).
Khoảng cách 'nhìn đúng' vs 'đúng thực sự': Latent Similarity tốt nhất đạt 88.6 nhưng Dual VQA chỉ 53.7% — gần một nửa sự thật không gian-thời gian bị mất sau khi dựng lại.
Phân cấp độ khó tác vụ ổn định: giữ tốt nhất là kích thước vật thể (63.0%) và lập kế hoạch lộ trình (58.5%); kém nhất là thứ tự xuất hiện (16.1%) và đếm vật thể (29.3%).
Reasoning effort cao hơn cải thiện LS nhưng không cải thiện DV; runtime dài hơn không đồng nghĩa điểm cao hơn.
Chi phí không tỉ lệ với chất lượng: GPT-5.6-Sol-xhigh đạt 96% điểm top với 62% chi phí; GLM-5.3-Flash-xhigh đạt 91% với chỉ $0.024/scene.
Nghiên cứu mù với 15 người chấm: thứ hạng người khớp hoàn toàn với Overall (Spearman ρ=1.00) và tương quan mạnh với LS (ρ=0.83), trong khi DV chỉ ρ=0.11.

IV. Conclusion & Future Works:

Programmatic reconstruction là phép kiểm tra khả thi cho khả năng hiểu video của agent — các coding agent đã dựng được scene nhận ra được, nhưng kết quả trông đúng hơn là đúng nội dung: giữ lại hình ảnh tốt mà mất gần nửa sự thật không gian-thời gian. Hai trục DV và LS bổ sung cho nhau (LS bắt cặp sở thích người, DV đảm bảo không mất dữ kiện). Hướng tương lai: cải thiện semantic retention (đếm vật thể, thứ tự xuất hiện vẫn là thách thức chính), và phát triển các phương pháp reasoning giúp agent kiểm chứng dữ kiện chứ không chỉ tinh chỉnh hình ảnh.

V. Brainstorming Space:

1. Publish Papers:

Phát triển cơ chế self-verification cho coding agent: sau khi dựng scene, agent tự đặt lại câu hỏi về video render của mình (số vật thể, khoảng cách, thứ tự xuất hiện) và sửa code để thu hẹp khoảng cách giữa Latent Similarity và Dual VQA.
Mở rộng BVB sang video ngoài trời và video có tương tác động (con người, vật thể di chuyển) để kiểm tra khả năng hiểu động lực học, không chỉ scene nội thất tĩnh.
Nghiên cứu chiến lược thăm dò frame hiệu quả: agent nên xem frame nào, bao nhiêu lần, để tối đa hóa lượng dữ kiện không gian-thời gian thu được trong giới hạn chi phí.

2. Patent:

Ứng dụng điện thoại dựng lại không gian 3D từ video người dùng quay: người dùng quay video căn phòng, ứng dụng gửi lên đám mây, agent tự tạo scene 3D có thể chỉnh sửa trong điện thoại để xem lại góc nhìn bất kỳ hoặc thử đặt đồ nội thất mới.
Hệ thống kiểm tra hiểu video cho trợ lý AI trên điện thoại: trước khi cho phép trợ lý trả lời câu hỏi về một video (hướng dẫn, camera an ninh), hệ thống yêu cầu trợ lý dựng lại cảnh bằng code và chấm độ khớp — chỉ trả lời khi mức giữ lại dữ kiện đạt ngưỡng tin cậy.
Công cụ biên tập video tự động: từ một đoạn video thực tế, hệ thống tái tạo scene 3D tương đương, cho phép người dùng thay đổi góc camera, xóa vật thể hoặc đổi thứ tự sự kiện rồi render lại thành video mới ngay trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.15478
ArXiv Abstract	https://arxiv.org/abs/2609.15478
PDF Download	https://arxiv.org/pdf/2609.15478.pdf
Github Repository	https://github.com/yunlong10/BVB

12. AlayaVista: Streaming World Modeling from Panoramic States to Perspective Video (20 votes)

Tác giả: Jiaming Tan, Mingliang Zhai, Zhen Li, Yuwei Wu, Chuanhao Li, et al.

Xuất bản lúc: 2026-09-13

Tag: World Model, Video Generation, Panoramic Video, Camera Control, Streaming Generation, Diffusion Distillation, Dataset

I. Main Problem:

Các mô hình video world model tương tác phải đồng thời: giữ ngữ cảnh cảnh vật ngoài tầm nhìn, bám theo quỹ đạo camera dài, tạo hình ảnh độ phân giải cao và vẫn streaming với độ trễ thấp. Hiện có hai hướng, cả hai đều có đánh đổi:

Perspective models: tạo khung hình góc nhìn hẹp — phải lưu/truy xuất nội dung đã ra khỏi khung hình qua KV cache, memory, landmark bank → bó buộc việc tổng hợp ảnh với bảo trì bộ nhớ.
Panoramic / 3D explicit: render toàn cầu cầu 360° hoặc dựng Gaussian splat / mesh / point cloud → tốn kém vì phải tạo chất lượng hiển thị cho toàn bộ mặt cầu dù người dùng chỉ nhìn một viewport, hoặc thêm nhiều tầng dựng hình 3D riêng.

Thiếu dữ liệu huấn luyện: không có dataset panorama thực tế quy mô lớn kết hợp độ phân giải 4K+, video phút cấp, quỹ đạo camera và chú thích ngữ nghĩa/hình học.

II. Main Idea:

AlayaVista tách riêng tiến hóa thế giới toàn cục (trong không gian latent panorama) khỏi tổng hợp quan sát cục bộ chất lượng cao (viewport perspective người dùng yêu cầu) — lấy cảm hứng từ thị giác người: não giữ ngữ cảnh toàn cảnh thô nhưng chỉ dàng độ nét cao cho điểm đang nhìn. Pipeline gồm 4 module:

Panorama Initialization: mô hình mở rộng panorama pretrained (HY-World 2.0) biến một ảnh perspective thành panorama ERP 360° làm scene prior.
ERP-aware Panoramic State Generator: sinh ảnh video panorama camera-conditioned bằng diffusion transformer (khởi tạo từ Wan2.2-TI2V-5B) với SpheRoPE, camera conditioning kiểu UCPE, và rollout chunk-autoregressive có KV cache → ra panoramic state, không decode sang RGB.
Latent Render Module: ánh xạ panoramic latent → perspective latent độ phân giải thấp đúng viewport (yaw/pitch/FOV) ngay trong latent space, không cần decode toàn cầu.
Perspective Refiner: upsample latent + refinement generative (distilled còn 4 bước) khôi phục chi tiết, khử artifact, super-resolution, rồi mới decode RGB.

Để streaming nhanh: cả generator panorama và refiner đều được distill few-step; dữ liệu huấn luyện mới MUGEN: 1.318 giờ video panorama 4K+ (tập con MUGEN-HQ 300 giờ) kèm caption, quỹ đạo camera, depth, instance mask.

Ví dụ đời thường: giống người lái xe trong hầm giao thông — lưu trong đầu bản đồ tổng thể toàn bộ khu vực (lờ mờ nhưng đủ để biết đường quay lại), còn mắt chỉ cần nhìn rõ nét đúng ô cửa sổ phía trước; không ai cần vẽ nét căng toàn bộ thành phố chỉ để nhìn một ngã rẽ.

III. Main Results:

Chất lượng video perspective cạnh tranh/vượt các baseline panorama và perspective world model về độ trung thực và consistency.
Camera controllability: panoramic state bám quỹ đạo camera yêu cầu, kể cả chuyển động xoay đầy đủ và vượt seam ERP.
Ổn định dài hạn: chunk-autoregressive rollout ổn định ở chế độ streaming, với consistency khi camera quay lại vị trí cũ (viewpoint-revisit) nhờ state panorama toàn cục.
Hiệu quả streaming end-to-end: chỉ viewport được yêu cầu mới qua refiner chất lượng cao → tính toán tập trung, độ trễ thấp; few-step distillation (4 bước) giảm mạnh chi phí so với teacher 50 bước.
Ablations xác nhận: tách global-state / local-observation hiệu quả hơn render toàn cầu rồi cắt viewport; latent render module học đúng phép chiếu hình học.

IV. Conclusion & Future Works:

AlayaVista chứng minh có thể giữ ngữ cảnh toàn cục (panoramic latent state) mà không phải tổng hợp chất lượng hiển thị cho toàn bộ mặt cầu, cũng không cần dựng 3D explicit — cân bằng được độ bao phủ không gian, chất lượng đầu ra và hiệu quả tính toán trong world model streaming điều khiển camera. Đóng góp kèm theo là MUGEN, dataset panorama 4K quy mô lớn có chú thích ngữ nghĩa + hình học.

Hướng tương lai (suy luận từ thiết kế): mở rộng sang tương tác đa phương thức (người dùng thay đổi quỹ đạo giữa chừng), tăng độ phân giải/tầm nhìn xa của state, tối ưu thêm độ trễ few-step, và khai thác MUGEN cho các tác vụ perception và world modeling khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng nguyên lý state toàn cục – quan sát cục bộ sang world model đa người dùng, nơi nhiều viewport perspective được render song song từ cùng một panoramic state dùng chung.
Kết hợp panoramic latent state với tín hiệu hành động của tác nhân (ngoài quỹ đạo camera) để world model dự đoán hậu quả tương tác lên môi trường, phục vụ huấn luyện robot và xe tự hành.
Phát triển phương pháp compress panoramic state dài hạn (bộ nhớ tầm xa trên latent) để giảm chi phí KV cache khi rollout hàng phút đến hàng giờ.

2. Patent:

Ứng dụng du lịch ảo trên điện thoại: chụp một ảnh thực tế, app mở rộng thành toàn cảnh 360°, người dùng xoay/xê dịch điện thoại để khám phá môi trường dưới dạng video streaming mượt, độ trễ thấp, không cần tải toàn bộ dữ liệu độ phân giải cao.
Hệ thống xem trước bất động sản: từ một ảnh chụp phòng, máy chủ dựng world model panorama của căn nhà, người mua 'đi bộ' bằng cách kéo camera theo hướng tùy ý; điện thoại chỉ nhận vùng hình đang nhìn nên tiết kiệm băng thông và pin.
Trợ lý camera thông minh quay video: người dùng chỉ định quỹ đạo di chuyển (ví dụ bay vòng quanh đối tượng), điện thoại sinh video quan sát theo quỹ đạo đó từ một ảnh duy nhất, hữu ích cho sáng tạo nội dung và xem trước góc quay trước khi quay thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.14462
ArXiv Abstract	https://arxiv.org/abs/2609.14462
PDF Download	https://arxiv.org/pdf/2609.14462.pdf
Github Repository	https://github.com/AlayaLab/AlayaVista

13. Omni-Streaming Thinking (17 votes)

Tác giả: Enjun Du, Siyi Liu, Ziyu Zheng, Jingyu Li, Yiwen Guo, et al.

Xuất bản lúc: 2026-09-14

Tag: Streaming Multimodal, Omni-modal Learning, Audio-Visual Reasoning, LLMs, Memory Correction, Hallucination Reduction

I. Main Problem:

Các mô hình streaming omni-modal (xử lý video + âm thanh theo thời gian thực) gặp lỗi premature cross-modal commitment: diễn giải sớm từ hình ảnh (ví dụ màn hình ghi Gate 6) bị ghi vào bộ nhớ như một sự thật, rồi tiếp tục được sử dụng ngay cả khi âm thanh sau đó mâu thuẫn (loa thông báo Gate 12). Lỗi này lan ra các suy luận phụ thuộc (tóm tắt, câu trả lời). Nguyên nhân sâu xa:

Modality-asymmetric evidence maturation: bằng chứng thị giác trưởng thành nhanh (vài frame), bằng chứng âm thanh cần khoảng thời gian dài hơn (câu nói, sự kiện âm thanh).
Visual bias: model nghiêng về manh mối thị giác; có thể nhận ra âm thanh khi nghe riêng nhưng vẫn chọn manh mối thị giác khi cả hai cùng hiện diện.
Bộ nhớ streaming khiến phán đoán sớm có hiệu ứng kéo dài, và việc sửa lỗi phải chạm tới cả các trạng thái phụ thuộc, không chỉ phán đoán gốc.

II. Main Idea:

Omni-Streaming Thinking (OST) giữ các diễn giải chưa chắc chắn dưới dạng claim có thể kiểm chứng trong tương lai thay vì ghi thành fact. Mỗi claim ghi lại: dự đoán, modality kiểm chứng (audio/video), khoảng thời gian chờ bằng chứng, và các trạng thái phụ thuộc. Vòng lặp gồm:

Claim & Wait: mỗi decision chunk (4s), model sinh Omni-State 6 trường (visual_evidence, audio_state, audio_evidence, conflict, forecast, sufficiency) và đăng ký claim với độ tin cậy khởi tạo 1.
Verify & Retract: khi cửa sổ bằng chứng đóng lại, verifier kiểm tra claim trên đúng modality (giữ audio và video riêng biệt, ghim bằng chứng đang chờ review). Nếu bị bác bỏ, độ tin cậy giảm và lan truyền qua đồ thị provenance tới mọi suy luận con cháu (điểm effective = tích độ tin cậy tổ tiên); decoding lại state body theo bằng chứng mới.
Sufficiency & Answer: answer gate chỉ trả lời khi bằng chứng đủ VÀ không còn claim quan trọng nào đang chờ review.

Backbone Qwen3-Omni-30B-A3B-Instruct được đóng băng, chỉ huấn luyện nhẹ (forecaster, verifier, gate, LoRA) qua preference learning và on-policy RL với thưởng theo độ chính xác, thời điểm trả lời, format.

Ví dụ đời thường: giống như người ghi chú "có thể là cổng 6, đợi loa thông báo xác nhận lúc 12 giây" thay vì chốt ngay — đến hạn nghe loa nói cổng 12 thì gạch cả ghi chú lẫn mọi suy luận dựa trên nó, viết lại trước khi trả lời khách.

III. Main Results:

Năm benchmark streaming/audio-visual: OST đạt kết quả tốt nhất trong các model mở, vượt baseline mạnh nhất (StreamOV) hơn 10% tương đối trung bình. SOVBench-O Avg. tăng từ 81.6 lên 87.8 (có audio-visual context) và 83.8 lên 88.4 (thêm QA context); Recall tăng mạnh nhất (73.2 → 82.5). Trigger F1: 90.5 → 92.4. Cải thiện đồng thời trên StreamingBenchAV, Video-Holmes, Daily-Omni, OmniVideoBench.
OST-DiagBench (giữ video cố định, chỉnh sửa audio: CLEAN/MUTE/SWAP/MIX/CLASH): OST đạt d′ = 2.95 so với tối đa 1.38 của các baseline mở. CLEAN source recall cao nhất (95.49) đi kèm hallucination rate thấp nhất (10.39, so với 73.7–82.0 của Qwen3-Omni); SWAP attribution 81.76, MIX joint recall 51.37, CLASH accuracy 46.47 (baseline tối đa 4.90).
Ablation: từng thành phần đều quan trọng — bỏ retention riêng A/V: Recall giảm 82.5→74.2; bỏ lineage propagation: Recall →73.2; bỏ typed ownership: d′ 2.95→1.95; verify ngay lúc đặt claim thay vì chờ cửa sổ tương lai: Avg. →83.6.

IV. Conclusion & Future Works:

OST chứng minh rằng việc lưu claim cùng bài kiểm tra tương lai và các phụ thuộc cho phép bằng chứng mới sửa đổi suy luận đã dựa vào claim đó, khắc phục premature cross-modal commitment và giảm thiên kiến thị giác trong streaming. Bộ nhớ đã hiệu chỉnh hỗ trợ cả nội dung lẫn thời điểm trả lời. Bộ benchmark OST-DiagBench cho thấy điểm số cao khi audio-video hòa hợp có thể che giấu việc model không thực sự dùng bằng chứng âm thanh. Hướng mở rộng hợp lý: áp dụng cơ chế claim-verify-retract cho các cặp modality khác (text-video, sensor fusion), tối ưu ngân sách retention dài hơn, và mở rộng DiagBench cho các dạng xung đột đa phương thức khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng OST sang tác vụ hội thoại streaming đa lượt, trong đó claim từ lượt trước có thể bị bác bỏ bởi lời nói hoặc hình ảnh ở lượt sau, đòi hỏi retraction xuyên suốt lịch sử hội thoại.
Tích hợp OST vào hệ thống hỗ trợ người khiếm thị trên điện thoại: camera + micro streaming liên tục, claim-verify-retract giúp không đưa ra cảnh báo sai dựa trên đoán sớm từ hình ảnh khi âm thanh chưa xác nhận.
Phát triển kỹ thuật chỉnh sửa audio bảo toàn video (như pipeline của OST-DiagBench) thành công cụ kiểm thử chuẩn hóa cho mọi model đa phương thức, đo lường khả năng dùng bằng chứng âm thanh dưới xung đột với phụ đề/hình ảnh.

2. Patent:

Trợ lý thông báo sân bay/trạm tàu trên điện thoại: ứng dụng xem livestream màn hình thông báo và nghe loa phát thanh; ghi "cổng 6 (chờ xác nhận)" thay vì chốt ngay, tự sửa thành cổng 12 khi nghe hết thông báo trước khi hiển thị cho người dùng.
Camera an ninh gia đình có âm thanh: hệ thống phân tích streaming không báo động sai (ví dụ đoán tiếng cướp từ hình bóng) mà chờ bằng chứng âm thanh trong cửa sổ thời gian quy định; nếu âm thanh mâu thuẫn thì rút lại cảnh báo và các suy luận liên quan.
Ứng dụng họp trực tuyến ghi biên bản thời gian thực: khi slide hiển thị số liệu A nhưng người nói vừa đính chính thành B, hệ thống giữ claim "số A (chờ xác nhận lời nói)", tự sửa biên bản và các tóm tắt phụ thuộc ngay khi lời nói hoàn tất.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.15128
ArXiv Abstract	https://arxiv.org/abs/2609.15128
PDF Download	https://arxiv.org/pdf/2609.15128.pdf
Github Repository	N/A

14. Kaininja: Extending Native 3D Generators to the Part Level (16 votes)

Tác giả: Ruihan Yu, Lian Fu, Muyao Niu, Zheng-hui Huang, Yu-Ju Tsai, et al.

Xuất bản lúc: 2026-09-14

Tag: 3D Generation, Image-to-3D, Diffusion Models, Rectified Flow, Dual-Volume Representation, Part-Level Generation, Agent-Authored Data

I. Main Problem:

Các bộ tạo 3D nguyên bản (native generators) như TRELLIS.2 biến một ảnh thành một mesh duy nhất đã hợp nhất (fused mesh), trong khi các tác vụ hạ nguồn như chỉnh sửa, rigging, mô phỏng hay tái sử dụng từng thành phần đều cần tài sản ở cấp độ part (từng bộ phận là mesh riêng, sạch).

Cách truyền thống là tách part sau khi sinh (generate-then-segment): chậy hơn một bậc độ lớn (order of magnitude) và bị giới hạn bởi độ chính xác của mạng segmentation — mask sai thì các part chồng lấp, generator không sửa được.
Vấn đề cốt lõi của biểu diễn: O-Voxel grid chỉ lưu một mảng bề mặt duy nhất trong mỗi voxel, nên một thể tích đơn lẻ không thể biểu diễn mặt tiếp xúc nơi hai part chạm nhau — dù tăng resolution đến đâu. Đây là giới hạn về capacity, không phải resolution.
Bỏ bounding box/mask đi thì đối mặt thêm: số part N không cố định, N có thể rất lớn (các phương pháp autoregressive cần N lượt chạy mạng), và cần giảm chi phí tính toán đồng thời không giới hạn N.

II. Main Idea:

KaiNinja mở rộng TRELLIS.2 lên cấp part bằng biểu diễn dual-volume: đóng gói mọi part của một vật thể vào hai thể tích O-Voxel xen kẽ (stream A và B) sao cho các part chạm nhau không bao giờ chia sẻ cùng một thể tích — giải quyết đồng thời ba vấn đề:

Không cần segmenter/mask/box nào: các part đọc ra trực tiếp bằng connected-component analysis trong từng volume.
Một lượt chạy backbone cho số part bất kỳ: mọi part nhét vào một cặp stream cố định, N không có giới hạn trên.
Không mặt tiếp xúc nào bị sụp đổ: hai mặt song song của hai part nằm ở hai volume khác nhau, mỗi voxel giữ đúng một mảng bề mặt.

Cách đóng gói: xây contact graph (mỗi part là một node, hai node nối nhau nếu chạm nhau — đọc trực tiếp từ voxel grid), sau đó hai màu hóa (two-coloring) bằng BFS; nếu graph không bipartite thì hợp nhất greedy các cạnh trên chu trình lẻ theo trọng số tiếp xúc lớn nhất.

Kế thừa prior của TRELLIS.2 qua 3 giai đoạn huấn luyện bắt đầu từ trọng số pretrained (fit từng volume riêng → merge với cross-volume attention zero-initialized → warm up rồi fine-tune chung, kèm disjointness penalty trừng phạt voxel bị cả hai stream chiếm). Hai stage được xử lý khác nhau: layout flow có trọng số per-stream, còn refinement flow giữ nguyên backbone pretrained và chỉ tách stream qua phạm vi attention.

Ví dụ đời thường: giống như xếp đồ vào hai thùng sao cho hai món dễ cọ nhau không bao giờ để cùng một thùng — vậy là mở thùng ra lấy từng món ra dùng riêng mà không cần ai phân loại lại, và lấy đồ xong ráp lại nguyên vẹn thành cả bộ.

III. Main Results:

Chất lượng part tốt nhất toàn diện: thắng cả 7 metric so với mọi baseline (X-Part, OmniPart, AutoPartGen, PartPacker); so với cascade mạnh nhất (Hunyuan3D-2.1 + X-Part): +0.09 F1 part ở ngưỡng strict 0.05, giảm 40% whole-object Chamfer distance, +16% strict part F-score.
Tốc độ: ~24 giây/object trên một H100 ở resolution 512 — nhanh ngang PartPacker, nhanh hơn cascade generate-then-segment rất nhiều (X-Part tốn ~469 GPU-seconds).
Phát hiện bất ngờ: fidelity của cả vật thể nguyên vẹn còn tốt hơn backbone cùng fine-tune trên cùng corpus (giảm 38% Chamfer distance) — cho thấy dual-volume packing không chỉ là container cho part mà là biểu diễn tốt hơn của vật thể.
Dữ liệu: huấn luyện trên 19,132 objects từ 4 nguồn, trong đó có Articraft-10K — lần đầu tiên tài sản 3D do agent (LLM coding agent) tạo ra được dùng huấn luyện mô hình sinh 3D; nhãn part chính xác tuyệt đối vì đến từ chương trình tạo tài sản, không phải annotation.
Khoảng cách với baseline lớn nhất ở ngưỡng strict → lợi thế nằm ở hình học tinh và vị trí biên part, không phải bố cục thô.

IV. Conclusion & Future Works:

KaiNinja chứng minh rằng để mở rộng một generator 3D native lên cấp part, phải thay đổi tại tầng biểu diễn (một volume không chứa được mặt tiếp xúc của part), và giải pháp tối thiểu là dual-volume packing ngay trên sparse voxel grid của chính generator — giữ nguyên open surfaces, UVs, materials, thuộc tính PBR. Hướng đi mở: cải thiện packing cho vật thể có các part khớp vào nhau dày đặc (contact graph không bipartite buộc hợp nhất part nhiều hơn annotation); tác giả cũng lập luận rằng không số volume cố định nào loại bỏ được giới hạn này, và gợi ý four-color theorem của PartPacker không đúng vì contact graph 3D không nhất thiết planar. Ngoài ra còn vấn đề thin shells thoát khỏi bước hợp nhất occupancy trùng lặp ở inference.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng dual-volume packing sang các nền tảng generator 3D khác ngoài TRELLIS.2 (Hunyuan3D, TripoSG) với cùng công thức kế thừa prior pretrained, nhằm chứng minh tính tổng quát của recipe fit-merge-warmup.
Nghiên cứu biểu diễn nhiều thể tích tự thích ứng (adaptive-volume packing) cho vật thể có cấu trúc part liên khớc phức tạp, vượt qua giới hạn two-coloring của contact graph.
Tận dụng dữ liệu agent-authored quy mô lớn để huấn luyện mô hình sinh 3D có khớp nối vật lý (articulated generation), vì nhãn part và joint từ Articraft đã chính xác từ khâu tạo.

2. Patent:

Ứng dụng điện thoại tạo mô hình 3D từ một ảnh chụp với các bộ phận tách rời: người dùng chụp ảnh một chiếc ghế, ứng dụng sinh mô hình 3D mà lưng ghế, chân ghế, đệm là các mesh riêng biệt — người dùng kéo thả đổi màu từng bộ phận, thay chất liệu, hoặc tháo một bộ phận sang thiết kế khác ngay trên điện thoại.
Công cụ thiết kế và mô phỏng trên di động: biến ảnh chụp đồ vật thật thành tài sản 3D có part riêng để làm animation rigging hoặc mô phỏng vật lý (ví dụ mở cửa tủ lạnh, xoay bánh xe xe tải) mà không cần kỹ sư tách mesh thủ công.
Hệ thống tạo tài sản game từ ảnh concept: nhà phát triển game nhập ảnh phác thảo, hệ thống sinh vật thể 3D với các part riêng để tái sử dụng linh kiện trong nhiều scene — tận dụng đặc điểm mỗi part là mesh tự chủ, không cần bước segmentation riêng, rút ngắn pipeline sản xuất asset.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.15659
ArXiv Abstract	https://arxiv.org/abs/2609.15659
PDF Download	https://arxiv.org/pdf/2609.15659.pdf
Github Repository	https://github.com/AlayaLab/KaiNinja

15. HazardAuditor: From Executable Threats to Safer Computer-Use Agents (14 votes)

Tác giả: Yunhao Feng, Ruixiao Lin, Ming Wen, Yanming Guo, Xingjun Ma, et al.

Xuất bản lúc: 2026-09-14

Tag: LLM Agents, Agent Safety, Guard Models, Computer-Use Agents, Reinforcement Learning, RLHF, Tool Use

I. Main Problem:

Các computer-use agents (vận hành browser, terminal, file system, API) ngày càng phổ biến nhưng an toàn của chúng phụ thuộc vào hành vi thực thi tại runtime, không chỉ nội dung sinh ra. Hai lỗ hổng lớn:

Các guard model hiện có (Llama Guard, Qwen3Guard...) được huấn luyện cho prompt/response tĩnh, không xử lý được bằng chứng hành vi tích lũy qua nhiều bước gọi tool.
Các nền tảng đánh giá an toàn thực thi được (AgentDojo, DTap, Vera...) chỉ xuất ra verdict kiểm thử, không chuẩn hóa thành supervision để huấn luyện, và mỗi framework agent (Claude Code, Codex, Hermes, OpenClaw) có log định dạng khác nhau.
Thêm nữa, supervised fine-tuning (SFT) tối ưu theo từng token, trong khi đơn vị cần học là một quyết định an toàn nhị phân — khiến những phản hồi có rationale dài chiếm trọng số gradient lớn hơn một cách vô lý.

II. Main Idea:

HazardAuditor gồm hai thành phần chính:

Hạ tầng supervision thực thi (executable safety infrastructure): chạy các agent dị biệt (Claude Code, Codex, Hermes, OpenClaw) trong môi trường kiểm soát, rồi dùng adapter từng framework để chuẩn hóa log thành một canonical event representation chung: tin nhắn người dùng, output agent, reasoning, lời gọi tool kèm tham số, quan sát môi trường. Nhãn safe/unsafe dựa trên hành vi thực sự: thấy nội dung độc hại mà từ chối hành động → safe; gọi tool đọc/gửi credential → unsafe.
Guard Policy Optimization (GuardPO): biến kết quả an toàn (đúng/sai/malformed) thành advantage ở cấp chuỗi, áp dụng clipped policy optimization (theo nguyên lý CISPO), và chuẩn hóa riêng loss của vùng rationale và vùng verdict trong từng phản hồi. Nhờ đó mọi phản hồi đóng góp ngang nhau bất kể rationale dài ngắn — có tính chất length-invariance (Proposition 1). Verdict cuối được nhấn trọng số (λ_ver = 2) để giữ áp lực lên quyết định cuối.

Guard sinh ra phân tích có thể kiểm chứng (auditable) + verdict nhị phân deterministic cho downstream controller can thiệp, không cần judge ngoài lúc inference.

Ví dụ đời thường: giống chấm thi trắc nghiệm — dù học sinh giải thích dài hay ngắn, điểm chỉ tính theo đáp án cuối cùng đúng hay sai, chứ không ai chấm điểm nhiều hơn chỉ vì bài viết dài dòng.

III. Main Results:

CUA-EXEC (benchmark mới, 200 trajectory/framework, cân bằng safe/unsafe): HazardAuditor đạt accuracy tốt nhất trên cả 4 agent — vượt guard mạnh nhất trước đó (BraveGuard) +12.5 điểm (Claude Code: 94.0%), +4.0 (Codex: 95.5%), +9.5 (Hermes: 86.5%), +16.5 (OpenClaw: 87.5%), thậm chí vượt cả frontier LLM judges (Claude-Sonnet-4.6, GPT-5.2).
AgentHazard: đạt accuracy/F1 cao nhất hoặc ngang hàng trên cả 4 backend (GPT-5.5, Claude, Gemini, Qwen3-235B); GuardPO cải thiện F1 trên cả 4 so với SFT init.
Benchmarks bên ngoài (R-Judge, ASSE-Safety, ATBench): accuracy cao nhất trên ASSE-Safety (91.5%) và ATBench (88.4%); worst-case F1 cao nhất (88.3%) so với 80.7% của baseline tốt nhất; khoảng cách precision-recall nhỏ nhất (<1.1 điểm).
Ablation: execution-grounded data đơn lẻ chỉ ngang BraveGuard; GuardPO cộng thêm +10.4 điểm trên cross-agent traces → cả hai thành phần đều cần thiết.
Transfer sang kiểm duyệt query đa ngôn ngữ (NSFA): 88.89% accuracy, vượt AgentDoG1.5-FG +3.37 điểm F1.

IV. Conclusion & Future Works:

Nguyên tắc rút ra: guard an toàn cho computer-use agents phải được huấn luyện trên bằng chứng hành vi thực tế (execution evidence) và tối ưu ở cấp quyết định an toàn, không phải cấp token nội dung. Kết hợp canonical event schema (thu hẹp khoảng cách giữa các framework) với GuardPO (khớp mục tiêu tối ưu với quyết định vận hành) cho phép một guard duy nhất hoạt động tốt xuyên suốt các hệ thống agent dị biệt. Giới hạn còn lại: recall thấp trên một số lớp rủi ro (resource abuse 42.95%, sensitive information 69.22%) và trade-off recall/F1 ở một số backend — hướng đi tự nhiên là hiệu chỉnh theo từng loại rủi ro và mở rộng phủ các taxonomy rủi ro còn yếu.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng canonical event schema cho các loại agent mới (mobile UI agents, multi-agent systems) để một guard duy nhất bao phủ toàn bộ hệ sinh thái agent.
Nghiên cứu hiệu chỉnh GuardPO theo taxonomy rủi ro (risk-aware advantages) để cải thiện recall trên các lớp yếu như resource abuse và lộ thông tin nhạy cảm.
Kết hợp HazardAuditor với cơ chế can thiệp runtime (blocking, sandboxing) để đóng vòng lặp từ phát hiện sang ngăn chặn hành vi nguy hiểm trong thời gian thực.
Ứng dụng tư tưởng decision-level optimization cho các bài toán moderation khác (content moderation đa ngôn ngữ, jailbreak detection) nơi nhãn là quyết định nhị phân nhưng output là reasoning dài.

2. Patent:

Hệ thống giám sát an toàn tập trung cho trợ lý AI trên điện thoại: một module duy nhất thu log từ nhiều ứng dụng/agent khác nhau, chuẩn hóa thành định dạng sự kiện chung, phân tích hành vi gọi API (gửi tin nhắn, đọc danh bạ, truy cập vị trí) rồi chặn tự động thao tác nguy hiểm trước khi thực thi.
Trình duyệt có guard agent tích hợp: quan sát toàn bộ lịch sử thao tác của agent tự động điền form, click, gọi extension; phân biệt nội dung độc hại chỉ hiện trên màn hình với hành động thực sự gửi dữ liệu ra ngoài, và xác nhận với người dùng khi phát hiện hành vi rủi ro.
Cơ chế chấm điểm an toàn không phụ thuộc độ dài giải thích cho mô hình kiểm duyệt AI: chuẩn hóa loss theo từng phản hồi hoàn chỉnh (không theo token) để huấn luyện mô hình kiểm duyệt công bằng giữa các mẫu phân tích ngắn và dài, triển khai được trên môi trường edge/cloud.
Nền tảng red-teaming có gắn nhãn tự động cho nhiều framework agent: chạy agent trong sandbox, tự động dán nhãn safe/unsafe dựa trên lời gọi tool và tác động môi trường, xuất bộ dữ liệu huấn luyện guard chuẩn hóa dùng chung cho doanh nghiệp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.15134
ArXiv Abstract	https://arxiv.org/abs/2609.15134
PDF Download	https://arxiv.org/pdf/2609.15134.pdf
Github Repository	https://github.com/Yunhao-Feng/HazardAuditor

16. LLaDA-UI: Bringing Block-wise Diffusion to Vision-Language GUI Agents (13 votes)

Tác giả: Zhangxuan Gu, Haoxing Chen, Qi Qin, Yi Xin, Kai Gan, et al.

Xuất bản lúc: 2026-09-09

Tag: Diffusion LLM, GUI Agents, Vision-Language Model, Block-wise Diffusion, Multimodal, MoE, Mobile Agents

I. Main Problem:

Các GUI agent hiện đại dựa trên mô hình autoregressive (AR) sinh token tuần tự, dẫn đến:

Độ trễ inference cao, kém phù hợp với tác vụ GUI cần phản hồi thời gian thực
Cấu trúc nhân quả cứng nhắc, khó tận dụng ngữ cảnh hai chiều để tinh chỉnh đầu ra
Các diffusion LLM (dLLM) đã chứng tỏ sinh song song hiệu quả trong xử lý văn bản, nhưng chưa từng được mở rộng thành GUI agent đa phương thức vừa nhìn màn hình liên tục, vừa phát ra hành động khả thi qua nhiều bước dài hạn — đây là câu hỏi mở mà bài báo giải quyết.

II. Main Idea:

Đưa block-wise diffusion vào GUI agent: thay vì sinh token từng chữ một, LLaDA-UI (16.7B tham số, kiến trúc MoE) xuất phát từ chuỗi token bị che (mask) và tinh chỉnh dần toàn bộ khối token song song — reasoning, thẻ hành động, tọa độ click — cho đến khi sạch nhiễu.

Pipeline hai giai đoạn:

Multimodal pre-training: nối vision encoder (SigLIP, native dynamic-resolution, RoPE 2D) với backbone ngôn ngữ LLaDA2.0-mini-base qua ba giai đoạn — alignment (5B token, chỉ train projector), nâng cảm nhận (70B token, full-parameter), đa tác vụ (70B token)
GUI-Agent SFT: tinh chỉnh trên hơn 6M mẫu trajectories thu thập từ 100+ app tiếng Trung, 70+ app tiếng Anh cùng desktop/web, đầu ra dạng chuẩn <action>...</action> hoặc điểm grounding trực tiếp
Kỹ thuật tối ưu riêng: load balancing không cần auxiliary loss cho MoE, mask-token reweighting theo căn bậc hai nghịch đảo, và complementary masking (mỗi token được nhìn và dự đoán đúng một lần)

Ví dụ đời thường: giống như điền một tờ giấy mà thay vì viết từng dòng một, ta phác tất cả các mục đồng loạt bằng bút chì nhạt rồi tô đậm dần từng vùng cho sắc nét — nhanh hơn mà vẫn chỉnh sửa được cả vă bối cảnh hai chiều.

III. Main Results:

Grounding/navigation: vượt Qwen2.5-VL-7B trên mọi benchmark; vượt Qwen3-VL-8B (cùng quy mô, autoregressive) trên 4/6 benchmark — ScreenSpot-Pro (52.9% vs 52.7%), AndroidWorld (53.5% vs 47.9%), MobileWorld (25.6% vs 9.4%), WebVoyager (56.9% vs 45.2%); OSWorld còn hụt (29.4% vs 33.9%).
Foundation (trước GUI SFT, chỉ 145B token): đạt SOTA mới trong nhóm mô hình diffusion-MLLM, hơn SDAR-VL-8B tới +13.6% (MathVision) và +31.1% (MathVerse).
Tốc độ: nhanh hơn Qwen3-VL-8B 3.6–9.0 lần về latency API không cache-hit (Web 4.8s vs 17.1s, OSWorld 6.4s vs 43.5s, MobileWorld 5.9s vs 53.0s).
Ablation: tắt EOS early-stop tăng success +9.9 điểm; block 64 + 16 bước sụt từ 42.7% xuống 33.0% — block nhỏ và nhiều vòng tinh chỉnh là chìa khóa.
Độ tin cậy định dạng: 98.65% câu trả lời parse được, 100% tọa độ hợp lệ; thất bại chủ yếu do lặp hành động (26.7% bước lặp trong trajectory hỏng) và grounding độ phân giải cao trên desktop.

IV. Conclusion & Future Works:

LLaDA-UI chứng minh diffusion generation khối là paradigm khả thi cho GUI agent đa phương thức — vừa giữ lợi thế song song giảm latency, vừa đạt hiệu suất cạnh tranh với autoregressive cùng quy mô. Hạn chế: lặp vòng trong tác vụ dài hạn và nhận diện màn hình độ phân giải cao (OSWorld). Hướng tương lai hợp lý: cải thiện khả năng thoát vòng lặp dài hạn, nâng cấm cảm nhận native-resolution cho mục tiêu nhỏ, và khai thác tối ưu hóa inference/cache riêng cho diffusion decoding.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chiến lược cache và KV reuse cho diffusion GUI agent để thu hẹp khoảng cách latency so với chế độ cache-hit của mô hình autoregressive trong tương tác nhiều bước.
Phát triển cơ chế phát hiện và phục hồi vòng lặp hành động dài hạn cho diffusion agent, kết hợp lịch sử tương tác vào quá trình denoise.
Cải tiến vision encoder và chiến lược nén ảnh cho grounding độ phân giải cao trên desktop, nơi mục tiêu nhỏ và màn hình lớn làm suy giảm chính xác pointing.

2. Patent:

Trợ lý điều khiển giao diện trên điện thoại dùng mô hình diffusion: ứng dụng gửi ảnh chụp màn hình, mô hình sinh song song toàn bộ chuỗi suy luận + hành động (click, vuốt, nhập text) rồi trả về một lần, giảm thời gian phản hồi cho thao tác tiếp theo.
Hệ thống test tự động UI bằng agent diffusion: thay QA thủ công, agent tự quan sát màn hình app, sinh đồng thời nhiều bước kiểm thử song song và báo cáo điểm lỗi tọa độ chính xác trên nhiều thiết bị di động/desktop cùng lúc.
Tính năng trợ năng điều khiển thiết bị bằng giọng nói: người dùng nói mục tiêu, mô hình trên điện thoại nhìn màn hình và sinh nhanh chuỗi thao tác hoàn chỉnh (điều hướng, điền form) nhờ giải mã block-wise, phù hợp thiết bị tầm trung cần latency thấp.
Dịch vụ đám mây tự động hóa workflow văn phòng: agent diffusion nhận ảnh chụp desktop, sinh đồng thời reasoning và chuỗi hành động xuyên ứng dụng (copy dữ liệu từ Excel sang email), thực thi qua API hệ điều hành với xác thực định dạng hành động nội bộ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.13287
ArXiv Abstract	https://arxiv.org/abs/2609.13287
PDF Download	https://arxiv.org/pdf/2609.13287.pdf
Github Repository	https://github.com/inclusionAI/LLaDA-UI

17. When Agents Slow Down: Understanding LLM Agents' Test-Time Strategies via Elo-per-token Analysis (12 votes)

Tác giả: Kaiyuan Liu, Qiuyang Mang, Bo Peng, Wenhao Chai, Hanchen Li, et al.

Xuất bản lúc: 2026-09-14

Tag: LLM Agents, Test-Time Scaling, Elo Rating, Bradley-Terry Model, Scaling Laws, Continual Learning, Agent Evaluation, Benchmarks

I. Main Problem:

Không có cách nào đo agent performance tăng thế nào khi tăng test-time compute. Khó khăn cốt lõi:

LLM agents tự quyết test-time strategy (chỉnh sửa lời giải, gọi tool, khám phá nhánh, quyết định dừng), không giống repeated sampling có thể kiểm soát từ ngoài.
Benchmark chuẩn như SWE-bench chỉ trả pass/fail cuối cùng, loại bỏ toàn bộ tiến trình trong session.
Benchmark mở (GPU kernel, heuristic contest) có điểm số liên tục nhưng thang điểm không so sánh được giữa các task, và trong cùng một task, tăng từ 80→81% có thể khó hơn 50→60%.
Vậy: agent có đang biến token thành chất lượng nhanh hơn hay chậm hơn independent sampling? Chưa ai đo được.

II. Main Idea:

Elo-per-token analysis: thay vì chấm điểm, ta xếp hạng các submission. Cách hoạt động:

Theo dõi best-so-far score của agent tại mỗi mức token budget trong session (tới 100M tokens).
So sánh pairwise giữa các submission của mọi agent, mọi budget, mọi session trên cùng một task (ai cao điểm hơn thắng).
Mô hình Bradley–Terry gộp các kết quả pairwise thành Elo rating cho từng agent tại từng budget → ra đường cong Elo theo log budget, so sánh được xuyên task vì Elo chỉ phụ thuộc thứ hạng trong task.
Đường chuẩn tham chiếu: independent sampling (chạy k lần độc lập, giữ kết quả tốt nhất) được chứng minh tăng đúng 400 Elo mỗi decade token — tức tuyến tính theo log compute. Độ dốc này làm mốc: trên nó thì kéo dài session hiệu quả hơn, dưới nó thì chạy nhiều session song song hiệu quả hơn.
Scaling inflection point: điểm đường cong agent cắt xuống dưới đường chuẩn 400 — dùng để quyết định chia budget giữa chiều sâu (session dài) và chiều rộng (nhiều session ngắn).

Ví dụ đời thường: giống thợ giỏi làm một món suốt nhiều giờ: lúc đầu mỗi giờ cải thiện rõ rệt hơn việc nhờ 10 người mỗi người làm thử một lần, nhưng sau một thời điểm, cứ ngồi thêm thì chỉ tinh chỉnh vụn vặt — lúc đó thuê thêm vài người làm thử từ đầu lại cho kết quả tốt hơn. Điểm chuyển đổi đó chính là scaling inflection point.

III. Main Results:

Agents hạ xuống tốc độ independent sampling: trên 4 benchmark (FrontierCS, ALE-Bench, MLS-Bench, FlashInfer-Bench) và 4 agent (Kimi K2.7, GPT-5.5, Opus 4.8, Gemini 3.5 Flash), vài compaction đầu context window agents tăng nhanh hơn 400 Elo/decade, nhưng sau đó độ dốc giảm dần và tụt xuống dưới đường chuẩn — performance chỉ còn tăng log-linear hoặc tệ hơn sampling thuần.
Con người scale superlinear: trên dữ liệu thật AtCoder Heuristic Contest, top-10 và top-50 contestants tăng nhanh dần theo thời gian (convex trong log time), tiếp tục cải thiện nhiều ngày và top-10 vượt cả hai agent trong khi agent đã bão hòa sau ~1 ngày — bằng chứng của continual learning mà agents hiện tại thiếu.
Ứng dụng chia budget: trên FrontierCS Polyomino Packing, dùng inflection point để chia 100M tokens thành 3 session song song thu được +264 Elo so với 1 session dài và +355 Elo so với 10 session ngắn; trên MLS-Bench cách chia này cũng thắng cả hai cực trị.
Có thể tái lập: sweep 4 kích thước model Qwen3.5 cho cùng dạng đường cong; human Elo dựng được từ lịch sử submission cũ rejudged cùng evaluator.

IV. Conclusion & Future Works:

Đóng góp chính:

Elo-per-token: metric đặt agents, sampling baselines và con người lên cùng một thang đo xuyên task và xuyên budget, cho phép đánh giá compute-aware cả continual learning trong một task.
Chứng minh independent sampling cho đường cong tuyến tính theo log compute (400 Elo/decade), và thực nghiệm cho thấy agents không scale nhanh hơn đường này sau vài lần compaction → context management vẫn là vấn đề lớn.
Đưa ra quy tắc phân bổ budget cố định: đọc từ đường cong Elo-per-token, budget càng lớn càng nên chia nhiều session song song.

Kết luận lớn: khoảng cách agents ↔ humans nằm ở khả năng học liên tục từ feedback trong một bài toán — agents hiện tại gần như 'memoryless sampling' sau khi context đầy, trong khi con người tích lũy hiểu biết và tăng tốc. Hướng tương lai hàm ý: cần test-time strategies duy trì được slope trên đường chuẩn ở budget lớn, và kiểm tra các chiến lược tối ưu hóa feedback-driven / test-time training có đổi được hình dạng đường scaling không.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Elo-per-token sang human-agent joint rating trên nhiều contest lập trình thi đấu, định lượng chính xác khoảng cách continual learning giữa người và agent theo từng mốc thời gian.
Nghiên cứu agent với cơ chế bộ nhớ ngoài / học liên tục trong session để kiểm chứng có thể duy trì độ dốc Elo trên đường chuẩn 400 Elo/decade ở budget 1 tỷ token hay không.
Xây dựng bộ dự đoán scaling inflection point trực tuyến: ước lượng điểm uốn từ vài giờ chạy đầu để tự động quyết định dừng session và khởi động session song song mới trên hạ tầng agent thương mại.
Áp dụng framework cho bài toán tối ưu tự động trong doanh nghiệp (tuning pipeline, thiết kế quảng cáo, cấu hình hệ thống) với ngân sách compute cố định và điểm chấm tự động.

2. Patent:

Hệ thống tự động phân bổ ngân sách token cho trợ lý AI trên điện thoại: theo dõi Elo ước lượng của lời giải theo số token đã dùng, khi độ dốc cải thiện tụt xuống dưới ngưỡng thì tự động khởi động phiên mới song song thay vì tiếp tục phiên hiện tại, trả về kết quả tốt nhất.
Ứng dụng lập trình thi đấu trên di động: chấm điểm từng submission của người dùng, xếp hạng pairwise qua mô hình Bradley–Terry trên máy chủ, hiển thị đường cong xếp hạng Elo theo thời gian thi và gợi ý nên tiếp tục cải tiến bài hiện tại hay bắt đầu lại từ đầu.
Bộ điều phối nhiều phiên agent trên đám mây cho doanh nghiệp: công cụ quản trị chia ngân sách token tổng giữa số lượng và độ dài các phiên tối ưu hóa (kernel, tham số ML) dựa trên điểm uốn scaling đo được, tối đa hóa chất lượng đầu ra mỗi đồng compute.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.15309
ArXiv Abstract	https://arxiv.org/abs/2609.15309
PDF Download	https://arxiv.org/pdf/2609.15309.pdf
Github Repository	N/A

18. Agent as Policy for Robotic Manipulation (11 votes)

Tác giả: Mengzhao Jia, Yang Lin, Xixin Zhang, Zhihan Zhang, Xiaobai Liu, et al.

Xuất bản lúc: 2026-09-11

Tag: Robotics, LLMs, MLLMs, Agentic Systems, Tool Use, Runtime Programming, Zero-shot Manipulation, Robot Manipulation, Bimanual Manipulation, Deformable Objects

I. Main Problem:

Các hệ thống robot dùng tác tử ngôn ngữ hiện có thường đi theo hai hướng hẹp: hoặc sinh chương trình trước rồi robot chạy theo kịch bản cố định, hoặc điều phối các policy đã học sẵn để chọn kỹ năng tiếp theo. Cả hai đều khó xử lý khi quan sát không chắc chắn, vật lệch vị trí, lắp ráp hỏng, hoặc cần đổi hướng tiếp cận ngay tại runtime. Hậu quả là robot thiếu khả năng tự điều chỉnh cả nhận thức lẫn sinh chuyển động theo phản hồi vật lý, đặc biệt trong tác vụ dài hạn, vật biến dạng, hoặc thao tác hai tay.

II. Main Idea:

Agent as Policy dùng một tác tử đa năng làm chính policy điều khiển robot, không cần huấn luyện riêng cho từng tác vụ hay môi trường. Hệ thống gồm:

Task preparation: một coding agent đọc yêu cầu từ video/hình/ngôn ngữ để tạo task definition tái sử dụng: mục tiêu, ràng buộc, tiêu chí hoàn thành, ngân sách, quyền truy cập interface.
Execution agent: tại runtime giữ workspace có script, ghi chú, ảnh, phép đo; tự chọn tool call theo (u_k \sim \pi_\theta(\cdot|g,I,H_k,W_k)), trong đó tham số mô hình cố định.
Agent-robot bridge: robot gửi ảnh overhead, ảnh wrist kèm depth, trạng thái khớp và pose end-effector; agent yêu cầu quan sát hoặc gửi lệnh chuyển động, mở/kẹp gripper. Controller dùng IK để biến target pose thành quỹ đạo khớp và trả về sai số sau motion.
Runtime programming: agent viết/chỉnh Python để đo vị trí vật, tính target pose, kiểm tra kết quả, lưu bằng chứng; sau mỗi hành động dùng feedback để sửa estimate, đổi grasp, đổi hướng insert, hoặc thu thập thêm bằng chứng.

Ví dụ đời thường: giống người thợ lành nghề vào bếp lạ: nhìn recipe quay video, mở tủ kiểm tra nguyên liệu, tự viết sơ đồ bước làm, nếm thử rồi chỉnh lửa/mùi vị ngay — thay vì rung theo một kịch bản đã đóng thành phim.

III. Main Results:

Zero-shot trên robot thật rất mạnh: assembly 8/10; block construction pyramid 10/10, two towers 10/10, six-block tower 9/10; dice flipping 10/10; targeted throwing potato 2/2; bimanual towel folding sequential 5/5 nhưng simultaneous chỉ 3/5.
Chi phí tăng theo độ phức tạp: four-pair assembly mất trung bình 37.2 phút, 13.02M tokens, 16.62 USD; block construction khoảng 20.6-28.2 phút, 7.94-11.57M tokens, 9.92-14.93 USD; dice flipping 37.9 phút, 21.07 USD. Ở throwing, cú ném xong sau trung bình 13.9 phút, phần còn lại là phân tích quỹ đạo và kiểm chứng.
Vật biến dạng là điểm yếu rõ: sequential towel folding thành công 5/5 nhưng tốn 50.8 phút và 24.14 USD; simultaneous folding chỉ 3/5, cho thấy phối hợp động học vải hai tay còn khó.
So sánh model/agent: GPT-6 Astra đạt 5/5 ở low/medium/high effort; GPT-5.6 Sol 5/5 với giá rẻ hơn nhưng chậm hơn; GPT-5.6 Terra 1/5, Luna 0/5; Claude Opus 5 đạt 5/5, Claude Fable 5.1 chỉ 3/5.
Tích lũy kinh nghiệm giúp nhanh hơn: lặp assembly hai cặp 5 lần, thời gian task giảm 29.3% từ lần 1 đến lần 5; response latency giảm 47.0%, tool execution tăng nhẹ 9.3%. Task tháo/lắp vòng nhẫn cũng nhanh hơn sau chu kỳ đầu.
Truyền kinh nghiệm mạnh → yếu: truyền file kinh nghiệm từ GPT-6 Astra sang GPT-5.6 Terra làm success tăng 1/5 → 4/5; trên các trial thành công, completion time giảm 34.3%, token usage giảm 11.4%, inference cost cũng giảm.

IV. Conclusion & Future Works:

Kết quả ủng hộ khả năng dùng general-purpose foundation multimodal LLM như một robot policy: tác tử có thể hiểu chỉ dẫn đa phương thức, lập trình runtime, gửi motion target, đọc feedback vật lý và tự phục hồi trong zero-shot manipulation. Rào cản lớn vẫn là thời gian chạy, chi phí inference và độ tin cậy với vật biến dạng/phối hợp hai tay. Hướng đi tiếp theo gồm cắt latency và token cost, nâng cao memory/experience schema để tái sử dụng an toàn giữa các robot, cải thiện kiểm chứng vật lý sau mỗi bước, và mở rộng sang tác vụ dài hạn, động, nhiều tay, nhiều vật biến dạng.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng agent-as-policy cho tác vụ robot dài hạn có vật biến dạng, với kiểm chứng trạng thái vật lý sau từng chu kỳ và cơ chế phục hồi khi grasp/insert/throw lệch.
Phát triển định dạng bộ nhớ kinh nghiệm cho robot: lưu procedures, phép đo, corrections, scripts theo cách có thể chuyển giao giữa các model và nền tảng robot khác nhau mà không làm rò rỉ trạng thái cũ.
Tối ưu runtime reasoning cho robot agent: giảm số tool call, cache chương trình hình học, và cân bằng giữa suy luận dài với phản hồi vật lý theo thời gian thực.
Xây dựng benchmark zero-shot manipulation đánh giá cả success lẫn chi phí inference, latency, số lần quan sát/hành động, và khả năng tái sử dụng kinh nghiệm.
Khảo sát human-in-the-loop an toàn: khi nào agent nên tự sửa, khi nào nên dừng xin xác nhận, và cách ghi bằng chứng vật lý để người vận hành kiểm chứng nhanh.

2. Patent:

Ứng dụng điện thoại dạy robot lắp ráp theo video ngắn: người dùng quay một lần thao tác lắp ốc/vòng/bạc; điện thoại gửi video và ảnh hiện trường lên hệ thống, hệ thống tạo checklist, đo vị trí chi tiết, điều khiển cánh tay robot thực hiện rồi chụp ảnh xác nhận từng cặp đã ăn khớp.
Chế độ phone-camera setup cho robot cell mới: người vận hành đặt điện thoại ở góc tùy ý; robot chạy vài động tác hiệu chuẩn ngắn, ứng dụng trên điện thoại tính vị trí camera, chuyển sang tọa độ robot và lưu lại để lần sau khôi phục góc quay mà không cần hiệu chuẩn chuyên nghiệp.
Ví trữ thao tác trên điện thoại cho dây chuyền nhỏ: mỗi lần robot làm thành công một mã hàng, điện thoại lưu lại thông số kẹp, tọa độ lắp, lỗi đã gặp và cách sửa; quét mã sản phẩm ở lần chạy sau sẽ nạp lại quy trình đã kiểm chứng để giảm thời gian và số lần thử.
Trợ lý gấp khăn/vải cho nhà hàng hoặc gia đình qua điện thoại: người dùng quay một đoạn gấp khăn; hệ thống phân tích chuyển động, lập trình hai cánh tay robot phối hợp, dùng camera kiểm tra nếp gấp sau từng bước và tự làm lại nếu vải bị xô lệch.
Module an toàn cho robot khi thao tác lặp lại: nếu sau một số lần thử mà ảnh camera vẫn không đạt tiêu chí, ứng dụng điện thoại hiển thị bằng chứng hình ảnh, gợi ý nguyên nhân có thể và yêu cầu người vận hành chọn dừng, đặt lại vật, hoặc chuyển sang quy trình dự phòng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.12541
ArXiv Abstract	https://arxiv.org/abs/2609.12541
PDF Download	https://arxiv.org/pdf/2609.12541.pdf
Github Repository	N/A

📰 Summary of Papers​

1. Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation (562 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Atria Dawn: The Dawn of Agentic Superintelligence (388 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search (291 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Dream-RSI: Recursive Self-Improvement through Evolving Worlds (263 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models (169 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. RSIAgent: Autonomous Exploration for Recursive Self-improvement in New Environments (64 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction (60 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. LynnReal-Omni: Native multi-modal Video Generation for Agentic Visual Workflows (46 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus (26 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation (562 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Atria Dawn: The Dawn of Agentic Superintelligence (388 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search (291 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Dream-RSI: Recursive Self-Improvement through Evolving Worlds (263 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models (169 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. RSIAgent: Autonomous Exploration for Recursive Self-improvement in New Environments (64 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction (60 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. LynnReal-Omni: Native multi-modal Video Generation for Agentic Visual Workflows (46 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus (26 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: