🤗 Daily Hugging Face Paper Digest - 2026-10-21

Báo cáo được tạo tự động vào lúc 2026-10-22 10:37:36 bằng mô hình hermes-agent.

📰 Summary of Papers

Tác giả: Fuyao Zhang, Wenwen He, Jiaming Zhang, Yurong Hao, Xuan Wang, et al.

Xuất bản lúc: 2026-10-19

Tag: GUI Agents, Omni-Modal Learning, Multimodal LLMs, Agent Attention, Residual Adapter, Test-Time Adaptation

I. Main Problem:

Các tác tử GUI (GUI agents) hiện đại nhận đầu vào omni-modal (ảnh màn hình, video, âm thanh, lịch sử tương tác, trạng thái thiết bị) và phải chọn hành động ở mỗi bước. Vấn đề: độ liên quan của từng kênh thay đổi theo từng bước và rất thưa — thống kê từ paper cho thấy kênh chiếm ưu thế đổi ở 45.3% các bước liền kề, 90.1% bước có ít nhất một kênh gây nhiễu, và vùng cần tương tác chỉ chiếm trung vị 0.87% diện tích màn hình.

Vì mỗi hành động đã thực thi lại quay về làm ngữ cảnh cho bước sau, một lần đọc sai bằng chứng sẽ tích lũy thành Sequential Distraction — lệch quỹ đạo không thể phục hồi. Cách sửa trực giác (cắt/phóng vùng màn hình như OmniParser, RegionFocus) bỏ qua kênh âm thanh/video/trạng thái và mất nền ngữ cảnh cần để định vị tọa độ.

II. Main Idea:

FocusGUI — adapter nhẹ gắn lên backbone omni-modal đóng băng, không đụng đến đầu vào hay tham số gốc. Nguyên lý: thay vì cho mô hình xem ít hơn, hãy thay đổi cách decoder đọc quan sát. Quy trình mỗi bước:

Tách quan sát thành các kênh perceptual riêng biệt (ảnh, video, audio, history, trạng thái, hidden state tổng hợp, kênh spatial)
Chấm điểm từng kênh theo độ tương thích với ngữ cảnh quyết định của bước hiện tại (step-adaptive prioritization, softmax theo nhiệt độ)
Nén biểu diễn ưu tiên thành latent compact 64 chiều (đủ cho hành động, không cần mang toàn bộ bằng chứng)
Chiếu latent thành residual khởi tạo bằng 0 cộng vào 4 embedding ngay trước vị trí sinh action — phân bổ lại attention mà không xóa thông tin gốc

Chỉ huấn luyện bằng action supervision (log-likelihood token hành động), không cần nhãn kênh nào quan trọng; chi phí chỉ 1.15–1.45M tham số trainable.

Ví dụ đời thường: giống người phục vụ đứng cạnh đầu bếp — thay vì che bớt nguyên liệu trên bàn (làm mất nền), người đó chỉ khẽ gõ tay chỉ vào đúng thứ cần dùng cho món ăn hiện tại, để đầu bếp tự nhìn toàn bộ bếp nhưng biết nên tập trung đâu.

III. Main Results:

Bốn backbone (Qwen2.5-Omni, VITA-1.5, MiniCPM-o 4.5, Baichuan-Omni-1.5): trung bình Type Match +33.2 điểm (31.0% → 64.2%) và Exact Match ×3.0 (11.2% → 33.5%) so với backbone đóng băng; +30.1 TM so với phương pháp cải thiện mạnh nhất.
Tốt nhất cả 24 ô backbone × loại tác vụ về TM và EM; trên MiniCPM-o đạt EM 41.5%.
Các phương pháp cắt màn hình gây hại: TM gần như không đổi (+0.9) nhưng EM giảm 28%, Goal Progress giảm 35% tương đối — cắt nền làm hỏng grounding tọa độ/chữ.
Đúng như dự đoán về Sequential Distraction: Qwen2.5-Omni mất một nửa TM từ bước 1 đến bước 4+, trong khi FocusGUI giữ 86.8%; gain EM tăng đều theo độ sâu (+22.5 → +35.3). Với tác vụ phản xạ tức thời (Instant) ở bước đầu, FocusGUI ngang backbone — chỉ tách ra khi lịch sử bắt đầu tích lũy.
Ablation: cả 4 thành phần (channel decomposition, prioritization, compact projection, residual alignment) đều đóng góp, và đóng góp gấp 4–5 lần cho Goal Progress so với TM — chủ yếu giữ quỹ đạo khỏi đứt.
Ưu tiên học được tự tái sắp xếp: trạng thái tương tác chiếm 30.9% ưu tiên ở bước mở đầu rồi tụt còn 7.7% ở cuối episode; audio/video tăng dần ngược lại — hoàn toàn không có supervision kênh nào.
Nhạy cảm thấp với siêu tham số: K từ 1–16 chỉ dao động TM ~2.6 điểm; dz=64 là điểm ngọt.

IV. Conclusion & Future Works:

Paper xác định Sequential Distraction — lỗi đọc bằng chứng tích lũy qua các bước vì độ liên quan là thuộc tính của từng bước, không phải của quan sát tĩnh — là thách thức chính của tác tử GUI omni-modal. FocusGUI chứng minh hướng giải đúng là điều chỉnh cách decoder đọc (residual tại action boundary) thay vì cắt xén đầu vào, và cải thiện mạnh nhất ở các bước sâu mà backbone gốc đã thất bại. Hướng tương lai: mở rộng prioritization để dự đoán trước độ liên quan của kênh (thay vì chỉ dựa trên quan sát hiện tại), giúp ngăn drift sớm hơn trong chuỗi tương tác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Focused Perception sang dự đoán ưu tiên kênh có tính dự báo (anticipatory channel relevance) để ngăn Sequential Distraction ngay từ những bước đầu episode.
Áp dụng cơ chế prioritization + residual conditioning cho tác tử điều khiển thiết bị đa màn hình / đa ứng dụng đồng thời, nơi kênh nhiễu từ nhiều luồng sự kiện còn dày đặc hơn.
Kết hợp FocusGUI với active perception không gian: học đồng thời khi nào nên cắt-zoom vùng màn hình và khi nào nên tin kênh streaming (audio/video), tận dụng cả hai trục chọn lọc.

2. Patent:

Trợ lý điều khiển điện thoại bằng giọng nói đa kênh: module nhỏ gắn thêm trên mô hình AI của điện thoại tự đánh giá mức quan trọng giữa màn hình, âm thanh môi trường, video đang phát và lịch sử thao tác ở từng thời điểm, rồi nhẹ nhàng dồn sự chú ý của mô hình vào đúng kênh — giúp điện thoại thực hiện đúng thao tác ngay cả khi lệnh phụ thuộc vào âm thanh (ví dụ: 'bấm dừng khi nghe tiếng còi').
Hệ thống giảm lỗi dồn lũy cho robot phần mềm tự động hóa giao diện: bộ chấm điểm kênh quan sát chạy song song với mô hình nền không chỉnh sửa, phát hiện và triệt tiêu kênh gây nhiễu ở từng bước để chuỗi thao tác dài không bị lệch dần.
Adapter tiết kiệm tài nguyên cho trợ lý AI trên thiết bị biên: chỉ ~1.4 triệu tham số huấn luyện được bằng dữ liệu hành động thuần túy (không cần gán nhãn kênh nào quan trọng), nâng độ chính xác chọn và thực thi thao tác giao diện mà không phải fine-tune lại toàn bộ mô hình lớn trên máy người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26203
ArXiv Abstract	https://arxiv.org/abs/2610.26203
PDF Download	https://arxiv.org/pdf/2610.26203.pdf
Github Repository	https://github.com/fyzhang1/FocusGUI

2. Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience (182 votes)

Tác giả: Tianqi Liu, Hanfei Zhao, Qifeng Liang, Hui En Pang, Jiarui Xu, et al.

Xuất bản lúc: 2026-10-19

Tag: World Models, Loco-Manipulation, Cross-Embodiment, Robotics, Egocentric Video, Humanoid Robots, Video Generation

I. Main Problem:

Các world model robot hiện đại chủ yếu giải bài toán manipulation tĩnh (robot gắn cố định, tay gắp đơn giản), bỏ qua hai thách thức lớn:

Loco-manipulation: kết hợp di chuyển (làm góc nhìn thay đổi liên tục) với thao tác tay đa ngón (dexterous hands)
Khái quát hóa xuyên hình thái (cross-embodiment): mỗi robot có không gian hành động riêng, nên các mô hình trước (DreamDojo, Cosmos) cần head/projection riêng và điều chỉnh lại cho từng embodiment mới
Dữ liệu khan hiếm: dữ liệu egocentric công khai thiếu camera trajectory metric, pose tay nhiễu, format không thống nhất, quy mô không đủ để huấn luyện world model tổng quát

II. Main Idea:

Ropedia W0 là world model egocentric đầu tiên cho loco-manipulation xuyên embodiment (người, robot gắp, humanoid đa ngón) trong một mô hình duy nhất. Ý tưởng cốt lõi:

Một giao diện điều kiện hóa thống nhất cho mọi embodiment: camera pose (mã hóa locomotion — góc nhìn thay đổi khi di chuyển) + skeleton chiếu 2D lên ảnh (mã hóa manipulation) — cùng kiểu điều kiện từ pre-training đến post-training, không cần head riêng cho từng robot
Xp-Data: ~10k giờ video egocentric người + ~3k giờ robot, pipeline có người kiểm tra (annotated camera trajectory, skeleton tay, caption phân tầng), nhân viên con người sửa lỗi forward kinematics của robot
Tận dụng trải nghiệm người làm nguồn học dồi dào cho robot; thêm Xp-Teleop, benchmark teleoperation humanoid dài hạn
Distillation cho phép rollout thời gian thực, dài cả phút, tương tác VR trực tiếp

Ví dụ đời thường: giống người thợ dạy nghề không cần nói tên từng cơ bắp của từng học trò — chỉ cần vẽ khung xương động tác lên hình và cho biết đầu quay đi đâu, thì bất kỳ ai (hay robot nào) nhìn vào cũng hiểu và bắt chước được.

III. Main Results:

SOTA trên 5 benchmark xuyên embodiment: DreamDojo, Ψ0, ω-HOME, Xp-Teleop (mới), AgiBot — từ zero-shot, few-shot đến full-data post-training
Scaling tốt: tăng dữ liệu pre-training người từ 1k → 10k giờ cải thiện đều cả trên đánh giá video người (ATE camera 2.21 → 1.79 cm) lẫn robot (LPIPS trên Unitree G1: 0.427 → 0.365)
Ablation: camera pose và skeleton conditioning bổ sung cho nhau, cả hai đều cần thiết
Distillation cho rollout real-time dài phút, hỗ trợ tương tác VR
Ứng dụng hạ nguồn: xếp hạng chính sách chính xác, planning quỹ đạo tốt hơn, học hành động robust hơn cả trong mô phỏng và robot thật

IV. Conclusion & Future Works:

Ropedia W0 chứng minh rằng một giao diện kinematic thống nhất (camera pose + skeleton chiếu ảnh) cho phép học world model loco-manipulation tổng quát xuyên người và robot, và dữ liệu video người là nguồn pre-training có giá trị thật cho robot. Mô hình khả năng scale với dữ liệu và mở ra ứng dụng trong đánh giá chính sách, planning và world–action modeling. Hướng mở: mở rộng dữ liệu/số embodiment, cải thiện rollout dài hạn và tích hợp sâu hơn với học chính sách end-to-end.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng world model egocentric cho hình thái mới bằng cách tự động trích xuất skeleton conditioning từ URDF của robot chưa từng thấy, loại bỏ hoàn toàn phần annotated thủ công.
Kết hợp Ropedia W0 với reinforcement learning để fine-tune chính sách hoàn toàn bên trong world model (dreamer-style) cho humanoid loco-manipulation dài hạn.
Nghiên cứu cơ chế transfer cụ thể: phân tách phần kiến thức vật lý học từ video người thuần túy khỏi phần động học đặc thù robot để hiểu tại sao pre-training người giúp robot.
Mở rộng Xp-Teleop thành benchmark chuẩn cộng đồng cho humanoid teleoperation với đánh giá closed-loop, không chỉ chất lượng video dự đoán.

2. Patent:

Trình mô phỏng VR trên điện thoại cho robot humanoid: người dùng đeo kính VR kết nối điện thoại, điều khiển avatar; world model dự đoán video thời gian thực từ tư thế tay và chuyển động đầu để huấn luyện hoặc thử nghiệm robot trước khi vận hành thật.
Hệ thống đánh giá nhanh chính sách robot qua camera điện thoại: quay video egocentric từ vai người thao tác, hệ thống chiếu skeleton và camera pose lên video để world model tự sinh kết quả hành động, xếp hạng nhiều chính sách điều khiển mà không cần chạy robot thật nhiều lần.
Module chuyển đổi 'xem người làm thành robot làm' cho sản xuất: camera ghi công nhân thao tác, pipeline tự trích skeleton + camera trajectory và điều khiển robot humanoid bắt chước cả di chuyển lẫn thao tác nhiều ngón trong một giao diện duy nhất.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26855
ArXiv Abstract	https://arxiv.org/abs/2610.26855
PDF Download	https://arxiv.org/pdf/2610.26855.pdf
Github Repository	https://github.com/Ropedia/ropedia-w0

3. Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds (182 votes)

Tác giả: Jihai Zhang, Runjia Qian, Kaiqin Kong, Biao Jiang, Puyi Wang, et al.

Xuất bản lúc: 2026-10-20

Tag: World Models, Video Generation, Diffusion, Game AI, Real-Time Rendering, Autoregressive Models

I. Main Problem:

Các mô hình world tương tác kiểu Genie tạo video có thể điều khiển được, nhưng chưa thật sự chơi được vì bốn vấn đề:

Không có hiệu chỉnh ngoài liên tục: trạng thái thế giới chỉ tồn tại ngầm trong pixel và context của mô hình, không được duy trì cho vùng ngoài tầm nhìn.
Lỗi tích lũy: sai lệch nhỏ cộng dồn qua sinh tự hồi quy, khiến cảnh dần sụp đổ.
Bộ nhớ theo từng khung hình: lưu toàn bộ frame lịch sử không nén nên chi phí tăng theo độ dài rollout.
Cơ chế gameplay hạn chế: tương tác chủ yếu là di chuyển, thiếu luật chơi thực thi được, hậu quả hành động bền vững và mục tiêu rõ ràng.

Thêm nữa, mô hình diffusion chủ yếu học tương quan thống kê — độ chân thực thị giác không đồng nghĩa hiểu nhân quả, nên video generator chưa phải foundation model cho world modeling.

II. Main Idea:

Tách việc chạy game khỏi việc vẽ game bằng một harness có thể thực thi, gồm ba vai trò:

Game Engine (trọng tài): duy trì trạng thái thế giới (máu, va chạm, nhiệm vụ) và xuất low-poly proxy — bản phác hình học đơn giản làm 'phác thảo cảnh' điều khiển vị trí, chuyển động, góc camera. Luật chơi nằm trong code, không suy đoán từ ảnh đã sinh.
Multimodal Coding Agent (nhà biên kịch + phiên dịch): theo hướng upstream, biến ý tưởng ngôn ngữ của người chơi thành code game và cảnh mới; theo hướng downstream, dịch trạng thái engine thành dynamic caption (mô tả cập nhật theo từng frame: vật nào đang thấy, trạng thái, sự kiện) bằng template quy tắc, không cần VLM.
Video Model (họa sĩ): mô hình V2V từ Wan2.2 5B, nhận proxy + caption + frame đầu + spatial-memory reference frames, sinh tự hồi quy theo từng chunk 4 frame với 1–2 bước khử nhiễu nhờ causal few-step distillation (Causal Forcing++ rồi asymmetric DMD), cùng tối ưu suy luận (CUDA Graph, kernel Triton fused, ring KV cache, decoder TAEHV nhẹ).

Ví dụ đời thường: giống sân khấu kịch — một người giữ kịch bản và đạo cụ (engine), một người viết lời mới theo yêu cầu khán giả (agent), còh họa sĩ chỉ lo quét màu lên phác thảo để mỗi giây đều có tranh đẹp, không phải tự nhớ ai đứng ở đâu.

III. Main Results:

Chơi thật 480p, 60 FPS trên một RTX 5090, độ trễ từ nhấn phím tới hiển thị 112 ms (giảm 9.9× so với 1110 ms trước tối ưu).
83 FPS throughput steady-state với 1 bước khử nhiễu, 18.2 GiB VRAM đỉnh; 2 bước đạt 57 FPS.
Vẫn chạy trên GPU phổ thông: ~67 FPS trên RTX 5080, ~58 FPS trên RTX 5070 Ti (16 GiB).
Tối ưu suy luận tăng tốc tổng thể 19× (4.5 → 83.4 FPS): CUDA Graph + FP8, kernel Triton fused, ring KV cache, attention chia cửa sổ song song, decode TAEHV, pipeline bất đồng bộ.
Bộ dữ liệu UE5 114,334 clip / 1,712 giờ (4 cảnh: castle, sa mạc Ai Cập, không chiến, city driving), mỗi clip gồm cặp RGB cao trung thực + proxy low-poly pixel-aligned và metadata theo frame; có held-out sessions kiểm chứng.
Minh họa game shooter và lái xe có cơ chế được engine thực thi, tạo/sửa gameplay bằng ngôn ngữ tự nhiên ('thêm khiên vỡ khi hết độ bền', 'biến time trial thành pursuit').
Mở mã nguồn: code, trọng số, asset low-poly.

IV. Conclusion & Future Works:

Kiến trúc 'code giữ luật, engine giữ trạng thái, video model vẽ từng frame' giải quyết triệt để lỗi tích lũy và bộ nhớ không nén của world model thuần video, đồng thời mở ra khả năng tạo/sửa game bằng ngôn ngữ tự nhiên. Few-step distillation + tối ưu suy luận đưa video-model gaming xuống GPU người tiêu dùng đơn lẻ. Định hướng tiếp theo gồm: mở rộng sang thế giới mở và gameplay đa dạng hơn, nhiều người chơi chia sẻ cùng world state với góc nhìn riêng, tận dụng coding agent ngày càng mạnh để hạ thấp rào cản xây game nhẹ, và cải thiện chất lượng render khi suy luận chỉ 1–2 bước.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng harness cho multiplayer: nhiều người chơi chia sẻ một world state duy nhất, mỗi client render góc nhìn riêng bằng video model với spatial memory cá nhân hóa.
Nghiên cứu generalization cross-scene: huấn luyện một renderer dùng chung cho nhiều loại game thay vì fine-tune mỗi game một model, kèm retrieval cảnh và vật thể theo yêu cầu.
Phát triển coding agent chuyên game: tự phân tích cân bằng gameplay, sinh quest và NPC dialogue, kiểm thử luật chơi tự động trong engine trước khi đưa vào thế giới.

2. Patent:

Ứng dụng game trên điện thoại: engine mô phỏng nhẹ chạy trên máy giữ trạng thái game và gửi bản phác hình học đơn giản lên đám mây; máy chủ dùng mô hình video biến phác thảo thành hình ảnh đẹp theo phong cách người chơi chọn, trả về trong thời gian thực.
Trình tạo game bằng giọng nói cho điện thoại: người dùng nói 'thêm khiên vỡ khi hết độ bền' hoặc 'đổi thành cuộc rượt đuổi trong thành phố'; trợ lý AI biến yêu cầu thành luật chơi mới và cảnh vẽ tương ứng, cập nhật ngay không cần tải lại game.
Hệ thống chuyển đổi phong cách đồ họa tức thì trong game streaming: game thật chỉ gửi hình học khung xương và vị trí vật thể, mô hình video trên máy chủ áo hóa toàn bộ thành phong cách hoạt hình, cổ trang hay tương lai theo lựa chọn của người xem.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.27999
ArXiv Abstract	https://arxiv.org/abs/2610.27999
PDF Download	https://arxiv.org/pdf/2610.27999.pdf
Github Repository	N/A

4. PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking (148 votes)

Tác giả: Pan Wang, Yihao Hu, Guangyuan Dong, Yitong Lin, Hang Wang, et al.

Xuất bản lúc: 2026-10-20

Tag: Looped Language Models, Length Generalization, State Tracking, Recurrent Depth, Latent Reasoning, Self-Distillation, Learned Halting

I. Main Problem:

Các mô hình ngôn ngữ lặp tiềm ẩn có thể chạy thêm vòng lặp ở test-time, nhưng thêm vòng lặp không tự động giúp giải bài dài hơn trong các tác vụ theo dõi trạng thái tuần tự. Vấn đề cốt lõi là:

Final-answer supervision không nói rõ vòng lặp thứ k nên tính tới đâu.
State drift: khi khối dùng chung lặp lại nhiều lần, độ lớn trạng thái dần thay đổi, làm bản đồ bước lặp không còn ổn định.
Tăng độ sâu cố định hoặc tăng tham số không thay thế được cách định nghĩa tiến độ cho từng vòng lặp: trên S5 train ≤16 bước, các baseline fixed-depth, recurrent, hoặc untied sâu hơn đều dưới ~2× extrapolation.

II. Main Idea:

PAR đưa ra nguyên tắc depth–length correspondence: vòng lặp thứ k phải dự đoán trạng thái sau k bước đầu tiên, thay vì chỉ nhắm tới đáp án cuối. Cụ thể:

Retrofitted looped LM: tách Qwen thành prelude, weight-tied core và coda; core được lặp lại nhiều lần.
Progress-aligned targets: huấn luyện đầu ra ở vòng k khớp với trạng thái trung gian sau k operations; loss không ép mọi vòng cùng đoán đáp án cuối.
Norm anchoring: rescale trạng thái recurrent về RMS norm của vòng đầu tiên để giữ bản đồ bước lặp gần như stationary.
Learned halting: dùng chính output head để dự đoán Yes/No khi đã hoàn thành; test-time dùng cửa sổ xác nhận “6 of 8” để chọn khi nào dừng mà không cần biết độ dài bài toán.
Prefix self-distillation: khi thiếu nhãn trung gian, lấy prefix ngắn hơn làm bài ngắn hợp lệ; teacher EMA/live-student đọc trên prefix để tạo target cho vòng tương ứng, học từ final answers.

Ví dụ đời thường: giống dạy nhân viên mới hoàn thành một quy trình dài bằng cách giao rõ “bước 1 xong thì báo cáo trạng thái 1, bước 2 xong thì báo cáo trạng thái 2”, đồng thời giữ cùng một thước đo và khuôn mẫu công việc qua mỗi lượt để nhân viên không bị lệch nhịp; khi nhân viên báo “xong” đủ tin cậy thì dừng, không cần ai nhắc trước có bao nhiêu bước.

III. Main Results:

Trên swap-S5 với Qwen2.5-0.5B train ≤32 moves, PAR đạt 95.5% full-state accuracy ở 512 moves, tức 16× độ dài train; RLT đạt 55.7%, explicit CoT chỉ 0.8%.
Trên S5/A5 train ≤16, PAR đạt G=16 trên mọi seed, gần như 100% ở 256 bước; baseline fixed-depth, random-R, untied 4× core chỉ khoảng 1.6–2×.
Ablation cho thấy cần đủ hai thành phần: bỏ norm anchoring giảm extrapolation xuống dưới ~2.2×; dùng final-answer supervision thay progress targets giảm còn tối đa ~8×.
Learned halting không cần biết độ dài bài: đạt 92.9% ở 16× trên swap-S5, sát oracle R=L.
Prefix self-distillation chỉ dùng final answers vẫn đạt 85% ở d=256 trên S5; sau positional-stretch fine-tune, mô hình label-free trên swap-S5 đạt tới 99.7% ở 16×.
Kết quả duy trì trên nhiều backbone: Qwen2.5 1.5B/3B/7B có seed tốt đạt 100% ở 16×; Qwen3 0.6B–4B vẫn vượt fixed-depth rõ rệt, dù seed variance tăng ở mô hình lớn.
Giới hạn: graph reachability không có trạng thái trung gian tuần tự rõ ràng nên mọi recipe đều <3.5×; rule-table chain đạt G=6, PAR-hold tới ≥8.

IV. Conclusion & Future Works:

Bài báo kết luận rằng recurrent depth chỉ hữu ích khi mỗi iteration có một nhiệm vụ được định nghĩa rõ; khi tiến độ từng vòng và độ lớn trạng thái được kiểm soát cùng nhau, thêm vòng lặp trở thành thêm suy luận. PAR cho thấy cùng một correspondence có thể hỗ trợ cả dừng tự động và học không cần step labels. Hướng mở: áp dụng cho open-ended natural-language reasoning, giảm seed variance và ổn định recurrent scaling trên mô hình lớn, đồng thời xác định rõ lớp bài toán nào có cấu trúc tuần tự đủ mạnh để depth extrapolation khả thi.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng depth–length correspondence sang reasoning ngôn ngữ tự nhiên mở bằng cách tự động phát hiện các mốc trung gian kiểm chứng được hoặc lấy từ execution feedback.
Nghiên cứu seed variance và recurrent scaling trên mô hình lớn bằng curriculum theo độ dài, khởi tạo chống one-pass, và chuẩn hóa trạng thái thích ứng.
Kết hợp prefix self-distillation với tác tử tương tác để tự tạo bài tập ngắn từ log hành vi rồi nội suy lên chuỗi hành động dài trong môi trường có kiểm chứng.

2. Patent:

Trợ lý trên điện thoại xử lý tác vụ nhiều bước bằng một khối suy luận lặp lại: sau mỗi bước ẩn, hệ thống tự kiểm tra tiến độ và phát tín hiệu “đã xong”; khi tín hiệu đủ tin cậy qua vài vòng liên tiếp thì dừng để tiết kiệm pin và giảm độ trễ.
Ứng dụng camera/AR theo dõi đồ vật trên điện thoại dùng vòng lặp tiềm ẩn để cập nhật vị trí nhiều vật qua nhiều thao tác, tự giữ độ lớn trạng thái ổn định và thêm vòng lặp khi chuỗi thao tác dài hơn mức đã huấn luyện.
Hệ thống tự học trên thiết bị từ đáp án cuối: ứng dụng lấy các đoạn đầu của một bài toán làm bài ngắn, dùng chính dự đoán của mình trên các bài ngắn làm mục tiêu để học các trạng thái trung gian, sau đó áp dụng cho bài dài mà không cần người dùng gán nhãn từng bước.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.27628
ArXiv Abstract	https://arxiv.org/abs/2610.27628
PDF Download	https://arxiv.org/pdf/2610.27628.pdf
Github Repository	N/A

5. S-Agent 2.0: Spatial Reasoning with a General Coding Agent (96 votes)

Tác giả: Rui Gong, Ruoyu Wang, Yalun Dai, Hao Li, Sidi Yang, et al.

Xuất bản lúc: 2026-10-20

Tag: Spatial Reasoning, Vision-Language Models, Agentic AI, Coding Agents, Tool Use, 3D Perception, Scene Memory, CLI Agents

I. Main Problem:

Spatial reasoning đòi hỏi mô hình suy luận vật thể nằm ở đâu trong không gian 3D, quan hệ giữa chúng, và chuyển động ra sao. Các hệ agentic VLM mới như S-Agent hay SpatialClaw đã cho phép mô hình chủ động gọi công cụ 3D để lấy bằng chứng, nhưng vẫn thường gặp lỗi lạ: công cụ đo đúng mà câu trả lời vẫn sai. Khoảng trống nằm ở bước biến số liệu thô thành kết luận dùng được.

Mô hình đọc sai phép đo đã có: đổi dấu góc quay, nhầm hệ tọa độ, nhầm chiều quan hệ.
Bằng chứng không đi tới câu trả lời: phép đo nằm trong workspace nhưng mô hình lại nhìn ảnh rồi trả lời theo cảm tính, hoặc vứt bỏ một reading đúng vì lý do không liên quan.

II. Main Idea:

S-Agent 2.0 không huấn luyện lại backbone, mà gắn một command-line perception toolkit vào một general coding agent sẵn có như OpenHands, Codex hay Claude Code. Coding agent cung cấp shell, file system, đọc ảnh, gọi công cụ, inspect-and-revise; toolkit bổ sung phần còn thiếu là perception và khép kín evidence loop qua ba cam kết:

Acquisition hợp nhất hai loại nhận thức: công cụ đo bằng reconstruction, segmentation, motion masks; mô hình có thể thêm instance nó nhận ra hoặc tưởng tượng bằng add_instance, và xóa instance sai bằng drop.
Persistent scene memory do môi trường giữ: point cloud metric đã căn theo trọng lực, ảnh đầu vào, camera, và registry các instance có tên, vị trí, extent, pose; các bước sau truy vấn bằng tên thay vì nhớ số liệu trong context.
Interpretation on arrival: mỗi lệnh trả về vài trường số có đơn vị cùng một conclusion bằng ngôn ngữ không gian thường ngày, nói rõ entity, hệ trục và quan hệ như left, right, front, toward camera.

Ví dụ đời thường: giống thợ mộc không chỉ dùng thước đo phòng, mà ghi ngay vào sổ tay: mỗi món đồ có tên, vị trí, hướng nhìn, và dòng chữ cụ thể như giường nằm bên phải người đang nằm; khi trả lời, người thợ tra sổ tay đã được kiểm chứng thay vì nhìn lại căn phòng rồi đoán.

III. Main Results:

Trên MMSI-Bench và ReVSI, toolkit giúp Qwen3.8-27B tăng +13.9 và +20.5 điểm so với cùng agent không có công cụ; với Gemini-3.8-Flash tăng +11.2 và +9.6.
S-Agent 2.0 đạt 66.5 MMSI-Bench và 82.3 ReVSI với Qwen3.8-27B, vượt SpatialClaw cùng backbone ở 62.6 và 74.5; với Gemini-3.8-Flash đạt 74.1 và 90.5, vượt SpatialClaw ở 67.0 và 79.7.
Trên năm benchmark MMSI, MindCube, SPAR, MMSI-Video, ReVSI, S-Agent 2.0 với Qwen3.8-27B đều dẫn trước các baseline agentic: 66.5 / 88.3 / 72.4 / 56.4 / 82.3.
Cùng toolkit và workspace chạy được qua nhiều coding-agent harness: OpenHands, Codex, Claude Code.
Ablation cho thấy model perception interface quan trọng nhất: bỏ nó giảm mạnh xuống 57.7 MMSI và 76.4 ReVSI; bỏ scene memory còn 63.0 / 79.8; bỏ interpreted readout còn 65.2 / 81.1.

IV. Conclusion & Future Works:

Bài báo kết luận rằng một general coding agent stock cộng CLI perception toolkit là đủ để khép kín evidence loop: công cụ đo, scene memory nhớ, readout diễn giải sẵn, và thói quen inspect-and-revise của coding agent giúp đối chiếu perception của mô hình với kết quả công cụ. Điểm còn mở không phải acquisition mà là grounding câu hỏi vào phép đo đúng: mô hình đôi khi mô phỏng sai viewpoint tưởng tượng, mượn heading không đúng, hoặc đo đúng đại lượng nhưng theo nghĩa ngược với câu hỏi. Hướng cải thiện tự nhiên là làm tốt hơn bước đưa giả định ngôn ngữ của câu hỏi thành instance có hướng trong scene memory trước khi gọi readout.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cách chuyển mô tả ngôn ngữ tự nhiên của câu hỏi thành observer tưởng tượng có vị trí và hướng nhìn đúng trong scene memory, đặc biệt cho các câu dạng giả sử tôi đang đứng ở đâu đó và quay về hướng nào.
Phát triển giao diện command-line perception toolkit tổng quát hơn cho tác vụ điều hướng trong nhà, kết hợp reconstruction, segmentation, motion estimation và readout quan hệ có kiểm chứng lẫn nhau giữa công cụ và mô hình.
Mở rộng đánh giá chéo trên nhiều coding-agent harness và nhiều backbone mạnh hơn để kiểm tra khi nào lợi ích của công cụ bão hòa và lỗi grounding còn lại có thể giảm bằng cơ chế tự kiểm tra nào.

2. Patent:

Ứng dụng điện thoại đo và trả lời không gian căn phòng: người dùng quay vài ảnh hoặc video ngắn, điện thoại dựng lại mô hình phòng, gắn tên cho giường, cửa, tivi, rồi trả lời bằng giọng nói kiểu tủ nằm bên trái giường bao nhiêu mét; người dùng có thể chỉnh hoặc xóa vật thể nhận diện sai trước khi hỏi tiếp.
Trợ lý di động cho người khiếm thị hoặc người mới vào không gian lạ: điện thoại giữ bản đồ vật thể đã đo, cho phép hỏi cửa thang máy ở đâu nếu tôi quay lưng lại quầy lễ tân, và mô tả quãng đường ngắn theo hướng bước chân thay vì chỉ báo vật thể trên ảnh.
App xếp đồ nội thất bằng camera điện thoại: khi người dùng kéo thả ghế, tủ trong thực tế tăng cường, hệ thống lưu từng món thành instance có tên và hướng, tự đo khoảng cách, chỗ hở, lối đi rồi nói câu cụ thể như kê sofa sát tường sẽ chặn lối đi rộng 0.8 m.
Hệ thống kiểm tra an toàn kho hoặc xưởng bằng điện thoại công nghiệp: công nhân quay video lối đi, agent ghi nhớ vị trí kệ, pallet, cửa thoát hiểm và cảnh báo nếu lối đi bị thu hẹp, đồng thời cho phép người dùng xóa vật thể bị nhận diện nhầm như phản chiếu trên kính.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.28354
ArXiv Abstract	https://arxiv.org/abs/2610.28354
PDF Download	https://arxiv.org/pdf/2610.28354.pdf
Github Repository	https://github.com/Ropedia/S-Agent-2.0

6. CoEvo-RSI: When Harnesses Evolve, Which Models Should Follow? (88 votes)

Tác giả: Jiaqi Su, Guibin Zhang, Jie-Jing Shao, Cong Pang, Tiankuo Yao, et al.

Xuất bản lúc: 2026-10-18

Tag: Recursive Self-Improvement, Agent Co-Evolution, LLM Agents, Harness Optimization, Self-Distillation, Model Merging, Supervised Fine-Tuning

I. Main Problem:

Trong co-evolution của agent (mô hình = "não", harness = "thân" gồm prompts, tools, memory, control flow), hai thành phần tiến hóa độc lập dẫn tới brain–body mismatch:

Interface mismatch: model xuất tool call dạng XML nhưng harness mới chỉ nhận JSON → ý đúng vẫn bị từ chối.
Capability mismatch: harness mới yêu cầu kỹ năng model chưa học, hoặc bỏ phí kỹ năng model đã có ở checkpoint cũ.
Các phương pháp hiện tại chỉ giữ phiên bản mới nhất hoặc tiến hóa một phía (chỉ harness hoặc chỉ model), làm mất cơ hội tái sử dụng thiết kế và năng lực lịch sử phù hợp.

II. Main Idea:

CoEvo-RSI điều phối tiến hóa hai chiều qua kế thừa lịch sử (bidirectional historical inheritance) dựa trên một evolutionary archive lưu harness, checkpoint model, lịch sử phát triển và kết quả chạy:

Harness inheritance: một Curator tổng hợp phản hồi thực thi thành bằng chứng; từng harness editor tự duyệt archive, chọn harness lịch sử làm điểm khởi đầu rồi phát triển offspring thay vì chỉ sửa harness hiện tại.
Model inheritance: cho từng offspring harness, meta-agent chọn hoặc trộn (TIES-Merging) các checkpoint lịch sử để khởi tạo model phù hợp với yêu cầu thực thi mới.
Vòng lặp: đánh giá các cặp ứng viên (kèm chỉ số TIMR — tỉ lệ vi phạm interface tính theo turn, làm tín hiệu chẩn đoán rẻ tiền) → chọn cặp tốt nhất → SFT trên trajectory tự sinh được verifier chấp nhận (rejection sampling) → validate và thăng cấp cặp thắng vào vòng sau.

Ví dụ đời thường: giống thợ sửa xe kinh nghiệm không vứt đồ cũ mà giữ cả xưởng đầy phụ tùng — khi lắp khung xe mới, anh ta chọn lấy động cơ của chiếc cũ từng chạy tốt với loại khung này, chỉnh vừa khít rồi mới chạy thử, thay vì cứ lắp động cơ mới nhất rồi ngạc nhiên vì nó không hợp.

III. Main Results:

Failure attribution: Qwen3.5-9B sau co-evolution đạt 68.39% Who trên Who&When Hand (vượt FALAT + MiniMax-2.5); 69.43% trên Who&When Pro, vượt Qwen3.8-Max (+4.40); 70.78% trên TraceElephant, vượt DeepSeek-V4-Pro +14.16 điểm. Các baseline tiến hóa một phía (Self-Harness, Meta-Harness) thua xa (Who&When Hand thua 11.49 điểm; TraceElephant When < 10% vs 28.92%).
Role-aware text-to-SQL: Safe-EX 80.85%, Safe-Deny 96.64%, violation rate 1.57% (giảm tương đối 21.5% sau 10 vòng nhờ harness tự học evidence-check, authorization theo reference, verify-and-repair); tốt nhất toàn bảng trên Spider.
Smart-home (HomeBench): success rate 75.51% trên valid instructions, vượt DeepSeek-V4-Pro (+4.90 so với GLM-5.3); từ chối đúng instruction bất khả thi ở mức tương đương model lớn.
TIMR giữ ≤ 0.22% trong suốt 10 vòng, cho thấy kế thừa hai chiều khớp interface trong khi accuracy tăng đều.
Chỉ dùng SFT trên trajectory tự từ chối lấy mẫu — không RL — mà cạnh tranh được model lớn hơn nhiều lần, trong các tác vụ vertical chuyên biệt.

IV. Conclusion & Future Works:

Kế thừa lịch sử hai chiều (harness chọn thiết kế tổ tiên, model chọn/trộn checkpoint tương thích) làm brain–body alignment trở thành nguyên tắc tổ chức của quá trình tiến hóa, thay vì trông chờ khớp nhau một cách ngẫu nhiên. CoEvo-RSI là dạng RSI thực tiễn: agent tự điều phối sinh dữ liệu, chọn model và huấn luyện, nhưng chuyên biệt theo domain chứ không khái quát hóa xuyên domain. Hạn chế và hướng mở: TIMR chỉ đo được vi phạm interface quan sát được (không phủ hết capability mismatch); cần tín hiệu chẩn đoán rẻ tiền hơn cho lệch năng lực, mở rộng kế thừa ngoài các benchmark vertical, và giảm độ lệch an-toàn–hữu-ích của kiểu từ chối quá thận trọng.

V. Brainstorming Space:

1. Publish Papers:

Kế thừa lịch sử đa nhánh trong co-evolution: cho phép harness editor và model inheritance hoạt động trên nhiều dòng tiến hóa song song thay vì một lineage tuyến tính, bảo toàn đa dạng thiết kế.
Chỉ số chẩn đoán brain–body mismatch toàn diện hơn TIMR: kết hợp vi phạm interface với đo lường năng lực bị bỏ phí khi harness thay đổi, để chọn checkpoint chính xác hơn.
Co-evolution cho agent đa phương thức và dài hạn: mở rộng archive và cơ chế trộn checkpoint cho agent có công cụ dạng ảnh/audio và trajectory dài nhiều vòng.

2. Patent:

Ứng dụng điện thoại trợ lý gia đình thông minh ngoại tuyến: app trên điện thoại tự tiến hóa harness (luồng điều khiển thiết bị) và chọn phiên bản model nhỏ phù hợp từ lịch sử; mỗi lần người dùng sửa lỗi điều khiển thất bại, hệ thống lưu cấu hình tốt vào kho và tự tinh chỉnh lần sau mà không cần gửi dữ liệu lên đám mây.
Hệ thống kiểm toán lỗi agent đa tác tử cho doanh nghiệp trên điện thoại/máy tính bảng: khi dàn agent tự động thất bại, app xác định đúng agent và bước gây lỗi, đồng thời tự cập nhật workflow phân tích bằng cách chọn lại từ các thiết kế phân tích cũ và tinh chỉnh model nhỏ cục bộ bằng dữ liệu tự sinh.
Trợ lý SQL có phân quyền cho điện thoại doanh nhân: người dùng hỏi bằng giọng nói, app chuyển thành SQL nhưng chỉ truy cập bảng/cột mà vai trò của họ được phép, tự từ chối khi vi phạm; hệ thống tự học cách kiểm tra quyền và sửa câu truy vấn qua các vòng tiến hóa không cần kỹ sư can thiệp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.25078
ArXiv Abstract	https://arxiv.org/abs/2610.25078
PDF Download	https://arxiv.org/pdf/2610.25078.pdf
Github Repository	https://github.com/SuJQ0722/CoEvo-RSI

7. Sage-A1.5: From Long-Horizon Execution to Scientific Exploration with Capability Composition (64 votes)

Tác giả: Wenjie Lou, Tianshuo Peng, Shiyang Feng, Shengji Tang, Runmin Ma, et al.

Xuất bản lúc: 2026-10-20

Tag: Agentic AI, Mixture-of-Experts, Long-Horizon Reasoning, Multi-Agent Orchestration, Self-Verification, Tool Use, Reinforcement Learning, Scientific Discovery

I. Main Problem:

Các mô hình agent hiện tại đã mạnh về kỹ năng từng miền, nhưng với bài toán dài hạn như sửa repository, tối ưu mô hình học máy, hay nghiên cứu khoa học, chỉ giỏi từng bước là chưa đủ. Một agent đơn lẻ dễ gặp:

context phình to, khó kiểm soát khi chạy nhiều vòng
khám phá chậm, lặp lại các hướng tìm kiếm vô ích
lỗi lan truyền, dùng giả định chưa kiểm chứng làm tiền đề cho bước sau
thiếu cơ chế tự tổ chức công việc, phân chia, đối chiếu bằng chứng và đổi chiến lược khi có thông tin mới

Bài toán cốt lõi: biến khả năng phân công, cộng tác song song, rà soát bằng chứng, và sửa chiến lược thành năng lực được học bên trong mô hình, thay vì chỉ là quy tắc cố định của framework bên ngoài.

II. Main Idea:

Sage-A1.5 là mô hình agentic 35B Mixture-of-Experts, kế thừa Agents-A1, nhấn mạnh chuyển từ capability coverage sang capability composition: không chỉ biết nhiều miền, mà còn biết tổ chức, phối hợp và điều chỉnh cách giải trong lúc thực thi.

Hai trụ cột:

Agentic Orchestration: mô hình tự quyết định có nên chia việc, giao subtask cho các subagent chạy song song với ngữ cảnh cô lập, rồi hợp nhất kết quả. Có hai kiểu bổ sung:
- Exploratory Composition: nhiều agent thử các giả thuyết khác nhau cho cùng một câu hỏi, tương tự A ∨ B ∨ C
- Constructive Composition: chia bài toán lớn thành các phần bổ sung, tương tự A ∧ B ∧ C, rồi ghép lại thành lời giải đồng nhất
- Mỗi subagent trả về structured feedback: câu trả lời, bằng chứng kèm nguồn, vấn đề chưa giải, và tự đánh giá trạng thái như ok, unknown, insufficient_evidence, conflict, ambiguous
Agentic Verification: mô hình học cách tự nhận biết lúc cần dừng kiểm tra, phân biệt đã xác nhận bởi bằng chứng với giả thuyết chưa kiểm chứng, phát hiện lỗ hổng thông tin và hướng tìm kiếm kém hiệu quả, sau đó đổi hành động tiếp theo. Khi cần, chỉ cần bật marker “Verification protocol: enabled”; quá trình xảy ra ngay trong reasoning và tool-use, không cần supervisor trực tuyến hay công cụ kiểm chứng riêng

Huấn luyện dùng pipeline thống nhất: supervised fine-tuning đa miền trên coding, long-context reasoning, deep research, scientific reasoning, co-working; sau đó là mixed-reward reinforcement learning và outcome-process post-training để dung hợp năng lực qua domain, reasoning mode và agent harness.

Ví dụ đời thường: giống một trưởng đoàn thám hiểm không đi một mình mà chia đội nhỏ đi dò các manh mối song song, đến điểm hẹn thì đối chiếu bằng chứng, bỏ đường sai, rồi điều chỉnh lộ trình cho chặng kế tiếp.

III. Main Results:

Sage-A1.5 được báo cáo vượt các mô hình lớn hơn Kimi-K3, GLM-5.3, GPT-5.6-sol trên FrontierScience-Olympiad, CMT, PinchBench, IFBench.
Vẫn cạnh tranh với các mô hình lớn hơn trên SWE-Bench Pro và BrowseComp.
So với các mô hình cùng cỡ 35B như Agents-A1 và Ornith-1.5, Sage-A1.5 bằng hoặc tốt hơn trên cả 12 benchmark.
Các điểm nổi bật trong Figure 1 gồm: SWE-Pro khoảng 64.6, SWE-Multilingual 81.3, SciCode 59.0, MLE-Lite 77.3, FS-Olympiad 81.0, HLE with tools 64.5, CMT 80.0, PinchBench 90.0, BrowseComp 82.8, IFBench 81.6.
Hệ thống được mô tả chạy được các tác vụ dài hạn hơn nhờ orchestration song song và verification nội tại, thay vì chỉ kéo dài số bước thực thi.

IV. Conclusion & Future Works:

Thông điệp chính là nâng cấp agent bằng cách học cách tổ chức tính toán và tự sửa lộ trình, không chỉ học thêm kiến thức từng miền. Điều này tạo lối đi thực dụng từ thực thi tác vụ dài hạn sang open scientific discovery: nghiên cứu có bằng chứng, có artifact kiểm tra được, và có khả năng làm việc cộng tác với con người.

Hướng tương lai: tích hợp verification với quản lý context, dùng các điểm reflection làm ranh giới để nén lịch sử thành stage record, giữ lại bằng chứng quan trọng, giả thuyết bị loại, câu hỏi còn mở và trạng thái hiện tại; từ đó kiểm soát chi phí context mà không làm đứt mạch suy luận.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế nén context theo checkpoint tự kiểm chứng: mỗi lần agent dừng đánh giá bằng chứng là một mốc nén an toàn, giữ lại bằng chứng, giả thuyết bị bác và trạng thái nhiệm vụ.
Phân tích tổng quát hai pattern orchestration: thăm dò nhiều giả thuyết song song và xây dựng nhiều thành phần bổ sung song song, đo hiệu quả trên tác vụ khoa học, code và tìm kiếm sâu.
Đề xuất benchmark cho open scientific discovery: không chỉ chấm đáp án cuối, mà chấm cả artifact trung gian, chuỗi bằng chứng, khả năng tái lập và mức độ có thể kiểm tra của quá trình nghiên cứu.
Phương pháp huấn luyện thống nhất qua domain, reasoning mode và harness bằng outcome-process reward, kiểm chứng xem năng lực orchestration và verification có chuyển giao hay không.

2. Patent:

Trợ lý nghiên cứu trên điện thoại: người dùng hỏi một vấn đề phức tạp, ứng dụng tự chia thành các câu hỏi nhỏ, giao cho nhiều phiên xử lý chạy song song, rồi trình bày một bản tóm tắt có nguồn, điểm chưa chắc và gợi ý bước kiểm tra tiếp theo.
Ứng dụng sửa code và phân tích dữ liệu offline cho kỹ sư hiện trường: điện thoại tạo các không gian làm việc riêng cho từng phần như đọc lỗi, sửa file, chạy thử, rồi yêu cầu từng phần tự báo cáo bằng chứng trước khi hợp nhất bản vá.
Trợ lý khoa học bảo mật trên thiết bị cá nhân: dữ liệu thí nghiệm không rời máy, mô hình cục bộ chia việc tính toán, tra cứu và kiểm chứng giả thuyết, đồng thời ghi lại nhật ký quyết định để người dùng xem lại từng lần đổi hướng.
Ứng dụng so sánh mua sắm hoặc du lịch trên điện thoại: thay vì duyệt tuần tự, hệ thống cử nhiều tác vụ con kiểm tra giá, ràng buộc thời gian, đánh giá và rủi ro, sau đó tự đối chiếu mâu thuẫn trước khi đưa ra khuyến nghị cuối.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.28578
ArXiv Abstract	https://arxiv.org/abs/2610.28578
PDF Download	https://arxiv.org/pdf/2610.28578.pdf
Github Repository	https://github.com/InternScience/Agents-A1

8. SolarRenderer: Few-Step Generative Reference Rendering (47 votes)

Tác giả: Guian Fang, Shengju Qian, Dongyue Lu, Junchao Huang, Lutao Jiang, et al.

Xuất bản lúc: 2026-10-20

Tag: Video Generation, Diffusion, LoRA, Structure-Conditioned Generation, Distillation, Real-Time Rendering, World Models

I. Main Problem:

Biến cấu trúc thô (bố cục scene, chuyển động, camera từ game engine hoặc coding agent) thành video chân thực gặp 3 vấn đề:

Control gắn chặt một định dạng: renderer hiện tại chỉ theo đúng representation engine của nó (white-box, semantic map, G-buffer...); đổi engine là phải train model mới.
Render chậm: backbone lớn cần hàng chục bước denoise; distillation từ đầu cho model có điều kiện rất tốn kém.
Dữ liệu training lệch khung hình: condition ước lượng từ video thật mang lỗi estimator, không khớp frame-by-frame với video đích.

II. Main Idea:

SolarRenderer đóng băng backbone MiniMax-H3 33B và gắn hai LoRA nhẹ, tách bạch hai nhiệm vụ:

Control LoRA (omni-structure): video cấu trúc đi vào reference pathway có sẵn của backbone, mỗi frame cấu trúc chiếm đúng vị trí RoPE của frame đích nó mô tả, không gắn nhãn kiểu dữ liệu — chỉ mô tả bằng văn bản thuần (2 câu cố định mỗi loại). Một LoRA duy nhất theo được mọi loại cấu trúc, kể cả loại chưa từng thấy (pose skeleton, bản vẽ chì, point cloud).
Acceleration LoRA (4 bước): xuất phát từ LoRA 4-step có sẵn (DMAD), post-train bằng structure-guided distribution matching — teacher full-step được phóng đại theo hướng cấu trúc (w=1.5) để tránh bị kéo về ảnh mờ của teacher. Chỉ update LoRA tăng tốc, giữ control LoRA đóng băng nên không mất khả năng điều khiển.
Biến thể causal: cùng thiết kế với block-causal attention + streaming VAE, render 768p real-time ~28 FPS.
Dữ liệu: corpus 136K clip, 243 giờ từ 8 nguồn (engine, simulator, YouTube), mỗi frame cấu trúc căn chỉnh thời gian + không gian với frame đích, có kiểm tra đồng bộ tự động.

Ví dụ đời thường: giống như họa sĩ nhận một bản phác thảo đã đặt sẵn đúng vị trí trên giấy — nét phác chỉ định sẵn bố cục và dáng, họa sĩ chỉ việc tô màu, thêm vật liệu và ánh sáng phần còn lại, và cứ thế vẽ được dù phác thảo do ai đưa tới.

III. Main Results:

SOTA cả hai benchmark: Elo 1441 (generalization) và 1510 (in-distribution), vượt mọi renderer có điều kiện hiện có; đối thủ mạnh nhất LynnReal-Omni thua ~100 điểm và thua ~95 điểm ở tiêu chí adherence cấu trúc.
Khái quát hóa mạnh: một model theo được 11/16 representation chưa từng thấy trong training (skeleton 2D, storyboard chì, tranh sáp trẻ em, wireframe, point cloud, voxel).
Nhanh 12.3 lần: 4 bước (~209s/clip) so với 50 bước (~2562s), chất lượng vẫn vượt cả model full-step của chính mình.
Vượt các acceleration LoRA gắn thẳng (LongLive-Plug, DMAD, FastH3) — gắn plug-in không train làm giảm chất lượng và fidelity frame đầu.
Causal variant (real-time streaming) vẫn cao hơn các renderer streaming khác dù thua bản bidirectional.
Renderer một-engine (StreamRender-H3, Streaming CWM) chỉ đạt 580/1075 Elo trên benchmark khái quát.

IV. Conclusion & Future Works:

SolarRenderer chứng minh một LoRA duy nhất qua native reference pathway (frame-aligned, untyped, mô tả bằng text) có thể theo mọi loại cấu trúc mà không cần nhánh mới hay nhãn kiểu dữ liệu, và structure-guided distribution matching cho phép tăng tốc 4 bước mà không phá vỡ control đã học. Hướng tương lai hợp lý: mở rộng corpus sang nguồn engine đa dạng hơn, nâng độ phân giải/độ dài streaming, và tinh chỉnh chiến lược extrapolation của teacher (w) theo từng loại cấu trúc.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng phong cách untyped frame-aligned reference conditioning cho generation ảnh tĩnh và 3D/4D scene generation, một adapter duy nhất cho mọi điều kiện không gian.
Phương pháp structure-guided distribution matching có thể tổng quát hóa cho distillation các mô hình điều kiện khác (audio, multimodal) mà không cần distillation lại từ đầu.
Mở rộng biến thể causal sang tương tác real-time: người dùng chỉnh cấu trúc (camera, vật thể) trong lúc video đang render và nhận phản hồi tức thì.
Khai thác coding agent để tự sinh structural videos đa dạng làm dữ liệu augmentation cho các representation hiếm, thay vì dựng tay từng loại.

2. Patent:

Ứng dụng điện thoại biến phác tay thành video phim ngắn: người dùng vẽ vài khung hình bằng ngón tay, ứng dụng căn vị trí từng khung rồi tạo video chân thực đúng chuyển động đã vẽ, dùng cho content mạng xã hội.
Game mobile render bằng AI: thay vì tính vật liệu/ánh sáng đắt đỏ, game chỉ xuất khung cảnh thô (hình khối xám, bản đồ độ sâu) và model trên điện thoại hoặc đám mây tô ngoại hình, chạy mượt ở 768p theo thời gian thực.
Ứng dụng dựng phim tiền trực quan hóa (previsualization): đạo diễn sắp xếp bố cục scene bằng khối đơn giản trên tablet, hệ thống render ngay video xem trước với phong cách thị giác tùy chọn trước khi quay thật.
Hệ thống quan sát an ninh thông minh: từ lớp depth/point cloud của cảm biến 3D, tái tạo lại video màu chân thực của khu vực giám sát, giảm dung lượng lưu trữ (chỉ lưu cấu trúc + mô tả ngắn thay vì video gốc).

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.28630
ArXiv Abstract	https://arxiv.org/abs/2610.28630
PDF Download	https://arxiv.org/pdf/2610.28630.pdf
Github Repository	https://github.com/Enderfga/SolarRenderer

9. Learning the 4D World through Point Trajectory Forecasting (42 votes)

Tác giả: Byungwoo Jeon, Sunghwan Hong, Dohyeon Kim, Jonghoon Lee, Jungwoo Park, et al.

Xuất bản lúc: 2026-10-20

Tag: World Models, Video Generation, Multi-View Learning, 3D Point Tracking, Robot Learning, Video Diffusion

I. Main Problem:

Các world model dự đoán video tương lai thường chỉ tối ưu cho độ mượt mà về hình ảnh, không đảm bảo chuyển động 3D mô tả bởi nhiều camera là nhất quán với nhau — mỗi góc quay có thể dự báo một 'sự kiện tương lai' khác nhau. Với robot, việc thiếu căn cứ hình học chung khiến chính sách điều khiển dễ mất phương hướng khi mục tiêu bị che khuất hoặc đổi góc nhìn.

II. Main Idea:

Video-Point Model (VPM) xây dựng trên Cosmos 3 (Mixture-of-Transformers) để đồng thời dự báo video đa góc nhìn từ bất kỳ camera nào và quỹ đạo 3D của các điểm vật lý bền vững trong cảnh, dựa trên lịch sử video có thông số camera + chỉ dẫn ngôn ngữ. Các thành phần chính:

Camera embeddings từ tia Plücker + 4D RoPE (thêm trục view) để các token từ camera khác nhau được phân biệt và tích hợp trong một chuỗi chung.
Trajectory head dự đoán lặp vị trí 2D, depth, độ tự tin của từng điểm qua không-thời gian-view, rồi nâng lên tọa độ 3D chuẩn; được huấn luyện bằng loss tracking (Huber cắt ngọn cho vị trí/độ sâu, BCE cho confidence) ngay trên feature của quá trình denoise.
Cross-view correspondence loss ép attention map liên kết cùng một điểm vật lý xuyên suốt các view.
Mở rộng robot: token hành động được denoise chung backbone với video, kế thừa biểu diễn nhận thức 3D.
Kèm VPM-Data (10K clip mô phỏng đa view + quỹ đạo điểm) và VP-WorldBench (benchmark mô phỏng + thế giới thật).

Ví dụ đời thường: giống nhìn một vụ tai nạn từ nhiều camera an ninh — thay vì mô tả riêng từng màn hình, người xếp hình đặt các hạt phấn cố định lên người và xe rồi vẽ một đường chuyển động duy nhất; nhờ đó mọi góc quay đều kể cùng một câu chuyện di chuyển.

III. Main Results:

VP-WorldBench: VPM (video+track) đạt tốt nhất mọi split và mọi metric (VD ví dụ: FVD 67.35 so với 78.52 khi bỏ supervision điểm; trên robot thật δ3D_avg 64.75 so với 50.83).
Zero-shot 4D generation trên ReCamMaster, CMU Panoptic, RoboCasa Kitchen: đều vượt baselines; supervision điểm là yếu tố then chốt giúp vượt cả Robot4DGen về tính nhất quán 3D.
Điều khiển robot: VPM (V+T+A) đạt success rate cao nhất cả mô phỏng (LIBERO-Plus 84.6%, RoboCasa 76.2%) lẫn thật (Banana 79.2%, Cup 70.8%, Cube 54.2%), vượt các VLA (π0.5, GR00T) và world-action models.
Ablation: thêm trajectory cho lợi ích lớn nhất; chỉ với điểm 3D dự báo + inverse kinematics (không token hành động) robot cũng hoàn thành tác vụ thật zero-shot.

IV. Conclusion & Future Works:

Supervise điểm vật lý sẽ di chuyển đâu giúp world model dự báo video đa view trung thực hơn về hình ảnh lẫn chuyển động 3D, và lợi ích này lan sang cả học hành động robot. Hạn chế: mới supervise robot và object được annotate, chưa phủ toàn cảnh; bỏ qua chuyển động vải/tóc phi cứng; cần camera đã hiệu chỉnh; chi phí tăng theo số view. Hướng tương lai: khai thác supervision quỹ đạo từ video đa view thật quy mô lớn, mở rộng cho nội dung phi cứng dày đặc, và bỏ giả định camera đã hiệu chuẩn.

V. Brainstorming Space:

1. Publish Papers:

Khai thác quỹ đạo 3D tự động từ video đa view không nhãn ngoài thực tế để huấn luyện world model quy mô lớn mà không cần mô phỏng.
World model cho cảnh phi cứng (vải, tóc, chất lỏng) bằng quỹ đạo điểm dày đặc thay vì điểm bám bền vững.
World model điều khiển robot không cần thông số camera chính xác, tự hiệu chỉnh pose camera từ lịch sử quan sát.

2. Patent:

Hệ thống camera an ninh thông minh: nhiều camera đồng bộ dự báo video tương lai và quỹ đạo 3D của người/phương tiện trên điện thoại, cảnh báo trước va chạm hoặc hành vi bất thường ngay cả khi mục tiêu khuất tầm nhìn ở một số camera.
Trợ lý robot gia đình dùng camera điện thoại làm view bổ sung: đặt điện thoại ở góc mới, robot dự báo chuyển động 3D của vật cần gắp và tự điều chỉnh hành động theo góc nhìn đó.
Công cụ quy hoạch giao thông thành phố: dự báo đồng thời video và quỹ đạo 3D của người đi bộ/xe từ camera giao lộ để mô phỏng tình huống xung đột trước khi xảy ra.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.28594
ArXiv Abstract	https://arxiv.org/abs/2610.28594
PDF Download	https://arxiv.org/pdf/2610.28594.pdf
Github Repository	https://github.com/rootyJeon/VPM

10. Correction Training for Diffusion Models (37 votes)

Tác giả: Donghoon Ahn, Runqian Wang, Alexei A. Efros, Taesung Park, Yash Belhe

Xuất bản lúc: 2026-10-14

Tag: Diffusion Models, Image Generation, Training-Inference Gap, Classifier-Free Guidance, Denoising, Distillation, DiT

I. Main Problem:

Mô hình diffusion sinh ảnh qua nhiều bước khử nhiễu lặp lại, nhưng tồn tại khoảng cách train-inference (exposure bias): mạng khử nhiễu được huấn luyện trên ảnh thật trộn nhiễu, trong khi lúc inference nó nhận đầu vào được xây từ chính dự đoán sai của nó ở các bước trước — thứ chưa từng thấy khi train. Hệ quả:

Lỗi tích lũy dần theo quỹ đạo khử nhiễu, tạo artifact và cấu trúc vật thể không mạch lạc
Lỗi cấu trúc ở bước sớm bị giữ nguyên khi các bước sau chỉ thêm chi tiết (texture, mặt, răng...) lên trên
Cách khắc phục phổ biến là CFG, nhưng làm giảm diversity và gây oversaturation (màu quá đậm, trông "AI-generated")

II. Main Idea:

Correction Training: huấn luyện thêm một mạng corrector C lấy chính dự đoán sạch của denoiser làm đầu vào và học dự đoán lại cùng mục tiêu ground-truth x. Quy trình:

Train: denoiser D và corrector C được fine-tune chung; loss gồm L_denoise (D đoán x từ ảnh nhiễu) + λ · L_corr (C sửa lại dự đoán của D, qua stop-gradient). Dữ liệu cho C do chính mô hình hiện tại sinh ra.
Inference: ở mỗi bước khử nhiễu, áp dụng C lặp lại K lần lên dự đoán sạch trước khi chuyển sang bước tiếp theo — dù train chỉ giám sát 1 lần sửa, C vẫn tự cải thiện khi áp lặp lên đầu ra của chính nó.
Mỗi lần sửa là một ước lượng mới của ảnh sạch, giúp chặn artifact ngay từ bước trung gian thay vì để lỗi lan đến ảnh cuối.
Hai cách tiết kiệm chi phí: chia sẻ backbone giữa D và C (gần như không tăng tham số), và distill dự đoán đã sửa ngược lại vào mô hình gốc (học sinh chỉ cần 1 forward pass/bước, giữ gần nguyên chất lượng).

Ví dụ đời thường: giống người vẽ phác thảo nhanh rồi tự soi lại bức phác của chính mình nhiều lần trước khi đi nét tiếp — mỗi lần nhìn lại và chỉnh sai lệch, nét vẽ sau sẽ đặt đúng chỗ hơn, thay vì cứ vẽ chồng tiếp lên bản phác hỏng.

III. Main Results:

ImageNet class-conditional, không guidance: FID giảm mạnh ở cùng NFE — DiT-XL/2: 9.58 → 2.07, SiT-XL/2: 8.55 → 1.92, SiT-REPA: 5.53 → 1.31 — vượt CFG về FID, precision và recall tương đương cao hơn.
Unconditional generation: FID 24.82 → 5.37 (K=4), tốt hơn autoguidance tốt nhất (9.37), không cần tín hiệu guidance nào.
Text-to-image (NanoGen): GenEval tăng 28.3 → 50.1 không CFG; kết hợp với CFG đạt 70.5. Người đánh giá thích CFG+Correction hơn CFG thuần ở >60% câu hỏi cả về chất lượng lẫn diversity.
So với CFG: độ đa dạng cao hơn, ít oversaturation, giảm vẻ "AI-generated"; áp correction lên CFG cải thiện được cả hai.
Hiệu quả: fine-tune chỉ ~50K bước (1.25% chi phí pretrain của SiT-REPA); correction thắng denoiser sâu gấp đôi cùng ngân sách tham số/NFE (D14+C14 với K=3: FID 5.66 vs D28: 8.93); distillation giữ FID 2.04–2.26 với NFE giảm ~67%.
Áp dụng được trên nhiều kiến trúc: DiT, SiT, REPA, JiT.

IV. Conclusion & Future Works:

Correction biến việc sửa lỗi dự đoán thành bài toán học tường minh, thu hẹp training-inference gap mà không cần guidance; chỉ cần fine-tune nhẹ, cải thiện lớn chất lượng mẫu trên cả conditional và unconditional, đồng thời bảo toàn diversity và khắc phục oversaturation của CFG. Khả năng áp lặp K lần vượt ngoài phạm vi train là chìa khóa của lợi ích, cho thấy correction phân bổ compute inference hiệu quả hơn việc tăng số bước denoise. Distillation cho phép giữ lợi ích này mà không tốn thêm chi phí inference. Hướng mở: tối ưu số lần correction và chiến lược phân bổ compute theo mức nhiễu, mở rộng sang video và các tác vụ sinh khác.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu correction học được: thay vì mạng corrector riêng, học trực tiếp bản đồ sửa lỗi dưới dạng tham số hóa để có thể lồng vào sampler hiện có mà không cần fine-tune.
Phân bổ thích ứng số lần correction K theo mức nhiễu t — dùng nhiều lần sửa ở vùng nhiễu cao (quyết định cấu trúc) và ít lần ở vùng nhiễu thấp để tối ưu ngân sách NFE.
Mở rộng correction training cho mô hình sinh video và âm thanh, nơi lỗi cấu trúc sớm càng dễ tích lũy dọc thời gian, và kiểm chứng distill cho chuỗi khung hình dài.
Kết hợp correction với các phương pháp guidance khác (perturbation guidance, autoguidance) để tìm công thức lai tối ưu giữa chất lượng, diversity và chi phí sampling.

2. Patent:

Tính năng "tự chỉnh ảnh" trên điện thoại: module nhỏ gắn thêm vào mô hình sinh ảnh có sẵn trên thiết bị, sau mỗi bước khử nhiễu chạy thêm 1–2 lần sửa để ảnh chụp/sinh ra sắc nét, cấu trúc vật thể chuẩn hơn mà không cần máy chủ hướng dẫn (guidance) tốn kém.
Bộ lọc sửa ảnh AI trên mạng xã hội: ảnh do AI tạo thường có vẻ màu quá đậm và mẫu mặt giống nhau; ứng dụng chạy mạng corrector nhẹ lên ảnh trước khi đăng để tăng độ đa dạng, giảm vẻ "AI-generated".
Công cụ chỉnh sửa ảnh chân dung: người dùng vẽ/seed một bản nháp, ứng dụng lặp sửa cấu trúc khuôn mặt và tay (vùng hay sai của mô hình sinh) theo thời gian thực trước khi xuất ảnh độ phân giải cao.
Hệ thống sinh ảnh quảng cáo trên thiết bị biên: mô hình đã được distill để nhúng trực tiếp sửa lỗi, cho chất lượng gần bản có guidance nhưng chỉ một lượt chạy duy nhất mỗi bước — tiết kiệm pin và giảm độ trễ trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.14136
ArXiv Abstract	https://arxiv.org/abs/2610.14136
PDF Download	https://arxiv.org/pdf/2610.14136.pdf
Github Repository	https://github.com/sunovivid/correction-training

11. SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation (27 votes)

Tác giả: Yanjin He, Cuifeng Shen, Wanzhou Lei, Maohua Li, Tao Lan, et al.

Xuất bản lúc: 2026-10-19

Tag: Diffusion Models, Weak-to-Strong Learning, Generative Models, Training-Free Inference, Image Generation, RKHS Theory

I. Main Problem:

Huấn luyện diffusion model chất lượng cao tốn kém tính toán, và guidance tại inference (CFG, autoguidance) lại cộng thêm chi phí sampling vì phải đánh giá mô hình phụ trên mỗi bước. Cụ thể:

Các kỹ thuật weak-to-strong như autoguidance chỉ chạy ở thời điểm sampling, nên mô hình yếu không thể bị loại bỏ sau huấn luyện.
Các phương pháp huấn luyện kèm guidance (MG, SGG, GFT, IG) cần dự đoán phụ thay đổi theo training, nhánh unconditional riêng, hoặc tối ưu đồng thời nhiều mô hình.
Câu hỏi cốt lõi: liệu có thể chuyển phép ngoại suy weak-to-strong từ inference sang training, để chính mô hình chính hấp thụ sự hiệu chỉnh và mô hình yếu bị vứt bỏ sau đó?

II. Main Idea:

SWIFT dùng một weak denoiser đã đóng băng (lấy từ checkpoint sớm của chính quá trình huấn luyện thông thường) làm mốc tham chiếu hướng, rồi ngoại suy target hồi quy:

Thay vì hồi quy thẳng về mẫu sạch x0, mục tiêu mới là y = x0 + α(x0 − D_weak), tức kéo target vượt qua x0 theo hướng xa dự đoán của mô hình yếu.
Weak guide không cần backpropagation, cố định suốt training chính, và bị loại bỏ sau huấn luyện — chỉ còn một denoiser duy nhất với sampler nguyên bản, không overhead tại inference (chỉ ~9% FLOPs thêm mỗi epoch khi train).
Bản chất: mô hình yếu chưa học đủ, nên ngoại suy target theo hướng từ nó khuếch đại các thành phần còn underfitting. Phân tích phổ trong RKHS (gradient flow hữu hạn) chứng minh tồn tại khoảng α > 0 sao cho lỗi posterior-mean thấp hơn strict so với training chuẩn (Theorem 1), dù target đã bị lệch khỏi posterior mean.
Cùng một công thức áp dụng cho cả conditional và unconditional generation, không cần label dropout hay nhánh unconditional.

Ví dụ đời thường: giống như học bắn cung — thay vì nhắm thẳng vào điểm rơi của người kém hơn, huấn luyện viên bảo ngắm vượt qua hẳn hướng lệch của họ để điểm rơi thực tế trúng đích hơn, vì sự lệch của người yếu phản ánh chính khoảng cách chưa được luyện.

III. Main Results:

Truyền tải với một công thức cố định (α = 0.4): giảm FID không-guidance trong cả 18 cấu hình DiffusionBench (latent VAE, RAE, end-to-end, pixel-space), mức giảm 16.3%–49.4% (trung vị 31.3%).
RAE/DINOv2-B: FID không-guidance 2.09 → 1.75 sau 80 epoch; kéo dài đến 240 epoch, SWIFT dẫn trước ở mọi 36 điểm đánh giá, khoảng cách tăng từ 0.12 → 0.26 FID.
RAEv2/DINOv3-L: FID không-guidance 1.15 và 0.99 với guidance — vượt FID tốt nhất của baseline ở ImageNet-256.
Hiệu quả tính toán: SWIFT ở epoch 120 vượt FID tốt nhất của baseline train tới 320 epoch (1.53) chỉ với ~0.45× FLOPs tổng; trên RAEv2 chỉ 0.44× FLOPs.
Bổ trợ inference guidance: guidance độc lập vẫn cải thiện thêm trên mô hình SWIFT ở mọi cấu hình; scale guidance tối ưu dịch trái (1.78 → 1.20), chứng tỏ SWIFT đã internalize một phần sự hiệu chỉnh.
Chọn α và guide: hiệu năng U-theo-α, vùng tối ưu α ≈ 0.7–0.9 (CIFAR-10); guide một nửa chiều rộng (half-width) và đủ năng lực cho kết quả tốt nhất; đóng băng sớm guide thậm chí có lợi.

IV. Conclusion & Future Works:

SWIFT cho thấy target hồi quy là một giao diện thiết kế chứ không phải đại lượng cố định: một target cố ý lệch (biased) nhưng khi huấn luyện hữu hạn lại cho predictor cuối cùng gần posterior mean hơn và mẫu sinh tốt hơn. Phương pháp đơn giản (chỉ ~9% FLOPs thêm), một mô hình duy nhất lúc inference, và hiệu quả xuyên suốt các họ mô hình diffusion. Hướng mở: khám phá các dạng hiệu chỉnh khác có thể viết vào regression target, và mở rộng sang video/audio hoặc các bài toán hồi quy ngoài diffusion.

V. Brainstorming Space:

1. Publish Papers:

Tổng quát hóa target extrapolation cho mô hình diffusion video và audio, nơi weak-to-strong correction có thể tận dụng tính dư thừa thời gian-tần số của dữ liệu liên tục.
Nghiên cứu α và hồ sơ guide thích ứng theo mức noise hoặc theo tiến trình training, thay vì hệ số cố định, để khai thác tối đa giới hạn underfitting theo từng spectral mode.
Kết hợp target extrapolation với các kỹ thuật tăng tốc sampling (distillation, few-step ODE) để đạt chất lượng hình ảnh cao với chi phí inference cực thấp trên thiết bị biên.

2. Patent:

Hệ thống sinh ảnh trên điện thoại với chất lượng cao không cần mô hình phụ: huấn luyện mô hình diffusion chính bằng cách ngoại suy target vượt qua ảnh gốc dựa trên dự đoán của một mô hình nhỏ hơn (checkpoint sớm), sau đó chỉ đóng gói một mô hình duy nhất lên thiết bị, tiết kiệm bộ nhớ và năng lượng pin khi chụp/sửa ảnh.
Dịch vụ đám mây tạo ảnh tiết kiệm chi phí: máy chủ huấn luyện ảnh theo phong cách cá nhân bằng phương pháp target extrapolation để đạt chất lượng tương đương với khoảng một nửa số epoch huấn luyện thông thường, rút ngắn thời gian và giá thành cho mỗi yêu cầu của người dùng.
Trình tạo hình nền/avatar thời gian thực trong ứng dụng mạng xã hội: mô hình diffusion được huấn luyện sẵn với weak guide rồi loại bỏ guide, cho phép sinh ảnh chất lượng cao ngay trên điện thoại mà không cần tính toán guidance kép ở mỗi lần sinh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.25844
ArXiv Abstract	https://arxiv.org/abs/2610.25844
PDF Download	https://arxiv.org/pdf/2610.25844.pdf
Github Repository	N/A

12. MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records (24 votes)

Tác giả: Seohyun Lee, Jongha Kim, Dohwan Ko, Ji Soo Lee, Seoung Choi, et al.

Xuất bản lúc: 2026-10-20

Tag: Enterprise Agents, Multimodal LLMs, RAG, Benchmark, Conflict Resolution, Temporal Reasoning, Unanswerability, Document Understanding

I. Main Problem:

Các trợ lý doanh nghiệp dựa trên multimodal LLMs phải trả lời câu hỏi từ hồ sơ công việc liên tục thay đổi qua Slack, email, Notion, báo cáo, slide và hình ảnh. Khi thông tin được chia sẻ rồi sửa đổi, nhiều phiên bản của cùng một dữ kiện cùng tồn tại, tạo ra:

cross-source conflict: các nguồn ghi giá trị không khớp nhau
temporal conflict: câu hỏi hỏi trạng thái tại một thời điểm, không phải giá trị mới nhất
unanswerability: bằng chứng hiện có không đủ để kết luận

Các benchmark trước chủ yếu thiếu kết hợp đồng thời workplace + multimodal + xung đột nguồn + xung đột thời gian + câu hỏi không thể trả lời.

II. Main Idea:

Bài báo giới thiệu MMEnterprise-Bench, một benchmark gồm 1,613 câu hỏi trên 30 dự án cộng tác mô phỏng, dựng từ báo cáo và bài báo công khai, với 7,140 bản ghi văn bản và hình ảnh. Điểm then chốt là quy trình mô phỏng sự kiện cộng tác như chia sẻ kết quả, phát hiện lỗi, gửi chỉnh sửa, cập nhật tài liệu; các bản ghi cũ được giữ lại thay vì ghi đè, nên cả giá trị lỗi lẫn giá trị đã sửa vẫn nằm trong kho truy xuất.

Benchmark chia thành 3 nhánh năng lực và 8 tác vụ:

Evidence Reasoning: trích xuất, gán nguồn, tính toán, so sánh, diễn giải từ bằng chứng đủ và nhất quán
Conflict Resolution: chọn giá trị đúng khi các nguồn mâu thuẫn, hoặc khôi phục giá trị tại một thời điểm
Unanswerability: nhận ra khi câu hỏi thiếu dữ kiện hoặc có tiền đề sai

Ví dụ đời thường: giống như nhân viên đối chiếu tin nhắn nhóm, email và bảng tính để biết con số nào đã bị sửa ở đâu, lúc nào, thay vì chỉ nhìn bản mới nhất rồi chốt đáp án.

III. Main Results:

Kết quả tổng thể còn yếu: với k=50 bản ghi truy xuất, GPT-5.6 Sol chỉ đạt 68.0%; Gemini 3.8 Flash đạt 63.9%, Gemini 3.1 Pro 62.5%; mô hình open-source mạnh nhất là Qwen3.5-27B đạt 50.3%.
Conflict Resolution là điểm yếu lớn: ở k=10, độ chính xác cross-source chỉ khoảng 11.8%–36.3%, temporal conflict khoảng 13.2%–33.5%; ngay cả mô hình mạnh nhất cũng chỉ đạt 36.3% và 32.5%.
Suy luận đa bằng chứng rất khó: GPT-5.6 Sol đạt 83.3% khi chỉ cần một bản ghi văn bản, nhưng tụt còn 27.5% khi cần nhiều hình ảnh.
Truy xuất nhiều hơn chưa chắc trả lời tốt hơn: tăng k từ 50 lên 100 làm evidence recall tăng, nhưng Qwen3.5-2B giảm từ 25.0% xuống 22.2%; retriever lớn hơn cải thiện recall nhưng không đều cải thiện accuracy.
Biết khi nào không đủ bằng chứng là một kỹ năng riêng: GPT-5.6 Sol mạnh về tổng thể nhưng chỉ đạt 65.5% trên unanswerable questions, trong khi Gemini 3.8 Flash đạt 87.4%.

IV. Conclusion & Future Works:

MMEnterprise-Bench cho thấy bottleneck không chỉ nằm ở truy xuất bằng chứng, mà ở khả năng chọn đúng phiên bản dữ liệu, hợp nhất bằng chứng qua văn bản và hình ảnh, theo dõi lịch sử chỉnh sửa, và biết dừng khi dữ liệu không đủ. Hướng phát triển cần thiết gồm:

cơ chế temporal grounding rõ ràng hơn cho bản ghi doanh nghiệp
khả năng từ chối trả lời có hiệu chuẩn thay vì bịa đáp án
tích hợp sâu hơn giữa retrieval, kiểm chứng nguồn và suy luận multimodal
nâng cao độ tin cậy khi bằng chứng phân tán trên nhiều ảnh, bảng, slide và hội thoại

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mô hình enterprise agent có bộ nhớ phiên bản rõ ràng, biết đặt mỗi bản ghi trong dòng thời gian chỉnh sửa thay vì coi mọi tài liệu như dữ kiện hiện tại.
Phát triển phương pháp conflict-aware retrieval ưu tiên bản ghi có ngữ cảnh sửa đổi, xác nhận lỗi hoặc cập nhật sau, thay vì chỉ xếp hạng theo độ tương đồng.
Xây dựng agent có khả năng calibrated abstention cho câu hỏi doanh nghiệp, biết phân biệt 'không tìm thấy' với 'tìm thấy nhưng không đủ tin cậy'.
Mở rộng đánh giá sang multi-image reasoning trong tài liệu công việc, nơi một phần sự thật nằm ở bảng biểu, phần khác nằm ở chú thích hình hoặc slide.

2. Patent:

Trợ lý doanh nghiệp trên điện thoại khi trả lời câu hỏi về số liệu, hạn chót hoặc trạng thái dự án sẽ hiển thị kèm dòng thời gian chỉnh sửa và cho người dùng chọn 'giá trị mới nhất', 'giá trị tại thời điểm X' hoặc 'báo thiếu dữ liệu'.
Ứng dụng quản lý công việc tự phát hiện hai nguồn nội bộ mâu thuẫn, ví dụ bảng theo dõi ghi một con số còn slide ghi con số khác, rồi đề xuất bản ghi có xác nhận sửa đổi gần nhất làm căn cứ trả lời.
Hệ thống hỗ trợ trả lời email công việc từ điện thoại có chế độ kiểm chứng trước khi gửi: nếu câu trả lời dựa vào tin nhắn cũ, hệ thống cảnh báo rằng đã có bản sửa đổi mới hơn trong kênh khác.
Phần mềm ghi chú cuộc họp tự gắn nhãn mỗi quyết định bằng nguồn, thời điểm và phiên bản tài liệu, giúp câu hỏi sau này không lấy nhầm dữ liệu đã lỗi thời.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.27911
ArXiv Abstract	https://arxiv.org/abs/2610.27911
PDF Download	https://arxiv.org/pdf/2610.27911.pdf
Github Repository	https://github.com/mlvlab/MMEnterprise-Bench

13. Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs (22 votes)

Tác giả: Noam Rotstein, Yoad Tewel, Chen Tessler, Haggai Maron, Gal Chechik, et al.

Xuất bản lúc: 2026-10-20

Tag: Video Generation, 3D Motion Generation, Diffusion Models, Cross-Attention, Rig Animation, Scene Registration

I. Main Problem:

Các mô hình video generation hiện tại tạo ra chuyển động rất thực tế nhưng chỉ ở dạng pixel — không thể đưa chuyển động đó về 3D motion có thể tái phát lại trên một rig 3D cụ thể trong cảnh 3D của nó.

Các phương pháp nâng motion từ 2D về 3D sau khi tạo video (video-first) dễ gây lệch giữa animation và video.
Các mô hình joint video–motion hiện có chỉ xử lý khung xương người (thường thêm hàng tỷ tham số), hoặc phải triangulate 3D từ pose map 2D đòi hỏi video đa góc nhìn.
Thêm nữa, không có dữ liệu huấn luyện ghép video tự nhiên với 3D motion cho đa dạng skeleton.

II. Main Idea:

JCA (Joints, Camera, Action!) đồng sinh (co-generate) cả 3 thứ cùng lúc: video, 3D motion cho bất kỳ rig nào (khỉ, robot, chim, người...), và camera để đăng ký motion đó vào cảnh mà video vẽ ra. Kiến trúc:

Motion model riêng: skeleton được biểu diễn như graph (khớp = node, xương = cạnh), học trước chỉ trên motion data (dễ thu thập và augment hơn paired video).
Kết nối với video model pretrained (Wan2.2 I2V-A14B) qua một ít cross-attention layer khởi tạo bằng 0 ở cả 2 chiều — chỉ thêm 178M tham số thay vì ~7B của thiết kế mở rộng backbone chung.
Bridge guidance: ở inference, đối chiếu dự đoán khi bật/tắt cầu nối rồi khuếch đại phần thay đổi do tương tác gây ra, tăng mức đồng bộ video–motion.
Joint localization head: mô hình học dự đoán mỗi joint nằm ở đâu trong ảnh 2D; ghép với vị trí 3D sinh ra để fit camera và đặt motion đúng vào cảnh.
Data pipeline: dùng video editor generative (Bernini) ghép render animation của asset 3D vào cảnh phù hợp với hành động, kiểm chứng để giữ nhãn motion — cùng video người và robot tạo ~200K cặp video–motion.

Ví dụ đời thường: giống đạo diễn vừa quay phim vừa điều khiển con rối — hai người phụ trách khác nhau nhưng liên tục nhìn nhau để phối hợp, rồi còn đo vị trí từng khớp trên màn hình để treo con rối đúng chỗ trong phông cảnh.

III. Main Results:

Text-to-animation: vượt mọi baseline (AnimateAnyMesh, Puppeteer, ActionMesh) về prompt adherence (58.4 so với 43.4 của baseline mạnh nhất), mesh distortion thấp nhất (0.20%) và dynamic degree cao nhất (0.83).
Người (SMPL): sau fine-tune, JCA SMPL-FT vượt EchoMotion — model chuyên cho người — trên cả 3 metric đồng bộ hóa: giảm PA-MPJPE 26%, SA-MPJVE 37%; anatomy tốt hơn rõ (.93 so với .73).
Một model duy nhất hỗ trợ: video-to-motion, motion-to-video, và điều khiển motion qua RGB keyframes (cho ảnh đầu + cuối, mô hình điền cả video lẫn trajectory 3D giữa hai điểm).
Ablation: bridge guidance cải thiện đồng bộ rõ so với chỉ kết nối; ngắt hẳn hai nhánh làm lỗi tăng gần gấp đôi; joint training vượt motion-only pretrained (adherence 51.6 → 58.4).
Scene-aware motion: motion phản ứng với cảnh xung quanh (khỉ nhảy qua xà, chim cánh cụt trượt trên tuyết).

IV. Conclusion & Future Works:

JCA là mô hình đầu tiên đồng sinh trực tiếp video và 3D joint motion cho rig tùy ý, với chi phí tham số khiêm tốn nhờ kiến trúc tách rời + zero-init cross-attention, đăng ký cảnh qua localization học được, và pipeline dữ liệu OiV (~200K cặp). Hạn chế & hướng tương lai:

Giả định camera tĩnh khi align — cần mở rộng cho camera chuyển động.
Dữ liệu rig thiên lệch về hai chân (biped); cần đa dạng hóa motion hơn.
Model không nhìn geometry cảnh 3D nên không ràng buộc tiếp xúc/va chạm — thêm điều kiện geometry hoặc contact terms để motion vừa đúng cảnh vừa đúng vật lý.
Đồ vật tương tác chỉ chuyển động trong video, không được phục hồi 3D; mỗi clip chỉ animate một rig — mở rộng lên animate cả cảnh là hướng đi hấp dẫn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng co-generation sang multi-rig và dynamic scene: phục hồi đồng thời motion của nhiều rig và các đồ vật tương tác trong cảnh, thay vì một rig duy nhất mỗi clip.
Nghiên cứu scene-consistent motion: điều kiện hóa nhánh motion trên geometry cảnh 3D trực tiếp, thêm ràng buộc tiếp xúc và chống xuyên bề mặt trong quá trình training hoặc guidance.
Khái quát hóa đăng ký cảnh cho camera chuyển động: ước lượng trajectory camera từng khung hình thay vì một camera tĩnh duy nhất cho cả clip.
Xây dựng corpus rig đa dạng hơn ngoài humanoid/biped: thu thập và retarget motion cho skeleton phi nhân hình (bò sát, côn trùng, cơ cấu máy móc) để cân bằng phân phối training.

2. Patent:

Ứng dụng điện thoại quay video rồi tái hiện thành animation 3D: người dùng quay một con vật/robot bằng điện thoại, ứng dụng khôi phục chuyển động 3D của rig tương ứng và cho phép ghép animation đó vào nhân vật game hoặc avatar 3D ngay trên máy.
Công cụ tạo animation cho nhân vật 3D bất kỳ bằng văn bản trên điện thoại: người dùng nhập mô tả ('con mèo nhảy qua hàng rào'), hệ thống sinh video minh họa kèm chuyển động 3D gắn được vào mô hình 3D của chính người dùng để xem trong thực tế tăng cường.
Hệ thống điều khiển robot bằng ảnh chụp: chụp ảnh tư thế đầu và cuối mong muốn trên điện thoại, hệ thống sinh toàn bộ quỹ đạo chuyển động 3D cho robot giữa hai tư thế và kèm video mô phỏng để người dùng duyệt trước khi robot thực thi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.28632
ArXiv Abstract	https://arxiv.org/abs/2610.28632
PDF Download	https://arxiv.org/pdf/2610.28632.pdf
Github Repository	N/A

14. SpecKCast: Spectral Kalman Forecasting for Diffusion Acceleration (22 votes)

Tác giả: Javad Rajabi, Hakki Can Karaimer, David B. Lindell, Babak Taati, Michael S. Brown

Xuất bản lúc: 2026-10-19

Tag: Diffusion Models, Diffusion Transformers, Inference Acceleration, Kalman Filter, DCT, Feature Forecasting, Image Generation, Video Generation

I. Main Problem:

Diffusion Transformers (DiTs) tạo ảnh/video chất lượng cao nhưng rất tốn kém khi suy diễn vì phải chạy lặp lại transformer qua hàng chục bước khử nhiễu. Các phương pháp hiện có còn hai hạn chế lớn:

Dự báo đồng nhất: các phương pháp forecasting (TaylorSeer, Spectrum) ngoại suy toàn bộ feature một cách giống nhau, trong khi thực tế tần số thấp thay đổi mạnh ở các bước đầu rồi chững lại, còn tần số cao chỉ biến động ở cuối quá trình — một mô hình duy nhất không phục vụ được cả hai.
Trục thời gian sai: dùng chỉ số bước sampler hoặc timestep thô, dù tiến độ khử nhiễu ở mỗi bước là không đều — cùng một khoảng bước nhưng lượng thay đổi rất khác nhau, khiến quỹ đạo khó dự báo.

Hệ quả: sai số dự báo cộng dồn khi bỏ qua nhiều bước, làm giới hạn tỉ lệ tăng tốc đạt được.

II. Main Idea:

SpecKCast là phương pháp training-free dự báo output của DiT trong miền tần số thay vì không gian feature:

Biến đổi output bằng 2D DCT, chia thành 7 dải tần số hướng tâm; mỗi hệ số tần số được dự báo riêng theo động lực học của dải chứa nó.
Dùng trục thời gian dẫn xuất từ noise schedule (log-SNR) rồi warp phi tuyến theo từng dải tần, sao cho mỗi đơn vị thời gian tương ứng đúng lượng biến đổi mà dải đó dự kiến trải qua.
Mỗi hệ số được theo dõi bằng Kalman filter nhẹ lưu giá trị và tốc độ thay đổi; đạo hàm giảm dần theo thời gian để tránh bắn quá mục tiêu khi skip dài. Các hệ số trong cùng dải chia sẻ ma trận hiệp phương sai nên chi phí rất thấp.
Lập lịch thích ứng theo độ bất định: khi covariance dự báo vượt ngưỡng rủi ro, mới chạy lại transformer; ngược lại dùng hệ số dự báo biến đổi ngược về miền không gian và đưa thẳng vào sampler.

Ví dụ đời thường: giống việc dự báo thời tiết cho từng vùng bằng đồng hồ riêng — vùng biển thay đổi nhanh thì chia thang thời gian dày hơn, vùng sa mạc ít đổi thì thang thưa hơn, và chỉ khi nào độ tin cậy của dự báo xuống thấp mới cần đo lại thực tế.

III. Main Results:

Đánh giá trên FLUX.1-dev, Qwen-Image (text-to-image) và Wan2.1-14B, HunyuanVideo (text-to-video), so với FORA, TeaCache, HiCache, SeaCache, TaylorSeer, Spectrum.
Tới 6× speedup với chi phí bộ nhớ thêm chỉ ~0.05 GiB (baseline forecasting có thể tốn tới 19 GiB).
Ở tỉ lệ tăng tốc cao nhất, vượt baseline mạnh nhất +1.1 dB PSNR trên FLUX.1-dev (5.54×) và +2.0 dB trên Qwen-Image (6.00×); tốt nhất hoặc ngang tốt nhất về PSNR/SSIM/LPIPS hầu hết cấu hình.
Trên video: tốt nhất về SSIM mọi ngữ cảnh; trên HunyuanVideo tăng +2.1 dB PSNR so với SeaCache trong khi nhanh hơn (3.33× so với 2.57×).
Ablation: bỏ phân rã tần số −3.1 dB PSNR; dùng step index thay trục thời gian warp −4.7 dB; lập lịch theo uncertainty +2.2 dB; kết hợp phân rã tần số + warp thời gian giúp cả forecaster Taylor đơn giản cũng vượt TaylorSeer +4.2 dB.

IV. Conclusion & Future Works:

SpecKCast chứng minh rằng tách riêng động lực học theo tần số và căn trục thời gian theo noise schedule là chìa khóa để dự báo quỹ đạo khử nhiễu chính xác hơn, đạt trade-off tăng tốc–chất lượng tốt hơn mọi phương pháp caching/forecasting hiện có với overhead không đáng kể. Hướng tương lai: SpecKCast mới chỉ khai thác dư thừa thời gian giữa các bước; mỗi bước vẫn xử lý toàn bộ token grid nên còn dư thừa không gian bên trong transformer — kết hợp đồng thời cả hai loại dư thừa là hướng đi hứa hẹn để tăng tốc sâu hơn nữa.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng dự báo theo dải tần số cho mô hình video dài: theo dồi thêm chiều thời gian của tín hiệu video bằng Kalman filter 3D-DCT để giảm cộng dồn lỗi trên chuỗi frame dài.
Kết hợp forecasting phổ với khai thác dư thừa không gian trong transformer (token pruning/quantization) để đạt tăng tốc bội nhân giữa các bước khử nhiễu.
Học hiệu chỉnh tham số quá trình (process noise, decay) của Kalman filter từ dữ liệu chạy thực tế để dự báo tự thích nghi theo từng prompt và từng mô hình khác nhau.

2. Patent:

Tính năng tạo ảnh tức thì trên điện thoại: ứng dụng biến ảnh đầu ra thành hệ số tần số, dùng bộ lọc Kalman nhẹ để đoán các bước khử nhiễu tiếp theo, chỉ chạy lại mạng nơ-ron khi mức tin cậy thấp — giúp tạo ảnh nhanh gấp 5–6 lần mà gần như không tốn thêm bộ nhớ máy.
Bộ lọc nâng cao chất lượng video tạo bằng AI theo thời gian thực cho ứng dụng quay phim: theo dõi riêng chi tiết nét (tần số cao) và màu sắc nền (tần số thấp) bằng hai 'đồng hồ' thời gian khác nhau, bù sai số giữa các khung hình mà không cần tính toán lại toàn bộ.
Hệ thống render đám mây tự điều chỉnh ngân sách tính toán: đo độ bất định của dự báo phổ để tự quyết định bước nào cần render đầy đủ, bước nào dùng ước lượng — cân bằng giữa chất lượng và chi phí GPU theo từng yêu cầu của người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26837
ArXiv Abstract	https://arxiv.org/abs/2610.26837
PDF Download	https://arxiv.org/pdf/2610.26837.pdf
Github Repository	N/A

15. LLM2R: From Large Language Models to 3D Reassemblers (21 votes)

Tác giả: Zhouhan Zhong, Qiuhong Shen, Xingyi Yang, Jinyi Xu, Xinchao Wang

Xuất bản lúc: 2026-10-13

Tag: 3D Part Assembly, Large Language Models, Point Clouds, SE(3) Pose Prediction, LoRA, Sequence Modeling

I. Main Problem:

Bài toán lắp ráp 3D từ các mảnh rời: cho tập hợp các part chưa lắp (đồ nội thất, mảnh vỡ khảo cổ, vật bể vụn), cần dự đoán phép biến đổi cứng SE(3) (xoay + tịnh tiến) cho từng part để tái dựng vật thể hoàn chỉnh. Khó khăn cốt lõi:

Vị trí của một part hiếm khi do hình học của chính nó quyết định — mọi pose phụ thuộc vào toàn bộ tập part
Các phương pháp hiện tại dựa trên quan hệ từng cặp hoặc sinh-thử lặp, nên khó bắt ràng buộc bậc cao và scale kém khi số part tăng
Nhiều phương pháp cần ảnh tham chiếu, mẫu CAD hoặc prior riêng theo category — không có trong môi trường mở

II. Main Idea:

Coi lắp ráp 3D như bài toán mô hình hóa chuỗi và tái sử dụng một decoder-only LLM pretrained (Qwen3.5-0.8B) qua LoRA. Kiến trúc:

Point-BERT + Q-Former: nén từng part (point cloud) thành một block gồm 64 geometric token trong embedding space của LLM
Nối các block của tất cả part thành một chuỗi duy nhất, xử lý trong một forward pass (không autoregressive, không sinh-thử lặp)
Summary tokens: vì attention causal khiến part thứ i chỉ thấy các part trước nó, LLM2R thêm một block token học được ở cuối chuỗi — chúng nhìn thấy mọi part nên state của chúng tổng hợp toàn bộ assembly với chi phí token không đổi
Part-aware pose head: ghép từng state của part với summary state tương ứng để dự đoán quaternion xoay (qua tổ hợp lồi của 32 anchor) và translation

Ví dụ đời thường: giống một người lắp đồ nội thất không đọc từng bước một mà có một trang ghi chú tổng kết cuối cùng tóm tắt toàn bộ hình dạng thành phẩm — đặt từng mảnh nào cũng lật lại trang tổng kết đó để biết mảnh mình nằm ở đâu trong tổng thể.

III. Main Results:

PartNet: part accuracy cao nhất cả 3 category (Chair 71.42%, Table 70.67%, Lamp 52.31%) và success rate vượt trội (Chair 41.40% so với 22.59% của Assembler)
PartNeXt: tốt nhất cả 3 metric về pose — rotation error 41.12°, translation RMSE 5.24, PA 67.93%
Breaking Bad: translation error thấp nhất (0.46/0.53) và nhanh nhất (0.092s/instance, gấp ~2.4x GARF); chỉ thua GARF — method chuyên biệt cho vết nứt — về rotation và CD
Scale tốt: ở 100 part, vượt GARF +33.5 điểm PA (Breaking Bad) và Assembler +29.1 điểm (PartNet); baseline sụp gần hết còn LLM2R giữ ~57% và ~37%
Zero-shot sang category mới (Bed, Door, Storage): PA cao hơn baseline mạnh nhất hơn 16 điểm
Ablation: bỏ summary block gây sụt PA lớn nhất (−7.7 điểm); bỏ instruction cũng giảm 6.1 điểm — chứng tỏ LLM dùng cả kiến thức ngôn ngữ pretrained

IV. Conclusion & Future Works:

LLM2R chứng minh một decoder-only LLM pretrained có thể giải lắp ráp 3D trong một pass duy nhất nhờ summary tokens tổng hợp toàn cục, một kiến trúc thống nhất cho cả assembly ngữ nghĩa lẫn tái lắp vỡ hình học. Hướng tương lai: position encoding bất biến thứ tự part, backbone lớn hơn, bước refine hình học nhẹ cho pose, và vượt giới hạn context (~125 part) cùng khả năng biểu diễn nhiều cấu hình lắp hợp lý.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng LLM2R sang lắp ráp đa vật thể trong scene hoàn chỉnh, dùng summary tokens phân cấp để xử lý quan hệ giữa nhiều đồ vật trong một không gian chung.
Kết hợp LLM2R với diffusion để sinh nhiều cấu hình lắp ráp hợp lý thay vì chỉ một pose duy nhất, đặc biệt cho mảnh vỡ khảo cổ có nhiều cách ghép.
Nghiên cứu thứ tự trình bày part tối ưu hoặc position encoding bất biến hoán vị để khắc phục bias vị trí trong chuỗi causal.

2. Patent:

Ứng dụng điện thoại tái lắp đồ vật bể: người dùng quét các mảnh vỡ bằng camera điện thoại, ứng dụng gửi point cloud lên máy chủ chạy mô hình dạng LLM để hiển thị ngay vị trí và hướng ghép từng mảnh qua màn hình AR.
Robot phân loại và lắp ráp linh kiện tự động: camera 3D quét các part rời trên băng chuyền, mô hình dự đoán đồng thời pose của tất cả part trong một lần tính, robot nhặt lắp theo thứ tự mà không cần mẫu CAD hay lặp thử.
Hệ thống phục chế di vật khảo cổ trên máy tính bảng: nhân viên bảo tàng quét từng mảnh sành vỡ, phần mềm tự ghép 3D và đề xuất cấu hình hoàn chỉnh, hỗ trợ số hóa hiện vật và in 3D bản phục dựng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.18604
ArXiv Abstract	https://arxiv.org/abs/2610.18604
PDF Download	https://arxiv.org/pdf/2610.18604.pdf
Github Repository	N/A

16. Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading (20 votes)

Tác giả: Wenfeng Wang, Xiaofeng Hou, Xinfeng Xia, Xinkai WAng, Mingxuan Zhang, et al.

Xuất bản lúc: 2026-10-20

Tag: MoE, Speculative Decoding, Model Quantization, Expert Offloading, LLM Inference, Systems

I. Main Problem:

Các mô hình Mixture-of-Experts (MoE) thường vượt quá bộ nhớ một GPU đơn lẻ, nên phải offload phần lớn expert xuống bộ nhớ host (CPU RAM). Hệ quả:

Bottleneck chuyển dữ liệu PCIe: việc định tuyến token tới expert phụ thuộc dữ liệu đầu vào, khiến mọi lần tải expert nằm trên đường găng (critical path) — GPU liên tục chờ.
Prefetch hiện tại vô dụng: các phương pháp cũ chỉ dự đoán được routing trong cùng một token (từ layer trước sang layer sau), tạo cửa sổ tính toán chỉ vài micro-giây, trong khi tải một expert nặng gigabyte qua PCIe mất vài milli-giây.
Khi ghép speculative decoding (SD) thẳng vào MoE offloading lại phát sinh "expert explosion": dự đoán K token đồng thời kích hoạt tập expert phình to gấp nhiều lần (ví dụ DeepSeekV2-Lite tăng từ 6.0 lên 31.7 expert/layer khi K từ 1→16), gây nghẽn băng thông PCIe và thrashing bộ nhớ.

II. Main Idea:

Specter kết hợp speculative decoding với expert offloading, dùng chính bản quantized (INT4) của mô hình MoE đích làm draft model — không cần huấn luyện gì thêm. Nhờ chia sẻ nguyên kiến trúc routing và nguồn tham số, bản INT4 này dự đoán expert nào sẽ được kích hoạt với độ trùng khớp trên 90%, cung cấp lookahead nhiều bước để điều phối việc tải expert qua PCIe trước khi cần tới.

Ba thành phần chính:

Speculative Inference Controller (SIC): chia sẻ trạng thái mô hình giữa draft và target (attention, embedding giữ FP16; expert MLP nén INT4), chọn độ sâu dự đoán K qua profiling offline, quản lý KV cache và token chuẩn xác.
Predictive I/O Orchestrator (PIO): dùng Expert Lookahead Buffer (ELB) ghi lại pattern kích hoạt expert trong lúc draft chạy, lên kế hoạch prefetch qua PCIe theo 3 pha (Cold Start → Prefetch Overlap → Final Cleanup), đồng bộ hóa bất đồng bộ với tính toán. Đảm bảo tổ hợp draft-verify của SD vẫn giữ chất lượng generation lossless.
Streamlined Execution Engine (SEE): kernel fused cho draft INT4 (gom token theo expert vào một launch duy nhất), sắp xếp lại verification theo expert (gom token cùng expert thành GEMM dày thay vì GEMV phân mảnh, ưu tiên expert đang nằm sẵn trong cache), và tối ưu overlap bằng CUDA streams/events.

Ví dụ đời thường: giống người nấu ăn có trợ lý nhỏ đọc trước thực đơn 16 món tới — trợ lý chạy đi lấy sẵn đúng nguyên liệu từ kho xa (bộ nhớ host) về bếp (GPU) từng đợt trong lúc đầu bếp vẫn đang chế biến, nên khi tới lượt món nào là nguyên liệu đã sẵn sàng, không ai phải đứng chờ.

III. Main Results:

Tốc độ tổng thể: so với SpecMoEOff (baseline tốt nhất cùng hướng), Specter đạt tốc độ nhanh trung bình 1.50×, tới 1.88× về TPOT (time per output token) trong suy luận đơn request.
So với framework phổ biến: tới 5.9× nhanh hơn Transformers baseline trên Phi-3.5-MoE (163.3 ms vs 960.6 ms); trên Qwen1.5-MoE đạt 35.3 ms/token so với 66.4 ms của SpecMoEOff và 176.6 ms của vLLM.
Độ trung thực routing: draft INT4 khớp top-k expert với target FP16 trung bình ~90.8–96.5% tùy mô hình và phương pháp quantize; tỷ lệ chấp nhận token tới 96–99%, cho phép suy đoán sâu tới K=16–32.
Đánh giá thực tế: 3 mô hình MoE đại diện (Phi-3.5-MoE, Qwen1.5-MoE, DeepSeekV2-Lite) × 5 bộ dữ liệu (C4, WikiText-2, HumanEval, GSM8K, GPQA) × nhiều ngân sách VRAM khác nhau trên một A100 40GB — ưu thế giữ vững ở cả cấu hình bộ nhớ cao lẫn thấp.

IV. Conclusion & Future Works:

Specter chứng minh rằng quantized speculative decoding là nền tảng lý tưởng cho prefetching nhiều bước trong MoE offloading: nó biến bài toán định tuyến không xác định, phụ thuộc dữ liệu thành bài toán lập lịch I/O dạng quyết định được, đồng thời giữ nguyên phân phối đầu ra. Thông điệp hệ thống cốt lõi: không thể tối ưu rời rạc — quản lý trạng thái mô hình, lập lịch I/O và kernel execution phải đồng thiết kế (co-design) mới chuyển được lợi thế lý thuyết của lookahead thành speedup thực tế. Hướng mở: mở rộng sang suy luận nhiều request/batch, nhiều GPU, và các mức quantization thấp hơn (2-bit) hoặc kết hợp early-exit để tăng thêm hiệu quả.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Specter cho serving MoE đa request: điều phối prefetch và cache expert theo hồ sơ routing của cả một batch, cân bằng giữa độ sâu dự đoán K và đa dạng routing giữa các request trong batch.
Kết hợp lookahead routing của draft quantized với early-exit/routing prune để giảm thêm working-set expert và chi phí verification ở độ sâu suy đoán lớn.
Nghiên cứu draft model tự động tạo cho các họ MoE không có bản quantized chất lượng cao: distillation routing-aware nhẹ, giữ độ trung thực expert-ID mà không cần huấn luyện đầy đủ.
Phân tích lý thuyết độ sâu suy đoán tối ưu dưới ngân sách băng thông PCIe và VRAM thay đổi, đưa ra mô hình chi phí-lợi ích dự đoán K* mà không cần profiling offline.
Áp dụng tư tưởng dự đoán-quantized-draft cho suy luận MoE phân tán nhiều GPU/edge device, nơi bottleneck chuyển từ PCIe sang mạng liên node.

2. Patent:

Phương pháp chạy mô hình ngôn ngữ MoE lớn trên điện thoại/laptop thông thường: dùng bản nén 4-bit của chính mô hình làm bộ dự đoán để đọc trước và tải sớm các expert cần dùng từ RAM vào VRAM của GPU tích hợp, giảm thời gian trả lời mà không đổi chất lượng văn bản.
Hệ thống quản lý bộ nhớ cho trợ lý AI offline trên thiết bị di động: bộ đếm kích hoạt expert (lookahead buffer) thu thập trong lúc mô hình nhỏ đang gõ phác thảo token, tự động kéo trọng số expert từ bộ nhớ ngoài vào theo từng đợt đồng bộ với tốc độ tính toán.
Cơ chế sắp xếp lại thứ tự tính toán khi kiểm chứng token: gom các token cùng đi qua một expert thành nhóm xử lý chung, ưu tiên expert đã nằm sẵn trong bộ nhớ nhanh, tải expert còn thiếu song song — triển khai dưới dạng module kernel cho chip AI di động.
Phương pháp chọn độ dài chuỗi dự đoán tự động trên thiết bị đầu cuối: đo tỷ lệ token được chấp nhận và băng thông bus thực tế rồi tự điều chỉnh số bước nhìn trước, tối ưu tốc độ sinh văn bản theo từng mẫu máy và từng ứng dụng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2511.14102
ArXiv Abstract	https://arxiv.org/abs/2511.14102
PDF Download	https://arxiv.org/pdf/2511.14102.pdf
Github Repository	N/A

17. Evolving Agent Interfaces (19 votes)

Tác giả: Saaket Agashe, Yuzhe Yang, Gonzalo Gonzalez-Pumariega, Bhuvan Chandra Koduru, Chih-Lun Li, et al.

Xuất bản lúc: 2026-10-20

Tag: Computer-Use Agents, Agent Interfaces, Evolutionary Search, Meta-Agent, Tool Learning, LLM Agents, OSWorld

I. Main Problem:

Các agent điều khiển máy tính (Computer-Use Agents, CUA) hiện nay bị giới hạn bởi interface do con người thiết kế sẵn và cố định trước khi chạy, gây ra ba vấn đề:

Phụ thuộc lao động thủ công: mỗi lần có task mới hoặc model mới, con người phải tự đọc trajectory, chẩn đoán lỗi và viết lại interface — vòng lặp này không mở rộng được.
Interface tĩnh không khớp với task: agent gõ từng ô trong spreadsheet trong khi một dòng code là xong, hoặc in 2000 dòng file ra terminal chỉ để tìm một hàm — cách bù đắp hiện tại là tăng test-time compute, lãng phí và mong manh.
Kỹ năng (skill) tổng hợp từ experience cũng kế thừa giới hạn này: skill chỉ là cách sắp xếp lại những gì interface cho phép, không thể mở rộng khả năng của nó.

II. Main Idea:

Paper đề xuất Agent S4 — một "nhà khoa học CUA tự trị" biến việc thiết kế interface thành một khả năng của chính agent, thay vì quyết định do người đưa ra trước deployment. Cơ chế:

Task agent (model + harness cố định, Qwen3.8-27B) thực hiện các task tổng hợp không có nhãn thành công, tạo ra trajectories.
Meta-agent nghiên cứu trajectories, rút giả thuyết về lỗi/kém hiệu quả, rồi tạo repository con (descendant) gồm interface mã hóa được (GUI, shell, API, workflow theo ứng dụng) + kiến thức khi nào dùng chúng, qua hai toán tử: mutation (một cha) và crossover (hai cha, kết hợp ý tưởng).
Population-based evolution: toàn bộ các repository cùng tồn tại, chọn cha bằng binary tournament dựa trên validation tasks mà meta-agent không bao giờ thấy — tách biệt dữ liệu xây dựng (training) và dữ liệu chọn lọc (validation) để tránh overfit.

Ví dụ đời thường: giống một thợ lành nghề tự xây bộ dụng cụ của mình — thay vì dùng mãi một bộ tua-vít người khác phát, anh ta làm việc, ghi nhớ chỗ nào vặn vít mất thời gian, tự chế thêm đầu vặn mới, rồi giữ lại những công cụ nào thật sự giúp việc nhanh hơn trong cả một loạt việc chưa từng gặp.

III. Main Results:

OSWorld V2 (108 task): Qwen3.8-27B với repository evolved đạt 21.3% binary success, $1.10/task** — vượt **GPT-5.5 (13.0%,$ 25.50) và Claude Opus 4.8 (20.6%, $72.40), chỉ tốn khoảng 4.3% và 1.5% chi phí của hai model frontier.
So với cùng model dùng interface cố định (Qwen CUA: 5.56% binary, 20.69% partial, $1.39), evolved repository nâng binary lên 21.3% và partial lên 46.9–51.1% — tức gấp ~3.8 lần ở binary score.
ScienceBoard (169 task khoa học chuyên biệt: Celestia, ChimeraX, GRASS GIS, Lean...): success rate tăng từ 41.4% → 58.6% so với interface con người thiết kế, cho thấy khả năng khái quát hóa sang domain mới.
Ablations so sánh các chiến lược tiến hóa (population vs linear) và vai trò của scratch VM (cho meta-agent thử code interface trong môi trường thật).

IV. Conclusion & Future Works:

Kết luận chính: interface hữu ích có thể được tiến hóa từ trải nghiệm của chính agent — chỉ từ task tổng hợp, không cần success labels hay verifier — và thiết kế interface tự trị là nguồn cải thiện bổ sung, độc lập với tiến bộ về model hay harness. Hướng mở: cải thiện chiến lược tiến hóa (denoising, population control), giảm chi phí evolution, mở rộng sang các môi trường và dạng interface khác (network, mobile), và nghiên cứu cách kết hợp evolution với tiến bộ của model trong cùng một vòng lặp.

V. Brainstorming Space:

1. Publish Papers:

Ứng dụng Evolving Agent Interfaces cho điện thoại di động: meta-agent tự xây bộ interface truy cập ứng dụng mobile (chia sẻ file, tin nhắn, cài đặt hệ thống) từ trajectories trên task tổng hợp, thay vì phụ thuộc hệ thống click/tap cố định.
Kết hợp evolution của interface với cải tiến model song song: một vòng lặp chung trong đó việc đổi model mới cũng kích hoạt tái tiến hóa repository để khai thác khả năng mới của model.
Tiến hóa interface đa agent hợp tác: các agent chia sẻ và lai ghép repository qua crossover liên-agent, mỗi agent chuyên một nhóm ứng dụng nhưng kế thừa interface của nhau.

2. Patent:

Trợ lý AI trên điện thoại tự học cách thao tác ứng dụng: người dùng dùng máy như thường, hệ thống ghi lại các thao tác thành công, tự tạo các phím tắt/lệnh tự động (ví dụ một lệnh chuyển toàn bộ ảnh từ ứng dụng này sang ứng dụng kia) và đề xuất lại cho người dùng.
Phần mềm văn phòng có 'bộ công cụ tự tiến hóa': phần mềm quan sát cách người dùng lặp lại các thao tác (điền báo cáo, xử lý bảng tính), tự sinh macro và giao diện thao tác gộp, rồi kiểm thử trên tập việc tương tự để chỉ giữ những công cụ thật sự nhanh hơn.
Hệ thống đào tạo nhân viên mới bằng mô phỏng: agent quan sát quy trình làm việc của nhân viên kinh nghiệm trên máy tính, tự xây dựng kho thao tác chuẩn và hướng dẫn sử dụng, dùng để huấn luyện nhân viên mới bằng các bài tập mô phỏng tự động chấm điểm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.28601
ArXiv Abstract	https://arxiv.org/abs/2610.28601
PDF Download	https://arxiv.org/pdf/2610.28601.pdf
Github Repository	N/A

Tác giả: Jaesang Yu, Seoyeon Byun, Yun Wang, Yan Lu, Juho Kim

Xuất bản lúc: 2026-10-19

Tag: Discrete Diffusion, Parallel Decoding, Non-Autoregressive Generation, Reasoning Models, Energy-Based Models, Pseudo-Likelihood

I. Main Problem:

Các mô hình sinh chữ theo kiểu autoregressive khó sửa quyết định đầu khi phát hiện mâu thuẫn ở cuối, vì token đã được chốt dần. Ngược lại, discrete diffusion cho phép dự đoán song song, nhưng decoding theo kiểu ancestral bị trói bởi reverse transition phụ thuộc schedule: token đã lộ thường không còn được xem lại, hoặc xác suất đổi token bị giới hạn bởi bước nhiễu.

Refinement theo complete draft có thể sửa nhiều vị trí cùng lúc, nhưng “mỗi token nghe hợp lý” chưa chắc tạo ra câu trả lời tổng thể tốt hơn.
Vấn đề cốt lõi: làm sao cùng một denoiser vừa đề xuất sửa song song, vừa chấm điểm cả draft trong một forward pass mà không cần mô hình chấm riêng.

II. Main Idea:

Draft Refinement Language Model dùng một denoiser duy nhất theo vòng lặp propose–read–retain:

Học để sửa draft trọn vẹn: huấn luyện cross-entropy ở mọi vị trí trên draft bị nhiễu bằng cách thay token ngẫu nhiên đều; vì token sai không bị đánh dấu, mô hình phải học cả giữ phần đúng và sửa phần sai.
Đề xuất trực tiếp: lấy argmax của clean-token posterior để cập nhật tất cả vị trí song song, bỏ qua reverse diffusion transition.
Chấm draft trong một lần đọc: khi đọc candidate, mô hình chia out self-token evidence theo kênh nhiễu đã biết rồi renormalize, thu được cavity conditional — mức token được context còn lại hỗ trợ. Cộng negative log của các estimate này thành cavity energy; energy thấp hơn nghĩa là draft hợp lý hơn theo ngữ cảnh.
Chỉ giữ khi tốt hơn: mỗi round làm nhiễu nhẹ draft tốt nhất hiện tại, tạo candidate mới, đọc lại ở mức cố định, và accept chỉ khi energy giảm strictly; ngược lại giữ nguyên draft cũ.

Ví dụ đời thường: giống viết bản nháp rồi đọc lại cả đoạn, sửa nhiều chỗ một lúc, nhưng chỉ lưu bản mới khi cả đoạn đọc trôi và khớp ý hơn bản cũ — không phải vì một câu riêng lẻ nghe hay.

III. Main Results:

Với chỉ 6M parameters, DRLM vượt cả autoregressive và discrete diffusion baseline trên Countdown, Sudoku-Extreme, Maze-Hard.
Countdown: CD-3 99.5%, CD-4 87.6%, CD-5 44.4%; hơn diffusion baseline mạnh nhất lần lượt +0.8, +14.3, +34.1 điểm. Ở CD-5, đạt 6.0× LLaMA-13B SFT và 4.3× LDDM.
Sudoku-Extreme: 93.9%, hơn UDLM +28.4 điểm và hơn LDDM +69.8 điểm.
Maze-Hard: 73.0%, hơn LDDM +33.7 điểm; UDLM gần như không giải được.
Phân tích decoding: sau round đầu, DRLM đã khớp 98.4% với output cuối trong khi mọi vị trí vẫn có thể sửa; trên CD-4 đạt 69.8% sau 1 pass và 81.1% sau 2 pass, vượt accuracy cuối của UDLM/MGDM.
Ablation cho thấy cả objective và decoder đều đóng góp riêng; bỏ energy-controlled retention làm accuracy rớt mạnh, đặc biệt CD-5 từ 44.4% xuống 24.0% và Sudoku từ 93.9% xuống 68.6%.

IV. Conclusion & Future Works:

Bài báo chứng minh complete-draft parallel refinement là lối tạo sinh hiệu quả thay cho reverse diffusion cho reasoning cần kiểm tra ràng buộc toàn cục. Điểm mới quan trọng là dùng chính kênh nhiễu đã biết để biến dự đoán denoiser thành điểm contextual support một pass, rồi kết hợp với quy tắc chỉ nhận draft energy thấp hơn.

Hướng mở rộng tự nhiên: thử nghiệm trên text reasoning rộng hơn, backbone lớn hơn, và các nhiệm vụ có nhiều lời giải đúng.
Cải tiến inference: thiết kế schedule re-noise/read level thích ứng, cân bằng giữa khám phá và giữ ngữ cảnh tốt.
Lý thuyết: làm rõ khi nào cavity energy là proxy đủ tốt cho correctness, và mở rộng sang scoring có cấu trúc ràng buộc rõ ràng.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng draft refinement sang bài toán sinh văn bản tự do: khởi tạo bản trả lời đầy đủ, sau đó tinh chỉnh song song theo năng lượng ngữ cảnh thay vì giải mã tuần tự từ trái sang phải.
Kết hợp cavity energy với ràng buộc bài toán: đưa checker ràng buộc vào điểm chấm draft để cải thiện lập trình, chứng minh toán, và lập lịch có điều kiện.
Nghiên cứu chiến lược re-noise thích ứng: chọn mức làm nhiễu và số pass theo độ bất ổn của draft nhằm giảm inference budget mà không mất accuracy.

2. Patent:

Trợ lý soạn thảo trên điện thoại: gõ yêu cầu, ứng dụng tạo ngay một bản trả lời đầy đủ rồi sửa nhiều câu song song; chỉ chấp nhận bản mới nếu điểm mạch lạc toàn bài cải thiện, giúp email, tin nhắn và báo cáo ít bị lỗi mâu thuẫn.
Máy ảnh điện thoại giải ô chữ, sudoku ảnh hoặc tìm đường trên bản đồ: chụp một lần, hệ thống lấp toàn bộ lời giải tạm rồi tinh chỉnh ô/rung song song và giữ bản thỏa ràng buộc tốt hơn, chạy offline trên model nhỏ.
Bàn phím thông minh cho lập trình viên di động: gợi ý khối code hoàn chỉnh từ chữ ký hàm và comment, sau đó chỉnh nhiều dòng cùng lúc và chỉ áp dụng nếu kiểm tra kiểu, import và biến dùng trong hàm nhất quán hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26542
ArXiv Abstract	https://arxiv.org/abs/2610.26542
PDF Download	https://arxiv.org/pdf/2610.26542.pdf
Github Repository	N/A

19. Epi: Towards a Persistent, Self-Improving Agent for Autonomous Research (18 votes)

Tác giả: Yue Huang, Zhangchen Xu, Xiaonan Luo, Zheyuan Liu, Lichi Li, et al.

Xuất bản lúc: 2026-10-18

Tag: Autonomous Research Agent, Self-Improving Agents, LLM Agents, Memory Hierarchy, Automated Theorem Proving, Mathematical Discovery, Code Generation

I. Main Problem:

Các agent nghiên cứu tự chủ hiện nay (FunSearch, AlphaEvolve, AI Scientist-v2) chỉ hoạt động trong một phiên làm việc đơn lẻ của mô hình — khi một cuộc điều tra thật sự cần nhiều hơn thế, chúng đối mặt với ba thách thức:

Mất tính liên tục: thí nghiệm và quyết định trải dài nhiều phiên, nhưng context của mô hình bị giới hạn, không lưu được code, kết quả trung gian và lý do của các quyết định trước.
Không học được từ kinh nghiệm: quan sát thí nghiệm không được chuyển thành bài học tái sử dụng (điều kiện áp dụng, bằng chứng hỗ trợ).
Không rẽ nhánh/quay lui: một hướng duy nhất chỉ khám phá một phần không gian phương pháp; không có cơ chế so sánh các phương án dưới một tiêu chí đánh giá thống nhất.

II. Main Idea:

Épi là agent nghiên cứu tự chủ bền bỉ và tự cải thiện, hoạt động trong môi trường có đầu ra kiểm chứng được, với ba cơ chế cốt lõi:

Hierarchical memory: bộ nhớ ngắn hạn phục vụ cuộc điều tra hiện tại, bộ nhớ dài hạn lưu lessons (bài học tái dùng) và dead ends (hướng thất bại + lý do bỏ); trạng thái nghiên cứu lưu ngoài context, có handover note để phiên sau nối tiếp.
Versioned branches + backtracking: mỗi nhánh lưu implementation, test, ghi chú dưới dạng commit; agent có thể quay lại commit cũ thử hướng khác, so sánh kết quả các nhánh dưới cùng một ruler (quy tắc đánh giá cố định) và gain floor (ngưỡng cải thiện tối thiểu).
Independent review: một mô hình khác (khác mô hình chạy nghiên cứu) xem lại quỹ đạo điểm số, các hướng đã thử và cơ sở so sánh để chấm dứt tự đánh giá thiên lệch; verifier tách biệt kiểm tra tính hợp lệ của từng kết quả.

Một campaign là cuộc điều tra hoàn chỉnh gồm nhiều phiên; kết quả đã verify trở thành reference cho campaign kế tiếp, và môi trường nghiên cứu tiến hóa theo các phát hiện. Phiên bản nhẹ Épi-turbo áp dụng cùng quy trình cho bài toán tối ưu thuật toán (vehicle routing, scheduling, production planning).

Ví dụ đời thường: giống một nhà nghiên cứu kỳ cựu làm việc nhiều ngày — mỗi sáng đọc lại sổ tay ghi chú (memory), thử nhiều phương án song song trên giấy nháp riêng (branches), nhờ đồng nghiệp khác kiểm tra lập luận (independent review), và chỉ công nhận kết quả khi đo đạc lại bằng thước chuẩn duy nhất (fixed ruler).

III. Main Results:

120 kỷ lục mới: 20 kỷ lục cận số trên 12 họ bài toán + 100 kỷ lục construction trên 8 họ (97 là geometric packing).
n-queens constant: thu hẹp khoảng chứa α từ 3.30×10⁻⁷ xuống 3.94×10⁻⁹ — hẹp hơn ~84 lần.
Quartic Feigenbaum attractor dimension: khoảng chứng minh chặt hơn hơn 3.6 triệu lần (từ 7.80×10⁻³ xuống 2.13×10⁻⁹).
Cohn–Elkies bound: chứng minh bằng chứng chỉ đôi (dual certificates) rằng bound LP này không thể chính xác ở chiều 10 và 11 (tách biệt 0.35% và 1.92% so với mật độ packing thật) — chỉ ra giới hạn cấu trúc của phương pháp.
Tuza's conjecture: chứng minh có máy tính hỗ trợ cho split graphs với phần clique 8 đỉnh và tối đa 3 kiểu neighborhood có tam giác, mọi multiplicity.
Épi-turbo: trên 30 bài FrontierOR, cao hơn Codex +5.4% điểm tổng chỉ với 64% chi phí model, cùng model nền và reasoning effort.
Chạy vài ngày bằng GPT-5.6 Sol / GPT-6-Astra; mọi artifact, witness và chứng chỉ được công bố để con người kiểm tra.

IV. Conclusion & Future Works:

Épi cho thấy agent có thể duy trì cuộc điều tra xuyên phiên, tự cải thiện phương pháp và đạt kết quả vượt reference đã công bố, đồng thời giữ tính minh bạch: mọi nhánh, bài học và bằng chứng đều truy vết được để nhà nghiên cứu con người kiểm chứng và xây tiếp. Trọng tâm thiết kế là nối tự cải thiện với hiểu biết của con người — kết quả tính toán luôn gắn với method và lập luận toán học cụ thể. Hướng phát triển: mở rộng sang các lớp bài toán mới, cải thiện cách môi trường nghiên cứu tiến hóa giữa các campaign, và tinh chỉnh chiến lược rẽ nhánh/phân bổ tính toán.

V. Brainstorming Space:

1. Publish Papers:

Cơ chế hierarchical memory cho agent nghiên cứu dài hạn: đồng bộ hóa lessons, dead ends và handover notes xuyên phiên để duy trì continuity mà không quá tải context.
Giao thức verification với ruler cố định và gain floor: khung chuẩn hóa để so sánh công bằng các phương pháp nghiên cứu thay đổi theo thời gian, áp dụng cho cả construction, bound và proof.
Épi-turbo cho tối ưu thuật toán: pipeline tự phát triển solver khả thi cho routing, scheduling và production planning với chi phí model thấp hơn đáng kể so với baseline cùng model.
Phương pháp tách biệt bound Cohn–Elkies khỏi mật độ packing: kỹ thuật dual certificate cho các chiều cao và tiêu chí xác định khi nào một formulation tối ưu không bao giờ đạt được kết quả đúng.

2. Patent:

Trợ lý nghiên cứu trên điện thoại cho kỹ sư/nhà khoa học: lưu toàn bộ tiến trình thí nghiệm (code, kết quả, lý do quyết định) lên đám mây; khi mở lại ứng dụng, agent tự nạp ngữ cảnh đúng phần việc còn dở và đề xuất bước tiếp theo dù phiên trước đã đóng từ lâu.
Hệ thống tối ưu thiết kế công nghiệp có kiểm chứng độc lập: agent thử nhiều phương án bố trí/vật liệu song song trên các nhánh riêng, một model khác rà soát kết quả, và bộ verifier chuẩn chỉ chấp nhận thiết kế vượt ngưỡng cải thiện tối thiểu — đảm bảo mọi thay đổi đều đo được và hợp lệ.
Nhật ký kinh nghiệm tự học cho phần mềm doanh nghiệp: ứng dụng ghi lại các hướng giải bài toán tối ưu thất bại cùng lý do, để lần sau tự động tránh, đồng thời tái sử dụng bài học thành công cho bài toán tương tự của khách hàng khác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.24944
ArXiv Abstract	https://arxiv.org/abs/2610.24944
PDF Download	https://arxiv.org/pdf/2610.24944.pdf
Github Repository	https://github.com/BakeLab/Epi-results

20. EvaOmni: An Evidence-Grounded Benchmark for Audio-Visual Reasoning (18 votes)

Tác giả: Xiaoxing Hu, Wenxi Yao, Chaoyuan Shi, Ziqi Ye, Xiaorong Guo, et al.

Xuất bản lúc: 2026-10-20

Tag: Omni LLMs, Audio-Visual Reasoning, Benchmark, Multimodal Evaluation, Evidence Grounding, Video Understanding

I. Main Problem:

Các benchmark audio-visual reasoning hiện tại (dạng multiple-choice) chỉ chấm điểm theo đáp án đúng/sai, không kiểm chứng được model có thật sự lập luận từ bằng chứng hay không:

Đáp án đúng có thể đến từ đoán may hoặc shortcut: chỉ đọc câu hỏi + options (text shortcut), chỉ nghe (audio shortcut) hoặc chỉ nhìn (visual shortcut) vẫn trả lời đúng — ví dụ ở WorldSense, khoảng 14–16% câu hỏi trả lời đúng bằng một phương thức đơn lẻ.
Không có cơ chế kiểm tra model định vị được đoạn bằng chứng (audio/visual intervals) hỗ trợ câu trả lời.

II. Main Idea:

EvaOmni (EVidence-grounded benchmark) đòi hỏi model vừa trả lời, vừa chỉ ra khoảng thời gian bằng chứng ở cả hai phương thức audio và visual, từ đó đánh giá trọn vẹn chuỗi lập luận:

Dữ liệu: 392 video, 1,027 câu hỏi do con người chú thích thuần, 15 năng lực, 3 cấp độ: Retrieval & Grounding → Basic Understanding → Complex Reasoning.
Quy trình chú thích nghiêm ngặt: chuyên gia gắn nhãn bằng chứng → kiểm chéo → 2 chuyên gia phản biện nếu tranh cãi → lọc shortcut bằng model với 3 đầu vào (text-only, audio-only, video-only).
Metric mới: C.G. (Coverage Grounded Score) đo mức độ trùng phủ bằng chứng; B.G. (Bottleneck Grounded Score) lấy min(IoU audio, IoU visual) — phạt nếu định vị sai ở bất kỳ phương thức nào. Cả hai đều nhân với độ đúng của đáp án.

Ví dụ đời thường: giống thi vấn đáp không chỉ hỏi đáp án mà còn bắt chỉ đúng trang giáo trình và phút giây chứng minh — nói đúng mà trỏ sai chỗ thì không được điểm trọn, vì có thể chỉ đang đoán.

III. Main Results:

Đánh giá 24 Omni LLMs (7 open-weight, 17 proprietary). Tốt nhất: Gemini3.7-Flash với Acc. 79.4%, C.G. 70.8%, B.G. chỉ 35.1%; open-weight tốt nhất MiMo-V2.5-310B đạt 56.8/48.4/20.5 — cách biệt ~22 điểm so với proprietary.
Khoảng cách với người rất lớn ở grounding: human expert đạt B.G. 94.3% so với 35.1% của Gemini3.7-Flash.
Ở Level 3, Gemini3.7-Flash đạt 79.1% Acc. nhưng B.G. chỉ 12.3% — model trả lời đúng bằng bằng chứng một phần mà không định vị trọn vẹn.
Mô hình nhỏ (<100B) rất yếu: C.G. 0.8–12.6%, B.G. 0.3–4.0%.
Audio gốc vượt ASR: Video+Audio hơn Video+ASR tới 8.1 điểm Acc.; bỏ một phương thức nào làm B.G. về 0.
Chi phí: Doubao-Seed-2.1-Lite hiệu quả chi phí tốt nhất ($0.0188/điểm Acc.); điểm cao hơn không đồng nghĩa rẻ hơn.

IV. Conclusion & Future Works:

EvaOmni chứng minh trả lời đúng ≠ hiểu bằng chứng: kể cả model mạnh nhất vẫn yếu ở định vị thời gian chính xác cả hai phương thức, nhất ở tác vụ suy luận đa bước. Bộ dữ liệu, chú thích và framework đánh giá được công bố công khai. Hướng phát triển: các model tương lai cần không chỉ đuổi độ chính xác mà còn bản địa hóa chính xác bằng chứng để kết luận có thể kiểm chứng được; benchmark cũng mở đường cho đánh giá grounded cho các phương thức khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng đánh giá evidence-grounded cho các phương thức bổ sung (haptics, depth) trong bài toán suy luận video đa phương thức.
Phát triển phương pháp huấn luyện tự giám sát giúp model học định vị thời gian bằng chứng chính xác ở cả audio và visual đồng thời.
Ứng dụng metric dạng bottleneck (min-modality) cho các tác vụ khác như video captioning có trích nguồn và truy vấn tài liệu đa phương thức.

2. Patent:

Hệ thống kiểm chứng nội dung video trên điện thoại: khi người dùng hỏi về một đoạn video, ứng dụng yêu cầu mô hình trả lời kèm thời điểm bằng chứng ở cả hình ảnh và âm thanh, rồi tự động nhảy tới đúng đoạn đó để người dùng xác minh — chống trả lời bịa.
Trợ lý xem phim thông minh: khi được hỏi 'vì sao nhân vật làm vậy', trợ lý chỉ ra chính xác cảnh quay và câu thoại làm bằng chứng, giúp người xem tin tưởng câu trả lời thay vì nhận câu trả lời chung chung.
Công cụ kiểm duyệt nội dung tự động: mô hình không chỉ phân loại video vi phạm mà còn đánh dấu khoảng thời gian âm thanh + hình ảnh chứa nội dung vi phạm, giúp người kiểm duyệt rà soát nhanh và giảm khiếu nại oan.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.28444
ArXiv Abstract	https://arxiv.org/abs/2610.28444
PDF Download	https://arxiv.org/pdf/2610.28444.pdf
Github Repository	https://github.com/VisionXLab/EvaOmni

21. Painting Change Map as guidance for generating painting processes (17 votes)

Tác giả: Markus Pobitzer, Chang Liu, Niccolò Biondi, Nicu Sebe

Xuất bản lúc: 2026-10-18

Tag: Video Generation, Diffusion Models, Painting Process Reconstruction, Spatio-Temporal Control, Image-to-Video, Video-to-Video

I. Main Problem:

Các mô hình tạo video quá trình vẽ hiện tại thiếu quyền điều khiển cục bộ và thời gian: người dùng có ảnh cuối nhưng không chỉ được chỗ nào thay đổi trước/sau trên canvas. Ba hướng hiện có đều bó hẹp:

Instance Level Optimization: tách video thành mask từng đối tượng rồi inpainting; thất bại với kỹ thuật phủ nền xuyên biên đối tượng và không hiểu lớp nét, ý đồ nghệ sĩ.
Progress Based Conditioning: chỉ dùng một biến vô hướng toàn cục; không mô tả được vùng nền đã hoàn thiện trong khi chi tiết chính vẫn là phác thảo.
Fixed Linear Interpolation: học tiến trình gần như cố định theo số frame; mất khả năng điều chỉnh nhịp, thứ tự hành động.

II. Main Idea:

Bài báo đề xuất Painting Change Map, một bản đồ điều khiển không gian-thời gian ghi lại ở đâu và khi nào canvas bị thay đổi. Quy trình:

Tính sai khác pixel giữa các frame liên tiếp, rồi nén kênh màu thành một map biên độ.
Ngưỡng cục bộ loại nhiễu nhỏ; bộ lọc chuyển động toàn cục hủy các frame có trên 5% pixel đổi do rung camera/canvas.
Tích lũy thành chỉ số thời gian chuẩn hóa trên 1,000 bước, đủ mịn để gần tới mức từng nét cọ.
Mã hóa sang RGB; phương án mạnh nhất là Interpolation & Lineart: kênh đỏ là trục thời gian từ đen sang trắng, hai kênh xanh-lục/xanh-dương chứa đường viền Lineart để neo cấu trúc.
Pipeline hai giai đoạn: trước tiên tạo hoặc lấy change map từ ảnh hoàn chỉnh, sau đó dùng nó làm video điều kiện cho mô hình sinh video theo hướng tô hoặc xóa dần.

Ví dụ đời thường: giống như một lịch thi công đóng lên bản vẽ ngôi nhà, không chỉ cho thấy ngôi nhà hoàn thành mà đánh dấu rõ bức tường nào xây ở bước nào; người thợ theo đúng thứ tự và đúng vị trí để dựng lại quá trình.

III. Main Results:

So với các điều khiển không gian: Depth, Canny, Lineart, biến thể Interpolation & Lineart đạt tốt nhất toàn cục, ví dụ MSE 449.68 so với Lineart 592.81, FID 55.75, LPIPS 0.207, CLIP 0.926, DINOv2 0.920.
Điều khiển cục bộ từng vùng: tốt nhất hoặc ngang tốt nhất ở FID 125.91, MSE 149.61, DINOv2 0.868, LPIPS ngang Lineart 0.327; kiểm chứng trên bảy loại đối tượng như cây, hồ, núi.
So với mô hình dựng quá trình vẽ: pipeline sinh change map gần ngang Loomis Painter về CLIP 0.87 vs 0.88 và LPIPS 0.45 vs 0.44, đồng thời MSE tốt hơn 3127.13 vs 3152.96.
Oracle: dùng change map ground-truth vượt xa các baseline hiện có trên mọi chỉ số, cho thấy trần hiệu năng rất cao khi bộ dự đoán change map tiếp tục cải thiện.
Hiệu quả: pipeline tách rời tăng throughput lên 0.62 FPS so với 0.19 của Loomis Painter, đỉnh bộ nhớ khoảng 25.84 GB giai đoạn đầu và 17.04 GB giai đoạn sau.
Ablation: cấu hình ổn định nhất là ngưỡng nét cục bộ khoảng 0.13, ngưỡng lọc chuyển động toàn cục 4-5%.

IV. Conclusion & Future Works:

Kết luận chính là điều khiển sinh video quá trình vẽ cần tách tăng trưởng không gian-thời gian của nét vẽ khỏi vật lý phức tạp như pha màu, độ nhớt sơn, kết cấu canvas. Thành phần quan trọng không ngờ là đường viền tĩnh, giúp mô hình giữ căn chỉnh khung hình khi video thật có rung camera và dịch canvas. Hướng tương lai: tự động căn canvas hoặc hiệu chỉnh keypoint trong pipeline dữ liệu; phân tích change map có mang thông tin về chất liệu, phong cách hoặc chính họa sĩ không; mở rộng dữ liệu đa dạng và quy mô lớn hơn.

V. Brainstorming Space:

1. Publish Papers:

Bộ căn chỉnh canvas tự động cho dữ liệu vẽ thật, kết hợp theo dõi điểm khóa và sửa trôi không gian dài hạn trước khi tính change map.
Mô hình dự đoán Painting Change Map chất lượng cao hơn từ ảnh hoàn chỉnh, tối ưu để thu hẹp khoảng cách giữa bản dựng sinh và điều kiện oracle.
Phân tích khả năng nhận diện chất liệu, phong cách và danh tính họa sĩ chỉ từ bản đồ thay đổi không gian-thời gian của quá trình vẽ.
Điều khiển cục bộ bán tự động trong phần mềm vẽ số, cho phép người dùng chọn vùng và thứ tự hoàn thiện rồi sinh video minh họa.

2. Patent:

Ứng dụng điện thoại biến một bức ảnh tranh thành video tua nhanh quá trình vẽ: chụp hoặc tải ảnh cuối, hệ thống tạo bản đồ thứ tự thay đổi theo từng vùng rồi dựng video từ phác thảo đến hoàn thiện.
Công cụ chỉnh sửa ảnh cho phép người dùng khoanh một chi tiết như ngọn núi hoặc mặt hồ; ứng dụng chỉ xóa hoặc tô lại đúng vùng đó theo trình tự tự nhiên, giữ nguyên nền xung quanh.
Hệ thống lưu trữ và truyền bá nghệ thuật dạng hồ sơ quá trình sáng tác, gồm ảnh cuối cùng kèm bản đồ thay đổi theo thời gian để tái hiện cách tác phẩm được tạo ra trên thiết bị di động.
Tính năng giáo dục trên máy tính bảng cho người học vẽ: chọn một tranh mẫu, hệ thống sinh video từng bước và cho phép tua, dừng, hoặc yêu cầu lặp lại một giai đoạn chi tiết.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.25369
ArXiv Abstract	https://arxiv.org/abs/2610.25369
PDF Download	https://arxiv.org/pdf/2610.25369.pdf
Github Repository	https://github.com/Markus-Pobitzer/painting-change-map

22. PhysSkin++: Real-Time and Generalizable Physics-Based Animation via Self-Supervised Neural Skinning (17 votes)

Tác giả: Yuanhang Lei, Baofei Liu, Xingxuan Li, Tao Cheng, Zixuan Wang, et al.

Xuất bản lúc: 2026-10-19

Tag: Physics-Based Animation, Neural Skinning, Self-Supervised Learning, Reduced-Order Modeling, Transformers, 3D Gaussian Splatting

I. Main Problem:

Mô phỏng vật lý thời gian thực cho vật thể 3D vẫn bị mắc kẹt ở lựa chọn khó khăn:

Subspace animation cổ điển: học một ma trận ánh xạ gắn chặt với một lưới (mesh) cụ thể về topology và độ phân giải → không khái quát được cho hình dạng hay lưới khác.
Phương pháp neural hiện có (như CROM, Simplicits): xử lý được lưới tùy ý nhưng phải huấn luyện riêng một mạng cho từng đối tượng → tốn kém, không scale.
Transformer học động lực từ trajectory: khái quát được nhưng cần rất nhiều dữ liệu mô phỏng đã gán nhãn và không xây subspace giảm chiều rõ ràng.

Câu hỏi trung tâm: làm sao học một ánh xạ subspace biến dạng phù hợp vật lý, khái quát qua mọi hình dạng/lưới, chỉ từ hình học tĩnh, không cần dữ liệu giám sát?

II. Main Idea:

PhysSkin++ học continuous neural skinning fields (trường trọng số skinning liên tục, theo tinh thần Linear Blend Skinning) trực tiếp từ hình học tĩnh, để định nghĩa một subspace biến dạng compact mà một mạng duy nhất dùng được cho mọi đối tượng. Các thành phần chính:

Neural Skinning Fields Autoencoder: encoder point-cloud kiểu transformer (Michelangelo, pretrained, đóng băng) trích đặc trưng hình dạng; cross-attention decoder dự đoán trường skinning tại bất kỳ điểm không gian nào → biểu diễn không phụ thuộc lưới, không phụ thuộc category.
Physics-Informed Self-Supervised Learning (PISSL): hàm mất mát tự giám sát gồm potential energy thấp (vật lý Neo-Hookean), smoothness không gian, và orthogonality giữa các mode; kèm skinning-field normalization on-the-fly + conflict-aware gradient correction (ConFIG) để tối ưu ổn định khi các gradient xung đột.
Reduced dynamics thời gian thực: chỉ tích phân tối ưu tọa độ giảm chiều z (implicit), hỗ trợ Dirichlet boundary, lực tương tác kéo-thả, va chạm với môi trường và đa vật (point-based IPC barrier), cả rigid–deformable lẫn deformable–deformable.
Rig-complementary animation: khi có rig LBS của nghệ sĩ, thêm rig-space complementarity loss qua rig Jacobian để phần biến dạng đàn hồi bổ sung không trùng chuyển động rig — học lúc training, không cần ép constraint lúc chạy.
Discretization-agnostic binding: cùng một trường biến dạng liên tục gắn trực tiếp lên mesh, point cloud, và 3D Gaussians (cập nhật cả tâm lẫn covariance của Gaussian qua phép affine cục bộ).

Ví dụ đời thường: giống một nghệ nhân làm khuôn cắt may duy nhất nhưng vải căng trên khuôn theo đúng vật lý vải — khuôn (trường skinning học từ hình dạng) giữ nguyên, chỉ điều chỉnh vài 'núm kéo' nhỏ (tọa độ giảm chiều) là cả vật thể mềm mại biến dạng mượt mà, chạm va chạm, gắn được lên mọi chất liệu trình diễn (mesh hay Gaussian).

III. Main Results:

Học skinning fields khái quát cross-shape từ hình học tĩnh duy nhất — không cần trajectory mô phỏng, không cần gán nhãn skinning, không prior theo category.
Mô phỏng real-time nhờ tối ưu chỉ trong subspace chiều thấp (m ≪ n), với độ ổn định hơn hẳn so với tối ưu joint loss ngây thơ nhờ normalization + conflict-aware gradient correction.
Hỗ trợ đầy đủ: điều khiển tương tác (kéo-thả cục bộ), điều kiện biên Dirichlet, va chạm môi trường (mặt phẳng nghiêng...), đa vật tiếp xúc cả cứng–mềm và mềm–mềm qua IPC-style log barrier.
Animation cho 3D Gaussian Splatting: cập nhật tâm và covariance Gaussian theo affine cục bộ từ skinning — vật lý hóa được cả scene representation neural.
Rig-complementary animation: bổ sung đáp ứng đàn hồi vật lý cho rig nghệ sĩ mà không phải ép complementarity constraint mỗi bước runtime.

IV. Conclusion & Future Works:

PhysSkin++ chứng minh có thể học subspace biến dạng phù hợp vật lý, khái quát qua hình dạng và discretization, hoàn toàn tự giám sát từ hình học tĩnh, mở ra animation vật lý thời gian thực trên đa dạng biểu diễn 3D (mesh, point cloud, Gaussian) cùng một framework giảm chiều. Bản mở rộng (++ ) so với PhysSkin gốc bổ sung reduced dynamics có điều khiển/va chạm, binding cho 3D Gaussian, và học rig-complementarity tự giám sát. Hướng phát triển tự nhiên: mở rộng sang vật liệu và vật thể phức tạp hơn, cải thiện chất lượng/độ chính xác của trường skinning cho mô phỏng đòi hỏi độ trung thực cao, và tích hợp sâu hơn với pipeline sáng tạo nội dung VR/AR.

V. Brainstorming Space:

1. Publish Papers:

Khái quát hóa neural skinning fields cho vật liệu phi tuyến phức tạp (viscoelastic, plasticity) vẫn giữ học tự giám sát từ hình học tĩnh.
Kết hợp PhysSkin++ với generative shape models để tạo animation vật lý thời gian thực cho vật thể 3D vừa được sinh ra (text-to-3D pipeline).
Mở rộng reduced dynamics đa vật sang contact với friction và self-collision đầy đủ trên trường skinning liên tục.
Học đồng thời skinning fields và vật liệu vật lý ( Young's modulus, density) từ video quan sát được của vật thể thật.

2. Patent:

Ứng dụng thử đồ ảo trên điện thoại: chụp ảnh một món đồ (áo, mũ, túi), hệ thống tự học trường biến dạng vật lý và cho người dùng kéo, vắt, ném món đồ trong AR mềm mại đúng vật lý mà không cần mô phỏng nặng.
Trình chỉnh sửa avatar 3D trên mobile: người dùng kéo tay, vai nhân vật, avatar biến dạng đàn hồi theo vật lý thời gian thực nhờ tọa độ giảm chiều — chạy mượt cả trên chip điện thoại tầm trung.
Game/mobile với vật thể mềm: một mạng neural duy nhất xử lý mọi vật thể trong game (dây, vải, bánh xe), va chạm đa vật mượt mà không cần tính toán vật lý full-space, tiết kiệm pin.
Công cụ hỗ trợ hoạt họa cho nghệ sĩ: nghệ sĩ dựng rig LBS như thường lệ, hệ thống tự thêm dao động đàn hồi vật lý (tóc bay, áo phấp phới) bổ sung theo đúng rig — không cần chỉnh tay từng khung hình.
Mô phỏng phụ kiện AR (kính, mũ bảo hiểm, khuyên tai) bám đầu người dùng: khi đầu cử động nhanh, phụ kiện lắc lư theo độ đàn hồi vật lý thay vì bám cứng, tăng độ chân thực cho ứng dụng camera.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26067
ArXiv Abstract	https://arxiv.org/abs/2610.26067
PDF Download	https://arxiv.org/pdf/2610.26067.pdf
Github Repository	https://github.com/zju3dv/PhysSkin

23. From Short Clips to Real-Time Streams: Identity-Aware Supervision and Context-Efficient Generation for Video Face Swapping (16 votes)

Tác giả: Zekai Luo, Yuwei Liang, Ruiqi Ma, Haoyu Huang, Xuehao Wang, et al.

Xuất bản lúc: 2026-10-19

Tag: Face Swapping, Video Generation, Flow Matching, Diffusion Models, Real-time Inference, Streaming Generation

I. Main Problem:

Video face swapping (ghép khuôn mặt từ ảnh nguồn vào video đích, giữ nguyên biểu cảm, tư thế, ánh sáng, chuyển động) hiện không thể đồng thời đạt ba mục tiêu: chuyển identity trung thực, chất lượng hình ảnh cao, và sinh video dài theo thời gian thực. Hai nguyên nhân cốt lõi được paper chỉ ra:

Flow-matching supervision nhạy yếu với identity: khi swap mặt, phần lớn nội dung khung hình không đổi, nên latent reconstruction error gần như không thay đổi dù identity sai rõ rệt (MSE chỉ biến động <0.05 trong khi độ tương đồng identity đổi >0.75) — mô hình không bị 'phạt' đủ khi identity chưa đúng.
Lãng phí tính toán: các phương pháp reference-guided hiện tại (LivingSwap, DreamID-V) sinh toàn bộ khung hình và xử lý context thời gian dài, dù phân tích thực nghiệm cho thấy chỉ cần vùng mặt (39% token không gian) và context ngắn (~6 frame lân cận) là đủ giữ chất lượng.

II. Main Idea:

Paper rút ra hai đặc trưng riêng của bài toán rồi thiết kế STREAMINGSWAP, framework flow-matching reference-guided đầu tiên cho face swapping streaming theo thời gian thực, gồm ba thành phần:

Joint Rec-ID Loss: kết hợp latent reconstruction với supervision identity tường minh (cosine similarity với ảnh nguồn qua face-recognition encoder), với trọng số phụ thuộc mức nhiễu — lúc nhiễu cao ưu tiên reconstruction để dựng khung, lúc nhiễu thấp ưu tiên identity để tinh chỉnh chi tiết khuôn mặt.
Face-RoI Generation: chỉ xử lý các token thuộc vùng mặt (kèm feathered blending vào latent video gốc), bỏ hoàn toàn tính toán background — tăng từ ~1.3 lên ~2.2 FPS trong phân tích.
Short-Context Rollout Training (2 pha): Phase I fine-tune với RoI + Rec-ID loss; Phase II tự sinh video rồi fine-tune qua autoregressive self-rollout với lịch sử ngắn (3 frame cũ → sinh 9 frame mới), khớp huấn luyện với suy luận streaming và tránh tích lũy lỗi qua các cửa sổ.

Kèm theo HumanFaceVid: dataset 1.000 giờ video điện ảnh + 200 video ngắn và 200 video dài để đánh giá.

Ví dụ đời thường: giống thợ photoshop sửa ảnh nhóm — thay vì vẽ lại cả bức ảnh, người thợ chỉ tô vùng một khuôn mặt, vừa sửa vừa soi kỹ ảnh mẫu để chắc chắn đúng người, còn phần nền và dáng đứng giữ nguyên y nguyên.

III. Main Results:

20 FPS trên một GPU RTX 4090, ổn định với video dài tới 10 phút — vượt xa các baseline diffusion (DreamID-V chỉ ~1.8 FPS, latency ~45s).
Cân bằng tốt ba yếu tố: identity transfer cạnh tranh (ID Sim. 0.577 ngắn / 0.576 dài) đồng thời bảo tồn attribute đích tốt nhất (pose, expression, lighting, gaze đều tốt hơn DreamID-V và các baseline GAN như InSwapper, BlendFace ở nhiều chỉ số); FVD thấp nhất nhóm so sánh (129.09 ngắn / 136.23 dài).
Paper nhấn mạnh ID Sim. cao hơn (InSwapper 0.735, DreamID-V 0.734) không đồng nghĩa chất lượng tốt hơn — các phương pháp đó làm sai ánh sáng, tư thế đầu hoặc kém chân thực.
Ablation: bỏ identity supervision → ID Sim. sụt từ 0.573 xuống 0.241; bỏ Face-RoI → FPS giảm mạnh (6.7 → 2.36); thay self-rollout bằng ground-truth history → lỗi tích lũy, chất lượng giảm dần theo video dài.

IV. Conclusion & Future Works:

Thiết kế supervision và tính toán bám sát cấu trúc riêng của bài toán (chỉ đổi identity, còn lại có sẵn từ video đích) có thể biến generation reference-guided tốn kém thành streaming thời gian thực mà không đánh đổi chất lượng. Kết quả mở đường cho face swapping trong sản xuất phim, drama AI-generated và live streaming. Paper không nêu hướng mở rộng cụ thể trong phần kết luận.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng tư tưởng RoI token + rollout ngắn cho các bài toán video editing hẹp phạm vi khác (thay phong cảnh, thay trang phục) để đạt suy luận thời gian thực trên phần cứng tiêu dùng.
Nghiên cứu cơ chế cân bằng động giữa reconstruction loss và identity loss theo noise level cho các tác vụ chỉnh sửa thuộc tính cục bộ trong latent diffusion models.
Phát triển phương pháp phát hiện và giảm thiểu lỗi tích lũy khi rollout tự hồi quy trên video cực dài (hàng giờ) cho các ứng dụng live streaming.

2. Patent:

Ứng dụng điện thoại làm mới khuôn mặt trong video call: chỉ xử lý vùng mặt của từng khung hình với lịch sử vài frame trước đó, cho phép đổi khuôn mặt theo thời gian thực ngay trên chip di động mà không cần máy chủ.
Công cụ hậu kỳ phim quay bằng điện thoại: người dùng chọn một ảnh chân dung, ứng dụng tự thay diễn viên trong video dài nhiều phút với chất lượng điện ảnh, xuất file ngay trên thiết bị.
Hệ thống live streaming ảo: ghép khuôn mặt người dùng vào luồng video trực tiếp ở 20 FPS bằng một card đồ họa phổ thông, hỗ trợ phiên phát sóng kéo dài mà không giật, không tích lũy méo hình.
Module thay mặt diễn viên trong phim bộ AI-generated: xử lý từng đoạn video ngắn liên tiếp với lịch sử sinh ngắn để nhân vật giữ gương mặt nhất quán xuyên suốt tập phim dài.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26681
ArXiv Abstract	https://arxiv.org/abs/2610.26681
PDF Download	https://arxiv.org/pdf/2610.26681.pdf
Github Repository	https://github.com/aim-uofa/StreamingSwap

24. FlowState: Execution State as Memory for Long-Horizon LLM Agents (15 votes)

Tác giả: Minghao Li, Bangyan Li, Zifan Wang, Yulong Li, Hu Xu, et al.

Xuất bản lúc: 2026-10-08

Tag: LLM Agents, Long-Horizon Tasks, Agent Memory, Execution State, State Tracking, Retrieval-Augmented Generation, Tool Use, Token Efficiency, Benchmark

I. Main Problem:

Các tác vụ dài hồi đòi hỏi LLM agent phải dùng lại thông tin từ các tương tác trước, nhưng giữ toàn bộ lịch sử làm ngữ cảnh phình to và che khuất chi tiết quan trọng, còn nén lịch sử dễ làm mất điều kiện cần dùng sau. Điểm khó cốt lõi: nhu cầu truy cập quá khứ thường chỉ lộ ra trong lúc suy luận, khi phản hồi mới hoặc ràng buộc thay đổi khiến quyết định cũ phải được xem lại cùng bằng chứng gốc.

II. Main Idea:

FlowState biến trạng thái thực thi thành bộ nhớ có thể giữ lại và quay lại sau nhiều request. Thay vì nhồi toàn bộ hội thoại hoặc chỉ lưu bản nén, hệ thống lưu các node trạng thái có kiểu ngữ nghĩa như preference của user, knowledge từ tool, attribute của entity, judgement của agent, artifact tái sử dụng; mỗi node giữ quan hệ tới node liên quan và tham chiếu tới quan sát tool thô. Cấu trúc gồm ba phần: Persistent State Repository chứa nội dung đầy đủ ngoài context; Historical State Index là bản tóm tắt nhẹ đưa vào context; Active State là phần đang dùng cho bước quyết định hiện tại.

Incremental State Update: mỗi bước chỉ thêm, sửa, xóa cục bộ các node của request hiện tại, không dựng lại toàn bộ trạng thái.
Progressive State Access: khi cần, agent nhìn index hoặc quan hệ đã lộ để mở dần node lịch sử và truy ngược bằng chứng gốc; thông tin mở ra ảnh hưởng bước quyết định kế tiếp.
Cuối request, các node mới và bằng chứng được giữ lại, giúp quyết định sau nối được với quyết định trước mà không phải xử lý lại toàn bộ lịch sử.

Ví dụ đời thường: giống nhân viên lễ tân không mang cả kho hồ sơ lên bàn, mà chỉ để mục lục thẻ ghi chú; khi khách hỏi lại, họ rút đúng thẻ, theo liên kết lấy hóa đơn/điều khoản gốc, xong cập nhật thêm thẻ mới cho lần phục vụ tiếp theo.

III. Main Results:

Trên MemoryArena, so với Full Context cùng DeepSeek-V4-Flash, FlowState cải thiện trung bình +4.55 điểm phần trăm success rate và giảm 43.2% tổng token.
Trên τ3-Bench, FlowState cải thiện trung bình +13.95 điểm phần trăm pass rate và giảm 40.6% tổng token so với Full Context cùng model.
Cụ thể τ3-Bench: Airline tăng +20.0 pass rate, +7.5 database accuracy, token giảm 61.2%; Retail tăng +7.9 pass rate, +5.3 database accuracy, token giảm 22.2%, dù action accuracy giảm 4.9 điểm.
Ablations cho thấy hai cơ chế bổ trợ nhau: bỏ Incremental State Update làm success rate về 0 ở cả hai môi trường; bỏ Progressive State Access làm token tăng mạnh và giảm chất lượng travel planning, cho thấy giữ toàn bộ trạng thái lịch sử không tốt hơn mở dần theo nhu cầu.
Ở các subtask sau, FlowState duy trì lợi thế rõ nhất: dẫn đầu mọi độ sâu trên Web Shopping và Travel Planning, có nAUC cao nhất cả ba domain và suy giảm chậm nhất ở Travel Planning/Formal Reasoning.
Lợi ích không phụ thuộc một base model: với DeepSeek-V4-Flash, GPT-5.6-terra, Qwen3.5-397B-A17B, performance cao hơn Full Context cùng model còn token giảm khoảng 28.3% tới 56.3%.

IV. Conclusion & Future Works:

Kết luận chính: trạng thái thực thi có thể đóng vai trò kép — vừa là biểu diễn làm việc cho quyết định hiện tại, vừa là đơn vị bộ nhớ tái sử dụng — khi tách lưu giữ bền khỏi hiển thị trong context và cho phép truy cập lịch sử theo nhu cầu. Paper không nêu roadmap mở rộng chi tiết; phần độ tin cậy cho thấy triển khai thật cần kiểm soát truy cập và lưu giữ dữ liệu, xác minh nguồn gốc/độ mới của thông tin, và có bảo vệ cho các hành động có hậu quả.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế làm mới hoặc vô hiệu hóa trạng thái cũ trong bộ nhớ agent: khi giá, chính sách hay mục tiêu đổi, hệ thống cần nhận biết node lịch sử nào còn hiệu lực, node nào đã stale và cách sửa quan hệ mà không phá vỡ chuỗi quyết định.
Mở rộng execution-state memory sang đa agent cộng tác, trong đó mỗi agent giữ perspective riêng nhưng chia sẻ node bằng chứng và điều kiện dùng chung, có kiểm soát quyền đọc/ghi để tránh rò rỉ context giữa các vai trò.
Kết hợp truy cập trạng thái tiến bộ với active probing: agent không chờ nhu cầu lộ ra mà tự chọn mở một node lịch sử để kiểm tra giả định rủi ro cao trước khi gọi tool hoặc trả lời final.
Đánh giá trên tác vụ đời thực có dữ liệu nhạy cảm giả lập: đo trade-off giữa hiệu suất, token, độ trễ và khả năng giải thích khi lưu trữ cross-request trên thiết bị biên hoặc đám mây.

2. Patent:

Trợ lý du lịch trên điện thoại ghi nhớ booking, điều kiện hủy và giá đã chốt dưới dạng các thẻ trạng thái liên kết; khi giá phòng khác thay đổi, ứng dụng tự mở lại thẻ điều kiện hủy và bằng chứng giá gốc để tính đúng chi phí đổi lựa chọn trước khi đề xuất.
Hệ thống chăm sóc khách hàng doanh nghiệp lưu rule nghiệp vụ, cam kết đã hứa và kết quả tra cứu dưới dạng node có quan hệ; khi khách quay lại sau nhiều phiên, agent mở đúng rule liên quan tới yêu cầu hiện tại, giảm nhầm chính sách cũ và giảm token xử lý.
Trợ lý mua sắm cá nhân theo dõi giá, coupon, hạn đổi trả và lịch sử quyết định; khi có deal mới, app tự kiểm tra ràng buộc đổi trả cũ rồi tính tổng chi phí thật để khuyên nên giữ hay đổi món, ưu tiên chạy phần mục lục nhẹ trên điện thoại và chỉ tải bằng chứng gốc khi cần.
Cơ chế bảo mật bộ nhớ cross-request cho trợ lý AI di động: mỗi loại dữ liệu nhạy cảm được gắn nhãn nguồn, thời hạn dùng và quyền truy cập; trước khi tái sử dụng, hệ thống xác minh dữ liệu còn hợp lệ, yêu cầu xác thực sinh trắc học khi liên quan giao dịch tiền hoặc hành động khó hoàn tác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.34565
ArXiv Abstract	https://arxiv.org/abs/2609.34565
PDF Download	https://arxiv.org/pdf/2609.34565.pdf
Github Repository	N/A

25. Event-STVG: Spatio-Temporal Video Grounding for Long-Form Event Reasoning (15 votes)

Tác giả: Yizhe Zhang, Xujia Wang, Songqi Tang, Xujie Tang, Leo Jiahao Jiang, et al.

Xuất bản lúc: 2026-10-15

Tag: Video Understanding, Multimodal LLMs, Spatio-Temporal Grounding, Event Reasoning, Benchmark, Long-Form Video, Role Grounding, Visual Tracking

I. Main Problem:

Các benchmark Spatio-Temporal Video Grounding hiện nay chủ yếu kiểm tra định vị theo mô tả: truy vấn nêu rõ ngoại hình, hành động hoặc quan hệ của mục tiêu để mô hình tìm đúng người/vật trong video. Cách này chưa kiểm tra đủ năng lực suy luận sự kiện dài hơi mà Multimodal Large Language Models ngày càng được kỳ vọng có, như:

phân biệt các lần lặp lại của cùng một loại sự kiện
xác định khoảng thời gian của một lần xảy ra cụ thể
suy ra vai trò ngữ nghĩa tham gia sự kiện khi truy vấn không mô tả ngoại hình
đồng thời định vị nhiều vai trò trong cùng sự kiện

II. Main Idea:

Event-STVG đổi trọng tâm từ tìm đúng người được mô tả sang giải quyết một sự kiện theo cấu trúc. Mô hình nhận video dài, một loại sự kiện, một thứ tự xảy ra, và tập vai trò cần trả lời; sau đó phải tự:

chọn đúng lần xảy ra thứ m trong chuỗi các lần lặp
trả về khoảng thời gian của lần đó
vẽ/tìm quỹ đạo hộp bao quanh từng vai trò như người chuyền cuối, người sút, thủ môn trong toàn bộ khoảng thời gian đó

Điểm khó là truy vấn chỉ nói sự kiện gì, lần thứ mấy, cần vai trò nào, không cho biết người tham gia trông như thế nào hay diễn biến cụ thể ra sao.

Bài báo cũng xây benchmark gồm 4,016 sự kiện ở bóng đá và 7 lĩnh vực khác, với 26 loại sự kiện, 30 vai trò ngữ nghĩa, hơn 59 nghìn hộp; chú thích thủ công có hỗ trợ tracking tự động, kiểm tra chéo đạt IoU thời gian trung bình khoảng 0.904 và IoU không gian khoảng 0.916.

Ví dụ đời thường: giống xem lại trận bóng dài và được hỏi pha sút thứ ba có ai chuyền cuối, ai sút, ai làm thủ môn; người xem phải đếm đúng pha sút, rồi chỉ đúng từng người đóng vai trong pha đó, thay vì nghe mô tả ngoại hình để tìm người.

III. Main Results:

Ngay cả khi cho sẵn khoảng thời gian đúng ở bóng đá, mô hình vẫn khó định vị vai trò: mô hình mạnh nhất chỉ đạt khoảng 24.18% m-vIoU ở cài đặt oracle.
Ở ngữ cảnh 1 phút, phần lớn mô hình đa năng dưới 1% m-vIoU; mô hình chuyên STVG cũng chỉ đạt 1.72% m-vIoU.
Khi video dài hơn, hiệu suất giảm rõ: ở 10 phút, mức tốt nhất chỉ 5.40% m-vIoU; GPT mạnh hơn ở định vị thời gian, còn Gemini mạnh hơn ở định vị không gian-thời gian kết hợp.
Ngoài bóng đá, kết quả vẫn thấp: lĩnh vực tốt nhất là công việc hằng ngày với trung bình khoảng 21.3% m-vIoU, trong khi bóng rổ, khúc côn cầu, esports, bóng chuyền rất thấp.
Phân tích lỗi chỉ ra ba điểm nghẽn: chọn sai lần lặp khi có sự kiện cùng loại, định vị sai vai trò dù đã tìm đúng thời điểm, và rất hiếm khi ghép đúng toàn bộ vai trò trong một sự kiện; tỉ lệ thành công đầy đủ trung bình chỉ khoảng 0.73%.

IV. Conclusion & Future Works:

Event-STVG cho thấy định vị thời gian và không gian không thể tách rời khỏi suy luận sự kiện có cấu trúc. Các mô hình hiện tại yếu nhất ở khâu chọn đúng lần xảy ra trong video dài, rồi đến gán đúng vai trò cho từng người/vật, cuối cùng là ghép đủ mọi vai trò thành một sự kiện hoàn chỉnh.

Hướng đi quan trọng: cần mô hình vừa duy trì nhận diện lần lặp trong ngữ cảnh dài, vừa theo dõi vai trò ngữ nghĩa ở mức pixel; tín hiệu định vị có thể kiểm chứng của benchmark cũng có thể làm phản hồi cho huấn luyện củng cố nhằm cải thiện suy luận thị giác.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế nhớ và phân biệt lần lặp sự kiện trong video rất dài, đặc biệt khi các sự kiện cùng loại xuất hiện liên tiếp hoặc xen kẽ.
Phát triển mô hình role-aware spatio-temporal tracking: sau khi chọn đúng khoảng thời gian, gán quỹ đạo không gian cho từng vai trò ngữ nghĩa thay vì chỉ định vị một mục tiêu duy nhất.
Dùng tín hiệu định vị có thể kiểm chứng làm phần thưởng cho reinforcement learning / post-training, giúp mô hình đa phương thức học suy luận sự kiện thay vì chỉ căn chỉnh ngôn ngữ-thị giác.
Mở rộng đánh giá sang sự kiện lồng ghép và quan hệ nhân quả, ví dụ tìm một tình huống giao thông rồi suy ra tất cả người tham gia theo vai trò.
Khảo sát khả năng chuyển giao liên lĩnh vực: học cấu trúc sự kiện từ bóng đá rồi áp dụng cho động vật, sản xuất, bán lẻ hoặc công việc hằng ngày.

2. Patent:

Ứng dụng điện thoại hỗ trợ trọng tài/huấn luyện viên: tải video trận đấu dài, hỏi bằng giọng nói pha sút thứ ba gồm ai chuyền cuối, ai sút, ai là thủ môn; hệ thống trả về đoạn video, mốc thời gian và khung theo dõi từng người để cắt clip hoặc phân tích lỗi.
Hệ thống giám sát cửa hàng thức ăn nhanh: từ camera dài, tự chọn đơn hàng thứ n và chỉ nhân viên đóng gói, nhân viên thu ngân, khách nhận hàng trong đúng khoảnh khắc đó để kiểm tra quy trình hoặc giải quyết khiếu nại.
Trợ lý video cho bảo hiểm/giao thông: người dùng hỏi vụ va chạm thứ hai tại ngã tư, hệ thống định vị thời điểm vụ việc và các xe/người liên quan để lập hồ sơ minh chứng.
Công cụ xem video động vật hoang dã trên điện thoại: hỏi lần thứ ba con mồi chạy qua bãi cỏ, ứng dụng tìm đúng lần xảy ra và đánh dấu kẻ săn mồi, con mồi, vị trí xuất hiện để người dùng chia sẻ clip ngắn.
Module kiểm soát chất lượng nhà máy: phân tích dây chuyền dài, chọn chu kỳ sản xuất thứ m và định vị công nhân, máy, sản phẩm tương ứng để truy vết lỗi theo từng vai trò tham gia.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.22444
ArXiv Abstract	https://arxiv.org/abs/2610.22444
PDF Download	https://arxiv.org/pdf/2610.22444.pdf
Github Repository	https://github.com/THU-KEG/EventSTVG

26. DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems (15 votes)

Tác giả: Xialie Zhuang, Mingcong Lei, Zunhai Su, Ri Liu, Jianjin Li, et al.

Xuất bản lúc: 2026-10-20

Tag: LLMs, Benchmark, Decision Models, Calibration, Evaluation, Routing, Guardrails

I. Main Problem:

Các decision models (mô hình ra quyết định phục vụ routing, guardrails, xác minh đầu ra trong hệ thống LLM) hiện chủ yếu được đánh giá bằng độ chính xác từng câu (item accuracy) trên các benchmark công khai, cách này che giấu nhiều lỗi nghiêm trọng:

Cues bề mặt làm điểm bị thổi phồng: một rule "mù nội dung" đạt 73% trên llmbar so với baseline 50% ngẫu nhiên.
Không kiểm tra được sự nhạy cảm với chi tiết quyết định: model có thể trả lời đúng cả hai câu gần giống nhau nhưng thực chất không phân biệt được chúng (đoán "yes" cho cả hai phương án).
Độ tin cậy của confidence không được đo: hai model có accuracy gần như nhau nhưng khác hẳn về tần suất và độ đúng của các dự đoán tự tin cao.
Nghi vấn contamination do dữ liệu công khai có thể nằm trong tập huấn luyện.

II. Main Idea:

DecisionPivot là benchmark chẩn đoán gồm 48 tác vụ, 40.033 câu hỏi trải rộng 7 vai trò ra quyết định (từ trước generation: khả năng trả lời, guardrails; sau generation: xác minh output; trong agent loop: goal checking; đến phân loại suy luận, đối chiếu dữ liệu, tìm kiếm-lọc). Cấu trúc hai track bổ sung nhau:

Core track (7.800 câu, 13 họ tác vụ do máy sinh): mỗi câu được solver độc lập tự cài đặt kiểm chứng đáp án; các câu xếp thành contrast groups — chỉ thay đổi một chi tiết then chốt (pivotal detail) làm đáp án đổi (ví dụ phí ship đổi 2 xu khiến tổng giá vượt ngưỡng), giữ nguyên toàn bộ ngữ cảnh nhiễu.
Reference track (32.233 câu từ 35 bộ test công khai): giữ nguyên metric gốc để so sánh với đánh giá truyền thống.

Đánh giá đồng thời nhiều khía cạnh: item accuracy, pair accuracy (cả nhóm phải đúng hết), pair direction (xếp đúng thứ tự xác suất), calibration, và selective coverage (tự động hóa bao nhiêu % với lỗi ≤ 5%).

Ví dụ đời thường: giống bài kiểm tra trắc nghiệm mà giáo viên cố tình chỉ đổi một con số trong mỗi cặp câu để đáp án lật từ đúng sang sai — học sinh chỉ đoán theo cảm giác sẽ trả lời giống nhau cho cả hai câu và bị lộ ngay, thay vì chỉ nhìn điểm tổng kết bề ngoài.

III. Main Results:

Điểm tổng che giấu khác biệt lớn: Perplexity Decider và JEV-27B cách nhau chỉ 2.6 điểm trên reference track (57.0 vs 54.4), nhưng pair accuracy core chênh 70.1% vs 44.2%.
Xếp đúng xác suất ≠ ra quyết định đúng: trên 2.400 cặp nhị phân, Perplexity Decider xếp đúng thứ tự 92.3% cặp nhưng chỉ trả lời đúng cả hai thành viên 74.1% — nó "nghiêng" đúng hướng nhưng không đủ dứt khoát.
Confidence reliability khác nhau mạnh giữa các model có item accuracy tương đương (Kev 27B vs JEV-27B).
Nhiều model thua cả đoán ngẫu nhiên ở pair accuracy: 19/40 model dưới baseline 16.1%, 30/40 model dưới baseline ở độ khó cao nhất.
Reasoning effort quan trọng: GLM-5.3 đạt 93.5% pair accuracy ở mức reasoning cao nhất so với 81.5% ở mức thấp nhất; SL-27B AutoThink (87%) vượt xa bản Instant một-pass (75%).
Ổn định xếp hạng: tương quan Spearman 0.994 giữa các lần lấy mẫu fresh; bản sửa đổi 1.1 giữ nguyên thứ hạng (ρ=0.986).
Đã lọc 3.016 câu reference (8.5%) bị trùng với dữ liệu huấn luyện của model nội bộ.

IV. Conclusion & Future Works:

DecisionPivot chứng minh rằng đánh giá aggregate là không đủ: cần kết hợp contrast groups có kiểm chứng độc lập với các metric về xác suất và confidence để chẩn đoán chính xác vì sao model ra quyết định sai. Benchmark cung cấp chẩn đoán chi tiết theo chi tiết then chốt và mức độ khó mà điểm tổng không thể lộ ra. Hướng phát triển: mở rộng các họ tác vụ sinh câu hỏi, đánh giá khả năng khái quát hóa sang các thiết kế tác vụ hoàn toàn mới (không chỉ resample trong cùng generator), và chuẩn hóa giao thức đánh giá cho các decision model mới.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chọn lọc thích ứng (selective prediction) cho decision models: kết hợp pair accuracy với coverage để quyết định khi nào hệ thống nên tự động hành động và khi nào nên chuyển sang reasoning model lớn hơn.
Phân tích cơ chế 'đúng hướng xác suất nhưng sai quyết định' — khoảng cách giữa probability ordering và label correctness — để thiết kế lớp ngưỡng (thresholding) tối ưu cho routing trong pipeline LLM đa model.
Mở rộng phương pháp contrast groups có solver kiểm chứng cho các tác vụ đa phương án phức tạp (nhiều hơn 2 lựa chọn) và cho đánh giá agent thực thi công cụ dài hạn.

2. Patent:

Hệ thống định tuyến yêu cầu thông minh trên điện thoại: một model nhỏ chạy cục bộ phân tích từng yêu cầu người dùng; nếu độ tự tin dưới ngưỡng hoặc câu hỏi thuộc nhóm dễ nhầm (contrast pair), yêu cầu được chuyển lên model lớn trên đám mây, vừa nhanh vừa tiết kiệm pin.
Trợ lý ảo kiểm duyệt giao dịch tài chính: trước khi duyệt chuyển khoản, hệ thống tự sinh các biến thể câu hỏi chỉ lệch một chi tiết (số tiền, tên người nhận) để kiểm tra model phân biệt được tình huống cho phép và vi phạm chính sách hay không.
Bộ kiểm tra chất lượng tự động cho chatbot doanh nghiệp: nền tảng sinh cặp tình huống 'chỉ đổi một chi tiết đáp án đổi' từ chính sách công ty, chạy model nội bộ qua bộ cặp này định kỳ và cảnh báo khi tỷ lệ trả lời đúng cả cặp sụt giảm sau mỗi lần cập nhật model.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.28522
ArXiv Abstract	https://arxiv.org/abs/2610.28522
PDF Download	https://arxiv.org/pdf/2610.28522.pdf
Github Repository	https://github.com/StartLuxLabs/DecisionPivot

27. EdgeKernelBench: Unified LLM-Driven Kernel Generation for Edge Backends (13 votes)

Tác giả: Yuhua Zheng, Xueyi Chen, Xinze Zou, Xin Li, Haoji Hu, et al.

Xuất bản lúc: 2026-10-17

Tag: LLMs, Kernel Generation, Edge Computing, TVM, Compiler IR, Code Generation, Agents, Edge Deployment

I. Main Problem:

Các phương pháp sinh kernel bằng LLM hiện tại chủ yếu nhắm vào GPU server và không áp dụng được cho thiết bị edge vì ba rào cản:

Hệ sinh thái phân mảnh: edge gồm đa dạng CPU/GPU/NPU, runtime và engine khác nhau; sinh code native trực tiếp buộc LLM học riêng từng ngôn ngữ và quy tắc của từng backend, gây đổ vỡ khi gặp phần cứng ít phổ biến.
Mục tiêu tối ưu khác: server ưu tiên tốc độ với bộ nhớ dồi dào; edge phải cân bằng hiệu năng và bộ nhớ trong ngân sách tài nguyên chặt.
Benchmark hiện có không phản ánh thực tế edge: KernelBench chỉ nhắm server GPU; MobileKernelBench chỉ có toán tử đơn lẻ, không kiểm thử tối ưu liên toán tử hay lập kế hoạch ở mức đồ thị mô hình.

II. Main Idea:

EdgeKernelBench: benchmark phân cấp 331 tác vụ PyTorch (3 mức độ phức tạp: Basic Compute Patterns, Composed Operator Graphs, Compact Model Graphs × 3 lĩnh vực Mobile/AIoT/Robotics) kết hợp framework triển khai dựa trên Unified Kernel IR — LLM không viết code native cho từng backend mà biểu diễn quyết định về tính toán, lập lịch và bộ nhớ trong một IR chung; adapter biên dịch (dùng TVM) hạ cấp từng bước sang LLVM, CUDA, OpenCL.

LEKA (Layered Edge Kernel Agent): kiến trúc agent chia tối ưu theo từng tầng IR — mỗi tầng có agent riêng chỉ tập trung vào không gian quyết định của tầng đó, cây ứng viên theo dõi nguồn gốc, còn agent cảm nhận phần cứng chạy profile trên thiết bị thật và định tuyến phản hồi về đúng tầng chịu trách nhiệm thay vì chung cho cả chương trình.

Ví dụ đời thường: giống xây nhà theo tầng — kiến trúc sư lo mặt bằng tổng thể, kỹ sư kết cấu lo khung, thợ nội thất lo chi tiết, và khi phát hiện lỗi, người giám sát chỉ giao về đúng bộ phận gây lỗi thay vì bắt một người phụ trách cả căn nhà.

III. Main Results:

One-shot trên 650 tác vụ: mô hình tốt nhất đạt 73.5% Compile@1, 64.5% Correct@1 nhưng chỉ 25.5% Fast@1.0 — đúng về mặt chức năng không đồng nghĩa nhanh; ở Level 3 Fast@1.0 tụt còn 0–4% trên cả ba backend.
So với engine production: LLM một lần sinh chỉ vượt MNN/TensorRT ở Level 1; không có Level 3 nào nhanh hơn TensorRT.
Phân tích lỗi: lỗi bộ nhớ 34.0%, lỗi cú pháp/API 25.4%, lỗi đúng đắn 18.9%, lỗi song song 12.0%.
LEKA trên 69 tác vụ (cùng base model GLM-5.3-Flash, cùng ngân sách với Claude Code): nâng Correct@1 từ 42.0% lên 100.0%, Fast@1.0 từ 13.0% lên 43.5%, vượt baseline Claude Code (26.1%) với GM speedup 3.8×.
Case study SqueezeNet1.1 trên RK3588: tối ưu tích lũy qua các tầng (NHWC + rewrite conv 1×1, shared-memory tiling, register blocking) đạt 3.5× so với triển khai ban đầu.

IV. Conclusion & Future Works:

EdgeKernelBench + LEKA cho thấy hiệu năng tối ưu kernel của LLM phụ thuộc mạnh vào độ phức tạp chương trình và phần cứng đích, và tối ưu phân tầng theo IR vượt cả sinh một lần lẫn agent lập trình tổng quát cùng ngân sách. Câu hỏi mở: ranh giới trách nhiệm giữa model và compiler — khi model mạnh hơn, có thể dịch chuyển ranh giới xuống các tầng IR thấp hơn (kiểm soát phần cứng trực tiếp hơn nhưng ràng buộc phức tạp hơn) hay không, và thiết kế IR thế nào để agent suy luận tốt về các lựa chọn tối ưu.

V. Brainstorming Space:

1. Publish Papers:

Ứng dụng tư tưởng tối ưu phân tầng IR của LEKA cho các backend edge mới như NPU điện thoại hoặc accelerator tiết kiệm điện: mỗi backend chỉ cần adapter biên dịch, agent tầng cao tái sử dụng nguyên trạng.
Học từ phản hồi phần cứng theo tầng: huấn luyện RL fine-tune model riêng cho từng mức IR để agent tầng thấp tự học cách quyết định lập lịch và bộ nhớ thay vì dựa vào prompt.
Benchmark mở rộng EdgeKernelBench sang mô hình edge hoàn chỉnh và hạ tầng NPU/TinyML, kiểm thử khả năng lập kế hoạch bộ nhớ toàn đồ thị dưới ngân sách tài nguyên chặt.

2. Patent:

Hệ thống sinh kernel tự động cho điện thoại thông minh: ứng dụng AI trên điện thoại gửi mô tả toán tử kèm thông số chip (Snapdragon, Mali...); dịch vụ đám mây sinh kernel ở dạng biểu diễn trung gian chung, sau đó trình biên dịch trên máy hạ cấp thành code chạy native trên chính chiếc điện thoại đó, tối ưu cả tốc độ lẫn bộ nhớ.
Trợ lý tối ưu mô hình AI trên thiết bị edge tích hợp nhiều agent theo tầng: agent mức đồ thị quyết định cách ghép các phép tính, agent mức vòng lặp quyết định cách chia nhỏ dữ liệu, agent mức phần cứng đo thử trên chip thật rồi gửi kết quả đúng về tầng gây nghẽn — giúp mô hình chạy nhanh hơn mà không vượt bộ nhớ máy.
Nền tảng kiểm thử và xếp hạng tự động cho mã kernel do AI tạo ra trên thiết bị edge: gồm bộ tác vụ từ toán tử đơn đến mô hình thu nhỏ, pipeline biên dịch — kiểm tra kết quả — đo tốc độ so với engine suy luận có sẵn, dùng để đánh giá và chọn mô hình LLM phù hợp cho từng dòng thiết bị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.24648
ArXiv Abstract	https://arxiv.org/abs/2610.24648
PDF Download	https://arxiv.org/pdf/2610.24648.pdf
Github Repository	https://github.com/pillor9/EdgeKernelBench

28. Good Judgment, Bad Advice: Decision-Model Controllers Raise Agent Cost Without Improving Success (12 votes)

Tác giả: Naman Vats

Xuất bản lúc: 2026-10-17

Tag: LLM Agents, Agent Controllers, Cost Optimization, Decision Models, Terminal Agents, Benchmark Evaluation

I. Main Problem:

Các scaffold cho agent đang ủy quyền các quyết định nhỏ (khi nào dừng, kiểm tra, đổi hướng) cho mô hình rẻ hơn để tiết kiệm chi phí, nhưng chưa ai kiểm chứng end-to-end rằng điều này thực sự rẻ hơn cho một vòng lặp agent cố định:

Đánh giá mô hình phán đoán thường chỉ đo độ chính xác dự đoán (ranking/calibration), không đo xem hành động theo dự đoán có tạo ra tiết kiệm thật không.
Thiếu các baseline tách bạch: quy tắc tất định (có cần mô hình không?), LLM nhỏ (sao không dùng LLM rẻ?), và placebo (nội dung quyết định có quan trọng, hay chỉ cần nhắc nhở?).

II. Main Idea:

Giữ một vòng lặp agent cố định (Claude Sonnet 5.5 + bash/finish, sandbox Daytona, benchmark Terminal-Bench 2.1) và chỉ thay đổi bộ điều khiển tại 4 điểm quyết định tất định (lặp lỗi, không tiến triển, yêu cầu finish, checkpoint mỗi 10 bước), với 5 arm so sánh:

native: không có controller
rules: quy tắc tất định
small LLM: Claude Haiku 5.5 trả lời cùng câu hỏi
Jev 1.13: mô hình quyết định kiểu typed decision model (rẻ: ~$0.00008/quyết định)
placebo: chọn ngẫu nhiên theo phân phối tần suất của Jev, đúng những thời điểm đó

Thiết kế pre-specified, placebo-controlled, 21 task held-out × 5 arm × 3 lần = 315 trial; kết quả chính là chi phí (geometric-mean ratio), pass rate là guardrail.

Ví dụ đời thường: giống như thuê một người phụ tá rẻ tiền đứng cạnh thợ lành nghề, gõ vai nhắc "anh kiểm tra lại đi" mỗi khi thợ định bàn giao — hóa ra thợ gần như lúc nào cũng làm đúng, nên tiếng nhắc chỉ làm việc kéo dài thêm chứ không sửa được gì.

III. Main Results:

Kết quả chính (C1): Jev làm chi phí mỗi lần chạy tăng 19% (ratio 1.19, 95% CI 1.02–1.36) với pass rate không đổi (73.0% vs 73.0%); giả thuyết "Jev rẻ hơn" bị bác bỏ.
So sánh phụ: Jev rẻ hơn small LLM 19% (0.81), ngang rules (0.96), nhưng đắt hơn placebo 22% (1.22); không arm nào khác nhau về pass rate. Placebo không tăng chi phí (0.98) — chứng tỏ chi phí thừa đến từ nội dung lựa chọn của Jev, không phải từ việc can thiệp.
Phán đoán offline: Jev xếp hạng yêu cầu finish tốt nhất (AUROC 0.78 vs 0.62 rules, 0.60 small LLM) nhưng hiệu chỉnh kém: xác suất finish trung bình 0.50 trong khi 87% run đó thực tế pass, nên nó kêu verify lại việc đã đúng (29/53 finish request bị verify).
Nguồn chi phí thừa: tỷ lệ thuận với số lần yêu cầu verify (placebo 0.33 → 0.98×; small LLM 1.30 → 1.47×) cộng quỹ đạo dài hơn (16.0 vs 13.3 bước); tăng giá trên 15/21 task.
abandon không bao giờ được chọn trong cả 315 trial — hành động duy nhất có thể tiết kiệm tiền (bỏ cuộc sớm) bị bỏ không; các run vô vọng chạy tới khi hết timeout/ngân sách. Chi phí controller gần như không đáng kể (0.11% spend, nhanh gấp ~3× small LLM).

IV. Conclusion & Future Works:

Khoảng cách giữa tín hiệu có thông tin và can thiệp hữu ích nằm ở policy ở giữa: bài học chính là controller cho agent loop phải được đánh giá end-to-end với chi phí làm kết cục chính, đối chiếu rules và placebo, không chỉ đo độ chính xác phán đoán. Mô hình quyết định kiểu typed (như Jev) đủ rẻ và nhanh — vấn đề không phải overhead mà là cách ánh xạ xác suất sang hành động.

Hướng tương lai: hành động theo xác suất đã hiệu chỉnh với ngưỡng biết base rate (intervene ít hơn nhiều), và cung cấp các hành động dừng mà controller thực sự chọn dùng, pre-specified trên task mới.

V. Brainstorming Space:

1. Publish Papers:

Thiết kế policy dựa trên xác suất đã hiệu chỉnh với ngưỡng nhạy base rate cho controller agent: chỉ can thiệp khi xác suất thất bại vượt ngưỡng học được từ dữ liệu chạy thực tế, thay vì argmax mù.
Nghiên cứu tại sao controller không bao giờ chọn abandon: huấn luyện/điều chỉnh mô hình quyết định để nhận diện early sớm các run vô vọng, kết hợp phần thưởng về chi phí tiết kiệm được.
Khung benchmark chuẩn hóa cho controller agent: bắt buộc arm placebo, rules và cost làm primary outcome, để các công bố về 'controller thông minh' có thể so sánh công bằng.
Tái kiểm chứng trên mô hình open-weight: giải quyết vấn đề quantization khác nhau giữa host để giữ mô hình cố định qua mọi arm (phép thử C5 chưa chạy được trong bài này).

2. Patent:

Trợ lý tiết kiệm chi phí cho ứng dụng AI agent trên điện thoại: một mô-đun giám sát nhỏ chạy cục bộ theo dõi tiến độ tác vụ; khi xác suất hoàn thành thấp kéo dài, nó chủ động đề xuất dừng hoặc đổi hướng thay vì để agent chạy tới khi hết pin/gói dữ liệu — tiết kiệm tiền cho người dùng.
Hệ thống kiểm tra lại kết quả của chatbot có ngưỡng thông minh: thay vì nhắc 'hãy kiểm tra lại' mọi lúc, ứng dụng ước lượng xác suất câu trả lời đã đúng (dựa base rate lịch sử) và chỉ yêu cầu xác minh bổ sung khi độ tin cậy thấp, cắt đáng kể số lượt gọi mô hình lớn và chi phí API.
Công tắc 'bỏ cuộc sớm' tự động cho trợ lý lập trình tự động: khi trợ lý AI lặp lỗi liên tiếp trong môi trường thử nghiệm, hệ thống tự động chấm dứt phiên và báo cáo lỗi thay vì chạy tới hết hạn mức, giảm hóa đơn điện toán đám mây cho doanh nghiệp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.24649
ArXiv Abstract	https://arxiv.org/abs/2610.24649
PDF Download	https://arxiv.org/pdf/2610.24649.pdf
Github Repository	https://github.com/namanvats/decision-model-controllers

29. HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL (12 votes)

Tác giả: Xiaoqiang Wang, Ting-En Lin, Yuchuan Wu, Pinyi Zhang, Caixin Kang, et al.

Xuất bản lúc: 2026-10-19

Tag: Reinforcement Learning, LLMs, Rubric Rewards, Open-Ended Generation, Reward Hacking, Curriculum Learning, Evaluation

I. Main Problem:

Các tác vụ mở như role-play, long-form writing và social reasoning không có đáp án đúng duy nhất, nên khó dùng verifier dạng rule. Phương pháp phổ biến là dùng rubric-based rewards: phân rã chất lượng thành các tiêu chí ngôn ngữ do LLM chấm điểm.

Vấn đề là khi policy tiến bộ, cấu hình huấn luyện cố định khiến reward dần mất tác dụng:

Non-discriminative rewards: điểm sụp về cùng thấp hoặc cùng cao, tạo ra lớp blind hoặc saturated, gần như không còn tín hiệu phân biệt trong một nhóm rollout.
Spurious rewards: điểm vẫn tách các câu trả lời, nhưng thứ tự điểm không khớp chất lượng thật.
Các phương pháp trước thường chỉ thích ứng rollout guidance hoặc rubric, không chẩn đoán nguyên nhân lỗi, nên có thể dồn lỗi sang phần khác của quá trình huấn luyện.

II. Main Idea:

HarnessRL bổ sung một training-time harness đồng tiến hóa cùng policy qua ba giao diện: task sampling, rollout guidance và rubric criteria.

Task sampling: tăng trọng số cho tác vụ còn tín hiệu học hữu ích; giảm trọng số tác vụ đã saturated, có hiệu chỉnh để bảo toàn đóng góp kỳ vọng của từng tác vụ.
Rollout guidance: khi policy chưa tạo được hành vi được reward, hệ thống gắn thêm gợi ý dạng criterion, reference hoặc critique; khi policy đã học được, gợi ý được rút dần.
Rubric interface: khi tiêu chí bị khai thác theo hướng nông, reward hacking hoặc mất khả năng phân biệt, hệ thống có thể rewrite, reweight, create, delete, split hoặc merge criteria.
Training-time memory: lưu rollout history, rubric history và training dynamics; retrieval gồm time-index evidence trong cùng tác vụ và cross-task semantic evidence để tránh lặp lại cập nhật thất bại hoặc mượn ví dụ từ tác vụ liên quan.
Harness evolver: gồm attributor gắn nhãn lỗi là blind, saturated, spurious hoặc agree; proposer sinh cập nhật; JIT critic đo ứng viên cập nhật trên policy đang bị đóng băng và chỉ chấp nhận khi hiệu ứng nằm trong acceptance band tương ứng.

Khác với chỉnh rubric hoặc gợi ý riêng lẻ, HarnessRL coi lỗi reward là vấn đề điều khiển toàn bộ vòng huấn luyện: đổi bài tập khi tín hiệu đã cạn, thêm gợi ý khi policy chưa với tới, sửa tiêu chí chấm khi điểm không còn nói lên chất lượng. Giống như giáo viên lái xe liên tục đổi độ khó tuyến đường, cho xem mẫu khi học viên còn lúng túng, sửa bảng chấm điểm nếu thấy chấm sai, và bắt thử một vòng trước khi quyết định cách dạy tiếp theo.

III. Main Results:

Bộ dữ liệu mới Rubric-Mix-10k: 8,600 tác vụ huấn luyện và 250 tác vụ held-out cho mỗi domain gồm medical, science, writing, role-play, instruction following, kèm benchmark OOD riêng.
Với Qwen3.5-4B, HarnessRL đạt 64.5 in-domain và 49.8 OOD, vượt baseline mạnh nhất +3.0 và +2.8 điểm; so với GRPO là +6.7 và +5.9 điểm.
Với Qwen3.5-9B, HarnessRL đạt 69.5 in-domain và 57.3 OOD, vượt baseline mạnh nhất +2.9 và +3.1 điểm, dẫn mọi benchmark ở cả hai quy mô.
Reward-oracle agreement cuối huấn luyện đạt 48.9% so với 38.4% của GRPO; HarnessRL cũng đến checkpoint OOD tốt trước các baseline thích ứng và gần như giảm một nửa số bước tới checkpoint tốt nhất.
Ablation cho thấy JIT critic và memory là then chốt: bỏ critic giảm còn 59.5 in-domain / 45.9 OOD; bỏ cả critic và memory giảm còn 58.1 / 44.1, gần GRPO.
Chỉ thích ứng một giao diện kém hơn rõ: guidance giúp giảm blind nhưng làm tăng saturated; rubric update giúp giảm saturated/spurious nhưng có thể làm tăng blind. HarnessRL giảm cả ba lớp lỗi và giữ reversal rate ở 1.6%, so với 18.2% ở AMARIS++.

IV. Conclusion & Future Works:

Bài báo chỉ ra rằng reward failures trong open-ended RL không chỉ là lỗi của rubric, mà là triệu chứng của cả cơ chế chọn tác vụ, khuyến khích khám phá và đánh giá đang bị đóng băng. Điểm quan trọng là phải chẩn đoán đúng giao diện cần cập nhật và đo thử cập nhật trên policy hiện tại trước khi chấp nhận.

Hướng mở rộng tự nhiên: giảm chi phí judge và evolver, làm attribution mạnh hơn với bộ nhớ lớn, kiểm tra khả năng scale lên policy và judge lớn hơn, đồng thời mở rộng sang continual learning và các tác vụ mở ngoài năm domain đã thử nghiệm.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu scaling law của HarnessRL khi tăng kích thước policy, judge và số lượng tác vụ mở, đồng thời đo xem lợi ích của memory và JIT critic có giữ ở quy mô lớn hơn không.
Phát triển critic tiết kiệm chi phí hơn bằng cách giảm số lần gọi LLM judge, dùng retrieval có chọn lọc hoặc mô hình nhỏ để sàng lọc ứng viên cập nhật trước khi đo hiệu ứng thật.
Kết hợp phản hồi người dùng hoặc oracle calibration vào attribution để giảm spurious rewards mà không làm tăng độ lệch của judge, đặc biệt trên medical và science.
Mở rộng harness co-evolution cho continual open-ended RL, trong đó task bank thay đổi theo thời gian và hệ thống phải tránh quên kỹ năng cũ khi cập nhật sampling, guidance và rubric.

2. Patent:

Ứng dụng điện thoại luyện viết: khi người dùng viết bài, ứng dụng tự điều chỉnh độ khó đề bài, đưa ví dụ hoặc nhận xét tạm thời khi người dùng bế tắc, rồi sửa bảng tiêu chí chấm điểm sau khi kiểm tra gợi ý thực sự làm bài viết tiến bộ.
Ứng dụng điện thoại mô phỏng tư vấn y khoa: người dùng luyện hỏi bệnh và giải thích điều trị; hệ thống thay đổi mức khó ca bệnh, cung cấp cách diễn đạt mẫu khi cần, và cập nhật tiêu chí đánh giá dựa trên câu trả lời đã được kiểm chứng trước khi dùng tiếp.
Ứng dụng phỏng vấn thử việc trên điện thoại: vai phỏng vấn điều chỉnh câu hỏi theo năng lực ứng viên, đưa gợi ý khi ứng viên đi lệch, và thay đổi thang chấm theo tiêu chí đã chứng minh giúp câu trả lời tốt hơn.
Trợ lý học ngoại ngữ hoặc tranh luận trên điện thoại: ứng dụng chọn bài tập còn học được, đưa phản hồi ngắn đúng lúc, rồi tự sửa cách chấm điểm khi phát hiện người học chỉ đạt điểm bằng mẫu câu sáo rỗng thay vì thật sự cải thiện.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26426
ArXiv Abstract	https://arxiv.org/abs/2610.26426
PDF Download	https://arxiv.org/pdf/2610.26426.pdf
Github Repository	N/A

30. EAU: Environment-Agent-User Co-evolution for Training User-Centric Agents (11 votes)

Tác giả: Min Cai, Dan Zhang, Gao Xing, Libin Ma, Zhaohui Xu, et al.

Xuất bản lúc: 2026-10-12

Tag: LLM Agents, Reinforcement Learning, Meta-Agent, User Simulation, Co-evolution, Multi-turn Interaction, PPO

I. Main Problem:

Huấn luyện agent LLM tương tác nhiều lượt với người dùng rất khó vì tín hiệu học không chỉ phụ thuộc vào agent mà còn vào user simulator và môi trường:

User simulator dạng LLM ngẫu nhiên, không nhất quán: lệch khỏi persona, tiết lộ thông tin sớm, đổi ý định giữa các episode tương tự
Môi trường kém tin cậy: tool âm thầm lỗi, state không đầy đủ, verifier chấm sai, nhiệm vụ không thể hoàn thành
Cả hai thành phần này thường bị cố định trong suốt training, nên khi policy tiến bộ, tương tác sinh ra ngày càng dư thừa, thiếu thông tin hoặc gây hiểu nhầm về reward
Các phương pháp trước chỉ chỉnh reward/shaping ở hạ nguồn, không chạm vào gốc rễ của nhiễu loạn — sửa reward không cứu được tương tác đã bị hỏng từ đầu.

II. Main Idea:

EAU là một meta-agent giám sát liên tục quá trình RL và đồng thời tiến hóa cả ba thành phần Environment – Agent – User thay vì chỉ tối ưu policy trên hạ tầng cố định:

Theo dõi: đọc trajectory, tool trace, reward và thống kê training theo chu kỳ
Chẩn đoán: xác định lỗi đến từ policy, user simulator, môi trường hay cấu hình training
Can thiệp có nhắm mục tiêu: sửa verifier/tool, tinh chỉnh persona và hành vi tiết lộ thông tin của user, thêm/sửa reward trung gian, đổi hyperparameter RL
Hot-swap trong run: thay đổi được kiểm chứng qua cổng kiểm tra rồi đưa thẳng vào vòng training đang chạy; có thể restart khi lỗi không sửa được, và ghi nhớ kinh nghiệm qua các run để run sau kế thừa
Symbolic user: bộ quy tắc tường minh, xác định sinh câu trả lời user, trộn với LLM user theo hệ số ϵ để cân bằng giữa kiểm soát và độ tự nhiên; meta-agent tự chỉnh các nút (knobs) này
Agent vẫn là LLM thần kinh tối ưu bằng PPO + critic (GAE trên action token); meta-agent (ví dụ Claude Code, Codex) đóng vai trò huấn luyện viên điều phối

Ví dụ đời thường: giống huấn luyện viên không chỉ dạy vận động viên, mà còn liên tục chỉnh luật chơi, sân tập và đối tác tập luyện sao cho mỗi buổi tập luôn thử đúng điểm yếu mới nhất của vận động viên — thay vì để vận động viên tự luyện mãi trên một sân xấp xế cố định.

III. Main Results:

Vượt mọi baseline RL trên 3 benchmark user-centric (UserGym, ColBench, τ²-bench) và 2 backbone (Qwen3-4B, Qwen2.5-7B-Instruct)
Cải thiện overall score so với baseline mạnh nhất (InfoPO): +15.0% (Qwen3-4B) và +14.7% (Qwen2.5-7B)
ColBench: Pass +23.9%, Succ. +36.7% (0.439 → 0.600) trên Qwen3-4B
Với backbone 4B, điểm overall còn vượt cả Gemini-3-Flash và GPT-4.1 dùng prompting
Ablation: user hybrid (symbolic + LLM, ϵ=0.5) tốt hơn LLM thuần; symbolic thuần kém hơn
EAU thiết kế đầy đủ vượt rõ PPO thuần và meta-agent kiểu generic; tích hợp được với UserRL/InfoPO và với Codex làm meta-agent (hiệu quả thấp hơn Claude Code một chút)
Intra-run intervention cho cải thiện lớn hơn inter-run alone khi dùng chung kinh nghiệm từ các run trước

IV. Conclusion & Future Works:

Bài báo chứng minh để training tự tiến hóa cùng policy (co-evolve môi trường, user simulator và cấu hình RL) là cách cải thiện đáng kể RL đa lượt cho agent giao tiếp với người dùng, thay vì coi chúng là hạ tầng cố định. Các can thiệp đều chỉ dựa trên phản hồi phía training, tách biệt khỏi bộ đánh giá. Hướng tương lai: huấn luyện các mô hình open-source sau huấn luyện để tự thực hiện quá trình co-evolution này một cách tự chủ, không cần dùng coding agent thương mại.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng co-evolution của EAU sang huấn luyện đa tác tử (multi-agent), nơi các agent cùng học trong một môi trường và user simulator được tiến hóa chung để kiểm tra hành vi hợp tác và đàm phán.
Nghiên cứu symbolic user simulator tự học: thay vì meta-agent viết tay quy tắc, mô hình nhỏ tự trích xuất và cập nhật quy tắc tiết lộ thông tin từ log thành công/thất bại của chính sách.
Áp dụng framework meta-agent can thiệp intra-run cho RL agent ngoài đời thực (robotics, trợ lý điện thoại) với bộ kiểm chứng an toàn chặt hơn để tránh rò rỉ thông tin nhiệm vụ.

2. Patent:

Hệ thống huấn luyện chatbot tự sửa môi trường giả lập khách hàng: trong quá trình huấn luyện chatbot chăm sóc khách hàng, một module AI đọc log hội thoại, tự phát hiện khách hàng giả lập trả lời sai hoặc lộ thông tin quá sớm, rồi sửa luật của khách hàng giả lập ngay lập tức mà không phải chạy lại toàn bộ quá trình huấn luyện.
Trợ lý ảo trên điện thoại tự tinh chỉnh trong lúc dùng: ứng dụng theo dõi các cuộc hội thoại mẫu, tự nhận diện khi người dùng giả lập trong bản test phản hồi mâu thuẫn, và tự điều chỉnh cách trợ lý hỏi rõ ý người dùng (cân bằng giữa hội thoại tự nhiên và các câu trả lời theo kịch bản cố định).
Nền tảng đào tạo nhân viên bán hàng ảo có giám sát viên AI: một 'nhân viên quản lý' AI quan sát buổi tập role-play giữa nhân viên ảo và khách hàng ảo, tự thêm điểm thưởng cho từng bước đi đúng (thay vì chỉ chấm thắng/thua cuối cùng) và tự điều chỉnh độ khó của kịch bản theo trình độ hiện tại của nhân viên ảo.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.16523
ArXiv Abstract	https://arxiv.org/abs/2610.16523
PDF Download	https://arxiv.org/pdf/2610.16523.pdf
Github Repository	https://github.com/StringNLPLAB/meta-agent

31. Unsupervised Tool Evolution for Coding Agents in Data-Lake Analytics (11 votes)

Tác giả: Yuqing Yang, Yurong Liu, Deqing Fu, Manav Garg, Sravan Babu Bodapati, et al.

Xuất bản lúc: 2026-10-19

Tag: LLM Agents, Tool Evolution, Data-Lake Analytics, Unsupervised Learning, Agentic AI, Synthetic Data Generation

I. Main Problem:

Coding agent trả lời câu hỏi phân tích trên data lake (hàng nghìn file bảng, tài liệu thô) phải tự khám phá dữ liệu, làm sạch và join — nhưng làm lại từ đầu cho mỗi câu hỏi: mọi parser, script join đều bị vứt đi sau khi trả lời xong. Việc tự động xây dựng công cụ tái sử dụng (tool evolution) gặp hai rào cản:

Thiếu nhãn ground-truth: để xác minh một đáp án, chuyên gia phải tự giải lại toàn bộ bài toán — nên các phương pháp supervised không dùng được.
Kiểm chứng bằng 'chạy không lỗi' là không đủ: một tool có thể execute sạch nhưng đọc sai granularity của bảng, làm rơi dòng khi parse, hoặc join sai key.

II. Main Idea:

TEAL (Tool Evolution for Analytics over data Lakes) tiến hóa một thư viện gồm các tool có thể gọi được (một số đi kèm artifact dữ liệu precomputed như catalog, index) cùng file usage skills hướng dẫn Worker khi nào và cách dùng từng tool — hoàn toàn không cần nhãn. Vòng lặp gồm 5 giai đoạn:

Stage 0 – Trajectory Collection: Worker giải từng batch câu hỏi, ghi lại tool nào được dùng, tool nào bị bỏ quên, đoạn nào tốn nhiều bước thủ công.
Stage 1 – Expert Exploration: Explorer quét toàn bộ data lake (không xem câu hỏi hay trajectory), đóng vai chuyên gia xây tool mang tính lake-wide như search/lookup tool backed by catalog SQLite precomputed.
Stage 2 – Trajectory Criticism: Critic phân tích trajectory để sửa tool lỗi (update), đưa tool bị bỏ quên vào dùng (promote), lấp capability gap (add). Toolsmith hiện thực hóa và tự test bằng unit test.
Stage 3 – Skill Update: Skill Writer cập nhật guidance cross-tool và mô tả từng tool.
Stage 4 – Verification không nhãn: rerun Worker với thư viện mới; giữ thay đổi chỉ khi (1) tool mới thực sự được gọi, (2) task vẫn hoàn thành không tốn thêm bước, (3) nếu đáp án đổi thì trajectory evidence ủng hộ đáp án mới (Analyst so sánh, không giả định đáp án cũ đúng).

Bổ sung TEAL-Q: sinh câu hỏi tổng hợp từ 4 giai đoạn (draft từ cụm file → làm khó dần tối đa 3 vòng → build pipeline kiểm chứng câu hỏi giải được → viết lại tự nhiên), chỉ đưa câu hỏi cho TEAL, không cần xác minh đáp án.

Ví dụ đời thường: giống nhân viên mới được giao bếp bừa bộn — không có sách dạy nấu (không có nhãn), anh ta vừa làm vừa ghi chú ('dao ở ngăn trên, muối hết rồi'), rồi tự chế ra những hộp dụng cụ để lần sau chỉ cần mở một ngăn là xong thay vì lục lại cả bếp; món nào làm xong thấy ăn được (rerun thành công) mới giữ lại, còn hộp nào vướng thì vứt.

III. Main Results:

Ngân sách bước chặt (10–15 steps): TEAL cải thiện mọi Worker trên cả hai benchmark. Với Sonnet-5 ở 15 steps: +9.3 điểm trên KramaBench (63.2 → 72.5), +21.7 điểm trên LakeQA (35.8 → 57.5); ở 10 steps: +22.6 và +30.4 điểm.
Ngân sách lỏng (20–30 steps): thư viện tiến hóa cùng budget đôi khi thua baseline, nhưng thư viện tiến hóa ở budget chặt hơn rồi deploy nguyên trạng luôn vượt baseline: Sonnet-5 LakeQA evolved ở 20 steps, test ở 30 steps đạt 68.3 > baseline 59.6 > evolved trực tiếp ở 30 steps (64.2). Budget chặt tạo tín hiệu huấn luyện thay nhãn vàng: Worker fail rõ ràng, Critic có mục tiêu cụ thể, rerun phân biệt được tool hữu ích/vô dụng.
So với phương pháp hiện có: TEAL vượt DS-Guru, Smolagents, LakeQA Agent + RAG; vượt ISE (tool evolution không nhãn, chỉ giữ tool chạy không lỗi) — ISE thậm chí thua baseline 10 điểm trên LakeQA vì giữ một tool search tốn bước timeout.
Câu hỏi tổng hợp (TEAL-Q, 50 câu) cho kết quả tương đương câu hỏi thật: 72.2 vs 72.5 (KramaBench), 56.3 vs 57.5 (LakeQA).
Ablation: bỏ Explorer vẫn cải thiện nhưng kém hơn; bỏ evolved skills mất nhiều hơn nữa (tool tốt mà Worker không biết dùng = vô ích). Verification không nhãn ngang verification oracle khi chỉ có ground-truth answers (+9.31 vs +9.50).
Khái quát hóa qua harness: thư viện evolved trong OpenHands chạy nguyên trạng trên Google ADK (+16.3), Codex CLI (+4.4), Prime Agent (+2.6).

IV. Conclusion & Future Works:

Bài báo chứng minh tool hữu ích có thể tiến hóa hoàn toàn không cần nhãn, bằng cách lấy chính hành vi rerun của Worker làm bằng chứng chấp nhận thay đổi, và dùng áp lực ngân sách bước làm tín hiệu huấn luyện thay ground-truth — công thức thực tế là 'tiến hóa ở budget chặt, triển khai ở budget lỏng'. Hướng tương lai: khuyến khích nghiên cứu tiếp về nên tiến hóa cái gì và làm sao thu feedback trong agent evolution không giám sát, cũng như mở rộng sang các môi trường tác vụ khác ngoài data-lake analytics.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu tiến hóa skill dạng thủ tục kết hợp tool backed-by-artifact trong môi trường không nhãn, điều tra tín hiệu feedback nào (ngoài step budget) giúp verification không giám sát đáng tin hơn.
Mở rộng TEAL-Q sang sinh câu hỏi đa chặng reasoning cho các domain mới (y tế, tài chính) và đánh giá độ đa dạng của câu hỏi tổng hợp ảnh hưởng thế nào đến chất lượng thư viện tool.
Khảo sát chiến lược chọn ngân sách tiến hóa tối ưu (evolution budget scheduling) khi triển khai đồng thời trên nhiều ngân sách bước khác nhau trong hệ thống production.

2. Patent:

Trợ lý phân tích dữ liệu tự học trên điện thoại/doanh nghiệp: ứng dụng quét thư mục dữ liệu nội bộ, tự xây các công cụ tìm kiếm và bảng tra cứu đã lập chỉ mục sẵn, rồi mỗi lần người dùng hỏi, ứng dụng tự kiểm tra lại bằng cách chạy lại trước khi giữ hay loại bỏ từng công cụ — không cần ai chấm đáp án đúng sai.
Hệ thống tạo câu hỏi tự luyện cho chatbot phân tích dữ liệu: chỉ từ vài câu hỏi mẫu, hệ thống tự sinh hàng chục câu hỏi mới từ chính dữ liệu của khách hàng (kèm kiểm chứng bằng chương trình tính chạy được) để huấn luyện và cải tiến bộ công cụ trước khi người dùng thật bắt đầu sử dụng.
Cơ chế xác minh công cụ không cần đáp án chuẩn cho trợ lý AI trong công ty: khi một công cụ mới được đề xuất, hệ thống chạy lại tác vụ, chỉ giữ công cụ nếu trợ lý thực sự dùng nó, hoàn thành nhanh hơn, và mọi thay đổi trong kết quả đều có vết tích tính toán ủng hộ — giúp triển khai công cụ AI tự cải tiến mà không rủi ro làm hỏng kết quả.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.27327
ArXiv Abstract	https://arxiv.org/abs/2610.27327
PDF Download	https://arxiv.org/pdf/2610.27327.pdf
Github Repository	N/A

32. Harness Self-Evolution for Long-Horizon Terminal Agents (11 votes)

Tác giả: Ruhan Wang, Yucheng Shi, Zongxia Li, Junyao Yang, Zhongzhi Li, et al.

Xuất bản lúc: 2026-10-20

Tag: LLM Agents, Terminal Agents, Agent Harness, Self-Evolution, Long-Horizon Tasks, Reliability

I. Main Problem:

Tác tử terminal long-horizon có thể hoàn thành nhiệm vụ một lần nhưng thất bại khi chạy lặp lại — khác biệt giữa 'biết giải' và 'giải tin cậy'. Lỗi nhỏ ở một bước (sai lệnh, bỏ sót quan sát) sẽ lan truyền sang các hành động và context sau đó.

Trọng tâm không phải năng lực của model, mà harness — lớp runtime điều khiển thực thi lệnh, phản hồi quan sát, quản lý context và quyết định khi nào hoàn thành.
Câu hỏi: cải thiện harness thế nào mà không cập nhật trọng số model, sao cho hiệu năng ổn định xuyên suốt nhiều lần chạy và chuyển được sang benchmark lạ?

II. Main Idea:

RiseHarness — vòng lặp tự tiến hóa harness dựa trên bằng chứng thực thi, giữ model cố định:

Flipping tasks: chỉ quan tâm tới nhiệm vụ có cả lần chạy thành công và thất bại cùng cấu hình — lần chạy thành công chứng minh hệ thống có thể giải và làm mốc so sánh.
Dual traces: runtime monitor ghi harness trace nội bộ (hàm nào được gọi, dispatch lệnh, trả feedback ra sao) ghép với agent trajectory, biết chính xác model yêu cầu gì vs hệ thống thực tế làm gì.
Harness Handbook: bản đồ nối hành vi harness → hàm nguồn, để biết hành vi mong muốn đã tồn tại chưa và nằm ở đâu.
Compare → Wish → Revise → Group: so lệnh run thành công/thất bại, nêu 'harness nên làm gì', kiểm chứng bằng trace, rồi gộp thành vấn đề dùng chung.
Thiết kế có tham khảo: tìm kiếm cách triển khai tương tự ở framework khác, rồi thích nghi với luồng thực thi, tín hiệu sẵn có và hành vi model hiện tại.
Kiểm chứng: behavioral check → chạy lặp lại nhiệm vụ; chỉ chấp nhận bản nào vượt baseline Pass@1, rồi lặp vòng mới.

Ví dụ đời thường: giống thợ sửa xe quan sát hai lần sửa cùng một xe — một lần chạy một lần hỏng — rồi lật sơ đồ máy (Handbook) để xem bộ phận nào thật sự bỏ sót việc, tham khảo cách máy khác được lắp, và chỉ thay chi tiết khi thử nghiệm cho thấy xe chạy ổn hơn.

III. Main Results:

DeepSeek-V4-Flash trên TBH: Pass@1 +7.25% (56.75→64.00), Pass4 +14% (37→51), Flip giảm 12 điểm — tức lợi ích chính là độ tin cậy lặp lại, không phải mở rộng khả năng.
GPT-6-sol: TBH Pass@1 +5.25%, Pass4 +7; vượt cả ModularRSI và AHE Harness trên cả hai model.
Transfer sang TB2.1 (benchmark không dùng để tiến hóa): vẫn cải thiện — DeepSeek +7.3 Pass@1, GPT-6-sol +3.09.
Ablation: bỏ harness traces + Handbook (w/o HE) làm giảm rõ rệt hiệu quả so với phương pháp đầy đủ → cả hai nguồn bằng chứng đều đóng góp.
Các thay đổi giữ lại khác nhau theo model: GPT-6-sol chỉnh session recovery, workspace diff, completion context; DeepSeek thêm kiểm chứng bằng chứng hoàn thành — xác nhận harness cần tiến hóa riêng cho từng model.

IV. Conclusion & Future Works:

Cải thiện cơ chế tương tác dùng chung của harness (không đụng trọng số) có thể biến năng lực sẵn có của model thành kết quả tin cậy hơn và chuyển được sang tác vụ mới. Hai yếu tố then chốt: bằng chứng thực thi nội bộ (dual traces + Handbook) để không đoán mò, và nghiên cứu thiết kế bên ngoài có chọn lọc.

Hướng tương lai: tự động hóa sâu hơn vòng research–adapt, chống overfitting benchmark khi tiến hóa lặp nhiều round, và mở rộng phạm vi sửa đổi sang cấu trúc giao tiếp phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng RiseHarness cho tác tử đa bước có công cụ đa dạng (browser, API, IDE): thu thập dual traces xuyên suốt các công cụ và tiến hóa các cơ chế tương tác dùng chung.
Nghiên cứu tiến hóa harness thích ứng theo model động: tự phát hiện khi model được thay thế và điều chỉnh lại cơ chế tương tác mà không cần chu trình tiến hóa hoàn toàn mới.
Phát triển phương pháp phát hiện và ngăn chặng overfitting benchmark trong vòng lặp tự cải tiến agent, kèm giao thức đánh giá held-out chuẩn hóa cho các framework harness self-evolution.

2. Patent:

Hệ thống tự tối ưu trợ lý lệnh terminal trên máy tính/điện thoại: ghi lại toàn bộ lệnh người dùng và kết quả thực thi ở tầng hệ điều hành, tự so sánh các phiên thành công và thất bại để điều chỉnh cách trợ lý AI đọc output, giới hạn context và xác nhận hoàn thành — không cần đào tạo lại model AI.
Trình ghi trace hai lớp cho ứng dụng tự động hóa trên điện thoại: một lớp ghi yêu cầu của model AI, một lớp ghi hàm nội bộ ứng dụng thực sự thực thi, ghép cặp theo từng bước để tự động định vị lỗi nằm ở model hay ở logic ứng dụng.
Bản đồ hành vi–mã nguồn tự cập nhật cho phần mềm có tích hợp AI: mỗi lần sửa code, hệ thống tự cập nhật 'sổ tay' mô tả chức năng nào do hàm nào đảm nhiệm, giúp công cụ phân tích lỗi của AI trỏ đúng vị trí cần sửa.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.27435
ArXiv Abstract	https://arxiv.org/abs/2610.27435
PDF Download	https://arxiv.org/pdf/2610.27435.pdf
Github Repository	N/A

33. Large Flow Language Models (11 votes)

Tác giả: Arnav Chavan, Chanhyuk Lee, Udbhav Bamba, Jaehoon Yoo, Seunghoon Hong, et al.

Xuất bản lúc: 2026-10-20

Tag: Flow Matching, Continuous Flow, Autoregressive Models, Parallel Text Generation, Self-Speculative Decoding, Model Distillation, LLMs

I. Main Problem:

Mô hình ngôn ngữ autoregressive sinh văn bản tuần tự từng token, nên latency khi suy luận trở thành nút cổ chai. Các hướng tăng tốc như multi-token prediction và discrete diffusion vẫn dễ mất chất lượng khi commit nhiều token cùng lúc, còn continuous flow hứa hẹn generation song song nhưng trước đây chủ yếu chứng minh ở quy mô nhỏ hoặc tốn dữ liệu huấn luyện rất lớn. Bài toán là làm sao scale flow language model lên 7-8B tham số mà vẫn giữ chất lượng AR, tận dụng prefix caching, và suy luận nhanh.

II. Main Idea:

Lafa học blockwise asynchronous flow: chia câu thành các block, giữ causal attention trên prefix giống AR, nhưng trong mỗi block dùng bidirectional denoising với tokenwise time học từ dữ liệu để token đầu block được làm sạch nhanh hơn token phía sau, bắt chước hướng trái-phải của văn bản. Thay vì học trường velocity trực tiếp, model học block denoiser dự đoán token sạch từ embedding nhiễu.

Adapt pretrained AR: khởi tạo từ Qwen, thêm adaLN theo mức nhiễu, attention hai chiều trong block, giữ norm embedding để không làm nhiệm vụ khử nhiễu quá dễ.
Train hiệu quả: tổn thất gồm denoising cross-entropy + embedding MSE + AR cross-entropy trên prefix; AR supervision bất ngờ còn cải thiện cả flow lẫn AR.
Inference: flow decoding nhiều Euler steps; flow map distillation nhảy một/few-step; self-speculative decoding dùng chính phần AR còn lại để kiểm draft một bước của flow và chấp nhận prefix dài nhất khớp greedy AR.

Ví dụ đời thường: như một người phụ viết nhanh cả cụm từ theo trình tự trái-phải, còn người có kinh nghiệm đọc lại từng chữ, giữ đúng đoạn đầu khớp ý rồi lấy phần còn lại làm nháp cho cụm kế tiếp.

III. Main Results:

Data efficiency: các bản 0.5B/7B/8B chỉ cần <30B tokens, so với các diffusion language model tương đương dùng tới 500B tokens.
Chất lượng flow: với đủ Euler steps, flow block size 4 đạt gần AR SFT ở 0.5B và vượt AR SFT ở 7B; flow map cải thiện rõ nhất chế độ 1-2 steps.
AR được cải thiện: trung bình 6 benchmark: 31.6 vs 28.7 ở 0.5B, 60.9 vs 58.4 ở 7B, 63.1 vs 56.8 ở 8B so với matched AR SFT.
Self-speculative decoding: đạt khoảng 2.5-5 tokens mỗi forward; Lafa 7B block size 16 đạt 2.54× throughput của AR SFT ở chất lượng tương đương, block size 4 nhanh khoảng 2× và chính xác hơn; DeepSeek-MTP/MARS chỉ tới khoảng 1.4×, các diffusion baseline thấp hơn AR SFT.
Ablation: block-bidirectional attention, asynchronous tokenwise time, norm-frozen embeddings, CE+MSE+AR, self-conditioning và prefix guidance đều quan trọng; bỏ self-conditioning/guidance làm accuracy sụt mạnh.

IV. Conclusion & Future Works:

Kết luận: continuous flow có thể là nền tảng song song cho language modeling nếu khớp cấu trúc causal của pretrained AR: vừa giữ prefix caching, vừa tạo draft parallel, vừa dùng lại AR để verify. Hướng tương lai: cải thiện flow map distillation để đưa self-conditioning và prefix guidance vào few-step generation, thu hẹp khoảng cách với flow nhiều bước và tăng tốc thêm.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chọn block size và tokenwise time theo ngôn ngữ hoặc độ dài câu để tối ưu điểm giao giữa parallelism và chất lượng cho flow language model.
Kết hợp retrieval hoặc tool-use vào prefix để kiểm tra draft của flow trên tác vụ cần factuality, giảm hallucination khi commit nhiều token.
Phát triển distillation không chỉ cho flow map mà cả chính sách accept/reject trong speculative decoding, học cách chọn few-step hay many-step theo độ khó block.

2. Patent:

Bàn phím điện thoại thông minh: một mạng sinh nháp cụm từ tiếp theo từ trạng thái nhiễu theo thứ tự trái-phải, một mạng kiểm chứng từng chữ; chỉ chèn phần đầu khớp ngữ cảnh để gợi ý nhanh mà vẫn đúng ý người dùng.
Chế độ tiết kiệm pin cho mô hình ngôn ngữ lớn chạy trên điện thoại: ứng dụng tự chọn kích thước block, số bước khử nhiễu hoặc nhảy một bước tùy pin/nhiệt độ, ưu tiên draft nhanh rồi xác minh bằng mô hình tự hồi quy nhỏ.
Dịch máy offline trên điện thoại: tạo bản dịch nháp từng cụm theo ngữ cảnh đã dịch, kiểm lại bằng mô hình tự hồi quy, giữ đúng thuật ngữ và văn phong khi mạng yếu hoặc mất kết nối.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.28559
ArXiv Abstract	https://arxiv.org/abs/2610.28559
PDF Download	https://arxiv.org/pdf/2610.28559.pdf
Github Repository	https://github.com/lafa-gh/large-flow-lms

📰 Summary of Papers
1. Focused Omni-Modal GUI Agents (226 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience (182 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds (182 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking (148 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. S-Agent 2.0: Spatial Reasoning with a General Coding Agent (96 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. CoEvo-RSI: When Harnesses Evolve, Which Models Should Follow? (88 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. Sage-A1.5: From Long-Horizon Execution to Scientific Exploration with Capability Composition (64 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. SolarRenderer: Few-Step Generative Reference Rendering (47 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. Learning the 4D World through Point Trajectory Forecasting (42 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. Correction Training for Diffusion Models (37 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation (27 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs (22 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. SpecKCast: Spectral Kalman Forecasting for Diffusion Acceleration (22 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. LLM2R: From Large Language Models to 3D Reassemblers (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. Evolving Agent Interfaces (19 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. Breaking Diffusion: Parallel Reasoning with Draft Refinement (19 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. Epi: Towards a Persistent, Self-Improving Agent for Autonomous Research (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. EvaOmni: An Evidence-Grounded Benchmark for Audio-Visual Reasoning (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. Painting Change Map as guidance for generating painting processes (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. PhysSkin++: Real-Time and Generalizable Physics-Based Animation via Self-Supervised Neural Skinning (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. From Short Clips to Real-Time Streams: Identity-Aware Supervision and Context-Efficient Generation for Video Face Swapping (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
24. FlowState: Execution State as Memory for Long-Horizon LLM Agents (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
25. Event-STVG: Spatio-Temporal Video Grounding for Long-Form Event Reasoning (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
26. DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
27. EdgeKernelBench: Unified LLM-Driven Kernel Generation for Edge Backends (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
28. Good Judgment, Bad Advice: Decision-Model Controllers Raise Agent Cost Without Improving Success (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
29. HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
30. EAU: Environment-Agent-User Co-evolution for Training User-Centric Agents (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
31. Unsupervised Tool Evolution for Coding Agents in Data-Lake Analytics (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
32. Harness Self-Evolution for Long-Horizon Terminal Agents (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
33. Large Flow Language Models (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. Focused Omni-Modal GUI Agents (226 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience (182 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds (182 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking (148 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. S-Agent 2.0: Spatial Reasoning with a General Coding Agent (96 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. CoEvo-RSI: When Harnesses Evolve, Which Models Should Follow? (88 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Sage-A1.5: From Long-Horizon Execution to Scientific Exploration with Capability Composition (64 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. SolarRenderer: Few-Step Generative Reference Rendering (47 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Learning the 4D World through Point Trajectory Forecasting (42 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Focused Omni-Modal GUI Agents (226 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience (182 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds (182 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking (148 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. S-Agent 2.0: Spatial Reasoning with a General Coding Agent (96 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. CoEvo-RSI: When Harnesses Evolve, Which Models Should Follow? (88 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Sage-A1.5: From Long-Horizon Execution to Scientific Exploration with Capability Composition (64 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. SolarRenderer: Few-Step Generative Reference Rendering (47 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Learning the 4D World through Point Trajectory Forecasting (42 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: