🤗 Daily Hugging Face Paper Digest - 2026-10-02

Báo cáo được tạo tự động vào lúc 2026-10-05 08:56:54 bằng mô hình hermes-agent.

📰 Summary of Papers

1. On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics (175 votes)

Tác giả: Julianna Piskorz, Antonin Berthon, Mihaela van der Schaar

Xuất bản lúc: 2026-09-28

Tag: Knowledge Distillation, LLMs, On-Policy Distillation, RLVR, KL Divergence, Post-Training, Catastrophic Forgetting

I. Main Problem:

Giả định phổ biến trong post-training LLM là on-policy learning (học trên chính dữ liệu do model đang huấn luyện sinh ra, như RLVR) tốt hơn off-policy learning (học trên dữ liệu cố định, như SFT) vì: giảm catastrophic forgetting, tạo update thưa hơn, và khái quát hóa tốt hơn. Nhưng các so sánh SFT vs RLVR trước đây thay đổi đồng thời nhiều yếu tố (objective, reward, learning rate, mật độ supervision), nên không thể tách riêng đóng góp của rollout policy. Hệ quả thực tiễn: on-policy vốn tốn kém (phải sinh dữ liệu liên tục trong khi huấn luyện) — nếu lợi ích thật ra đến từ yếu tố khác, chi phí đó có thể lãng phí.

II. Main Idea:

Tác giả dùng strong-to-weak distillation (teacher lớn → student nhỏ) làm môi trường kiểm soát được, vì ở đây có thể đổi rollout policy giữ nguyên mọi thứ khác. Họ tách độc lập ba biến:

Rollout policy: OnPD (student tự sinh chuỗi, hỏi teacher) vs OffPD (dữ liệu teacher cố định), đồng thời xây phổ liên tục student–teacher (tham số λ điều chỉnh hướng nghiêng về token mà model nào thích)
Hướng KL: forward KL (mode-covering) vs reverse KL (mode-seeking) — phá vỡ ghép đôi thông lệ OnPD–reverse, OffPD–forward
Learning rate: quét từ 1e-5 đến 6e-5

Phân tích gradient cho thấy forward KL có gradient bị chặn tuyến tính theo khoảng cách giữa hai rollout policy (robust), còn reverse KL có thể biến động tùy ý vì phụ thuộc log-ratio student/teacher nên nhạy với rollout policy. Kết quả: on-policy không phải yếu tố then chốt — hướng KL định hình accuracy và độ phủ đầu ra, learning rate quyết định forgetting và sparsity; on-policy chỉ thật sự giúp khái quát hóa lên bài khó hơn.

Ví dụ đời thường: giống chuyện dạy nghề — người ta cứ nghĩ học viên phải tự thực hành sai (on-policy) mới giỏi, nhưng hóa ra chất lượng phụ thuộc chủ yếu vào cách chấm điểm từng bước (hướng KL) và tốc độ dạy (learning rate); còn việc tự thực hành chỉ giúp rõ khi bài tập khó hơn hẳn.

III. Main Results:

Không lợi thế nhất quán của on-policy: accuracy cuối gần như ngang nhau (OnPD 72% vs OffPD 73%, trung bình 3 bài MedReason/Science/Countdown); OnPD cũng không giảm forgetting hay tạo update thưa hơn — ở mọi so sánh tương ứng, OffPD ít nhất cũng thưa bằng.
Learning rate là nhân tố áp đảo: ở LR thấp OOD chỉ giảm ≤1.3 điểm, LR cao giảm 11–14 điểm; update sparsity 85–90% (LR thấp) vs 52–60% (LR cao), biến thiên gần tuyến tính theo LR (R² ≈ 0.94–1.00). Với forward KL + LR nhỏ, đạt performance đỉnh mà gần như không quên.
Asymmetry theo hướng KL: forward KL robust trên toàn phổ rollout (accuracy >80%, biến động chỉ ~5 điểm); reverse KL nhạy mạnh, hiệu suất xấu đi với rollout nghiêng về teacher, thậm chí collapse ở LR cao.
pass@k: forward KL cho gain pass@10 lớn hơn rõ so với reverse KL ở cùng pass@1.
Khái quát hóa bài khó (Countdown-4E): on-policy giúp +10–15% pass@k ở cả hai hướng KL — đây là lợi ích đầu tiên xuất hiện nhất quán của on-policy.
Lợi thế đó không bền sau RLVR: checkpoint OffPD + forward KL khởi đầu ~0% nhưng cuối RLVR đạt cao và ổn định nhất; checkpoint reverse KL cải thiện nhanh rồi reward collapse.
Giảm sao chép phong cách teacher: OnPD + reverse KL giữ gần như nguyên phản hồi tiếng Anh của student trong khi cấu hình khác gần như chuyển hết sang tiếng Tây Ban Nha (do teacher bị lệnh suy luận bằng tiếng Tây Ban Nha).
Robustness: kết luận giữ nguyên khi bỏ gradient clipping, dùng sampled-KL thay full-vocabulary KL, và trên bài toán cần rollout dài (~622 token, Numina–MATH — ở đây OnPD + reverse KL có dấu hiệu nhỉnh hơn nhưng chỉ 1 run/điều kiện).

IV. Conclusion & Future Works:

Kết quả thách thức quan điểm on-policy luôn tốt hơn: giá trị của nó phụ thuộc vào objective (hướng KL), bối cảnh đánh giá (in-distribution vs OOD/bài khó) và hyperparameter tối ưu. Tác giả khuyến nghị các nghiên cứu on-policy distillation tương lai nên dùng OffPD làm baseline chuẩn vì chi phí thấp hơn nhiều, và các khác biệt SFT vs RLVR không thể quy cho rollout policy đơn lẻ. Hạn chế & hướng mở rộng: student ≤1.5B tham số, rollout ≤2000 token; cần thử model lớn hơn, task dài hơn, và khảo sát các cặp student–teacher khác nhau.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu tiếp theo về cách xếp chồng các phương pháp post-training (distillation → RLVR): tại sao checkpoint khởi đầu mạnh nhất lại không phải điểm xuất phát tốt nhất cho RLVR, và tiêu chí nào dự đoán được 'đầu vào tốt' cho giai đoạn reinforcement.
Phân tích lý thuyết đầy đủ về điều kiện (khoảng cách teacher–student, độ dài rollout, độ khó task) mà on-policy distillation mang lại lợi ích đo được, dựa trên framework phổ rollout λ.
Ứng dụng tương tác hướng KL × rollout policy vào distillation đa teacher hoặc teacher cập nhật theo thời gian, kiểm tra xem lợi thế on-policy có tăng khi teacher thay đổi không.

2. Patent:

Dịch vụ đào tạo mô hình nhỏ trên điện thoại/edge giá rẻ: thay vì sinh dữ liệu on-policy liên tục (tốn pin, tốn máy chủ), hệ thống mặc định dùng off-policy với forward KL và learning rate thấp, chỉ bật chế độ on-policy khi phát hiện tác vụ khó hơn phiên bản huấn luyện — tiết kiệm chi phí đám mây đáng kể.
Module chống 'lây' phong cách không mong muốn khi tinh chỉnh trợ lý ảo: khi cần giữ nguyên giọng văn/giao tiếp của người dùng trong khi học kỹ năng mới từ model lớn, hệ thống dùng kết hợp dữ liệu do chính model sinh với mục tiêu reverse KL để ngăn sao chép tác phong của teacher.
Hệ thống chọn chế độ huấn luyện thông minh cho trợ lý trên điện thoại: đánh giá độ khái quát hóa lên biến thể bài khó hơn sau mỗi đợt distillation, tự động quyết định có đáng trả thêm chi phí on-policy hay dùng off-policy với learning rate tinh chỉnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35259
ArXiv Abstract	https://arxiv.org/abs/2609.35259
PDF Download	https://arxiv.org/pdf/2609.35259.pdf
Github Repository	N/A

2. OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction (165 votes)

Tác giả: Xiangyu Zeng, Yuandong Yang, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, et al.

Xuất bản lúc: 2026-10-01

Tag: Streaming Video, Video LLMs, Proactive Generation, Long-Term Memory, Visual Perception, Multimodal LLMs

I. Main Problem:

Các mô hình streaming video LLM (trợ lý livestream, camera giám sát, thiết bị đeo) phải xử lý hai thách thức đồng thời:

Bằng chứng quan sát chưa biết hữu ích lúc nào: một sự kiện nhìn có vẻ vô hại có thể trở nên quan trọng với câu hỏi sau này, khi các frame gốc đã rời khỏi cửa sổ ngữ cảnh hạn chế.
Các phương pháp hiện tại xung đột: lưu toàn bộ token hình ảnh lịch sử cạnh tranh ngữ cảnh với quan sát thời gian thực, còn cửa sổ gần nhất thì vứt bỏ sự kiện xa; suy luận streaming không tạo được bản ghi sự kiện có mốc thời gian để tái sử dụng; giám sát dày đặc các state-token khiến mô hình thống trị bởi trạng thái im lặng chờ đợi thay vì ra quyết định trả lời kịp thời.

II. Main Idea:

OneStreamer thống nhất ghi nhận bằng chứng và tạo phản hồi trong một quy trình sinh chung, dùng các control-token để tự quyết định khi nào ghi nhớ, khi nào im lặng, khi nào trả lời. Hai cơ chế chính:

Proactive Hierarchical Caption Memory (PHCM): bổ sung cửa sổ hình ảnh gần nhất (Recent-N) bằng bản ghi chú text có mốc thời gian ở hai mức — caption chi tiết cục bộ () cho vật thể, hành động, thay đổi trạng thái; và tóm tắt ngữ nghĩa sự kiện đã hoàn thành (). Tại inference, các bản ghi tự sinh này tái sử dụng được mà không cần truy xuất lại đặc trưng hình ảnh cũ.
Proactive State Transition Learning (PSTL): giảm độ lệch giữa trạng thái chờ lặp lại và quyết định trả lời hiếm hoi bằng cách giữ giám sát tại mọi output anchor và chọn ngẫu nhiên các token đại diện cho cả chuyển trạng thái lẫn duy trì trạng thái (chỉ giám sát 27.5% state-token, token bị loại chỉ che khỏi state loss, chuỗi huấn luyện vẫn nguyên vẹn).
Pipeline tổng hợp dữ liệu streaming: caption phải chờ đúng lúc evidence xuất hiện; thời điểm trả lời QA được hiệu chỉnh về mốc sớm nhất mà bằng chứng đã đủ — tạo OneStreamer-1M (hơn 1 triệu bản ghi).

Ví dụ đời thường: giống nhân viên an ninh vừa quan sát camera vừa ghi sổ tay những gì vừa thấy theo giờ giấc; khi có câu hỏi về việc xảy ra cách đây lâu, anh ta tra sổ tay thay vì tua lại toàn bộ video, và chỉ lên tiếng báo cáo khi đã nhìn đủ rõ sự việc.

III. Main Results:

Model 4B (khởi tạo từ Qwen3-VL-4B) đạt SOTA trên cả 8 benchmark streaming video — cả nhóm perception & memory (OVOBench 72.1, StreamingBench Real-Time 86.9, OVBench 66.8, ODVBench 71.3) lẫn proactive response (ProactiveVQA 48.7, OmniMMI 36.6, OVO-Timing F1 41.6, ViSpeak 2.87).
Vượt baseline cùng kích thước Qwen3-VL trung bình +25.0% tương đối, và vượt mô hình mạnh nhất khác +6.1%; thậm chí vượt cả MOSS-VL-Realtime 11B trên hầu hết benchmark.
Ablation PHCM: giữ caption tự sinh cải thiện OVOBench-Backward ASI từ 63.5 → 71.6, đồng thời còn tốt hơn cả FIFO lẫn lưu full history — vừa tăng cảm nhận thời gian thực vừa tăng trí nhớ (không phải đánh đổi).
Ablation PSTL: chỉ giám sát 27.5% state-token mà vượt cả giám sát dày đặc với focal loss (ProactiveVQA 48.7 vs 47.0; OVO-Timing 41.6 vs 26.5); baseline chọn ngẫu nhiên cùng tỷ lệ thì thất bại — chứng tỏ lợi ích đến từ cách chọn, không phải tính thưa.
Hiệu quả: so với lưu full history, PHCM giảm 93.1% context token, giảm 60.4% VRAM, TTFT giảm từ 4.56s xuống 0.124s; chi phí thêm so với FIFO chỉ ~1.3k token.

IV. Conclusion & Future Works:

Bài báo chứng minh proactive generation là giao diện học chung kết nối nhận thức, hình thành trí nhớ và phản hồi kịp thời trong một model streaming duy nhất: caption tự sinh đóng vai trò ghi nhớ dữ kiện có mốc thời gian mà không làm suy giảm perception thời gian thực, và giám sát chọn lọc state-transition học được thời điểm phản hồi tốt hơn giám sát dày đặc. Hướng phát triển tự nhiên là mở rộng pipeline tổng hợp dữ liệu cho các tác vụ streaming đa phương thức phong phú hơn (âm thanh, tương tác đàm thoại liên tục) và cải thiện chất lượng bản ghi tự sinh dài hạn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng PHCM cho trí nhớ cấp cao hơn: nén các caption đã sinh thành bản tóm tắt theo thứ bậc nhiều tầng (episode → ngày → tuần) để hỗ trợ video stream kéo dài hàng giờ với ngân sách context cố định.
Kết hợp proactive generation với học tăng cường để mô hình tự tối ưu thời điểm ghi nhớ: quyết định caption chi tiết cục bộ hay tóm tắt sự kiện tùy giá trị dự kiến cho các câu hỏi tương lai.
Áp dụng tư tưởng state-token chọn lọc của PSTL cho các tác vụ chủ động khác ngoài video, ví dụ trợ lý hội thoại biết khi nào nên nghe, khi nào nên chen lời trả lời trong luồng âm thanh liên tục.

2. Patent:

Ứng dụng camera giám sát gia đình trên điện thoại: camera gửi video stream, mô hình tự ghi chú lại các sự kiện kèm giờ (ai vào nhà, vật di chuyển); người dùng hỏi 'con mèo đâu lúc 3 giờ chiều?' thì app trả lời ngay từ ghi chú mà không cần tải lại toàn bộ video, tiết kiệm pin và băng thông.
Trợ lý thời gian thực cho livestream thương mại: mô hình theo dõi buổi live, tự đếm số lần giới thiệu sản phẩm và chủ động nhắc người bán 'đã quên trả lời câu hỏi về giá' ngay khi bình luận chờ quá lâu.
Kính thông minh hỗ trợ người khiếm thị: thiết bị liên tục mô tả thầm lặng môi trường xung quanh thành ghi chú có thời gian; khi người dùng hỏi 'cửa ra vào ở đâu?', kính tổng hợp từ các ghi chú cũ và khung hình hiện tại để chỉ đường, chỉ báo khi đã quan sát đủ.
Hệ thống ghi nhớ cuộc họp video dài: phần mềm họp trực tuyến sinh caption địa phương kèm mốc thời gian trong lúc họp, cho phép người tham gia vào muộn hỏi 'quyết định ngân sách là gì?' và nhận câu trả lời chính xác với timestamp nhảy tới đoạn video tương ứng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.01762
ArXiv Abstract	https://arxiv.org/abs/2610.01762
PDF Download	https://arxiv.org/pdf/2610.01762.pdf
Github Repository	https://github.com/MCG-NJU/OneStreamer

3. GraphForge: Training Working Agents with Graph-Anchored Workspace Synthesis (144 votes)

Tác giả: Qisheng Su, Hanchen Wang, Guanru Zhu, Huicheng Jiang, Qiuyinzhe Zhang, et al.

Xuất bản lúc: 2026-09-30

Tag: LLM Agents, Agent Training, Data Synthesis, Working Agents, Evidence Graph, Supervised Fine-Tuning, Rejection Fine-Tuning, Verification

I. Main Problem:

Huấn luyện working agents (agent làm việc thực tế: đọc nhiều loại file, phối hợp công cụ, tạo sản phẩm cụ thể) cần dữ liệu gồm nhiều file thật và kết quả có thể kiểm chứng được. Hai pipeline hiện có đều có lỗ hổng:

EnvCraft: file do mô hình tự sinh → thiếu tính thực tế, thiếu đa dạng; bộ kiểm tra là script Python chỉ nhìn trạng thái workspace, không đọc được nội dung tài liệu.
NexForge: dùng file thật nhưng không có rubric/verifier riêng cho từng task → chất lượng kết quả không ai kiểm tra.

Vấn đề cốt lõi: làm sao xây dựng task đa dạng trên file thật và gắn cho nó bộ tiêu chí chấm điểm đáng tin cậy.

II. Main Idea:

GraphForge là framework tổng hợp dữ liệu huấn luyện dựa trên evidence graph — đồ thị bằng chứng, neo cả task lẫn việc kiểm chứng vào file thật. Pipeline gồm 5 giai đoạn:

Task seeds từ O*NET: hạt giống từ cơ sở dữ liệu nghề nghiệp (246 nghề, 891 loại hoạt động, 3.419 cặp nghề-loại task), chọn theo coverage-based selection để tránh dồn về nghề phổ biến — hạt giống chỉ định hướng, không nêu công ty/sự kiện cụ thể.
Workspace file thật: agent tìm và tải các file công khai liên quan, gán vai trò ẩn (core, supporting, confuser, ambient) để tăng tính thực tế.
Evidence graph & rubric: đồ thị ghi các fact từ file và quan hệ phụ thuộc giữa các file; biên dịch thành task statement + rubric trong đó mỗi tiêu chí đều neo (anchor) vào các node file cần thiết để kiểm chứng.
One-step revision có điều kiện thực thi: chạy thử một lần với teacher model, revision agent sửa task/rubric theo file gốc; nếu chỉ rubric đổi thì tái sử dụng trace cũ.
Admission & làm sạch: kiểm tra deterministic (tên file, định dạng, công thức spreadsheet), judge dựa trên evidence chấm từng tiêu chí, chỉ nhận trajectory có điểm > 0.90.

Ví dụ đời thường: giống thầy giáo ra đề kiểm tra bằng cách đọc kỹ sách giáo khoa trước, vẽ sơ đồ các ý trong sách liên quan nhau thế nào, rồi soạn từng câu hỏi kèm ghi chú 'đáp án nằm ở trang mấy' — nên chấm bài lúc nào cũng đối chiếu đúng trang đó, không bịa được.

III. Main Results:

SFT 2.169 trajectory lên Qwen3.6-27B: GDPVal đạt 1445.7 (+65.7) (OpenHands), Workspace-Bench-Lite 63.7 (+7.7) và SpreadsheetBench II 24.0 (+13.7) (Claude Code).
Qwen3.6-35B-A3B cũng tăng mạnh (+101.7 Elo GDPVal) → dữ liệu khái quát hóa qua các base model.
Gains giữ được qua mọi scaffold (OpenHands, Codex, Claude Code) dù trajectory được rollout bằng Codex → học kỹ năng làm việc, không phải thói quen của một scaffold.
RFT với selection theo rubric có evidence anchor tốt hơn cả anchored và random-of-4 trên Workspace-Bench-Lite và SpreadsheetBench II; random selection yếu nhất → rubric cung cấp tín hiệu chọn lọc hữu ích (GDPVal Elo quá nhiễu để phân biệt).
Audit contamination: 0 file trùng với GDPVal, 0 trùng nội dung 13-gram; SFT cải thiện cả trên task nghề có/không trong dữ liệu train (win rate 0.739 vs 0.692) → tăng do kỹ năng chuyển giao, không phải ghi nhớ.
Judge nhạy với bằng chứng: xóa worksheet bị tiêu chí trích dẫn làm điểm rơi -0.377, trong khi các tiêu chí khác gần như không đổi; nhưng judge (GLM-5.2) yếu ở kiểm tra nội dung chi tiết (sai số số, hàng, citation nhỏ).

IV. Conclusion & Future Works:

GraphForge cho thấy cách neo cả task lẫn verification vào file thật qua evidence graph giúp tổng hợp dữ liệu huấn luyện có kiểm chứng và đáng tin cho working agents, với gains giữ vững trên nhiều benchmark, nhiều scaffold và nhiều base model.

Hạn chế: corpus mới 2.169 trajectory (chưa rõ scale thế nào); toàn pipeline phụ thuộc GLM-5.2; mới thử hai model cùng họ Qwen.
Hướng tương lai: mở rộng quy mô dữ liệu, thử frontier model mạnh hơn cho tổng hợp và judging, kiểm chứng chuyển giao sang họ model khác, mở rộng task family và loại file, nghiên cứu verification neo evidence với scaffold dài hạn hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng GraphForge sang nhiều loại file và lĩnh vực task mới (ảnh, audio, dữ liệu đa phương tiện) với evidence graph bao phủ các định dạng không phải văn bản.
Nghiên cứu cách evidence-anchored verification tương tác với các agent scaffold dài hạn (nhiều ngày, nhiều phiên làm việc) để chấm điểm deliverable quy mô lớn.
Thay judge GLM-5.2 bằng ensemble hoặc frontier model để khắc phục điểm yếu kiểm chứng nội dung chi tiết (số liệu, citation) trong các file được neo.
Phân tích quy luật scaling: lợi ích của GraphForge tăng thế nào khi bơi ngân sách dữ liệu từ 2K lên hàng chục nghìn trajectory.

2. Patent:

Ứng dụng điện thoại hỗ trợ nghề nghiệp có kiểm chứng: người dùng tải các file công việc lên app; hệ thống tự xây đồ thị quan hệ giữa các file, sinh checklist yêu cầu công việc kèm tham chiếu đúng file cần đọc, rồi chấm điểm báo cáo người dùng tạo ra bằng cách đối chiếu với từng file gốc.
Hệ thống đào tạo nhân viên mô phỏng bằng dữ liệu thật trên đám mây: doanh nghiệp cung cấp tài liệu nội bộ; nền tảng tự tổng hợp tình huống công việc có tiêu chí chấm điểm neo vào tài liệu, huấn luyện trợ lý AI nội bộ và tự đánh giá đầu ra của trợ lý.
Trợ lý phân tích tài chính trên điện thoại: app tải các báo cáo thật của công ty niêm yết, xây biểu đồ bằng chứng liên kết giữa báo cáo tài chính, hồ sơ nộp và bảng tính; mỗi kết luận phân tích đều hiển thị nút 'kiểm chứng' dẫn thẳng đến con số nguồn trong file gốc.
Công cụ chấm điểm tự động cho sản phẩm của agent: module kiểm tra file đầu ra của AI (bảng tính, báo cáo) bằng cách đối chiếu từng con số, công thức, trích dẫn với các file nguồn được gắn cờ, phát hiện sai lệch và gắn cờ vi phạm cụ thể cho người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38923
ArXiv Abstract	https://arxiv.org/abs/2609.38923
PDF Download	https://arxiv.org/pdf/2609.38923.pdf
Github Repository	N/A

4. Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL (124 votes)

Tác giả: Songlin Yang, Xiaotong Zhao, Jiacheng Zhang, Zhe Wang, Toyota Li, et al.

Xuất bản lúc: 2026-09-29

Tag: Diffusion, Audio-Video Generation, Reinforcement Learning, Multi-Reward Optimization, Flow Matching, Cross-Attention, DiffusionNFT

I. Main Problem:

Cải thiện mô hình joint audio-video diffusion bằng reinforcement learning với nhiều reward (chất lượng video, chất lượng âm thanh, sự khớp ngữ nghĩa, đồng bộ thời gian) gặp hai khó khăn cốt lõi:

Định tuyến tĩnh nhanh lỗi thời: các layer cross-modal quan trọng và đường gradient thay đổi trong suốt quá trình fine-tuning (thí nghiệm ablation KV và phân tích gradient cho thấy profile của base model và model đã train khác hẳn), trong khi OmniNFT cố định routing dựa trên base model.
Cân bằng reward cứng nhắc: các reward thường xung đột trên cùng một mẫu; GDPO dùng trọng số cố định không phản ứng được xung đột, còn MARBLE dùng hình học gradient nhưng có thể triệt tiêu mục tiêu yếu nhưng thiết yếu (như AV-DeSync) vì không ghi lại được độ ưu tiên của người dùng.

II. Main Idea:

Adaptive Reward Routing đặt lại bài toán như tối ưu đa reward động trong DiffusionNFT (forward-process RL), gồm hai thành phần:

Cross-Modal Influence-Guided Routing (định vị update ở đâu): dùng độ lớn của pre-gate cross-attention response theo hai chiều (audio-to-video, video-to-audio) — vốn đã có sẵn trong forward pass, không cần can thiệp thêm — làm proxy cho ảnh hưởng cross-modal đang tiến hóa. Từ đó: tổng hợp theo layer tạo trọng số token-level (nhấn mạnh token có ảnh hưởng cross-modal mạnh), tổng hợp theo token tạo hệ số scale layer-level (giữ gradient ở các layer ảnh hưởng mạnh, detach dần các layer yếu).
Preference-Preserving Modality-Aware Reweighting (phối hợp reward thế nào): giữ trọng số định sẵn làm prior về sở thích, sau warm-up dùng hệ số xung đột gradient theo từng nhánh modality (giải bài toán MARBLE tách riêng trong nhánh video/audio) làm hiệu chỉnh dư (residual), với làm mượt qua các round. Nhờ vậy trọng số thích ứng với xung đột mà không đè bẹp mục tiêu yếu.

Ví dụ đời thường: giống một đầu bếp nấu ăn mỗi ngày vừa liên tục nếm lại để biết lúc này nên nêm gia vị ở đâu (routing), vừa không bỏ qua công thức gốc mà chỉ điều chỉnh nhỏ quanh nó (preference prior) — thay vì khó sẵn một công thức cố định ngay từ đầu.

III. Main Results:

Trên hai backbone LTX-2 (19B) và LTX-2.3 (22B) với 5 reward (VideoAlign, HPSv3, AudioBox, CLAP, AV-DeSync), đánh giá trên JavisBench (10,140 prompts): tốt nhất 9/10 chỉ số trên cả hai backbone so với GDPO, MARBLE, OmniNFT.
Chất lượng hình ảnh và âm thanh, tính nhất quán ngữ nghĩa và đồng bộ audio-video (DeSync) đều cải thiện đồng thời; GDPO làm sụt các chỉ số audio/sync còn baselines khác chỉ cải thiện một phần.
Ablation: token routing, layer routing, branch-aware conflict estimation, residual correction và warm-up đều bổ trợ lẫn nhau; cấu hình đầy đủ mạnh nhất.
Xác thực proxy: response của cross-attention khôi phục ranking layer từ can thiệp trực tiếp với tương quan Spearman 0.98 (A2V) / 0.97 (V2A); proxy tính lại theo model hiện tại giữ >0.96, còn proxy đóng băng tại init tụt xuống 0.56/0.38 — chứng minh routing tĩnh lỗi thời. Chặn 10% token top-score làm thay đổi dự đoán cuối 1.62–1.74× so với nhóm ngẫu nhiên.
Trajectory training cân bằng trên cả 5 reward thay vì cải thiện một mục tiêu bằng hy sinh mục tiêu khác.

IV. Conclusion & Future Works:

Bài học chính: khi fine-tuning đa reward cho mô hình multimodal, cả vị trí cập nhật lẫn sức mạnh tương đối của các reward đều phải thích ứng theo model đang tiến hóa, đồng thời neo vào sở thích người dùng. Hạn chế & hướng tương lai: chưa có reward model thống nhất cho chất lượng + nhất quán + đồng bộ; khung RL dùng DiffusionNFT nhưng routing có thể mở rộng sang các mục tiêu diffusion khác; các kiến trúc không tách biệt được token theo modality hoặc không truy cập được interaction response còn bỏ ngỏ.

V. Brainstorming Space:

1. Publish Papers:

Xây dựng reward model audio-video thống nhất kết hợp chất lượng từng modality, khớp ngữ nghĩa và đồng bộ thời gian, thay cho việc ghép nhiều reward rời rạc.
Mở rộng adaptive reward routing sang kiến trúc unified single-stream (ngoài dual-stream LTX) để định tuyến update khi token của các modality không tách biệt rõ.
Kết hợp tín hiệu human preference model với supervision modality-specific để cân bằng giữa đánh giá tổng thể và tinh chỉnh chi tiết trong post-training đa reward.

2. Patent:

Ứng dụng chỉnh video-âm thanh trên điện thoại: hệ thống tự theo dõi xem ở từng đoạn thời gian và vùng hình ảnh nào tiếng quyết định sự đồng bộ môi-lời nói, rồi tự điều chỉnh mức ưu tiên chỉnh sửa đúng chỗ đó thay vì chỉnh đều toàn bộ video.
Trình tạo video có lồng tiếng tự động: khi nhiều tiêu chí (đẹp, khớp mô tả, khớp tiếng) xung đột, hệ thống giữ nguyên tỷ trọng người dùng đã chọn và chỉ viện nhẹ theo mức xung đột đo được, tránh làm video đẹp nhưng tiếng lệch mồi.
Công cụ hậu kỳ phim ngắn: module phân tích chéo giữa luồng hình và luồng tiếng để xác định layer và vùng ảnh ảnh hưởng nhất tới hiệu ứng đồng bộ, từ đó tự động định tuyến quá trình tối ưu lại video cho người dùng không chuyên.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.37200
ArXiv Abstract	https://arxiv.org/abs/2609.37200
PDF Download	https://arxiv.org/pdf/2609.37200.pdf
Github Repository	N/A

5. Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts (90 votes)

Tác giả: Jingjie Ning, Xueqi Li, Yibo Kong, Dongting Li

Xuất bản lúc: 2026-09-29

Tag: Predictive Credit, Research Agents, Scientific Forecasting, Explanation Evaluation, LLMs, Uncertainty Calibration, Benchmark Design

I. Main Problem:

Hiện các hệ thống Research Agents tạo ra cả kết quả thí nghiệm lẫn lời giải thích cho can thiệp đề xuất, nhưng benchmark thường chỉ chấm kết quả cuối, không đo giải thích có thật sự giúp dự đoán hậu quả của can thiệp đó hay không.

Vấn đề cốt lõi: một lời giải thích có thể làm nhiều thứ khác nhau - khiến mô hình cam kết rõ ràng hơn, lặp lại dự đoán ổn định hơn, hoặc chỉ phối hợp câu trả lời mà không cải thiện độ chính xác.
Cần tách bạch predictive gain khỏi repeatability, delivery, commitment và hiệu ứng của gợi ý sai ngữ cảnh.

II. Main Idea:

Predictive credit được đo bằng thiết kế paired forecasts: với cùng một trạng thái công khai, cùng can thiệp, cùng forecaster và cùng outcome, hệ thống khóa ba ngữ cảnh trước khi mở kết quả:

Description: chỉ trạng thái công khai + can thiệp.
Matched card: thêm giải thích của đúng trạng thái/can thiệp.
Donor card: thêm giải thích từ trạng thái khác để kiểm tra gain có phụ thuộc vào đúng case không.

Năm check gồm commitment sáu slot, delivery bằng evidence-backed extraction, predictive value so với description và prior đơn giản, alignment so matched với donor, và sensitivity qua exact-signal calibration cùng known-mechanism positive control. Mỗi forecast trả về point forecast, interval 80%, direction; paper báo cáo point MAE, direction accuracy, coverage, width, interval score và repeat drift.

Ví dụ đời thường: giống chấm thi mù với cùng một đề, cùng một thí sinh, cùng một đáp án được niêm phong; chỉ đổi việc có đưa gợi ý đúng bài, gợi ý của bài khác, hay không đưa gợi ý - sau đó mới mở niêm phong để xem gợi ý thật sự cộng thêm bao nhiêu điểm.

III. Main Results:

Thiết kế: 336 prospective states gồm 120 controlled learning, 72 Tox21, 144 OpenML; forecasts được freeze trước outcome và phân tích theo task là đơn vị suy luận ngoài.
Kết luận frozen: controlled v5 inconclusive; Tox21 và OpenML confirmation no go.
Tox21 primary: ROC AUC interval-score harm test không đạt: D-M = -0.0026, 95% interval [-0.0174, 0.0104]; S-M = -0.002856 [-0.01675, 0.011428].
Repeatability vs accuracy: DeepSeek V4 Pro làm Tox21 repeat drift giảm từ 0.01004 xuống 0.00357 matched và 0.00411 donor, tức -64.5% và -59.1%, nhưng point MAE gần như không đổi: 0.02056/0.02041/0.02023.
Flash replay: cùng 72 Tox21 states/cards, drift giảm 60.6% matched và 59.2% donor, nhưng matched point MAE tăng từ 0.01823 lên 0.02020 và bỏ lỡ matched-donor interval-score equivalence ±0.010.
OpenML uncertainty: full-card assignment làm interval 80% rộng hơn ~21% (0.06179 → 0.07474), coverage chỉ 49.3% so với 51.4% của description; chỉ 66/144 cards có content đủ ý nghĩa.
Direct-text Flash: giao đủ 144 notes, mọi forecast hợp lệ, nhưng point MAE description/matched/donor là 0.08257/0.08311/0.08197 - không có matched point-accuracy gain detectable.
Direction: nhiều dự đoán gần với sign prior; v5 explicit directions 109/111 dự đoán improvement, accuracy 58.6% so với constant-positive 57.7%.
Positive controls: exact-signal calibration thắng 144/144, Spearman 0.99996; known-mechanism note giảm point MAE 2.596 pp so với description [2.314, 2.880], cho thấy forecaster nhạy khi tín hiệu đủ mạnh và được kiểm soát.

IV. Conclusion & Future Works:

Kết quả chính là natural-explanation predictive credit vẫn unconfirmed ở độ phân giải donor đã thử: card có thể tăng commitment và làm repeated forecasts gần nhau hơn, nhưng chưa chứng minh được lợi ích điểm số trước description; đồng thời interval rộng hơn không đi kèm coverage tốt hơn.

Hướng tương lai: thử donor resolution mịn hơn, nhiều forecaster/model route, kiểm soát delivery threshold chặt hơn, calibrate interval 80%, và nối predictive gain với cost-aware utility rule trước khi dùng forecast để rank research proposals.

V. Brainstorming Space:

1. Publish Papers:

Cost-aware experiment selection from paired predictive credit: học khi nào một explanation đủ giá trị để trả chi phí chạy thí nghiệm bằng cách kết hợp paired gains, uncertainty và ngân sách.
Donor resolution và explanation granularity: so sánh matched, within-task donor, cross-task donor, numeric-only và prose-only trên nhiều scientific domains để tìm ngưỡng alignment thật sự tạo predictive gain.
Calibrating research-agent forecasts: huấn luyện/chấm LLM sao cho interval 80%, direction claims và repeat drift phản ánh đúng coverage trước executed outcomes.

2. Patent:

Ứng dụng điện thoại cho nhà nghiên cứu: trước khi chạy thí nghiệm, app bắt ghi sáu cam kết - hướng tác động, khoảng giá trị kỳ vọng, đại lượng trung gian, điều kiện có lợi, tiêu chí bị bác bỏ, kịch bản phản thực - rồi khóa dự đoán; sau khi có kết quả, app tự chấm xem lời giải thích có cải thiện dự đoán so với không có lời giải thích và so với lời giải thích của mẫu khác.
Trợ lý chọn thí nghiệm đáng làm trong phòng lab hóa sinh hoặc bảng tính: gợi ý ưu tiên can thiệp khi paired check cho thấy lời giải thích tăng độ chính xác dự đoán và chi phí chạy mẫu hoặc tính toán nằm trong ngưỡng lợi ích.
Bộ kiểm tra chất lượng giải thích cho mô hình AI trước khi đưa vào báo cáo tự động: hệ thống sinh hai bản dự đoán lặp lại, đo độ lệch giữa hai lần, độ phủ khoảng tin cậy và khớp với tín hiệu đã biết, rồi gắn cờ explanation chỉ ổn định câu trả lời mà không cải thiện dự đoán.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.00314
ArXiv Abstract	https://arxiv.org/abs/2610.00314
PDF Download	https://arxiv.org/pdf/2610.00314.pdf
Github Repository	N/A

6. Sharpening Tax in Post-Training (83 votes)

Tác giả: Changdae Oh, Qi Zeng, Qi Qi, Andrey Zhmoginov, Deren Lei, et al.

Xuất bản lúc: 2026-10-01

Tag: RL, LLMs, Agentic AI, Test-Time Scaling, pass@k, Bayesian Sampling, PPO, GRPO

I. Main Problem:

Giả thuyết phổ biến là reinforcement learning post-training chủ yếu làm sắc nét hành vi đã có sẵn trong base model: tăng độ chính xác một lần thử (pass@1) nhưng thu hẹp phạm vi nghiệm có thể tìm được khi thử nhiều lần (pass@K). Tuy nhiên, bằng chứng trước đây chủ yếu đến từ toán và code, nơi base model đã học rất nhiều dữ liệu và đáp án cuối có thể đúng nhờ may mắn. Với agentic tasks, mô hình phải gọi công cụ, xử lý phản hồi môi trường và duy trì hành vi qua nhiều lượt, nên chưa rõ post-training có thật sự mở rộng năng lực hay vẫn chỉ đánh đổi coverage lấy consistency.

II. Main Idea:

Bài báo kiểm chứng giả thuyết distribution sharpening trên các tác vụ agentic bằng cách so sánh base model và post-trained model qua pass@1, pass@K và pass^K. Các tác giả phát hiện base model chỉ cần thêm một light inference harness đơn giản đã có thể thực hiện agentic reasoning; khi số rollout tăng, coverage của base model thường vượt model sau post-training. Phân tích cho thấy post-training làm phân phối tỉ lệ thành công từng task bị lưỡng cực hóa: nhiều task rơi vào trạng thái luôn giải được hoặc không bao giờ giải được, khiến mô hình đáng tin hơn nhưng mất lợi ích của việc thử lại nhiều lần.

Từ đó, họ đề xuất Sharpening Tax, một chỉ số đo mức mất khả năng mở rộng theo test-time compute sau post-training, dựa trên diện tích dưới đường pass@K. Để giảm thuế này, họ đưa ra Posterior-Tempered Group Sampling (PTGS), một bộ lấy mẫu kiểu Bayesian có thể cắm vào các thuật toán reinforcement learning hiện có:

ước lượng độ khó từng prompt bằng tỉ lệ thành công lũy kế có quên
dùng phân phối Beta và Thompson sampling để cập nhật độ tin cậy về độ khó
tăng nhiệt độ sampling cho prompt khó để khuyến khích khám phá
giảm nhiệt độ sampling cho prompt dễ để khai thác hành vi đáng tin cậy

Ví dụ đời thường: giống như người chụp ảnh chim ngoài trời; với con khó chụp, anh ta đổi góc máy và thử nhiều kiểu để tăng cơ hội có một tấm đẹp, còn với con dễ chụp, anh ta giữ chế độ chuẩn để ảnh ổn định và ít rủi ro.

III. Main Results:

Trên 14 cặp base/post-trained models, thuộc 4 họ mô hình và 3 benchmark agentic, Sharpening Tax xuất hiện phổ biến; ở ngân sách 128 rollout, 36/42 tổ hợp có calibrated tax dương.
Base model có harness có thể đuổi kịp và vượt post-trained model về coverage khi tăng rollout; điểm crossover đến sớm hơn ở model lớn, ví dụ trên WebShop với họ Gemma-4 giảm từ k > 128* ở 4B xuống khoảng k = 3* ở 31B.
Post-training làm giảm mạnh nhóm task pass given compute; ví dụ với gemma-4-31B trên WebShop, nhóm này giảm từ 87.6% xuống 30.0%, trong khi always pass tăng từ 0.0% lên 26.0% và never solved tăng từ 12.4% lên 44.0%.
Thuế có thể ước lượng rẻ từ ít rollout: TaxS(8) dự đoán TaxS(32) với Spearman ρ = 0.85, và tương quan với khoảng cách consistency ở mức ρ = 0.66.
PTGS cắm vào PPO và GRPO trong hai môi trường Sokoban và FrozenLake đồng thời tăng pass@1 và pass@128, đồng thời giảm Sharpening Tax.
Ví dụ Sokoban: PPO tăng pass@1 từ 46.5 lên 61.1, pass@128 từ 55.0 lên 69.7, tax giảm từ 0.094 xuống 0.081; GRPO có PTGS tăng pass@128 từ 55.3 lên 72.5 và tax giảm từ 0.081 xuống 0.025.

IV. Conclusion & Future Works:

Kết luận chính là post-training không đơn giản là cải thiện mô hình, mà thường mua sampling efficiency và consistency bằng cách trả Sharpening Tax: mô hình thành công đều hơn nhưng ít hưởng lợi từ việc thử lại nhiều lần. Tác động của sharpening phụ thuộc vào quy mô model, ngân sách rollout và mục tiêu ứng dụng; với người dùng cần nhiều phương án sáng tạo hoặc có verifier đáng tin, base model có thể hữu ích hơn post-trained model. Hướng tương lai: mở rộng PTGS cho các pipeline post-training lớn hơn, kết hợp định tuyến base/post-trained model theo từng task, nghiên cứu chiến lược thử lại thích ứng ở test-time, và kiểm tra thêm trong các bài toán khoa học, nghiên cứu tự động và môi trường có kiểm chứng viên.

V. Brainstorming Space:

1. Publish Papers:

Phát triển thuật toán định tuyến per-task giữa base model và post-trained model dựa trên Sharpening Tax ước lượng từ ít rollout, nhắm tới chi phí tính toán thấp hơn trong hệ thống agent.
Mở rộng PTGS từ môi trường agentic nhỏ sang fine-tuning reinforcement learning quy mô lớn, kiểm tra xem giảm thuế có bảo toàn ở model lớn, dữ liệu đa dạng và chu trình huấn luyện dài không.
Nghiên cứu bộ chỉ số bổ sung song song với Sharpening Tax để phân biệt coverage mất do khó khôi phục lỗi và coverage mất do bão hòa quá nhanh, từ đó thiết kế sampler thích ứng theo từng nguyên nhân.
Ứng dụng phân tích coverage-consistency vào các tác vụ cần đa dạng nghiệm như scientific discovery, automated research và lập trình có kiểm chứng, nơi một lời giải đúng hiếm có giá trị cao.

2. Patent:

Trợ lý AI trên điện thoại tự điều chỉnh mức thử lại theo độ khó từng yêu cầu: hệ thống ghi nhớ tỉ lệ thành công trước đây của các tác vụ tương tự, rồi tự tăng số cách thử và độ đa dạng câu trả lời cho yêu cầu khó, đồng thời giữ chế độ ổn định cho yêu cầu dễ để vừa nhanh vừa đáng tin.
Module chọn model trên thiết bị di động hoặc đám mây theo từng câu hỏi: khi người dùng cần một đáp án chắc chắn ngay lập tức, hệ thống dùng model đã được tinh chỉnh có độ ổn định cao; khi người dùng cần nhiều phương án sáng tạo hoặc giải pháp hiếm, hệ thống dùng model nền có phạm vi thử nghiệm rộng hơn.
Bộ điều khiển nhiệt độ trả lời cho ứng dụng hội thoại trên điện thoại: người dùng hoặc ứng dụng có thể chọn chế độ 'an toàn', 'cân bằng' hoặc 'sáng tạo'; bộ điều khiển tự điều chỉnh mức ngẫu nhiên theo độ khó ước lượng để giảm câu trả lời lặp lại trong khi vẫn giữ chất lượng.
Hệ thống tự hoàn thành quy trình nhiều bước trên điện thoại như đặt lịch, mua sắm hoặc soạn email: nếu các bước trước thường thất bại, hệ thống tự tăng số phương án hành động được thử trong quy trình huấn luyện nội bộ; nếu các bước dễ, hệ thống thu hẹp lại để giảm sai sót và chi phí vận hành.
Dịch vụ API cho phép doanh nghiệp truyền tham số 'độ khám phá theo độ khó' khi gọi model ngôn ngữ: tham số này tự điều chỉnh cách lấy mẫu theo tỉ lệ thành công lịch sử của từng loại prompt, giúp cải thiện đồng thời độ chính xác một lần gọi và khả năng tìm lời giải khi cho phép thử lại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.01509
ArXiv Abstract	https://arxiv.org/abs/2610.01509
PDF Download	https://arxiv.org/pdf/2610.01509.pdf
Github Repository	https://github.com/changdaeoh/sharpening-tax

7. Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States (82 votes)

Tác giả: Yu Luo, Jiamin Jiang, Yimin Zuo, Xidao Wen, Rongchen Gao, et al.

Xuất bản lúc: 2026-10-01

Tag: LLM Agents, Belief State, POMDP, Long-Horizon Tasks, Context Management, Agent Memory

I. Main Problem:

Các LLM agent ngày càng làm được những tác vụ dài hơi phức tạp, nhưng cách chúng lưu trữ lịch sử tương tác thành memory (nén, tóm tắt, sắp xếp) không đảm bảo một hiểu biết mạch lạc về trạng thái thế giới hiện tại. Hậu quả:

Thông tin cũ, mâu thuẫn tích lũy theo bối cảnh và vẫn ảnh hưởng các quyết định sau.
Agent hành động lặp vô ích, đi vòng, thu thập thông tin không giúp hoàn thành tác vụ — hiện tượng tác giả gọi là Belief Trapping (kẹt niềm tin).
Các phương pháp xây dựng belief hiện có chỉ dừng ở khâu xây dựng, không kiểm chứng tính nhất quán hay phục hồi khi bị kẹt tiến độ.

II. Main Idea:

PoS (Progression of States) là framework chạy tại inference-time, duy trì một belief state tường minh làm ngữ cảnh ra quyết định, gồm 3 thành phần:

Belief Modeling: mỗi belief kết hợp ước lượng trạng thái thế giới (Entity–State–Relation, kèm confidence và bằng chứng) với các yêu cầu còn bỏ ngỏ, tách thành epistemic gaps (cần học gì) và achievement gaps (cần làm gì). Một active gap được chọn làm trọng tâm hành động.
Belief-Guided Interaction: sau mỗi quan sát, agent cập nhật belief thành bản nháp chưa kiểm chứng; một Belief Sentinel kiểm tra tính nhất quán nội tại (không mâu thuẫn) và ngoại tại (khớp bằng chứng tương tác) trước khi chốt belief mới.
Trapping-Aware Recovery: tính Belief Health từ 3 tín hiệu — gap persistence, progress stagnation, belief recurrence — để phát hiện Belief Trapping, rồi chẩn đoán theo 2 chiều (mô hình hành vi: Static / Cycle / Drift × loại gap bị chặn) và áp dụng recovery constraint tương ứng cho tới khi thoát kẹt.

Ví dụ đời thường: giống như một thợ sửa máy luôn giữ một tờ checklist "máy đang ở trạng thái gì, còn phải kiểm tra/sửa gì", sau mỗi thao tác lại đối chiếu checklist với thực tế; khi thấy mình mở-đóng cùng một nắp máy mãi không tiến triển, ông ta nhận ra đang làm vô ích và đổi sang bước khác thay vì tiếp tục lặp.

III. Main Results:

Số 1 trên cả 4 benchmark (ALFWorld, LOCA-Bench, RCA-100, ClinDiag) với cả 3 backbone (Qwen3.7-Plus, Kimi-K3, GLM-5.3); lợi thế tương đối tới +22.68% trên ALFWorld và +37.89% trên RCA-100 so với baseline mạnh nhất.
Trong khi các baseline quản lý context thường không vượt nổi Raw Trajectory (ví dụ PACE sụt 24–28 điểm trên LOCA-Bench).
Ablation: bỏ Consistency Validation mất tới 14.93 điểm (ALFWorld); bỏ Trapping Diagnosis mất 4.85–6.79 điểm (RCA-100) — chứng tỏ cả kiểm chứng lẫn phục hồi đều cần thiết.
Recovery phân tách vượt rõ variant chỉ dùng prompt "hãy thoát kẹt" chung chung trên mọi benchmark.
Chịu tốt khi context phình to: từ 96K–256K token, hiệu suất PoS khá ổn định, hơn baseline mạnh nhất 10.67–16 điểm tại 256K.
Chi phí: tổng token tăng ~5× (do duy trì belief), nhưng token của Task Agent thậm chí giảm 20.9% đổi lấy độ chính xác tăng mạnh.

IV. Conclusion & Future Works:

Bài báo chứng minh rằng xây dựng belief tường minh chỉ là điểm khởi đầu — cần kèm kiểm chứng nhất quán liên tục và chẩn đoán-phục hồi Belief Trapping để agent dài hơi đáng tin cậy, thay vì chỉ giữ lại và nén lịch sử. PoS thống nhất cả ba yếu tố này và thắng nhất quán trên cả tác vụ thực thi lẫn chẩn đoán. Hướng tương lai: giảm overhead token của belief maintenance trong khi vẫn giữ được lợi ích hiệu suất.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp belief state tường minh với học tăng cường: dùng tín hiệu Belief Health như reward hoặc termination signal để huấn luyện agent ít bị kẹt hơn ngay từ đầu.
Nén belief và Sentinel bằng mô hình nhỏ: chuyển phần duy trì belief sang một LLM lightweight hoặc classifier, giữ chất lượng quyết định nhưng cắt đáng kể chi phí inference-time.
Mở rộng belief tường minh cho hệ multi-agent, trong đó các agent chia sẻ và đối chiếu belief về thế giới chung để phát hiện mâu thuẫn giữa các bên.
Áp dụng khung Trapping-Aware Recovery cho agent lâm sàng/suốt ngày (như trợ lý sức khỏe trên điện thoại) để tự nhận biết khi hỏi vòng đi mà không tiến tới chẩn đoán hay giải pháp.

2. Patent:

Trợ lý thực thi tác vụ nhiều bước trên điện thoại: ứng dụng duy trì "bảng trạng thái thế giới" (đối tượng, trạng thái, mối quan hệ) cùng danh sách việc còn thiếu, tự kiểm tra mỗi bước có khớp thực tế không và cảnh báo/corrigé khi người dùng lặp thao tác vô ích.
Hệ hướng dẫn sửa chữa thiết bị tại nhà: ứng dùng ghi nhận từng bước người dùng báo cáo lại, cập nhật mô hình trạng thái máy, phát hiện khi người dùng bị kẹt (lặp mở cùng một vị trí) và đề xuất bước khác dựa trên loại thông tin còn thiếu.
Chatbot chẩn đoán sơ bộ trên điện thoại: bot theo dõi độ tin cậy của các giả thuyết bệnh qua từng câu trả lời, nhận ra khi hội thoại đi vòng không thu thập được bằng chứng phân biệt, và chủ động đổi cách hỏi để tới kết luận nhanh hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.01415
ArXiv Abstract	https://arxiv.org/abs/2610.01415
PDF Download	https://arxiv.org/pdf/2610.01415.pdf
Github Repository	https://github.com/luoyu100/PoS

8. Hierarchical Continuous Diffusion Language Models (79 votes)

Tác giả: Hui Ren, Zihan Li, Chang Liu, Huidong Liu, Alexander Schwing

Xuất bản lúc: 2026-10-01

Tag: Diffusion Models, Language Models, Discrete Diffusion, Continuous Diffusion, Flow Matching, Non-autoregressive Generation

I. Main Problem:

Hai họ mô hình diffusion cho văn bản đều có điểm nghẽn bổ sung cho nhau:

Discrete diffusion (MDM, SEDD...): khi giải mã song song, mỗi token được sample độc lập từ phân phối marginal → mất phụ thuộc thống kê giữa các token, hỏng ở các tác vụ có ràng buộc chặt như Sudoku hay lập kế hoạch số học.
Continuous diffusion (Plaid, LangFlow): các token chia sẻ một trạng thái liên tục, nhưng denoiser chỉ thấy trạng thái đó, không gì neo nó về một cấu hình token hợp lệ cho đến bước giải mã cuối cùng.
Các phương pháp lai trước (CCDD, CADD) dùng hai chuỗi chuyển tiếp tách biệt, chưa khai thác được tính bổ sung của hai khiếm khuyết trên.

II. Main Idea:

Hierarchical Continuous Diffusion Language Models (HC-DLM) kết hợp hai không gian trong một quá trình denoise nguyên tắc duy nhất, trong đó:

Latent liên tục là trạng thái duy nhất tồn tại xuyên suốt các bước (không phải token).
Ở mỗi bước reverse: token predictor p_theta(k_t | x_t) đọc phân phối token ra từ latent hiện tại → token được re-noise qua forward kernel → đóng vai trò scaffold (giàn giáo điều kiện) cho bước cập nhật latent kế tiếp p_phi(x_{t-1} | x_t, k_t).
Token không có chuỗi chuyển tiếp riêng — mọi thông tin liên bước chạy qua latent, nên mọi vị trí đều được đọc lại và sửa đổi được ở mỗi bước.
Hướng forward giữ hai kênh nhiễu độc lập (Gaussian cho latent, categorical cho token) nên biên variational còn dạng khép kín; mục tiêu huấn luyện là một ELBO duy nhất tách thành: tái cấu trúc token, prior matching, denoise liên tục (dùng Flow Matching) và entropy encoder.
Token chắc chắn khóa hướng di chuyển của latent, token mơ hồ để latent tự do thử các phương án khác.

Ví dụ đời thường: giống người giải Sudoku trên giấy nháp — liên tục viết các con số dự thảo vào ô (đọc token ra từ latent), nhìn lại cả bảng để chỉnh tư duy (latent được cập nhật theo scaffold), rồi xóa viết lại nhiều vòng cho đến khi mọi ô khớp nhau.

III. Main Results:

Sudoku (6M params): Easy 94.21%, Hard 72.41% — vượt MDM (89.49/49.88) và hybrid CCDD (94.65/70.73) ở tập Hard ngoài phân phối; vượt xa mô hình autoregressive 42M.
Countdown (6M params): CD4 84.41%, CD5 37.52% — hơn CCDD cùng quy mô (81.18/25.35), khoảng cách tăng ở chuỗi dài hơn CD5; cạnh tranh với diffusion model lớn gấp chục lần.
LM1B (118M params): generative perplexity 75.5 — tốt nhất trong các mô hình diffusion (Plaid 77.3, LangFlow 92.2, MDM 103.9), chỉ sau autoregressive Transformer (66.7).
Ablation: bỏ latent (thuần discrete) hoặc bỏ scaffold (thuần latent DM) đều sụt mạnh, chứng minh cả hai cấp đều cần thiết.
Uniform kernel > absorbing kernel với sampler phân cấp; độ chính xác tăng sớm hơn dọc quỹ đạo (Fig. 3a) và bền với số bước denoise ít hơn MDM.
Ở batch lớn, wall-clock sampling nhanh hơn nhờ đọc song song từ một latent chia sẻ.

IV. Conclusion & Future Works:

HC-DLM cho thấy phản hồi token theo từng bước từ một latent học được là cách khắc phục đúng cả hai điểm nghẽn của diffusion ngôn ngữ: phụ thuộc token bị cắt đứt (discrete) và latent thiếu neo rời rạc (continuous). Một ELBO duy nhất cho cả kiến trúc phân cấp khiến cơ chế scaffold không chỉ là heuristic mà là mô hình sinh hợp lệ về mặt lý thuyết. Kết quả đồng nhất trên ba loại tác vụ (ràng buộc cấu trúc, lập kế hoạch số học, mô hình ngôn ngữ tự nhiên) cho thấy khung này không phụ thuộc miền. Hướng mở: áp dụng kiến trúc phân cấp cho latent nén theo chuỗi (sequence compression), đẩy quy mô lên tỷ token, và kết hợp với hướng dẫn có điều kiện trong quá trình sinh.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng HC-DLM lên latent chuỗi nén (compressed sequence latent) để xử lý văn bản dài với độ phức tạp thấp, trong đó token readout và scaffold feedback vận hành ở mức độ trừu tượng cao hơn.
Nghiên cứu chiến lược chọn scaffold thích ứng: thay vì đọc lại toàn bộ token mỗi bước, học cách chọn subset token điều kiện để cân bằng chất lượng và chi phí tính toán trên tác vụ lập kế hoạch dài hạn.
Kết hợp cơ chế latent-token phân cấp với huấn luyện có hướng dẫn (instruction tuning / conditional generation) cho mô hình sinh văn bản song song quy mô lớn, so sánh hiệu quả với autoregressive khi giải mã nhiều token cùng lúc.

2. Patent:

Trợ lý soạn văn bản trên điện thoại dùng mô hình song song: thay vì gõ từng chữ từ trái sang phải, ứng dụng duy trì một 'bản nháp thông minh' dạng liên tục, liên tục rút gợi ý từng phần câu ra và đưa lại vào bản nháp để sửa đồng loạt, giúp hoàn thiện email/tin nhắn nhanh hơn trên thiết bị yếu.
Trình giải ô chữ / Sudoku tích hợp camera: chụp đề, ứng dụng sinh lời giải bằng cách duy trì trạng thái nội bộ liên tục và liên tục 'đọc-ghi' các con số dự thảo nhiều vòng, hiển thị quá trình suy luận từng bước cho người dùng học theo.
Công cụ lập kế hoạch chi tiêu hoặc lịch trình: nhập các con số và mục tiêu (ví dụ ngân sách, thời gian), hệ thống sinh kế hoạch bằng cách tinh chỉnh song song nhiều bước, tự sửa các mục xung đột với nhau thay vì sinh tuần tự rồi phải kiểm tra lại từ đầu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.02193
ArXiv Abstract	https://arxiv.org/abs/2610.02193
PDF Download	https://arxiv.org/pdf/2610.02193.pdf
Github Repository	https://github.com/rhfeiyang/HC-DLM

9. Agent Priors-guided Policy Learning (76 votes)

Tác giả: Puming Jiang, Tianrun Hu, Haozhe Du, Yibo Li, Zhiwei Xue, et al.

Xuất bản lúc: 2026-09-28

Tag: Robotics, Imitation Learning, Diffusion Policy, Skill Composition, LLM Agents, Few-Shot Learning, Generalization

I. Main Problem:

Robot học từ vài mẫu minh họa (few-shot) phải đạt hai dạng khái quát hóa cùng lúc:

Compositional generalization: tái kết hợp các kỹ năng đã học để giải bài mới (thay đổi thứ tự, bỏ qua bước...)
Skill generalization: từng kỹ năng vẫn chạy đúng khi vật thể dịch chuyển hoặc bắt đầu từ trạng thái của kỹ năng trước để lại

Vấn đề cốt lõi là mất thông tin giữa hai cấp độ: khi compose, tác tử chỉ nhìn thấy kỹ năng qua tên gọi/chỉ dẫn ngắn gọn, không biết chính sách đó thực sự hoạt động ở đâu; trong khi cấu trúc huấn luyện quyết định vùng trạng thái khái quát hóa của chính sách lại bị giấu khỏi tầng task.

II. Main Idea:

Agent Priors-guided Policy Learning (APPL) dùng structural prior của từng chính sách làm cầu nối giữa học kỹ năng và compose kỹ năng. Structural prior nói rõ hành vi phụ thuộc vào điều gì (ví dụ: cú nắm chỉ phụ thuộc tư thế gripper so với vật thể, không phụ thuộc vị trí tuyệt đối).

Hệ thống gồm hai tác tử LLM:

Construction agent (offline): phân đoạn demo thành kỹ năng, đề xuất nhiều prior khác nhau cho mỗi kỹ năng, huấn luyện một Diffusion Policy riêng cho từng prior, kiểm chứng trên demo rồi viết interface gồm: mô tả prior, điều kiện bàn giao (handoff), miền trạng thái huấn luyện, bằng chứng kiểm chứng.
Runtime agent (online): đọc các interface để chọn chính sách nào, tham số nào, điều kiện dừng nào và compose chúng hướng tới mục tiêu mới — không cập nhật trọng số.

Prior có hai vai trò bổ sung: vừa là inductive bias định hình cách chính sách khái quát hóa khi huấn luyện, vừa là mô tả giúp runtime biết chính sách áp dụng được ở đâu.

Ví dụ đời thường: giống như thợ sửa xe không chỉ gắn nhãn 'mở ốc' lên từng chiếc cờ lê, mà ghi rõ từng chiếc dùng cho ốc cỡ nào, góc nghiêng bao nhiêu — đến lúc sửa xe mới đúc người mới có thể chọn đúng dụng cụ ngay mà không phải thử bừa.

III. Main Results:

Exp. 1 (MetaWorld, 6 tác vụ, skill-level OOD): với chỉ 2 demo, APPL đạt 89.6% OOD success so với 37.9% của prior quan hệ cố định và 28.96% của Diffusion Policy thuần; nhiều demo hơn vẫn giữ khoảng cách (93% vs 56% ở N=20).
Exp. 2 (ManiSkill, 5 tác vụ long-horizon): APPL đạt 50.0% motion-OOD vật thể dịch chuyển (so với 10.0% cho full-task Diffusion Policy, p<0.001), 92.5% task-level OOD (tiếp tục giữa chừng/kết thúc sớm), và giải được 8/16 composition hoàn toàn mới.
Ablation chứng tỏ vai trò của interface: giữ nguyên thư viện chính sách nhưng giấu thông tin interface → motion-OOD sụt từ 50% xuống 20%, task-level từ 92.5% xuống 65%, composition từ 8/16 xuống 2/16.
Feedback vòng lặp có giá trị: đề xuất 3 prior + chọn theo development OOD cộng thêm 10–24 điểm; vòng feedback sửa thiết kế cộng thêm 3–12 điểm.
Hạn chế thực tế: điểm kiểm chứng trên trạng thái demo đôi khi xếp hạng sai chính sách dưới OOD (một tác vụ sụt từ 8/8 xuống 1/8); thư viện thiếu kỹ năng phục hồi khi làm rơi vật.

IV. Conclusion & Future Works:

APPL cho thấy giả định cấu trúc dùng để huấn luyện một kỹ năng không nên bị vứt đi sau khi học, mà còn là thông tin quý giúp tác tử runtime quyết định khi nào và làm sao dùng kỹ năng đó. Kết quả hỗ trợ giả thuyết trung tâm: prior vừa cải thiện khái quát hóa kỹ năng, vừa cải thiện chọn lựa và compose.

Hướng tương lai: cải thiện kiểm chứng hướng tới trạng thái triển khai và luật bàn giao (thay vì chỉ trạng thái demo), mở rộng vùng hỗ trợ kỹ năng bằng thu thập dữ liệu nhắm mục tiêu, bổ sung kỹ năng phục hồi, và tích hợp motion planner.

V. Brainstorming Space:

1. Publish Papers:

Kiểm chứng chính sách trên trạng thái gần với trạng thái triển khai thực tế (tổng hợp OOD giả lập hoặc bằng chứng bàn giao) để interface miêu tả đúng vùng áp dụng hơn.
Tự động sinh kỹ năng phục hồi (nhặt lại vật rơi, mở lại ngăn kéo bị đẩy) như một lớp kỹ năng bổ sung trong thư viện APPL.
Kết hợp thư viện prior-specific policies với motion planning cổ điển để bảo đảm an toàn trong các chuyển tiếp kỹ năng dài hạn.

2. Patent:

Hệ thống dạy robot gia đình từ vài lần làm mẫu trên điện thoại: ứng dụng quay video người dùng làm một thao tác (như mở ngăn kéo); hệ thống tự chia đoạn, đề xuất nhiều cách biểu diễn chuyển động (theo vật thể, theo tư thế tay...), huấn luyện từng chính sách và lưu kèm 'hồ sơ' mô tả khi nào dùng; khi ra lệnh mới, ứng dụng tự chọn đúng chính sách để thực hiện.
Robot kho hàng tự chọn 'chế độ' cho từng thao tục: mỗi kỹ năng (gắp, đặt, đẩy) được huấn luyện nhiều phiên bản với giả định cấu trúc khác nhau; phần mềm điều phối đọc mô tả từng phiên bản để quyết định khi hàng hóa xuất hiện ở vị trí mới hoặc khi thứ tự công việc thay đổi, không cần dạy lại.
Giao diện 'bảng hồ sơ kỹ năng' cho robot dịch vụ: mỗi kỹ năng đi kèm thẻ mô tả điều kiện đầu vào/đầu ra và điểm kiểm chứng; người quản lý có thể xem và sửa thẻ này trên điện thoại để điều chỉnh cách robot gọi kỹ năng mà không cần đụng vào mô hình đã huấn luyện.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.35690
ArXiv Abstract	https://arxiv.org/abs/2609.35690
PDF Download	https://arxiv.org/pdf/2609.35690.pdf
Github Repository	https://github.com/Agentics-robotics/Agent-Priors-guided-Policy-Learning

10. World Observer: Joint Actor-Observer Generation for Persistent World Modeling (74 votes)

Tác giả: Hyunwook Choi, Dahyun Chung, Hyunsung Kim, Siyoon Jin, Jinhyeok Choi, et al.

Xuất bản lúc: 2026-10-01

Tag: World Models, Video Generation, Diffusion, DiT, Panorama, Out-of-View Dynamics, 3D Scene Understanding

I. Main Problem:

Các video world model hiện tại đều theo hướng actor-centric: thế giới chỉ được cập nhật qua vùng mà tác tử đang nhìn thấy. Khi một vật thể động rời khỏi tầm nhìn, mô hình mất bằng chứng trực tiếp về sự tiến hóa của nó, dẫn đến 4 kiểu lỗi đặc trưng:

Frame-locked: vật bám dính bất tự nhiên vào khung hình thay vì rời đi
Lost: vật biến mất và không quay lại khi camera nhìn lại
Frozen: vật giữ nguyên trạng thái cuối cùng, ngừng chuyển động khi không được quan sát
Impostor: vật quay lại với trạng thái nghe có lý nhưng sai so với những gì thực sự xảy ra khi nó ở ngoài tầm nhìn

Các phương pháp bù đắp bằng bộ nhớ nội tại hoặc suy luận từ tiền nghiệm sinh chỉ đoán vùng không nhìn thấy thay vì quan sát trực tiếp — càng lâu không quan sát, càng lệch trạng thái. Hệ quả: thiếu một mô hình thế giới persistent — giữ thế giới tiến hóa bất kể tác tử nhìn đâu, điều kiện tiên quyết cho embodied navigation, mô phỏng tương tác và lập kế hoạch dài hạn.

II. Main Idea:

World Observer tách biệt "quan sát" khỏi "hành động" bằng cách sinh đồng thời hai dòng video từ một video Diffusion Transformer (DiT) duy nhất:

Một actor dạng perspective (góc nhìn tác tử, độ phân giải cao, là đầu ra hiển thị)
Một hoặc nhiều observer dạng panorama 360°, sinh ở độ phân giải thấp hơn, vai trò giữ trạng thái thế giới đang tiến hóa cho các vùng ngoài tầm nhìn actor

Cơ chế then chốt:

View-time alignment: nối latents actor + observer thành một chuỗi, gán vị trí RoPE giống nhau cho cùng timestep → self-attention trao đổi trạng thái giữa hai view, nên vật rời khỏi actor vẫn tiếp tục chuyển động trong observer và quay lại với trạng thái đúng
Panoramic warping: warp panorama khởi tạo chung (cùng depth metric) vào từng viewpoint → tương ứng hình học rõ ràng giữa actor và observer
Observer Sink: cắt 4 view perspective 90° độ phân giải cao từ panorama ban đầu, giữ cố định làm tham chiếu appearance qua shared attention → khôi phục chi tiết mịn khi vùng quay lại actor
Observer tách rời actor → đặt tự do ở vị trí khác, mở rộng thành nhiều observer để theo dõi vùng bị che khuất, và điều khiển tiến hóa ngoài tầm nhìn bằng prompt riêng cho observer (observer vừa là memory, vừa là control)

Ví dụ đời thường: giống trong cửa hàng có camera an ninh toàn cảnh — nhân viên chỉ nhìn quầy mình (actor), nhưng camera góc rộng vẫn ghi liên tục mọi ngóc ngách, nên khi quay lại khu vực cũ bạn biết chính xác khách hàng đã di chuyển đến đâu thay vì phải đoán.

III. Main Results:

Out-of-view dynamics vượt trội rõ rệt: trên benchmark OOV mới (Real + Synthetic, 200 sequence), World Observer (Single, chỉ 2B tham số) đạt OOV-F 0.492/0.580, OOV-Dgt 0.426/0.531, OOV-Dself 0.408/0.526 — cao hơn đáng kể so với các baseline lớn hơn nhiều (Matrix-Game-3 5B: OOV-Dgt chỉ 0.066/0.125; LingBot-World 28B: 0.337/0.340)
Bản Multi-observer (2 observer) nâng OOV-F lên 0.722 trên synthetic
Vẫn cạnh tranh về độ trung thực hình ảnh (FID 29.30/19.65, FVD 291.7/196.2 — tốt nhất bảng), kiểm soát camera (RotErr 0.125/0.022, TransErr 0.372/0.029) và 3D adherence (mPSNR 18.57/18.89)
Ablation: bỏ observer → actor tự sinh vật quay lại với trạng thái inconsistent (impostor, OOV-Dgt giảm 0.531→0.387); bỏ Observer Sink → mất chi tiết appearance, OOV-Dself giảm; backbone chỉ raymap → camera control kém nhất và OOV thấp nhất → chứng minh joint generation là yếu tố quyết định
Hai metric mới OOV-Dgt (so khớp động lực ground-truth, nhạy với frozen) và OOV-Dself (tự nhất quán quãng đường bay, nhạy với impostor) cho phép chẩn đoán từng kiểu lỗi cụ thể

IV. Conclusion & Future Works:

World Observer chứng minh rằng tách observing khỏi acting là hướng khả thi để xây dựng world model persistent: vùng ngoài tầm nhìn được biểu diễn tường minh và tiếp tục tiến hóa, thay vì phải đoán từ trí nhớ. Warping panorama chung + Observer Sink bảo toàn nhất quán hình học và chi tiết appearance, còn observer tách rời cho phép đặt vị trí linh hoạt và điều khiển sự kiện ẩn. Hạn chế hiện tại: cấu hình multi-observer hầu như chỉ huấn luyện được trên dữ liệu synthetic CARLA; đánh giá giới hạn trong một chunk (T=77 frames) nên chưa kiểm chứng khả năng duy trì dài hạn khi phải truy hồi memory qua nhiều chunk. Hướng tự nhiên tiếp theo là mở rộng multi-observer cho dữ liệu thật, rollout autoregressive dài hạn với truy hồi trạng thái, và tích hợp vào tác tử embodied để lập kế hoạch dựa trên vùng chưa nhìn thấy.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng World Observer cho dữ liệu thật với cấu hình observer tách rời và đa observer, kết hợp ước lượng vị trí tự động để chọn vị trí đặt observer tối ưu mà không cần simulator.
Cơ chế truy hồi và nén trạng thái observer qua nhiều chunk autoregressive, giữ nhất quán thế giới ở horizon dài hơn 77 frames.
Tích hợp observer như module quan sát chủ động cho tác tử embodied: tác tử học chính sách chọn vùng nên đặt camera quan sát trước khi di chuyển đến.
Điều khiển sự kiện ngoài tầm nhìn bằng prompt observer — mở ra bài toán kịch bản gián tiếp (indirect storytelling) trong mô phỏng tương tác.

2. Patent:

Ứng dụng quay video toàn cảnh trên điện thoại: điện thoại vừa ghi video góc thường (actor) vừa ghi panorama 360° đồng bộ; mô hình sinh video hoàn chỉnh trong đó vật thể rời khung hình vẫn tiếp tục chuyển động đúng khi quay lại — hữu ích cho quay phim nghiệp dư và video kỷ niệm.
Hệ thống camera an ninh thông minh: nhiều camera 360° đặt tại các vị trí khác nhau đồng bộ hóa trạng thái vật thể; khi camera chính quay đi, hệ thống vẫn vẽ lại đúng vị trí và hành vi của người/phương tiện khi họ tái xuất hiện trong khung hình, phục vụ truy vết dài hạn.
Mô phỏng tập lái xe trên điện thoại: người dùng điều khiển camera góc hẹp như người lái, còn mô hình duy trì toàn bộ giao thông xung quanh qua các observer ảo — xe cộ rời khỏi tầm nhìn vẫn di chuyển đúng luật và tái xuất hiện hợp lý.
Trợ lý thực tế tăng cường (AR) cho thiết bị đeo: thiết bị chỉ quan sát hướng người dùng đang nhìn, còn mô hình world observer duy trì trạng thái không gian xung quanh, giúp nhận diện lại đồ vật đã bị dời chỗ khi người dùng quay lại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.02162
ArXiv Abstract	https://arxiv.org/abs/2610.02162
PDF Download	https://arxiv.org/pdf/2610.02162.pdf
Github Repository	https://github.com/cvlab-kaist/world-observer

11. A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review (71 votes)

Tác giả: Chenguang Wang, Ming Li, Chengrui Fan, Jianpeng Chen, Han Chen, et al.

Xuất bản lúc: 2026-09-30

Tag: LLM-as-a-Judge, AI Peer Review, Rhetorical Robustness, Benchmark, Scientific Evaluation, Prompting, Content Extraction

I. Main Problem:

AI reviewers có thể thay đổi điểm chỉ vì cách diễn đạt khác nhau của cùng một nghiên cứu, từ đó thưởng cho tối ưu retoric thay vì cải thiện khoa học. Các đánh giá hiện tại chủ yếu xem AI review có giống con người, hữu ích hay tái tạo điểm/quyết định của con người không, nhưng bỏ qua độ ổn định dưới rewrite giữ nguyên nội dung. Vấn đề cốt lõi là một reviewer đáng tin cần vừa ổn định với các bản viết lại của cùng một paper, vừa phân biệt được khác biệt thật giữa các paper.

II. Main Idea:

Paper đề xuất Rhetorical Robustness như một yêu cầu kép: within-paper stability và between-paper discrimination. Để đo điều này, tác giả xây RobustReview với 60 bản ICLR 2026, 10 điều kiện retoric và 2 hệ sinh rewrite độc lập, tạo 1,260 manuscripts, rồi đánh giá 30 reviewer configurations. Từ giới hạn của prompting nội-dung, họ đề xuất SciCore: chạy song song hai nhánh:

Manuscript branch: chấm toàn bộ bài theo giao thức Strict.
Science-core branch: trích xuất một bản ghi cấu trúc gồm problem, claims, methods, assumptions, evidence, results, limitations; sau đó chỉ review phần lõi này bằng protocol thích hợp.
Fusion: lấy trung bình hai điểm để giảm nhạy với retoric mà vẫn giữ ngữ cảnh bản thảo.

Ví dụ đời thường: giống như chấm một cuộc thi nấu ăn không chỉ nhìn món ăn trình bày đẹp, mà còn tách riêng ghi lại đúng nguyên liệu, công thức, nhiệt độ và kết quả nếm thử; khi món được trình bày lại khác đi, phần công thức cốt lõi vẫn giữ nguyên nên điểm không bị dao động theo cách trang trí.

III. Main Results:

RobustReview cho thấy prompting tập trung nội dung không cải thiện robustness một cách nhất quán: chỉ GPT-5.5 tiến bộ trên cả 5 robustness metrics, các backbone khác thay đổi trái chiều.
Phát hiện false robustness: một số reviewer có độ lệch rewrite rất thấp nhưng gần như không phân biệt các paper, ví dụ Gemini-3.5-Flash-Lite Standard đạt MAD 0.205 nhưng ICC chỉ 0.199 và discriminability 0.511.
Human alignment và rhetorical robustness là hai mục tiêu khác nhau: GPT-5.5 Strict tốt hơn về độ đồng thuận với người, trong khi Persistent tốt hơn về joint stability-discrimination.
SciCore đạt ICC 0.775, SPR 0.652, discriminability 0.726, Human MAE 1.072 và Spearman 0.488; đây là profile joint stability-discrimination tốt nhất trong bảng chính, dù MAD và Drift SD không thấp nhất.
Ablation cho thấy review trực tiếp science core tốt hơn reconstruct lại thành manuscript, và Core-Adapted cải thiện robustness so với Manuscript-Strict trên cùng backbone GPT-5.5.
Science cores có độ tương đồng rất cao giữa các retoric variants của cùng paper (khoảng 0.961–0.979) và thấp hơn rõ rệt giữa các paper khác nhau (khoảng 0.606–0.671), cho thấy representation vừa ổn định vừa giữ được paper separation.
Tuy nhiên, hiệu quả của science-core branch phụ thuộc backbone: GPT-5.5 và GLM-5.2 cải thiện mạnh, GPT-5-mini chỉ cải thiện một phần.

IV. Conclusion & Future Works:

Kết quả cho thấy rhetorical robustness là một mục tiêu đánh giá riêng biệt và cần thiết cho AI reviewers, không thể thay thế bằng human alignment thông thường. SciCore chứng minh rằng bổ sung một nhánh đánh giá dựa trên science core đã chuẩn hóa nội dung có thể cải thiện độ ổn định chung mà vẫn giữ khả năng phân biệt paper. Hướng tương lai: tối ưu cách trích xuất science core, kiểm tra tổng hợp dual-branch trên nhiều backbone hơn, cải thiện giao thức review phụ thuộc tiêu chí, và mở rộng benchmark sang các hội nghị, lĩnh vực và loại rewrite thực tế hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng RobustReview sang nhiều lĩnh vực và hội nghị khác nhau để kiểm tra rhetorical robustness của AI reviewers ngoài ICLR-style machine learning papers.
Nghiên cứu cách trích xuất science core ổn định hơn bằng cách kết hợp nhiều extractor, self-consistency và kiểm chứng cấu trúc giữa các retoric variants.
Phát triển phương pháp fusion thích ứng giữa manuscript review và science-core review thay vì trung bình cố định, đồng thời phân tích khi nào nhánh nào nên tin cậy hơn.
Đánh giá AI reviewers trong bối cảnh adversarial rewriting thực tế, nơi tác giả cố tình tối ưu presentation để lách hệ thống chấm tự động.

2. Patent:

Ứng dụng điện thoại hỗ trợ tác giả kiểm tra độ ổn định của bài báo: người dùng tải lên manuscript, ứng dụng tạo vài bản diễn đạt lại giữ nguyên nội dung, gửi qua mô hình chấm review rồi cảnh báo nếu điểm khoa học thay đổi bất thường chỉ do cách trình bày.
Hệ thống chấm điểm bài báo hai lớp cho nhà xuất bản: một lớp đọc toàn văn, một lớp trích xuất hồ sơ khoa học cấu trúc về vấn đề, phương pháp, bằng chứng, kết quả và giới hạn; điểm cuối cùng kết hợp hai lớp để giảm thao túng bằng văn phong.
Công cụ trên điện thoại cho hội đồng tuyển chọn mini-grant: upload proposal, hệ thống tạo science core, so sánh các đề xuất theo nội dung khoa học đã chuẩn hóa và gắn cờ những đề xuất có điểm cao chủ yếu nhờ retoric.
Plugin kiểm tra integrity cho nền tảng peer-review: tự động phát hiện khả năng false robustness bằng cách đo độ lệch điểm giữa các bản rewrite cùng nội dung và mức phân biệt thật giữa các bài khác nhau.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39027
ArXiv Abstract	https://arxiv.org/abs/2609.39027
PDF Download	https://arxiv.org/pdf/2609.39027.pdf
Github Repository	N/A

12. Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It (69 votes)

Tác giả: Zehao Jin, Ruixuan Deng, Junran Wang

Xuất bản lúc: 2026-09-29

Tag: LoRA, Transformers, Mechanistic Interpretability, In-Context Learning, Parameter-Efficient Fine-Tuning, Multi-hop Reasoning, Looped Models

I. Main Problem:

Các mô hình transformer pretrained biết đọc biến và bản gốc của chúng trong context như K = apple; B = K; print(B), nhưng ngừng suy luận quá sớm khi chuỗi tham chiếu dài thêm. Thay vì dùng sâu toàn bộ độ sâu, mô hình thường chỉ follow 1.4–3.6 dòng trung vị 2.2, kể cả khi:

tăng size: OLMo-3-32B vẫn chỉ đạt khoảng 2.6 dòng dù có 64 lớp
thêm vòng lặp: Ouro/Huginn looped models cũng gần như không mở rộng reach
model rất lớn: DeepSeek-V4-Flash vẫn gần chance trên chuỗi dài

Điều này gây hệ quả rõ trên các tác vụ cần composition in-context như multi-hop QA: câu trả lời trực tiếp từ mô hình mặc định đánh giá thấp khả năng thật có thể khai thác nếu can thiệp đúng chỗ.

II. Main Idea:

Paper chỉ ra rằng lỗi không nằm ở thiếu kiến thức hay thiếu lớp, mà ở cách tính toán mặc định dừng quá sớm. Một rank-8 LoRA cực nhỏ đặt ở một early/middle layer có thể kích hoạt lại cơ chế tính toán sâu hơn trong các lớp frozen.

Cơ chế chính là một relay:

các dòng chương trình ban đầu chỉ mang chain identity được vài bước
query sau đó tự resolve thêm vài pointer rồi copy giá trị cuối
LoRA làm các dòng chương trình tiếp tục truyền chain identity xa hơn qua một khoảng ngắn các middle layers
attention heads frozen ban đầu đọc từ parent line; sau LoRA chúng đọc xa hơn dần dần, không phải bằng nhảy doubling đột ngột
nếu cắt attention tới parent line, relay dừng; nếu cắt attention xa hơn, reach giảm

Vì vậy, vị trí đặt LoRA rất quan trọng: can thiệp phải nằm trước khi useful middle-layer computation còn có thể tiếp tục. Một LoRA ở layer hơi muộn có thể gần như mất tác dụng dù model vẫn còn nhiều lớp phía sau.

Ví dụ đời thường: giống như truyền tin trong hàng người — nếu người đầu tiên không nhận và truyền đúng thông điệp, phần còn lại dù đông cũng không giúp tin đi xa; chỉ cần khơi mào đúng điểm, cả hàng sẽ tự chuyền tiếp.

III. Main Results:

Reach mặc định rất ngắn: 13 base models chỉ follow khoảng 1.4–3.6 lines, trung vị 2.2.
Tiny LoRA tạo gain rất lớn: rank-8 LoRA với khoảng 65,537 tham số trên Qwen3-8B nâng exact accuracy trên 24-line chains từ 15.5% lên 99%.
Qwen3-8B với LoRA train dài hơn đạt reach khoảng 50 lines trong một pass; re-enter layers 14–22 còn nâng 64-line accuracy từ 34% lên 92% sau hai lần lặp lại khối đó.
Ouro-1.4B looped model đạt 60 lines sau 4 loops và ít nhất 160 lines sau 8 loops; Huginn cũng tăng từ vài dòng lên 58 lines sau 16 recurrences.
Projection LoRA và FLAS-style flow interventions ở cùng vị trí cũng hiệu quả, cho thấy đây là placement preference chung.
Mechanistic evidence: LoRA làm attention đọc xa hơn dần dần; causal cut cho thấy parent-line attention là cần thiết để relay tiếp tục.
Placement limit: ở Qwen3-8B, đổi LoRA từ layer 20 sang 21 làm reach sụt từ 20.5 xuống 5.2 lines; một frozen-model cutoff metric dự đoán đúng limit ở 3/4 held-out models.
Multi-hop QA: LoRA early-layer cải thiện MuSiQue exact match ở Qwen3-8B, OLMo-3-7B, Llama-3.1-8B lần lượt +11.4, +9.4, +17.9 EM points; fictional multi-hop facts cũng tăng mạnh.

IV. Conclusion & Future Works:

Kết luận chính: default direct answers understate model capability. Mô hình transformer không thiếu hoàn toàn khả năng suy luận dài trong context; vấn đề là computation mặc định dừng quá sớm. Một chỉnh sửa rất nhỏ ở đúng lớp có thể kích hoạt lại các lớp frozen để truyền tiếp thông tin xa hơn.

Hướng tương lai:

tìm routing directions và minimum sufficient rank của LoRA
kiểm tra kỹ hơn giới hạn first-loop-only sufficiency trên looped models
mở rộng placement prediction từ synthetic sang benchmark thực tế hơn
kết hợp với loops/re-entry để mở rộng inference-time compute một cách có chọn lọc

V. Brainstorming Space:

1. Publish Papers:

Phát triển phương pháp prospective placement selection cho adapter/intervention dựa trên cơ chế relay, nhằm chọn layer can thiệp mà không cần sweep toàn bộ model.
Nghiên cứu phiên bản multi-layer hoặc schedule-aware LoRA cho looped transformers, tối ưu hóa để mỗi vòng lặp chỉ tái sử dụng computation hữu ích thay vì lặp cả pipeline.
Áp dụng cơ chế early-layer relay vào retrieval-augmented reasoning và agent tool-use, nơi model cần theo dõi chuỗi tham chiếu giữa nhiều tài liệu hoặc nhiều bước gọi công cụ.

2. Patent:

Module trợ lý trên điện thoại có tiny LoRA early-layer adapter để cải thiện trả lời câu hỏi nhiều bước từ ghi chú, email, tài liệu nội bộ mà không cần fine-tune toàn model.
Hệ thống QA doanh nghiệp tự chọn vị trí adapter layer dựa trên profiling model frozen, giúp triển khai trên nhiều model khác nhau với chi phí thấp và ít can thiệp hành vi chung.
Trợ lý di động cho tác vụ tra cứu liên kết, ví dụ theo dõi người → công ty → dự án → hợp đồng, dùng adapter nhỏ để nâng độ chính xác multi-hop khi người dùng đặt câu hỏi qua nhiều tầng dữ liệu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.36585
ArXiv Abstract	https://arxiv.org/abs/2609.36585
PDF Download	https://arxiv.org/pdf/2609.36585.pdf
Github Repository	https://github.com/Lunamos/stop-thinking-too-early

13. Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs (65 votes)

Tác giả: Vincent-Daniel Yun, Woosang Lim, Haneul Yoo, Sungjoo Yoo, Murali Annavaram, et al.

Xuất bản lúc: 2026-09-29

Tag: KV Cache, LLMs, Multi-Agent Systems, Cross-Family Transfer, Token Alignment, Inference Acceleration

I. Main Problem:

Các hệ thống multi-agent dùng mô hình LLM khác nhau phải chia sẻ ngữ cảnh qua text, khiến mỗi receiver phải prefill lại toàn bộ shared context và dựng lại KV cache — tốn tính toán và tăng độ trễ khi context dài.

Việc tái sử dụng trực tiếp KV cache giữa các model family gặp ba rào cản chính:

Tokenizer khác nhau: cùng một câu bị cắt thành token khác nhau.
Model depth khác nhau: số layer và vị trí tương đương không khớp.
KV representation khác nhau: số head, chiều feature và phân phối activation khác nhau.

Ngoài ra, reconstruction error thấp chưa đủ tốt: một transferred cache có thể gần giá trị gốc nhưng vẫn làm receiver chú ý sai và trả lời sai.

II. Main Idea:

HeteroFold là phương pháp truyền KV cache cross-family mà không cần receiver prefill, đồng thời giữ nguyên cả sender và receiver. Ba bước chính:

Token Alignment (TA): căn cửa vào các shared character-end boundaries để biết token nào của sender tương ứng token nào của receiver, thay vì ghép cứng theo cùng index.
Layer Alignment + Recolor: map receiver layer tới độ sâu tương ứng trên sender, gộp các sender layer lân cận, rồi dùng affine map cho K/V để khớp mean và covariance phía receiver thông qua whitening và Procrustes alignment.
Output-Aware Calibration: chỉnh tiếp K để attention pattern của receiver giống native behavior, chỉnh tiếp V để output cuối giống native output. Các hiệu chỉnh low-rank sau đó được fold trực tiếp vào affine map cố định, nên inference không cần module phụ.

Khác với chỉ sao chép cache, HeteroFold tối ưu để receiver hoạt động như thể nó tự xử lý ngữ cảnh native, dù thực tế nhận cache đã được biến đổi từ model khác.

Ví dụ đời thường: giống như chuyển một cuốn sổ tay giữa hai người viết và đọc rất khác nhau: trước hết xếp đúng từng đoạn theo vị trí trong trang, rồi đổi nét chữ và độ đậm nhạt cho hợp mắt người đọc, cuối cùng chỉnh lại cách trình bày để mắt họ đi đúng chỗ và hiểu đúng ý tác giả.

III. Main Results:

Đánh giá trên 6 hướng transfer giữa Llama-3.1-8B, Qwen3-4B và Ministral-3-14B.
HeteroFold đạt kết quả cache-transfer tốt nhất trên cả 4 long-context benchmarks và phần lớn short-context benchmarks.
Trên multi-agent benchmark HIDDENBENCH, HeteroFold đạt hiệu suất ngang text-based communication:
- Average accuracy: 30.6% so với TextMas 29.2%
- Majority accuracy: 29.2% so với 27.7%
- Invalid responses: 3.2% so với 4.0%
Về latency ở 32K tokens, Llama-3.1-8B → Ministral-3-14B:
- 481.3 ms, nhanh hơn 10.74× so với Native Prefill
- Nhanh hơn 1.18–1.47× so với các baseline prefill-free tiên tiến Dense Latent và KV Ridge
Ablation cho thấy:
- Mất TA gây suy giảm lớn nhất, chứng tỏ cross-tokenizer alignment là yếu tố then chốt.
- Multi-layer aggregation và cross-head mixing đều quan trọng.
- Recolor tốt hơn ridge regression vì bảo toàn thống kê receiver.
- Calibration theo attention/output cải thiện rõ rệt, đặc biệt cho long-context.

IV. Conclusion & Future Works:

HeteroFold cho thấy KV computation có thể được tái sử dụng qua ranh giới model-family mà không bắt receiver prefill lại shared context. Điểm quan trọng là transfer hiệu quả không chỉ cần cache giống về giá trị, mà phải giữ đúng attention pattern và output behavior của receiver.

Bài báo định vị đây là bước tiến tới:

cache sharing hiệu quả hơn giữa các LLM agent dị biệt
KV interface tổng quát hơn giữa các model family
giảm chi phí giao tiếp trong hệ thống multi-agent khi context dài

Hướng mở tự nhiên từ kết quả là mở rộng phương pháp cho nhiều kiến trúc và quy mô model hơn nữa, đồng thời kiểm tra độ bền của alignment và calibration khi agent phải truyền nhiều vòng, nội dung ngày càng mới hoặc phân phối dữ liệu lệch hơn.

V. Brainstorming Space:

1. Publish Papers:

Phát triển một chuẩn cache-transfer động cho multi-agent LLM có thể tự chọn mức granularity giữa text, latent state và KV cache tùy độ dài ngữ cảnh, độ khác tokenizer và ngân sách latency.
Nghiên cứu transfer cho các agent liên tục tạo message mới nhiều vòng, thay vì chỉ truyền một shared context cố định như trong single-hop QA.
Kết hợp cross-family KV transfer với compression và quantization để giảm cả chi phí truyền dữ liệu lẫn bộ nhớ cache trên GPU.
Khảo sát cơ chế bảo mật và độ tin cậy khi chia sẻ KV cache giữa các model khác family, vì cache transferred có thể mang thông tin nhạy cảm của prompt gốc.

2. Patent:

Hệ thống giao tiếp giữa các AI agent trên điện thoại hoặc server hybrid: agent gửi không phải toàn bộ text dài mà là KV cache đã được căn token, chuyển thống kê và hiệu chỉnh hành vi, giúp agent nhận trả lời ngay mà không cần đọc lại toàn bộ ngữ cảnh.
Module tiết kiệm pin cho trợ lý AI đa model trên smartphone: khi một model nhỏ cần dùng kết quả của model lớn, hệ thống truyền cache đã map thay vì bắt model nhỏ prefill lại hội thoại dài, giảm số lần tính toán trên thiết bị.
Nền tảng hợp tác nhiều chatbot chuyên biệt trong doanh nghiệp: chatbot kế toán, pháp chế và vận hành có thể trao đổi context bằng cache tương thích cross-family, rút ngắn thời gian phản hồi khi xử lý tài liệu dài.
Thiết bị biên kết nối nhiều mô hình ngôn ngữ khác kiến trúc: chip biên chuyển KV cache từ model cloud sang model cục bộ bằng bộ map affine cố định, cho phép người dùng tiếp tục hội thoại offline nhanh hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32259
ArXiv Abstract	https://arxiv.org/abs/2609.32259
PDF Download	https://arxiv.org/pdf/2609.32259.pdf
Github Repository	N/A

14. ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization (64 votes)

Tác giả: Sungho Park, Wonjoong Kim, Jue Zhang, Wook-Shin Han, Pengfei Gao, et al.

Xuất bản lúc: 2026-10-01

Tag: LLM Agents, Agent Harness Optimization, Automated Curriculum Learning, Multi-Armed Bandit, Failure Diagnosis, Prompt Optimization, GAIA2, Terminal-Bench

I. Main Problem:

Tối ưu tự động cho harness của LLM agent — gồm prompt, giao diện tool và logic điều khiển runtime — hiện chủ yếu tập trung vào cách cập nhật harness, trong khi kịch bản huấn luyện tạo phản hồi thường được cố định trước. Điều này gây hai hạn chế:

Rời bỏ lỗi chưa sửa quá sớm: những thất bại vẫn còn khả năng cải thiện có thể không được tối ưu tiên đủ.
Phân bổ rollout kém hiệu quả: tiếp tục chạy lại tình huống đã hỏng có thể đáng giá ở giai đoạn này, nhưng khám phá tình huống mới lại hữu ích hơn ở giai đoạn khác; lịch cố định không thích ứng được.

II. Main Idea:

ActiveSaddler đưa việc chọn kịch bản huấn luyện cho tối ưu harness thành bài toán curriculum learning tự động, mô hình hóa như non-stationary bandit với các “arm” được tạo động từ lỗi thực tế:

Failure-Pattern Extractor: chẩn đoán các lần chạy thất bại, rút triệu chứng rồi gom những lỗi có cùng nguyên nhân thành failure-pattern arms tái sử dụng.
Arm Prioritizer: dùng LLM chấm điểm tiềm năng cải thiện của từng arm theo độ nghiêm trọng, khả năng sửa, độ lan tỏa khi sửa thành công, và rủi ro gây regression; chọn arm theo phân phối stochastic để ưu tiên lỗi đáng giá nhất.
Exploration Controller: quyết định mỗi vòng nên PULL — tối ưu một arm đã biết, hay DRAW — chạy tình huống chưa thấy để phát hiện lỗi mới; kết quả liên tục cập nhật tập arm và độ ưu tiên.

Ví dụ đời thường: giống thợ sửa xe không tuân theo danh sách hỏng hóc cố định, mà ghi lại từng trục trặc, gom thành từng “bệnh” lặp lại, ưu tiên bệnh còn nặng và sửa được, đồng thời thỉnh thoảng test thêm bộ phận chưa kiểm để xem có lỗi ẩn nào mới xuất hiện.

III. Main Results:

Trên GAIA2, ActiveSaddler đạt 59.8% Pass@1, cao hơn +4.4 điểm phần trăm so với cùng optimizer AutoSaddler nhưng dùng thứ tự kịch bản cố định.
Trên Terminal-Bench 2.0, đạt 80.0% Pass@1, cao hơn +7.5 điểm phần trăm so với AutoSaddler dùng thứ tự cố định.
Vượt các curriculum cố định dạng dễ→khó theo category/scenario, và vượt GEPA, Meta-Harness, AutoSaddler.
Khi ghép ActiveSaddler với GEPA, Pass@1 tăng từ 54.2% lên 57.2% trên GAIA2.
Ablation cho thấy cả ba thành phần đều quan trọng: thay failure-pattern arm bằng arm category/scenario, bỏ Arm Prioritizer, hoặc bỏ Exploration Controller đều làm kết quả giảm rõ rệt.
Về chi phí, ActiveSaddler đạt độ chính xác tương đương với chi phí rollout thấp hơn nhiều; ví dụ trên GAIA2 đạt gần mức chất lượng tương đương với khoảng $298 thay vì hàng trăm đến hơn một nghìn đô la ở baseline.

IV. Conclusion & Future Works:

Bài báo chỉ ra rằng chất lượng harness không chỉ phụ thuộc vào cách dùng phản hồi để cập nhật, mà còn phụ thuộc vào kịch bản nào tạo ra phản hồi đó. ActiveSaddler cho thấy curriculum tự động là một chiều tối ưu bổ sung, quan trọng cho tối ưu harness ngoại tuyến dưới ngân sách rollout hạn chế. Hướng mở rộng hợp lý là thử nghiệm trên nhiều optimizer, môi trường agent và chiến lược phát hiện failure-pattern khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng ActiveSaddler sang tối ưu harness cho agent đa phương thức, trong đó failure-pattern arms được xây dựng từ lỗi phát sinh từ văn bản, hình ảnh và hành động giao tiếp.
Nghiên cứu cách kết hợp curriculum learning cho kịch bản huấn luyện với curriculum learning cho tập kiểm định, để đồng thời cải thiện cả bằng chứng cập nhật và khả năng chọn harness tốt hơn.
Phát triển phiên bản tối ưu chi phí hơn cho Arm Prioritizer và Exploration Controller, giảm số lần gọi mô hình lớn nhưng vẫn giữ khả năng phát hiện lỗi quan trọng.
Áp dụng ý tưởng failure-pattern arms cho môi trường thay đổi liên tục, nơi agent phải học lại cả khi tập kịch bản và hành vi lỗi không ngừng dịch chuyển.

2. Patent:

Hệ thống tự cải thiện trợ lý AI trên điện thoại bằng cách gom các lỗi lặp lại thành nhóm nguyên nhân, sau đó tự chọn nhóm lỗi đáng sửa nhất để cập nhật hướng dẫn và cách gọi công cụ của trợ lý.
Phương pháp cân bằng trên thiết bị hoặc đám mây giữa việc kiểm thử tác vụ người dùng chưa gặp và việc sửa lỗi đã biết, nhằm tối ưu trợ lý ảo cho ứng dụng đặt xe, mua sắm hoặc chăm sóc khách hàng.
Cơ chế bảo trì agent nội bộ cho doanh nghiệp: mỗi khi agent xử lý công việc thất bại, hệ thống tự ghi nhận dạng lỗi, ưu tiên lỗi ảnh hưởng rộng và dễ sửa, rồi đề xuất cập nhật luồng làm việc trước khi triển khai phiên bản mới.
Module chống suy giảm chất lượng cho trợ lý AI di động: sau khi sửa một nhóm lỗi, hệ thống tự chạy lại các tác vụ từng thành công để phát hiện regression mà không cần kiểm tra toàn bộ kịch bản cũ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.00906
ArXiv Abstract	https://arxiv.org/abs/2610.00906
PDF Download	https://arxiv.org/pdf/2610.00906.pdf
Github Repository	N/A

15. ROWBench: Do Video Models Render What the Program Specifies? (64 votes)

Tác giả: Zheng-Hui Huang, Guixu Lin, Yu-Ju Tsai, Jian-Kai Zhu, Fengbo Lan, et al.

Xuất bản lúc: 2026-10-01

Tag: Video Generation, World Models, Programmable World Models, Benchmark, VLM Evaluation, Multi-view Consistency, Long-Horizon Memory

I. Main Problem:

Các mô hình video ngày càng sinh cảnh động chân thực, nhưng vẫn yếu trong duy trì trạng thái thế giới và tuân theo quy tắc do người dùng định nghĩa. Xu hướng mới tách động lực học thực thi được khỏi sinh ảnh, nhưng chưa rõ video sinh ra có đúng những gì chương trình chỉ định không.

Các benchmark hiện có chủ yếu đo chất lượng hình ảnh, khả năng điều khiển, theo chỉ dẫn hoặc tính vật lý hợp lý, mà hiếm khi kiểm tra lộ trình sự kiện chi tiết do chương trình quy định, đặc biệt khi sự kiện xảy ra ngoài tầm quan sát camera hoặc cần so khớp giữa nhiều góc nhìn và nhiều dạng biểu diễn điều khiển.

II. Main Idea:

PROWBench là benchmark kiểm tra xem mô hình video có dựng lại đúng thế giới mà chương trình mô tả hay chỉ tạo video trông hợp lý. Bộ dữ liệu gồm 170 episode và 600 video biểu diễn điều khiển, được xây bằng pipeline lập trình gồm ba phần:

World synthesis: dựng cảnh, thực thể, bộ điều khiển hành vi, sinh quỹ đạo và sự kiện có thể phát lại.
Control compilation: từ cùng một bản ghi trạng thái, xuất các điều kiện điều khiển đồng bộ như coarse 3D, semantic proxy, colored oriented bounding boxes, đồng thời giữ camera và mốc thời gian khớp nhau.
Final process: xuất bản ghi cảnh, video, depth, nhãn văn bản, sự kiện có thời điểm và trạng thái đầu cuối.

Điểm mới là benchmark lưu trạng thái thực thể và sự kiện theo mốc thời gian, kể cả khi thực thể rời khỏi khung hình, rồi dùng chúng làm chuẩn để chấm video. Các chỉ số chính gồm Entity Control, long-horizon memory, Logic-Render Alignment và Interaction Success Rate.

Giống như kiểm tra một bộ phim không chỉ bằng cảm giác “đẹp”, mà đối chiếu từng cảnh quay với kịch bản phân cảnh và nhật ký hiện trường: nhân vật phải xuất hiện đúng chỗ, đúng lúc, làm đúng hành động và kết thúc đúng trạng thái.

III. Main Results:

11 mô hình được chia thành ba nhóm: world model điều kiện camera, mô hình dịch biểu diễn điều khiển sang video thật, và mô hình video nền tảng dùng video điều khiển như tham chiếu.
Ở main track, các mô hình nhận biểu diễn điều khiển có quỹ đạo thực thể đạt BBox IoU cao hơn rõ so với world model chỉ nhận camera: nhóm dịch proxy đạt khoảng 0.450, nhóm video nền tảng đạt khoảng 0.465, trong khi camera-conditioned chỉ khoảng 0.322 ở Verified-FF.
LynnReal-Omni, MiniMax-H3, CWM thường dẫn đầu về kiểm soát thực thể và logic; LingBot 2.0 có Interaction Success rất cao ở Verified-FF dù vị trí thực thể không tốt; Cosmos-Transfer2.5 có IoU khá nhưng Interaction Success và Logic-Render Alignment thấp.
Camera control khá tốt ở nhiều mô hình: lỗi xoay phần lớn quanh 1.7–3.4 độ, gần mức ước lượng trên engine render.
Ở video 30 giây, BBox IoU chỉ còn 0.175–0.280; Reappearance IoU khi thực thể quay lại khung hình rất thấp, cho thấy bài toán ghi nhớ dài hạn còn khó.
Ở multi-view, các mô hình có đầu vào phân biệt rõ người chơi/thực thể đạt khoảng 82–94% Appearance Compliance và 81–90% Cross-view Consistency; riêng C2R rất yếu về nhất quán xuyên góc nhìn.
Chất lượng proxy ảnh hưởng mạnh: mô hình đôi khi bám quá sát hình khối thô, hoặc không biết mô tả ngoại hình nào thuộc về thực thể nào khi dùng hộp màu.

IV. Conclusion & Future Works:

PROWBench cho thấy thực thi chương trình đúng chưa đảm bảo video sinh ra đúng: cần đánh giá riêng khả năng hiện thực hóa trạng thái, quy tắc, tương tác và thời gian bằng bản ghi thế giới có thể phát lại.

Kết quả nhấn mạnh ba hướng cải tiến:

thiết kế biểu diễn điều khiển trung gian tốt hơn, cân bằng giữa hình học, danh tính và ngoại hình;
cải thiện ghi nhớ dài hạn, đặc biệt khi thực thể rồi quay lại khung hình;
nâng cao đồng bộ đa góc nhìn khi mỗi người chơi nhìn cùng một thế giới.

Framework của benchmark có thể mở rộng scene layout, hành vi, camera và dạng biểu diễn mới.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các dạng biểu diễn điều khiển trung gian giúp mô hình video biết đâu là vị trí, đâu là danh tính và đâu là ngoại hình của từng thực thể.
Phát triển cơ chế bộ nhớ dài hạn cho world model khi nhân vật hoặc vật thể rời khỏi tầm nhìn rồi quay lại với trạng thái đúng.
Đánh giá và cải thiện tính nhất quán giữa nhiều camera độc lập trong môi trường nhiều người chơi.
Kết hợp chương trình điều khiển thế giới với mô hình sinh video để kiểm tra tự động các sự kiện có mốc thời gian trong game.

2. Patent:

Trình kiểm thử video game trên điện thoại: game ghi lại trạng thái nhân vật, vật thể và mốc thời gian sự kiện; hệ thống sinh video bằng mô hình AI rồi tự đối chiếu xem hành động và kết quả cuối có xuất hiện đúng lúc không.
Công cụ làm phim hoạt hình tự động cho điện thoại: người dùng chọn kịch bản phân cảnh, ứng dụng dựng bản nháp 3D thô, sinh video màu, sau đó dùng mô hình ngôn ngữ-thị giác để báo cảnh nào sai timeline hoặc thiếu tương tác.
Hệ thống kiểm chứng góc nhìn nhiều người chơi trong game mobile: từ cùng một bản ghi thế giới, máy chủ sinh từng góc nhìn rồi so sánh vị trí, ngoại hình và hành động của người chơi để phát hiện cảnh bị lệch.
Plugin hỗ trợ thiết kế cảnh tương tác: người dùng mô tả quy tắc bằng văn bản, hệ thống tạo video thử nghiệm và gắn cờ các sự kiện không được hiển thị đúng theo thiết kế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.02205
ArXiv Abstract	https://arxiv.org/abs/2610.02205
PDF Download	https://arxiv.org/pdf/2610.02205.pdf
Github Repository	https://github.com/AlayaLab/PROWBench

16. E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models (60 votes)

Tác giả: Arseny Ivanov, Alexander Kolesov, Alexander Korotin, Ivan Oseledets, Mikhail Goncharov

Xuất bản lúc: 2026-09-29

Tag: Diffusion Language Models, Masked Diffusion Models, Mixture-of-Experts, Discrete Latent Variables, Non-Factorized Generation, Few-Step Generation

I. Main Problem:

Mô hình Masked Diffusion (MDM) sinh văn bản bằng cách hồi sinh (unmask) nhiều token mỗi bước, cho phép song song hóa và giảm số forward pass xuống T < L. Tuy nhiên, quá trình nghịch của chúng phân tách (factorized) theo từng vị trí: mỗi token được dự đoán độc lập, bỏ qua tương quan giữa các token được hồi sinh cùng lúc.

Hệ quả nghiêm trọng nhất ở chế độ ít bước (few-step, NFE thấp) — đúng nơi lợi thế tốc độ của diffusion so với autoregressive quan trọng nhất:

Khi unmask nhiều token cùng lúc, các giá trị hợp lệ riêng lẻ bị kết hợp thành cặp không tồn tại trong dữ liệu (mode averaging, spurious pairings)
Các cách khắc phục trước đây dùng latent liên tục kiểu Gaussian + mạng recognition riêng (VAE) như V ADD, dẫn đến: phải chọn prior cố định không bắt được cấu trúc dữ liệu, tăng tham số phải huấn luyện, và dễ rơi vào posterior collapse (latent bị bỏ qua âm thầm).

II. Main Idea:

E-MoE (Enhanced Mixture-of-Experts) xây dựng quá trình nghịch như một hỗn hợp các phân phối factorized, có điều kiện theo một latent rời rạc chia sẻ — chính là các quyết định định tuyến (routing) của backbone MoE đã có sẵn:

Latent z = chuyên gia nào xử lý token nào ở tầng nào ({z_ℓ^d} cho L vị trí × D tầng), lấy từ cơ chế router vốn đã tồn tại trong MoE
Reverse process: p(x|x_t) = Σ_z p(z|x_t) · Π_ℓ p(x_ℓ|x_t, z) — từng thành phần factorized, nhưng tổng hợp (marginalize) theo z nên kết quả không còn factorized, khôi phục tương quan giữa các token
Prior p(z|x_t) được học từ dữ liệu (không phải Gaussian cố định); posterior q(z|x_t, x_0) và prior dùng chung một router — hai lượt forward trên cùng chuỗi nhiễu và sạch, không cần mạng recognition phụ
Mục tiêu huấn luyện là ELBO với số hạng KL rời rạc tách thành tổng KL theo từng tầng, từng token (KL_route), dùng Gumbel-Softmax với straight-through estimator để khả vi
Không tăng tham số active, không tăng chi phí inference: 1 forward pass mỗi bước sampling, đúng bằng baseline factorized

Ví dụ đời thường: giống như một đầu bếp phục vụ cả bàn ăn — thay vì gọi món từng người riêng lẻ rồi đem ra món nào cũng được (dễ ra món chay cho người ăn mặn), đầu bếp chọn một thực đơn chung cho cả bàn; từng món vẫn nấu độc lập, nhưng bị ràng buộc bởi thực đơn đã chọn nên kết hợp luôn hợp lý.

III. Main Results:

Tổng hợp thiết kế (Table 1): E-MoE giữ nguyên 2 forward pass khi train và 1 khi sampling như MDLM, prior phụ thuộc dữ liệu, posterior lấy từ chính mạng đó — không thừa tham số active, trái với V ADD (cần VAE + Gaussian prior cố định).
2-D toy (8-modes, Swiss-roll): tại NFE=1, MDLM tạo các mode ảo do tách rời; E-MoE validity 94.4 và 90.3, vượt V ADD (91.8/93.8) trên 8-modes, cạnh tranh trên Swiss-roll.
Binarized MNIST: E-MoE đạt BPD 0.062 tốt nhất trong ba mô hình, số tham số ngang V ADD (2.49M vs 2.50M), hình ảnh few-step mạch lạc hơn MDLM.
LM1B (Table 4, Figure 5): lợi ích lớn nhất ở NFE thấp — Gen-PPL tại NFE=1 giảm 2–2.6× so với mọi baseline (643.8 vs 1270.8 của V ADD, 1433.8 của MDLM) ở entropy mẫu tương đương; MAUVE tại NFE=2 đạt 24.6% so với 3.0% (MDLM) và 3.8% (V ADD) — gần 8×. Ưu thế thu hẹp khi NFE tăng.
Latent luôn được sử dụng xuyên suốt training — không cần warmup schedule hay auxiliary loss chống posterior collapse.

IV. Conclusion & Future Works:

E-MoE chứng minh latent chia sẻ để vượt rào cản factorization không cần latent liên tục, prior cố định hay mạng recognition phụ: marginalize theo routing của MoE đã tự nhiên ghép các token hồi sinh cùng bước thành một tổng thể tương quan, cải thiện rõ rệt generation few-step (giảm Gen-PLL trên LM1B ít nhất 2× tại 1–2 bước) mà không tốn thêm tham số active. Paper không nêu hướng tương lai cụ thể; hàm ý mở là áp dụng tư tưởng latent-routing cho các backbone MoE quy mô lớn hơn và các dạng dữ liệu rời rạc khác.

V. Brainstorming Space:

1. Publish Papers:

Khảo sát định lượng khi nào latent routing của MoE tự ngừng bị collapse hoàn toàn ở quy mô từ điển và độ dài chuỗi lớn, từ đó đề xuất kỹ thuật regularization KL_route nhẹ nhàng cho mô hình ngôn ngữ quy mô lớn.
Kết hợp E-MoE với các phương pháp distillation few-step (SDTT, DUO, DiMO) để vừa có latent tương quan vừa rút ngắn trajectory sampling, đo lường đánh đổi chất lượng–tốc độ trên benchmark văn bản tiêu chuẩn.
Mở rộng latent rời rạc dạng routing sang mô hình diffusion multimodal (chữ–ảnh–âm thanh), kiểm tra khả năng đồng bộ hóa nội dung giữa các token thuộc phương thức khác nhau thông qua một bộ định tuyến chung.

2. Patent:

Bàn phím gợi ý tiếng Việt trên điện thoại dùng mô hình diffusion few-step: gợi ý nhiều từ cùng lúc được buộc theo một 'kịch bản ngữ cảnh' chung do bộ định tuyến chọn, tránh ghép từ hợp nghĩa riêng lẻ thành câu vô nghĩa khi gõ nhanh.
Trợ lý soạn tin nhắn tự động trên điện thoại: hệ thống sinh nhiều đoạn tin nhắn song song bằng mô hình mixture-of-experts, bộ định tuyến chọn 'chuyên gia văn phong' chung cho cả tin nhắn để giữ giọng điệu nhất quán, chạy được ngay cả khi chỉ có 1–2 lượt xử lý do giới hạn pin.
Công cụ tạo mô tả sản phẩm cho ứng dụng thương mại di động: sinh toàn bộ mô tả ngắn trong một bước duy nhất, dùng latent định tuyến để các thuộc tính (màu sắc, kích cỡ, giá) luôn tương thích với nhau thay vì tự nhiên rời rạc gây mâu thuẫn thông tin.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.37533
ArXiv Abstract	https://arxiv.org/abs/2609.37533
PDF Download	https://arxiv.org/pdf/2609.37533.pdf
Github Repository	N/A

17. X-Tree: Tokenizing Reusable Experience for Efficient Agent Generalization (59 votes)

Tác giả: Sitao Cheng, Xunjian Yin, Zhiyuan Sun, Yuxuan Li, Ruiwen Zhou, et al.

Xuất bản lúc: 2026-09-26

Tag: LLM Agents, Reinforcement Learning, RLVR, Offline RL, Skill Discovery, Hierarchical Learning, Agent Generalization

I. Main Problem:

Các agent đa bước hiện nay được huấn luyện trên luồng hành động dẹt (flat action stream): cả SFT lẫn RLVR đều cân mọi token ngang nhau, bỏ qua các thủ tục con lặp lại giữa các tác vụ (kiểu như browse-and-select, pick-up-and-move) — chính cấu trúc phân cấp cho phép con người lập kế hoạch top-down. Hậu quả:

mỗi quỹ đạo hiếm hoi (do con người thu thập hoặc mô hình tổng hợp, rất tốn kém) bị khai thác kém hơn mức dữ liệu cho phép.
Các hệ thống như OpenClaw dùng LLM viết skill vào context — không nén vào trọng số, nên không khái quát hóa ngoài phạm vi retrieval, và tốn kém, khó kiểm soát.
Câu hỏi: làm sao rút tối đa giá trị từ một tập experience hữu hạn?

II. Main Idea:

X-Tree — 'tokenize' experience thành cây kỹ năng tái sử dụng, bằng thống kê thuần túy, không cần LLM nào. Quy trình:

Canonicalize mỗi hành động thành token kiểu verb⟨role⟩ (ví dụ fill(2/2/26) → type⟨date⟩), loại giá trị cụ thể để hành động giống nhau trùng ký hiệu.
Định nghĩa X-Score đo độ tái sử dụng: tần suất lặp × độ dài × tỉ lệ xuất hiện trong episode thành công.
Merge dần cặp ký hiệu kề nhau có X-Score cao nhất (giống BPE tokenizer của văn bản), theo điều kiện nén corpus — tạo thành cây phân cấp: lá là hành động, mỗi node trong là một skill gồm các sub-skill, có độ sâu d_v.
Kết quả deterministic, kiểm chứng được, khai thác một lần từ pool quỹ đạo cố định.

Ba cách đưa X-Tree vào huấn luyện:

Offline RL (chỉ có quỹ đạo, không có môi trường): mỗi node là một instance RL — policy rollout từ gold prefix, thưởng step-matching + completion bonus nhân theo độ sâu (GRPO).
Online RLVR (có verifier): thêm bonus thích ứng cho mỗi skill X-Tree mà rollout thực thi — bonus mạnh khi win rate thấp (verifier câm) và tự anneal về 0 khi verifier đủ thông tin.
OPSD (on-policy self-distillation): X-Tree làm privileged context của self-teacher, thay thế skill bank do LLM viết; student được kéo về teacher chỉ ở các token mà context làm dễ xảy ra hơn (per-token distillation).

Ví dụ đời thường: giống như xem lại hàng trăm clip dạy nấu ăn rồi gom các đoạn lặp lại nhiều, dài, và luôn dẫn tới món thành công ('phi thơm hành tỏi', 'xào trên lửa lớn') thành một 'động tác chuẩn' gọi tắt — sau đó dạy người mới theo từng động tác chuẩn đó thay vì cả công thức dài, và người học ghép được sang món chưa từng thấy.

III. Main Results:

Offline RL (WebArena, Qwen2.5-7B): +4.5 SR so với SFT full-data (22.9 vs 18.4), +6.4 trên site admin, +5.2 trên gitlab; tăng compute SFT chỉ +0.4 → lợi ích không đến từ tính toán.
Ablation (WebArena): thay X-Tree bằng random span sụt 3.4, random tree sụt 5.0; reward nhị phân toàn-episode sụt 4.7 → gain đến từ cả cấu trúc cây lẫn phương pháp RL.
Online RLVR (ScienceWorld, 3 scales 1.5B/3B/7B): vượt outcome-only GRPO ở mọi fold — lên tới +4.9 SR (G0, 7B), +3.9 trên tác vụ held-out (G2); lợi ích lớn hơn khi rollout n nhỏ (reward thưa), đúng thiết kế adaptive bonus.
Online RLVR (WebShop): +3.6 success, +4.6 graded score (7B); vẫn thắng ngay cả khi mine X-Tree từ chính dữ liệu SFT (matched resources), chỉ cần ~100 quỹ đạo để mine.
OPSD: X-Tree ngang LLM-written skill bank (gpt-oss-120b, GPT-o3) với chi phí LLM bằng 0; ở 7B vượt RLVR outcome-only tới +5.8 SR (ScienceWorld) và +4.4 graded (WebShop).
Kết quả nhất quán trên 3 môi trường × 3 quy mô model, 3 seeds.

IV. Conclusion & Future Works:

Experience hữu hạn là nút thắt khi huấn luyện agent đa bước; X-Tree chứng minh cấu trúc phân cấp có thể được đào ra thuần thống kê và đưa vào trọng số theo ba đường (data, reward, context), đều thắng recipe chuẩn ở ngân sách ngang nhau. Hướng tương lai:

Mine X-Tree lặp từ chính quỹ đạo của policy đang huấn luyện — cấu trúc và policy cùng cải thiện theo vòng lặp.
Kết hợp cả ba tích hợp trong một model thay vì một tích hợp mỗi thiết lập.
Dùng X-Tree để chỉ ra điểm mỏng của corpus (vùng không có skill lặp/thành công), định hướng tổng hợp dữ liệu bù vào đúng chỗ.

V. Brainstorming Space:

1. Publish Papers:

Vòng lặp đồng tiến hóa policy–X-Tree: mine lại cây kỹ năng định kỳ từ quỹ đạo on-policy của chính model đang được huấn luyện, cho cấu trúc skill và policy nâng nhau lên từng vòng.
Tích hợp đồng thời ba đường X-Tree (node làm instance RL + adaptive bonus + privileged context self-distillation) trong một objective huấn luyện agent thống nhất.
Bộ tạo dữ liệu chủ động hướng theo độ phủ X-Tree: dùng cây kỹ năng để đo vùng corpus mỏng và tổng hợp/verify quỹ đạo bù vào đúng các sub-procedure còn thiếu.

2. Patent:

Trợ lý tự động trên điện thoại học từ lịch sử thao tác người dùng: ứng dụng gom các chuỗi thao tác lặp lại và luôn thành công (điền form, đặt lịch, thanh toán) thành 'kịch bản chuẩn' và gợi ý/hoàn thành tự động các bước tương tự trên màn hình mới — không cần gọi dịch vụ LLM đám mây cho bước khai thác kịch bản.
Hệ đào tạo nhân viên mới bằng mô phỏng: phân tách quỹ đạo làm việc của nhân viên giỏi thành cây thủ tục con theo tần suất + tỉ lệ thành công, rồi dạy người mới theo từng thủ tục con có thưởng hoàn thành, thay vì học cả quy trình dài một lần.
Module thưởng thích ứng cho trợ lý mua sắm/chatbot trên điện thoại: khi người dùng hiếm khi hoàn thành tác vụ (tín hiệu thành công thưa), hệ thống thưởng cho model khi thực hiện đúng các cụm bước đã chứng minh hiệu quả, và tự giảm thưởng dần khi tỉ lệ thành công của người dùng đã cao.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32993
ArXiv Abstract	https://arxiv.org/abs/2609.32993
PDF Download	https://arxiv.org/pdf/2609.32993.pdf
Github Repository	https://github.com/sitaocheng/X-Tree

18. EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos (57 votes)

Tác giả: Shulin Tian, Junsu Kim, Shuai Liu, Hao Li, Yujiao Shen, et al.

Xuất bản lúc: 2026-09-30

Tag: Egocentric Video, Video-Language Models, Tool Use, Embodied Reasoning, Multimodal Benchmark, Affordance, Spatial Reasoning, Vision-Language Models

I. Main Problem:

Các tác vụ thực thể trong thế giới thật (từ việc nhà đến quy trình chuyên nghiệp) đều gắn với dùng dụng cụ (tool use), đòi hỏi lý luận về affordance, hình học bàn tay–dụng cụ–đối tượng, tiến trình thao tác và hiệu ứng nhân quả. Tuy nhiên:

Các mô hình video đa phương thức mạnh về captioning và video QA vẫn yếu trong lý luận tâm-trọng-dụng-cụ (tool-centric).
Thiếu dữ liệu egocentric thực tế có gán nhãn dày về dụng cụ: các dataset hiện có (EPIC-KITCHENS, Ego4D...) tập trung vào hoạt động chung, dụng cụ gần như "vô hình" trong annotation.
Thiếu benchmark chẩn đoán riêng cho lý luận dùng dụng cụ → tồn tại song song cả evaluation gap lẫn supervision gap.

II. Main Idea:

Bộ công cụ EgoTools — bộ tài nguyên toàn diện đầu tiên cho hiểu biết dùng dụng cụ qua video góc nhìn cá nhân, gồm 2 thành phần bổ trợ:

EgoTools-Data: khoảng 100 giờ video egocentric thực tế thu bằng thiết bị đeo đầu HOMIE (4 camera fisheye, sync audio), bao phủ 7 lĩnh vực (bếp, lớp học, lab nghiên cứu, xưởng sửa chữa, thủ công, văn phòng, gia đình), với:
- dense captions phân tầng (5s → 1 phút → 5 phút) sinh bởi Gemini-3-Flash kèm kiểm tra hallucination
- tool-centric narrations do người thực hiện tự thuật: vì sao chọn/đổi dụng cụ, ý định dùng, tác động lên đối tượng, kèm điểm 2D grounding
- annotation 3D: dựng cảnh bằng 3D Gaussian Splatting + tracking đối tượng dài hạn bằng vòng lặp VLM-guided + SAM2 (tự re-init khi drift), nâng mask lên quỹ đạo 4D
EgoTools-Bench: 1,000 câu hỏi 8 lựa chọn (900 do người tạo, 100 spatial có kiểm chứng người) trên 4 track: Affordance & Causality (363), Perception & Grounding (236), Procedural Dynamics (222), Spatial Reasoning (179); tách biệt nguồn video hoàn toàn với phần huấn luyện.

Kèm theo, họ xây corpus instruction-tuning 184,679 ví dụ chỉ từ training pool để kiểm chứng dữ liệu có thật sự huấn luyện được.

Ví dụ đời thường: giống như quay phim lại toàn bộ quá trình một người thợ làm việc từ đôi mắt họ, rồi vừa ghi chép lời thợ giải thích "vì sao tôi đổi kéo sang dao" vừa đánh dấu vị trí con dao trên từng khung hình — để vừa có bài thi chất lượng, vừa có giáo trình dạy máy làm theo.

III. Main Results:

Benchmark rất khó với mô hình hiện tại: chuyên gia người đạt 83.2%; mô hình mạnh nhất là Gemini-3.1-Pro chỉ 66.9% tổng thể, và tụt còn 51.7% ở track Perception & Grounding.
Mô hình open-source thấp hơn nhiều: Qwen3-VL-8B-Instruct 50.0%, InternVL3.5-8B 48.7%, GLM4.1V-Thinking 50.7% — cho thấy đây là khoảng trống phổ biến, không riêng một kiến trúc nào.
Dữ liệu huấn luyện có hiệu quả thật: fine-tune toàn phần Qwen3-VL-8B trên corpus EgoTools nâng accuracy từ 50.0% → 60.9% (cải thiện 3/4 track; Spatial Reasoning là ngoại lệ không cải thiện), dù đã tách nguồn video nghiêm ngặt.
Độ tin cậy annotation cao: nghiên cứu độc lập với 5 người chấm lại 250 câu cho agreement 89.8% với đáp án gốc, 94.4% câu có đáp án duy nhất được video hỗ trợ.

IV. Conclusion & Future Works:

EgoTools lấp đầy đồng thời evaluation gap (benchmark chẩn đoán 4 track cho lý luận dùng dụng cụ) và supervision gap (100 giờ annotation dày gồm caption, narration tâm-trọng-dụng-cụ, grounding 2D/3D/4D). Kết quả cho thấy khoảng cách lớn giữa người và mô hình trong lý luận thực thể, nhưng cũng chứng minh dữ liệu này có thể thu hẹp một phần khoảng cách đó qua fine-tuning. Hướng tương lai hợp lý: cải thiện đặc biệt track Spatial Reasoning (chưa hưởng lợi từ fine-tuning), cân bằng phân bố miền dữ liệu hiện đang lệch về Kitchen, và mở rộng sang dữ liệu có tính thích ứng/mở hơn ngoài 7 lĩnh vực hiện tại.

V. Brainstorming Space:

1. Publish Papers:

Khai thác annotation quỹ đạo 4D và depth từ pipeline 3D Gaussian Splatting + SAM2 để huấn luyện mô hình lý luận không gian–thời gian dài hạn cho video egocentric, nhắm vào track Spatial Reasoning hiện chưa cải thiện qua fine-tuning.
Phát triển dạng câu hỏi mở (open-ended) và tự đánh giá cho tool-use reasoning thay vì trắc nghiệm 8 lựa chọn, để đo khả năng giải thích lý do chọn/đổi dụng cụ.
Xây dựng benchmark phân tầng theo độ khó (từ nhận diện dụng cụ đến phản thực tế nhân quả đa bước) kèhợp với dữ liệu thuần tự nhiên, không kịch bản để đánh giá khả năng chọn dụng cụ thay thế (tool substitution) ngoài đời thực.

2. Patent:

Trợ lý ảo trên điện thoại/kính thông minh hướng dẫn sửa chữa: quay video góc nhìn người dùng, hệ thống nhận diện dụng cụ đang cầm và bước thao tác, sau đó gợi ý đúng dụng cụ tiếp theo và cảnh báo khi dùng sai (ví dụ đổi kéo sang dao khi cắt vật liệu cứng) dựa trên dữ liệu lý luận kiểu EgoTools.
Ứng dụng điện thoại ghi lại quy trình làm việc chuyên môn (phòng lab, xưởng sửa chữa): tự sinh biên bản các bước thao tác kèm giải thích "vì sao dùng dụng cụ này", hỗ trợ đào tạo nhân viên mới bằng cách so sánh video của họ với quy trình chuẩn.
Hệ thống camera đeo đầu kèm điện thoại cho người khiếm thị: nhận diện dụng cụ và đối tượng trong tầm tay, mô tả vị trí tương đối (bên trái, phía trước, trong hộp) và trạng thái thay đổi của vật để hướng dẫn thao tác an toàn trong bếp và gia đình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39378
ArXiv Abstract	https://arxiv.org/abs/2609.39378
PDF Download	https://arxiv.org/pdf/2609.39378.pdf
Github Repository	https://github.com/Ropedia/EgoTools

19. Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL (57 votes)

Tác giả: Tong Zheng, Skylar Zhai, Zhan Cheng, TianMing Sha, Youling Huang, et al.

Xuất bản lúc: 2026-09-30

Tag: Reinforcement Learning, LLM Post-training, GRPO, Multi-Reward RL, Reward Aggregation, Policy Optimization

I. Main Problem:

Huấn luyện LLM bằng RL với nhiều phần thưởng đồng thời (đúng đáp án, đúng định dạng, giới hạn độ dài, gọi tool...) gặp vấn đề học không đều giữa các mục tiêu: mô hình ưu tiên nhanh mục tiêu dễ, còn mục tiêu khác học chậm hoặc bị bỏ quên. GDPO (từng chuẩn hóa từng reward theo nhóm rollout trước khi tổng hợp) vẫn không khắc phục được.

GDPO thừa nhận chỉnh trọng số thủ công nhỏ không đáng tin cậy để thay đổi độ ưu tiên này, buộc phải tinh chỉnh cảm tính nhiều lần.
Câu hỏi đặt ra: cơ chế tối ưu nào gây ra sự chênh lệch, và trọng số có thể suy ra từ cơ chế đó thay vì tune tay không?

II. Main Idea:

Phân tích bằng advantage energy — tổng bình phương advantage của một reward trên cả batch. Dưới chuẩn hóa GDPO lý tưởng, energy này tỉ lệ thuận với active-group density (tỉ lệ nhóm rollout mà reward đó tạo ra tín hiệu so sánh khác 0 — tức nhóm có câu trả lời đúng và sai). Điều này phơi bày mất cân bằng tín hiệu tồn dư: reward quá khó (toàn fail) hoặc đã bão hòa (toàn đúng) gần như không cung cấp tín hiệu nào.

Từ đó đề xuất Density-Aware Reward Aggregation (DARA):

Tính density π_k của từng reward trên mỗi batch, đặt π_ref = max_k π_k
Áp dụng hiệu chỉnh nghịch căn bậc hai: w_k = min(w_max, √(π_ref/π_k)) — reward hiếm khi hoạt động được nhân trọng số lớn hơn khi nó thực sự mang lại so sánh hữu ích, cân bằng energy giữa các reward
DARA-Sym: nhân w_k cho cả advantage dương và âm; DARA-Asym (phương pháp chính): chỉ khuếch đại advantage dương, tránh tăng áp lực âm không mong muốn
Trọng số tính động theo từng batch, tự thích ứng khi mức hoạt động của reward thay đổi trong suốt training, không đổi objective tối ưu hóa chính sách

Ví dụ đời thường: giống lớp học mà cô giáo hỏi — bạn giỏi luôn giơ tay (được gọi liên tục), bạn yếu hiếm khi được hỏi nên ít có cơ hội tiến bộ; cô giáo điều chỉnh bằng cách mỗi lần bạn yếu trả lời đúng thì ghi điểm nhân đôi, để mọi học sinh đều nhận được lượng bài tập và phản hồi tương đương nhau.

III. Main Results:

Tool calling (BFCL-v4, Qwen2.5-1.5B/3B): DARA đạt format compliance cao trong ít hơn tới 26% số bước training so với GDPO (bước 14–15 so với 19; GRPO là 34); kết quả cuối vẫn cạnh tranh hoặc tốt hơn GDPO/GRPO về Accuracy và Format.
Toán học (đúng đáp + giới hạn độ dài 4000 token; DeepSeek-R1-1.5B/7B, Qwen3-4B): đạt ngưỡng tuân thủ độ dài 99% ổn định nhanh hơn GDPO 41–65% số bước (ví dụ Qwen3-4B: bước 59/66 so với 111); tốc độ nhanh hơn càng rõ khi reward gần bão hòa — đúng dự đoán lý thuyết.
Tổng quát hóa ra benchmark ngoài (MATH-500, AIME, AMC, Minerva, OlympiadBench): DARA đạt 95% tuân thủ độ dài trên held-out ở bước 50 so với bước 70 của GDPO; DARA-Asym đạt Joint score cao nhất (vừa đúng vừa đủ ngắn) trên cả hai mô hình R1.
Thêm reward thứ ba (giới hạn độ dài suy luận): GDPO bị sụt Format từ 97.11% → 94.39% do nhiễu, DARA gần như không bị ảnh hưởng — chứng tỏ calibration theo density giúp tích hợp mục tiêu mới không chen lấn tín hiệu của reward cũ.
Ablation trọng số cố định: gán cố định trọng số lớn cho reward thưa cũng tăng tuân thủ độ dài nhưng hy sinh rõ rệt accuracy — chứng minh lợi ích của DARA nằm ở cơ chế density-adaptive, không phải chỉ 'nhân đại' một reward.

IV. Conclusion & Future Works:

Bài báo chỉ ra active-group density là một đại lượng đơn giản, đo được, có thể dùng để giải thích và hiệu chỉnh đóng góp của từng reward trong multi-reward RL — một nguồn mất cân bằng tín hiệu tồn dư mà reward-wise normalization của GDPO bỏ sót. DARA chỉ thay đổi bước tổng hợp reward, dễ cắm vào bất kỳ pipeline GRPO-family nào, và cho thấy lợi ích lớn nhất chính ở chế độ reward thưa/gần bão hòa. Hướng mở (suy luận từ nội dung): kiểm tra DARA trên nhiều loại reward hơn (an toàn, preference), kết hợp với các cơ chế reweighting đồng thời (DVAO, SAW), và phân tích chặt hơn trade-off accuracy–compliance giữa hai biến thể Sym/Asym.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng DARA cho multi-reward RL với nhiều hơn 3 reward (an toàn, phong cách, preference) và kiểm chứng liệu hiệu chỉnh density có ngăn được hiện tượng một reward 'nuốt' reward khác trong không gian mục tiêu lớn.
Kết hợp DARA với các phương pháp reweighting đồng thời (DVAO theo độ lệch chuẩn trong nhóm, SAW theo hệ số biến thiên, SA-MRPO theo khoảng cách tới điểm tối đa) thành một khung calibration đa tín hiệu thống nhất cho GRPO đa mục tiêu.
Phân tích lý thuyết đầy đủ cho DARA-Asym: hiện tại kết quả matching energy chỉ chứng minh cho DARA-Sym không cap; lập luật chọn w_max và ngưỡng τ tối ưu theo độ lớn nhóm rollout G và xác suất thành công của reward.

2. Patent:

Hệ thống huấn luyện trợ lý AI trên đám mây tự cân bằng nhiều mục tiêu: mỗi lô câu trả lời mẫu, hệ thống đếm tỉ lệ nhóm có câu đúng lẫn sai cho từng tiêu chí (đúng đáp án, đúng định dạng, đủ ngắn), tự động nhân trọng số cho tiêu chí hiếm khi tạo ra khác biệt — giúp trợ lý trên điện thoại học cả tuân thủ định dạng lẫn chất lượng nội dung nhanh hơn mà không cần kỹ sư chỉnh trọng số thủ công.
Bộ tinh chỉnh phản hồi chatbot an toàn cho ứng dụng nhắn tin: khi tiêu chí an toàn gần như luôn được thỏa (bão hòa) hoặc hiếm khi được thỏa, module tính 'mật độ hoạt động' theo từng lô hội thoại và khuếch đại tín hiệu từ các tình huống biên, đảm bảo mô hình vẫn học được cách xử lý ca khó mà không làm giảm chất lượng trả lời thông thường.
Khung tối ưu đa mục tiêu cho mô hình gọi công cụ (tool calling) trong trợ lý di động: tự đo mức độ thường xuyên mỗi tiêu chí (tên hàm đúng, tham số đúng, định dạng đầu ra đúng) tạo ra sự khác biệt trong nhóm câu trả lời, rồi điều chỉnh điểm số tự động theo từng vòng lặp huấn luyện để rút ngắn thời gian đạt chuẩn định dạng xuống khoảng một phần tư số vòng lặp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.00574
ArXiv Abstract	https://arxiv.org/abs/2610.00574
PDF Download	https://arxiv.org/pdf/2610.00574.pdf
Github Repository	https://github.com/zhaihaotian/DARA

20. Retrieval-Augmented Skill Optimization via Cross-Harness Adaptation (56 votes)

Tác giả: Jaewon Chu, Ji Soo Lee, Jihwan Park, Dohwan Ko, Jeehye Na, et al.

Xuất bản lúc: 2026-09-29

Tag: RAG, Retrieval-Augmented Generation, Agent Skills, Skill Optimization, LLMs, Cross-Harness Adaptation, BM25, In-Context Learning

I. Main Problem:

Các phương pháp tối ưu agent skill hiện nay chủ yếu dựa vào rollout tốn kém của chính tác tử để chỉnh sửa skill, bỏ qua kho tri thức lớn từ hàng triệu skill đã chia sẻ công khai.

Khi truy xuất skill ngoài, skill thường lệch domain và harness: khác tác vụ, khác công cụ, khác cách quan sát và chấm điểm.
Dùng skill ngoài như nguyên trạng có thể làm kết quả tệ hơn cả không dùng skill, vì hướng dẫn không khớp môi trường mục tiêu.
Thách thức cốt lõi là chuyển tri thức thủ tục từ skill nguồn sang cú pháp, đối tượng và ràng buộc của harness đích.

II. Main Idea:

RASO tận dụng kho skill bên ngoài như prior knowledge xuyên suốt quá trình tối ưu, gồm hai giai đoạn bổ trợ nhau:

RASI: khởi tạo skill từ mô tả tác vụ và harness bằng cách sinh yêu cầu cần học, truy xuất các mục skill liên quan, rồi biến thành bài học dùng được ngay mà không cần rollout.
RASU: sau mỗi lần chạy thất bại, phân tích lỗi thành textual gradients, truy xuất phần skill ngoài khắc phục đúng lỗi đó, rồi cập nhật skill; chỉ chấp nhận bản mới nếu tốt hơn trên tập validation.
Cả hai dùng chung Cross-Harness Adaptation: không copy skill nguồn, mà lược bỏ danh từ riêng của domain nguồn, bỏ thao tác không có trong harness đích, giữ lại cấu trúc thủ tục và diễn đạt lại bằng đối tượng, lệnh, đơn vị của harness mục tiêu.
Truy xuất ở mức section thay vì cả tài liệu để giảm nhiễu; thực nghiệm chọn top-5 sections.

Ví dụ đời thường: giống như mời một thợ lành nghề từ xưởng khác sang: không photocopy quy trình cũ của anh ta, mà hỏi kinh nghiệm rồi viết lại thành cách dùng đúng máy móc, dụng cụ và quy ước ở xưởng mình; lúc mới vào thì soạn sẵn sách hướng dẫn, lúc máy trục trặc thì tra kinh nghiệm cũ và sửa cho khớp dây chuyền hiện tại.

III. Main Results:

Thử nghiệm trên 4 benchmark: OfficeQA, SpreadsheetBench, ALFWorld, WebShop; với GPT-5.6-Luna và Qwen-3.5-9B.
Khởi tạo không rollout: RASI vượt Retrieval-Free Skill Initialization trên cả hai mô hình. Với GPT-5.6-Luna: +5.63 OfficeQA, +4.77 SpreadsheetBench, +3.24 ALFWorld, +1.17 WebShop. Với Qwen-3.5-9B: +5.61, +2.74, +5.72, +10.73.
Tối ưu có rollout: RASO vượt TextGrad, GEPA, SkillOpt, WikiSkill. So với baseline mạnh nhất, GPT-5.6-Luna đạt +3.49 OfficeQA, +6.31 SpreadsheetBench, +1.49 ALFWorld, +1.07 WebShop; Qwen-3.5-9B đạt +4.85, +1.79, +7.47, +11.30.
Ablation: dùng cả RASI và RASU cho lợi ích bổ sung, tăng +8.33 trên OfficeQA và +11.66 trên SpreadsheetBench so với cài đặt không truy xuất.
Cross-Harness Adaptation quan trọng: RASI tăng tới +7.74 trên SpreadsheetBench; RASU tăng tới +5.47 trên SpreadsheetBench khi có adaptation.
Chỉ cần 1% kho skill đã cải thiện rõ; mở rộng kho nói chung tiếp tục giúp. Top-5 sections là điểm ngọt; tăng lên 10 hơi giảm do nhiễu.
Ví dụ định tính: kinh nghiệm từ ảnh vệ tinh được chuyển thành cách xử lý nhóm rỗng trong bảng tính, tránh lỗi dịch chỉ số do thiếu nhóm dữ liệu.

IV. Conclusion & Future Works:

Bài báo kết luận rằng kho skill bên ngoài nên được dùng như tri thức nền cho cả khởi tạo lẫn cập nhật, không chỉ là nguồn tham khảo một lần. Điểm then chốt là Cross-Harness Adaptation: nó giữ lại ý đồ thủ tục nhưng viết lại bằng ngôn ngữ của harness đích, giúp tri thức chuyển domain mà không cần skill nguồn khớp hoàn toàn. Kết quả cho thấy lợi ích đến từ đa dạng tri thức ngoài được thích ứng, không phụ thuộc vào một tài liệu nguồn cụ thể. Bài báo không nêu chi tiết hướng mở rộng; các hướng tự nhiên từ kết quả là thuật toán truy xuất tốt hơn ở mức section, cơ chế chọn lọc tri thức khi kho skill tiếp tục phình to, và đánh giá sâu hơn mức độ lệch harness mà adaptation vẫn xử lý được.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu skill đa harness bằng truy xuất phân mảnh: mở rộng truy xuất section-level với tín hiệu phản hồi từ rollout để chọn đúng đoạn tri thức cần sửa từng lỗi cụ thể.
Thích ứng cross-harness có kiểm chứng: học cách giữ lại sự thật về công cụ chỉ khi được mô tả harness xác nhận, đồng thời giảm hallucination khi chuyển thủ tục giữa các môi trường agent.
Kho skill công cộng như bộ nhớ thủ tục cho agent: nghiên cứu cách lập chỉ mục, phiên bản hóa và đánh giá chất lượng hàng triệu skill để hệ thống biết khi nào nên dùng tri thức ngoài và khi nào nên tự học từ rollout.

2. Patent:

Ứng dụng điện thoại hỗ trợ làm việc văn phòng: khi người dùng chọn tác vụ như sửa bảng tính, hợp nhất tài liệu hoặc tra dữ liệu công ty, ứng dụng truy xuất hướng dẫn từ kho ngoài rồi viết lại thành các bước dùng đúng ứng dụng, đúng quyền truy cập và đúng định dạng file trên điện thoại.
Trợ lý kỹ thuật trên điện thoại cho nhiều loại máy: kỹ thuật viên chụp mã lỗi hoặc quay video hiện trường; hệ thống tìm kinh nghiệm sửa chữa từ ngành khác, chuyển thành checklist an toàn và thao tác phù hợp với loại máy, phiên bản firmware và công cụ đang có trong tay.
Hệ thống tự cải thiện quy trình cho ứng dụng di động doanh nghiệp: mỗi lần nhân viên thực hiện tác vụ thất bại, hệ thống ghi nhận lỗi, tìm quy trình tương tự từ kho nội bộ hoặc công cộng, dịch sang đúng màn hình, quyền hạn và luật công ty, rồi đề xuất bản hướng dẫn mới chỉ khi bản mới được kiểm thử tốt hơn bản cũ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38024
ArXiv Abstract	https://arxiv.org/abs/2609.38024
PDF Download	https://arxiv.org/pdf/2609.38024.pdf
Github Repository	N/A

21. Video Generation Models: A Survey of Post-Training and Alignment (55 votes)

Tác giả: Chaoyu Li, Xiaoyi Gu, Yogesh Kulkarni, Eun Woo Im, Mohammadmahdi Honarmand, et al.

Xuất bản lúc: 2026-09-30

Tag: Video Generation, Diffusion Models, Diffusion Transformers, Alignment, Post-Training, RLHF, DPO, Reward Model, Preference Optimization, Knowledge Distillation

I. Main Problem:

Các mô hình sinh video pretrained quy mô lớn có generative prior rất mạnh nhưng không tự đảm bảo tuân thủ ý định người dùng, duy trì tính nhất quán thời gian, hay thỏa mãn ràng buộc vật lý và an toàn. Video khác ảnh/văn bản ở chỗ:

lỗi tích lũy theo thời gian: sai lệch nhỏ ở từng frame chồng lên nhau thành artifact nghiêm trọng trong clip dài
motion-appearance coupling: chuyển động và hình dạng bị ràng buộc, khó tinh chỉnh riêng
trade-off đa mục tiêu: tính ổn định vs. tính sinh động, chất lượng perceptual vs. plausibility vật lý thường xung đột
supervision thiếu: nhãn cho thuộc tính temporal (motion realism, temporal coherence) khan hiếm và đắt, buộc dùng proxy metric hoặc evaluator học được — gây bias.

Hậu quả thực tế: identity drift trong video dài, tương tác vật lý phi thực tế, motion không ổn định, không theo prompt phức tạp.

II. Main Idea:

Survey đề xuất khung thống nhất gọi là post-training: mọi kỹ thuật tối ưu/thích ứng/điều khiển áp dụng sau pretraining để thay đổi hành vi mô hình mà không train lại từ đầu. Từ góc nhìn này, các phương pháp được phân loại theo cách tín hiệu alignment được ép buộc thành implicit vs. explicit, tổ chức thành 4 nhánh:

Supervised Fine-tuning (implicit): instruction tuning, domain adaptation, điều khiển đa điều kiện (pose, depth, camera), cá nhân hóa/phong cách, xây dựng dữ liệu (Tune-A-Video, VideoComposer, Ctrl-Adapter, LoRA...)
Self-training & Distillation (implicit): dùng dữ liệu tự sinh hoặc teacher-student để cải thiện robustness/efficiency (Zo3T, Rolling Forcing, CausVid...)
Preference- & Reward-based (explicit): tối ưu trực tiếp bằng tín hiệu đánh giá — RL (GRPO, PPO), DPO-style preference optimization, video reward model (VideoDPO, Seedance 1.0, VideoReward...)
Inference-time (hybrid): hướng dẫn/guidance và tinh chỉnh lặp tại deployment không cập nhật tham số (guidance-based alignment, self-editing)

Điểm then chốt: alignment là phổ chứ không phải nhị phân — khác nhau ở mức ép buộc trực tiếp/mạnh/đáng tin, không phụ thuộc cơ chế train hay inference.

Ví dụ đời thường: giống học viên sau khóa học lý thuyết rộng (pretraining) được đưa qua khóa thực hành rèn nghề với sếp phản hồi từng việc: người chỉ học qua tài liệu mẫu (fine-tuning), người tự luyện theo bản thân gương mẫu (self-training), người được chấm điểm thưởng-phạt sau từng sản phẩm (reward-based), và khi làm việc thật vẫn tra sổ tay để tự chỉnh từng bước (inference-time).

III. Main Results:

Đây là survey toàn diện đầu tiên về post-training và alignment cho video generation, xuất bản tại TMLR (OpenReview YlUEWLESIu), kèm GitHub repo tổng hợp công trình.
Đưa ra taxonomy 4 nhánh (supervised fine-tuning, self-training/distillation, preference/reward, inference-time) phân biệt implicit vs. explicit alignment theo cơ chế ép buộc tín hiệu.
Chỉ ra backbone dominanthiện nay là Latent Diffusion Transformers (DiT) với Flow Matching (Wan, HunyuanVideo, OpenSora); autoregressive (VideoPoet) có lợi thế là tái dùng trực tiếp thuật toán LLM alignment như PPO/DPO.
Đặc tả 4 chiều alignment riêng của video: instruction following/controllability, temporal consistency & identity preservation, motion quality & physical plausibility, safety.
Tổng hợp hệ sinh thái thực nghiệm: bộ dữ liệu post-training (OpenS2V-5M, OpenHumanVid, EgoVid-5M, SafeSora...), benchmark (VBench, VEG-Bench, VideoGen-RewardBench...) và bộ đánh giá (VideoScore, EvalCrafter, K-Sort Arena...).
Phân tích mẫu multi-stage pipeline trong các hệ thống hiện đại: các phương pháp post-training được chồng lớp qua nhiều giai đoạn thay vì dùng đơn lẻ.

IV. Conclusion & Future Works:

Bài khảo sát kết luận rằng lĩnh vực đang chuyển từ cải tiến dựa trên scaling thuần túy sang chiến lược alignment mô-đun, dẫn hướng bởi tín hiệu. Các thách thức mở then chốt:

thiết kế reward khả mở (scalable reward design): reward model video còn yếu, dễ bị reward hacking
nhất quán temporal dài hạn (long-horizon): identity drift và lỗi tích lũy chưa giải quyết triệt để
trade-off stability–expressiveness: giữ video sinh động mà không mất plausibility vật lý
an toàn có ý thức (safety-aware generation): tính đến ràng buộc an toàn ngay trong quá trình align
supervision cho thuộc tính temporal còn thiếu, cần evaluator tin cậy hơn proxy metric hiện tại.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu thiết kế reward model video chống reward hacking, kết hợp tiêu chí có thể kiểm chứng (physical/causal consistency) với preference học được, cho các phương pháp GRPO/DPO trên DiT video.
Phát triển phương pháp post-training cho video dài hạn xử lý trực tiếp positional encoding và token position để loại bỏ temporal drift mà không phá vỡ flow đã học.
Khung đánh giá thống nhất cho alignment video: benchmark đa mục tiêu đo đồng thời instruction adherence, temporal consistency, motion realism và safety, thay vì từng metric rời rạc như hiện nay.
Kết hợp self-training/distillation với reward-based alignment thành pipeline nhiều giai đoạn có lý thuyết về hội tụ và trade-off stability–expressiveness.

2. Patent:

Ứng dụng điện thoại tạo video theo phong cách cá nhân: người dùng tải vài ảnh/video của mình, hệ thống fine-tune nhẹ (LoRA) lên mô hình video trên đám mây để nhân vật giữ đúng gương mặt, trang phục trong mọi clip sinh ra, chống biến dạng theo thời gian.
Công cụ chỉnh sửa video bằng lời nói trên điện thoại: người dùng nói 'đổi áo thành màu đỏ, giữ nguyên chuyển động', hệ thống dùng kỹ thuật video-to-video post-training để sửa đúng ý đồ mà không phá cấu trúc cảnh gốc.
Hệ thống kiểm duyệt video AI tự động cho nền tảng mạng xã hội: dùng video reward model đã align để chấm từng video AI-generated về độ an toàn, tính vật lý hợp lý và nhất quán nhân vật trước khi đăng, chặn nội dung lỗi.
Trợ lý quay phim ảo điều khiển bằng cử chỉ: người dùng trên điện thoại điều khiển quỹ đạo camera và tư thế nhân vật bằng ngón tay, hệ thống sinh video đúng góc quay và động tác nhờ kỹ thuật điều khiển đa điều kiện (pose + camera trajectory).

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.00812
ArXiv Abstract	https://arxiv.org/abs/2610.00812
PDF Download	https://arxiv.org/pdf/2610.00812.pdf
Github Repository	https://github.com/people-robots/Awesome-Video-Generation-Post-Training

22. InterEvolve: Test-Time Evolution of Reward Programs for Humanoid Loco-Manipulation (55 votes)

Tác giả: Zhuo Lin, Sirui Xu, Liuyu Bian, Yu-Xiong Wang, Liang-Yan Gui

Xuất bản lúc: 2026-10-01

Tag: Humanoid Robotics, Loco-Manipulation, Reward Design, LLM Agents, Test-Time Scaling, Forward-Backward Model, Reinforcement Learning

I. Main Problem:

Robot humanoid được huấn luyện cho các kỹ năng cụ thể (đẩy, nâng, khiêng hộp) không làm được tác vụ mới nằm ngoài dữ liệu huấn luyện — ví dụ lật hộp sang mặt khác — dù các động tác cần thiết đã nằm sẵn trong khả năng vận động của nó. Các giao diện tác vụ hiện tại (motion reference, goal state, skill label) quá cứng nhắc:

thiết kế reference cho tương tác tinh tế, nhiều giai đoạn (contact-rich) rất khó
mỗi lần sửa reward truyền thống lại phải huấn luyện lại policy, khiến việc thử nhiều phương án trở nên chậm và tốn kém.

II. Main Idea:

InterEvolve giữ nguyên bộ điều khiển (frozen controller) và tiến hóa chương trình phần thưởng (reward program) tại test-time qua hai thành phần:

Reward program: tác vụ được viết thành chuỗi các giai đoạn (stage), mỗi stage gồm hàm reward + điều kiện hoàn thành + các hằng số tinh chỉnh được — vừa đủ diễn đạt tương tác nhiều giai đoạn, vừa dễ chỉnh sửa sau mỗi lần thử.
Object-aware Forward-Backward behavioral foundation model: mở rộng mô hình FB chỉ quan sát cơ thể bằng các object residual (nhánh đọc đặc trưng vật thể gắn lên mạng cơ thể đóng băng, huấn luyện trên dữ liệu human-object interaction), để reward khác nhau về vật thể không còn gập thành một hành vi.
Vòng lặp tiến hóa hai tầng: LLM agent sửa cấu trúc chương trình (reward terms, stages) theo phản hồi thực thi; CMA-ES tinh chỉnh hằng số (trọng số, ngưỡng). Mỗi ứng viên được kiểm chứng trên ~192 môi trường mô phỏng chạy song song qua một verifier cố định, và chương trình thành công được lưu vào skill library để tác vụ sau tái sử dụng.

Ví dụ đời thường: giống đầu bếp giỏi làm món mới không cần học lại dao kéo — chỉ cần viết công thức thử, nếm thử sau mỗi lần nấu rồi chỉnh gia vị (CMA-ES) và cả cách phối món (LLM), đồng thời lưu công thức thành công vào sổ tay để lần sau nấu nhanh hơn.

III. Main Results:

Reference tracking: evolved reward nâng success rate lên 72%, vượt cả tracker chuyên dụng ULTRA (66%) và bản không tiến hóa (60%); mô hình FB object-aware vượt trội hẳn bản body-only BFM-Zero (8% SR).
Tác vụ goal-conditioned (8 nhóm tác vụ): InterEvolve đạt 86.5% SR, gấp hơn 2 lần chương trình cố định được tinh chỉnh tốt nhất (34.6%); chương trình do người viết chỉ đạt 18% sau khi tune.
Ablation: bỏ cấu trúc multi-stage gây sụt mạnh nhất (86.5% → 44.7%), tiếp theo là bỏ CMA-ES (→ 51.6%) — chứng tỏ cách chia giai đoạn và hiệu chỉnh hằng số là cốt lõi.
Skill library: tác vụ composite (relocate, stack, carry-place-kick) gần như không giải được khi không có library (0-1/10) nhưng đạt 4-8/10 với library đầy đủ.
Thực tế: chương trình tiến hóa trong mô phỏng chạy hoàn toàn tự chủ trên Unitree G1 thật, chỉ dùng camera egocentric + FoundationPose ước lượng pose vật thể; còn demo sắp xếp 6 hộp liên tiếp (12 giai đoạn) với sai số cuối dưới 11 cm.

IV. Conclusion & Future Works:

InterEvolve đề xuất phân chia lao động mới: mô hình behavioral foundation học cách vận động một lần, còn tri thức tác vụ sống ngoài trọng số mô hình — trong các reward program mà LLM có thể đọc, sửa và kiểm chứng bằng thực thi. Lý luận và điều khiển cải thiện trên hai tầng thời gian riêng (controller với thêm dữ liệu tương tác; agent với thêm test-time search và thư viện chương trình lớn dần), không cần huấn luyện lại bên nào. Hướng mở: dùng simulator nhanh hơn (mjlab thay Isaac Lab) để rút ngắn thời gian tiến hóa, và mở rộng sang tác vụ dài hạn, nhiều vật thể hơn.

V. Brainstorming Space:

1. Publish Papers:

Tiến hóa reward program cho điều phối đa robot cộng tác: các chương trình tiến hóa riêng lẽ được hợp nhất thành giao thức tương tác chung, kiểm chứng qua mô phỏng song song.
Kết hợp skill library với truy xuất theo ngữ cảnh cảnh vật thể 3D, để tác vụ mới tự chọn chương trình cũ phù hợp theo độ tương đồng contact mode thay vì theo mô tả ngôn ngữ.
Mở rộng object-aware FB model lên tương tác nhiều vật thể đồng thời và bàn tay đa ngón, với residual được huấn luyện trên dữ liệu cầm-nắm tinh tế quy mô lớn.

2. Patent:

Hệ thống robot giao hàng tự thích ứng: nhân viên kho ra lệnh bằng giọng nói (vd 'đẩy thùng tới vạch, không dùng tay'); hệ thống tự sinh chương trình thưởng-phạt nhiều giai đoạn, chạy thử trong mô phỏng và chỉnh theo kết quả, rồi thực thi ngay trên robot thật mà không cần lập trình lại.
Ứng dụng điện thoại dạy robot gia đình tác vụ mới: người dùng mô tả việc cần làm; điện thoại điều phối LLM viết 'công thức thưởng' nhiều giai đoạn, kiểm thử ảo trên mô hình robot trong vài phút, lưu công thức thành công vào thư viện để lần sau gọi lại một chạm.
Module tự hiệu chuẩn cho robot sản xuất khi đổi dụng cụ: robot tự thử các chiến lược tiếp xúc với vật mới qua mô phỏng nhanh, tiến hóa chương trình điều khiển và lưu lại thành kỹ năng tái sử dụng cho các đơn hàng tương tự.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.02196
ArXiv Abstract	https://arxiv.org/abs/2610.02196
PDF Download	https://arxiv.org/pdf/2610.02196.pdf
Github Repository	N/A

23. AutoGUIWorld: Image Generators as Visual World Models for GUI Agent (54 votes)

Tác giả: Cheng Yang, Yifan Wu, Yutao Huang, Zhaohua Zhang, Beiduo Chen, et al.

Xuất bản lúc: 2026-10-01

Tag: GUI Agents, World Models, Image Generation, Data Synthesis, Visual Grounding, Computer Use

I. Main Problem:

Các tác nhân GUI cần dữ liệu tương tác chất lượng cao để học cách màn hình thay đổi sau từng hành động, nhưng dữ liệu thật bị giới hạn bởi số ứng dụng, trạng thái giao diện và quy trình có thể cài đặt/chạy được. Muốn mở rộng bao phủ sang phần mềm chuyên ngành như CAD, thiết kế điện tử, xử lý âm thanh hay khoa học phải trả chi phí cài đặt, cấu hình, khởi tạo và duy trì môi trường rất lớn. Dữ liệu tổng hợp cũng không chỉ cần trông giống thật: ảnh sau hành động phải đúng hệ quả của hành động, giữ nguyên phần không liên quan, và có tọa độ mục tiêu cho các thao tác trỏ/chạm.

II. Main Idea:

AutoGUIWorld tách việc quy hoạch tác vụ khỏi việc dựng ảnh chuyển trạng thái để tạo quỹ đạo GUI mà không cần mở phần mềm thật. Quy trình chính:

Lấy mẫu thế giới GUI có cấu trúc: chọn hệ điều hành, tỉ lệ màn hình, quy ước giao diện, hệ sinh thái ứng dụng, phong cách màu sắc, hình nền, kiểu chữ, số cửa sổ, bố cục, nội dung và các điều khiển hiển thị.
Tạo ảnh gốc: Image2 dựng ảnh màn hình đầu tiên từ mô tả trạng thái có cấu trúc.
Sinh nhiệm vụ theo ảnh gốc: chỉ dẫn được tạo sau khi đã có màn hình ban đầu, tránh yêu cầu liên quan tới ứng dụng hoặc cửa sổ không tồn tại.
Meta Planner lập chuỗi hành động nguyên tử như click, gõ phím, cuộn, kéo, kèm mô tả hậu quả trực quan mong muốn.
Voyager + Image2 rollout theo vòng lặp: Voyager quan sát ảnh hiện tại và hành động đã lên kế hoạch, sinh prompt dựng ảnh; Image2 chỉnh sửa ảnh hiện tại thành màn hình kế tiếp.
Grounding và lọc chất lượng: LocateAnything xác định vùng mục tiêu để gán điểm chạm; các bước lỗi hoặc chuyển tiếp kém bị loại bỏ.

Ví dụ đời thường: giống huấn luyện nhân viên mới bằng mô phỏng — người giám sát nói “bấm nút này thì cửa sổ kia phải mở”, họa sĩ vẽ lại màn hình sau từng thao tác nhưng giữ nguyên phần còn lại, rồi người kiểm tra đánh dấu đúng vị trí cần bấm và loại các cảnh vẽ sai.

III. Main Results:

Tạo 79,266 mẫu huấn luyện cấp bước có gán vị trí hành động, phân bố trên Ubuntu 24,250, Windows 14,778, macOS 5,029 và Chrome 35,209.
Fine-tune Qwen3.5-35B-A3B bằng dữ liệu AutoGUIWorld nâng OSWorld mean task score từ 33.0% lên 40.8%.
Trên ScienceBoard, tỉ lệ hoàn thành tác vụ tăng từ 14.0% lên 32.2%; tác giả báo cáo cải thiện trên cả bốn benchmark tương tác.
So sánh biểu diễn ảnh bằng Qwen cho thấy khoảng cách dữ liệu tổng hợp–thật nằm trong hoặc gần biên độ biến thiên giữa các nguồn dữ liệu thật: tỉ lệ 0.59 trên macOS, 0.85 trên Windows, 1.14 trên Web, 1.24 trên Ubuntu.
Kiểm chứng độc lập bằng DINOv2 cho kết quả tương đồng: Windows gần dữ liệu thật, Web ở cùng quy mô, macOS trong khoảng nguồn thật, còn Ubuntu là miền còn khoảng cách trực quan rõ nhất.

IV. Conclusion & Future Works:

Kết quả cho thấy bộ sinh ảnh tiền huấn luyện có thể đóng vai trò visual world model cho tác nhân GUI khi được điều khiển bằng kế hoạch tác vụ và kiểm soát chuyển tiếp. Điểm mấu chốt không phải chỉ tạo ảnh giống thật, mà là tạo chuỗi quan sát–hành động–quan sát mạch lạc, giữ ngữ cảnh qua nhiều bước và gán nhãn không gian đủ tốt để huấn luyện chính sách. Trong phần trích đoạn chưa thấy lộ trình tương lai chi tiết; các hướng được gợi mở trực tiếp từ phân tích là cải thiện độ trung thực chuyển tiếp, kiểm soát chất lượng chặt hơn và thu hẹp khoảng cách trực quan ở các miền còn lệch như Ubuntu.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế phản hồi tự kiểm chứng cho mô hình ảnh khi dùng làm world model: mỗi bước sinh màn hình không chỉ dựng ảnh mới mà còn tự phát hiện mâu thuẫn về bố cục, văn bản và trạng thái điều khiển rồi sửa lại trước khi đưa vào huấn luyện.
Phát triển thang đo interaction fidelity riêng cho dữ liệu GUI tổng hợp, đo mức độ hành động thực sự dẫn tới thay đổi mong muốn thay vì chỉ đánh giá độ giống ảnh tổng thể.
Mở rộng phương pháp sang các môi trường tính toán chuyên sâu như CAD, phân tích dữ liệu, thiết kế mạch và sản xuất âm thanh, nơi trạng thái chuyên ngành và ràng buộc giữa các bước rất phức tạp.
Kết hợp dữ liệu tổng hợp với ít dữ liệu thật theo cách chọn lọc để kiểm tra xem mô hình ảnh có thể bù đắp phần nào chi phí thu thập dữ liệu từ phần mềm hiếm hoặc khó cài đặt.

2. Patent:

Hệ huấn luyện trợ lý điện thoại không cần mở ứng dụng thật: tạo nhiều màn hình điện thoại giả lập từ mô tả hệ điều hành, ứng dụng và trạng thái giao diện, sau đó tự sinh thao tác chạm/vuốt và ảnh kết quả để dạy trợ lý cách dùng ứng dụng mới trước khi phát hành.
Công cụ kiểm thử tự động giao diện ứng dụng di động: hệ thống tạo chuỗi thao tác người dùng, dựng lại màn hình sau từng thao tác, đánh dấu nút cần chạm và phát hiện lỗi hiển thị hoặc thay đổi trạng thái bất thường để giảm số lượt chạy thử trên máy thật.
Máy tạo dữ liệu huấn luyện cho kỹ thuật viên vận hành phần mềm: mô phỏng các phần mềm kỹ thuật đắt tiền bằng cách vẽ lại màn hình theo kịch bản, cho phép luyện quy trình nhiều bước mà không phải mua giấy phép hoặc cài đặt toàn bộ hệ thống.
Trợ lý học cách dùng phần mềm trên máy tính của người dùng: ghi lại mô tả trạng thái giao diện, sinh các phương án thao tác, mô phỏng kết quả và chỉ đề xuất hành động khi chuỗi mô phỏng giữ đúng ngữ cảnh và không phá vỡ dữ liệu hiển thị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.01215
ArXiv Abstract	https://arxiv.org/abs/2610.01215
PDF Download	https://arxiv.org/pdf/2610.01215.pdf
Github Repository	https://github.com/ImYangC7/AutoGUIWorld

Tác giả: Valeriy Vyaltsev, Anton Andreychuk, Taisia Zlotnikova, Konstantin Yakovlev, Aleksandr Panov, et al.

Xuất bản lúc: 2026-09-25

Tag: Multi-Agent Pathfinding, Decentralized Coordination, Imitation Learning, Multi-Agent Reinforcement Learning, Iterative Refinement, Diffusion-inspired Sampling, Learned Communication

I. Main Problem:

Trong bài toán multi-agent pathfinding phân tán, mỗi agent chỉ thấy cục bộ nhưng phải chọn hành động đồng thời để tránh va chạm và tới đích. Các policy học theo kiểu truyền thống, kể cả khi có communication, vẫn sample hành động cuối cùng độc lập cho từng agent.

Điểm yếu cấu trúc: khi có nhiều joint action đều hợp lệ trong cùng một ngữ cảnh, phân phối joint là multimodal. Independent sampling có thể ghép các lựa chọn cục bộ hợp lý thành joint action không tương thích, gây stall hoặc collision ngay cả khi mỗi per-agent distribution đã học đúng. Ở corridor tối thiểu, chỉ 2/4 kết hợp là hợp lệ; sampling độc lập gần như đều xác suất nên chỉ ~50% joint action hợp lệ. Communication làm giàu context, nhưng sau khi transcript cố định, sampling cuối vẫn không biểu diễn được phụ thuộc còn lại giữa các agent.

II. Main Idea:

DMM (Decentralized Master-Mind) thay one-shot action sampling bằng iterative intent refinement qua K vòng communication. Mỗi agent:

khởi tạo action intent ngẫu nhiên trong mean-centered log-space từ Dirichlet prior
mỗi vòng gửi intent hiện tại + learned message feature cho neighbor
dùng observation latent cố định và neighbor context để tạo action logits, sample một discrete vote
cập nhật intent theo dạng lũy thừa: giữ phần cũ, hòa vote mới vào trước khi vòng sau tiếp tục
sau K vòng, commit action là argmax của intent cuối

Điểm then chốt: thứ được refine cũng chính là thông tin được communicate, nên các agent nhìn thấy intent đang hình thành của nhau và điều chỉnh vote trước commitment. DMM được pretrain bằng imitation trên expert MAPF với teacher forcing cho intent ban đầu và vote từng vòng, rồi fine-tune bằng MICPO: critic-free group-relative RL so các rollout trong cùng matched group, tối ưu clipped objective theo từng agent và từng refinement round, kèm KL về reference policy để giữ phối hợp từ imitation.

Ví dụ đời thường: giống hai người trong hành lang hẹp không ai được quyết định bước ngay, mà cùng đưa ra ý định tạm “tôi nhường” hay “tôi đi”, nhìn ý định đối phương rồi chỉnh lại vài nhịp cho tới khi cả hai cùng chọn một kịch bản không đụng nhau.

III. Main Results:

POGEMA standalone policy: DMM nhìn chung giữ success rate cao hơn và SoC ratio thấp hơn các baseline học được; so controlled với cùng backbone, DMM-3M thường tốt hơn LC-MAPF-3M khi số agent tăng.
Team size lớn: ở Warehouse 192 agents, DMM-MICPO-3M đạt success 1.000 so với LC-MAPF-3M 0.938; ở Cities-Tiles 256 agents, 0.922 so với 0.805.
Hiệu quả tính toán: DMM-0.8M chỉ có 763,296 tham số, khoảng 4.25× nhỏ hơn DMM-3M, nhưng vẫn cạnh tranh và được dùng cho thí nghiệm scale lớn; MICPO cải thiện cả hai biến thể trên POGEMA.
MovingAI với action processing: DMM fine-tuned bằng MICPO giải 1,598/1,600 tasks, coverage cao nhất trong các method được đánh giá, với solution cost gần các baseline mạnh nhất.
Corridor probe: tăng test-time refinement depth từ K=4 lên 8 và 12 nâng valid joint-action frequency của DMM từ 94.8% lên 99.6% và 99.9%, trong khi các baseline independent sampling chỉ quanh ~50%.
Scale cực lớn: DMM-MICPO-0.8M kết hợp CS–PIBT shielding và GPU-resident execution giải được các instance có hơn 1,000,000 agents trong môi trường giàu obstacles.

IV. Conclusion & Future Works:

Kết luận chính: phối hợp joint action trong MAPF phân tán không chỉ cần communication để làm giàu quan sát, mà cần một cơ chế để các stochastic choice ảnh hưởng lẫn nhau trước commitment. DMM chứng minh rằng việc refine intent ở mức round-level có thể cải thiện joint-action coordination mà vẫn giữ decentralized execution, và có thể scale tới hàng triệu agents khi kết hợp shielding cùng triển khai trên GPU.

Phần trích chưa nêu future work riêng; các điểm mở rõ nhất từ thiết lập là giảm chi phí shielding khi mật độ agent rất cao, tích hợp search/sửa lỗi sau khi đã có solution, và kiểm chứng mạnh hơn ngoài các map lưới obstacle-rich.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu ablation hệ thống về số vòng refinement, nội dung intent được truyền đi, và mức teacher forcing cần thiết để duy trì tính hữu ích của intent trajectory trong communication.
Mở rộng MICPO sang các dạng reward shaped khác ngoài off-goal duration và blocked moves, kiểm chứng mức ổn định khi reward components có thang đo rất khác nhau.
Kết hợp DMM với cơ chế repair/search sau commitment để nâng solution quality trên benchmark lớn mà không phá vỡ tính decentralized của policy chính.

2. Patent:

Hệ điều phối robot trong nhà kho hẹp: mỗi robot gửi ý định di chuyển tạm cho robot lân cận qua mạng nội bộ, cùng chỉnh vài vòng rồi mới di chuyển thật để giảm đứng chờ và va chạm ở lối đi một hàng.
Ứng dụng trên điện thoại cho điều phối người đi bộ hoặc xe nhỏ trong hội chợ/sân bay: điện thoại định kỳ phát tín hiệu ý định rẽ/nhường, điện thoại khác phản hồi, sau vài nhịp hệ thống gợi ý hướng đi chung tránh điểm nghẽn.
Module an toàn cho đội robot giao hàng ngoài đường phố: các robot trao đổi kế hoạch tạm ở ngã tư hoặc vỉa hè hẹp, chỉ commit khi tập hợp ý định cho thấy không có xung đột lộ trình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32019
ArXiv Abstract	https://arxiv.org/abs/2609.32019
PDF Download	https://arxiv.org/pdf/2609.32019.pdf
Github Repository	https://github.com/CognitiveAISystems/DMM

25. Scaling and Distilling Text Embeddings for Better Diffusibility (50 votes)

Tác giả: Zekai Zhang, Yunjie Tian, Yanjin He, Xiaoyan Zhang, Dongdi Zhao, et al.

Xuất bản lúc: 2026-10-01

Tag: Diffusion Language Models, Text Embeddings, Latent Diffusion, Knowledge Distillation, Soft Labels, Text Generation

I. Main Problem:

Các mô hình ngôn ngữ diffusion (DLM) liên tục hoạt động bằng cách áp latent diffusion lên text embedding, rồi decode embedding tạo ra về token. Vấn đề trọng tâm: embedding nào tạo ra latent space dễ diffuse nhất ("diffusible")? Bài báo phát hiện hai thách thức:

Embedding yếu (như T5-small) khiến chất lượng sinh kém, Gen. PPL cao.
Embedding mạnh (T5Gemma-2) thì quá mang tính phân biệt (discriminative): ngay cả các từ đồng nghĩa, hợp lý tại cùng một vị trí cũng bị đẩy xa nhau trong không gian embedding. Quỹ đạo sampling liên tục vì vậy thường rơi vào khoảng trống giữa các điểm rời rạc — tạo ra "invalid embedding" không đại diện cho từ nào, decode sai hoặc thiếu tự tin.
Trong một câu 1024 token sinh ra, có khoảng 142 vị trí bất định, 109 vị trí invalid.

II. Main Idea:

Tác giả thực hiện hai bước trong khi giữ nguyên khung diffusion (ELF) và chỉ thay embedding:

Scaling: đổi sang embedding mạnh hơn cùng họ — T5-small/base → T5Gemma-1 → T5Gemma-2. Diffusibility tăng dần theo chất lượng pretraining (không chỉ theo số tham số); T5Gemma-2 giảm Gen. PPL khoảng 40% so với T5-small ở cùng entropy.
Distillation: chưng cất T5Gemma-2 thành một student encoder bằng cách cho student học phân phối xác suất decode của teacher decoder (soft labels) qua KL divergence, thay vì nhãn one-hot. Vì soft label trải xác suất trên nhiều từ đồng nghĩa hợp lý, student học đặt các embedding ứng viên gần nhau hơn, tạo vùng liên tục nên quỹ đạo diffusion gần như luôn đáp xuống một từ cụ thể — trong khi từ không liên quan vẫn bị giữ xa.

Ví dụ đời thường: giống chọn điểm thi thảy phi tiêu — nếu các bia hợp lý dựng rời rạc cách xa nhau (T5Gemma-2 thuần), phi tiêu rất dễ cắm xuống đất giữa các bia (invalid); còn student kéo các bia đồng nghĩa sát lại thành một cụm rộng liên tục, ném lệch đến đâu cũng trúng ít nhất một bia hợp lệ.

III. Main Results:

OWT-1024 (ELF-M, 327M params): Student đạt Gen. PPL 17.8 ở entropy của real text (5.45), so với 19.3 của T5Gemma-2 thuần và vượt GPT-2-M (20.8) — một mô hình AR cùng quy mô.
ELF-B: Student 31.2 vs 38.5 (T5Gemma-2), vượt GPT-2-S và mọi DLM liên tục trước đó (LDLM 34.3, CoBit-S 37.3).
Giảm lỗi embedding mạnh: từ 142 vị trí bất định (109 invalid) xuống 42 bất định (12 invalid) mỗi câu; MAUVE tăng từ 0.86 → 0.89.
Ổn định hơn khi sampling: T5Gemma-2 collapse ở NFE thấp (16–64, thậm chí trộn ngôn ngữ), student sinh tốt trên toàn dải NFE 64–512; round-trip denoising của student 0/40 token invalid so với 15/40 của teacher.
Khái quát ra dữ liệu mới: cải thiện cả trên LM1B (không phải dữ liệu distill); chi phí encode giảm một nửa so với teacher.
Ablation: chỉ KL với soft labels mới hiệu quả — CE one-hot và MSE embedding đều không đạt được entropy của real text; student khởi tạo ngẫu nhiên không hội tụ. Đánh đổi: sụt nhẹ sức mạnh phân biệt (SST-2 từ 89.4 → 78.1).
Hiệu quả: ELF-M sinh 1024 token trong 1.5s (NFE 64) so với 10.7s của GPT-2-M với 1024 bước tuần tự.

IV. Conclusion & Future Works:

Bài báo cho thấy continuous DLM có thể cùng tiến hóa với các foundation model qua hai con đường: scaling embedding để khai thác representation học mạnh hơn, và distillation với soft labels để khắc phục tính rời rạc thừa kế từ văn bản của embedding — hiện tượng mà các điểm embedding không lấp đầy không gian liên tục nên diffusion dễ tạo embedding vô nghĩa. Đây là nền tảng để kiểm chứng continuous DLM ở quy mô lớn và thực tiễn hơn.

Hướng tương lai: scale embedding lên các encoder lớn hơn (T5Gemma-2-1B/4B), và nghiên cứu sâu hơn về cách thuần hóa / kết hợp foundation models vào continuous DLM.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng phương pháp scaling-distillation lên các embedding cỡ lớn (1B–4B tham số) để kiểm chứng liệu diffusibility có tiếp tục cải thiện theo quy mô pretraining hay bão hòa.
Nghiên cứu distillation có chọn lọc: chỉ làm mềm (soften) các cụm từ đồng nghĩa cần thiết cho generation, giữ nguyên sức mạnh phân biệt cho các tác vụ hiểu ngôn ngữ nhằm thu được embedding vừa diffusible vừa đa năng.
Áp dụng triết lý "distill cho diffusibility" sang latent space của diffusion đa phương thức (ảnh, âm thanh), nơi pretrained representation cũng có thể quá phân biệt và khó generate.

2. Patent:

Hệ thống gõ văn bản tự động hoàn thành trên điện thoại dùng DLM: các từ gợi ý đồng nghĩa (ví dụ "vui", "hân hoan") được đặt gần nhau trong không gian embedding nên mô hình luôn decode ra một từ hợp ngữ cảnh thay vì ký tự vô nghĩa, giảm lỗi gõ và tăng tốc gợi ý vì sinh song song được.
Trợ lý soạn tin nhắn/viết thông báo trên điện thoại: mô hình sinh văn bản theo kiểu diffusion chạy được song song trên chip di động, nhanh hơn mô hình tự hồi quy, đồng thời nhờ embedding đã chưng cất nên văn bản sinh ra mạch lạc ngay cả khi rút ngắn số bước tính toán để tiết kiệm pin.
Công cụ viết sáng tạo (caption mạng xã hội, mô tả sản phẩm) trên điện thoại: distill embedding giúp mô hình nhỏ cỡ trung bình đạt chất lượng vượt mô hình autoregressive cùng kích thước, cho phép triển khai offline mà vẫn sinh câu tự nhiên, ít lỗi từ vựng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.01016
ArXiv Abstract	https://arxiv.org/abs/2610.01016
PDF Download	https://arxiv.org/pdf/2610.01016.pdf
Github Repository	https://github.com/la0ka1/diffusing-scaled-text-embeddings

26. Persona Dosing: Calibrated Activation Steering for Graded Trait Control (48 votes)

Tác giả: Zehao Jin, Junran Wang, Ruixuan Deng, Jiahao Chen, Jingyuan Zhang, et al.

Xuất bản lúc: 2026-09-28

Tag: Activation Steering, LLMs, Persona Control, Flow Matching, Calibration, Interpretability, Controllable Generation

I. Main Problem:

Các phương pháp điều khiển hành vi bằng can thiệp activation có hệ số mạnh nhưng thiếu nghĩa hành vi: cùng một hệ số có thể tạo mức biểu hiện khác nhau tùy trait và model, khiến thí nghiệm graded persona khó nói “cho tôi mức nịnh nọt 60/100”. Vấn đề cốt lõi:

cần tách khả năng biểu hiện của controller khỏi độ chính xác khi yêu cầu một mức cụ thể
phải giữ câu trả lời mạch lạc trong khi tăng mức trait
calibration cần tổng quát sang câu hỏi held-out và khi controller được cập nhật.

II. Main Idea:

PersonaDose tách quá trình thành học hành vi rồi đo và hiệu chuẩn thang điểm. Mô tả persona điều kiện hóa một velocity field dùng chung dựa trên FLAS để vận chuyển hidden states của model ngôn ngữ đã đóng băng; flow time đóng vai trò cường độ can thiệp. Huấn luyện dùng các câu trả lời thể hiện persona đạt ngưỡng rubric, nhưng không ghép câu trả lời với target intensity; sau đó đo đường cong dose–response trên câu hỏi calibration, fit isotonic, rồi nghịch đảo để chọn flow time cho một requested mean score.

Một controller mỗi base model phục vụ nhiều trait; mô tả chọn trait, flow time chọn liều.
Calibration chỉ đổi thiết lập inference; khi controller update phải đo lại curve.
Ưu điểm nổi bật: biểu hiện trait cao hơn rõ rệt so với contrastive activation addition dưới coherence floor 75, đồng thời cho phép yêu cầu mức trung gian theo đơn vị điểm hành vi.

Ví dụ đời thường: giống bác sĩ không chỉ có thuốc mạnh/yếu mà còn có thang miligam đo sẵn: trước tiên học cách thuốc tác động, rồi lập bảng quy đổi từ “liều mong muốn” sang “cc tiêm”, chứ không hỏi bệnh nhân tự đoán theo cảm giác.

III. Main Results:

Với coherence floor 75, core-trait expression tăng so với CAA: +33.2 trên Llama-3.1-8B, +18.3 trên Qwen3-8B, +17.8 trên Gemma-3-4B.
Held-out selection bằng calibration giữ lợi thế biểu hiện: PersonaDose đạt khoảng 75.6 / 80.3 / 84.8 so với CAA 43.5 / 63.3 / 68.0; tuy nhiên coherence floor không bảo đảm chuyển hết sang mọi trait held-out.
Trên 7 trait và target {20,40,60,80}, mean targeting MAE khoảng 4.7–6.2 điểm, với 14–22/28 request calibration-reachable tùy model.
Qwen controller update nâng held-out expression từ 78.7 lên 93.7; recalibrated map hỗ trợ 11/12 coherent requests so với 8/12 cho calibrated CAA.

IV. Conclusion & Future Works:

Kết quả cho thấy nên báo cáo riêng behavioral reach, held-out coherence, và targeting error: một model có thể chính xác hơn nhưng ít request hơn, hoặc ngược lại. Persona dosing đặt yêu cầu kiểm soát persona vào đơn vị hành vi đo được, tách rõ hành vi controller học được khỏi thang intensity dùng để truy cập. Hướng mở: mở rộng sang unseen traits và hội thoại dài, cải thiện coverage cho trait ít reachable, hiệu chuẩn cho cả mức thấp hơn baseline unsteered, và nghiên cứu calibration chịu được cập nhật controller nhiều hơn.

V. Brainstorming Space:

1. Publish Papers:

Persona dosing cho hội thoại dài: giữ graded trait control khi ngữ cảnh nhiều lượt làm expression dao động, kèm judge đánh giá theo cửa sổ hội thoại thay vì từng câu ngắn.
Calibration có độ tin cậy và chọn liều an toàn: ước lượng uncertainty của dose–response curve để từ chối target không ổn định thay vì chỉ đánh dấu unreachable.
Điều khiển persona đa trait có cân bằng: học trade-off giữa expression, coherence, factual correctness và safety thay vì chỉ tối đa trait dưới coherence floor.
Tái hiệu chuẩn sau cập nhật mô hình: phát triển phương pháp transfer calibration map giữa các checkpoint khi controller hoặc base model thay đổi nhẹ.

2. Patent:

Trợ lý điện thoại có nút tính cách: người dùng chọn mô tả như “lịch sự”, “hài hước”, “thẳng thắn” và kéo mức 0–100; hệ thống ánh xạ sang thời gian can thiệp nội bộ đã hiệu chuẩn để trả lời đúng độ mạnh.
Ứng dụng gõ tin nhắn tự điều chỉnh giọng nói theo bối cảnh: khi người dùng chuyển từ trò chuyện bạn bè sang email công việc, hệ thống đổi mức nghiêm túc/nịnh nọt bằng cùng một bộ điều khiển, chỉ đổi mô tả persona và liều.
Chatbot chăm sóc khách hàng có chế độ “kiểm soát độ đồng tình”: khi khách hàng bực, hệ thống tăng mức đồng cảm theo điểm đo hành vi, đồng thời giới hạn để câu trả lời không trở nên mù quáng.
Công cụ duyệt web hỗ trợ viết bình luận có mức tranh luận: chọn “trung lập 30”, “phản biện 70” hoặc “gay gắt 90”; phần mềm hiệu chuẩn để giữ văn rõ ràng, mạch lạc ở từng mức.
Hệ thống kiểm thử chatbot doanh nghiệp: tạo nhiều phiên bản câu trả lời của cùng một câu hỏi ở các mức tính cách khác nhau để đánh giá rủi ro thái độ trước khi triển khai.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.36388
ArXiv Abstract	https://arxiv.org/abs/2609.36388
PDF Download	https://arxiv.org/pdf/2609.36388.pdf
Github Repository	N/A

27. Beyond the Current Scene: Event-Referential Grasping with Active View Selection (46 votes)

Tác giả: Hyunjoon Lee, Haebeom Jung, Eunsung Cha, Daeun Lee, Yu-Chiang Frank Wang, et al.

Xuất bản lúc: 2026-09-30

Tag: Robotics, Grasping, Active Perception, Vision-Language Models, Zero-shot Learning, Event Reasoning, Bayesian Inference, Point Tracking

I. Main Problem:

Robot phải thực hiện yêu cầu kiểu “hãy lấy đồ vật vừa được di chuyển cuối cùng”, tức mục tiêu được xác định bằng vai trò trong sự kiện quá khứ, không phải bằng tên, màu sắc hay vị trí hiện tại. Thách thức lớn hơn: mục tiêu có thể bị che khuất khi robot nhận lệnh.

Các phương pháp grounding theo ngôn ngữ thường chỉ nhìn ảnh hiện tại, nên không biết “cái nào được đặt đầu tiên/cuối cùng”.
Các hệ thống lý luận video có thể suy ra mô tả đúng, nhưng khi chuyển cho module nắm thì không có bằng chứng trực quan 3D để thực hiện.
Active perception thông thường dựa vào hình học hiện tại hoặc hộp mục tiêu đã biết, trong khi ở đây robot chỉ có lịch sử tương tác và cần suy ra mục tiêu đã đi đâu.

II. Main Idea:

Hệ thống zero-shot gồm hai khối lặp lại cho đến khi nắm được.

Video reasoning: dùng mô hình ngôn ngữ-thị giác có sẵn để đọc video sự kiện, lập danh sách hành động theo thứ tự, chọn mô tả đối tượng phù hợp với lệnh, định vị vùng chứa mục tiêu trong ảnh hiện tại rồi chỉ ra điểm cần nắm.
Nếu mục tiêu bị che: dùng tracker điểm để khôi phục quỹ đạo 3D cũ của đúng đối tượng đó từ video; từ đó tạo belief xác suất về vị trí hiện tại, tập trung quanh lần thấy cuối và dàn trải theo hướng di chuyển cuối cùng, đồng thời vẫn giữ xác suất ở vùng khác để tránh bám sai.
Chọn góc nhìn chủ động: mỗi góc camera được chấm theo lượng belief dự kiến bị loại trừ và theo độ tin cậy tia nhìn xuyên qua không gian chưa quan sát; tia đi qua vùng chưa biết bị giảm điểm thay vì coi như tự do. Sau mỗi ảnh mới, belief được cập nhật theo kiểu Bayesian cho đến khi thấy mục tiêu hoặc hết ngân sách quan sát.
Xác nhận và tinh chỉnh: khi tìm thấy mục tiêu, hệ thống kiểm tra grasp; nếu hình dạng mục tiêu còn thiếu do che khuất, nó chọn thêm góc nhìn quanh mục tiêu rồi tạo lại grasp.

Ví dụ đời thường: giống việc tìm đồ vật trong bếp khi người khác vừa dọn lúc bạn vắng mặt — thay vì chỉ nhìn mặt bàn hiện tại, bạn nhớ “lần cuối mình thấy nó ở đâu”, đoán nó có thể bị đẩy về phía nào, rồi nghiêng người sang góc khác để nhìn xuyên qua chỗ trống thay vì chỗ bị tủ chặn.

III. Main Results:

Robot thật với một camera depth gắn cổ tay vẫn đạt grasp success khoảng 76% khi mục tiêu nhìn thấy được và 77% khi mục tiêu bị che, so với mạnh nhất từng điều kiện là khoảng 40% và 55%.
Tổng cộng 150 thử nghiệm, hệ thống đạt 76.7% grasp success, cao hơn baseline mạnh nhất dùng instruction đã được lý luận là 50.0%.
Ở bốn cảnh che khuất nặng, hệ thống đạt 19/20 grasp thành công (95%), trung bình chỉ 2.20 lần đổi góc nhìn, so với baseline active perception được cung cấp hộp 3D đúng của mục tiêu: 15/20 (75%) và 3.35 lần đổi góc.
Ablation cho thấy thiếu trọng số belief làm tăng lên 4.65 views và giảm còn 80%; thiếu transmittance-aware visibility làm tăng lên 3.10 views và 90%; bỏ event prior vẫn đạt 95% nhưng cần tới 4.00 views, tức lịch sử sự kiện giúp tìm nhanh hơn nhiều.

IV. Conclusion & Future Works:

Kết quả chứng minh lịch sử sự kiện không chỉ để nhận diện đúng đồ vật, mà còn cung cấp bằng chứng không gian để robot chủ động chọn góc nhìn, giảm số lần quan sát và tăng khả năng nắm thành công trong cảnh che khuất. Hệ thống hiện giả định mục tiêu đứng yên trong lúc tìm kiếm; hướng tương lai là mở rộng sang môi trường có vật tiếp tục di chuyển, belief động và lý luận sự kiện dài hơn.

V. Brainstorming Space:

1. Publish Papers:

Event-referential grasping cho mục tiêu động: mở rộng belief tĩnh sang bộ lọc dự đoán chuyển động, để robot vừa tìm vừa theo dõi đồ vật bị di chuyển trong lúc tìm kiếm.
Semantic event prior học được từ video: thay prior hình học thủ công bằng prior thống kê từ quỹ đạo tương tác, học cách con người thường đặt, cất hoặc che đồ vật sau khi dùng.
Active perception liên kết lý luận sự kiện và khả năng nắm: chọn góc nhìn không chỉ để thấy mục tiêu mà còn tối đa hóa xác suất tạo grasp ổn định cho bộ phận nhỏ như tay cầm, cuống hoa.
Ghi nhớ sự kiện đa robot: nhiều robot chia sẻ lịch sử quan sát và cùng giải quyết lệnh kiểu “lấy đồ vật người kia vừa dùng”, với phân vai tìm kiếm và xác nhận chéo.
Đánh giá chuẩn cho manipulation phụ thuộc bộ nhớ sự kiện: tách rõ nhận diện thứ tự sự kiện, khôi phục vị trí quá khứ, chọn góc nhìn và chất lượng grasp thành các metric độc lập.

2. Patent:

Ứng dụng điện thoại cho robot gia đình: người dùng quay clip đặt đồ lên bàn, sau đó ra lệnh “mang cái tôi vừa đặt đầu tiên”; điện thoại gửi video và lệnh lên robot, robot suy ra đồ nào và đã bị đẩy về đâu, rồi di chuyển camera đến góc nhìn hợp lý trước khi gắp.
Kính thông minh hoặc điện thoại cho kho hàng: camera ghi lại người nhân viên sắp hàng theo thứ tự, robot sau đó nhận yêu cầu “lấy kiện được xếp cuối cùng”; hệ thống dùng video để biết kiện nào, dự đoán nó bị che sau kiện nào và chọn đường nhìn phù hợp.
Robot phục vụ đồ vật cá nhân trong phòng bừa bộn: khi đồ bị che sau hộp hoặc rèm, robot không quét mọi phía mà dùng ký ức lần cuối thấy đồ, ưu tiên những góc nhìn có tia nhìn xuyên qua vùng trống thay vì vùng chưa quan sát.
Tính năng “tìm đồ theo hành vi vừa xảy ra” trên robot hỗ trợ người lớn tuổi: nếu người dùng hỏi “cái chai tôi vừa cầm đâu”, robot xem lại đoạn video ngắn, xác định chai, ước lượng hướng di chuyển cuối và chủ động đổi góc nhìn để tìm trước khi nhặt.
Module kiểm tra trước khi nắm cho cánh tay robot công nghiệp: sau khi xác định mục tiêu từ lịch sử vận hành, robot chỉ tạo lệnh nắm khi đã thấy đủ bề mặt cần thiết; nếu thiếu, nó tự chọn thêm một góc nhìn gần mục tiêu rồi tính lại tư thế nắm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39375
ArXiv Abstract	https://arxiv.org/abs/2609.39375
PDF Download	https://arxiv.org/pdf/2609.39375.pdf
Github Repository	https://github.com/SNU-VGILab/BeyondCSe

28. Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens (45 votes)

Tác giả: Ruiyang Si, Jianxin Bi, Shunyu Yang, Rui Ni, Wenbo Huang, et al.

Xuất bản lúc: 2026-10-01

Tag: VLM Agents, Robotics, Code-as-Policies, Vision-Language-Action, Tool Calling, LLM Efficiency

I. Main Problem:

Các tác nhân robot dùng VLM thường giao tiếp qua tool calling: mỗi thao tác phụ thuộc kết quả thao tác trước lại cần một lượt gọi mô hình mới, và các primitive chuyển động tự động trả về nhiều ảnh camera sau mỗi bước. Hậu quả:

chi phí token phình to nhanh, ngay cả khi từng primitive hoạt động tốt
lịch sử hội thoại tích lũy và được xử lý lặp lại ở mọi lần gọi LLM
ngân sách lượt gọi LLM bị hao phí cho việc điều phối trung gian thay vì lập kế hoạch thực sự.

II. Main Idea:

Giới thiệu PyRUA-Lean — giao diện thực thi Python tương tác cho tác nhân robot, kết hợp hai cơ chế bổ sung nhau:

Primitive composition có phản hồi: VLM viết từng cell Python gọi các primitive (di chuyển, nhận thức, VLA policies) của robot qua đối tượng robo, kèm kiểm tra điều kiện và retry cục bộ trong cell — ví dụ chỉ gắp khi tiếp cận thành công, tính toán hình học (độ cao đáy bát từ world map) mà không primitive nào trả về trực tiếp
Selective observation: chỉ những output được print rõ ràng và ảnh camera được yêu cầu qua robo.show mới trả về cho VLM ở cuối cell; trạng thái trung gian giữ lại trong namespace Python bền bỉ, không đưa vào hội thoại

So sánh công bằng với baseline tool calling (RPent) cùng planner GPT-6 Astra, cùng primitive, cùng ngân sách lượt gọi LLM, không bộ nhớ xuyên episode.

Ví dụ đời thường: giống người thợ được giao một cục điều khiển có thể lập trình — thay vì hỏi sếp từng bước một ('tôi tới rồi, giờ gắp à?'), anh ta viết sẵn một đoạn kịch bản tự kiểm tra và tự sửa lỗi, chỉ báo cáo lại kết quả cuối cùng cho sếp.

III. Main Results:

Thành công tổng thể tăng từ 63.1% lên 71.7% (+8.6 điểm phần trăm, ~14% tương đối) trên 700 instance mô phỏng từ LIBERO-PRO, RoboTwin 2.0, RoboCasa365; tăng trên cả 4 nhóm benchmark (LIBERO-PRO +11.0 điểm)
Trên các instance cả hai đều giải được: giảm 49% lượt gọi LLM (17.0 → 8.7) và giảm 65% input token (788k → 276k), chi phí giảm 2.2× ( $1.63 →$ 0.74/episode)
Phân tích cho thấy giảm số lần gọi VLM là nguồn chính của tiết kiệm token (ví dụ LIBERO-PRO: 2.55× ít gọi × 1.76× ít token mỗi lần gọi)
Chỉ giảm ảnh trả về tự động ở baseline (không đổi cơ chế thực thi) làm success giảm 83.0% → 68.5% — chứng tỏ cần kết hợp observation có chọn lọc với thực thi lập trình
Ablation: lợi ích token vẫn giữ khi bỏ VLA policies hoặc hướng dẫn vận hành (không VLA: RoboTwin 68.8% so với 42.8% của tool calling)
Pilot RoboDojo: token trên mỗi lần thành công giảm 90.7%
PyRUA-Lean tự giải 96 instance mà baseline không giải được (ngược lại 36); lợi ích nhỏ nhất ở tác vụ VLA chiếm ưu thế

IV. Conclusion & Future Works:

Giao diện thực thi code lập trình được (programmatic primitive composition) kết hợp quản lý phản hồi có chọn lọc vượt tool calling cả về thành công lẫn chi phí suy luận dưới cùng ngân sách LLM. Hạn chế: chỉ đánh giá với GPT-6 Astra, stack RPent và môi trường mô phỏng; một lần chạy mỗi instance; chưa tách rừng hiệu ứng của từng thành phần (composition, state bền bỉ, selective feedback). Hướng tương lai: đo độ trễ và khả năng phục hồi trên robot vật lý, nghiên cứu độ mịn của primitive và tái sử dụng routine đã kiểm chứng xuyên episode.

V. Brainstorming Space:

1. Publish Papers:

Tách rừng đóng góp nhân quả của từng cơ chế (primitive composition, persistent state, selective observation) bằng các ablation có kiểm soát để biết đâu là yếu tố then chốt của lợi ích token.
Đánh giá PyRUA-Lean trên robot vật lý và với các planner khác ngoài GPT-6 Astra để kiểm chứng tính tổng quát của giao diện code cho tác nhân robot.
Nghiên cứu cơ chế tái sử dụng xuyên episode các cell/routine đã được kiểm chứng, kết hợp bộ nhớ kỹ năng kiểu Voyager để giảm thêm chi phí lập kế hoạch.

2. Patent:

Hệ thống điều khiển robot tiết kiệm dữ liệu cho điện thoại/robot gia dụng: robot nhận lệnh bằng giọng nói, tự sinh đoạn chương trình ngắn thực hiện nhiều động tác nối tiếp kèm tự kiểm tra lỗi, chỉ gửi về đám mây một bức ảnh duy nhất khi thật sự cần — giảm mạnh chi phí mạng và điện toán đám mây so với chế độ hỏi-đáp từng bước.
Module lập trình trực quan cho cánh tay robot công nghiệp: nhân viên vận hành mô tả tác vụ bằng ngôn ngữ tự nhiên; hệ thống tạo cell Python có kiểm tra điều kiện và tự thử lại khi gắp trượt, hiển thị chỉ kết quả cuối cùng lên màn hình cảm ứng của điện thoại hoặc máy tính bảng.
Phương pháp thu thập dữ liệu huấn luyện robot tự động: robot tự soạn chương trình gồm nhiều primitive nối tiếp và tự xử lý sự cố (ví dụ làm rơi vật thì tự tính lại vị trí đặt từ dữ liệu hình học cảnh), chỉ ghi lại ảnh camera tại các thời điểm cần thiết — tạo dữ liệu hiệu quả, ít trùng lặp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.01939
ArXiv Abstract	https://arxiv.org/abs/2610.01939
PDF Download	https://arxiv.org/pdf/2610.01939.pdf
Github Repository	https://github.com/DAGroup-PKU/PyRUA-Lean

29. Decoding Looped Transformers Better for (Almost) Free (41 votes)

Tác giả: Weihao Liu, Huangjie Zheng, Tianrong Chen, Rohit Dilip, Richard He Bai, et al.

Xuất bản lúc: 2026-10-01

Tag: Looped Transformers, Contrastive Decoding, Inference-Time Compute, Autoguidance, LLMs, Code Generation, Mathematical Reasoning

I. Main Problem:

Các mô hình Looped Transformers lặp lại một khối trọng số chung nhiều lần để tăng độ sâu tính toán mà không tăng tham số, nhưng decoding chuẩn chỉ dùng trạng thái cuối và vứt bỏ mọi trạng thái trung gian. Hậu quả:

lãng phí tín hiệu dự báo có sẵn từ các vòng lặp sớm
không tận dụng được cấu trúc yếu → mạnh tự nhiên của quỹ đạo hồi quy
muốn chắc chắn hơn thường phải tăng số vòng lặp, làm tốn nhiều FLOPs hơn.

II. Main Idea:

LoopCD khai thác quan sát: trong Looped Transformers, mỗi vòng lặp là cùng một khối tham số chạy lại trên cùng không gian biểu diễn, nên trạng thái đầu tiên là một bản dự báo yếu nhưng cùng căn chỉnh với trạng thái cuối mạnh hơn. Thay vì huấn luyện mô hình phụ, tác giả lấy chính vòng đầu làm mốc tham chiếu và đẩy dự báo cuối ra xa dự báo sớm theo hướng tinh chỉnh hồi quy:

LoopCD-Logits: trừ logits giữa trạng thái cuối và trạng thái sớm sau cùng lớp đầu ra; cần thêm một lần chiếu đầu ra.
LoopCD-Hidden: trộn hai hidden state trước các lớp đầu ra, giữ nguyên một lần đi qua lớp cuối, không tăng chi phí đầu ra.
Có thể dùng hệ số cố định, hoặc hệ số thích ứng theo token: khi hai token dẫn đầu gần điểm ngang nhau thì tăng lực đẩy, khi một token áp đảo thì giảm.

Ví dụ đời thường: giống như nghe lại ý nghĩ thô sơ nhất của chính mình rồi cố tình đẩy câu trả lời cuối ra xa ý đó theo hướng đã suy nghĩ kỹ hơn; phần khác biệt lớn ở bước đầu cho thấy chỗ còn mơ hồ để chỉnh.

III. Main Results:

Ở độ sâu hồi quy đầy đủ, LoopCD cải thiện đều trên bốn họ mô hình: Ouro, Huginn, Parcae, Looped-Qwen3.
Toán lý luận: Ouro-2.6B-Thinking trên AIME 2024 pass@1 tăng từ 61.88% lên 73.33%; bản adaptive cũng nâng AIME 2025 và OlympiadBench.
Sinh code: LoopCD-Logits với Huginn nâng HumanEval pass@1 từ 23.17% lên 28.66%; LoopCD-Hidden nâng Huginn từ 22.56% lên 31.71%.
Trắc nghiệm nhiều lựa chọn: mọi cấu hình logits đều tăng điểm trung bình bảy benchmark; mức tăng khoảng +0.29 đến +1.59 tùy mô hình và luật guidance.
Giảm số vòng lặp còn một nửa vẫn ngang hoặc vượt baseline chạy đủ sâu không guidance, tiết kiệm 22.5% đến 48.2% forward FLOPs.
Phân tích cho thấy lợi ích chủ yếu đến từ phần re-ranking trực giao của vector contrast, tác động mạnh nhất ở các câu mô hình kém tự tin.

IV. Conclusion & Future Works:

LoopCD biến các trạng thái hồi quy trung gian thành tín hiệu guidance miễn phí, không cần huấn luyện thêm hay mô hình phụ. Điểm mạnh là một mô hình vừa là bản yếu vừa là bản mạnh, nhờ đó cải thiện chất lượng decoding và dịch Pareto giữa độ chính xác với tính toán. Hướng mở rở gồm chọn tham chiếu tự động theo kiến trúc, mở rộng sang generation dài với kiểm soát lỗi cộng dồn, và kết hợp với chiến lược dừng sớm các vòng lặp.

V. Brainstorming Space:

1. Publish Papers:

Khảo sát hệ thống cách chọn trạng thái tham chiếu trong mô hình transformer lặp: vòng đầu, sau burn-in, hay nhiều trạng thái trung gian, kèm tiêu chí tự động ổn định trên nhiều kiến trúc.
Kết hợp decoding đối chiếu với dừng sớm thích ứng để cắt thêm vòng lặp khi mô hình đã tự tin, thay vì cố định chạy một nửa số vòng.
Áp dụng nguyên lý đối chiếu yếu-mạnh cho các mô hình diffusion language hoặc reasoning models có nhiều bước refinement nội tại.

2. Patent:

Tính năng tiết kiệm pin cho trợ lý AI trên điện thoại: khi người dùng hỏi câu khó, hệ thống chạy một phần vòng xử lý lặp làm bản nháp yếu, dùng bản nháp đó kéo câu trả lời cuối theo hướng chính xác hơn, sau đó giảm số vòng lặp để trả lời nhanh hơn mà vẫn giữ chất lượng.
Bộ sinh mã lập trình trong IDE di động hoặc cloud: lấy trạng thái suy luận sau lần lặp đầu tiên làm gợi ý thô, so với trạng thái cuối để ưu tiên lại các token khi hai phương án code gần ngang nhau, giúp sửa lỗi ở những đoạn mã mà mô hình đang phân vân.
Hệ thống chấm trắc nghiệm hoặc gợi ý câu trả lời trên thiết bị cá nhân: dùng độ chênh giữa hai đáp án đứng đầu để tự điều chỉnh mức can thiệp, chỉ can thiệp mạnh khi câu hỏi mơ hồ và giữ nguyên khi mô hình đã chắc chắn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.02185
ArXiv Abstract	https://arxiv.org/abs/2610.02185
PDF Download	https://arxiv.org/pdf/2610.02185.pdf
Github Repository	N/A

30. Architect-Ant: Editable Automatic Furnishing of Architectural Floor Plans (41 votes)

Tác giả: Fedor Rodionov, Aleksandar Cvejic, Michael Birsak, John Femiani, Peter Wonka

Xuất bản lúc: 2026-09-30

Tag: LLMs, Floor Plan Generation, Furniture Layout, Reinforcement Learning, GRPO, 3D Scene Generation, Interior Design

I. Main Problem:

Bố trí nội thất cho bản vẽ kiến trúc (floor plan) hiện vẫn làm thủ công vì các yêu cầu hình học và chức năng liên kết chặt chẽ với nhau (giường phải vừa phòng nhưng không được chắn tủ, cửa, lối đi; bếp cần thiết bị và mặt làm việc bố trí dùng được). Các cách tiếp cận hiện tại đều có hạn chế:

Dữ liệu thực tế khan hiếm: các bộ dữ liệu floor plan công khai thiếu hoặc không có annotation nội thất chi tiết, độ phủ lớp đồ vật nghèo.
Phương pháp rule-based chỉ bắt được các quan hệ đã được mã hóa cứng.
Mô hình pretrained có tri thức ngữ nghĩa nhưng không đảm bảo vị trí không gian chính xác.
Cách tiếp cận agentic (lặp lại phê bình-sửa lỗi) chất lượng tốt hơn nhưng chi phí suy luận và thời gian rất cao (ví dụ SceneSmith tới ~1.555 giây/phòng).

II. Main Idea:

Kết hợp ba nguồn tri thức ngay trong quá trình huấn luyện để mô hình pretrained sinh layout tuân thủ ràng buộc một lần duy nhất, không cần vòng lặp agentic. Cụ thể:

AntPlan: bộ dữ liệu mới gồm 505 bản vẽ kiến trúc thật chuyên nghiệp, annotation dày đặc 92 lớp nội thất, 10 loại phòng (trung bình 53 đồ vật/bản vẽ).
Architect-Ant: mô hình Gemma-4-31B được biểu diễn layout bằng một DSL tọa độ góc (x, y, w, h) theo mét, giữ được khả năng chỉnh sửa từng đồ vật và dễ kiểm tra chồng lấn/chứa trong/lối đi.
Quy trình hai giai đoạn: SFT (LoRA) trên layout chuyên nghiệp để học pattern bài trí, rồi GRPO với điểm thưởng Layout Rule Score (LRS) — điểm khởi đầu 10 trừ phạt vi phạm 33 loại rule hình học + chức năng (chắn cửa/sổ, chồng lấn cấm, vùng làm việc bếp, hướng ngồi quanh focal point...). Điểm thưởng chỉ tính trên layout cuối cùng (outcome supervision kiểu R1-Zero), không ép buộc suy luận từng bước — mô hình tự phát triển chiến lược. Khi suy luận, sinh 20 ứng viên/phòng và chọn layout LRS cao nhất.

Ví dụ đời thường: giống một thợ nội thất học nghề — trước xem hàng trăm căn nhà thật để ngấm gu bài trí (SFT), sau đó ông chủ chỉ chấm điểm thành phẩm cuối cùng theo bảng tiêu chuẩn (LRS) và anh ta tự rút ra kinh nghiệm điều chỉnh cách bố trí, thay vì bị sai một lần sửa một lần.

III. Main Results:

Trên 109 SceneSmith room shells, Architect-Ant đạt FUN+ cao nhất (94%) và LRS cao nhất (8.80), với tỉ lệ va chạm (COL+) và vượt biên (OOB) chỉ 0.6% — thấp hơn hẳn các baseline học sâu (ATISS 24.1% COL+, InstructScene −2.82 LRS) và agentic (Holodeck 7.84 LRS, SceneSmith 8.44 LRS).
Nhanh gấp ~16 lần SceneSmith: ~95 giây/phòng so với ~1.555 giây, nhờ sinh trực tiếp thay vì vòng lặp phê bình-sửa.
Bố trí đầy đặc nhất (10.8 đồ/phòng) chứng tỏ ít vi phạm không nhờ layout thưa thớt.
Nghiên cứu thị hiếu thị giác với 2 VLM (Claude Sonnet 5, Kimi K3): cả hai thích Architect-Ant hơn SceneSmith ở 72/109 và 74/109 phòng, đặc biệt bếp/phòng ăn.
Ablation trên 243 phòng validation: GRPO sau SFT cải thiện cả LRS trung bình và best-of-8 ở cả 4 loại phòng; SFT đơn thuần đã tăng mạnh so với base model (ví dụ kitchen: −11.71 → −0.75 sau SFT → 3.48 sau GRPO).

IV. Conclusion & Future Works:

Cho thấy sinh layout trực tiếp với ràng buộc (fine-tune có giám sát + RL thưởng theo kết quả cuối) có thể đạt chất lượng hình học, chức năng và thẩm mỹ ngang/vượt pipeline agentic lặp, với chi phí suy luận thấp hơn nhiều, đồng thời giữ layout chỉnh sửa được ở cấp đồ vật và chuyển đổi sang scene 3D. Hướng tương lai: mở rộng sang nhiều thuộc tính đối tượng và loại cảnh hơn, hình học phong phú hơn, quan hệ không gian chi tiết hơn, và đánh giá thẩm mỹ (hiện LRS chỉ đo hình học + chức năng).

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Layout Rule Score sang đánh giá thẩm mỹ và tính khả dụng 3D đầy đủ, kết hợp thang điểm rule-based với thẩm định VLM để thưởng RL đa tiêu chí.
Áp dụng tư tưởng SFT + GRPO thưởng outcome cho các bài toán bố trí không gian khác: sắp xếp kho hàng, quy hoạch văn phòng, bố trí linh kiện trên bo mạch.
Xây dựng cơ chế tự động suy ra rule từ dữ liệu annotation thay vì hiệu chỉnh thủ công 33 rule, cho phép mở rộng LRS sang loại phòng và văn hóa bài trí mới.

2. Patent:

Ứng dụng điện thoại thiết kế nội thất tức thì: người dùng chụp/chọn mặt bằng căn hộ, nhập danh sách đồ nội thất; ứng dụng sinh nhiều phương án bố trí, chấm điểm tự động (không chồng lấn, không chắn cửa, đủ chức năng) và cho người dùng kéo-thả chỉnh từng món trước khi đặt mua.
Nền tảng bất động sản tạo ảnh căn hộ có nội thất từ bản vẽ trống: tự động dựng layout 3D đúng tỉ lệ thật trong vài phút thay vì thuê designer, hỗ trợ đổi phong cách nội thất bằng một chạm.
Hệ thống kiểm tra bản vẽ kiến trúc tự động cho công ty thiết kế: quét bản vẽ của nhân viên, chấm điểm vi phạm tiêu chuẩn bài trí (lối đi, vùng làm việc bếp, khoảng cách thiết bị) và gợi ý vị trí sửa, rút ngắn quy trình review.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2606.10953
ArXiv Abstract	https://arxiv.org/abs/2606.10953
PDF Download	https://arxiv.org/pdf/2606.10953.pdf
Github Repository	N/A

31. AutoDataBench: A Data-centric Testbed for Accelerating Auto Research (37 votes)

Tác giả: Ruifeng Yuan, Yizhi Li, Yaxin Du, Fengyu Cai, Yiqi Liu, et al.

Xuất bản lúc: 2026-09-30

Tag: LLMs, Auto Research, Data Intelligence, Benchmark, Training Data Optimization, Data Curation, Distillation

I. Main Problem:

Các benchmark auto-research hiện có (SWE-bench, MLE-bench, PostTrainBench...) đan xen nhiều nguồn cải thiện — framework huấn luyện, hyperparameter, ngân sách compute, dữ liệu — khiến không thể kết luận vì sao một agent mạnh hơn agent khác. Khả năng hiểu và cải thiện dữ liệu huấn luyện (Data Intelligence) vẫn bị bỏ ngỏ dù chất lượng dữ liệu ảnh hưởng lớn đến hiệu năng model, trong khi thử nghiệm dữ liệu rất tốn kém. Câu hỏi trung tâm: các LLM frontier hiện tại hiểu và cải thiện dữ liệu huấn luyện đến đâu?

II. Main Idea:

AutoDataBench — testbed kiểm soát nghiêm ngặt giữ cố định mọi yếu tố phi-dữ liệu (pipeline huấn luyện, model, budget) để cô lập và đánh giá Data Intelligence qua 3 chiều bổ sung:

Data diagnosis & repair (Task 1 — tool use): LLM phát hiện và sửa dữ liệu function-calling bị làm hỏng bởi 7 toán tử corruption ẩn (lỗi argument, nhãn hàm, schema...)
Data organization (Task 2 — embedding/retrieval): LLM tự đào hard negatives, cân bằng nguồn dữ liệu dưới contrastive learning với InfoNCE
Data construction (Task 3 — knowledge injection): LLM biến raw corpus (sự kiện sau knowledge cutoff của model Talkie pre-1931) thành câu hỏi–câu trả lời cho distillation offline

Vòng lặp: agent inspect → can thiệp dữ liệu → train cố định → nhận feedback, tối đa 20 vòng trên 1 GPU A800/24h; LLM cấm xử lý từng ví dụ thủ công, phải viết code dùng model phụ để xử lý hàng loạt. Ngoài điểm tối ưu (ID), còn có evaluation ẩn OOD để phát hiện hành vi "benchmaxxing", và yêu cầu LLM dự đoán trước điểm số để thăm dò khả năng lý giải hiệu ứng của dữ liệu.

Ví dụ đời thường: giống bài kiểm tra nấu ăn công bằng — mọi đầu bếp nhận cùng một cái bếp, cùng gia vị, chỉ khác cách chọn và sơ chế nguyên liệu; ban giám khảo (pipeline cố định) nấu và nếm thử, còn khu vực bếp khác ẩn đi để xem món ăn có ngon ở đầu bếp lạ không.

III. Main Results:

7 LLM frontier (GPT-5.6-Sol, Claude-4.7, Kimi-3, DeepSeek-V4-Flash, GLM-5.2, Qwen-3.7/3.8-Max), 63 runs. Kimi-3 dẫn Overall (60.68) nhờ knowledge injection; GPT-5.6-Sol dẫn tool use + retrieval.
Tool use: LLM đạt 80.8–82.0 ID, sát mức oracle-clean 81.65 (baseline random 70.45); OOD BFCL vượt baseline nhưng chưa tới expert.
Retrieval: ID cạnh tranh expert (40.46 vs 40.62) nhưng tất cả LLM đều dưới expert về OOD — GPT-5.6-Sol dẫn ID nhưng thấp nhất OOD (rank reversal), chứng minh thắng benchmark không đồng nghĩa khái quát hóa.
Knowledge injection: mọi LLM ≥ expert (48.40); Kimi-3 đạt 60.60 (+12.2). Nhưng học kiến thức mới và giữ kiến thức cũ tạo ranking khác nhau.
Hành vi: 61/63 runs cải thiện qua lặp; các run mạnh có quyết định dữ liệu rất có mục tiêu (vd GLM-5.2 nhắm audit độ chính xác argument).
Dự đoán hiệu ứng dữ liệu: LLM theo khá tốt đường cong điểm (retrieval MAE 0.64–1.55) nhưng 4/6 cấu hình prediction-enabled đạt điểm thấp hơn run chuẩn — việc forecast gây gánh nặng thêm.
Benchmark as data engine: mid-training Qwen2.5-Coder-14B thêm 8M token trajectory (upsample 10x, chỉ 1.6% budget) cải thiện cả 5 benchmark coding — mạnh nhất SWE-bench Multilingual (+5.66) và CRUXEval Input (+2.12).

IV. Conclusion & Future Works:

AutoDataBench cho thấy đánh giá Data Intelligence cần ba lăng kính: kết quả tối ưu, khái quát hóa OOD, và khả năng dự đoán hiệu ứng dữ liệu — chỉ nhìn điểm ID là đủ sai lệch. LLM có thể tiệm cận dữ liệu sạch của expert ở tool use/retrieval và vượt expert trong xây dựng dữ liệu, nhưng OOD transfer vẫn là điểm yếu chung. Framework plug-and-play mở ra hướng mở rộng: thêm task mới, training paradigm mới ngoài SFT/RL hiện tại, và khai thác trajectory như nguồn dữ liệu huấn luyện cho thế hệ model sau.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng AutoDataBench sang các paradigm học mới (RL post-training, multimodal, continual learning) nhờ thiết kế plug-and-play của framework.
Nghiên cứu chiến lược chống benchmaxxing: phạt/điều chỉnh reward theo khoảng cách ID–OOD để agent học cách can thiệp dữ liệu khái quát hóa được.
Phân tích sâu chi phí của việc bắt buộc LLM dự đoán kết quả — khi nào self-forecast giúp và khi nào nó làm suy giảm chất lượng tối ưu dữ liệu.

2. Patent:

Hệ thống tự làm sạch dữ liệu huấn luyện trên điện thoại: LLM trên đám mây kiểm tra bộ dữ liệu bị lỗi nhãn, tự viết script lọc/sửa hàng loạt rồi gửi bản dữ liệu sạch về app để fine-tune model chạy local.
Trợ lý xây dựng dữ liệu cho mô hình nhỏ trên thiết bị: biến tài liệu mới (sách, PDF) thành cặp câu hỏi–trả lời có kiểm chứng nguồn, giúp model cũ học kiến thức mới qua distillation mà không cần retrain toàn bộ.
Nền tảng thu thập log thử-nghiệm dữ liệu của các agent AI rồi bán/chia sẻ lại dưới dạng dữ liệu mid-training, cải thiện khả năng lập trình và tự sửa lỗi của model thế hệ sau.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.40097
ArXiv Abstract	https://arxiv.org/abs/2609.40097
PDF Download	https://arxiv.org/pdf/2609.40097.pdf
Github Repository	https://github.com/AutoDataBench/AutoDataBench

32. SILSA: Sliding-Window Slice Latents for Topology-Preserving High-Resolution 3D Generation (35 votes)

Tác giả: Tianjiao Yu, Xinzhuo Li, Yifan Shen, Ying Shen, Kiet A. Nguyen, et al.

Xuất bản lúc: 2026-10-01

Tag: 3D Generation, Image-to-3D, Rectified Flow, Topology Preservation, Persistent Homology, VAE, Sparse 3D Representation, NeurIPS

I. Main Problem:

Sinh hình 3D độ phân giải cao từ một ảnh vẫn bị mắc kẹt giữa hai hướng: biểu diễn voxel dày đặc giữ đúng không gian nhưng tốn bộ nhớ theo lũy thừa ba, còn latent gọn như tri-plane hay set-latent làm mờ tương ứng cục bộ giữa token và cấu trúc hình học. Các tokenizer sparse/hierarchical giảm token nhưng số token phụ thuộc dữ liệu, thường cần hai giai đoạn: dự đoạn voxel hoạt động rồi mới sinh geometry. Hệ quả là bề mặt liên tục bị vỡ thành nhiều token nhỏ, chi phí sinh tăng, và các cấu trúc mảnh hoặc nhiều kết nối như nan hoa, lỗ, tay vịn, cành cây, chi tiết lặp lại dễ bị đứt, bị lấp lỗ, hoặc dính sai.

II. Main Idea:

SILSA đại diện hóa vật thể bằng ba chuỗi slice latent chồng lấp dọc theo trục x, y, z; với 128 vị trí mỗi trục, tổng chỉ 384 token cố định bất kể độ phức tạp bề mặt. Mỗi token không phải mặt phẳng vô hẹp mà tóm tắt một cửa sổ độ sâu cục bộ, nên giữ được tính liên tục theo mặt cắt nhưng vẫn gọn.

Slice encoder: gom mẫu bề mặt có pháp tuyến theo cửa sổ trượt; mỗi cửa sổ pooling qua MLP thành latent Gaussian, rồi dùng mean sau huấn luyện cho flow.
Sparse decoder: rải latent ba trục vào lưới 3D thô, refine bằng sparse transformer, tự cắt vùng rỗng và upsample từ 16^3 tới 256^3, cuối cùng trích xuất mesh bằng Dual Marching Cubes.
Topology supervision: khớp persistence diagram trong từng slice để giữ số thành phần liên thông và lỗ, đồng thời khớp Betti transitions giữa slice kề nhau để lỗ/kết nối xuất hiện, biến mất, tách hoặc hợp đúng độ sâu.
One-stage rectified flow: sinh thẳng 384 slice token từ ảnh, không cần dự đoán voxel hoạt động riêng.
Volumetric Anchor Lattice: là bộ nhớ 3D chung trong transformer; token của từng trục đọc/ghi lên mặt phẳng đúng vị trí độ sâu, để bằng chứng từ ba hướng tích lũy thành một vật thể mạch lạc.

Ví dụ đời thường: như cắt một ổ bánh/mô hình thành nhiều lát mỏng chồng lấp theo ba phương, rồi đặt các lát đó lên cùng một khay 3D; mỗi lát biết mình nằm ở đâu, nhìn sang lát trước/sau để không làm mất lỗ hay đứt nan hoa, thay vì ghép từng mảnh vụn rồi hy vọng khớp.

III. Main Results:

Image-to-3D: đạt tốt nhất về FD, PSNR, coverage, MMD, đồng thời khớp KD và LPIPS tốt nhất. PSNR tăng từ 30.12 lên 32.74 so với SparseFlex, tương đương +8.7% tương đối; coverage tăng từ 73.12% lên 79.08%, tức +5.96 điểm tuyệt đối.
VAE reconstruction: vượt các tokenizer mạnh về CD, F-score, IoU và Betti-Err; Betti-Err giảm từ 1.743 xuống 1.582, tương đương -9.2% tương đối, cho thấy giữ tốt hơn connected components và holes chứ không chỉ mịn bề mặt.
Hiệu quả: chỉ 384 token cố định, giảm khoảng 70.0% so với baseline gần nhất theo độ gọn và trên 98% so với các tokenizer sparse/hierarchical; training memory giảm từ 14.6GB xuống 8.7GB (-40.4%), inference giảm từ 0.82s xuống 0.34s mỗi shape (-58.5%).
Ablation: bỏ topology loss làm Betti-Err tăng từ 1.58 lên 4.43 và CD xấu đi từ 0.59 lên 0.78; bỏ cross-axis coordination gần như sụp đổ với CD 5.87, IoU 49.26, Betti-Err 17.91. Shared volumetric workspace tốt hơn direct cross-attention, với độ phân giải anchor 16 là điểm cân bằng.

IV. Conclusion & Future Works:

Kết luận chính: biểu diễn slice latent trượt theo ba trục là một cách nén 3D vừa gọn vừa giữ đúng cấu trúc, cho phép sinh một giai đoạn với chi phí thấp hơn rõ rệt trong khi bảo toàn chi tiết mảnh, lỗ, thành phần lặp và kết nối xa. Phần trích không nêu future work cụ thể; hướng mở rộng tự nhiên là đưa cùng cơ chế cross-axis workspace và topology supervision sang text-to-3D, cảnh/large-scale assets, video/4D, và khảo sát khi số slice hoặc độ phân giải anchor thay đổi mạnh.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng slice latent đa trục sang sinh cảnh 3D và text-to-3D, kiểm tra liệu tính cố định của số token có giữ được lợi ích khi vật thể lớn, nhiều tầng và có ngữ cảnh.
Kết hợp persistent-homology supervision theo slice với các biểu diễn 3D khác như point set, tri-plane, gaussian primitives để xem cơ chế Betti transition có thể chuyển sang kiến trúc không dùng voxel SDF.
Nghiên cứu chiến lược chọn số slice, độ rộng cửa sổ trượt và độ phân giải anchor lattice như một bài toán tối ưu đánh đổi giữa topological fidelity, độ mịn bề mặt và chi phí inference trên thiết bị biên.

2. Patent:

Ứng dụng điện thoại biến một ảnh chụp thành file 3D in được: người dùng chụp vật thể, hệ thống tạo nhiều lát cắt mỏng theo ba hướng, kiểm tra lỗ và chi tiết mảnh vẫn thông trước khi xuất file in 3D hoặc mô hình AR.
Công cụ thiết kế trên điện thoại cho game/AR: từ ảnh phác thảo hoặc ảnh sản phẩm, hệ thống sinh mô hình 3D nhẹ, giữ nan hoa, lỗ, rãnh và chi tiết lặp để tải nhanh vào game mobile mà không cần dựng tay.
Kiểm tra chất lượng sản phẩm bằng camera điện thoại: chụp một bức ảnh hoặc quay vòng quanh chi tiết máy, hệ thống dựng lại cấu trúc dạng lát cắt và cảnh báo nếu lỗ bị bít, chân kết nối bị đứt hoặc hai bộ phận gần nhau bị dính sai.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.02201
ArXiv Abstract	https://arxiv.org/abs/2610.02201
PDF Download	https://arxiv.org/pdf/2610.02201.pdf
Github Repository	N/A

33. 4Director: Controlling Video World Models with Rigid 3D Geometry (34 votes)

Tác giả: Wei Cao, Hao Zhang, Vikram Voleti, Yuqun Wu, Mallikarjun B R, et al.

Xuất bản lúc: 2026-10-01

Tag: Video Generation, World Models, 3D Geometry, Camera Control, Object Control, Diffusion Models, Video World Model

I. Main Problem:

Kiểm soát chuyển động camera và vật thể trong video từ một ảnh đầu vào vẫn thiếu chính xác ở hai mặt:

Cues 2D trên ảnh (bounding box, đường kéo, point track): mơ hồ về độ sâu và góc xoay — box không xác định hướng vật thể, box co lại không phân biệt được vật đi xa hay vật nhỏ đi.
Control 3D hiện có (điểm 3D tracked, sphere, một Gaussian blob mỗi vật): geometry không đầy đủ — chỉ bao phủ phần vỏ nhìn thấy từ ảnh, không có bề mặt cho vùng lộ ra khi vật xoay hoặc camera đổi góc; point-based còn đòi hỏi kéo từng điểm, rất vất vả. Hệ quả: vật thể bị biến dạng, mất nhận diện, hoặc không hoàn thành động tác xoay khi góc nhìn thay đổi.

II. Main Idea:

4Director điều khiển video world model bằng một biểu diễn cảnh 4D tường minh:

Mỗi vật thể được dựng lại một lần thành canonical mesh hoàn chỉnh (cả các mặt ảnh không thấy) bằng Pixal3D, nền là point cloud tĩnh, camera và vật dùng chung một hệ tọa độ.
Người dùng vẽ một phép biến đổi rigid (SE(3)) mỗi frame cho từng vật và một quỹ đạo camera trong viewer 3D; có thể chèn vật mới từ ảnh tham chiếu.
Cảnh được render thành depth video — chỉ chứa quan điểm, chuyển động rigid của từng vật và occlusion.
Motion Adapter (nhánh DiT-style 3B, thiết kế theo VACE) tiêm depth video + ảnh đầu vào vào generator video pretrained (Wan2.1-VACE-14B); nó học để bổ sung những gì depth thiếu: ngoại hình, ánh sáng, động lực non-rigid (ví dụ tay chân người đi bộ) và nền lộ ra khi camera di chuyển.
Huấn luyện trên RealCOD-Rigid: pipeline tự động (MegaSaM + MoGe-2 + Pixal3D + TAPIP3D, với stable core — chọn các track chuyển động rigid cùng nhau để fit) gán nhãn 20,774 clip với mesh hoàn chỉnh, phép biến đổi rigid từng frame và quỹ đạo camera.

Ví dụ đời thường: giống đạo diễn phim dựng một mô hình tượng sáp nguyên con cho từng diễn viên, đặt sẵn trên bàn quay; cứ mỗi khung hình chỉ cần xoay/dịch tượng một nhịp duy nhất, còn ánh sáng, diễn xuất mềm mại và bối cảnh sau lưng thì đoàn làm phim tự 'diễn' ra — không phải tưởng tượng lại mặt sau của tượng mỗi lần nó quay.

III. Main Results:

Vượt 4 baseline (MotionCtrl, Perception-as-Control, SymphoMotion, VerseCrafter) trên mọi metric: FID 44.1 (giảm 3.7%), FVD 370.4 (giảm 8.6%), lỗi xoay camera 3.65° (giảm từ 3.89°), lỗi tịnh tiến giảm 7.6%.
IG-IoU đạt 60.4 so với 54.8 của VerseCrafter (+10.2%) cùng tỉ lệ nhận diện ~94.9% — cho thấy lợi thế đến từ đặt vật chính xác hơn (nhờ mesh đầy đủ cố định hình dáng và hướng), không phải chỉ giữ nhận dạng.
User study (20 người, thang 1–5): 4Director dẫn đầu cả 3 tiêu chí — chất lượng 4.62, độ chính xác control 4.82 (baseline tốt nhất chỉ 2.39), consistency 4.69.
Vật đi ra khỏi khung hình rồi quay lại: chỉ 4Director xóa đúng vật khi ra ngoài, lấp nền và đưa lại cùng một vật; các baseline giữ vật lơ lửng hoặc biến dạng.
Ablation kiểm soát: bỏ bề mặt (3D box) IG-IoU tụt còn 50.3; bỏ xoay (mesh không rotate) còn 53.0; 2D box (thiếu cả hai) thấp nhất 48.5 — cả depth lẫn orientation đều cần thiết.
Chỉ hoàn thành cú xoay 180° của vật thể trong khi mọi baseline xoay dở, mất vật hoặc làm mờ.

IV. Conclusion & Future Works:

Biểu diễn cảnh 4D với mesh rigid hoàn chỉnh + một phép biến đổi mỗi frame giải quyết đồng thời mơ hồ của cues 2D và thiếu sót của proxy 3D lifted, cho phép điều khiển camera-vật chính xác với ảnh/video chất lượng cao. Hạn chế: control chỉ ở cấp rigid body — vật có khớp/deform di chuyển như một khối, nên cử động như chạy, nhảy, vung tay không thể chỉ định mà do generator tự quyết (đôi khi giữ nguyên tư thế frame đầu). Hướng tương lai: mở rộng sang scene có articulated parts để có thể chỉ định luôn chuyển động cơ thể.

V. Brainstorming Space:

1. Publish Papers:

Điều khiển video bằng geometry 3D có khớp (articulated): tách vật thể thành nhiều phần rigid liên kết, cho phép chỉ định chuyển động từng khớp như tay chân người trong khi vẫn giữ khung điều khiển tường minh.
Pipeline tự gán nhãn cảnh 4D tự động hóa hoàn toàn với nhiều vật tương tác và occlusion phức tạp, mở rộng RealCOD-Rigid sang video dài hơn và quy mô lớn hơn.
Mở rộng 4Director sang scene editing đầy đủ: thay đổi vật thể, ánh sáng và vật liệu trong scene 4D trước khi sinh video, thay vì chỉ điều khiển chuyển động.
Metric đánh giá điều khiển vật thể tốt hơn IG-IoU: kết hợp gate nhận dạng với đo lường cả hướng (orientation) và độ sâu, khắc phục trường hợp vật đối xứng trước-sau không bị phạt khi xoay 180°.

2. Patent:

Ứng dụng điện thoại quay video 'đạo diễn' bằng cách chạm: người dùng chạm chọn vật trong ảnh, hệ thống dựng vật thành mô hình 3D hoàn chỉnh; người dùng kéo quỹ đạo camera và vật thể trên màn hình 3D, điện thoại sinh video theo đúng quỹ đạo đã vẽ, ví dụ xoay sản phẩm 360° để quảng cáo.
Công cụ chèn sản phẩm vào video thực tế: chụp ảnh sản phẩm mới, hệ thống dựng mesh 3D, cho phép đặt sản phẩm vào cảnh quay sẵn với quỹ đạo chuyển động tùy chỉnh — ánh sáng và bóng đổ được tự động làm khớp cảnh, hữu ích cho quảng cáo thương mại điện tử.
Hệ thống dựng lại cảnh quay từ một tấm ảnh duy nhất cho sản xuất phim/ngắn hình: đạo diễn thiết kế chuyển động camera phức tạp (bay quanh, đi xuyên cảnh) và quỹ đạo từng nhân vật/vật thể trên viewer 3D, rồi sinh video mà không cần quay thực địa.
Module chỉnh sửa vật thể trong video đã quay trên điện thoại: chọn một vật trong video, hệ thống dựng lại vật thành khối 3D rồi cho phép dịch chuyển, xoay hoặc thay thế vật đó trong toàn bộ video với chuyển động mượt và nhất quán.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.02160
ArXiv Abstract	https://arxiv.org/abs/2610.02160
PDF Download	https://arxiv.org/pdf/2610.02160.pdf
Github Repository	https://github.com/VVeiCao/4Director

34. RPTune: Learned Context Curation for LLM Catalog Search (31 votes)

Tác giả: Chuxuan Hu, Hejie Cui, Norman Huang, Shubham Kumar Bharti, Wang-Chiew Tan, et al.

Xuất bản lúc: 2026-10-01

Tag: LLM, In-Context Learning, RAG, Reinforcement Learning, GRPO, Product Search, Context Curation, Embedding, Re-ranking

I. Main Problem:

Các doanh nghiệp nhỏ (SMB) như cửa hàng Shopify — trung vị catalog chỉ ~51K token, 92.9% vừa trong context window 1M token của LLM dài — không nên dùng pipeline RAG nhiều tầng vốn thiết kế cho sàn thương mại hàng triệu sản phẩm. Giải pháp thay thế hấp dẫn là full-catalog prompting: nhét toàn bộ catalog vào prompt để LLM lý luận trực tiếp. Nhưng vấn đề là:

LLM không sử dụng context dài một cách đồng đều: thông tin ở giữa context bị khai thác kém hơn đầu/cuối (lost-in-the-middle).
Catalog thô được xáo trộn ngẫu nhiên không tối ưu cho việc ra quyết định chọn sản phẩm.
Truy vấn của khách SMB thường đa ràng buộc, mang ngôn ngữ hội thoại (ví dụ: son môi đỏ berry, lì, bền màu qua 4 món ăn, vegan, nhẹ dưới 10g, dưới $25) — đòi hỏi đánh đổi linh hoạt giữa các tiêu chí.

II. Main Idea:

RPTune (Rank, Prune, Finetune) — framework học cách sắp xếp và cắt tỉa catalog để LLM dễ dùng, kết hợp post-training LLM trên các context đã được curation. Toàn bộ dùng dữ liệu tự sinh gắn với catalog, không cần nhãn relevance do merchant cung cấp.

Catalog curator gồm: (1) encoder biểu diễn truy vấn và sản phẩm thành embedding dày đặc, học bằng Multiple Negatives Ranking Loss; (2) reorganizer gán mỗi sản phẩm điểm ưu tiên = độ tương đồng embedding + hiệu chỉnh học được qua MLP, rồi giữ top-k và sắp xếp tăng dần (sản phẩm liên quan nhất đặt sát phần sinh câu trả lời).
Reorganizer được huấn luyện bằng RL với LLM-in-the-loop: LLM đóng băng chọn sản phẩm từ context đã sắp xếp, reward lấy từ điểm relevance đã tính trước (chuẩn hóa theo nhóm kiểu GRPO), dùng để cập nhật điểm ưu tiên — tức context được tối ưu cho chính cách LLM đọc, không phải theo nhãn tĩnh.
Post-training LLM bằng GRPO trên context đã curation với context-relative reward: +1 nếu chọn sản phẩm relevance cao nhất còn lại trong context, −1 nếu bịa sản phẩm không tồn tại, 0 nếu chọn sai — giúp mô hình chọn phương án tốt nhất khả dụng thay vì đòi sản phẩm đã bị cắt.

Ví dụ đời thường: giống như trợ lý bán hàng giàu kinh nghiệm không trải hết hàng lên quầy, mà chọn lọc vài món phù hợp nhất rồi bày món chắc chắn bán được ngay trước mặt khách, đồng thời tập nói chuyện dần để hiểu gu khách quen của tiệm.

III. Main Results:

Đánh giá trên 7 merchant thật thuộc nhiều lĩnh vực bán lẻ, 100 truy vấn hội thoại phức tạp/merchant:

Full-catalog prompting vượt mọi baseline RAG (RAG-Fusion, LongLLMLingua, TourRank, dense retrieval + reranker) ít nhất +9.0 EM trên cùng backbone, với độ trễ một chữ số giây.
Curation của RPTune cải thiện đều đặn cả 9 LLM backbone × 7 merchant (63/63 tổ hợp): trung bình +13.5 điểm EM, tối đa +31.4; riêng grok-4.1-fast-non-reasoning tăng từ 12.8% lên 31.1% (hơn gấp đôi). Thay bằng reranker/embedding có sẵn cùng ngân sách 25% còn làm giảm accuracy trên nhiều merchant, trong khi RPTune cải thiện cả 7.
Hiệu quả tương đương nâng cấp model: curation cho gain tương tự bậc model cao hơn với tốc độ nhanh hơn tới 21×.
Post-training cộng thêm +10.3 EM trung bình; pipeline đầy đủ nâng gemma-4-E4B-it từ 10.7% lên 31.0% EM — ngang hàng model frontier.
Giảm latency trung bình 28% (tới 71%) dù có thêm bước curation vì context ngắn hơn.
Khái quát hóa tốt không cần retrain: khi catalog tăng gấp đôi, EM chỉ tụt tương đối 14.7% (baseline tụt 29.5%); chuyển cross-merchant thuần mọi cặp train/eval đều dương (trung bình +18.1 EM out-of-domain).
Ablation: reward context-relative là then chốt (reward liên tục hoặc global mất ~10 EM); sắp xếp tăng dần tốt nhất; reorganizer học qua feedback LLM vượt supervised ranking +4.3 EM.

IV. Conclusion & Future Works:

Bài báo chứng minh rằng với SMB, đưa toàn bộ catalog vào LLM là cơ sở tốt hơn retrieval nhiều tầng, và điểm mấu chốt không phải 'nhét vừa' mà là biết sắp xếp và cắt tỉa context sao cho LLM dùng được — curation học qua phản hồi của chính LLM và post-training trên context đã curation tạo lợi ích cộng dồn. Giá trị thực tiễn lớn: một model nhỏ (E4B) post-trained đạt chất lượng model frontier với chi phí suy luận thấp. Hướng tương lai (suy luận từ các giới hạn được gợi mở): mở rộng cho catalog vượt ngưỡng context (catalog hybrid kết hợp retrieval + in-context), tinh chỉnh ngân sách curation động theo độ phức tạp truy vấn, và khai thác tín hiệu hành vi thật của người dùng để thay thế supervision tự sinh.

V. Brainstorming Space:

1. Publish Papers:

Catalog curation học được với phản hồi LLM cho tác vụ tìm kiếm trên danh mục siêu dài: mở rộng RPTune cho catalog SMB vượt quá context window bằng cách phân tầng kết hợp retrieval thô và curation tinh in-context.
Post-training LLM cỡ nhỏ bằng GRPO với reward tương đối-theo-context: nghiên cứu hệ thống reward shaping cho bài toán chọn mục tốt nhất khả dụng thay vì tối ưu toàn cục, và ảnh hưởng của curation lúc training lên khả năng khái quát hóa.
Tự động sinh dữ liệu đánh giá và huấn luyện gắn catalog cho tìm kiếm thương mại: pipeline tạo truy vấn hội thoại đa ràng buộc với kiểm soát độ khó bằng self-consistency và xác minh con người.

2. Patent:

Ứng dụng tìm kiếm sản phẩm trên điện thoại cho cửa hàng nhỏ: khi khách nhập yêu cầu bằng lời nói hội thoại (màu, giá, dịp dùng), hệ thống tự sắp xếp lại danh mục của tiệm theo mức độ phù hợp, đặt sản phẩm đúng nhất gần cuối danh sách gửi cho mô hình AI, rồi trả về một gợi ý duy nhất chính xác.
Plugin tìm kiếm cho nền tảng dựng cửa hàng trực tuyến (kiểu Shopify): module huấn luyện tự động không cần merchant gắn nhãn — tự tạo câu hỏi mua hàng giả lập cho từng sản phẩm, tự chấm điểm mức liên quan toàn danh mục, và tự tinh chỉnh thứ tự trưng bày khi có đơn hàng mới.
Trợ lý mua sắm đa tiệm trên điện thoại: mô hình huấn luyện tại một cửa hàng chuyển thẳng sang phục vụ cửa hàng chưa từng thấy (zero-shot), tự cắt bỏ các món không liên quan và chọn món tốt nhất còn hàng, thay vì trả về danh sách dài cần khách tự lọc.
Hệ thống gợi ý sản phẩm chịu được thay đổi kho hàng: khi cửa hàng thêm/xóa sản phẩm, không cần huấn luyện lại mà vẫn giữ độ chính xác, đồng thời giảm thời gian phản hồi nhờ chỉ đưa ~25% danh mục liên quan vào mô hình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.00964
ArXiv Abstract	https://arxiv.org/abs/2610.00964
PDF Download	https://arxiv.org/pdf/2610.00964.pdf
Github Repository	N/A

35. CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning (29 votes)

Tác giả: Wenbin Hu, Huihao Jing, Haochen Shi, Yuxuan Liu, Haoran Li, et al.

Xuất bản lúc: 2026-09-29

Tag: GRPO, Reinforcement Learning, LLM Alignment, Multi-Reward Learning, Reasoning Models, RLHF

I. Main Problem:

Khi huấn luyện LLM bằng GRPO với nhiều reward, phương sai của tổng reward bằng tổng mọi covariance cặp đôi giữa các thành phần reward: Var(Σ R_l) = Σ_l Σ_m Cov(R_l, R_m). Vì Cov(R_l, R_m) = σ_l·σ_m·ρ_lm, nên:

Reward có scale lớn chi phối mẫu số chuẩn hóa — cả các phần tử chéo lẫn ngoài chéo của ma trận covariance.
Reward scale nhỏ bị triệt tiêu khỏi cơ chế điều chỉnh advantage, dù chúng mang thông tin phân biệt hữu ích giữa các rollout.
Ví dụ trong Figure 2: reward thứ 3 có scale lớn, correlation yếu (~0.11), vẫn chiếm 91.1% tổng covariance — trong khi cặp reward mạnh tương quan (~0.98) gần như không ảnh hưởng đến chuẩn hóa.
Hệ quả: cường độ cập nhật learning signal bị ràng buộc với độ lớn thang đo thay vì mức độ phụ thuộc thực sự giữa các reward.

II. Main Idea:

Phân tích cho thấy GRPO đã ngầm điều chỉnh advantage theo correlation giữa các reward (correlation dương mạnh → mẫu số lớn → advantage nhỏ), nhưng cơ chế này bị vấy bẩn bởi scale từng reward. CorrGRPO sửa bằng cách:

Giữ nguyên tử số: tổng reward đã centered (bảo toàn trọng số tương đối do objective chỉ định).
Thay covariance bằng hệ số tương quan Pearson ρ_lm = Cov(R_l,R_m)/√(Var(R_l)Var(R_m)) ở mẫu số — loại bỏ trọng số σ_l·σ_m khỏi từng số hạng.
Mỗi reward đóng góp bằng nhau (bằng 1) trên đường chéo; các phần tử ngoài chéo phản ánh độ mạnh và hướng của phụ thuộc cặp đôi.
Ma trận correlation vẫn positive semidefinite → mẫu số luôn dương với ε>0; xử lý phần thưởng zero-variance bằng cách zero hóa hàng/cột tương ứng.
Nhờ đó correlation của các reward scale nhỏ (như cặp ρ=0.9756 trong Figure 2) ảnh hưởng gấp ~8.9 lần các quan hệ yếu của reward scale lớn.

Ví dụ đời thường: như chấm điểm một nhóm thí sinh theo nhiều tiêu chí — GRPO giống cách cộng gộp điểm thô khiến tiêu chí nào thang điểm rộng (ví dụ 0–100) át hẳn tiêu chí thang hẹp (0–5), dù sự đồng biến giữa hai tiêu chí nhỏ mới là thứ đáng quan tâm; CorrGRPO giống cách chuẩn hóa mọi thang điểm về cùng đơn vị trước khi xét mức độ hai tiêu chí đi cùng nhau, để tín hiệu phụ thuộc thực sự quyết định mức chỉnh điểm.

III. Main Results:

Code generation (Qwen2.5-Coder 0.5B–7B, LeetCodeDataset + HumanEval/MBPP/LCB v6, 7 thành phần reward gồm format, syntax, compile, run, pass, AST similarity, efficiency):
- CorrGRPO đạt Pass@1 trung bình cao nhất ở mọi scale, vượt GRPO +2.09 (0.5B), +0.80 (1.5B), +2.27 (3B), +4.21 điểm % (7B).
- Chiếm mọi điểm không bị trội (Pareto frontier) trên mặt phẳng correctness–efficiency; efficiency cao nhất 67.86% ở 0.5B.
Tool calling (Qwen2.5-7B, Qwen3-4B-Thinking, Qwen3-8B; RLLA-4K + API-Bank):
- All-exact tăng trên cả 3 backbone: 63.38→67.61 (7B), 57.75→59.15 (4B), 61.97→63.38 (8B).
- API-Bank tăng tới +3.94 điểm (Qwen3-4B, v3: 52.24→64.08%); giá trị tham số chính xác hơn trên cả ba model.
Agent utility vs. security (AgentDojo, Agent Security Bench, InjecAgent):
- Joint Accuracy (ASB) tăng mạnh: 14.88→18.13 (3B), 31.38→47.88 (7B), 57.38→58.63 (Qwen3-8B).
- AgentDojo Joint Accuracy: tăng tới 60.13→89.62% (3B).
- Tỷ lệ tấn công thành công (InjecAgent ASR) giảm trên mọi hạng mục: 8.80→5.52, 13.53→6.17, 13.94→7.98.
Đường cong reward validation (Figure 4) cho thấy CorrGRPO học ổn định hơn trên cả ba domain.

IV. Conclusion & Future Works:

CorrGRPO chứng minh rằng chuẩn hóa advantage trong GRPO đa reward nên phản ánh tương quan giữa các reward thay vì bị chi phối bởi scale thống kê của từng thành phần. Chỉ thay covariance bằng Pearson correlation ở mẫu số — vẫn giữ nguyên tử số — đã cải thiện đồng loạt trên ba domain và đẩy Pareto frontier ra ngoài giữa các mục tiêu cạnh tranh (đúng vs. nhanh, hữu ích vs. an toàn). Hạn chế: phương pháp không sửa được reward bị thiên lệch hay thiết kế sai, và hành vi kết quả vẫn phụ thuộc mục tiêu và trọng số đã chọn — triển khai thực tế cần đánh giá an toàn riêng. Hướng mở: áp dụng tư tưởng correlation-normalization cho các estimator advantage khác và cho bài toán có nhiều hơn hai mục tiêu cạnh tranh gay gắt.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng CorrGRPO cho bài toán multi-objective RL với Pareto front rõ ràng: kết hợp correlation-based normalization với cơ chế thích ứng trọng số reward theo tiến trình huấn luyện để tự động dịch chuyển điểm vận hành dọc theo frontier đúng–nhanh–an toàn.
Nghiên cứu tương tác giữa correlation-normalization và entropy control (DAPO, Clip-Cov) trong RL reasoning dài hạn, kiểm chứng liệu chuẩn hóa theo tương quan có ổn định entropy và tránh reward hacking tốt hơn trên chuỗi reasoning dài nhiều bước.
Áp dụng CorrGRPO cho đào tạo agent đa công cụ trong môi trường sản xuất: cân bằng utility, chi phí gọi API, độ trễ và bảo mật, với phân tích hệ số tương quan giữa các reward động thái theo thời gian thực.

2. Patent:

Hệ thống tinh chỉnh mô hình ngôn ngữ trên điện thoại/đám mây với nhiều tiêu chí chấm điểm (độ chính xác câu trả lời, tốc độ phản hồi, mức tiêu thụ tài nguyên, mức an toàn nội dung): trước khi cập nhật trọng số, thiết bị tính hệ số tương quan Pearson giữa các tiêu chí trên nhóm câu trả lời mẫu và dùng tổng hệ số tương quan chuẩn hóa mức cập nhật, để tiêu chí có thang đo nhỏ (ví dụ mức an toàn nhị phân) không bị tiêu chí thang đo lớn (ví dụ điểm tương đồng 0–1) lấn át.
Trợ lý AI gọi công cụ trên thiết bị di động tự cân bằng giữa tỷ lệ hoàn thành tác vụ và khả năng chống lệnh chèn độc hại: khi huấn luyện cục bộ bằng phản hồi nhóm, ứng dụng tính ma trận tương quan giữa reward hoàn thành việc và reward chống tấn công, chuẩn hóa cường độ gradient theo tổng tương quan thay vì tổng phương sai, giúp model giữ trả lời đúng việc chính đáng mà vẫn từ chối mã độc.
Nền tảng tạo mã lập trình trên đám mây tối ưu đồng thời đúng test và chạy nhanh: máy chủ huấn luyện thay phép chia cho độ lệch chuẩn tổng điểm bằng phép chia cho căn tổng hệ số tương quan giữa các tiêu chí (qua test, giống cây cú pháp, tốc độ chạy), rồi phân phối lại model đã tinh chỉnh xuống IDE trên máy tính hoặc điện thoại của lập trình viên.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.36820
ArXiv Abstract	https://arxiv.org/abs/2609.36820
PDF Download	https://arxiv.org/pdf/2609.36820.pdf
Github Repository	https://github.com/HKUST-KnowComp/CorrGRPO

36. Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces (27 votes)

Tác giả: Hongyuan Tao, Xinggang Wang, Lianghui Zhu, Yongkang Li, Yunchao Wei, et al.

Xuất bản lúc: 2026-09-30

Tag: Multimodal, Flow Matching, Unified Generation, Text-to-Image, Continuous Embeddings, Pretraining

I. Main Problem:

Các mô hình đa phương thức (language + vision) hiện tại phải đánh đổi giữa hai lối:

Fully discrete: lượng tử hóa ảnh thành token rời rạc giống văn bản → mất chi tiết thị giác do bottleneck của visual tokenizer.
Hybrid discrete–continuous: văn bản dùng autoregressive, ảnh dùng diffusion/flow → phải duy trì hai objective và hai quy trình sampling khác nhau, khó chia sẻ quá trình sinh.

Cả hai đều không cho phép cả hai phương thức dùng chung một quy trình sinh (shared generative process) trong khi giữ trạng thái liên tục cho ảnh.

II. Main Idea:

Multimodal Flow đưa cả ngôn ngữ và thị giác vào không gian embedding liên tục, rồi sinh cả hai bằng một objective Flow Matching duy nhất:

Hyperchunks có thứ tự: văn bản chia thành block (8 token), ảnh giữ dạng grid — mỗi block/ảnh thành một chunk liên tục qua encoder riêng (SigLIP2 cho ảnh, T5 cho chữ), giữ nguyên thứ tự token và cấu trúc không gian.
Chunk-causal flow backbone: mỗi chunk được dự đoán có điều kiện trên các chunk trước nó (causal giữa các chunk, joint bên trong chunk), qua joint attention cho tương tác liên phương thức + FFN riêng cho từng modality.
Huấn luyện parallel, inference tuần tự: nhiều target chunk dự đoán song song trong một forward pass khi train; khi sinh, từng chunk được lấy mẫu từ nhiễu Gaussian rồi nối vào context (có KV caching).
Cùng một backbone và objective biểu diễn mọi tác vụ: text-only, image-only, text-to-image, image-to-text, VQA, captioning.

Ví dụ đời thường: giống một đầu bếp nấu một bữa nhiều món trên cùng một bếp — từng món (chunk) được nêm nếm có điều kiện dựa trên các món đã hoàn thành trước đó, thay vì mỗi món một căn bếp riêng như cách các mô hình hybrid làm.

III. Main Results:

MF-1 1.6B với chỉ 150B token pretrain: GenEval 0.821, DPG-Bench 83.44 — vượt các mô hình unified fully discrete (Janus 0.53, Emu3 0.54) và hybrid (JanusFlow 0.63, D-DiT 0.65).
Multimodal understanding cạnh tranh: trung bình 75.3 trên VQAv2/MMBench/POPE, tốt hơn Muddit và D-DiT cùng train from scratch.
So sánh công bằng (cùng data, optimization, tham số): Multimodal Flow (0.713 GenEval, 55.6 GQA) thắng rõ Transfusion-style hybrid (0.669, 52.8) và Chameleon-style discrete (0.374, 45.8).
Mixed pretraining giúp transfer mạnh: so với khởi tạo ngẫu nhiên, SeedBench tăng 31.6 → 62.4, MMBench 36.0 → 67.2.
Scaling 0.6B → 1.6B: loss flow giảm, PPL ngôn ngữ giảm, GenEval và CLIPScore đều tăng đều.
Ablation: FFN riêng theo modality quan trọng (chia sẻ FFN làm giảm mạnh chất lượng); SigLIP2 cân bằng tốt hơn DINOv2 giữa sinh ảnh và captioning; CFG áp dụng được hai chiều (ảnh→chữ tốt nhất ở scale 3, chữ→ảnh ở scale 5).

IV. Conclusion & Future Works:

Multimodal Flow chứng minh chunk-based continuous embedding flow là paradigm hợp nhất mới khả thi cho pretraining đa phương thức: một objective, một sampling procedure, mà vẫn giữ đặc thù biểu diễn của từng modality. Pretraining hỗn hợp học được biểu diễn transfer được sang downstream. Hướng tương lai: mở rộng sang chuỗi xen kẽ dài hơn, video và các modality có cấu trúc khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Multimodal Flow sang dữ liệu interleave dài (nhiều ảnh-xen-chữ kiểu tài liệu/web) để khai thác chunk-causal attention trên ngữ cảnh đa ảnh.
Đưa video vào cùng framework bằng cách mở rộng visual hyperchunk thành chunk không gian-thời gian, dùng chung Flow Matching objective với ngôn ngữ.
Nghiên cứu self-improving cho unified continuous model: dùng chính mô hình để sinh dữ liệu ảnh-chữ chất lượng cao rồi tiếp tục pretrain, kiểm tra xem continuous flow có khai thác dữ liệu tự sinh tốt hơn discrete không.
Tối ưu hiệu quả inference của sequential chunk sampling (số bước flow tối thiểu, distilled sampler) để model unified nhỏ chạy real-time trên thiết bị biên.

2. Patent:

Trợ lý ảnh trên điện thoại dùng một mô hình duy nhất: người dùng vừa chụp ảnh vừa hỏi, hệ thống sinh câu trả lời bằng cách dự đoán tuần tự từng khối chữ dựa trên ảnh — không cần hai engine (nhận diện + sinh ảnh) riêng biệt.
Ứng dụng chỉnh sửa ảnh bằng lời nói: nhập mô tả, hệ thống sinh ảnh mới qua quá trình lấy mẫu từng phần liên tục, cho phép can thiệp từng bước (dừng lại, sửa câu lệnh giữa chừng) vì ảnh được sinh theo từng khối tuần tự.
Hệ thống tạo ảnh minh họa tự động cho bài viết dài: chương trình chia văn bản thành các khối, xen kẽ sinh từng đoạn chữ và từng ảnh minh họa bằng cùng một mô hình, bảo đảm ảnh khớp nội dung đoạn trước đó nhờ cơ chế có điều kiện theo thứ tự.
Chatbot đa phương thức trên thiết bị biên: kiến trúc một backbone xử lý cả hiểu ảnh lẫn tạo ảnh giúp giảm dung lượng mô hình và bộ nhớ so với giải pháp ghép hai mô hình riêng, tiết kiệm pin cho điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.40362
ArXiv Abstract	https://arxiv.org/abs/2609.40362
PDF Download	https://arxiv.org/pdf/2609.40362.pdf
Github Repository	https://github.com/hustvl/Multimodal-Flow

37. Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows (26 votes)

Tác giả: Gabriel Tomitsuka, Arman Raayatsanati, Emma Xing, Duke Gand, Joseph J Ma

Xuất bản lúc: 2026-10-01

Tag: Data Agents, Benchmark, Text-to-SQL, ERP, Enterprise Analytics, LLM Evaluation, Simulation

I. Main Problem:

Các benchmark text-to-SQL hiện tại không đại diện cho công việc dữ liệu doanh nghiệp thật vì ba lỗ hổng:

Dữ liệu ghép vá: dựng trên nhiều bộ dữ liệu công khai rời rạc, mỗi câu hỏi thường chỉ chạm 1 bảng; khác hẳn kho dữ liệu doanh nghiệp nơi 1 sự kiện kinh doanh trải qua 10+ bảng phải khớp số liệu với nhau.
Không end-to-end: chỉ chấm câu SQL, trong khi tác vụ giá trị cao (dự báo nhu cầu, mô hình gian lận, tối ưu ngân sách) cần thống kê/ML/tối ưu hóa và kết thúc bằng hành động có hậu quả (cấm tài khoản, cắt ngân sách), không phải một con số.
Không kiểm chứng được: kiểm toán cho thấy 62.8% gold query của Spider 2.0-Snow và 52.8% của BIRD bị sai; nhiều đáp án thậm chí không nằm trong dữ liệu (gian lận không bị phát hiện thì không có nhãn). Ngoài ra dữ liệu ERP thật quá nhạy cảm để công bố.

II. Main Idea:

Argo-Bench mô phỏng một nền tảng giao đồ ăn tại New York năm 2024 rồi xuất thế giới đó sang kho dữ liệu Oracle EBS 12.2 gồm 235 bảng, 7.49 tỷ dòng (81 triệu đơn hàng), được hiệu chỉnh theo số liệu công khai của thành phố (DCWP) và hồ sơ SEC. Trạng thái nội tại của simulator bị giấu khỏi kho dữ liệu mà agent nhìn thấy, nên agent phải tự tái dựng sự thật bằng cách khám phá kho trước khi hành động:

210 tác vụ thuộc 5 lĩnh vực: chống gian lận (Trust & Safety), FP&A, marketplace, kế toán, tăng trưởng.
Agent không trả về câu SQL mà nộp hành động qua giao diện mission-control (file_forecasts, ban tài khoản, phân bổ ngân sách) trong sandbox Python có thư viện ML/tối ưu.
Grader chấm theo hậu quả trong simulator: danh sách cấm chấm bằng số tiền gian lận ngăn được (gồm cả gian lận chưa từng bị phát hiện), dự báo chấm bằng weighted interval score trên các tháng agent chưa từng thấy.
Mọi tác vụ có reference solution chạy được chỉ dùng kho dữ liệu, chứng minh tính giải được.

Ví dụ đời thường: giống thử việc cho một kế toán viên mới vào công ty: người đó chỉ thấy hệ thống sổ sách lộn xộn, không ai cho biết đáp án, phải tự lần mò các bảng để tìm ra sự thật, rồi chịu trách nhiệm về quyết định mình ký — còn sếp thì soi quyết định đó với sổ sách thật để đánh giá.

III. Main Results:

Claude Opus 5.5 dẫn đầu: giải ≥95 điểm ở 34.8% tác vụ, điểm trung bình 59.5; 9/14 mô hình dưới 35 điểm. GPT-6 Astra dẫn về dự báo, Claude Sonnet 5.5 dẫn về compliance.
Tăng reasoning effort giúp GPT-6/Claude (Opus +17.0 điểm từ low→medium) nhưng bão hòa sớm với nhiều mô hình; một số mô hình gọi tới 250 lượt/tác vụ mà điểm không cao hơn.
Thất bại điển hình không phải do kỹ thuật kém mà do: đọc sai bản ghi (24/27 run đếm thành viên theo ngày hợp đồng thay vì thực tế lợi ích áp dụng), tối ưu sai mục tiêu (cắt ngân sách quests theo phản ứng cung mà bỏ qua quests thay thế surge pay → mất tiền thay vì tiết kiệm), đo sai đại lượng.
Dự báo quá tự tin: khoảng tin cậy 80% danh nghĩa chỉ chứa giá trị thật 44.8% số series.
66.9% data source dashboard đạt cấu trúc nhưng sai toàn bộ giá trị.

IV. Conclusion & Future Works:

Argo-Bench cho thấy benchmark kiểu mới cần có kho dữ liệu ERP mô phỏng quy mô thật + grader chấm hành động theo trạng thái nội tại, thay vì so sánh với gold SQL dễ sai. Kết quả cho thấy khoảng cách lớn tới agent doanh nghiệp thực thụ: mô hình mạnh nhất mới giải được 1/3 tác vụ, và các lỗi đáng kể nhất là phân tích kỹ nhưng nhầm đại lượng/mục tiêu/bản ghi. Hướng tương lai: mở rộng sang nhiều thành phố, đa doanh nghiệp (giao đồ ăn + tạp hóa chung sổ), lịch sử dài hơn (2017–2026), và định dạng SAP S/4HANA.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng mô phỏng sang nhiều thành phố và nền tảng đa dịch vụ để đánh giá agent trên kho dữ liệu tổ hợp với các tài khoản dùng chung giữa các doanh nghiệp.
Benchmark dự báo chịu sốc thị trường: tái sử dụng thiết kế chấm theo hậu quả để kiểm thử agent trong các giai đoạn biến động như 2020–2022.
Nghiên cứu agent 'self-verifying' tự đối chiếu định nghĩa với nguồn dữ liệu thứ hai, vì đây là điểm khác biệt chính giữa run đậu và run trượt trong Argo-Bench.
Nghiên cứu hiệu chỉnh độ tin cậy của agent dữ liệu: khoảng tin cậy 80% của các mô hình hiện chỉ đạt độ phủ 44.8%, gợi ý hướng huấn luyện chuyên biệt cho dự báo có khoảng.

2. Patent:

Hệ thống kiểm thử agent phân tích dữ liệu doanh nghiệp trên điện thoại: doanh nghiệp chạy bản mô phỏng thu nhỏ của kho dữ liệu; nhân viên đặt câu hỏi kinh doanh bằng giọng nói, agent trên điện thoại khám phá kho, đưa ra quyết định (cấm tài khoản nghi gian lận, điều chỉnh chiết khấu) và hệ thống chấm theo hậu quả ước lượng trước khi duyệt.
Trợ lý tài chính tự động cho chủ nền tảng giao đồ ăn: đọc sổ dữ liệu bán hàng hằng ngày trên điện thoại, phát hiện mẫu gian lận (vị trí giả, bot săn ưu đãi, thẻ ăn cắp) và đề xuất danh sách khóa tài khoản kèm ước tính tiền gian lận ngăn được, cho người dùng duyệt một chạm.
Công cụ phân bổ ngân sách khuyến mãi/ thưởng tài xế trên mobile: nhập mức ngân sách cần cắt, hệ thống phân tích phản ứng của thị trường từ dữ liệu lịch sử và đề xuất kế hoạch cắt giảm giúp tiết kiệm nhiều nhất, chấm thử kế hoạch bằng mô phỏng trước khi áp dụng thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.02122
ArXiv Abstract	https://arxiv.org/abs/2610.02122
PDF Download	https://arxiv.org/pdf/2610.02122.pdf
Github Repository	https://github.com/TextQLLabs/Argo-Bench

38. Ego2Act: Evaluating Goal-Directed Manipulation in Egocentric Video Generation (25 votes)

Tác giả: Patrick Amadeus Irawan, Iskandar Muda Rizky Parlambang, Rava Maulana, Qinrong Cui, Erland Hilman Fuadi, et al.

Xuất bản lúc: 2026-10-01

Tag: Video Generation, World Models, Egocentric Vision, Embodied AI, Benchmark, Physical Plausibility, VQA Evaluation

I. Main Problem:

Các mô hình sinh video đang được kỳ vọng trở thành world simulator cho robot học và lập kế hoạch, nhưng việc đánh giá khả năng này còn nhiều lỗ hổng:

Benchmark hiện tập trung vào một hành động ngắn hoặc chỉ dẫn từng bước, bỏ qua lập kế hoạch đa bước từ mục tiêu cao cấp.
Benchmark ngoài-xương (exocentric) bỏ qua che khuất bàn tay và chuyển động camera đặc trưng của góc nhìn egocentric.
Các benchmark egocentric dựa vào video tham chiếu hoặc prompt từng bước, không đánh giá được thực thi mở nhiều đường dẫn khác nhau cùng đạt mục tiêu. Hậu quả: không ai biết các model sinh video có thật sự thực hiện chuỗi thao tác vật lý hợp lệ để đạt mục tiêu hay không.

II. Main Idea:

EGO2ACT là benchmark đầu tiên cho sinh video egocentric hướng mục tiêu, đa bước: cho model một ảnh cảnh ban đầu và mục tiêu cao cấp, yêu cầu sinh video bàn tay thao tác vật thể để hoàn thành việc (trung bình hơn 5 bước, khoảng 20 giây). Kèm theo là EGO2ACTJUDGE, pipeline đánh giá không cần video tham chiếu gồm 4 giai đoạn:

Suy luận subgoals tối thiểu từ ảnh đầu + mục tiêu (91% ổn định giữa các video).
Task completion: 3 cổng kiểm tra tuần tự (bắt đầu hành động → tương tác diễn ra → trạng thái cuối đúng), dừng ở cổng đầu tiên thất bại.
Physical plausibility: 4 cổng (liên tục vật thể → nhân quả hợp lệ → tiếp xúc hợp lý → ổn định sau tương tác).
Gộp điểm bằng trung bình nhân (geometric mean) để lỗi nghiêm trọng ở một trục bị trừng phạt mạnh.

Cơ chế early-exit tuần tự ngăn chấm điểm phóng đại — thay vì hỏi tất cả rồi cộng dồn, judge dừng ngay khi một điều kiện gãy.

Ví dụ đời thường: giống kiểm tra bàn giao việc nhà cho người mới — thay vì hỏi chung chung "xong chưa?", ta kiểm từng mắt xích theo thứ tự: có cầm đồ lên không, có cho vào hộp không, nắp có đóng kín không; thấy mắt xích đầu tiên hỏng thì chấm luôn, không cần hỏi tiếp.

III. Main Results:

Khoảng cách người–AI lớn: model tốt nhất (Seedance-2.0) chỉ đạt 64.0/100 theo đánh giá người; model mở trọng số thấp tới 3.9 (Cosmos-3).
Judge đánh giá tốt hơn mọi baseline: tương quan với đồng thuận người r = 0.69 (vượt PQSG 0.31, RBench 0.40, WorldModelBench 0.16, VideoScore −0.10); thứ hạng 6 model khớp người với Spearman ρ = 0.94; độ tin cậy rubric giữa người chấm cao (ICC = 0.86).
Failure modes chính: bỏ qua bước tiên quyết (dùng vật chưa mở nắp, đổ trước khi định hướng đúng), kết quả dở dang, vật thể biến mất/nhân bản/đổi danh tính, xuyên qua bề mặt kín, cơ cấu khớp nối xoay sai trục.
Hành động nhiều tiếp xúc là khó nhất: attachment/connection chỉ đạt 38.6% task completion; transfer/mixing thường bị bỏ dở; độ dài tác vụ chỉ tương quan yếu (ρ = −0.29).
Ablation: bỏ cổng đầu tiên (P1/T1) làm lỗi tăng mạnh; chấm các cổng độc lập thay vì tuần tự làm điểm phình +6.8 và giảm tương quan; backbone Gemini-3.7-Flash tốt hơn GPT-5.6-Terra; judge bắt được lỗi trong khung hình nhưng sót lỗi giữa các khung hình (nhảy thời gian).

IV. Conclusion & Future Works:

Benchmark cho thấy các model sinh video hiện tại không thể đồng thời hoàn thành đủ bước tác vụ và giữ vật lý hợp lý trong môi trường egocentric động. Hướng cải thiện cần: (1) thực thi mọi bước tiên quyết thay vì lướt tới trạng thái hoàn thành, (2) duy trì danh tính và trạng thái vật thể qua che khuất bàn tay và chuyển động camera, (3) nền tảng hóa tương tác tiếp xúc giàu trong động lực học vật lý. Về judge, con đường trực tiếp nhất là bằng chứng thời gian dày hơn để phát hiện vi phạm liên khung hình.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng EGO2ACT sang tác vụ egocentric dài hạn hơn và môi trường nhiều bàn tay / nhiều tác tử để kiểm tra world modeling tương tác phức tạp.
Phát triển judge dùng cửa sổ thời gian dày (dense temporal evidence) hoặc video backbone có nhận thức chuyển động tốt hơn để bắt vi phạm vật lý xảy ra giữa các khung hình.
Nghiên cứu fine-tuning model sinh video với tín hiệu từ rubric cổng tuần tự để cải thiện cụ thể các dạng lỗi attachment, transfer/mixing và continuity vật thể.

2. Patent:

Ứng dụng điện thoại kiểm tra video hướng dẫn làm việc nhà: người dùng quay cảnh ban đầu, nhập mục tiêu (ví dụ "xếp đồ vào vali"), ứng dụng sinh video minh họa từng bước và tự chấm điểm tính hợp lý vật lý để cảnh báo bước nào khó thực hiện.
Trợ lý luyện tập nghề trên điện thoại: người học (thợ sửa chữa, barista, y tá) nhập mục tiêu, hệ thống sinh video góc nhìn thứ nhất mô phỏng quy trình đúng, dùng pipeline chấm cổng tuần tự để đảm bảo không bỏ sót bước nào trong hướng dẫn.
Công cụ kiểm thử nội dung video AI trên nền tảng di động: tự động phát hiện video sinh có lỗi vật lý (vật biến mất, xuyên bề mặt) bằng bộ chấm cổng tự động, gắn nhãn cảnh báo độ tin cậy trước khi đăng tải.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.01092
ArXiv Abstract	https://arxiv.org/abs/2610.01092
PDF Download	https://arxiv.org/pdf/2610.01092.pdf
Github Repository	https://github.com/ego2act/ego2act

39. PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop (23 votes)

Tác giả: Xinge Peng, Yiting Lu, Tianwu Zhi, Wen Wen, Jianzhao Liu, et al.

Xuất bản lúc: 2026-09-30

Tag: VLMs, Benchmark, Physical Intelligence, Video Understanding, Physical Reasoning, AI-Generated Video

I. Main Problem:

Các Vision-Language Models (VLMs) ngày càng được dùng để phân tích cảnh động và đánh giá tính vật lý của nội dung do AI tạo ra, nhưng liệu chúng có thực sự hiểu các quy luật vật lý hay không vẫn chưa rõ. Các benchmark hiện có có nhiều hạn chế:

Đánh giá rời rạc: chỉ đo từng giai đoạn riêng lẻ (PhysBench chỉ đo perception; PAI-Bench thiếu khâu assessment), không phản ánh vòng lặp nhận thức khép kín của con người.
Thiên lệch ngôn ngữ: câu trả lời có thể đoán đúng mà không cần xem video (language shortcut, video-blind).
Thiếu phân biệt mức độ: chỉ hỏi sự việc có xảy ra không (event-level), bỏ qua scale-level (độ lớn, tỉ lệ, vị trí chính xác).
Dữ liệu đơn điệu: chủ yếu mô phỏng hoặc chỉ video thật, gần như bỏ qua video do AI tạo ra — vốn thường chứa các vi phạm vật lý tinh vi.

II. Main Idea:

PhysVista mô phỏng vòng lặp nhận thức của con người: Seeing → Reasoning → Assessment (nhìn – suy luận – đánh giá) trong một benchmark thống nhất:

Seeing (Perception): 5 tác vụ — nhận thức trạng thái không gian (quan hệ, tương tác, bối cảnh, khả năng vừa khớp), định vị thời điểm vi phạm, nhận diện chuyển động camera (10 loại), ước lượng tỉ lệ định lượng (dạng phân số như 1/3), và nhận thức sự bất định (tham số ẩn / kết quả tương lai).
Reasoning: sắp xếp lại thứ tự thời gian và 5 tác vụ nhân quả — suy luận cơ chế vật lý, phát hiện vi phạm nguyên lý, dự đoán động lực, suy luận phản thực tế (counterfactual), và phê bình vi phạm. Mỗi tác vụ phân tách event-level (việc có xảy ra) và scale-level (chi tiết độ lớn).
Assessment: chấm điểm tính hợp lý vật lý 1–5 theo mức độ nghiêm trọng, và so sánh tương đối giữa cặp video (thật–thật, tạo–tạo, thật–tạo).

Dữ liệu gồm video thật (WISA-80K) và video tạo (VideoPhy-2), dùng template cố định không phụ thuộc nội dung, kiểm chứng thủ công và loại mẫu trả lời được khi không xem video.

Ví dụ đời thường: giống thợ sửa xe nhìn động cơ (perception), rồi ngẩm xem bộ phận nào hỏng và tại sao (reasoning), cuối cùng kết luận xe còn chạy được không và hỏng nặng cỡ nào (assessment) — chứ không chỉ nhìn rồi đoán mò.

III. Main Results:

Mô hình tốt nhất đạt chỉ ~68% perception, ~68% reasoning, SRCC thấp ~0.6 ở chấm điểm plausibility — cho thấy physical intelligence còn xa mức hoàn chỉnh.
Perception → Reasoning gap: GPT-5.2, Kimi K2.5 xếp hạng cao ở perception nhưng tụt hạng mạnh ở causal reasoning — nhìn giỏi không đồng nghĩa suy luận vật lý giỏi.
Reasoning → Assessment gap: Gemini 3.1 Pro, Doubao Seed 2.0 Pro lý giải được cơ chế vi phạm nhưng không hiệu chỉnh được điểm plausibility theo mức độ nghiêm trọng.
Các tác vụ khó nhất: Physical Dynamics Prediction và Counterfactual Physical Reasoning (nhiều mô hình dưới 40%).
Score collapse: nhiều mô hình dồn hết dự đoán vào một mức điểm (thường là 5), nên điểm cao trên video thật chỉ là 'mặc định' chứ không phải ước lượng chính xác.
So sánh cặp: thật–tạo dễ nhất; tạo–tạo khó hơn nhiều; thật–thật lộ khuynh hướng ép chọn khi cả hai đều hợp lý.
Video tạo làm lộ rõ lỗi tinh vi hơn video thật (đặc biệt ở Uncertainty Awareness và Prediction); ngoại lệ duy nhất là Scale Estimation hơi tốt hơn trên video tạo.

IV. Conclusion & Future Works:

PhysVista cho thấy các VLM hiện đại tuy nhận thức ngữ nghĩa tốt nhưng hiểu biết vật lý vẫn thiếu sót xuyên suốt cả vòng lặp nhận thức, và khung chẩn đoán này giúp định hướng thiết kế các hệ thống multimodal gắn với vật lý thực tế. Hướng phát triển hợp lý: nâng cao scale-level reasoning, khả năng hiệu chỉnh mức độ nghiêm trọng khi chấm điểm, xử lý rõ trường hợp 'tương đương nhau' trong so sánh, và cải thiện khả năng phát hiện vi phạm tinh vi trong video tạo sinh.

V. Brainstorming Space:

1. Publish Papers:

Benchmark đánh giá khả năng phát hiện vi phạm vật lý của mô hình tạo video chuyên biệt: dùng VLMs chấm điểm từng đoạn thời gian để bắt lỗi vật lý tinh vi mà các metric tổng hợp như FVD bỏ qua, kèm phản hồi có cấu trúc thay vì một con số duy nhất.
Đào tạo VLM chuyên về vật lý theo chương trình học từ perception đến reasoning rồi assessment, kiểm chứng rằng huấn luyện đa giai đoạn theo vòng lặp PhysVista giảm các khoảng trống nhận thức giữa các giai đoạn.
Phương pháp chấm điểm plausibility chống score collapse bằng hiệu chuẩn phân phối và khung phân loại mức độ nghiêm trọng vi phạm, ứng dụng làm bộ lọc tự động cho nội dung video tạo sinh.
Nghiên cứu counterfactual physical reasoning dựa trên simulation nhẹ: cho VLM mô phỏng kết quả khi đổi một điều kiện vật lý (ma sát, lực) để cải thiện dự đoán kết quả trong video.

2. Patent:

Ứng dụng điện thoại kiểm tra video do AI tạo: người dùng tải video lên, hệ thống chạy mô hình chấm điểm tính hợp lý vật lý từ 1–5, định vị đúng giây vi phạm và giải thích nguyên nhân, giúp phát hiện deepfake video và nội dung giả mạo vật lý.
Trình chỉnh sửa video tự động cho điện thoại: khi video do AI tạo bị chấm điểm thấp, ứng dụng gợi ý sửa đúng yếu tố vật lý sai (ví dụ vật rơi sai hướng) và tạo lại đoạn đó thành hợp lý hơn.
Hệ thống an toàn cho xe tự hành và camera giám sát: phân tích luồng video thời gian thực, đánh giá tính nhất quán vật lý của cảnh và cảnh báo khi phát hiện sự kiện bất thường (vật biến mất, chuyển động trái quán tính) — hữu ích cả cho phát hiện video giả mạo từ camera.
Trợ lý học tập vật lý trên điện thoại: quay video thí nghiệm thật, ứng dụng hỏi học sinh dự đoán kết quả, chấm theo cả mức đúng/sai lẫn độ chính xác về độ lớn, rồi giải thích cơ chế vật lý đằng sau.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.00559
ArXiv Abstract	https://arxiv.org/abs/2610.00559
PDF Download	https://arxiv.org/pdf/2610.00559.pdf
Github Repository	https://github.com/Helen1p/PhysVista

40. Smaller Models, Better Rejects: Preference Distillation Scaling (21 votes)

Tác giả: Rui Cai, Wenhui Zhu, Xiwen Chen, Jincheng Cao, Han Yu, et al.

Xuất bản lúc: 2026-09-30

Tag: Preference Distillation, DPO, Knowledge Distillation, Reject Sampling, LLM Scaling, Code Generation, Mathematical Reasoning

I. Main Problem:

Preference distillation thường lấy phản hồi của teacher làm chosen và phản hồi của chính student làm rejected, ngầm giả định rằng lỗi của student là negative signal tốt nhất và reject phải do model cỡ student sinh ra.

Hai giả định này tạo vấn đề khi student lớn dần:

sinh reject bằng chính student ngày càng đắt tính toán
sau sequence-level distillation, lỗi của student có thể là near-miss đã rất giống reference policy, khiến DPO ít có gì để tương phản
chưa rõ reject tốt nên scale thế nào với student, và đâu là tính chất của reject khiến student học tốt hơn.

II. Main Idea:

Bài báo đảo ngược bài toán: thay vì hỏi DPO làm student thay đổi thế nào với một reject distribution cho trước, họ hỏi reject distribution nào khiến student cải thiện nhiều nhất.

Cốt lõi lý thuyết:

linearize DPO quanh SeqKD reference bằng feature score của policy
mỗi reject source được đặc trưng bởi transfer mass a_Q và adverse share c_Q
net transfer là κ_Q = a_Q(1 - 2c_Q); source hữu ích khi di chuyển update theo hướng tốt nhiều hơn hướng xấu
finite-horizon bound chỉ ra vùng reject distributions thuận lợi: có đủ transfer mass nhưng phần chuyển sai hướng phải nhỏ

Ba can thiệp rút ra từ mô hình:

trộn nguồn reject: utility tuyến tính theo tỉ lệ mixture, nên tăng tỉ lệ reject từ model nhỏ hơn nên làm student tốt hơn
gán lại reject sang prompt khác và xáo trộn code tokens: phần lợi ích có thể nằm ở task structure của reject text, không chỉ ở lỗi đặc thù của từng prompt
chọn reject có likelihood thấp hơn dưới reference policy: các ứng viên quá giống reference thường ít contrast hơn

Ví dụ đời thường: giống như học lái xe, lỗi của chính mình đôi khi quá quen và “gần đúng” nên khó sửa; người mới xem lỗi cơ bản của học viên khác — vẫn giữ cấu trúc bài học nhưng đủ khác để nhận ra điểm cần tránh.

III. Main Results:

Với student Qwen2.5 từ 7B tới 72B, mọi cấu hình dùng smaller frozen Base models đều vượt cả vanilla Self và post-SeqKD Self, đồng thời inference compute cho reject chỉ khoảng 0.9%–50.1% so với Self cùng scale, tức giảm khoảng 2.0×–108.3×.
Trên code generation, reject từ Qwen2.5-3B-Instruct cải thiện student 14B +3.1 avg@4 points so với vanilla Self; trên math reasoning cải thiện +1.9 points.
Randomized mixture cho student 14B: khi tỉ lệ reject Llama-1B Base tăng từ 0% lên 100%, KoDCode avg@4 tăng từ 59.73% lên 63.28%; với Qwen2.5-3B Base tăng từ 59.58% lên 62.63%.
Length-matched gibberish gần như chỉ tương đương continued training trên chosen responses; prompt-reassigned rejects vẫn hơn gibberish ở mọi student scale, ví dụ student 7B cải thiện +1.28 points.
Chỉ giữ lại code-token inventory sau lexical permutation vẫn hơn gibberish ở mọi scale; student 14B cải thiện +0.73 points so với gibberish.
Likelihood dưới SeqKD reference tổ chức ranh giới nguồn reject: smaller Base có coupling thấp và utility cao, Self có coupling cao và utility thấp; tương quan Pearson âm, mạnh nhất student 7B là r = -0.97.
Khi chọn lại reject từ fixed candidate banks, low-reference-likelihood selection thắng high-likelihood selection cho mọi source; với source 1.5B, avg@4 đạt 63.14% so với 61.88% khi bị hút về phía high likelihood.

IV. Conclusion & Future Works:

Kết luận chính: reject generation không cần scale cùng student. Model nhỏ hơn, đóng băng, có thể sinh negative examples rẻ hơn và tốt hơn chính lỗi của student.

Nguyên tắc thiết kế: reject hiệu quả cần giữ task structure nhưng giảm coupling tới reference policy. Model nhỏ hơn đạt được cả hai ở chi phí thấp: chúng tạo text còn mang cấu trúc miền bài toán, đồng thời không quá gần với policy vừa được distill.

Hướng mở rộng hợp lý: kiểm tra liệu nguyên tắc này còn đúng ngoài linearized DPO, với các objective preference khác, bài toán đa phương thức, tool-use agents, safety alignment, và các pipeline online/off-policy nơi reject source có thể thay đổi trong suốt training.

V. Brainstorming Space:

1. Publish Papers:

Scaling-law paper cho reject source selection: ước lượng optimal size và mixture ratio của reject generator theo student scale, task difficulty, và ngân sách inference.
Mở rộng inverse data design sang online preference optimization, nơi reject bank được cập nhật theo tiến hóa của student và reference policy.
Nghiên cứu reject design cho agentic coding và tool-use: hard negatives không chỉ sai kết quả mà còn sai lệch cấu trúc plan, API call order, hoặc constraint usage.
Phân tích an toàn của smaller-model rejects: liệu negative examples rẻ và ít coupled có làm giảm shortcut alignment hay hallucination trong ứng dụng thực tế không.
Phương pháp tự động chọn reject source bằng measurable signals: task-domain structure, reference likelihood, diversity, và verified failure mode.

2. Patent:

Hệ thống distillation tiết kiệm trên điện thoại: một model nhỏ chạy local sinh các câu trả lời sai đã kiểm chứng làm negative examples, trong khi model lớn hơn trong app học từ câu đúng của cloud teacher và các câu sai rẻ này, giảm chi phí tạo dữ liệu huấn luyện.
Trợ lý lập trình mobile có bộ tạo phản hồi sai cục bộ: khi người dùng yêu cầu sửa code, một model nhỏ tạo nhiều đáp án sai hợp lệ, hệ thống lọc theo unit test, rồi dùng chúng làm ví dụ xấu để fine-tune model chính trên thiết bị hoặc server riêng.
Cơ chế chọn câu trả lời sai ít giống model hiện tại: với mỗi prompt, ứng viên sai được chấm mức giống dưới model hiện tại; ưu tiên ứng viên sai nhưng có cấu trúc đúng của bài toán để huấn luyện preference model hiệu quả hơn.
Dịch vụ cập nhật model biên theo đợt: cụm server dùng model nhỏ cố định sinh reject dataset cho nhiều phiên bản student lớn, cắt giảm GPU cost mà vẫn cải thiện chất lượng model sau mỗi đợt distill.
Module kiểm chuẩn dữ liệu negative examples cho ứng dụng AI: tự động thay text vô nghĩa bằng phản hồi sai có cấu trúc nhiệm vụ, đo lường gain trước khi đưa vào pipeline preference training.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38987
ArXiv Abstract	https://arxiv.org/abs/2609.38987
PDF Download	https://arxiv.org/pdf/2609.38987.pdf
Github Repository	N/A

41. Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation (19 votes)

Tác giả: Mohammed Irfan Kurpath, Jaseel Muhammad Kaithakkodan, Sahal Shaji Mullappilly, Ivan Laptev, Hisham Cholakkal

Xuất bản lúc: 2026-10-01

Tag: Multimodal Embeddings, Contrastive Learning, Distillation, LoRA, Retrieval, Matryoshka Representation Learning, SigLIP

I. Main Problem:

Mở rộng một mô hình embedding văn bản sang các modality mới (ảnh, video, âm thanh, giọng nói, tài liệu trực quan) luôn rơi vào nghịch lý mở rộng đa modality với hai lỗi cộng sinh:

Quên thảm họa (catastrophic forgetting) phía văn bản: fine-tune text encoder chung với dữ liệu đa phương tiện làm dịch chuyển hình học của văn bản, sụt điểm MTEB — trong khi văn bản vẫn là modality quan trọng nhất cho tìm kiếm thực tế.
Phình to modality (modality bloat): các omni embedder hiện có (e5-omni-3B/7B, LCO-Embedding-Omni, omni-embed-nemotron) phải phóng lên 2.5B–8.9B tham số để đủ sức chứa mọi modality, kém phù hợp triển khai ở biên.

II. Main Idea:

Đặt văn bản làm neo bất động (anchor), không phải đồng học viên. Backbone text đóng băng hoàn toàn (không full fine-tune, không LoRA); chỉ 68M tham số projector + adapter LoRA (r=16) trên các encoder media được huấn luyện.

Ý tưởng cốt lõi — tự chưng cất qua caption dày đặc (cascaded-caption self-distillation):

Mỗi mẫu media được gắn một dense caption do Qwen3-Omni-30B sinh ra (có caption gốc làm neo).
Teacher chính là backbone đóng băng embed caption đó — teacher và student dùng chung trọng số byte-identical, nên chỉ cần căn cosine trong không gian ẩn gốc, không cần projection head hay teacher riêng; target cache được một lần dùng mãi.
Loss kết hợp SigLIP contrastive + Matryoshka (các chiều 128–1024) với bộ đào hard-negative online lai (index FAISS text + từng modality, cắt false-negative ở cosine 0.92).
Huấn luyện theo pha: 20% đầu chỉ projector, sau đó bật LoRA; backbone không bao giờ cập nhật.

Ví dụ đời thường: giống việc dạy người mới một kỹ năng bằng cách đưa cho họ bản dịch lời giảng thích rõ ràng do chính giáo viên gốc không đổi viết — học viên chỉ cần học cách 'phiên dịch' từ ngôn ngữ của mình sang ngôn ngữ của thầy, mà không bao giờ làm thầy quên cách dạy cũ.

III. Main Results:

Omni-Embed-Mini-0.9B (935M tham số, chỉ 7.3% được huấn luyện): giữ nguyên tuyệt đối chất lượng text retrieval — 49.57 nDCG@10 MTEB-v2 BEIR-8, bit-identical với backbone Qwen3-Embedding-0.6B, mọi checkpoint khớp 4 chữ số thập phân.
Nhỏ hơn 2.7×–9.5× mọi omni embedder mã nguồn mở cùng loại (BidirLM-Omni-2.5B, e5-omni-3B/7B, LCO-Omni-3B/7B).
Omni-Embed-Mini-2.3B (frozen Qwen3-VL-Embedding-2B): overall-modality average 51.39, vượt gemini-embedding-2 (49.51); dẫn đầu khối omni ở video (55.18), cạnh tranh ở image (64.80) và visual-doc (58.10).
Ablation cho thấy neo đóng băng là đúng: mở LoRA cho backbone ở 0.9B sụt text −3.13 điểm; ở 2.3B sụt mọi modality (speech −10.53, audio −8.40).
Dense caption là thành phần dữ liệu quan trọng nhất: +7.01 điểm trung bình so với caption gốc (video +14.06); mining lai text+media tốt hơn hẳn không mining (+2.6).
Matryoshka kế thừa từ backbone: cắt còn 128 chiều giảm 8× dung lượng index (41GB → 5GB cho 10M vector) với chất lượng gần như không đổi.

IV. Conclusion & Future Works:

Bằng cách tái định nghĩa căn chỉnh cross-modal thành tự chưng cất qua một backbone văn bản đóng băng chung, công thức này biến huấn luyện omni-modal thành bài toán projector+LoRA nhẹ nhàng, loại bỏ quên thảm họa và mở đường cập nhật backbone text trong tương lai chỉ bằng cách retrain phần nhẹ. Hướng mở: học cách trộn token của hai encoder audio thay vì xen kẽ cố định; biến thể Mixture-of-Encoders; pooler không gian-thời gian thật cho video; và quan trọng nhất — xây benchmark any-to-any retrieval xuyên suốt cả 6 modality, vì hiện chưa có bộ đánh giá nào làm điều này. Giới hạn: phụ thuộc caption do teacher sinh (có thể hallucinate, chưa lọc factuality), các hiện tượng khó diễn tả bằng lời (kết cấu âm thanh tinh tế, pattern thị giác trừu tượng) có thể bị mất.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu độ bền của công thức distillation qua caption: thử nghiệm làm nhiễu caption có kiểm soát để định lượng mức sụt retrieval khi chất lượng caption giảm, và đối chứng caption bằng captioner thứ hai.
Mô hình Mixture-of-Encoders cho omni embedding: router tự chuyển hướng đầu vào tới chuyên gia (speech/audio/image) thay vì một pipeline cố định, kết hợp giữ nguyên neo văn bản đóng băng.
Pooler video không gian-thời gian học được thay thế mean-pooling theo frame, bảo toàn cấu trúc thời gian–không gian và nâng trần hiệu suất video trên các benchmark retrieval.
Benchmark any-to-any retrieval thống nhất cho 6 modality: đánh giá mọi tổ hợp truy vấn→kho ngữ liệu (text↔ảnh↔video↔âm thanh↔giọng nói↔tài liệu trực quan) trong một không gian embedding chung.

2. Patent:

Công cụ tìm kiếm trên điện thoại chạy nội bộ: người dùng chụp ảnh, quay video, ghi âm hoặc gõ văn bản — một mô hình nhỏ dưới 1 tỷ tham số đưa tất cả về cùng không gian so khớp, tra cứu offline nhanh mà không làm giảm độ chính xác tìm kiếm văn bản của máy.
Trợ lý lưu trữ đa phương tiện cá nhân: quét toàn bộ ảnh, video, ghi âm họp và tài liệu chụp trên điện thoại thành một chỉ mục chung; một truy vấn bất kỳ dạng nào (nói, gõ, chụp) đều tìm ra nội dung liên quan xuyên định dạng.
Hệ thống nâng cấp mô hình tìm kiếm không gián đoạn: khi có backbone văn bản mới tốt hơn, chỉ huấn luyện lại các projector nhẹ cho từng loại dữ liệu đa phương tiện mà không phải huấn luyện lại toàn bộ hay mất chất lượng tìm kiếm văn bản đang chạy.
Máy ghi âm thông minh tích hợp tìm kiếm: cuộc họp được nhúng thành vector trong cùng không gian với ghi chú và tài liệu trình chiếu, cho phép tìm lại đoạn nói đúng lúc bằng một câu hỏi gõ trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.02148
ArXiv Abstract	https://arxiv.org/abs/2610.02148
PDF Download	https://arxiv.org/pdf/2610.02148.pdf
Github Repository	https://github.com/k-m-irfan/Omni-Embed-Mini

42. PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion (19 votes)

Tác giả: Lehan Yang, Daiqing Qi, Wenhao Zhang, Avery Li, Yiqing Yang, et al.

Xuất bản lúc: 2026-09-30

Tag: Diffusion Models, Text-to-Image Generation, Representation Alignment, REPA, Pixel Diffusion, Dense Prediction, DiT

I. Main Problem:

Phương pháp Representation Alignment (REPA) giúp huấn luyện diffusion transformer nhanh hơn, nhưng mục tiêu alignment gần như luôn là các encoder ngữ nghĩa (DINOv2, CLIP). Phân tích gần đây (iREPA) cho thấy tín hiệu alignment thực sự đến từ cấu trúc không gian, không phải ngữ nghĩa toàn cục — vậy các mô hình dense-prediction (depth, normals, segmentation) chính là nguồn giám sát tối ưu, nhưng chưa được khai thác. Thách thức cốt lõi khi dùng nhiều teacher cùng lúc: cộng thẳng (flat sum) các loss của DINOv2 + SAM2 + Depth Anything v2 + Metric3D v2 qua một projection chung lại cho kết quả tệ hơn cả teacher hình học đơn lẻ, vì gradient ngữ nghĩa (bất biến góc nhìn, định danh vật thể) và gradient hình học (bố cục metric, phương bề mặt) cạnh tranh cùng một không gian đặc trưng thay vì bổ sung cho nhau.

II. Main Idea:

PixelDense tách giám sát đa-teacher thành hai luồng riêng rẽ thay vì cộng chung:

Semantic stream: DINOv2 + SAM2 đi qua một bottleneck projection chung (768 chiều)
Geometric stream: Depth Anything v2 + Metric3D v2 đi qua bottleneck riêng (1024 chiều)
Weight-space orthogonality penalty: ép các hàng của hai ma trận projection đầu vào trực giao với nhau, ngăn hai luồng đọc cùng một chiều của đặc trưng denoiser và sụp đổ về một subspace chung
Bốn teacher đều đóng băng trong huấn luyện, bỏ hẳn khi inference — mô hình triển khai vẫn là generator RGB gốc, không tốn thêm chi phí

Alignment đọc token tại block 8 của denoiser (pixel-space DiT), khớp trực tiếp lên lưới patch RGB mà các dense teacher tiêu thụ. Cùng một công thức áp dụng nguyên trạng cho cả PixelGen lẫn DeCo.

Ví dụ đời thường: giống như học hai môn khác nhau — thay vì ghi chung một quyển vở khiến chữ hình học lẫn chữ văn chồng lộn, ta dùng hai quyển vở riêng và quy định giáo viên hai môn không được dạy cùng lúc, cùng chỗ trên bảng, để mỗi thứ đặc trưng riêng rẽ mà không chen lấn.

III. Main Results:

GenEval Overall trên PixelGen-XXL tăng từ 0.7927 → 0.8093 (+2.09% tương đối), vượt mọi biến thể teacher đơn và multi-teacher cộng thẳng (tốt nhất trong nhóm đó chỉ 0.8069); cải thiện cả DPG-Bench và HPS v2.1.
Partial-noise reconstruction (probe độc lập, không trùng teacher): PQ panoptic tăng tới +53.1% (Flickr30K, τ=0.5), depth AbsRel giảm tới -36.0%, normal error giảm — tốt hơn baseline ở mọi tổ hợp dataset/probe/mức nhiễu.
Phân tích teacher: mỗi dense teacher đều hơn DINOv2-only; cộng thẳng 4 teacher (0.8036) tệ hơn Depth Anything v2 đơn lẻ (0.8069) → chứng minh negative transfer và cần factorization.
Huấn luyện từ scratch: đạt peak GenEval của baseline nhanh hơn 1.23× và giữ vững tới 100K bước.
Chuyển giao DeCo không cần retune: GenEval 0.8620 → 0.8690, DPG 81.4 → 81.8.
SDEdit trên PIE-Bench: giữ nền/layout tốt hơn ở mọi mức nhiễu; background PSNR cao hơn tới 2.2dB, FID tốt hơn ở mọi τ.

IV. Conclusion & Future Works:

PixelDense cho thấy dense perception (ngữ nghĩa + hình học) là nguồn giám sát alignment mạnh hơn encoder ngữ nghĩa đơn thuần, miễn phí về mặt inference nhờ tách luồng và ràng buộc trực giao. Mô hình sinh ảnh có cấu trúc bền hơn rõ rệt, hứa hẹn cho các tác vụ cần bảo toàn cấu trúc nguồn như image editing. Hạn chế & hướng tương lai: thử nghiệm editing mới dừng ở SDEdit; các phương pháp editing dạng inversion-based và instruction-based còn bỏ ngỏ; có thể mở rộng teacher bank và sang video diffusion.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng tư tưởng semantic–geometric factorization với orthogonality penalty cho video diffusion, kết hợp alignment không gian với ràng buộc tính nhất quán thời gian giữa các frame.
Khảo sát curriculum cho teacher bank đa dạng: thay trọng số cố định bằng lịch trình thay đổi đóng góp của từng dense teacher theo tiến trình noise/timestep.
Học cách tự động phân nhóm teacher (semantic vs geometric vs photometric) bằng phân tích gradient thay vì phân loại thủ công, để mở rộng framework cho teacher bank tùy ý.

2. Patent:

Ứng dụng camera điện thoại: mô hình sinh/sửa ảnh chạy cục bộ trên điện thoại dùng kỹ thuật tách hai luồng học ngầm cấu trúc 3D và ranh giới vật thể lúc huấn luyện, giúp ảnh chụp/xóa phông/sửa ảnh bằng AI giữ đúng chiều sâu và bố cục mà không cần mô hình phân tích ảnh nào chạy khi người dùng chụp.
Hệ thống chỉnh sửa ảnh theo vùng chọn trên di động: người dùng tô vùng cần đổi (ví dụ đổi màu áo), mô hình chỉ thay vùng đó còn nền, người, phối cảnh giữ nguyên tuyệt đối nhờ được huấn luyện với hai kênh giám sát hình học và ngữ nghĩa tách biệt.
Công cụ khôi phục ảnh cũ/mờ trên điện thoại: nhiễu hóa nhẹ ảnh gốc rồi tái tạo bằng mô hình đã học cấu trúc không gian, để phục hồi chi tiết mà không bị méo khuôn mặt hay sai phối cảnh như các bộ lọc AI thông thường.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.00483
ArXiv Abstract	https://arxiv.org/abs/2610.00483
PDF Download	https://arxiv.org/pdf/2610.00483.pdf
Github Repository	https://github.com/Hansxsourse/PixelDense

43. Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes (17 votes)

Tác giả: Sophia Sirko-Galouchenko, Monika Wysoczanska, Andrei Bursuc, Nicolas Thome, Spyros Gidaris

Xuất bản lúc: 2026-10-01

Tag: MLLMs, On-Policy Self-Distillation, Self-Distillation, Synthetic Data, Spatial Grounding, Visual Perception, Chart Understanding, Counting

I. Main Problem:

Các phương pháp on-policy self-distillation cho MLLMs thường tạo lợi thế cho teacher bằng cách cho teacher nhìn ảnh tốt hơn: crop, zoom, hoặc ảnh độ phân giải cao hơn.
Cách này giúp các bài cần dò chi tiết nhỏ, nhưng không ổn định: có thể tăng mạnh trên V*/ZoomBench trong khi giảm đếm, đọc tài liệu, hoặc tăng hallucination.
Nhiều hướng còn cần dữ liệu grounding do người gán nhãn hoặc một teacher ngoài lớn hơn, khó mở rộng.
Bài toán cốt lõi: làm sao để teacher có thông tin đặc quyền hữu ích nhưng không đổi view ảnh, và có thể tạo thông tin đó không cần annotation?

II. Main Idea:

Where-OPD dùng gợi ý dạng văn bản có toạ độ không gian làm thông tin đặc quyền. Teacher nhận ảnh + câu hỏi + hint liệt kê các phần tử liên quan và vị trí của chúng; student chỉ nhận ảnh + câu hỏi.

Dữ liệu post-training được sinh procedural: cảnh có hình học màu sắc, vị trí, màu nền đều biết trước, nên hệ thống tự tạo câu hỏi đếm và hint như “quét hình chữ thập xanh: thấy một gần (377, 400)... tổng cộng 3”.
Student sinh câu trả lời; teacher chấm theo từng token tại các prefix student thật đã đi qua bằng Jensen–Shannon divergence; teacher thường đóng băng, chỉ student được cập nhật.
Lúc suy luận, hint bị bỏ hoàn toàn, model phải tự dò vùng liên quan từ ảnh và câu hỏi.

Ví dụ đời thường: giống người mới học kiểm kê kho được người hướng dẫn đưa tờ giấy ghi “món cần đếm nằm ở ô A3, B7, C2”; sau nhiều lần luyện, người đó tự quét kệ và đếm đúng mà không cần tờ giấy.

III. Main Results:

Trên Qwen3.5-4B, Where-OPD đạt trung bình cao nhất trong 15 benchmark; cải thiện ChartQA +7.20, EvoChart +10.11, CountQA +2.53, OCRBench +1.93, HallusionBench +10.76.
Trên Qwen3.5-9B, ChartQA tăng +5.93, EvoChart +6.43, trung bình tăng +1.76.
Trên Qwen3-VL-4B, CountQA tăng +2.69, EvoChart +1.76, trung bình tăng +1.01.
Khái quát tốt hơn crop/zoom: mặc dù chỉ train trên ảnh synthetic đếm hình học, model cải thiện ảnh thật như CVBench, MME-RealWorld, BLINK, HR-Bench, V*, ZoomBench; gain trung bình trên tập này là +3.23 cho Qwen3.5-4B.
Ablations: chỉ có ảnh synthetic không đủ; hint toạ độ không đếm tốt hơn hint chỉ đáp án; crop ảnh làm CountQA giảm mạnh; teacher đóng băng tốt hơn EMA; khoảng 3,000 cảnh là đủ trong thiết lập chính.

IV. Conclusion & Future Works:

Kết luận: điểm mấu chốt không phải cho teacher nhìn rõ hơn, mà là cho teacher biết đâu là bằng chứng liên quan nằm ở đâu. Khi chênh lệch thông tin đó được chưng cất qua self-distillation, model học được cách dò nhiều vùng liên quan và chuyển kỹ năng từ cảnh tổng hợp sang ảnh thật.

Hướng mở rộng hợp lý: thử loại cảnh procedural phức tạp hơn, hint mức độ chi tiết khác nhau, hoặc kết hợp gợi ý toạ độ với quan sát ảnh cục bộ; đồng thời kiểm tra giới hạn khi ảnh thật có nhiễu, che khuất, hoặc yêu cầu kiến thức ngoài ảnh.

V. Brainstorming Space:

1. Publish Papers:

Tạo dữ liệu tổng hợp có metadata đầy đủ cho các tác vụ thị giác ngoài đếm, như đọc biểu đồ hoặc so khớp nhãn-vùng, rồi dùng gợi ý toạ độ tự động để self-distill mà không cần gán nhãn.
Nghiên cứu curriculum của spatial hints: từ toạ độ chính xác, giảm dần độ chính xác, rồi chuyển sang mô tả vùng tương đối để kiểm tra khi nào model tự đứng được.
Kết hợp hai dạng đặc quyền: gợi ý toạ độ cho teacher biết tìm ở đâu và ảnh crop cho teacher nhìn rõ hơn, đo xem sự kết hợp có bền hơn từng dạng riêng lẻ không.

2. Patent:

Ứng dụng điện thoại đếm vật thể trong kho hoặc siêu thị: người dùng hỏi “còn bao nhiêu hộp màu xanh?”; camera quét kệ, hệ thống tự chọn vùng liên quan trước khi đưa ra con số, không cần người gán nhãn vùng trước.
Trợ lý đọc biểu đồ và tài liệu trên điện thoại: khi người dùng hỏi một chỉ số, app tạm nội bộ xác định vùng chứa nhãn, cột giá trị và chú thích, sau đó ẩn gợi ý để model trả lời tự nhiên như đang nhìn ảnh thật.
Module kiểm tra ảnh chụp bằng camera điện thoại trong bảo trì hoặc giao nhận: hệ thống tự sinh câu hỏi kiểm kê trên ảnh tổng hợp tương tự để huấn luyện lại phiên bản nhẹ, rồi áp dụng cho ảnh thật ngay trên thiết bị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.02117
ArXiv Abstract	https://arxiv.org/abs/2610.02117
PDF Download	https://arxiv.org/pdf/2610.02117.pdf
Github Repository	N/A

44. When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents (17 votes)

Tác giả: Yanjie Zhang, Bowen Cao, Zixin Chen, Yushi Sun

Xuất bản lúc: 2026-09-26

Tag: LLM Agents, Multi-Turn Dialogue, Intent Drift, State Tracking, Benchmark, On-Policy Distillation, Tool Use

I. Main Problem:

Các tác tử LLM hoạt động theo hội thoại nhiều lượt, trong đó người dùng thường thay đổi ý định (thêm, sửa, rút lại yêu cầu) trước khi yêu cầu thực thi. Tuy nhiên, các phần ý định đã bị thay thế hoặc rút lại vẫn tiếp tục ảnh hưởng đến câu trả lời cuối cùng — hiện tượng được gọi là intent drift (trôi dạt ý định). Hậu quả:

tác tử trả lời theo yêu cầu cũ thay vì yêu cầu hiện tại
các benchmark đa lượt hiện có không tách biệt được lỗi này khỏi lỗi đa lượt nói chung
các kỹ thuật nén lịch sử hội thoại (summarization, compaction) không giải quyết được vì vẫn giữ lại đồng thời giá trị cũ và giá trị mới, đẩy việc chọn giá trị nào còn hiệu lực sang cho mô hình sinh câu trả lời.

II. Main Idea:

Bài báo giới thiệu INTENTFLUX, benchmark có thể thực thi được: nó chuyển các tác vụ có grader kiểm chứng được (code, toán, SQL, tóm tắt, tool-use) thành hội thoại nhiều lượt với các chỉnh sửa ý định được kiểm soát:

VARIANT: giá trị thay thế hợp lý, sau đó bị thay bằng giá trị đích
DECOY: ràng buộc hợp lý, sau đó bị rút lại (chỉ giữ lại khi tuân theo nó làm thay đổi kết quả chấm điểm)

Tiếp theo là STATEFORGE, harness tách riêng việc bảo trì trạng thái ý định khỏi việc giải tác vụ: sau mỗi lượt người dùng, một tracker gập (fold) các chỉnh sửa thành biểu diễn trạng thái đang hoạt động — xóa cả mục ý định đã lỗi thời lẫn các kết luận suy ra từ nó — rồi chèn trạng thái này vào trước khi mô hình sinh câu trả lời. Nén lịch sử chỉ hỏi giữ lại thông tin gì; state folding còn hỏi thông tin nào vẫn còn hiệu lực.

Ví dụ đời thường: giống như thư ký của một sếp hay đổi ý — thay vì ghi chép mọi thứ sếp từng nói rồi cuối cùng tự mò xem cái nào còn dùng được, thư ký khá giữ một tờ giấy duy nhất ghi yêu cầu hiện tại, gạch bỏ ngay mỗi khi sếp sửa hoặc hủy một mục, và chỉ dựa vào tờ giấy đó khi làm việc.

III. Main Results:

Độ khó tăng theo lượng thông tin lỗi thời: trên 627 tác vụ calibration, mean score giảm từ 0.476 (dễ) xuống 0.384 (khó), tương ứng -19.3%.
Intent drift đo được, độc lập với độ dài hội thoại: cả 8 mô hình LLM đều có IDG dương (khoảng cách giữa điều kiện sạch và điều kiện drift). Điều kiện control cùng số lượt nhưng không đổi ý định đạt 0.734, gần mức single-turn 0.778, trong khi drift chỉ 0.469 — chứng tỏ lỗi không do hội thoại dài.
Nén lịch sử không đủ: Deep Agents (rolling summary) đạt 0.354, OpenHarness (compaction) 0.392, trong khi bare multi-turn là 0.367 — không harness nào phục hồi hiệu suất.
STATEFORGE cải thiện rõ rệt: mean score trên GENERAL-TEST tăng từ 0.367 lên 0.467; chèn ground-truth final state đạt 0.549 nhưng vẫn thua single-turn 0.778, nghĩa là lỗi ước lượng trạng thái chỉ giải thích một phần khoảng cách còn lại.
Tracker không cần mô hình lớn: tracker 9B ngang 122B; on-policy distillation (OPD) nâng tracker 2B từ 0.266 lên 0.445. Thinking distillation đưa hành vi state-folding vào agent 35B độc lập, nâng từ 0.296 lên 0.461 không cần harness ngoài.
Môi trường tool-use thật (VitaBench): bỏ phần nhắc lại ý định cuối làm giảm điểm rubric 0.103 so với điều kiện sạch.

IV. Conclusion & Future Works:

Intent drift là một failure mode đa lượt đo được và có thể kiểm soát được: INTENTFLUX biến ý định lỗi thời thành thứ có hậu quả trực tiếp trên kết quả chấm điểm, còn STATEFORGE cho thấy bảo trì trạng thái hiện thị là hướng giảm thiểu từng phần hiệu quả, khả thi cả theo kiến trúc module (tracker nhỏ + OPD) lẫn nội tại hóa vào agent (thinking distillation). Hạn chế và hướng mở:

hiệu ứng calibration là tổng hợp (variants + decoys + độ dài), chưa tách tác động riêng của từng yếu tố
ablation chưa chứng minh biểu diễn trạng thái hiện thị là nguồn duy nhất của lợi ích so với recap cùng ngân sách
so sánh harness và interactive chỉ dùng một mô hình (Qwen3.5-122B)
hướng tương lai: so sánh bảo trì trạng thái module vs. học nội tại dưới một giao thức đánh giá thống nhất, nghiên cứu scaling của cả hai đường chuyển giao, và theo dõi ý định dạng mở (không phân tách thành goals nguyên tử được).

V. Brainstorming Space:

1. Publish Papers:

Phát triển phương pháp tách biệt tác động nhân quả của từng loại chỉnh sửa ý định (thêm, xóa, thay thế) thay vì hiệu ứng tải thông tin lỗi thời tổng hợp như trong INTENTFLUX.
Nghiên cứu cơ chế trôi dạt ý định gián tiếp: cách các kết luận trung gian suy ra từ ý định đã rút lại vẫn sót lại trong lịch sử nén và tiếp tục ảnh hưởng suy luận của tác tử.
Đánh giá thống nhất hai kiến trúc chống intent drift — tracker module nhỏ gọn và agent đã học nội tại hành vi state-folding — trên cùng một benchmark và giao thức huấn luyện.

2. Patent:

Trợ lý ảo trên điện thoại có bảng theo dõi yêu cầu hiện tại: khi người dùng lần lượt đổi món ăn, địa điểm, ngân sách trong một cuộc trò chuyện dài, ứng dụng tự động cập nhật một danh sách 'yêu cầu đang hiệu lực' và chỉ dựa vào danh sách này khi đặt hàng hoặc gợi ý, tránh đặt nhầm món đã bị hủy.
Hệ thống hỗ trợ khách hàng đa lượt cho doanh nghiệp: nhân viên AI ghi nhận từng thay đổi của khách (đổi địa chỉ giao, hủy sản phẩm, đổi phương thức thanh toán) vào trạng thái đơn hàng hiện tại, đồng thời xóa các quyết định đã suy ra từ thông tin cũ trước khi tạo xác nhận đơn cuối cùng.
Trợ lý lập trình trong IDE theo dõi yêu cầu đặc tả: khi người dùng yêu cầu viết hàm bằng Python rồi sau đổi sang Java và bỏ ràng buộc về hiệu năng, trợ lý duy trì bản tóm tắt 'đặc tả hiện tại' và vô hiệu hóa các đoạn mã/phân tích dựa trên yêu cầu đã bị thay thế trước khi sinh code.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.32520
ArXiv Abstract	https://arxiv.org/abs/2609.32520
PDF Download	https://arxiv.org/pdf/2609.32520.pdf
Github Repository	N/A

45. Align Then Reason: A Multimodal Lip-Sync Judge for Dubbing (17 votes)

Tác giả: Rui Liu, Bhavin Jawade, Haoqi Li, Shivam Mehta, Karan Saxena, et al.

Xuất bản lúc: 2026-09-30

Tag: Lip Sync, Dubbing, Multimodal LLMs, Visual Speech Recognition, CTC, Cross-modal Alignment, AUC, Video-Language Models

I. Main Problem:

Kiểm soát chất lượng lồng tiếng/dịch thoại cần một trọng tài không cần audio tham chiếu để quyết định: một câu thoại ứng viên có khớp với động tác môi của diễn viên trên video tắt tiếng hay không, cả về nội dung lẫn thứ tự thời gian.

Mô hình nhận dạng tiếng nói qua môi nhìn chung chỉ tối ưu để đọc transcript, không phải chấm một câu bất kỳ so với video.
Mô hình đồng bộ audio-visual cần sẵn audio, nên không dùng được khi audio lồng tiếng chưa tồn tại.
Video-language models có thể đọc được nội dung thô, nhưng thường gần như mù với thời gian: khi giữ nguyên text và đảo, dịch, đóng băng frame, nhiều mô hình từ 2B tới 9B vẫn xếp gần ngưỡng ngẫu nhiên.
Thách thức cốt lõi là tách được hai lỗi: content errors — câu không hợp với cách mở môi; và temporal errors — âm đúng nhưng nói trước/sau, lệch nhịp, hoặc sai trật tự.

II. Main Idea:

Align Then Reason chia bài toán thành hai tầng: căn chỉnh trước, suy luận sau.

Stage 1 — Align: video môi được mã hóa thành embedding từng frame; câu ứng viên được đổi sang đơn vị âm vị rồi mã hóa thành embedding tương ứng. Ma trận tương đồng frame–âm được chấm bằng candidate-conditioned CTC, trong đó nhãn CTC là vị trí âm trong câu hiện tại, buộc đường đi qua ma trận phải đơn điệu. Đảo frame, dịch nhịp, giữ nguyên một frame, hoặc đổi nửa video sẽ phá vỡ đường monotonic này.
Huấn luyện contrastive với hai nhóm negative: content negatives — thay câu bằng câu khác cùng độ dài, xáo trộn từ, hoặc bản dịch dub; temporal negatives — reverse, circular shift, freeze, swap nửa video. Có thêm auxiliary phoneme supervision để đặc trưng môi giữ được khác biệt âm học tinh.
Stage 2 — Reason: LLM không tự nhìn video để đoán thời gian, mà nhận hai bằng chứng từ scorer: soft tokens cho từng âm — gồm âm cần kiểm tra, tổng hợp frame môi khớp nhất và điểm khớp cục bộ mạnh nhất; cùng calibrated scalar toàn câu đã chuẩn hóa bằng mean/std trên tập genuine. LLM được SFT để trả lời Yes/No kèm giải thích ngắn chỉ ra phần đầu/giữa/cuối câu yếu nhất. Điểm cuối là hiệu logit Yes − No.

Ví dụ đời thường: như người kiểm tra phụ đề không ngồi đoán cả đoạn phim, mà trước hết xếp từng âm trong câu vào đúng cử động môi theo đúng thứ tự như xâu chuỗi hạt; nếu chuỗi chỉ cần bị xoay vòng hay đứt khúc là lộ ngay lỗi, còn người có kinh nghiệm sau đó nhìn toàn cục để kết luận câu nào thật sự hợp miệng.

III. Main Results:

Trên benchmark 7 ngôn ngữ, ATR-9B đạt mean AUC 0.920, cao hơn +50.8% so với baseline mạnh nhất (0.610) và vượt các bản Qwen3.5 SFT cùng cỡ ở mọi quy mô: +59.4% với 2B, +50.2% với 4B, +50.8% với 9B.
Khác biệt lớn nhất nằm ở trục temporal: Qwen3.5-9B SFT chỉ quanh 0.510–0.520 AUC trên reverse/shift/freeze/swap, trong khi ATR-9B đạt khoảng 0.931–0.970 trên bốn trục đó; content cũng mạnh: mismatch 0.786, shuffle 0.974, dub 0.862.
Kết quả giữ được qua nhiều họ LLM: ATR với LLaMA-3.1-8B đạt mean AUC 0.890, với Mistral-7B đạt 0.894; cải thiện tương đối khoảng +45.9% và +46.6% so với baseline tốt nhất tương ứng.
Zero-shot sang dữ liệu/ngôn ngữ unseen trên MuA ViC — German, Arabic, Russian — ATR-9B đạt 0.751 mean AUC; chỉ hiệu chỉnh lại hai hằng số chuẩn hóa toàn cục trên 300 mẫu genuine của ngôn ngữ đích, không update trọng số, nâng lên 0.875.
Ablation cho thấy calibrated scalar là mảnh ghép then chốt cho thời gian: bỏ nó làm mean AUC sụt từ 0.920 xuống 0.672, đặc biệt reverse/shift/swap gần ngẫu nhiên. Bỏ soft tokens còn 0.872; bỏ LLM reasoner còn 0.856; bỏ phonetic supervision còn 0.898.
Xuống tác vụ dubbing thật: dub-line reranking — chọn đúng professional dub line giữa 4 phương án nghĩa tương đương — ATR-9B đạt Top-1 0.479, vượt baseline lip-reading mạnh nhất 0.316 tương đương +52.0% tương đối. Script-to-clip assignment — khớp 5 line với 5 clip — đạt per-clip 0.746 và Exact Block 0.522, hơn Auto-AVSR 0.634/0.383 khoảng +17.7% per-clip.

IV. Conclusion & Future Works:

ATR chứng minh rằng tách temporal grounding khỏi semantic judgment là đường đi đúng cho chấm lip-sync không tham chiếu: CTC monotonic cung cấp cấu trúc thời gian cứng, còn LLM reasoner biến bằng chứng cục bộ và toàn cục thành quyết định có thể giải thích. Hệ quả thực tiễn là judge có thể chặn câu dub lệch miệng trước khi tổng hợp audio, hỗ trợ chọn lại nhiều phương án dịch trong pipeline dub tự động. Hướng mở rộng tự nhiên: thay SFT bằng reinforcement learning cho reasoner; cải thiện robustness dưới domain shift mạnh hơn ngoài việc chỉ recalibrate scalar; mở rộng sang chấm cả nhịp nói, ngữ điệu và ràng buộc isochrony; dùng judge làm reward/evaluator cho hệ thống tự viết lại câu dub không cần duyệt thủ công.

V. Brainstorming Space:

1. Publish Papers:

Reinforcement-learned lip-sync judges: huấn luyện reasoner bằng RL thay SFT để tối ưu trực tiếp AUC, paired accuracy và khả năng rerank nhiều ứng viên dub.
Uncertainty-aware dubbing verification: kết hợp calibrated alignment score với ước lượng độ tin cậy theo ngôn ngữ, diễn viên, góc quay và chất lượng video để tự động quyết định khi nào cần gửi người kiểm tra.
Beyond monotonic alignment: mở rộng scorer để chấm đồng thời âm vị, nhịp nói, ngắt nghỉ và isochrony khi có metadata phụ đề hoặc timing gốc.
Human-loop dub rewriting: dùng ATR như evaluator nội bộ cho vòng lặp sinh–chấm–viết lại câu thoại, rút ngắn số ứng viên cần duyệt tay trong localization quy mô lớn.
Low-resource multilingual lip-sync: nghiên cứu phân rã đặc trưng âm để giữ khả năng chuyển sang ngôn ngữ mới khi chỉ có rất ít mẫu genuine để hiệu chuẩn.

2. Patent:

Ứng dụng điện thoại cho biên tập viên video: tải lên đoạn quay có diễn viên nói và một vài phương án phụ đề/lồng tiếng; ứng dụng quét chuyển động môi, chấm từng câu theo mức khớp nội dung và đúng nhịp rồi xếp hạng trước khi xuất bản.
Bộ lọc chất lượng trong app xem phim/short video: trước khi phát hành bản dịch lồng tiếng tự động, hệ thống tự so khớp câu thoại mới với hình ảnh môi để cảnh báo những câu đúng nghĩa nhưng lệch miệng hoặc nói sai trật tự.
Trợ lý quay video call/đào tạo online trên điện thoại: khi dùng giọng tổng hợp hoặc phụ đề tự động cho avatar, thiết bị kiểm tra nhanh cử động môi của avatar/người thật có bám theo câu thoại hiển thị hay không và gợi ý đổi câu khác dễ khớp hơn.
Công cụ chọn câu dịch cho quảng cáo đa ngôn ngữ: nhập một video gốc và nhiều bản dịch cùng độ dài; hệ thống trên điện thoại hoặc máy tính bảng tự chọn bản có độ khớp môi cao nhất để giảm chỉnh sửa hậu kỳ.
Module kiểm thử cho nội dung tạo sinh: khi mô hình AI sinh video người nói kèm lời thoại, pipeline tự đối chiếu chuỗi âm trong lời thoại với chuyển động môi theo thời gian và chặn video nếu miệng đi trước/lag sau quá ngưỡng cho phép.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.00825
ArXiv Abstract	https://arxiv.org/abs/2610.00825
PDF Download	https://arxiv.org/pdf/2610.00825.pdf
Github Repository	N/A

46. Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation (16 votes)

Tác giả: Xincheng Wei, Yifan Ding, Yoshua Li, Yuquan Lu, Ziheng Li, et al.

Xuất bản lúc: 2026-09-30

Tag: Knowledge Distillation, LLMs, Mathematical Reasoning, Self-Distillation, On-Policy Learning, Privileged Information

I. Main Problem:

On-policy self-distillation (OPSD) huấn luyện mô hình suy luận toán bằng cách cho học sinh tự sinh câu trả lời còn giáo viên đặc quyền (thấy cả đáp án tham chiếu, chỉ có lúc training) cung cấp phân phối token kế tiếp dọc theo rollout của học sinh. Vấn đề:

OPSD chuẩn dùng một giáo viên cố định (tham số không nhiễu M0) ở mọi trạng thái, nên giám sát bị giới hạn ở một cách duy nhất để diễn giải thông tin đặc quyền.
Độ chính xác tác vụ của một expert không phản ánh giá trị giám sát của nó — chọn expert theo accuracy (như RandOpt) không đúng cho bài toán distillation.
Nhiều vị trí tham chiếu mà M0 không cải thiện được xác suất token đúng, nhưng các biến thể tham số lân cận lại cải thiện được.

II. Main Idea:

Neighborhood OPSD (N-OPSD) khai thác "hàng xóm" tham số của giáo viên đặc quyền làm nguồn giám sát bổ sung:

Perturbation experts: thêm nhiễu Gaussian nhỏ vào tham số giáo viên, tạo nhiều expert cục bộ; tất cả đều thấy cùng đáp án tham chiếu nên sự đa dạng đến từ tham số, không phải ngữ cảnh.
Chọn expert offline (greedy, complementary): ở mỗi vị trí tham chiếu, chỉ ghi nhận lợi ích vượt trội (filtered PTA — mức tăng xác suất token đúng vượt trên pool hiện tại), qua bộ lọc độ tự tin (SCGate) và clip chọn lọc. Pool 25 expert đạt coverage 26.53% so với 15.69% của M0.
Routing online theo trạng thái: tách "hướng" khỏi "mức độ hỗ trợ": MaxPeak chọn token có đỉnh xác suất cao nhất trong mọi expert làm anchor, rồi quantile selection chọn expert trong nhóm cùng top token với anchor. Học sinh học toàn bộ phân phối next-token của expert được chọn qua clipped forward-KL. Expert nào cũng đông lạnh; inference chỉ dùng học sinh.

Ví dụ đời thường: giống hỏi ý kiến một nhóm người cùng xem đáp án bài toán — mỗi người (một expert nhiễu nhẹ) sáng ở những chỗ khác nhau; người tổng hợp câu hỏi chọn cho từng bước giải đúng người đáng tin nhất ở bước đó, thay vì nghe một người duy nhất suốt bài.

III. Main Results:

Thắng OPSD ở cả 9 ô model-benchmark (Qwen3-1.7B/4B/8B × AIME 2024/AIME 2025/HMMT Feb 2025), 3 runs độc lập:
- 1.7B: +2.75 điểm (44.63 vs 41.88)
- 4B: +1.67 điểm (64.88 vs 63.21)
- 8B: +1.94 điểm (66.57 vs 64.63)
Vượt cả SFT, GRPO, EOPD, PW-OPSD ở mọi thang.
Ablation chọn expert: PTA greedy +0.92 so với PTA độc lập, +1.20 so với greedy sample coverage, +1.57 so với Quality Top-K — chứng minh chọn theo correction bổ sung tốt hơn chọn theo accuracy.
Bỏ SCGate/selection clip: giảm tới 2.31 điểm.
Routing: MaxPeak-anchored quantile (q=.75) hơn Uniform averaging +1.94, Token consensus +1.57, Random routing +1.66; q=1 (expert đỉnh cao nhất) lại kém hơn q=.75 — expert đỉnh cao nhất chưa chắc là target tốt nhất.
Bán kính nhiễu tối ưu σ=.002 (cân bằng coverage và chất lượng); K=25 tốt hơn K=50 và tiết kiệm 25.63% step time so với K=50.
Bền với JSD, reverse KL và target nén (Top-1-tail vẫn +2.12 so với OPSD+SCGate).

IV. Conclusion & Future Works:

Giám sát đặc quyền của giáo viên vượt ra ngoài thiết lập tham số gốc: các expert nhiễu cục bộ cung cấp correction bổ sung tại nhiều vị trí tham chiếu hơn M0, và routing theo trạng thái chuyển chúng thành giám sát hiệu quả cho một học sinh duy nhất (inference không cần giáo viên). Tác giả lưu ý coverage tham chiếu cao hơn không đồng nghĩa giám sát tốt hơn — cần hiệu chỉnh trên prefix của học sinh. Hướng tương lai: kết hợp routing với các kỹ thuật thích ứng divergence/loss weighting, mở rộng nguồn perturbation, và kiểm tra giới hạn trên tác vụ ngoài toán (được gợi ý trong phần limitations).

V. Brainstorming Space:

1. Publish Papers:

Routing thích ứng per-state kết hợp với entropy-aware divergence (kiểu EOPD) để chọn đồng thời nguồn expert và hình thức distillation tối ưu cho từng vị trí token.
Mở rộng neighborhood expert sang lĩnh vực khác toán — code generation, khoa học, đa phương thức — với audit coverage tham chiếu tương tự để xác minh tính tổng quát của hiệu ứng complementary corrections.
Học cách tự sinh perturbation có định hướng (thay vì Gaussian ngẫu nhiên) nhằm tối đa hóa PTA biên của pool, giảm số candidate cần duyệt khi chọn expert.
Nén pool expert thành một giáo viên duy nhất (weight averaging hoặc grafting) để giữ lợi ích routing mà không tốn chi phí tính toán multi-expert lúc training.

2. Patent:

Hệ thống dạy mô hình AI giải toán trên điện thoại: tạo nhiều bản sao giáo viên bằng cách thêm nhiễu nhẹ vào trọng số; ứng dụng chọn tự động bản sao có khả năng sửa lỗi tốt nhất cho từng bước suy luận của người học, rồi chỉ lưu mô hình học sinh gọn nhẹ về máy.
Trợ lý học tập gợi ý theo từng bước: khi học sinh viết lời giải, hệ thống soi từng bước với nhiều "chuyên gia" (biến thể mô hình) và chỉ hiện gợi ý sửa từ chuyên gia phù hợp nhất với đúng điểm học sinh đang sai, thay vì một gợi ý chung chung.
Dịch vụ đám mây tinh chỉnh mô hình theo yêu cầu: khách hàng gửi bài toán + đáp án; hệ thống xây pool expert nhiễu cục bộ, chọn greedy theo mức cải thiện token đúng, và chuyển giao mô hình học sinh đã distill với độ chính xác cao hơn phương pháp giáo viên cố định.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.39687
ArXiv Abstract	https://arxiv.org/abs/2609.39687
PDF Download	https://arxiv.org/pdf/2609.39687.pdf
Github Repository	N/A

47. Benchmarking and Enhancing Skill-Level Memory for Partially Observable Robotic Manipulation (16 votes)

Tác giả: Yansong Shi, Jiange Yang, Xijie Yang, Shaowei Zhang, Yuhan Zhu, et al.

Xuất bản lúc: 2026-09-30

Tag: Robotic Manipulation, Partial Observability, Memory-Augmented Policy, VLA, POMDP, Benchmark

I. Main Problem:

Các chính sách điều khiển robot hiện đại (π0, OpenVLA, GR00T...) chủ yếu dựa vào quan sát hiện tại hoặc ngữ cảnh thời gian rất hạn chế, trong khi nhiều quyết định đòi hỏi hidden task state — thông tin không suy ra được từ khung hình hiện tại mà chỉ có trong lịch sử tương tác. Ví dụ: đã lặp thao tác bao nhiêu lần, vật thể trước đó ở đâu, đã hoàn thành bước nào của quy trình. Các benchmark hiện có (RLBench, CALVIN, LIBERO) đo hoàn thành tác vụ chứ không cô lập yêu cầu ghi nhớ; các phương pháp có memory (SAM2Act+, MemoryVLA) cũng lộ rõ lỗ hổng theo từng loại tác vụ (ví dụ SAM2Act+ chỉ đạt 46.4% trên Repetition Counting).

II. Main Idea:

HIDE — benchmark 15 tác vụ chia 3 nhóm theo yêu cầu trạng thái ẩn:

Repetition Counting: đếm số lần lặp thao tác khi các lần lặp trông giống nhau
Historical-State Recall: dùng thông tin quan sát trước đó (màu, vị trí vật) sau khi bị che khuất
Execution-Progress Tracking: xác định đã làm tới bước nào của quy trình nhiều giai đoạn

SEEK — framework bổ sung 3 cơ chế memory bổ trợ lẫn nhau vào policy coarse-to-fine:

Windowed Context Memory (WCM): giữ K tương tác gần nhất theo thứ tự thời gian
Persistent Anchor Memory (PAM): truy xuất bằng cosine similarity trên archive lịch sử 1 mục chứng cứ quan trọng nhất đã rời khỏi cửa sổ gần
Stage-Counter Memory (SCM): bộ đếm giai đoạn rời rạc + stage embedding học được, tăng khi policy dự đoán ranh giới bước

Ba thành phần nối lại thành memory attention điều kiện hóa nhánh coarse (chọn vùng tác động) trước khi nhánh fine tinh chỉnh; ngân sách đọc cố định bất kể độ dài episode.

Ví dụ đời thường: giống người nấu ăn vừa nấy nhiều nồi cùng lúc — ghi nhớ món vừa cho gia vị (SCM đếm bước), liếc lại ghi chú công thức để nhớ vị vừa nêm (PAM tra cứu), và nhớ mới vừa khuấy nồi nào (WCM ngữ cảnh gần) — ba thứ cùng lúc mới không bỏ sót hay lặp lại.

III. Main Results:

HIDE rất khó: baseline mạnh nhất trước SEEK chỉ đạt 51.2% (SAM2Act+); các VLA lớn như OpenVLA chỉ 1.6%, π0 22.1%.
SEEK đạt 62.9% trung bình, dẫn đầu cả 3 nhóm: RC 61.6% (+15.2 điểm so với baseline tốt nhất nhóm), HSR 59.2% (+9.6), EPT 68.0% (+7.2).
Ablation nội dung: lưu visual features thay vì proprioception nâng từ 42.5% → 62.9% (RC hưởng lợi lớn nhất +30.4).
Ablation độ dài: thành công tăng theo độ dài memory 0→6 (46.7%→62.9%); cửa sổ ngắn (2) thậm chí làm RC tệ hơn không memory.
Bổ trợ từng phần: SCM giúp RC nhất, PAM giúp HSR nhất, WCM giúp EPT nhất; kết hợp đủ 3 mới dẫn đầu cả ba — không cơ chế đơn lẻ nào thay thế được cả.
Ngoài HIDE: RLBench 84.7% (hơi hơn SAM2Act 84.1%), The Colosseum sụt nhẹ hơn khi nhiễu (9.8% vs 10.1%), robot thật 89% so với 47% của SAM2Act+ và 13% của π0.5 trên 4 tác vụ thực.

IV. Conclusion & Future Works:

Ghi nhớ lịch sử không đủ — hiệu quả phụ thuộc vào lưu gì, giữ bao lâu, và cơ chế nào khớp với loại trạng thái ẩn nào. SEEK cho thấy mô hình hóa tường minh latent task state là then chốt cho ra quyết định dài hạn dưới partial observability, và có thể kết hợp nhiều cơ chế memory mà không đánh đổi hiệu suất tác vụ chuẩn. Hướng tương lai: mở rộng HIDE sang bối cảnh thực tế phong phú hơn, các nguồn partial observability đa dạng hơn, và cơ chế memory tổng quát hơn.

V. Brainstorming Space:

1. Publish Papers:

Memory design theo yêu cầu trạng thái ẩn: phân tích hệ thống tương quan giữa kiến trúc memory (recurrent, retrieval, counter) và từng lớp hidden state trong manipulation dài hạn, với tiêu chí chọn cơ chế tự động theo tác vụ.
Tự học stage segmentation cho Stage-Counter Memory: thay nhãn keypoint thủ công bằng dự đoán ranh giới bước không giám sát từ chính luồng quan sát, áp dụng cho các quy trình robot không có sẵn annotation.
HIDE mở rộng cho bimanual và multi-agent manipulation: hidden state dạng phối hợp (ai đã cầm vật nào, bước nào do robot nào hoàn thành) và benchmark memory giao tiếp ngầm giữa các tác tử.
Kết hợp SCM với LLM subgoal planner: dùng bộ đếm tiến độ làm tín hiệu phản hồi cho bộ lập kế hoạch ngôn ngữ, phát hiện và sửa lỗi lặp/bỏ bước ở cấp cao thay vì chỉ cấp hành động.

2. Patent:

Robot phục vụ gia đình có bộ nhớ tiến độ nấu ăn: camera theo dõi các bước (rửa, thái, xào) và bộ đếm ẩn cho biết đang ở bước nào; nếu bị ngắt quãng, robot tự nhận biết đã làm gì và tiếp tục đúng chỗ, không lặp lại hay bỏ sót giai đoạn.
Hệ thống đếm lần thao tác cho máy thu hoạch/cân đóng gói: camera + bộ nhớ cửa sổ gần đếm số sản phẩm đã xử lý ngay cả khi các sản phẩm giống hệt nhau về hình dáng, tự dừng đúng khi đủ số lượng cài đặt trên điện thoại.
Trợ lý robot tìm đồ vật trong nhà với bộ nhớ vị trí: khi người dùng di chuyển đồ rồi quên, robot tra cứu lại hình ảnh quá khứ (đã bị che sau khi đồ bị dịch chuyển) để nhớ vật từng đặt ở đâu, trả lời qua ứng dụng điện thoại.
Robot kiểm tra chất lượng dây chuyền có bộ nhớ mốc kiểm tra: lưu lại ảnh và trạng thái từng mốc kiểm tra của từng sản phẩm, để khi sản phẩm quay lại vị trí trông giống nhau, robot biết sản phẩm nào đã qua kiểm tra bước nào và không bỏ sót lỗi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.38886
ArXiv Abstract	https://arxiv.org/abs/2609.38886
PDF Download	https://arxiv.org/pdf/2609.38886.pdf
Github Repository	https://github.com/nanamma/HIDE-SEEK

48. Pretrain Once, Route Anywhere: Towards a Foundation Model for LLM Routing (16 votes)

Tác giả: Guannan Lai, Han-Jia Ye

Xuất bản lúc: 2026-09-29

Tag: LLM Routing, Foundation Models, Model Selection, In-Context Learning, Transfer Learning, Episodic Pretraining

I. Main Problem:

Các bộ định tuyến LLM (router) hiện nay theo local fitting: mỗi router được huấn luyện riêng cho một môi trường định tuyến cụ thể (phân phối truy vấn + tập mô hình ứng viên cố định). Hậu quả:

Khi domain, modality, hay pool mô hình thay đổi (mô hình mới ra, mô hình cũ bị thay thế), router phải thu thập supervision mới và huấn luyện lại
Quá trình fit-and-refit lặp lại này làm router khó tái sử dụng và tăng chi phí vận hành hệ thống định tuyến.

II. Main Idea:

Đặt vấn đề định tuyến từ góc độ foundation model: thay vì học một chính sách riêng cho từng môi trường, học một năng lực định tuyến tái sử dụng chung — bản chất định tuyến là bài toán ranking có điều kiện theo target query, và cấu trúc ra quyết định này (suy luận năng lực mô hình từ hành vi → tìm bằng chứng liên quan đến query → so sánh ứng viên) là giống nhau mọi môi trường.

RouteFM thực hiện điều này qua:

In-context capability profiling: mỗi ứng viên ẩn danh (không tên, không embedding cố định) được đặc trưng hóa bằng hành vi quan sát được (query cũ + chất lượng + chi phí), nén thành 24 capability tokens học được
Target-conditioned comparison: query mục tiêu truy xuất song song bằng chứng từ capability profile (bức tranh tổng thể) và từ ngữ cảnh thô (chi tiết từng quan sát), rồi so sánh cả pool qua Transformer
Episodic pretraining: huấn luyện trên các episode thay đổi ngẫu nhiên về task, pool, thứ tự ứng viên, số quan sát; kèm mất routing-regret (không chỉ dự đoán đúng giá trị mà phải chọn đúng mô hình)
Sau pretrain, router đóng băng hoàn toàn — thích ứng môi trường mới chỉ bằng context, không cập nhật tham số.

Ví dụ đời thường: giống như một nhà tuyển dụng dày dạn không cần biết tên ứng viên — chỉ cần xem hồ sơ làm việc thực tế của họ trên vài việc cũ, là đoán được ai hợp với việc mới ngay, dù ngành nghề hay danh sách ứng viên thay đổi liên tục.

III. Main Results:

Cross-modal transfer (MMR-Bench, loại khỏi pretraining): RouteFM vượt baseline mạnh nhất +2.23 điểm chất lượng chỉ với 8 quan sát/ứng viên; lợi thế giảm dần khi context lớn (còn +0.07 ở regime lớn).
In-domain (RouterEval): tốt nhất ở mọi mức ngân sách quan sát, hơn baseline mạnh nhất +0.84 điểm tại K=8 — pretraining xuyên môi trường không làm giảm chất lượng in-domain.
Thêm mô hình mới: chỉ cần 8 ví dụ hành vi là vượt các baseline phải huấn luyện lại; với 16 quan sát, định tuyến trên pool mở rộng còn tốt hơn pool cũ.
Tiết kiệm context: chỉ cần 1% quan sát để đạt chất lượng full-context của Weighted kNN, 3% so với MLP.
Ablation: bỏ candidate-pool Transformer gây sụt mạnh nhất (-1.33 điểm tại K=8); fine-tune thêm trên domain mới gần như không cải thiện so với router đóng băng — năng lực đã có sẵn từ pretraining.
Pretrain trên 212K query–task, 1.73M quan sát query–model từ 4 nguồn (LLMRouterBench, RouterBench, RouterEval, MixInstruct), embedding Qwen3-VL, 10K bước AdamW.

IV. Conclusion & Future Works:

Bài báo chuyển định tuyến LLM từ local fitting lặp lại sang paradigm pretrain once, route anywhere: một router đóng băng tái sử dụng được qua domain, modality, pool mô hình và ngân sách context thay đổi, với lợi thế lớn nhất khi bằng chứng hành vi khan hiếm. Tác giả kỳ vọng hướng nghiên cứu tương lai xây dựng routing model đa dụng như hạ tầng tái sử dụng cho các hệ thống LLM.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng pretraining định tuyến toàn cục sang môi trường agentic và công cụ (tool-use), nơi pool ứng viên là các agent/công cụ có chi phí và độ tin cậy khác nhau.
Kết hợp capability profile học được với thông tin nhận dạng mô hình (tên, tham số, provider) để cải thiện cold-start khi không có quan sát hành vi nào.
Nghiên cứu chiến lược thu thập quan sát hành vi chủ động (active context construction) để tối ưu số lượng query cần chạy thử trên mô hình mới trước khi đưa vào pool định tuyến.

2. Patent:

Dịch vụ chọn mô hình AI tự động trên điện thoại: ứng dụng gửi yêu cầu của người dùng; hệ thống router đã pretrain so sánh các mô hình AI khả dụng dựa trên kết quả chạy thử trước đó của chúng và chọn mô hình vừa đúng ý vừa rẻ nhất, không cần huấn luyện lại khi thêm mô hình mới vào danh sách.
Nền tảng API định tuyến thông minh cho doanh nghiệp: khi một mô hình AI mới xuất hiện trên thị trường, doanh nghiệp chỉ cần chạy thử vài chục truy vấn, đưa kết quả vào router dưới dạng mô tả hành vi (giấu tên mô hình) là có thể phục vụ khách hàng qua mô hình đó ngay trong ngày.
Hệ thống tiết kiệm chi phí trợ lý ảo trên thiết bị di động: router đóng băng phân loại câu hỏi của người dùng, gửi câu khó lên mô hình lớn trên đám mây và câu dễ cho mô hình nhỏ chạy cục bộ, với khả năng tự thích ứng khi danh sách mô hình cục bộ/đám mây thay đổi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.37362
ArXiv Abstract	https://arxiv.org/abs/2609.37362
PDF Download	https://arxiv.org/pdf/2609.37362.pdf
Github Repository	https://github.com/LAMDA-Model-Reuse/RouteFM

49. DataMagic: Authoring Data Videos through Declarative Multi-Agent Orchestration (15 votes)

Tác giả: Yupeng Xie, Zhenyang Wang, Liangwei Wang, Jiayi Zhu, Zhouan Shen, et al.

Xuất bản lúc: 2026-09-27

Tag: Data Storytelling, Data Video Generation, Multi-Agent Systems, Declarative Specification, Visualization, LLMs, Human-in-the-loop

I. Main Problem:

Sản xuất data video hiện nay bị kẹt giữa ba hướng chưa đủ trọn vẹn:

Công cụ visualization tĩnh tạo biểu đồ nhanh nhưng thiếu câu chuyện, lời dẫn và chuyển động.
Công cụ authoring cho phép thêm animation và narration, nhưng thường bắt đầu từ biểu đồ đã làm sẵn, không truy xuất insight từ raw tabular data.
Mô hình sinh video pixel-level như Sora/Veo3 tạo end-to-end nhưng dễ bịa số liệu, khó truy ngược phần tử hình ảnh về dữ liệu gốc.

Vấn đề cốt lõi là làm sao đồng thời đảm bảo data fidelity, narrative coherence và end-to-end automation từ bảng dữ liệu thô thành video nhiều cảnh có biểu đồ, lời dẫn và animation đồng bộ.

II. Main Idea:

DataMagic đề xuất Generate-then-Orchestrate: tách việc làm video thành sinh nội dung từng cảnh và sắp xếp toàn cục thành truyện.

Declarative specification DVSPEC: mô tả video như một chuỗi scene tự chứa; mỗi scene có chart, narration, animation. Thay vì neo vào mã phần tử giao diện, animation trỏ tới dữ liệu bằng data-driven semantic reference như {"sale_date":"2025-01-30"} để đổi dữ liệu/chart type vẫn đúng mục tiêu.
Narration-indexed triggering: thay timestamp thủ công bằng chỉ số câu lời dẫn; hệ thống tự căn animation theo thời lượng audio thực tế khi render.
Giai đoạn Generate: Story Planner phân rã câu hỏi người dùng thành các góc phân tích gần trực giao; Data Manager sinh code xử lý dữ liệu; Visual Designer chọn chart, binding và insight.
Giai đoạn Orchestrate: Narration Director chọn và sắp cảnh theo insight value và query coverage, dùng cửa sổ ngữ cảnh để lời dẫn nối mạch; Animation Coordinator gắn entity trong lời nói tới điểm dữ liệu và animation tương ứng.
Hệ thống web hỗ trợ ba cách chỉnh sửa trên cùng một trạng thái khai báo: canvas manipulation, script editing, và natural language command.

Ví dụ đời thường: giống một đội làm phim tài liệu ngắn không quay xong một mạch rồi cắt bừa, mà nhờ nhiều biên đạo viên cùng dựng các cảnh nháp song song, sau đó một đạo diễn chọn cảnh đắt nhất, xếp theo trục câu chuyện rồi ghi lời dẫn để âm thanh và hình ảnh lên đúng nhịp.

III. Main Results:

Trên 109 mẫu thực tế từ DAComp-DA và T2R-bench, GPT-5 sinh trực tiếp chỉ đạt 2.13/5, tỷ lệ chạy thành công 48.62%–86.24% tùy model.
DataMagic nâng chất lượng lên 3.89/5 (+83%) với Claude-Sonnet-4, tỷ lệ thực thi trên 95%; các base model khác cũng đạt 3.38–3.47.
Hai chiều tăng mạnh nhất là Animation +120% nhờ cơ chế kích hoạt theo câu lời dẫn, và Narrative +72% nhờ orchestrate toàn cục.
Intent và Aesthetic cải thiện hơn 50%, Insight cải thiện 49.5%.
Ablation: bỏ Story Planner giảm từ 3.89 xuống 3.44 (-11.6%); bỏ Orchestration giảm xuống 3.54 (-9.0%), cho thấy phân rã truy vấn và sắp xếp toàn cục đều quan trọng.
User study within-subjects với N=12: so với workflow hội thoại LLM, DataMagic giảm 79.7% thời gian hoàn thành tác vụ và giảm tải nhận thức.
Trade-off: direct generation trung bình khoảng 57 giây, DataMagic khoảng 176 giây, nhưng đổi lấy độ ổn định và chất lượng cao hơn rõ rệt.

IV. Conclusion & Future Works:

DataMagic cho thấy data video nên được coi là narrative có cấu trúc, không phải chuỗi frame hay tập hợp biểu đồ rời. Điểm then chốt là có một trạng thái khai báo chung vừa đủ để agent tự động hóa, vừa đủ để người dùng hiểu, kiểm tra và chỉnh cục bộ.

Hướng mở rộng hợp lý:

Mở rộng thư viện chart/animation ngoài các dạng thống kê phổ biến hiện có.
Tối ưu pipeline hai giai đoạn để giảm độ trễ, có thể kèm caching, parallel rendering mạnh hơn hoặc mô hình chuyên biệt.
Nâng cấp cơ chế scoped refinement để chỉnh sửa nhiều scene mà vẫn giữ mạch truyện tổng thể.
Kết hợp feedback người dùng vào orchestration để cân bằng automation với sở thích về nhịp kể, phong cách hình ảnh và độ dài video.

V. Brainstorming Space:

1. Publish Papers:

Khám phá provenance-aware editing cho data video: dùng liên kết ngữ nghĩa từ phần tử hình ảnh tới bản ghi dữ liệu để hỗ trợ kiểm chứng số liệu, diff giữa các phiên bản và giải thích tự động khi người dùng thay đổi chart type hoặc dữ liệu.
Nghiên cứu adaptive narrative orchestration cho data video dài và nhiều chiều: tự chọn cấu trúc kể chuyện như Freytag pyramid, drill-down hoặc comparison-driven dựa trên hình dạng dữ liệu, mục tiêu phân tích và ngân sách thời lượng.
Phát triển collaborative human-agent authoring: nhiều người cùng chỉnh một video bằng canvas, script và ngôn ngữ tự nhiên, với cơ chế giải quyết xung đột thay đổi ở cấp scene và toàn trình tự.

2. Patent:

Ứng dụng di động tạo video báo cáo kinh doanh từ bảng tính: người dùng tải file Excel/CSV, nhập câu hỏi như 'phân tích doanh thu theo khu vực', hệ thống tự tạo nhiều cảnh biểu đồ, lời dẫn và animation, rồi cho phép nói 'đổi cảnh 2 thành treemap' để chỉnh từng phần mà không render lại toàn bộ.
Trợ lý thuyết trình trên điện thoại cho doanh nhân: app đọc dữ liệu bán hàng, tự dựng video ngắn có giọng nói giải thích insight, sau đó người dùng chạm vào một cột trên màn hình để làm nổi bật đúng sản phẩm đang được nhắc tới trong lời dẫn.
Hệ thống chỉnh sửa video dữ liệu bằng ngôn ngữ tự nhiên trên mobile: người dùng yêu cầu 'thêm cảnh so sánh tăng trưởng hai sản phẩm tốt nhất', hệ thống sinh cảnh mới, chèn đúng vị trí câu chuyện và giữ nguyên các cảnh khác.
Bộ SDK nhúng vào app dashboard để biến biểu đồ tĩnh thành video kể chuyện: mỗi phần tử trực quan gắn với điều kiện dữ liệu rõ ràng, khi dữ liệu cập nhật thì animation tự đổi mục tiêu mà không cần sửa timestamp thủ công.
Giao diện hỏi đáp dữ liệu trong video trên điện thoại: người xem chạm giữa video để hỏi 'sản phẩm nào tăng trưởng nhanh nhất?', hệ thống truy vấn dữ liệu gốc đằng sau cảnh đang chiếu và hiển thị kết quả kèm bảng dữ liệu đã lọc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.33403
ArXiv Abstract	https://arxiv.org/abs/2609.33403
PDF Download	https://arxiv.org/pdf/2609.33403.pdf
Github Repository	https://github.com/HKUSTDial/DataMagic

50. OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning (15 votes)

Tác giả: Haibo Wang, Jiteng Mu, Jialu Li, Jingru Yi, Yuanjun Xiong, et al.

Xuất bản lúc: 2026-10-01

Tag: Omni-LLM, Audio-Visual Reasoning, Tool Use, Multi-turn Reasoning, Reinforcement Learning, Chain-of-Thought, Agent Framework

I. Main Problem:

Các Omni Large Language Model (Omni-LLM) hiện tại xử lý video-audio bằng cách nuốt toàn bộ luồng dữ liệu trong một lần forward pass và lý luận thuần bằng văn bản (text-only CoT). Hậu quả:

Khi video dài, chi tiết hình ảnh mịn và âm thanh ngắn bị loãng trong nội dung không liên quan.
Bằng chứng cần thiết thường rải rác xuyên suốt nhiều thời điểm và hai phương thức (một âm thanh ngắn phải ghép với chi tiết hình ảnh ở đoạn rất xa) — model không thể cô lập và tổ hợp được.
Model rơi vào đường tắt một phương thức (single-modality shortcut) hoặc dựa vào language prior mà không thật sự "nhìn và nghe" bằng chứng.

II. Main Idea:

OmniSeek biến Omni-LLM thành tác tử chủ động tìm bằng chứng qua nhiều lượt, thay vì passively nhận toàn bộ input:

Vòng lặp → <tool_call> → : model tự quyết định lượt này nghe hay nhìn, ở khoảng thời gian nào, rồi đoạn audio/video thô được cắt ra sẽ được chèn lại vào context để lý luận tiếp.
Hai công cụ tách rời theo phương thức: get_audio_clip(start, end) và get_video_clip(start, end, fps, resolution) — cho phép định tuyến linh hoạt giữa hai modality và kiểm tra từ thô (coarse) tới mịn (fine, độ phân giải cao).
Điều kiện dừng không hardcode: model tự đánh giá đủ bằng chứng chưa mới xuất .
OmniTraj-170K: bộ dữ liệu ~170K quỹ đạo lý luận đa-hop với bằng chứng audio-visual xen kẽ (mỗi câu hỏi bắt buộc chuỗi bằng chứng chứa ít nhất 1 đoạn audio và 1 đoạn video), tạo bởi pipeline 3 giai đoạn.
Huấn luyện 3 pha: SFT cold-start → RL (GSPO) thưởng độ chính xác + định dạng + dùng tool → tinh chỉnh trên 8K ví dụ khó với Audio-Visual Necessity reward (dùng attention masking đo mức phụ thuộc vào từng modality, lấy min của hai như cổng AND, chỉ thưởng khi câu trả lời đúng và phụ thuộc cả hai phương thức).

Ví dụ đời thường: giống thám tử xem lại hiện trường — thay vì xem trọn vẹn 3 giờ camera, anh ta nghe đúng đoạn ghi âm lúc 15:32, rồi tua đến cảnh quay 05:10 để đối chiếu, và cứ thế tích lũy manh mối cho đến khi đủ kết luận.

III. Main Results:

State-of-the-art trong các model open-source trên 10 benchmark omni-modal (Daily-Omni 80.0, VideoHolmes 74.6, OmniVideoTest 69.5, MMOU 70.4, LVOmni 44.2) và vượt cả Gemini-2.5-Pro trên FutureOmni, VideoHolmes, JointAV.
Vượt base model Qwen3-Omni-Instruct đáng kể ở video dài: +16.3% trên MMOU, +8.4% trên LVOmni — hợp lý hóa lợi thế của việc chủ động cắt clip thay vì encoding một lần.
Vượt text-only CoT (OmniVideo-R1): VideoHolmes 74.6% vs 62.9%; ablation cho thấy multi-turn tool-use hơn text-only CoT tới +13.5% trên OmniVideoTest.
Ablation từng pha: RL phục hồi "alignment tax" của SFT, tăng rollout G=8→16 cải thiện đều, ravn thêm +3.2% trên WorldSense so với RL không có nó.
Số lượt gọi tool thích ứng theo độ khó: 2-3 lượt là đủ cho JointAVBench, ≥5 lượt mới đạt đỉnh trên VideoHolmes/MMOU.
Không mất năng lực nền: vẫn tốt trên Video-MME (78.5), MLVU (77.1), vượt các model 72B lớn hơn.

IV. Conclusion & Future Works:

OmniSeek chứng minh rằng chuyển audio-visual reasoning từ thụ động sang tích cực tìm bằng chứng đa lượt giúp Omni-LLM vượt qua giới hạn của single-pass encoding và text-only CoT, đặc biệt trên các tác vụ dài, multi-hop cần tích hợp cả hai phương thức. Kết hợp OmniTraj-170K, chiến lược huấn luyện 3 pha và reward Audio-Visual Necessity tạo ra policy thật sự dựa vào cả âm thanh lẫn hình ảnh thay vì đường tắt một phương thức. Có thể hướng tới: mở rộng giao thức tool cho nhiều loại cảm biến hơn, và nghiên cứu chiến lược thăm dò chủ động hiệu quả hơn thay vì tìm kiếm tuần tự.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng kiến trúc evidence-seeking đa lượt cho reasoning đa phương thức ngoài audio-visual (văn bản + hình ảnh + cảm biến) với giao thức tool thống nhất và reward necessity tổng quát hóa cho nhiều hơn hai phương thức.
Phát triển phương pháp attention-masking-based necessity đo phụ thuộc chéo giữa các phương thức như tín hiệu reward chính cho RL trên agent đa phương thức, loại bỏ hallucinated grounding mà không cần rollout bổ sung.
Nghiên cứu chiến lược lập kế hoạch thăm dò (exploration planning) cho agent video dài: dự đoán vị trí bằng chứng tiềm năng trước khi gọi tool để giảm số lượt tìm kiếm và chi phí suy luận.

2. Patent:

Trợ lý video thông minh trên điện thoại: người dùng đặt câu hỏi về một video dài; ứng dụng tự lặp lại quy trình "nghe đoạn này - xem đoạn kia" để cắt đúng khoảnh khắc bằng chứng, trả lời kèm timestamp thay vì phải xem trọn video.
Hệ thống tóm tắt và chứng minh cho video họp/tin tức: tự động trích các đoạn ghi âm và hình ảnh liên quan đến từ khóa, đính kèm clip gốc làm bằng chứng cho từng kết luận trong bản tóm tắt.
Tính năng tìm kiếm trong thư viện video cá nhân bằng câu hỏi tự nhiên: điện thoại dùng agent đa phương thức để dò tìm bằng chứng âm thanh + hình ảnh xuyên suốt các video, nhảy thẳng đến đoạn chứa câu trả lời.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.02181
ArXiv Abstract	https://arxiv.org/abs/2610.02181
PDF Download	https://arxiv.org/pdf/2610.02181.pdf
Github Repository	N/A

📰 Summary of Papers
1. On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics (175 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction (165 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. GraphForge: Training Working Agents with Graph-Anchored Workspace Synthesis (144 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL (124 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts (90 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. Sharpening Tax in Post-Training (83 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States (82 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. Hierarchical Continuous Diffusion Language Models (79 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. Agent Priors-guided Policy Learning (76 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. World Observer: Joint Actor-Observer Generation for Persistent World Modeling (74 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review (71 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It (69 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs (65 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization (64 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. ROWBench: Do Video Models Render What the Program Specifies? (64 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models (60 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. X-Tree: Tokenizing Reusable Experience for Efficient Agent Generalization (59 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos (57 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL (57 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. Retrieval-Augmented Skill Optimization via Cross-Harness Adaptation (56 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. Video Generation Models: A Survey of Post-Training and Alignment (55 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. InterEvolve: Test-Time Evolution of Reward Programs for Humanoid Loco-Manipulation (55 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. AutoGUIWorld: Image Generators as Visual World Models for GUI Agent (54 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
24. Decentralized Master-Mind: Joint Action Refinement through Iterative Intent Denoising in Multi-Agent Pathfinding (51 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
25. Scaling and Distilling Text Embeddings for Better Diffusibility (50 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
26. Persona Dosing: Calibrated Activation Steering for Graded Trait Control (48 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
27. Beyond the Current Scene: Event-Referential Grasping with Active View Selection (46 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
28. Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens (45 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
29. Decoding Looped Transformers Better for (Almost) Free (41 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
30. Architect-Ant: Editable Automatic Furnishing of Architectural Floor Plans (41 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
31. AutoDataBench: A Data-centric Testbed for Accelerating Auto Research (37 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
32. SILSA: Sliding-Window Slice Latents for Topology-Preserving High-Resolution 3D Generation (35 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
33. 4Director: Controlling Video World Models with Rigid 3D Geometry (34 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
34. RPTune: Learned Context Curation for LLM Catalog Search (31 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
35. CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning (29 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
36. Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces (27 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
37. Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows (26 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
38. Ego2Act: Evaluating Goal-Directed Manipulation in Egocentric Video Generation (25 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
39. PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop (23 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
40. Smaller Models, Better Rejects: Preference Distillation Scaling (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
41. Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation (19 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
42. PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion (19 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
43. Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
44. When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
45. Align Then Reason: A Multimodal Lip-Sync Judge for Dubbing (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
46. Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
47. Benchmarking and Enhancing Skill-Level Memory for Partially Observable Robotic Manipulation (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
48. Pretrain Once, Route Anywhere: Towards a Foundation Model for LLM Routing (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
49. DataMagic: Authoring Data Videos through Declarative Multi-Agent Orchestration (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
50. OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics (175 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction (165 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. GraphForge: Training Working Agents with Graph-Anchored Workspace Synthesis (144 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL (124 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts (90 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Sharpening Tax in Post-Training (83 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States (82 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. Hierarchical Continuous Diffusion Language Models (79 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Agent Priors-guided Policy Learning (76 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics (175 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction (165 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. GraphForge: Training Working Agents with Graph-Anchored Workspace Synthesis (144 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL (124 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts (90 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Sharpening Tax in Post-Training (83 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States (82 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. Hierarchical Continuous Diffusion Language Models (79 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Agent Priors-guided Policy Learning (76 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: