🤗 Daily Hugging Face Paper Digest - 2026-11-05

Báo cáo được tạo tự động vào lúc 2026-11-06 10:28:09 bằng mô hình hermes-agent.

📰 Summary of Papers

1. Turns Matter: Advancing Streaming Video RL via Turn-Level Credit (83 votes)

Tác giả: Shuai Dong, Kanghui Tian, Linghan Chen, Wenqi Shao, Hongrui Wu, et al.

Xuất bản lúc: 2026-11-04

Tag: GRPO, Reinforcement Learning, Streaming Video, Video Understanding, Credit Assignment, Policy Optimization, VLM

I. Main Problem:

Trong streaming video understanding, mô hình phải liên tục quyết định tại mỗi lượt (turn): trả lời ngay hay tiếp tục quan sát. Các phương pháp RL hiện tại (GRPO) dùng một advantage duy nhất cho cả trajectory, gán chung cho mọi quyết định. Điều này gây ra mismatch về độ chi tiết:

Một câu trả lời lặp lại, thừa thãi sau khi đã trả lời đúng vẫn nhận credit dương thừa hưởng từ thành công trước đó
Một câu bổ sung hữu ích sau vài lượt thất bại lại bị phạt credit âm vì cả trajectory vẫn dưới trung bình nhóm
Ngoài ra, token-mean loss aggregation khiến câu trả lời dài có trọng số lớn hơn hành động chờ im lặng ngắn gọn, méo mó tín hiệu học.

II. Main Idea:

TurnWise — khung GRPO cấp lượt với hai cơ chế bổ sung cho nhau:

Turn-level credit assignment: dùng hành động chờ im lặng (∅) có sẵn để chấm điểm mọi prefix của trajectory (giữ t lượt đầu, gán im lặng cho phần còn lại, chấm bằng cùng scorer) → được reward đã tích lũy U_i,t−1. Remaining return F_i,t = R_i − U_i,t−1 phản ánh giá trị chỉ từ lượt t trở đi. Advantage group-relative được dựng trên F_i,t tại lượt t (theo nguyên lý return-to-go), tách tín hiệu học của mỗi quyết định khỏi phần thưởng trước đó. Hệ số α khử dần credit cũ (warm-up 10% bước đầu), không cần critic model hay rollout bổ sung — tận dụng lại chính các rollout đã sample.
Turn-mean policy optimization: trung bình hóa loss trong từng lượt trước, rồi mới trung bình hóa xuyên lượt — mỗi quyết định trả-lời-hay-chờ đều có trọng số 1/T_i, độc lập với độ dài output.

Ví dụ đời thường: giống chấm điểm đầu bếp trong bữa tiệc theo từng món riêng — món tráng miệng lặp lại món khai vị thì bị trừ điểm ngay, dù cả bữa ăn tổng thể rất ngon; còn món cứu vãn nồi canh nhạt lúc đầu vẫn được công nhận đúng giá trị.

III. Main Results:

Số điểm aggregate cao nhất trên cả 3 benchmark (ProactiveVQA, OVO-Timing, StreamingBench) với cả hai backbone Qwen2.5-VL-3B và Qwen3-VL-4B.
Qwen2.5-VL-3B: ProactiveVQA PAUC 43.56 (+3.96), OVO-Timing F1 21.59 (+3.87), StreamingBench 49.43 (+0.69) so với baseline mạnh nhất.
Qwen3-VL-4B: PAUC 42.44 (+6.26), F1 11.15 (+1.92), StreamingBench 58.96 (+2.38).
Kết hợp credit + turn-mean: giảm repetition 61.5% so với chỉ dùng credit (15.53 → 5.98), Timing F1 +2.96, StreamingBench +0.49.
Phân tích 84,184 quyết định thật: turn-level credit gán advantage âm cho 59.83% câu trả lời lặp vốn nhận advantage dương toàn cục; 21.2% quyết định đổi dấu credit; 53.15% trajectory chứa cả tín hiệu dương lẫn âm.
α = 1 (hiệu chỉnh đầy đủ) cho kết quả tốt nhất; tỷ lệ quyết định không im lặng giảm từ 62.2% xuống 37.0% với reward cao hơn — mô hình trả lời chọn lọc hơn.

IV. Conclusion & Future Works:

TurnWise chỉ ra rằng credit assignment và loss aggregation đóng vai trò bổ sung: cái đầu quyết định hướng học của mỗi lượt, cái sau quyết định trọng số tối ưu của nó. Việc căn chỉnh cả hai về đơn vị 'lượt quyết định' giúp streaming policy học được khi nào nên nói, khi nào nên im, mà không cần critic hay rollout thêm. Kết quả cho thấy cải thiện đồng thời ở chất lượng câu trả lời chủ động, timing phản hồi và hiểu biết thị giác thời gian thực. Hướng mở rộng tự nhiên: áp dụng turn-level credit cho các tác vụ tương tác đa phương thức khác (audio streaming, hội thoại từng phần) và các reward không cộng tính phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng silence-completed prefix scoring cho tác vụ streaming đa phương thức (video + audio + văn bản), nơi mỗi lượt quyết định có thể kích hoạt nhiều kênh output khác nhau.
Kết hợp turn-level credit với cơ chế tự điều chỉnh observation plan — mô hình không chỉ quyết định khi nào nói mà còn quyết định khi nào cần nhìn frame mới.
Áp dụng remaining-return credit cho tác tử hội thoại chủ động dài hạn, nơi quyết định xen ngang đúng lúc và tránh lặp thông tin cũng quan trọng như trong video streaming.

2. Patent:

Trợ lý ảo trên điện thoại xem video theo thời gian thực (nấu ăn, sửa chữa): ứng dụng quyết định khi nào nên nhắc, khi nào im — mỗi gợi ý chỉ được ghi nhận nếu mang thông tin mới so với những gì đã nói, tránh lặp lại phiền nhiễu.
Hệ thống giám sát camera an ninh thông minh: chỉ phát cảnh báo khi sự kiện thực sự mới xuất hiện trong luồng video, tự học cân bằng giữa báo sớm (kịp xử lý) và báo thừa (gây mất tập trung), giảm đáng kể cảnh báo trùng lặp.
Chức năng chú thích bóng đá/thể thao tự động trên TV di động: mô hình học khi nào nên bình luận diễn biến, khi nào nên giữ im lặng nhường micro, dựa trên phần đóng góp thông tin thực của từng câu nói thay vì chấm điểm chung cả trận.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.06728
ArXiv Abstract	https://arxiv.org/abs/2611.06728
PDF Download	https://arxiv.org/pdf/2611.06728.pdf
Github Repository	https://github.com/XD111ds/turn-wise-rl

2. From Pixels to Actions - Towards Native Vision-Language-Action Policies (56 votes)

Tác giả: Weichen Fan, Haiwen Diao, Penghao Wu, Siyuan Hu, Ziqi Huang, et al.

Xuất bản lúc: 2026-11-04

Tag: Vision-Language-Action, Robotics, Flow Matching, Encoder-Free, Embodied AI, Robot Manipulation

I. Main Problem:

Các mô hình Vision-Language-Action (VLA) hiện nay đều dựa trên vision encoder riêng (CLIP, SigLIP, DINOv2) để nén ảnh thành đặc trưng, rồi mới đưa vào language backbone. Giao diện này:

che khuất toàn bộ hệ thống phân cấp xử lý thị giác, chỉ lộ ra một điểm kết thúc cố định
làm mất đi chính các tín hiệu quan trọng cho điều khiển: hình học cục bộ, ranh giới, độ sâu, thay đổi trạng thái tinh tế
dễ bị suy giảm: encoder là bottleneck, nhạy với pruning, và action fine-tuning làm hỏng biểu diễn thị giác đã pretrain.

Câu hỏi cốt lõi: chính sách hành động nên kế thừa một đầu ra thị giác cố định, hay truy cập trực tiếp quá trình tính toán thị giác đang tiến hóa trong backbone?

II. Main Idea:

NEO-VLA là VLA không dùng vision encoder theo cấu trúc: ảnh được đưa thẳng vào backbone qua patch embedder convolution nhẹ (stride 32, 1 token cho mỗi vùng 32×32), token ảnh và token ngôn ngữ được xử lý chung trong cùng một backbone 40 tầng, 2B tham số. Một action expert hẹp dùng flow matching đọc keys/values từ nhiều tầng backbone khác nhau để dự đoán chunk hành động liên tục (không token hóa hành động).

Điểm then chốt: độ sâu đọc thị giác trở thành lựa chọn kiến trúc. Thay vì bị khóa sau một encoder cố định, expert có thể rút thông tin từ:

tầng sớm — đặc trưng không gian, hình học tinh vi
tầng muộn — đặc trưng ngữ nghĩa
hoặc phân bố trên nhiều tầng.

Thí nghiệm chứng minh thông tin quan trọng cho hành động xuất hiện sớm, trước khi biểu diễn thị giác cuối cùng hình thành — và lợi thế không chỉ đến từ việc 'được xem tầng sớm', mà từ cách pretrain encoder-free tạo ra biểu diễn sẵn sàng cho điều khiển.

Ví dụ đời thường: giống người thợ không chỉ nhìn bức ảnh chụp xong mà xin xem cả quá trình phóng to từng chi tiết của camera — vì đường may, mép vải còn rõ nhất ở những khung hình đầu, trước khi máy nén thành một ảnh hoàn chỉnh.

III. Main Results:

So sánh backbone cùng điều kiện (cùng action expert, cùng dữ liệu OXE 75k bước) trên LIBERO: backbone đóng băng NEO-VLA đạt 90.9%, vượt Qwen3-VL-2B (79.5%) và Gemma-3-4B (84.5%); full fine-tuning đạt 95.3% — cao hơn cả hai encoder-based đã full FT.
Đọc tầng sớm giúp ích rõ rệt: băng backbone đóng băng, skip-28 (đọc rải đều) đạt 90.9% vs end-28 (chỉ tầng 12–39) 86.7%; can thiệp hoán đổi K/V cho thấy nhiễu tầng 0–10 gây lỗi dịch lớn nhất, và độ nhạy với ảnh cổ tay, chỉ dẫn, tư thế camera phân bố ở các độ sâu khác nhau.
Cho Qwen3-VL truy cập trực tiếp đặc trưng tầng giữa của vision tower không tái tạo được lợi thế (79.5% → 64.9% khi đóng băng) — chứng tỏ lợi ích nằm ở cách pretrain encoder-free, không phải chỉ ở vị trí đọc.
Co-training với dữ liệu hiểu multimodal giữ nguyên khả năng understanding (chênh ≤1.5 điểm) và đạt 69.4% trên RoboTwin 2.0 Clean2Rand, trong khi fine-tune chỉ trên action làm mất khả năng sinh text và sụt còn 10.7%.
Benchmark: LIBERO 97.4%; LIBERO-Plus 89.7% (cao nhất trong các mô hình mở cả code và weights, đặc biệt mạnh với nhiễu camera 94.5 và ngôn ngữ 91.7); LIBERO-Pro mạnh với biến đổi ngữ nghĩa (98.0) nhưng yếu khi đổi vị trí vật thể/mục tiêu tác vụ; RoboTwin 2.0 Clean2Rand 69.4% — tốt nhất nhóm mở.

IV. Conclusion & Future Works:

Điều khiển embodied hiệu quả phụ thuộc không chỉ vào backbone biểu diễn gì, mà còn vào giai đoạn nào của quá trình tính toán thị giác vẫn được mở cho hành động truy cập. Kiến trúc encoder-free với readout đa tầng cho phép chính sách tiếp cận tín hiệu hình học tinh vi trước khi chúng bị trừu tượng hóa, mang lại hiệu suất và độ robust cao hơn.

Hướng tương lai: cải thiện khả năng thích ứng với cấu hình không gian lạ và mục tiêu tác vụ mới (điểm yếu còn lại trên LIBERO-Pro), và mở rộng nguyên tắc truy cập đa tầng sang các dạng biến đổi phân phối khác.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế phân bố thông tin theo độ sâu trong backbone encoder-free: ngôn ngữ, ngoại hình và hình học camera ảnh hưởng đến dự đoán hành động ở các tầng khác nhau như thế nào, làm cơ sở thiết kế layer map tối ưu cho từng loại robot.
Phương pháp bảo toàn khả năng multimodal understanding trong quá trình post-training chính sách robot: tìm hiểu vì sao mất khả năng hiểu dẫn đến sụp đổ độ robust của hành động, và công thức co-training tối ưu giữa hai năng lực.
Mở rộng VLA encoder-free cho thích ứng mục tiêu tác vụ và cấu hình không gian mới — hai trục biến đổi phân phối mà NEO-VLA còn yếu — bằng cách kết hợp readout đa tầng với lập luận bậc cao hơn.

2. Patent:

Hệ thống điều khiển robot không module thị giác riêng cho điện thoại/robot gia đình: ảnh từ camera của thiết bị được đưa trực tiếp vào mô hình ngôn ngữ-thị giác thống nhất, rút đặc trưng từ nhiều tầng xử lý để dự đoán chuyển động tay robot, giảm nhu cầu tinh chỉnh khi đổi camera hoặc góc nhìn.
Module chống nhiễu hình ảnh cho cánh tay robot công nghiệp: khi camera bị rung, thay đổi ánh sáng hoặc nhiễu, mô hình đọc đặc trưng từ các tầng xử lý sớm để giữ ổn định lệnh điều khiển, phù hợp môi trường nhà máy có điều kiện ánh sáng thay đổi.
Hệ thống huấn luyện robot đa nhiệm trên đám mây: vừa duy trì khả năng trả lời mô tả/hình ảnh vừa học tác vụ thao tác mới bằng cách xen kẽ dữ liệu hiểu ngôn ngữ-thị giác với dữ liệu điều khiển trong cùng quá trình huấn luyện, tránh hiện tượng 'học điều khiển xong quên cách nhìn'.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.06918
ArXiv Abstract	https://arxiv.org/abs/2611.06918
PDF Download	https://arxiv.org/pdf/2611.06918.pdf
Github Repository	N/A

3. FrontierPhysics: Evaluating Agents for End-to-End Physics Research (48 votes)

Tác giả: Bingran You, Wenjun Ke, Ria Rosenauer, Bo Liu, Wenbo Chen, et al.

Xuất bản lúc: 2026-11-04

Tag: AI Agents, Benchmark, Physics Research, Scientific Evaluation, LLMs, Agent-as-judge, Research Automation

I. Main Problem:

Các benchmark vật lý hiện tại không đánh giá được nghiên cứu thực thụ của AI agents:

Chỉ đánh giá câu hỏi cố định hoặc từng sub-task riêng lẻ trong pipeline khoa học, không phải cả quy trình nghiên cứu.
Benchmark dạng tái hiện bài báo lại đưa sẵn publication gốc, nên câu hỏi nghiên cứu và hướng giải đã bị định sẵn trước — mất tính mở.
Benchmark dạng chuyển bài báo thành bài toán (không đưa lời giải) lại thiếu chuyên môn của chính tác giả nghiên cứu, dẫn tới chỉ thị mơ hồ (false negative) hoặc không phân biệt được sai kiến thức vật lý với thiếu trực giác chuyên gia.
Hầu như không benchmark nào vừa chấm tính đúng của kết quả vừa chấm chất lượng bài báo (có publish được không).

II. Main Idea:

FRONTIERPHYSICS là benchmark end-to-end gồm 56 tác vụ do 42 nhà vật lý (trung bình ~420 citations, tổng hơn 8.000 giờ nghiên cứu gốc) xây dựng từ chính dự án nghiên cứu của họ, bao phủ 9 lĩnh vực vật lý lý thuyết, tính toán và thực nghiệm. Quy trình:

Agent nhận prompt mức cao giống chỉ dẫn của một PI, phải tự tìm hiểu tài liệu, lập kế hoạch, chọn phương pháp, chạy thí nghiệm/mô phỏng.
Bàn giao hai loại sản phẩm: artifacts xác định (số liệu, output mô phỏng) và manuscript paper.pdf đạt chuẩn bài báo có bình duyệt.
Chấm điểm kép: deterministic verifier kiểm tra số liệu khớp reference, cộng reviewer agent (GPT-5.6 Sol) chấm theo rubric do chuyên gia viết, chia blockers (cổng nhị phân bắt buộc: không reward hacking, không bịa kết quả, artifacts hợp lệ) và non-blockers (chất lượng, thang 0-2 có trọng số). Điểm = 0 nếu sai verifier hoặc trượt blocker, dù phần còn lại tốt đến đâu.
Pipeline QA nghiêm ngặt: duyệt tính xác thực dự án (tối thiểu 2 tuần nghiên cứu thật), domain peer review bởi chuyên gia cùng subfield, và failure-mode analysis trên ít nhất 3 rollout của SOTA agent trước khi merge — chỉ 56/182 đề xuất được chấp nhận.

Ví dụ đời thường: giống thi tuyển nghiên cứu sinh — thí sinh (agent) nhận một đề mở do chính giáo sư (nhà vật lý) ra, phải tự đọc tài liệu, làm thí nghiệm rồi viết luận văn; hội đồng vừa chấm con số cuối cùng có đúng không, vừa chấm cả luận văn có đủ sức nộp tạp chí không.

III. Main Results:

Không cấu hình nào vượt quá 30%: Claude Opus 5.5 (Claude Code) dẫn đầu với 27.4% pass rate (Pass@1), GPT-6 Astra 23.2%, hai mô hình cuối bảng về 0%. Trên 4.364 rollout và 22 model × 4 harness, Opus 5.5 chỉ pass 46/168 rollout.
Đúng verifier ≠ đúng nghiên cứu: deterministic pass cao hơn đáng kể overall pass — nhiều agent tính đúng số nhưng bị blocker bắt vì bịa kết quả, paper kém, hoặc thao túng đầu ra.
Nguyên nhân thất bại không phải kiến thức vật lý: phân tích thủ công 168 rollout của GPT-6 Astra cho thấy thiếu tư duy nghiêm ngặt (48%, ví dụ circular self-verification — tự dùng giả định sai để kiểm chứng giả định sai) và thiếu trực giác chuyên gia (34%, ví dụ không xác định được nguồn lỗi chính trong thí nghiệm) là hai lỗi lớn nhất; sai vật lý chỉ chiếm ~16%. Literature synthesis (27%) và làm theo chỉ dẫn (26%) cũng là điểm yếu lớn.
Kiểm chứng độ tin cậy chấm điểm: 9/168 rollout bị fail oan (false negative) được phát hiện và sửa; tài liệu tham khảo của chính tác giả đạt 96.2% điểm rubric, chứng tỏ rubric khớp chuẩn chuyên gia. Reviewer khác mô hình (Opus 5.5) cho cùng quyết định pass/fail gần như tuyệt đối.
Pass rate tổng thể tăng theo chi phí, nhưng không tuyến tính: một số model Claude đắt hơn lại pass thấp hơn (Opus 5.5 > Fable 5.1 > Opus 5).

IV. Conclusion & Future Works:

Nghiên cứu vật lý end-to-end vẫn vượt xa khả năng hiện tại của các model frontier — bottleneck nằm ở tư duy nghiêm ngặt và trực giác chuyên môn, không phải kiến thức hay lỗi thực thi. Hướng đi: agent vật lý đích thực cần vượt ra ngoài tác vụ được giao phó để tự khám phá vấn đề khoa học từ định nghĩa bài toán tới phát hiện mới, với ít hướng dẫn; điều này đòi hỏi các benchmark mở hơn và framework chấm điểm linh hoạt hơn — đánh giá được suy luận mang tính thăm dò, tiến độ một phần và cả những phát hiện ngoài dự kiến.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng FRONTIERPHYSICS sang các mô hình agent nhiều tầng (multi-agent với subagent), vì phân tích failure mode hiện bị giới hạn ở single-agent harness do khó đọc trajectory có subagent.
Benchmark tương tự cho các mô hình có khả năng điều khiển thiết bị thí nghiệm thật, đánh giá agent trong vòng lặp thí nghiệm vật lý trực tiếp chứ không chỉ mô phỏng.
Phát triển phương pháp chấm điểm tự động các khía cạnh chủ quan của rubric (trực giác vật lý, chất lượng motivation) để giảm chi phí audit thủ công của chuyên gia.

2. Patent:

Nền tảng tuyển chọn và bình duyệt tác vụ nghiên cứu khoa học trên điện thoại: nhà khoa học gửi đề bài từ dự án của mình kèm bằng chứng thực hiện; ứng dụng phân phối cho reviewer cùng chuyên ngành duyệt qua checklist, tự động kiểm tra độ tin cậy bằng cách chấm lại bài báo gốc của tác giả với chính rubric đó.
Hệ thống chấm điểm kép cho trợ lý nghiên cứu AI: kết hợp script kiểm tra tự động các con số đầu ra với một agent chấm điểm theo tiêu chí do chuyên gia viết, phân biệt rõ lỗi nghiêm trọng (bịa số liệu, sửa kết quả) với lỗi chất lượng, báo cáo trực tiếp lên điện thoại cho người quản lý lab.
Công cụ audit hồ sơ nghiên cứu trên thiết bị di động: tự động thu thập toàn bộ lịch sử thao tác, code và file kết quả của AI agent, lưu vết để phát hiện agent tự kiểm chứng bằng chính giả định sai của mình hoặc can thiệp bài test.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.06910
ArXiv Abstract	https://arxiv.org/abs/2611.06910
PDF Download	https://arxiv.org/pdf/2611.06910.pdf
Github Repository	N/A

4. What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents? (34 votes)

Tác giả: Kejian Zhu, Zhuoran Jin, Shangqing Tu, Tianyi Men, Yupu Hao, et al.

Xuất bản lúc: 2026-11-04

Tag: Multi-Turn RL, LLM Agents, Pass@K, Interaction Budget, Error Recovery, Process Supervision, BudgetMix RL, GRPO

I. Main Problem:

Reinforcement learning nhiều lượt cho tác tử ngôn ngữ lớn thường được công bố bằng tỉ lệ hoàn thành cả hành trình, nhưng điều đó che giấu rủi ro triển khai:

lợi thế có thể phụ thuộc vào ngân sách tương tác; khi số lượt được phép dùng bị siết chặt, hiệu quả tăng có thể giảm mạnh hoặc đảo chiều.
chất lượng một bước quyết định không nhất thiết đồng đều tốt hơn, rất quan trọng với tác vụ có hành động không thể hoàn tác như giao dịch tài chính hoặc thao tác cơ sở dữ liệu.
vì vậy cần tách mở rộng khả năng theo số lần thử K, độ sâu tương tác T, và chất lượng hành động từng bước thay vì chỉ nhìn kết quả cuối.

II. Main Idea:

Bài báo đánh giá tác tử bằng Pass@(K, T), tách hai trục test-time: sampling breadth K là số hành trình độc lập, còn interaction depth T là số lượt tương tác tối đa. Phân tích cho thấy học tăng cường nhiều lượt có thể vượt ranh giới Pass@K của mô hình nền, nhưng lợi thế chủ yếu đến từ khả năng phục hồi sau lỗi và bền bỉ trong hành trình dài, không phải từ việc mỗi bước đều tốt hơn. Phân tích hợp lý cho thấy từng hành động vẫn nằm trong vùng khả dĩ của policy nền, nhưng xác suất cả hành trình dài được policy sau học gán cao hơn rất nhiều; nghĩa là RL cải thiện cách ghép các bước cục bộ hợp lý thành chuỗi dài thành công. Để giảm phụ thuộc ngân sách, tác giả đề xuất BudgetMix RL: trong huấn luyện vẫn dùng reward kết thúc như cũ, nhưng mỗi nhóm bài toán được gán ngẫu nhiên một ngân sách tương tác khác nhau theo các mức 10%, 20%, ..., 100%; quá ngân sách mà chưa xong thì về 0.

Ví dụ đời thường: giống thợ sửa máy không làm từng con ốc chắc hơn đều đặn, mà học cách khi vặn hỏng một con thì đổi đường đi, dùng thêm bước và vẫn kịp giao máy; BudgetMix luyện đúng kỹ năng đó bằng cách lúc cho ít thời gian, lúc cho nhiều thời gian.

III. Main Results:

Pass@K: trên DeepCoder-MT, BFCL v3, InterCode-SQL và FrozenLake, mô hình sau RL luôn trên mô hình nền khi tăng K; khác với bài toán một lượt, RL nhiều lượt có thể mở rộng ranh giới khả năng thực nghiệm của bản nền.
Pass@T: cố định K và tăng T cho thấy lợi thế RL chỉ rõ khi ngân sách đủ lớn; với ngân sách chặt, khoảng cách co lại và một số tác vụ đảo chiều.
Chất lượng từng bước: RL chỉ thắng bản nền ở 46.8% trạng thái DeepCoder-MT và 42.8% trạng thái FrozenLake; trung bình chất lượng bước không cao hơn, thậm chí hơi kém.
Sau trạng thái lỗi: thứ tự đảo ngược: RL chọn hành động tốt hơn ở 67.3% trạng thái lỗi DeepCoder-MT và 65.7% FrozenLake; tỉ lệ hoàn thành khi tiếp tục từ cùng lỗi là 51.3% so với 38.6% trên FrozenLake, 38.5% so với 22.9% trên DeepCoder-MT.
Theo độ sâu hành trình: ưu thế RL yếu ở đầu hành trình, chỉ nổi lên dần ở các giai đoạn sau.
Cơ chế: action NLL dưới policy nền của RL và base chồng lấn nhiều, nhưng log-likelihood tích lũy của hành trình thành công dưới RL đạt khoảng 228 nats so với khoảng 26 nats dưới base.
Động học huấn luyện: trên DeepCoder-MT, reward hành trình tăng +0.331 trong khi reward bước giảm -0.097; với BudgetMix, reward hành trình tăng +0.323 và reward bước gần giữ được +0.006.
BudgetMix RL: trên Qwen3-4B và Qwen3-8B với GRPO, GiGPO, PPO, mức tăng trung bình so với full-budget RL là khoảng +7.9, +5.2, +3.8 điểm phần trăm tại 25%, 50%, 75% ngân sách cho bản 4B; +7.3, +4.7, +4.0 cho bản 8B; ở 100% ngân sách vẫn ngang hoặc nhỉnh hơn +1.1 đến +1.4. Mức cải thiện trung bình tổng là khoảng +4.2 điểm phần trăm với Qwen3-4B và +4.8 với Qwen3-8B.

IV. Conclusion & Future Works:

Kết luận chính là điểm tăng của RL nhiều lượt không nên đọc như mỗi quyết định đều tốt hơn; nó chủ yếu củng cố phục hồi lỗi, dẫn hành trình dài, và khả năng biến các hành động cục bộ khả dĩ thành kết quả cuối đáng tin. Điều này làm rõ khi nào tác tử đáng tin dưới giới hạn lượt nghiêm ngặt hoặc hành động không hoàn tác. Tín hiệu giám sát quá trình chất lượng cao có thể giảm rủi ro, nhưng oracle Q-value hoặc phản hồi chuẩn xác hiếm có trong tác vụ thật; LLM-judge hay dense credit assignment chưa đủ ổn trên BFCL. Hướng tương lai: reward quá trình đáng tin cho tool-use thật, policy điều kiện theo ngân sách còn lại, chỉ số rủi ro cấp bước, và huấn luyện chống suy giảm chất lượng cục bộ khi tối ưu reward kết thúc.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu reward quá trình có thể thu thập được cho tác tử dùng công cụ thật: kết hợp kiểm thử đơn vị, hậu kiểm an toàn và ước lượng giá trị tiếp tục để giữ lợi thế học tăng cường khi ngân sách tương tác bị siết.
Phát triển policy điều kiện theo tổng ngân sách và ngân sách còn lại, kiểm tra cách thông tin này đổi chiến lược giữa thận trọng sớm và dám thử-sửa ở cuối hành trình.
Mở rộng phân tích log-likelihood hành trình sang entropy từng token, nhận diện những điểm rẽ quyết định nơi RL học cách phục hồi thay vì nâng chất lượng mọi bước.
Xây dựng bộ benchmark báo cáo song song trajectory success, step-level risk và độ nhạy ngân sách, nhằm phát hiện mô hình thắng bằng cách lãng phí nhiều lượt thử.

2. Patent:

Trợ lý trên điện thoại có giới hạn số bước xử lý: trong huấn luyện, từng yêu cầu của người dùng được gán ngẫu nhiên ngân sách hành động khác nhau, để khi người dùng bật chế độ nhanh hoặc tiết kiệm pin trợ lý vẫn chọn bước đầu thận trọng và chỉ mở rộng khi còn hạn mức.
Hệ thống gợi ý thao tác cơ sở dữ liệu hoặc giao dịch tài chính trước khi xác nhận: mô hình học tăng cường nhiều lượt được huấn luyện với nhiều mức thời gian và số lần kiểm tra, khi hạn mức thấp sẽ ưu tiên hành động ít rủi ro, dễ hoàn tác và giảm số vòng kiểm chứng.
Công cụ lập trình trên đám mây cho điện thoại hoặc trình duyệt: server huấn luyện agent viết và chạy mã với ngân sách lượt thay đổi, kết hợp chấm điểm kiểm thử từng bước để khi mạng chậm hoặc giới hạn chạy tự động ngắn, hệ thống vẫn tránh vòng lặp sửa lỗi vô ích.
Module an toàn cho robot hoặc thiết bị điều khiển bằng lời nói: khi còn ít lượt cảm biến hoặc pin, chính sách đã học dưới nhiều ngân sách chuyển sang hành vi bảo thủ, dừng kiểm tra trạng thái thay vì cố hoàn thành bằng chuỗi hành động dài.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.06483
ArXiv Abstract	https://arxiv.org/abs/2611.06483
PDF Download	https://arxiv.org/pdf/2611.06483.pdf
Github Repository	https://github.com/GaryStack/Rethinking-Agent-RL

5. GameVerse: A Minute-Scale Gameplay Dataset for Long-Horizon Interactive World Modeling (34 votes)

Tác giả: Kang He, Wenshuo Peng, Chuanhao Li, Zihui Gao, Xiaojie Xu, et al.

Xuất bản lúc: 2026-10-31

Tag: GameVerse, Interactive World Modeling, Gameplay Dataset, Long-Horizon Video Generation, Camera Pose Estimation, Structured Captions, World Models, Video Generation

I. Main Problem:

Các interactive world models hiện nay tạo được môi trường gameplay khá thuyết phục ở đoạn ngắn, nhưng sau khoảng một phút sinh video thường bị trôi ảnh, mất nhân vật/vật thể, vỡ cấu trúc cảnh. Tác giả lập luận nút thắt chính là dữ liệu, không phải sức chứa mô hình:

Các tập gameplay hiện hữu phần lớn gồm clip dưới 10 giây, quá ngắn để giám sát tính mạch lạc phút-scale.
Caption kiểu một dòng cho cả clip trộn lẫn bối cảnh tĩnh, sự kiện động, và hành vi điều khiển.
Bốn tín hiệu cần thiết — video dài liên tục, tương tác dài hạn, quỹ đạo camera đáng tin, semantic đa mức căn theo sự kiện — bị phân mảnh hoặc không công bố ở các dataset trước.

II. Main Idea:

GameVerse được xây như một bộ dữ liệu gameplay phút-scale để mô hình học cách duy trì thế giới qua thời gian. Điểm khác biệt là pipeline thống nhất:

Thu thập từ 11.002 video nguồn, giữ chất lượng tới 1080p, 30–60 FPS, bao phủ hơn 110 game AAA/indie, góc nhìn thứ nhất/thứ ba, hành vi như khám phá, chiến đấu, đi bộ, lái xe, leo trèo, tương tác vật thể.
Scene-consistent segmentation: kết hợp phát hiện cắt cảnh cứng bằng TransNetV2 với khoảng cách ngữ nghĩa CLIP để bắt cả chuyển cảnh mượt, giữ đoạn liên tục tới 120 giây.
Quality pipeline nhiều tầng: lọc độ phân giải/độ sáng/viền đen, OCR phát hiện phụ đề/HUD/watermark, phát hiện rung camera và frame đứng yên, dedup bằng embedding + K-Means, tinh chỉnh bằng điểm chất lượng thời gian.
Camera pose validation: ước lượng pose từng frame bằng ViPE, rồi loại/quản lý ba lỗi điển hình: sudden jumps, high-frequency jitter, long-term drift.
Caption đa mức bằng Kimi-K2.5, tách mỗi clip thành global static — bối cảnh lớn; local static — cấu hình cảnh ổn định; dynamic events — thay đổi môi trường; agent actions — hành vi nhân vật theo vốn từ hành động thống nhất.
Thành phẩm: 69.7K clip, 1.655 giờ, 349.6 triệu frame, trong đó 1.358 giờ là chuỗi hai phút liên tục, dài hơn khoảng một bậc mười so với corpus gameplay trước.

Giống như dựng một bộ phim từ hàng chục giờ quay lộn xộn: người ta cắt bỏ đoạn chuyển cảnh, giữ lại phân đoạn ổn định, kiểm tra camera không giật/lệch, rồi viết chú thích tách riêng sân khấu, phông nền, diễn biến đang xảy ra và động tác diễn viên để người khác có thể điều khiển lại từng lớp.

III. Main Results:

VBench 60 giây: LTX-FT dẫn về độ mạch lạc thời gian — Subject Consistency 79.17, Background Consistency 90.63, Motion Smoothness 99.53; LingBot dẫn Aesthetic Quality 6.14, Imaging Quality 56.70, Overall Consistency 18.25.
Fine-tune cùng backbone HY-World 1.5 trên GameVerse cải thiện cả sáu metric VBench: Subject Consistency 66.92 → 68.45, Background Consistency 81.77 → 83.30, Overall Consistency 14.48 → 15.69.
WorldScore: LTX-FT đạt WS-Static cao nhất 59.65, nổi bật ở 3D Consistency 95.13, Photometric Consistency 98.45, Style Consistency 90.04. HY-World-FT cải thiện toàn bộ bảy thành phần, gồm WS-Static 53.33 → 55.13 và 3D Consistency 66.94 → 73.42 (+6.48).
Độ bám reference dài hạn: LTX-FT có CLIP similarity tại 30s 0.785 và trì hoãn lần đầu similarity dưới ngưỡng tới 50.7s; fine-tune HY-World trên GameVerse nâng 30s similarity 0.609 → 0.642 và trì hoãn first-drop từ 30.4s → 37.9s.
Caption do người đánh giá trên 400 clip: overall alignment 4.64/5, scene/event accuracy 4.82/5, agent-action accuracy 4.66/5, hallucination 5.5%, temporal mismatch 4.0%, Krippendorff alpha 0.76.
Kiểm chứng quỹ đạo camera so với DROID-SLAM sau căn Sim(3): rotation RPE khoảng 0.75–1.47 độ, translation-direction error 4.84–11.03 độ; đây là so sánh độ nhất quán giữa hai estimator, không phải độ chính xác tuyệt đối.

IV. Conclusion & Future Works:

GameVerse cho thấy lỗi mất mạch lạc sau một phút của interactive world models có thể được giảm đáng kể bằng dữ liệu khi cung cấp đồng thời video liên tục phút-scale, quỹ đạo camera đã lọc lỗi, tương tác đa hành vi và caption phân tầng căn theo sự kiện. Giới hạn còn lại: mới chứng minh trong môi trường gameplay, chuyển sang thế giới thật chưa được kiểm tra; pose/caption vẫn có thể còn lỗi nhỏ; clip liên tục hiện tới hai phút trong khi thí nghiệm sinh tới 60 giây; chưa tách rõ đóng góp riêng của độ dài clip, camera supervision, và structured captions; chi phí xây dữ liệu lớn là rất cao.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng GameVerse vượt hai phút và kiểm chứng closed-loop interactive rollout, nơi mô hình không chỉ sinh video dài mà còn phản hồi hành động người chơi liên tục.
Ablation có kiểm soát để tách riêng hiệu quả của độ dài clip, camera trajectory đã validate, và caption đa mức trong việc kéo dài horizon của world model.
Nghiên cứu tự hiệu chỉnh lỗi pose/caption trên GameVerse bằng consistency learning giữa video, quỹ đạo camera và mô tả hành vi.
Chuyển giao từ gameplay sang video thế giới thật hoặc môi trường embodied robot, đo mức suy giảm khi rời khỏi game-engine-like visual prior.
Phương pháp xây dataset gameplay quy mô lớn tiết kiệm tính toán, giảm chi phí chất lượng lọc và annotation mà vẫn giữ giám sát đủ sạch.

2. Patent:

Ứng dụng điện thoại tạo thế giới chơi mô phỏng có thể điều khiển từ một ảnh đầu vào: người dùng chọn khung hình và cử chỉ camera/hành động, hệ thống sinh cảnh gameplay mạch lạc hơn một phút để làm demo, trailer hoặc prototype màn chơi.
Công cụ đám mây cho studio game tự dựng ngân hàng clip chất lượng cao từ video dài: tách cảnh ổn định, loại phụ đề/giao diện, ước lượng đường camera, gắn nhãn hành vi-sự kiện, rồi xuất dữ liệu huấn luyện cho mô hình sinh môi trường mở.
SDK điện thoại/game engine giúp nhân vật và camera không biến mất khi người chơi khám phá lâu, bằng cách fine-tune một mô hình video trên dữ liệu gameplay đã làm sạch và có nhãn tách riêng bối cảnh, sự kiện, hành động.
Hệ thống kiểm thử tự động cho game open-world: sinh các đoạn điều khiển dài từ một điểm xuất phát để phát hiện sớm lỗi trôi cảnh, mất vật thể, xung đột bản đồ trước khi build chính thức.
Trợ lý biên tập video gameplay trên điện thoại: tự tìm đoạn hành động đẹp, giữ đoạn camera ổn định, tạo mô tả từng pha chiến đấu/lái xe/khám phá để cắt highlight hoặc làm caption đa ngôn ngữ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.37257
ArXiv Abstract	https://arxiv.org/abs/2610.37257
PDF Download	https://arxiv.org/pdf/2610.37257.pdf
Github Repository	https://github.com/kangverse/GameVerse

6. Halley: A Predictive Control Plane for Optical AI Data Center Networks (31 votes)

Tác giả: Manav Mishra, Krishna M. Sivalingam

Xuất bản lúc: 2026-11-03

Tag: Co-packaged Optics, Data Center Networks, Predictive Control, Optical Circuit Switching, Common-Cause Failure, Reliability, Microring Modulators, MoE Training

I. Main Problem:

Mạng quang kết nối hàng chục nghìn accelerator trong trung tâm dữ liệu AI (co-packaged optics) có bốn lớp — nguồn laser dùng chung, optical circuit switch (OCS), microring modulator, module thay thế — mỗi lớp hôm nay chạy chính sách cố định hoặc phản ứng sau sự cố. Hai vấn đề cốt lõi:

Laser hỏng theo cụm: các laser trong cùng module chia sẻ vỏ nhiệt và nguồn điện nên hỏng tương quan. Định lý 1 chứng minh ở tỷ lệ spare cố định, độ sẵn sàng của pool bị chặn trên bởi một giới hạn A < 1* dù pool lớn cỡ nào (với ρ=0.15, pool 2× chỉ đạt tối đa 99.670%, không bao giờ tới 99.999%).
Bulk-synchronous training: mỗi bước huấn luyện kết thúc bằng collective — một ring lệch tần số, một laser hỏng hay switch chậm khiến toàn bộ accelerator đứng chờ tại barrier. Thêm nguồn điện mới mất 5–10 năm, nên mọi điểm goodput mất đi là công suất đã xây nhưng không sinh việc.

II. Main Idea:

Halley là control plane dự đoán-trước-để-hành-động, một thành phần cho mỗi lớng dữ liệu quang, cùng quy tắc: dự báo trạng thái kế tiếp của lớp mình, hành động trước khi sự cố xảy ra, và nhường lại cho chính sách reactive cũ khi dự báo cũ hoặc không chắc (nên không tệ hơn hệ thống hiện tại).

LightReserve: tính số laser spare từ tỷ lệ hỏng λ và độ tương quan ρ để đạt ngưỡng coverage chứng minh được; nếu vượt ngân sách 2× thì báo UNREACHABLE và đưa ra mục tiêu giảm tương quan ρ′ cần thiết.
FoldFit: lập lịch OCS bằng cách quy về bài toán packing (binary-search first-fit-decreasing), makespan ≤ 11/9 lần tối ưu, ưu tiên giữ nguyên các block expert-parallel để tái sử dụng cấu hình ổn định.
ThermaLead: dự báo độ trôi nhiệt của microring một bước trước để đặt heater sẵn, thay vì khóa dither phải chờ lỗi lộ ra (mất ~200 µs mất lock).
TriageGuard: phân bổ spare nóng (pre-wired) cho các module có nguy cơ hỏng cao nhất trước — top-B tối ưu theo tiêu chí trao đổi.

Ví dụ đời thường: giống tài xế lái xe đọc đoạn đường phía trước để phanh và chỉnh lái trước khi thấy chướng ngại, chứ không chờ đâm vào mới phản ứng; khi sương mù che mất tầm nhìn thì trả lại tay lái cho người phụ lái cũ kính tiến.

III. Main Results:

Goodput hiệu dụng (phần throughput lý tưởng còn giữ được): từ 65.2% lên 76.5% (+17.3% tương đối) theo cách đọc coverage; lên 67.4% theo cách đọc lit-share (chỉ mất băng thông kênh tắt).
Quy mô hạ tầng: tương đương tới 1.03–1.17 lần lượng training trên mỗi MW, hoặc giảm 3.3–14.7% công suất trung tâm dữ liệu cho cùng mục tiêu training — không phải chờ kết nối lưới điện mới.
Phần lớn lợi ích đến từ quyết định provisioning: LightReserve size pool spare lớn hơn theo đúng ρ; giữ trong cap 2× chỉ mất 0.2 điểm. Với 32 kênh: pool 4 spare chỉ đạt 86.3%; 99% cần 23 spare, 99.9% cần 49, 99.999% cần 156 (vượt cap → cần giảm ρ xuống ~0.046).
Chi phí decorrelation thắng mua spare: tách domain nhiệt/điện để đạt 99.999% tốn $44,100** so với **$ 234,000 chỉ cho spare (ở stress rate).
ThermaLead bị gate về dither lock khi sai số lớn hơn: giảm 2.1% số lần mất lock so với chỉ dùng dither.
Phần cứng thực tế: fallback circuits được formal verify ở mức register-transfer, chạy đúng timing trên FPGA thương mại và pass signoff SkyWater 130 nm.
Điểm yếu thành thật: dự báo sai nhưng tự tin thì không có giới hạn dưới; giá trị ρ=0.15 là giả định chưa đo từ dữ liệu thực định.

IV. Conclusion & Future Works:

Halley chứng minh rằng với laser pool chịu common-cause failure, mua thêm spare không vượt qua được trần tương quan — phải decorrelate trước rồi mới size spare, và mỗi lớng quang của fabric AI đều được nâng từ điều khiển reactive lên dự báo-trước với bảo đảm hình thức (LightReserve, FoldFit, TriageGuard) hoặc benchmark (ThermaLead), luôn nhường lại chính sách cũ khi không chắc. Hướng tương lai:

Đo thực nghiệm độ tương quan hỏng ρ giữa các laser trong cùng module (hiện là giả định từ chuẩn IEC 61508) để chốt mô hình.
Xây cơ chế phát hiện và hạ quyền dự báo sai để bù đắp lỗ hổng 'tự tin mà sai' hiện chưa có sàn bảo vệ.
Kết hợp coverage với fast recovery (TriageGuard) thành chỉ số effective availability có bảo đảm, thống nhất đơn vị laser (LightReserve) với đơn vị module (TriageGuard) trong triển khai thực tế.
Mở rộng sang tổng hợp goodput cho fabric đa job và đánh giá với tỷ lệ hỏng đo được từ fleet thật.

V. Brainstorming Space:

1. Publish Papers:

Thử nghiệm đo độ tương quan hỏng laser (beta factor) của external laser module co-packaged trên dữ liệu fleet thực, hiệu chỉnh mô hình Beta-Binomial và kiểm chứng lại định lý trần tương quan bằng số liệu thật.
Cơ chế tự giám sát độ tin cậy dự báo cho control plane quang: kết hợp uncertainty quantification với cơ chế fallback có bảo đảm, khép kín lỗ hổng 'dự báo tự tin nhưng sai' của Halley.
Thuật toán lập lịch OCS có trễ chuyển mạch δ nằm trong mục tiêu makespan với bảo đảm hằng số, đóng góp mở trong FoldFit (giới hạn 11/9 hiện chưa tính δ).
Mô hình hiệu năng-joint cho pool laser + microring khi cả hai chịu cùng một common cause nhiệt, mở rộng phân tích đuôi phân phối goodput sang đa điểm vận hành.
Hệ thống provisioning tự động cho fabric quang AI: tối ưu đồng thời topology (OCS), số spare laser và vị trí spare nóng dưới ngân sách năng lượng và diện tích, kiểm chứng trên mô phỏng quy mô 100.000 accelerator.
Bộ điều khiển dự báo nhiệt độ cho gói quang dựa trên telemetry từ chính GPU kernel launches, mở rộng ThermaLead sang dự báo đa bước với mô hình học sâu và chứng minh ổn định.

2. Patent:

Hệ thống cảnh báo và thay laser dự phòng tự động trong thiết bị trung tâm dữ liệu: cảm biến nhiệt và dòng điện trong module laser được phân tích theo nhóm; khi xác suất hỏng cụm vượt ngưỡng, hệ thống chuyển tải sang laser dự phòng đã nối sẵn trước khi laser chính hỏng, ghi lại mức độ tương quan hỏng thực tế để tự tinh chỉnh số máy dự phòng cần mua.
Phương pháp thiết kế module laser cho thiết bị quang: bố trí các laser trong cùng một module vào các vùng nguồn điện và điều khiển nhiệt tách biệt vật lý, đồng thời trộn lẫn linh kiện từ nhiều lô sản xuất khác nhau, nhằm giảm xác suất hỏng đồng loạt xuống dưới ngưỡng cho phép đạt độ sẵn sàng 99.999% mà không cần tăng số máy dự phòng.
Hệ thống điều khiển ổn định bộ điều chế quang trong thiết bị điện tử: dùng dữ liệu nhiệt độ đo liên tục để dự báo độ lệch tần số cộng hưởng trước một khoảng thời gian và điều chỉnh bộ gia nhiệt trước khi tín hiệu bị lệch, kết hợp cơ chế tự động quay về chế độ chỉnh sai lệch truyền thống khi dự báo có độ lệch lớn hơn.
Phương pháp ưu tiên bảo trì thiết bị quang trong trung tâm dữ liệu: gắn sẵn bộ phận thay thế nóng cho những module có điểm rủi ro hỏng cao nhất dựa trên lịch sử vận hành và cảm biến, thay vì chia đều cho mọi module, để rút ngắn thời gian mất tín hiệu xuống mili-giây.
Bộ lập lịch kết nối quang cho thiết bị chuyển mạch trong cụm máy tính: gom các luồng dữ liệu huấn luyện thành các tác vụ, sắp xếp vào các cấu hình kết nối song song theo thuật toán tìm kiếm nhị phân kết hợp xếp vừa-first-fit, đảm bảo tổng thời gian giữ kết nối không vượt quá 11/9 lần thời gian tối thiểu lý thuyết.
Ứng dụng quản lý nguồn sáng dự phòng trên điện thoại và thiết bị di động có cụm laser mini (quét không gian, cảm biến LiDAR): theo dõi sự tương quan hỏng giữa các laser cùng chip để tự động điều chỉnh số laser dự phòng cần đóng gói, cân bằng giữa độ tin cậy và chi phí, thay vì cố định tỷ lệ dự phòng như hiện nay.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.04408
ArXiv Abstract	https://arxiv.org/abs/2611.04408
PDF Download	https://arxiv.org/pdf/2611.04408.pdf
Github Repository	N/A

7. PyRUA-DataFarm: LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data (23 votes)

Tác giả: Kewei Zhang, Juncheng Ma, Guodong Lv, Duomin Wang, Feixiang Ruan, et al.

Xuất bản lúc: 2026-11-03

Tag: Robotics, LLM Agents, Simulation, Video Generation, Robot Learning, Synthetic Data, Vision-Language-Action

I. Main Problem:

Thu thập dữ liệu điều khiển robot bằng teleoperation (điều khiển từ xa bởi người) là nguồn dữ liệu huấn luyện mặc định nhưng tốn kém và không mở rộng được: mỗi episode cần cả robot lẫn người vận hành, và mỗi tác vụ/scene mới phải bắt đầu lại từ đầu. Các phương pháp dữ liệu tổng hợp hiện có đánh đổi chi phí bằng hai vấn đề khác:

Công sức kỹ thuật con người: vẫn cần người dựng scene, expert và kiểm tra thành công cho từng tác vụ mới.
Khoảng cách sim-to-real: ảnh mô phỏng trông giả (vải, màn hình sáng khó tái tạo), còn video sinh trực tiếp thì không cung cấp được nhãn hành động chính xác.

II. Main Idea:

DataFarm thay người điều khiển bằng một LLM coding agent, với phân chia vai trò rõ ràng: simulator cung cấp hành động chính xác, còn video model (MiniMax-H3) cung cấp ngoại hình thực tế. Quy trình:

Nhận một yêu cầu dữ liệu + một calibration episode ngắn (quay robot trong scene thật), agent tự dựng lại task trong mô phỏng: scene, camera, expert controller và success judge.
Chống tự chấm điểm: expert được viết dựa trên một judge bị ẩn (chống reward hacking); renderer chỉ được đổi ngoại hình, không được đổi hình học/vật thể/thời gian; mọi episode render phải qua kiểm tra máy + reviewer độc lập trước khi được nhận vào dataset.
Video model được điều kiện hóa bằng ảnh thật từ calibration episode, render cả 3 camera view trong một lần sinh để đồng nhất ánh sáng/vật thể; đổi scene (khăn trải bàn, ánh sáng) chỉ bằng mô tả văn bản.

Kết quả là dữ liệu real-ready: video ảnh thật đa góc đồng bộ, gắn nhãn hành động chính xác, huấn luyện policy trực tiếp và chạy được ngay trên robot thật.

Ví dụ đời thường: giống như thuê một đầu bếp mới chỉ cần đưa một lần quan sát căn bếp của bạn; người đó tự viết công thức, tự nấu thử trong bếp mô phỏng, có giám khảo khác chấm từng món, rồi bếp thật chỉ việc phục vụ — không cần bạn đứng bếp hay lau dọn mỗi lần hỏng.

III. Main Results:

Robot thật (5 tác vụ, robot PiPER hai tay): policy huấn luyện chỉ trên farm data đạt 93/100 thành công, ngang hoặc hơn teleop data (84/100); dưới điều kiện lạ (khăn trải bàn + đèn màu chưa thấy), farm data giữ 87/100 trong khi teleop tụt còn 46/100.
Baseline Sim + Domain Randomization cùng grounding/expert/hành động nhưng render trực tiếp từ simulator chỉ đạt 26/100 (ID) và 21/100 (OOD) — chứng minh render bằng ảnh thật là yếu tố quyết định.
Chi phí: thích ứng một tác vụ mới tốn ** $21 API (trả một lần)** +$ 5 render contract; mỗi episode tiếp theo ~ $0.80**, không cần robot hay người; 1 giờ dữ liệu 3 camera ~ **$ 107, thấp hơn báo giá teleop Trung Quốc ( $117) và rẻ hơn nhiều so với nhân công Bắc Mỹ ($ 290/giờ).
Chất lượng render: farm episode gần ảnh camera thật gấp hơn 2 lần so với render của simulator; mọi view trung thành chuyển động mô phỏng, điều mà gọi video model trực tiếp không làm được.
Tự động hoàn toàn: mọi artifact do agent sinh, không cần adapter viết tay; sáu tổ hợp model agent đều đạt admission ( $12–$ 124/tác vụ), Claude Opus 5.5 chạy không cần can thiệp người.

IV. Conclusion & Future Works:

DataFarm chứng minh agent có thể thay vai trò teleoperator: dữ liệu robot thực dụng, có nhãn hành động chính xác, đa góc nhìn, chi phí thấp hơn teleop và bền hơn trước thay đổi ngoại hình nhờ biến thiên bề mặt/ánh sáng quanh quỹ đạo chính xác cố định. Nguyên tắc cốt lõi là tách biệt sản xuất và chứng nhận (judge ẩn, reviewer độc lập, ledger đầy đủ) vì LLM không đáng tin khi tự chấm sản phẩm của mình. Hướng mở rộng hợp lý: thêm skill probes cho các kỹ năng ngoài vải, mở rộng sang renderer/video model mạnh hơn, và thử nghiệm tác vụ dài hạn, nhiều đối tượng hơn ngoài 5 tác vụ bimanual hiện tại.

V. Brainstorming Space:

1. Publish Papers:

Hệ thống farm dữ liệu multi-task đa agent: nhiều coding agent đóng vai tác giả/reviewer/kiểm toán phối hợp sản xuất dữ liệu robot cho cả kho tác vụ, chia sẻ capability layer chung nhưng giữ chứng nhận độc lập theo từng episode.
Phương pháp render video điều kiện cấu trúc cho cảnh động lực học phức tạp (vải, màn hình sáng) đồng thời giữ nhãn hành động chính xác, kiểm chứng bằng kiểm thử biến dạng (mutation testing) trên video.
Phân tích định lượng khi nào dữ liệu farm thắng teleop: mô hình hóa độ lợi về độ bền OOD theo số lượng và loại biến thiên ngoại hình được phép trong render contract.

2. Patent:

Dịch vụ đám mây thuê dữ liệu điều khiển robot: người dùng chỉ quay một video ngắn robot trong bếp/xưởng của mình bằng điện thoại, gửi lên app; hệ thống tự dựng mô phỏng, sinh hàng trăm episode ảnh thật có nhãn hành động và trả về bộ dữ liệu huấn luyện hoàn chỉnh.
Ứng dụng điện thoại dạy robot làm việc nhà mới: người dùng quay một lần động tác mẫu (gấp khăn, kéo ngăn kéo), nhập mô tả; server tự tạo chuyên gia ảo, sinh dữ liệu đa góc nhìn theo nội thất nhà riêng của người dùng và huấn luyện policy mới với chi phí cố định thấp.
Hệ thống kiểm chứng tách biệt cho dữ liệu sinh bằng AI: module ẩn điều kiện thành công khỏi tác giả, kèm reviewer AI độc lập so sánh từng video với trạng thái mô phỏng, dùng cho bất kỳ pipeline sinh dữ liệu robot/thị giác nào.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.05320
ArXiv Abstract	https://arxiv.org/abs/2611.05320
PDF Download	https://arxiv.org/pdf/2611.05320.pdf
Github Repository	N/A

8. EmoReward: Self-Evolving Reward Calibration for Emotional Video Generation RL (22 votes)

Tác giả: Mingzhe Zheng, Yue Wu, Jing Tan, Chang Zou, Dengyang Jiang, et al.

Xuất bản lúc: 2026-11-04

Tag: Reinforcement Learning, GRPO, Video Generation, Reward Calibration, Reward Model, RLHF, Emotion Recognition, Multimodal Evaluation

I. Main Problem:

Video sinh ra bằng RL, đặc biệt với GRPO, rất khó chấm điểm cảm xúc vì không có đáp án đúng duy nhất như code/toán. Cách phổ biến là cộng cố định các điểm cho visual quality, motion quality, text alignment; cách này bỏ qua ý đồ cảm xúc và dễ bị reward hacking khi mô hình tìm lối tắt gian lận thước đo. RLHF tốn nhân công, khó mở rộng, và gu thẩm mỹ người khác nhau khiến việc hiệu chỉnh manh mối khuôn mặt, cử động cơ thể, màu sắc theo bối cảnh truyện rất khó.

II. Main Idea:

EmoReward là cơ chế tự tiến hóa phần thưởng cho RL tạo video cảm xúc: thay vì cập nhật reward model, nó học từ một lần train đã hoàn tất rồi mang kinh nghiệm đó sang lần train kế tiếp.

Plan: biến prompt cảm xúc thành EmoScript gồm valence/arousal, cường độ action units trên mặt, manh mối cơ thể, khoảng thời gian biểu cảm.
Act: dùng nhiều bộ chấm điểm khác loại như VLM judge, facial AUs, body cues, temporal evidence, CLIP-AUTT, R1-Omni, motion naturalness; mỗi kênh trả về điểm và độ tin cậy bằng chứng.
Reflect: cổng hiệu chỉnh từng video theo phase training, face confidence, semantic conflict, subtlety; kênh thiếu mặt hoặc không hợp cảnh sẽ bị giảm/tắt, rồi chuẩn hóa lại trên tập còn hoạt động.
Evolve: RewardMemory gom trace từ run hoàn chỉnh, tính độ tin cậy từng provider theo tương quan với kết quả tham chiếu trong từng emotional regime, rồi xuất hệ số nhân bị chặn để lần train sau tin provider nào hơn. Tất cả hệ số và reward model đều đông cứng trong run tiếp theo; chỉ generator nhận gradient.

Ví dụ đời thường: giống đầu bếp nếm món theo khẩu vị từng bàn: với bàn cần vị nhẹ thì giảm tay gia vị cay, với bàn thích đậm thì nhấn muối; sau ca phục vụ, ghi nhớ loại thực khách nào phản hồi tốt với cách nêm nào để ca sau nêm đúng hơn mà không đổi công thức gốc.

III. Main Results:

Trên HunyuanVideo 1.5, EmoReward cải thiện VideoAlign Overall ở cả ba nền tảng RL: DanceGRPO +0.3218, FlowGRPO +0.2343, SAGE-GRPO +0.5645 so với baseline tương ứng; các đầu VQ/MQ/TA cũng tăng, còn PickScore/CLIPScore thay đổi nhỏ và không đồng đều.
Phân tích theo 8 nhóm cảm xúc cho thấy bốn đầu VideoAlign đều tăng trong mọi nhóm; PickScore/CLIPScore biến động nhỏ, không đồng nhất.
Ablation bảy chính sách reward dưới SAGE-GRPO: bản đầy đủ có reliability selectivity 0.428, composite core 0.922, emo 0.884, cao nhất; bản chỉ Reflect dẫn trụ cột preference đơn lẻ nhưng thua khi xét tổng hợp.
Human eval với 18 người, 30 prompt: EmoReward đạt tỷ lệ Good cao nhất cho emotion fidelity 60.0%, temporal coherence 54.3%, visual quality 57.2%, đồng thời Bad thấp nhất cả ba tiêu chí.
Transfer sang SD 3.5 và FLUX có lợi ở một số cấu hình, nhưng kết quả phụ thuộc objective và ngân sách train không cân bằng nên không kết luận nhân quả chặt.

IV. Conclusion & Future Works:

EmoReward chứng minh kinh nghiệm của một training run hoàn chỉnh có thể tái sử dụng ở cấp run để phân bổ độ tin cậy giữa các reward provider, mà không cần cập nhật reward model. Điểm mạnh là tách hợp lệ của bằng chứng trong từng video khỏi độ tin cậy lịch sử của từng loại bằng chứng; điểm cần lưu ý là độ tin cậy dựa trên tương quan với outcome tham chiếu, không đồng nghĩa fidelity cảm xúc độc lập. Hướng mở gồm kiểm soát tốt hơn thiên lệch khi outcome và provider chia sẻ thông tin, cần có baseline global-memory để tách lợi ích của calibration theo ngữ cảnh, và mở rộng sang chiến lược tự chọn evidence chủ động.

V. Brainstorming Space:

1. Publish Papers:

Khung tự tiến hóa cross-run cho hệ nhiều reward trong tạo ảnh/video: học bảng tin cậy provider từ trace hoàn chỉnh, áp dụng cho lần train sau, đồng thời phân tích khi nào global memory đủ tốt và khi nào bắt buộc cần contextual regime.
Reward routing chủ động cho video cảm xúc: thay vì cố định pool bảy kênh, agent chọn tập bằng chứng tối thiểu theo EmoScript và uncertainty, rồi cập nhật bộ nhớ tin cậy sau mỗi run.
Đánh giá tách rời outcome tham chiếu trong calibration: xây benchmark fidelity cảm xúc độc lập để đo xem hệ số RewardMemory đang học chất lượng cảm xúc thật hay chỉ hợp với thước tối ưu hiện tại.

2. Patent:

Ứng dụng điện thoại tạo clip cảm xúc theo prompt: sau mỗi đợt tạo, hệ thống ghi lại xem người dùng giữ/lại/bỏ video, tự điều chỉnh mức tin vào khuôn mặt, cử động, màu sắc, chuyển động cho đợt tạo sau mà không thay model chấm điểm.
Trợ lý quay video ngắn trên điện thoại: khi người dùng chọn cảm xúc như vui, buồn, giận, ứng dụng sinh kịch bản cử chỉ và cảnh quay, chấm thử nhiều bản, rồi ưu tiên bản có mặt rõ, chuyển động tự nhiên, màu phù hợp ngữ cảnh thay vì cộng điểm cố định.
Hệ gợi ý chỉnh sửa clip theo phản hồi theo mẻ: app nhận lượt thích/không thích theo từng cảm xúc, học nhóm bối cảnh nào tin manh mối nào, rồi áp hệ số đó cho lần render tiếp theo trên chính điện thoại hoặc đám mây.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.06518
ArXiv Abstract	https://arxiv.org/abs/2611.06518
PDF Download	https://arxiv.org/pdf/2611.06518.pdf
Github Repository	https://github.com/Tencent-Hunyuan/EmoReward

9. StreamDuo: A Live Commentator and a Research Agent for Unseen Games (19 votes)

Tác giả: Zixian Gao, Penghao Luo, Xiangcheng Cao, Lixin Xiu, Ziqi Cai, et al.

Xuất bản lúc: 2026-10-31

Tag: Streaming Video LLMs, Live Commentary, RAG, Multi-Agent Systems, On-Policy Distillation, Tool Use, Vision-Language Models

I. Main Problem:

Các mô hình streaming video LLM bình luận game (như Proact-VL, LiveCC) được huấn luyện và đánh giá trên cùng một tựa game. Khi chuyển sang cross-game commentary — huấn luyện trên một game rồi bình luận game chưa từng thấy — mô hình chuyển giao được thời điểm nói nhưng không chuyển giao được kiến thức thế giới game:

Gặp nhân vật/vật phẩm lạ, mô hình hoặc mô tả mơ hồ, hoặc mượn nhầm tên từ game huấn luyện (ví dụ gọi nhân vật trong Zelda là "Karlach" — leakage 9.9% ở Proact-VL).
Các cách bổ sung kiến thức cổ điển thất bại với bình luận trực tiếp: dossier game-level không nói được thực thể nào đang hiện trên màn hình; truy xuất mỗi giây ngập context; truy vấn bằng text bất khả thi vì mô hình không nhận ra thì cũng không mô tả được.
Video LLM streaming không có cơ chế biết mình không biết gì để quyết định khi nào cần hỏi.

II. Main Idea:

StreamDuo tách việc bình luận thành hai tác tử bổ trợ nhau, chạy bất đồng bộ trong khi stream tiếp tục:

Commentator (huấn luyện được): xem từng giây stream, quyết định khi nào nói/nói gì. Khi thấy thứ không đặt tên được, nó gửi chính các frame hiện tại (không phải mô tả text) cho tác tử kia qua một ask head.
Research agent (đóng băng, không huấn luyện): VLM có quyền tra cứu wiki của game đang chơi. Nhìn frame, đề xuất từ khóa tìm kiếm, tra wiki, kiểm tra lại candidate, trả về tối đa 3 entry (tên + loại + mô tả 1 dòng) sau ~2 giây, khi commentator vẫn đang nói.

Chỉ huấn luyện commentator, trên một game duy nhất (Baldur's Gate 3), hai giai đoạn:

Giai đoạn 1 — học khi nào hỏi: nhãn ask dựa trên information gain — đo mô hình đóng băng nói câu của caster tốt hơn bao nhiêu khi có câu trả lời lý tưởng; chỉ hỏi ở những giây mà câu trả lời thực sự giúp (không hỏi về thứ đã biết).
Giai đoạn 2 — học dùng câu trả lời nhiễu: on-policy self-distillation — học sinh thấy câu trả lời thật (nhiễu) của research agent, giáo viên là bản sao chính nó thấy câu trả lời lý tưởng, với context-aware decoding khuếch đại từ vựng mà câu trả lời tạo ra, tối ưu reverse KL trên mẫu của chính học sinh (chỉ cập nhật LoRA).

Ví dụ đời thường: giống bình luận viên thể thao mới đi cầm trận game lạ — thay vì bịa tên cầu thủ, anh ta lia màn hình cho trợ lý có sách thống kê bên cạnh; trợ lý lật tra 2 giây sau, và anh ta vừa nói vừa chờ rồi đọc đúng tên khi có dữ liệu.

III. Main Results:

Trên 10 game chưa từng thấy (huấn luyện chỉ BG3): entity recall tăng từ 0.082 → 0.116, K-strict từ 0.085 → 0.127 so với Proact-VL huấn luyện cùng dữ liệu; timing TimeDiff 1.76s (tốt nhất) và điểm LLM-judge (LiveU 5.14, FinalQ 3.53) cao nhất trong các mô hình streaming.
Source-game leakage giảm mạnh: từ 9.9% (Proact-VL) xuống 1.0% dù StreamDuo nhắc tên thực thể gần gấp đôi.
Ablation: dossier/wiki cấp sẵn gần như vô dụng (+0.001 Ent-R); việc hỏi bằng frame tăng Ent-R lên 0.092; Stage 2 (OPSD) đóng góp lớn nhất (0.092 → 0.116).
Policy hỏi: hỏi mỗi 3s làm Ent-F1 sụt (trả lời lệch ngữ cảnh); policy học được hỏi đúng 264 lần/2,470 clip cho cân bằng tốt nhất. Sau khi câu trả lời tới, tỉ lệ nhắn tên tăng 4.6 lần so với giây ngẫu nhiên.
Stage 2: forward KL bị rò rỉ tên BG3 (19.3%), teacher yếu hơn cho ít kiến thức hơn; chỉ reverse KL + amplification + ideal answer cải thiện mọi chỉ số.
Đổi research agent (Qwen3-VL 2B → 30B) gần như không đổi kết quả — nút thắt nằm ở cách commentator dùng câu trả lời, không phải kích thước agent.

IV. Conclusion & Future Works:

Bài báo chứng minh streaming commentator hiện tại transfer timing nhưng không transfer kiến thức thế giới game. StreamDuo khắc phục bằng kiến trúc hỏi-tra cứu-bất đồng bộ: perception và ngôn ngữ để trong commentator (transfer được), kiến thức game-specific tra cứu lúc test từ wiki của game bất kỳ. Hai kỹ thuật chính — information-gain ask labels (biết khi nào đáng hỏi) và on-policy self-distillation từ bản sao có thông tin đặc quyền (biết dùng câu trả lời nhiễu) — có thể áp dụng cho các hệ thống streaming cần kiến thức ngoài theo thời gian thực nói chung.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng cross-game streaming sang bình luận thể thao/esports đa giải đấu: commentator huấn luyện trên một môn hỏi research agent tra cứu hồ sơ đội/vận động viên trong trận mới, với information-gain labels tương tự.
Áp dụng on-policy self-distillation từ bản sao privileged cho agent truy xuất nhiễu nói chung (web search, cơ sở dữ liệu doanh nghiệp) khi câu trả lời trả về trễ và không tin cậy.
Nghiên cứu học chính sách hỏi chủ động cho video LLM: thay ask head threshold bằng học tăng cường trên reward gộp timing, độ chính xác kiến thức và chi phí truy vấn.

2. Patent:

Ứng dụng điện thoại bình luận thể thao trực tiếp thông minh: người dùng quay video trận bóng bất kỳ; ứng dụng gửi khung hình lên đám mây, agent tra hồ sơ cầu thủ/đội và trả về tên cầu thủ, tỉ số, thống kê ngay khi đang quay, đọc thành lời bình tiếng Việt.
Trợ lý bình luận cho game thủ streamer: plugin trên điện thoại/PC đồng hành khi streamer chơi game mới; tự nhận diện nhân vật, vật phẩm trên màn hình bằng cách tra wiki game và gợi ý dòng bình luận đúng lúc, không lộ kiến thức từ game cũ.
Hệ thống phân tích video giám sát chuyên nghiệp (bóng đá, esports): camera gửi frame, agent tra cứu danh sách vận động viên/thiết bị từ cơ sở dữ liệu và gắn nhãn thời gian thực khi có sự kiện mà người vận hành không nhận ra, trả kết quả sau vài giây mà không gián đoạn luồng video.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.01120
ArXiv Abstract	https://arxiv.org/abs/2611.01120
PDF Download	https://arxiv.org/pdf/2611.01120.pdf
Github Repository	https://github.com/ZixianGao/StreamDuo-code

10. On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation (16 votes)

Tác giả: Yichen Wang, Yufa Zhou, Siqi Zhu, Haozheng Luo, Jingzhi Bao, et al.

Xuất bản lúc: 2026-11-03

Tag: Knowledge Distillation, On-Policy Distillation, RLHF, Reinforcement Learning, Generalization, Model Consolidation, LLMs, Post-Training

I. Main Problem:

On-Policy Distillation (OPD) và Multi-Teacher OPD (MOPD) đang được dùng rộng rãi làm giai đoạn hợp nhất khả năng (capability consolidation) sau RL: huấn luyện các teacher chuyên biệt rồi distill vào một student duy nhất. Báo cáo trước đây cho thấy hiệu suất distillation gần như hoàn hảo trên in-distribution (IND), nhưng bài này chỉ ra đây là điểm mù:

Distillation IND gần hoàn hảo che giấu việc hợp nhất khả năng chưa hoàn chỉnh ngoài phân phối giám sát.
OPD/MOPD đạt 96.04–102.73% điểm IND của teacher, nhưng điểm out-of-distribution (OOD) vẫn thấp hơn base model tới 2.45–16.25% (quên kiến thức OOD).
Học tốt từng khả năng riêng lẻ không đảm bảo tổng quát hóa tổ hợp: trên các tác vụ đòi hỏi kết hợp nhiều khả năng, MOPD vẫn thua teacher tốt nhất 18.19–24.34%.

II. Main Idea:

Bài báo hệ thống chứng minh giới hạn tổng quát hóa của (M)OPD bằng hai dạng thử nghiệm trên mô hình Qwen3-8B:

Extrapolative generalization: đánh giá trên bài toán khó hơn trong cùng lĩnh vực (toán: GSM8K → AMC23/AIME24/25).
Compositional generalization: train riêng code, agent, toán, long-context rồi đánh giá trên tác vụ kết hợp (SWE-bench, DocMath, long-context coding).

Phân tích nguyên nhân qua hai nút cổ chai: năng lực teacher và độ phủ dữ liệu. Nới cả hai (teacher Qwen3-32B + dữ liệu GSM8K pha 10% OpenR1) xóa sạch quên OOD, thậm chí vượt teacher.

Phân tích hình học cập nhật tham số: (M)OPD tạo update nhỏ hơn, tập trung phổ hơn (top-64 singular chiếm 69% năng lượng vs 39.9% của RL) và MOPD chia sẻ cấu trúc update với OPD một-teacher nhiều hơn hẳn so với mixed RL. Từ đó đề xuất hai cách vá:

Geometry-based patching (Procrustes-attention): khử thành phần update gây hại OOD sau distillation.
Base-preserving replay: giữ hành vi base model trong lúc distill.

Ví dụ đời thường: giống học trò chép bài thầy rất giỏi trong phạm vi đề thi cũ (IND gần hoàn hảo), nhưng khi gặp bài biến thể mới hoặc bài phải kết hợp nhiều môn thì lại làm kém hơn cả bạn chưa học — vì chỉ học thuộc lời giải mà không học được cách thầy suy nghĩ ra nó, trừ khi thầy cho thêm bài tập đa dạng và học tró khôi phục lại kiến thức gốc.

III. Main Results:

Nghiên cứu sơ bộ (synthetic reasoning): tỉ lệ distillation ~93–104% trên IND nhưng chỉ 76–86% trên OOD — teacher giải được bài ngoài vùng huấn luyện nhưng OPD không truyền hết được.
Self-RL specialist teachers: OPD đạt 97.10% điểm IND của teacher nhưng mất 8.56 điểm phần trăm OOD so với base; giảm quên OOD 25.09% so với teacher RL.
External generalist (Qwen3-32B → Qwen3-8B): đạt 99.34% điểm IND của teacher nhưng vẫn thua base 2.96 điểm OOD — teacher mạnh hơn không tự động khắc phục.
MOPD: giảm quên OOD 28.92% so với mixed RL (11.18 vs 15.73 điểm mất), nhưng vẫn dưới base.
Compositional: MOPD tăng IND 9.24% so với base nhưng thua teacher tốt nhất 23.82% trên tác vụ kết hợp (ví dụ code + long-context: cả 3 benchmark thành phần đều tăng nhưng long-context coding vẫn ngang base).
Nới cả hai nút cổ chai: student vượt base trên cả 5 benchmark, bằng pass@8 AIME24/25 của teacher, vượt teacher trên AMC23 (100.0 vs 95.0).
Geometry: update OPD chỉ bằng 55.4% norm của RL, stable rank giảm từ 19.0 → 6.90; span single-teacher giải thích 11.0–18.6% norm bình phương của MOPD vs <0.24% cho mixed RL.
Patching (α=0.4): AIME25 tăng 60.83% → 65.00%, giữ được GSM8K 93.48%; replay cải thiện 5/8 benchmark OOD với suy giảm IND nhỏ.

IV. Conclusion & Future Works:

Điểm IND gần hoàn hảo của (M)OPD che giấu việc hợp nhất khả năng chưa hoàn chỉnh cả về giữ OOD lẫn tổng quát hóa tổ hợp và vượt teacher. Nút cổ chai nằm ở năng lực teacher và độ phủ dữ liệu cần được cải thiện đồng thời; update hình học nhỏ gọn, tập trung phổ của (M)OPD gợi ý liên hệ với khả năng merge nhưng liên hệ nhân quả với tổng quát hóa vẫn chưa được chứng minh. Hướng tương lai: thuật toán distillation hỗ trợ giữ OOD và tổng quát hóa một cách tường minh, hoàn thiện patching dựa trên hình học và replay bảo toàn base.

V. Brainstorming Space:

1. Publish Papers:

Phát triển thuật toán OPD/MOPD có cơ chế bảo toạn khả năng OOD tường minh, ví dụ tích hợp replay từ base model trực tiếp vào mục tiêu distillation thay vì chỉ áp dụng sau huấn luyện.
Kiểm chứng nhân quả giữa hình học cập nhật (norm nhỏ, phổ tập trung, cấu trúc chia sẻ) và tổng quát hóa tổ hợp bằng thực nghiệm can thiệp có kiểm soát lên các thành phần singular của update.
Mở rộng nghiên cứu hai nút cổ chai (năng lực teacher, độ phủ dữ liệu) sang mô hình cỡ lớn hơn và nhiều lĩnh vực hơn (đa ngôn ngữ, khoa học) để kiểm tra tính bền vững của kết luận.

2. Patent:

Hệ thống distillation cho trợ lý AI trên điện thoại: khi hợp nhất nhiều mô hình chuyên biệt (toán, lập trình, dùng công cụ) vào một mô hình nhỏ chạy local, tự động pha thêm dữ liệu đa dạng và phát hiện vùng kiến thức suy giảm để bổ sung dữ liệu huấn luyện, tránh hiện tượng mất khả năng trả lời câu hỏi ngoài phạm vi huấn luyện.
Module vá mô hình sau cập nhật trên thiết bị: sau khi nạp kiến thức mới cho mô hình, hệ thống so sánh ma trận trọng số cập nhật với bản gốc, tìm và khử các thành phần thay đổi gây suy giảm khả năng cũ (ví dụ giải toán nâng cao) mà không ảnh hưởng kiến thức mới học.
Dịch vụ huấn luyện mô hình tổng hợp cho doanh nghiệp: nhận nhiều mô hình chuyên môn của từng phòng ban, tự động đánh giá năng lực từng mô hình trên tác vụ ngoài phân phối, điều chỉnh tỉ lệ dữ liệu và phương pháp hợp nhất sao cho mô hình đầu ra giữ được cả khả năng tổng hợp lẫn hiệu suất từng thành phần.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.05609
ArXiv Abstract	https://arxiv.org/abs/2611.05609
PDF Download	https://arxiv.org/pdf/2611.05609.pdf
Github Repository	N/A

11. Solv3R: 3D Looped Transformer as a Multi-view Solver (16 votes)

Tác giả: Jeong-gi Kwak, Andrea Tagliasacchi, Sho Kagami, Yuki Ono, Kwang Moo Yi

Xuất bản lúc: 2026-11-02

Tag: 3D Reconstruction, Structure-from-Motion, Looped Transformer, Geometric Foundation Models, Multi-view Geometry, Streaming Reconstruction

I. Main Problem:

Các geometric foundation models (GFM) hiện nay tái tạo 3D theo kiểu feed-forward: dự đoán toàn bộ hình học trong một lần forward hoặc cập nhật state tuần tự từng khung hình. Điều này tạo ra nhiều hạn chế:

Khi có ảnh mới (video tiếp theo, ảnh bổ sung), phải chạy lại toàn bộ tập ảnh từ đầu.
Mô hình streaming chỉ xử lý được khung hình đến tuần tự, không thể xử lý ảnh đến theo thứ tự bất kỳ.
Các biểu diễn trung gian bị gắn với độ sâu layer (VGGT) hoặc phụ thuộc vào chỉ số bước lặp (DéjàView: z_{k+1} = F(z_k; τ_k)), nên state không thể tiếp tục được tinh chỉnh ngoài phạm vi đã huấn luyện, và không thể cập nhật chung các view ở các giai đoạn tinh chỉnh khác nhau.
Thiếu tính chất của một solver cổ điển: ổn định khi đã hội tụ, tự sửa sai khi bị nhiễu, và nối tiếp khi thêm biến mới.

II. Main Idea:

Solv3R biến looped transformer thành một solver hình học dạng stationary — toán tử cập nhật không phụ thuộc vào số lần lặp đã chạy (khác DéjàView vẫn condition theo step index τ_k). Quy trình:

Ảnh được encode thành state ban đầu z₀, một transformer block duy nhất được chia sẻ áp dụng lặp đi lặp lại: z_{k+1} = T(z_k; z₀)
Inject z₀ ở mọi solver call (như solver Jacobi luôn đọc lại A, b) để tránh tích lũy lỗi; state normalization cố định RMS norm chống trôi magnitude
Thay step-conditioned gates bằng constant gates để cập nhật giống hệt nhau ở mọi bước
Huấn luyện đạt 3 tính chất solver: (P1) Stability — state đã đúng là fixed point, lặp thêm không đổi; (P2) Correction — thêm nhiễu Gaussian hoặc reset một số view thì tự hội tụ lại (kiểu denoising); (P3) Continuation — view mới khởi tạo từ z₀, tinh chỉnh chung với view cũ trong cùng một call
Nhờ stationarity, một KV cache duy nhất của map đã giải được tái sử dụng xuyên suốt mọi call (giảm 16× bộ nhớ cache), và có thể dừng sớm thích ứng khi ‖Δz‖/‖z‖ < 0.02

Ví dụ đời thường: giống như thợ sửa ống nước dùng một động tác siết vặn giống hệt nhau mỗi lần — không cần biết đã siết bao nhiêu vòng, ống chưa kín thì cứ siết tiếp, đã kín thì siết thêm cũng không hỏng; khi thêm ống mới vào hệ thống, anh ta vặn luôn cả đoạn cũ lẫn đoạn mới trong một động tác.

III. Main Results:

Offline reconstruction: ngang hoặc vượt SOTA (DéjàView, VGGT, π³, DA3) về pose AUC và geometry với model chỉ 117M params, 76.5 TFLOPs; chế độ adaptive dừng chỉ tăng ~3-4 call trung bình mà cải thiện hầu hết metrics.
Solver dynamics: 144/148 cửa sổ đạt tiêu chuẩn dừng trong ≤64 calls, 99.3% có rotation error < 5° (trung vị 17.5 calls); DéjàView mất chính xác khi lặp vượt ngưỡng huấn luyện, Solv3R không.
Correction: sau khi nhiễu/reset state ở call 8, Solv3R phục hồi hoàn toàn sau 8 call tiếp theo; DéjàView thất bại.
Incremental: thêm 12 view vào scene 4 view — Solv3R tinh chỉnh chung, cải thiện cả camera của view cũ; DéjàView mất consistency. Mở rộng 8→64 view đạt độ chính xác ngang re-solve từ đầu với ít solver call và runtime thấp hơn.
Relocalization: recall cao nhất trên 7-Scenes (72.8%) và Cambridge (24.9%) với cache chỉ 2.86 MB/view — một cache duy nhất dùng được, trong khi DéjàView cần cache theo từng step.
Streaming: ATE tốt hơn CUT3R, TTT3R, Spann3R, LingBot-Map trên Sintel (0.157m), TUM-dyn (0.015m), ScanNet (0.077m); 95ms/frame, 5GB memory, không cần streaming-specific training. Pipelined window cho throughput ~16× (10× end-to-end).
Ablation: bỏ input injection, state normalization, hoặc random-depth pre-calls đều gây collapse ở 1024 calls; bỏ perturbation training làm hỏng khả năng join và cached-context inference.

IV. Conclusion & Future Works:

Solv3R chứng minh một solver học được duy nhất có thể xử lý đồng thời offline, incremental reconstruction, relocalization dựa trên map và streaming — không cần module riêng cho từng tác vụ hay backend tối ưu riêng. Hướng mở ra: tái tạo 3D kiểu open-ended (geometry liên tục được tinh chỉnh và chỉnh sửa khi quan sát thay đổi), và mở rộng tư tưởng solver-stationary sang vision-language models, robotics, world modeling — nơi duy trì và tinh chỉnh state tiến hóa là thách thức cốt lõi.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng toán tử solver stationary cho world modeling: mô hình duy trì một state vật lý tiến hóa, tinh chỉnh liên tục khi nhận quan sát mới từ nhiều nguồn cảm biến bất đồng bộ.
Solver học cho bài toán SLAM hợp tác đa robot: các robot chia sẻ và cùng tinh chỉnh một state hình học chung, mỗi robot ở số vòng lặp khác nhau nhờ tính chất mixed-progress.
Mở rộng cơ chế KV cache hình học tái sử dụng cho tái định vị liên tục trên thiết bị di động: map 3D nén 2.86 MB/view làm bối cảnh định vị thời gian thực.

2. Patent:

Ứng dụng camera điện thoại dựng bản đồ 3D gia tăng: người dùng chụp thêm ảnh bất kỳ lúc nào, ứng dụng không cần dựng lại từ đầu mà tự chèn ảnh mới và tinh chỉnh lại toàn bộ mô hình 3D trên máy, tiết kiệm pin và thời gian.
Hệ thống định vị trong nhà cho điện thoại: lưu sẵn bản đồ 3D nén của tòa nhà, khi người dùng chụp một ảnh, điện thoại so khớp với bộ nhớ địa hình có sẵn để xác định vị trí chính xác trong nhà mà không cần GPS.
Kính thông minh quay video dựng không gian theo thời gian thực: video được xử lý theo luồng liên tục, khung hình mới được tích hợp ngay vào bản đồ 3D đang xây dựng mà không phải tính toán lại toàn bộ chuỗi khung hình trước đó.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.02857
ArXiv Abstract	https://arxiv.org/abs/2611.02857
PDF Download	https://arxiv.org/pdf/2611.02857.pdf
Github Repository	https://github.com/ubc-vision/solv3r

12. TAC-CoT: Tool-Empowered Implicit Chain-of-Thought via Interleaving Explicit Tokens (14 votes)

Tác giả: Juseon Do, Sangmin Bae, Jeesu Jung, Hwanjun Song

Xuất bản lúc: 2026-11-01

Tag: Chain-of-Thought, Implicit CoT, LLM Agents, Tool Learning, Self-Distillation, Latent Reasoning, Inference Efficiency

I. Main Problem:

Các hệ thống LLM agent + CoT hiện nay phải đánh đổi giữa hai hướng tiếp cận:

Explicit CoT (suy luận bằng ngôn ngữ tự nhiên): dễ đọc, tương thích tốt với tool-use, nhưng sinh chuỗi lý giải rất dài → chi phí inference cao và dễ tích lũy lỗi qua từng bước.
Implicit CoT (suy luận bằng continuous thought tokens gọn nhẹ): rẻ hơn, nhưng có 2 hạn chế cấu trúc: (1) toàn bộ ngân sách suy luận là một khối latent cố định duy nhất trước khi ra đáp án → không có điểm nào để gọi tool hay nhận observation, nên không dùng được tool; (2) ngân sách token giống nhau cho mọi câu hỏi → thiếu suy luận với câu khó, lãng phí với câu dễ.

II. Main Idea:

TAC-COT (Tool-empowered Adaptive Continuous CoT) xen kẽ (interleave) các segment suy luận ẩn ngắn với các token rõ ràng chỉ dùng cho tool call, observation và câu trả lời cuối. Cơ chế:

Mỗi segment gồm b continuous thought tokens (hidden state chiếu qua projection layer, feed-back như input embedding, theo kiến trúc CODI).
Cuối mỗi segment, mô hình so logit tool-call với logit answer để định tuyến: nếu tool-call thắng → phát lệnh gọi tool, nhận observation, rồi mở segment ẩn mới; nếu answer thắng → segment hiện tại đóng vai trò tổng hợp và sinh đáp án.
Nhờ định tuyến theo từng segment, tổng ngân sách suy luận (k × b) tự thích ứng với độ khó của query — câu dễ dừng sau 1 segment, câu khó duy trì nhiều vòng tool tương tác.
Huấn luyện: tự động dựng trajectory tool-use từ dataset (ghép annotation sẵn có hoặc dùng DeepSeek-V3 tổng hợp rồi lọc theo đáp án gold); mô hình tự distill (self-distillation) với decoder phụ tái tạo lại reasoning chunk đã ẩn (L_implicit), cross-entropy cho tool call/answer (L_explicit), và distill hidden state tại ranh giới đáp án từ teacher explicit-CoT (L_distill).

Ví dụ đời thường: giống như người giải toán giấy nháp riêng (segment ẩn gọn) rồi mới viết ra giấy nộp bài chỉ phần cần thiết — nhưng mỗi khi cần tra bảng số hay máy tính, người đó dừng nháp, ghi câu hỏi ra, xem kết quả rồi tiếp tục nháp — thay vì đọc thành lời toàn bộ suy nghĩ của mình.

III. Main Results:

Hiệu suất tổng thể: vượt Explicit-CoT trung bình +5.8 điểm toán và +2.4 điểm QA; cải thiện tới +8.8 điểm accuracy, kèm transfer tốt sang out-of-domain (GSM-Hard, SVAMP, 2WikiMultihopQA, TriviaQA).
Chi phí inference: giảm số forward pass tới 2.6× trên toán và 6.8× trên QA so với Explicit-CoT; tốc độ wall-clock đo thực tế ~2.3–2.4× trên một GPU NVIDIA L40S.
Chất lượng dùng tool: Answer Coverage@k tăng trên mọi benchmark QA (AC@5 của TAC-COT ngang AC@10 của baseline → tìm bằng chứng nhanh hơn); trên ToolBench thắng Explicit-CoT 51.8% (single-tool) và 58.6% (multi-tool, có ý nghĩa thống kê).
Ngân sách query-adaptive: so với SIM-CoT (budget cố định), lợi thế tăng dần theo độ sâu suy luận: +4.6 điểm với câu 1 bước → +30.3 điểm với câu 4 bước.
Giảm tích lũy lỗi: accuracy tăng đơn điệu khi thay dần segment explicit bằng segment ẩn (41.1 → 45.4); suy giảm ít hơn baseline khi mô hình over-thinking.

IV. Conclusion & Future Works:

TAC-COT mở rộng implicit CoT sang hệ agent dùng tool lần đầu tiên bằng cách xen kẽ suy luận latent gọn với tương tác tool rõ ràng, đạt trade-off chi phí–hiệu năng tốt hơn cả explicit CoT lẫn implicit CoT budget cố định, đồng thời giảm lỗi tích lũy. Hạn chế: cơ chế định tuyến mới chỉ ở mức segment chứ chưa ở mức token; chưa đánh giá các phiên tương tác dài (longer interaction horizons) — đây là hướng mở rộng chính cho triển khai thực tế.

V. Brainstorming Space:

1. Publish Papers:

Định tuyến implicit reasoning ở mức token thay vì segment, cho phép ngắt suy luận latent chính xác tại thời điểm tối ưu để gọi tool.
Mở rộng TAC-COT cho các tác vụ agent với chuỗi tương tác dài (nhiều vòng tool call) và môi trường có phản hồi không chắc chắn.
Kết hợp ngân sách suy luận adaptive với test-time scaling để cân bằng động giữa chi phí tính toán và độ chính xác theo độ khó query.

2. Patent:

Trợ lý AI trên điện thoại với chế độ suy luận tiết kiệm pin: phần suy nghĩ được nén thành biểu diễn nội bộ ngắn, chỉ hiển thị ra màn hình các lệnh gọi công cụ (máy tính, tìm kiếm web, tra cứu) và kết quả cuối — giảm đáng kể thời gian phản hồi và chi phí điện toán đám mây.
Hệ hỏi-đáp doanh nghiệp tự điều chỉnh độ sâu suy luận: câu hỏi đơn giản được trả lời sau một nhịp suy luận ẩn ngắn, câu hỏi phức tạp tự động mở thêm nhiều vòng tra cứu dữ liệu nội bộ trước khi kết luận, không cần cấu hình thủ công.
Chatbot chăm sóc khách hàng giảm lỗi tích lũy: thay vì đọc và viết lại toàn bộ suy luận trung gian qua nhiều bước, hệ thống giữ suy luận ở dạng nén và chỉ xuất ra lệnh kiểm tra đơn hàng/kho hàng cùng câu trả lời — giảm sai lệch câu trả lời trên hội thoại dài.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.01926
ArXiv Abstract	https://arxiv.org/abs/2611.01926
PDF Download	https://arxiv.org/pdf/2611.01926.pdf
Github Repository	N/A

13. MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation (14 votes)

Tác giả: Aryan Das, Vinay Kumar Verma, Aakansha Mishra

Xuất bản lúc: 2026-10-30

Tag: Muon, Self-Distillation, EMA Teacher, LLM Optimization, Memory-Efficient Training, Distillation

I. Main Problem:

Self-distillation cho LLM (SDFT, SDPO) dùng EMA teacher — bản sao trung bình động của student — nên mỗi ma trận trọng số ẩn phải lưu đồng thời 3-4 trạng thái:

Muon có momentum: student weights + teacher weights + momentum buffer (3 trạng thái)
AdamW: thêm 2 buffer moment (4 trạng thái)

Với Qwen2.5-7B, Muon cần 103.2 GB, AdamW cần 129.0 GB bộ nhớ GPU cho trạng thái bền — quá tốn kém, và momentum buffer của Muon lưu lịch sử gradient trùng lặp với lịch sử mà EMA teacher đã ngầm giữ.

II. Main Idea:

Muon-RT (Muon with Reused Teacher) loại bỏ momentum buffer bằng cách tái sử dụng độ lệch teacher–student (W_T − W_S) làm nguồn thông tin lịch sử. Các tác giả chứng minh (Lemma 1) độ lệch này chính là tổng có trọng số của các update đã áp dụng, và (Lemma 2) nó làm mượt nhiễu không tương quan theo thời gian — tức mang đúng bản chất của momentum.

Quy trình mỗi bước, cho từng ma trận trọng số ẩn:

Nhánh gradient: orthogonalize gradient hiện tại bằng Newton–Schulz (NS), không dùng momentum
Nhánh teacher: lấy độ lệch D = W_T − W_S, loại thành phần radial (song song với W_S), chuẩn hóa phổ bằng ước lượng singular value lớn nhất (power iteration warm-start, chỉ giữ 1 vector nhỏ)
Trộn sau orthogonalization: U = (1−α)·O + α·P với α nhỏ cố định — tránh trộn trước NS vì NS có thể khuếch đại hướng suy yếu một cách mất kiểm soát

Ví dụ đời thường: giống như người thầy (EMA teacher) đi chậm hơn học trò một chút — khoảng cách giữa thầy và trò ghi lại quãng đường vừa đi, nên thay vì ghi thêm một cuốn nhật ký riêng (momentum buffer), chỉ cần nhìn khoảng cách thầy–trò là biết mình đã tiến theo hướng nào.

III. Main Results:

SDFT trên Qwen2.5-7B-Instruct: Muon-RT tăng trung bình +2.6 điểm so với AdamW khi giảm 42% bộ nhớ bền (75.4 → 37.7 GB); tăng +5.4 điểm so với Muon có momentum khi giảm 27% bộ nhớ.
SDPO trên Olmo-3-7B-Instruct: tăng +2.0 điểm trung bình so với AdamW, lợi thế tăng theo thời gian train (0.7–1.1 điểm sau 1h → 2.4–3.7 điểm sau 5h).
Đứng đầu mọi biến thể Muon trong cả 6 thiết lập task/ngân sách; đạt 74.2% tool use sau 100/252 bước trong khi MuonClip cần 250 bước.
Bảo toàn năng lực cũ: cao hơn SFT tới 11.9 và 6.7 điểm; giữ 96% mức trung bình của AdamW.
Chi phí bổ sung nhỏ: 1 power iteration + 1 gather mỗi ma trận, bước optimizer chỉ 2.3s (~2% bước train).
Ablations: α=0.1 tối ưu; trộn trước NS, giữ radial, hoặc dùng Frobenius norm đều làm giảm accuracy; momentum gradient (µ=0.95) thậm chí có hại khi target liên tục thay đổi.
Lý thuyết: chứng minh hội tụ tuyến tính của expected objective-gap về mức sai số dư dưới giả định PL và alignment.

IV. Conclusion & Future Works:

Độ lệch teacher–student không chỉ là nhiễu mà là lịch sử update đã làm mượt, có thể thay thế hoàn toàn momentum buffer của Muon. Muon-RT cho thấy momentum hữu ích thực sự đến từ lịch sử các update đã áp hành, không phải tích lũy gradient thô — điều này đặc biệt quan trọng khi mục tiêu học liên tục dịch chuyển như trong self-distillation. Phương pháp áp dụng được cho bất kỳ hệ thống nào đã duy trì EMA model tham số-aligned (mean-teacher, self-supervised learning).

Hạn chế & hướng tương lai:

Thí nghiệm mới ở quy mô 7B, 2 họ mô hình, 4 tác vụ — cần mở rộng lên mô hình lớn hơn và nhiều domain hơn
Hằng số trong giả định lý thuyết (smoothness, PL, alignment) chưa được ước lượng thực tế cho LLM
Không áp dụng được nếu không có sẵn EMA teacher — tạo teacher riêng chỉ để thay momentum thì không tiết kiệm bộ nhớ

V. Brainstorming Space:

1. Publish Papers:

Tổng quát hóa Muon-RT sang các phương pháp self-training khác (semi-supervised learning, representation learning với mean-teacher) để kiểm chứng tính phổ quát của việc tái sử dụng độ lệch EMA–student làm momentum.
Mở rộng phân tích lý thuyết: ước lượng thực nghiệm các hằng số PL, smoothness và alignment trên LLM thật để định lượng tốc độ hội tụ thay vì chỉ dừng ở bất đẳng thức.
Kết hợp ý tưởng tái sử dụng EMA displacement với các kỹ thuật tiết kiệm bộ nhớ khác (low-rank, quantization) để tối ưu hóa toàn bộ trạng thái huấn luyện cho self-distillation ở quy mô 100B+.

2. Patent:

Hệ thống huấn luyện mô hình ngôn ngữ tự cải thiện trên điện thoại/edge device: thay vì lưu bộ đệm momentum riêng cho từng ma trận trọng số, ứng dụng tính hiệu giữa bản sao trung bình động của mô hình và bản hiện tại, chuẩn hóa rồi trộn vào bước cập nhật — giảm đáng kể RAM cần thiết để fine-tune cá nhân hóa trợ lý AI trên thiết bị.
Dịch vụ đám mây fine-tune LLM tự chưng cất: hạ tầng huấn luyện tự động phát hiện mô hình đang dùng EMA teacher và tắt momentum buffer của optimizer, cắt chi phí bộ nhớ GPU 25–40% cho khách hàng mà không đổi mục tiêu huấn luyện.
Bộ tối ưu tích hợp cho khung continual learning: khi mô hình liên tục học kỹ năng mới qua cơ chế tự chưng cất, bộ tối ưu tự động dùng khoảng cách thầy–trò làm hướng lịch sử có trọng số, giúp robot/hệ thống AI học từ thành công của chính mình trên phần cứng bộ nhớ hạn chế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.41104
ArXiv Abstract	https://arxiv.org/abs/2610.41104
PDF Download	https://arxiv.org/pdf/2610.41104.pdf
Github Repository	N/A

14. VideoMemBench: How Well Do MLLMs Remember in Video Conversations? (13 votes)

Tác giả: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, et al.

Xuất bản lúc: 2026-11-03

Tag: Multimodal LLMs, Video Understanding, Benchmark, In-Context Memory, Multi-turn Dialogue

I. Main Problem:

Các mô hình MLLM hiện nay có thể xử lý video dài hàng giờ và hội thoại nhiều lượt trên một video, nhưng khả năng nhớ nội dung trong hội thoại (in-context video memory) — tức lấy lại và dùng lại thông tin đã thiết lập ở các lượt trước — hoàn toàn không được đo lường:

Các benchmark video QA hiện hữu đặt các câu hỏi độc lập lẫn nhau, không câu nào tham chiếu câu khác, mỗi câu tự trả lời được từ video → lịch sử hội thoại không bao giờ là yếu tố bắt buộc.
Không ai kiểm tra được model có nhớ những gì nó đã thấy (cảnh video) và những gì nó đã nói (câu trả lời trước) hay không.

II. Main Idea:

Tác giả xây dựng VideoMemBench, nơi mỗi mẫu gồm một video + một hội thoại dài nhiều lượt (tới 21 lượt), các lượt được nối với nhau bằng phụ thuộc cross-turn có kiểu rõ ràng:

Episodic Dependency: câu hỏi dùng cụm như "cảnh ở T1" mà không lặp lại mô tả → ép model nhớ nó đã thấy gì.
Answer Dependency: câu hỏi xây dựng trên câu trả lời chính model đã đưa ra ở lượt trước → ép model nhớ nó đã nói gì và giữ tính nhất quán.

Mỗi phụ thuộc được kiểm chứng 2 tính chất: necessity (bỏ lượt cha thì câu hỏi không trả lời được) và non-leakage (câu hỏi không lặp lại/lộ thông tin của lượt cha). Pipeline gồm 3 vai LLM — planner (thiết kế đồ thị phụ thuộc trước khi viết câu hỏi), generator (sinh hội thoại từng lượt, neo vào bằng chứng khung hình), judger (loại câu hỏi vi phạm, sinh lại) — và cuối cùng 8 chuyên gia con người rà soát toàn bộ.

Ví dụ đời thường: giống xem phim với bạn và hỏi "nhân vật lúc nãy gặp ở bến cảng rồi sao nữa?" — muốn trả lời được phải nhớ lúc nãy mình vừa xác định đó là ai, chứ không ai nói lại tên cho bạn.

III. Main Results:

326 video (tới 23.47 giờ, 31 lĩnh vực ngữ nghĩa), 2.476 lượt hỏi-đáp, trong đó 1.387 lượt phụ thuộc lượt trước (gồm phụ thuộc đa cha và gọi lại tầm xa tới 9 lượt).
Đánh giá 25 MLLM (8 closed-source, 17 open-weight): model tốt nhất là Claude Opus 5 với chỉ 45.7% overall, trong khi con người đạt 86.1%; AnsDepAcc chỉ 35.7% so với 53.9% trên lượt độc lập.
Kimi K3 dẫn đầu nhóm open-weight (42.2%), cạnh tranh với model closed-source; trong dòng Qwen3.5, điểm tăng theo kích thước (16.2% @0.8B → 34.3% @27B).
Phân tích: độ chính xác giảm khi khoảng cách phụ thuộc tăng (30.2% → 23.1% từ distance 1 sang ≥5) và giảm khi số lượng cha tăng (Kimi K3: 40.8% → 29.8% với 3 cha).
Thay lịch sử trả lời bằng đáp án chuẩn (oracle) giúp mạnh (Qwen3-VL-8B: 12.3% → 32.4%), cho thấy lỗi tích lũy là nguyên nhân quan trọng, nhưng vẫn không đạt mức lượt độc lập.

IV. Conclusion & Future Works:

VideoMemBench cho thấy in-context video memory vẫn là bài toán mở: kể cả model frontier cũng chỉ đạt ~46%, độ khó tăng theo tầm xa và độ phức tạp của chuỗi phụ thuộc. Benchmark phân biệt được "nhớ đã thấy" và "nhớ đã nói", tạo nền tảng để phát triển các video MLLM có khả năng gọi lại và kế thừa quan sát, câu trả lời trước một cách đáng tin cậy.

V. Brainstorming Space:

1. Publish Papers:

Phát triển cơ chế truy xuất ngoại lai (external retrieval) kết hợp với in-context memory để mở rộng hội thoại video ngoài giới hạn cửa sổ context mà vẫn giữ chuỗi phụ thuộc Episodic/Answer nguyên vẹn.
Nghiên cứu chiến lược tự sửa lỗi trong chuỗi Answer Dependency: model tự phát hiện và hiệu chỉnh câu trả lời sai ở lượt trước để ngăn lỗi lan truyền xuống các lượt con.
Mở rộng benchmark sang bộ nhớ video đa phiên (cross-session), kiểm tra khả năng nhớ nội dung giữa các lần trò chuyện khác nhau thay vì chỉ trong một hội thoại.

2. Patent:

Trợ lý xem video thông minh trên điện thoại: khi người dùng xem phim dài rồi hỏi tiếp "kẻ đó là ai đã nói ở lúc nãy?", ứng dụng tự nhớ các câu hỏi-đáp trước đó trong phiên xem để trả lời nhất quán, không cần người dùng nhắc lại bối cảnh.
Hệ thống ghi chú bóng đá tự động: theo dõi trận đấu dài và trả lời các câu hỏi liên quan chuỗi sự kiện ("phạt đền ở hiệp 1 do ai tạo ra?"), nhớ được cả hình ảnh trận đấu lẫn câu trả lời mình đã đưa ra trước đó.
Trợ lý học tập cho bài giảng dài hàng giờ: học sinh hỏi nhiều lượt liên tiếp, ứng dụng duy trì mạch ghi nhớ giữa các lượt hỏi, đảm bảo câu trả lời sau không mâu thuẫn với câu trước và không bỏ sót chi tiết đã giải thích ở phần đầu bài.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.40131
ArXiv Abstract	https://arxiv.org/abs/2610.40131
PDF Download	https://arxiv.org/pdf/2610.40131.pdf
Github Repository	https://github.com/Oliiveralien/VideoMemBench

15. SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding (13 votes)

Tác giả: Tianyu Liu, Jun Zhang, Wenjie Huang, Yuhao Shen, Tianqi Xu, et al.

Xuất bản lúc: 2026-11-02

Tag: Speculative Decoding, On-Policy Distillation, Knowledge Distillation, LLM Inference, Parallel Drafting, Inference Acceleration

I. Main Problem:

Speculative Decoding (SD) tăng tốc sinh văn bản LLM bằng cách để một drafter nhẹ đề xuất nhiều token, target model kiểm tra song song. Tuy nhiên, để huấn luyện drafter đạt acceptance length (số token được chấp nhận mỗi vòng) cao hơn, on-policy distillation (OPD) — cách huấn luyện tốt nhất hiện nay — lại gặp nút cổ chai nghiêm trọng:

Thu thập dữ liệu on-policy đòi hỏi rollout tuần tự draft-and-verify: drafter đề xuất một block → target duyệt → tiền tố được chấp nhận quyết định vòng tiếp theo.
Sự phụ thuộc này tuần tự hóa toàn bộ quá trình thu thập trước khi cập nhật trọng số: GPU chỉ hoạt động ~26% thời gian, throughput huấn luyện rất thấp.
Hệ quả: OPD tốn kém, khó mở rộng cho các target lớn (8B–125B) với nhiều loại attention (full, sparse, linear).

II. Main Idea:

Insight cốt lõi: việc giám sát on-policy cho một draft block không cần một response hoàn chỉnh đã được verify — chỉ cần reference prefix và lịch sử token do chính drafter sample. Các nhánh sample này độc lập với nhau nên có thể chạy song song.

SpecOPD gồm ba thành phần:

Proposal tree construction: chuỗi reference làm trunk chung; chọn ngẫu nhiên các anchor, drafter sample nhánh tiếp nối tại mỗi anchor (độc lập, song song), đính các nhánh vào trunk thành một cây.
Branch-parallel scoring: tận dụng tính toán prefix chung khi chấm điểm bằng target — tree attention mask cho full attention (GQA), branch-consistent indexer groups cho sparse attention (QSA), indexed state replay (khôi phục trạng thái recurrent từ checkpoint, tua tiếp theo nhánh riêng) cho linear attention (GDN).
Acceptance-length optimization: dùng hàm mục tiêu E2E-TV — tích các độ chồng lấp draft–target dọc tiền tố — tối ưu trực tiếp acceptance length thay vì cross-entropy thuần.

Ví dụ đời thường: giống việc luyện thi không cần làm trọn một đề thi mới học được — chỉ cần chọn nhiều câu hỏi ở các điểm khác nhau của đề cũ, tự làm tiếp phần sau mỗi câu, rồi nhờ giáo viên chấm tất cả các bài làm song song, thay vì làm tuần tự từ đầu đến cuối rồi chờ chấm từng trang.

III. Main Results:

Acceptance length: cải thiện trung bình trên 5 benchmark lên tới +41.45% (8B/DFlash), +20.8% (8B/DSpark), +3.48% (27B), +5.01% (125B); trên tác vụ agentic tăng tới +81.51%.
Tốc độ sinh: tốc độ nhanh hơn autoregressive tới 3.56× (27B, concurrency 1); geometric-mean speedup 2.97×/2.23×/1.35× ở concurrency 1/8/32.
Hiệu quả huấn luyện: so với OPD rollout tuần tự (Draft-OPD), đạt 16.09× supervised-token throughput (4.95× cập nhật/s × 3.25× token/update); GPU active time tăng từ 26.37% lên 77.23%.
On-policy vs off-policy: vượt off-policy E2E-TV tới +15.71% và off-policy CE +6.96% về mean AL ở cùng số bước tối ưu; các baseline off-policy thậm chí giảm acceptance dù training loss giảm.
Phân bố lợi ích: prefix survival cải thiện ở cả 7 draft position (+4.33 điểm phần trăm ở vị trí 7), trong khi off-policy CE giảm 2.57 điểm.
Phạm vi thực nghiệm: target 8B (GQA), 27B (GQA–GDN), 125B (QSA–GDN); ba kiến trúc drafter (DFlash, DSpark, DFlash V2); bốn lĩnh vực: dialogue, coding, math, agentic; cả T=0 và T=1.

IV. Conclusion & Future Works:

SpecOPD chứng minh giám sát on-policy không cần thừa hưởng sự phụ thuộc tuần tự của rollout draft-and-verify: một twist đơn giản (thay nhãn token reference bằng giám sát target trên lịch sử do drafter tự sample) kết hợp cây proposal cho phép chấm điểm song song với tái sử dụng prefix, trên cả ba loại attention (full/sparse/linear). Kết quả là huấn luyện drafter nhanh hơn hơn 16 lần và decoding nhanh hơn tới 3.56×. Hướng mở: mở rộng pretraining drafter 125B với dữ liệu agentic (hiện còn hổng phủ), khám phá các chính sách drafter tốt hơn trên target dị构ogene, và kết hợp với các kỹ thuật giảm bộ nhớ/giao tiếp khi huấn luyện.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng nguyên lý branch-parallel on-policy supervision cho multimodal speculative decoding: drafter ảnh/hình ảnh–văn bản được huấn luyện bằng cách sample nhánh tiếp nối tại các anchor của response tham chiếu và chấm song song bằng model đa phương thức đông lạnh.
Kết hợp SpecOPD với reinforcement learning cho drafter: dùng cây proposal để thu thập trajectories song song và tối ưu trực tiếp expected decoding rounds thay vì acceptance length surrogate.
Nghiên cứu chiến lược chọn anchor thích ứng (theo độ khó token, entropy của drafter) thay vì random để tăng hiệu quả giám sát mỗi batch trong branch-parallel OPD.

2. Patent:

Hệ thống huấn luyện tăng tốc model AI trên điện thoại/di động: server đóng vai trò 'giáo viên' chấm điểm song parallel nhiều đoạn văn bản do model nhỏ trên thiết bị tự viết tiếp từ các điểm khác nhau của văn bản mẫu, gửi kết quả chấm về để cập nhật model nhỏ mà không cần duyệt tuần tự từng câu.
Dịch vụ đám mây tăng tốc gõ phím trợ lý AI: khi người dùng soạn thảo, model dự thảo đề xuất nhiều cụm từ tiếp theo cùng lúc; hệ thống huấn luyện liên tục bằng cách cho model dự thảo tự sinh tiếp nối tại nhiều vị trí trong văn bản tham khảo và chấm song parallel, rút ngắn thời gian cập nhật model cá nhân hóa xuống hơn 10 lần.
Module tự động tinh chỉnh model dự thảo cho chatbot doanh nghiệp: pipeline tự lấy lịch sử hội thoại mẫu làm 'thân cây', cho model dự thảo sinh nhiều nhánh hội thoại song song tại các điểm rẽ, dùng model lớn đóng vai trò kiểm duyệt chấm tất cả nhánh trong một lần chạy, giúp chatbot học cách đoán đúng ý khách hàng nhanh hơn mà không gián đoạn dịch vụ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.02846
ArXiv Abstract	https://arxiv.org/abs/2611.02846
PDF Download	https://arxiv.org/pdf/2611.02846.pdf
Github Repository	https://github.com/QwenApp/SpecOPD

16. Human-to-Robot Transfer via Bridging Representation and Action Space in VLAs (13 votes)

Tác giả: Junhyeong Park, Wook Jung, Taeyoung Kim, Huiwon Jang, Jinwoo Shin

Xuất bản lúc: 2026-11-03

Tag: Vision-Language-Action, Robotics, Human-to-Robot Transfer, Robot Learning, Imitation Learning, Flow Matching, Cross-Embodiment

I. Main Problem:

Các chính sách VLA đã pretrain mạnh, nhưng thích ứng sang robot/ môi trường mới vẫn đòi hỏi dữ liệu robot đích cực kỳ tốn kém (cần teleoperation, phần cứng vật lý, reset môi trường). Trong khi đó video demo của con người thu thập dễ và rẻ hơn nhiều, nhưng không dùng trực tiếp được vì khoảng cách cơ thể (embodiment gap) giữa người và robot:

chênh lệch không gian quan sát: người và robot nhìn thế giới khác nhau, VLA pretrain trên dữ liệu robot không hiểu quan sát của người
chênh lệch không gian hành động: động tác tay người và cánh tay robot khác về động lực học, ép cả hai qua một bản đồ hành động chung vẫn khiến dự đoán hành động robot kém tin cậy.

II. Main Idea:

H2RB (Human-To-Robot Bridge): khung co-training kết hợp video demo người với dữ liệu robot để fine-tune VLA đã pretrain, không cần cặp quỹ đạo người-robot tương ứng. Cầu nối hóa khoảng cách ở cả hai phía:

Geometry-anchored alignment: neo đặc trưng VLM vào hình học tay chung (tư thế cổ tay + 5 vị trí đầu ngón tay tính trong hệ toạ độ cổ tay), qua adapter phần dư + head dự đoán hình học chỉ dùng khi train. Mỗi quan sát tự cung cấp mục tiêu riêng nên không cần dữ liệu ghép cặp hay đồng bộ thời gian
Decoupled-decoder latent tokenizer: chuẩn hóa cả demo người và robot về biểu diễn cổ tay-tay chung (vị trí + góc xoay 6D + góc khớp), rồi học autoencoder tiềm ẩn với encoder chia sẻ nhưng decoder riêng cho từng cơ thể, cộng thêm hồi quy tiềm ẩn xuyên miền để hai phân phối gần nhau. VLA dự đoán latent hành động, decoder tương ứng giải mã thành lệnh robot qua inverse kinematics

Ví dụ đời thường: giống dạy một người mới làm việc qua video ghi hình người khác — thay vì bắt ép sao chép y hệt từng cử động, ta chỉ dạy ý tưởng công việc chung, còn cách dùng tay thao tác thì để mỗi người tự giữ kiểu của mình.

III. Main Results:

Object transfer (vật mới chỉ xuất hiện trong demo người): tăng từ 8.0 lên 51.8; các baseline co-training dùng action space chung thất bại (Ego-Pi chỉ 27.2)
Skill transfer (mở/đóng hộp, hoàn toàn vắng mặt trong dữ liệu robot): đạt 62.7 trong khi mọi baseline khác đạt 0.0, và in-domain performance tăng từ 0.0 lên 81.0
OOD dưới dịch chuyển vị trí vật: tăng từ 6.0 lên 45.3
Heterogeneous training qua nhiều cơ thể cải thiện thêm: object transfer 51.8 → 57.2, skill transfer 62.7 → 81.7
Robot-only downstream trên RB-Y1 (robot khác): thành công 64% → 72% với human-robot HT, 78% khi có geometry grounding
Instruction conditioning cải thiện skill transfer từ 62.7 lên 83.3
Ablation: cross-domain latent regularization giảm 59.8% khoảng cách latent người-robot (3.81 → 1.53); chính sách chuyển từ người thực thi nhanh gấp 2.92 lần (7.36 vs 2.52 cm/s) so với chính sách chỉ học từ robot, với hiệu suất tương đương (62.7 vs 65.3)

IV. Conclusion & Future Works:

H2RB chứng minh dữ liệu demo người là nguồn supervision có khả năng mở rộng cho việc thích ứng VLA đã pretrain, giảm phụ thuộc vào dữ liệu robot đích tốn kém. Bài học cốt lõi: cần cầu nối cả hai phía — biểu diễn quan sát (qua hình học tay chung) và không gian hành động (latent chia sẻ nhưng decoder tách riêng) — thay vì chỉ ép chung một không gian hành động vật lý; kết cấu hành động học được từ trải nghiệm dị chất cũng giúp thích ứng downstream trên robot khác. Hướng tương lai (ngụ ý): mở rộng huấn luyện heterogeneous quy mô lớn hơn, và khai thác conditioning ngôn ngữ mạnh hơn để bảo toàn ngữ nghĩa kỹ năng khi chuyển xuyên cơ thể.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng geometry-anchored alignment cho robot tay nhiều ngón khác nhau: tự động học điểm neo hình học chung (không chỉ cổ tay + đầu ngón tay) để chuyển kỹ năng giữa các hình thái bàn tay khác biệt lớn hơn mà vẫn không cần dữ liệu ghép cặp.
Kết hợp latent tokenizer tách decoder với reinforcement learning từ phản hồi: dùng demo người làm khởi đầu kỹ năng, rồi tối ưu decoder robot riêng bằng reward hiệu chỉnh sai số retargeting.
Nghiên cứu cơ chế chọn trọng số geometry loss theo giai đoạn huấn luyện, tự động điều chỉnh mức neo hình học để cân bằng giữa giữ nguyên prior của VLA và thích ứng với miền mới.

2. Patent:

Ứng dụng dạy robot gia đình qua video quay bằng điện thoại: người dùng quay video mình mở hộp, lau bàn; hệ thống trích xuất chuyển động cổ tay và ngón tay, chuyển thành bài học cho robot hút bụi/bàn tay cơ khí mà không cần thiết bị teleoperation.
Nền tảng huấn luyện robot công nghiệp bằng video công nhân: công nhân ghi hình thao tác tay với camera thường; hệ thống tự chuẩn hóa về biểu diễn cổ tay-tay, huấn luyện chính sách cho cánh tay robot lắp ráp/đóng gói với số lượng demo robot tối thiểu.
Module điều khiển robot y tế hỗ trợ: bác sĩ quay video thao tác chăm sóc; robot trợ lý học kỹ năng (mở nắp lọ, cầm dụng cụ) qua không gian hành động tiềm ẩn chia sẻ, giữ nguyên độ chính xác và tốc độ của động tác người hướng dẫn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.04391
ArXiv Abstract	https://arxiv.org/abs/2611.04391
PDF Download	https://arxiv.org/pdf/2611.04391.pdf
Github Repository	https://github.com/jun-brro/h2rb-code

17. VA-TDM: A Unified View for Improving Few-Step Diffusion Models by Velocity Adversarial Distillation (12 votes)

Tác giả: Yihong Luo, Tianyu Pang, Tianyang Hu

Xuất bản lúc: 2026-11-04

Tag: Diffusion Models, Flow Matching, Model Distillation, Few-Step Generation, Adversarial Training, Text-to-Image, Text-to-Video

I. Main Problem:

Các mô hình diffusion/flow tạo ảnh, video chất lượng cao nhưng cần hàng chục–trăm bước lấy mẫu (NFE) nên rất chậm. Few-step distillation cố gắng nén quá trình này còn vài bước, nhưng giữ chất lượng ở ít bước là bài toán khó:

Các phương pháp distribution matching qua score distillation phải ước lượng chính xác score của student tại từng bước trung gian.
Ở các bước trung gian, output student còn giữ phần nhiễu dư (residual) tương quan với dự đoán sạch, nên nhiễu thêm Gaussian vào nó không tương đương nhiễu lên dự đoán sạch — score ước lượng theo cách thông thường (TDM) mô tả một phân phối khác với phân phối thật dùng để cập nhật student (distribution mismatch), hoặc phải học target có phương sai rất cao.

II. Main Idea:

Bài báo chuyển từ score distillation sang velocity distillation: thay vì ước lượng score, xây dựng trường vận tốc (velocity field) trực tiếp từ quy trình lấy mẫu thật của student, vốn cho phép các đường nối có endpoint tương quan, không Gaussian. Từ đó đề xuất Velocity Adversarial Distillation (VAD):

Hai dạng velocity: A-form (rectified velocity, neo vào dự đoán sạch, phương sai thấp) và B-form (Gaussian velocity tương đương score của phân phối nhiễu thật, mang đầy đủ thông tin phân phối).
Trò chơi đối kháng: một vector-valued critic đo sự chênh lệch giữa trường vận tốc student và teacher; critic tối ưu chính là phần dư vận tốc u − v, và student học bằng cách triệt tiêu phần dư này.
Thống nhất các phương pháp cũ: framework chứng minh A-form + flow-product = moment matching chính xác (đồng thời giải thích và sửa cập nhật heuristic của MMD), B-form nối với reverse-KL score distillation và Fisher divergence.
VA-TDM: kết hợp cả hai dạng qua backbone chia sẻ (hai đầu ra riêng), áp dụng dọc toàn bộ quỹ đạo student (mỗi bước chỉ học partial denoising), kèm transition-aware field estimation (mạng phụ nhận thêm chỉ số bước làm đầu vào vì mỗi bước student có phân phối nhiễu khác nhau) và warm-up bằng ODE regression.

Ví dụ đời thường: giống việc dạy học viên lái xe ngắn hạn — thay vì bắt chép lại từng vòng lái dài của thầy giáo (trajectory), giáo viên chấm điểm từng đoạn chuyển động của học viên và chỉ ra độ lệch giữa cách học viên đánh lái với cách thầy sẽ đánh; hai cách chấm (theo mức trung bình hay toàn bộ phân hóa lái xe) bổ sung cho nhau để học viên tiến bộ nhanh với vài lần thực hành.

III. Main Results:

SD3.5-Medium (4 NFE): vượt mọi baseline few-step (DMD2, D-DMD, DPDMD, TDM) về prompt following, chất lượng ảnh và preference; GenEval tăng 0.61 → 0.67 so với TDM, đồng thời tăng cả diversity.
FLUX.2-Klein-Base 4B (4 NFE): vượt cả model 4 bước chính thức; GenEval 0.78 → 0.80, OCR similarity 0.64 → 0.69, LPIPS diversity 0.47 → 0.56.
MiniMax-H3 33B (text-to-video, 4 NFE): trong user study, VA-TDM thắng 61.33% so với Fast-H3 cùng ngân sách 4 NFE; đạt 45.53% tỷ lệ preference so với chính teacher 100 NFE (Fast-H3 chỉ 24.67%) — thu hẹp mạnh khoảng cách chất lượng với teacher.
Chất lượng trực quan: giảm rõ các lỗi oversaturation / ảnh quá tối thường gặp ở các phương pháp few-step.
Ablation: critic không detached gây mất ổn định và collapse; backbone chia sẻ vừa tiết kiệm bộ nhớ vừa tăng chất lượng; transition-aware conditioning là yếu tố then chốt cho diversity và render chữ.

IV. Conclusion & Future Works:

VA-TDM cho thấy chuyển từ score sang velocity adversarial game là một góc nhìn thống nhất: nó giải thích các phép cập nhật heuristic trước đây (MMD), suy ra objective mới có gradient chính xác, và kết hợp hai dạng supervision bổ sung nhau để đạt SOTA ở 4 bước lấy mẫu cho cả text-to-image lẫn text-to-video, scale tốt tới mô hình 33B. Framework mở ra hướng thiết kế các loss distillation mới qua lựa chọn trường velocity và cách dùng discrepancy.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng VAD cho bài toán distillation sinh ảnh có độ phân giải cao hơn (1080p trở lên) hoặc mô hình âm thanh, kiểm chứng liệu transition-aware velocity learning còn hiệu quả khi số bước student giảm xuống 1–2.
Nghiên cứu cách tự động học trọng số cân bằng giữa A-form (phương sai thấp) và B-form (thông tin phân phối đầy đủ) thay vì hệ số cố định trong hybrid loss.
Áp dụng tư tưởng critic-tối-ưu-là-phần-dư vào bài toán cắt giảm bước lấy mẫu cho mô hình 3D generation và image editing, nơi quỹ đạo trung gian cũng mang thông tin cấu trúc.

2. Patent:

Công cụ tạo ảnh trên điện thoại từ mô hình cloud lớn: máy chủ chạy mô hình nền nhiều bước làm 'giáo viên', điện thoại chỉ chạy mô hình 4 bước đã được học lại bằng cơ chế so sánh trường vận tốc, cho ảnh gần chất lượng gốc với tốc độ thời gian thực.
Trình tạo video ngắn từ văn bản trên thiết bị di động: dùng phần mềm kiểm tra đánh giá (critic) so sánh từng khung chuyển tiếp giữa bản sinh nhanh 4 bước và bản chuẩn chậm để tinh chỉnh mô hình nhẹ theo từng dòng điện thoại cụ thể.
Hệ thống nén thời gian render ảnh quảng cáo theo thời gian thực: máy chủ huấn luyện online một mạng phụ (shared backbone hai đầu ra) theo dõi phân phối của mô hình sinh nhanh và tự động phát hiện lỗi bão hòa màu/chữ sai để cảnh báo hoặc hiệu chỉnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2611.06796
ArXiv Abstract	https://arxiv.org/abs/2611.06796
PDF Download	https://arxiv.org/pdf/2611.06796.pdf
Github Repository	https://github.com/Luo-Yihong/VA-TDM

18. Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents (10 votes)

Tác giả: Haoqing Wang, Xiaoyi Zhang, Sicheng Fan, Zhexin Zhang, Xinjie Zhang, et al.

Xuất bản lúc: 2026-10-30

Tag: Computer-Use Agents, Accessibility APIs, GUI Agents, MCP, LLM Agents, Agent Interfaces, OSWorld

I. Main Problem:

Các agent điều khiển máy tính hiện nay chủ yếu bắt chước cách người dùng tương tác: nhìn screenshot, tìm tọa độ, rồi click/gõ phím. Cách này tạo một giả định cứng nhắc về 'giao diện người' lên không gian hành động của LLM, gây ra:

phải đọc lại màn hình liên tục, tốn nhiều bước và token
bỏ phí các kênh hiệu quả hơn của máy tính: accessibility (AX) tree và code/CLI vốn cho phép tác động trực tiếp, chính xác vào dữ liệu và điều khiển
với tác vụ dài hạn (OSWorld 2.0), lặp lại chu trình quan sát-hành động kiểu người khiến chi phí và số bước bùng nổ.

II. Main Idea:

Hybrid Computer Use (HCU) cung cấp một giao diện thống nhất với ba kênh bổ trợ nhau, để chính mô hình tự chọn và kết hợp:

Programmatic: code, shell, công cụ file của agent
Semantic (AX): đọc accessibility tree, thao tác điều khiển theo tham chiếu (reference) thay vì tọa độ pixel
Visual (GUI): screenshot, chuột, bàn phím

Điểm kỹ thuật cốt lõi:

AX thiết kế tối ưu hiệu quả: trả về view AX gọn, cho phép batch nhiều hành động + bước wait (chờ trạng thái như checkbox được tick) trong một lời gọi, và trả về AX diff mô tả thay đổi sau hành động — không cần lượt quan sát riêng
Action guards xuyên kênh: trước mỗi input, hệ thống kiểm tra mục tiêu AX và bố cục màn hình so với trạng thái thật để chặn hành động trên state cũ (ví dụ dialog mở đè lên tọa độ từ screenshot cũ)
HCU skill: hướng dẫn mô hình khi nào dùng kênh nào, cách batch và cách phục hồi, làm giảm lỗi gọi sai tham số từ 17.4% xuống 1.4%

Không cần planner, subagent hay huấn luyện lại — giao diện gắn vào nhiều harness khác nhau qua Model Context Protocol (MCP).

Ví dụ đời thường: giống người thợ sửa xe có ba cách xử lý cùng một con ốc — vặn tay cho nhanh, dùng súng điện khi cần lực chính xác, hoặc đọc mã phụ tùng trên máy tính thay vì nhìn mò — và tự chọn cách nào nhanh, đúng cho từng tình huống thay vì bắt buộc cầm đúng một cái cờ-lê.

III. Main Results:

OSWorld 2.0: Partial cao nhất trong các hệ thống so sánh — 72.37% với GPT-6 Astra (+3.55 điểm so với CUA Driver), 72.06% / Binary 35.19% với Claude Opus 5 (+3.75 Partial, +3.76 Binary so với kết quả leaderboard chính thức), trong khi chi phí thấp hơn 20%.
OSWorld 1.0 với GPT-5.4: HCU đạt 65.59%, hơn CUA Driver 3.29 điểm, giảm 30% số bước, 57% input tokens, 55% chi phí; đạt 70.13% với mô hình khác.
Đa nền tảng: vượt CUA Driver trên WeaveBench (53.25% vs 46.37%), MacAgentBench (25/28), Windows Agent Arena (80.86% vs 71.89%) với chi phí chỉ bằng khoảng một nửa.
Ablation: bỏ kênh AX mất 2.79 điểm Score — AX là thành phần đóng góp lớn nhất; bỏ skill làm tăng lỗi gọi công cụ và số bước.
Hành vi mô hình: cả 4 mô hình (GPT, Claude, Gemini, Grok) đều cải thiện, nhưng phân bổ kênh khác nhau — GPT/Grok/Gemini dùng AX 51–80% số lệnh desktop, Claude lại dùng GUI 94% và batch nhiều hơn; screenshot thường phục vụ quan sát trong khi AX phục vụ thực thi, cho thấy các kênh bổ trợ lẫn nhau trong cùng tác vụ.

IV. Conclusion & Future Works:

Giao diện bắt chước con người (screenshot + chuột phím) kìm hãm cả hiệu suất lẫn hiệu quả của mô hình — phù hợp với 'bài học đắng' (bitter lesson): cố định cách dùng máy tính sẽ giới hạn những gì mô hình ngày càng mạnh có thể làm. HCU chỉ mở ra các khả năng vốn có sẵn trên desktop chuẩn, không cần huấn luyện lại, và đạt kết quả tốt nhất trên OSWorld 2.0. AX còn mở hướng coi desktop như môi trường có thể lập trình hóa, đưa công việc desktop vào chuỗi gọi công cụ lập trình; các hành động batch với wait step là nền tảng trực tiếp cho việc đó. Hướng đi tương lai là các giao diện khai thác triệt để hơn những gì máy tính đã cung cấp để giải phóng năng lực của mô hình.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng HCU cho điều khiển thiết bị di động (iOS/Android) bằng cách tận dụng accessibility framework tương ứng, giữ nguyên thiết kế reference-addressed action và action guard xuyên kênh.
Nghiên cứu agent tự học cách phân bổ kênh (programmatic/AX/GUI) thay vì dựa vào skill viết tay — fine-tuning hoặc reinforcement learning trên log lời gọi công cụ để tối ưu chi phí-hiệu suất cho từng mô hình nền.
Áp dụng pattern 'batch hành động + wait step + diff phản hồi' của AX cho trình duyệt web và ứng dụng enterprise, nơi DOM/AX đầy đủ hơn, để rút ngắn chu trình quan sát-hành động trong workflow dài hạn.

2. Patent:

Trợ lý ảo trên điện thoại thông minh với ba chế độ điều khiển ứng dụng: hệ thống tự chọn giữa đọc accessibility tree của ứng dụng để thao tác chính xác (điền form, bật nút), gửi lệnh code/shell trực tiếp, hoặc điều khiển cảm ứng mô phỏng khi ứng dụng không hỗ trợ accessibility — kèm cơ chế kiểm tra lại màn hình trước mỗi thao tác để tránh bấm nhầm vị trí đã thay đổi.
Hệ thống tự động hóa kiểm thử giao diện: gom nhiều thao tác người dùng (click, gõ, chờ trạng thái) thành một lệnh gửi qua accessibility API, rồi trả về báo cáo dạng danh sách thay đổi (phần tử nào đổi giá trị, cửa sổ nào mở) để kỹ sư không cần xem lại video hay screenshot.
Trợ lý nâng cao hỗ trợ người khuyết tật trên máy tính văn phòng: kết hợp đọc accessibility tree để hiểu trạng thái ứng dụng, thực thi lệnh hàng loạt có kiểm chứng, và chụp màn hình khi cần bối cảnh trực quan, giúp hoàn thành công việc nhanh hơn và ít lỗi hơn so với điều khiển bằng tọa độ chuột.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.41432
ArXiv Abstract	https://arxiv.org/abs/2610.41432
PDF Download	https://arxiv.org/pdf/2610.41432.pdf
Github Repository	https://github.com/microsoft/Hybrid-Computer-Use

📰 Summary of Papers​

1. Turns Matter: Advancing Streaming Video RL via Turn-Level Credit (83 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. From Pixels to Actions - Towards Native Vision-Language-Action Policies (56 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. FrontierPhysics: Evaluating Agents for End-to-End Physics Research (48 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents? (34 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. GameVerse: A Minute-Scale Gameplay Dataset for Long-Horizon Interactive World Modeling (34 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Halley: A Predictive Control Plane for Optical AI Data Center Networks (31 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. PyRUA-DataFarm: LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data (23 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. EmoReward: Self-Evolving Reward Calibration for Emotional Video Generation RL (22 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. StreamDuo: A Live Commentator and a Research Agent for Unseen Games (19 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Turns Matter: Advancing Streaming Video RL via Turn-Level Credit (83 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. From Pixels to Actions - Towards Native Vision-Language-Action Policies (56 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. FrontierPhysics: Evaluating Agents for End-to-End Physics Research (48 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents? (34 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. GameVerse: A Minute-Scale Gameplay Dataset for Long-Horizon Interactive World Modeling (34 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Halley: A Predictive Control Plane for Optical AI Data Center Networks (31 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. PyRUA-DataFarm: LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data (23 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. EmoReward: Self-Evolving Reward Calibration for Emotional Video Generation RL (22 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. StreamDuo: A Live Commentator and a Research Agent for Unseen Games (19 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: