🤗 Daily Hugging Face Paper Digest - 2026-09-14

Báo cáo được tạo tự động vào lúc 2026-09-15 10:13:34 bằng mô hình hermes-agent.

📰 Summary of Papers

---

1. Benchmark Radar: A Living Database and Search Engine for AI Benchmarks and Evaluation (137 votes)

Tác giả: Koutian Wu, Junjie Zhou, Ergan Shang, Jiayu Wang, Pengqian Han, et al.

Xuất bản lúc: 2026-09-10

Tag: Benchmarks, Evaluation, LLMs, Search Engine, Information Retrieval, Meta-analysis, MLOps

I. Main Problem:

Người nghiên cứu benchmark và nhóm phát triển LLM/agent cần trả lời ba câu hỏi liên tục: có benchmark nào phù hợp với năng lực cần đo, dữ liệu/code/settings nằm ở đâu, và điểm số đã báo cáo đáng tin ở mức nào. Vấn đề là bằng chứng đánh giá bị phân mảnh giữa arXiv, GitHub, Hugging Face, model cards, technical reports, blog và các leaderboard riêng lẻ. Hệ quả:

• tìm prior art cho một evaluation mới mất nhiều bước thủ công
• khó kiểm chứng nguồn, ngày, prompt, split, tool, evaluator đằng sau điểm số
• dễ so sánh nhầm các điểm không cùng scale/điều kiện
• benchmark nhanh bão hòa, nhưng dấu hiệu bão hòa và mức độ dùng hiếm khi được nhìn cùng một chỗ.

II. Main Idea:

Benchmark Radar là một living database + search engine cho AI benchmarks: mỗi benchmark được giữ như một source record riêng theo nguồn gốc, kèm liên kết paper/repo/dataset, mentions trong model reports, lịch sử điểm và citation để người đọc tự kiểm chứng. Hệ thống có hai luồng:

• Catalog: hợp nhất LLM Stats, OpenCompass Hub, Artificial Analysis và model reports, giữ nguyên nhãn nguồn; 1,283 records, trong đó 790 có 12,916 numeric observations và 493 chưa có điểm nhưng vẫn được giữ.
• Daily discovery: quét 48 giờ mỗi ngày qua 37 nguồn gồm 13 direct connectors và 24 research/engineering feeds, gom mentions/releases/updates thành snapshots có DOI, arXiv ID, repo URL; discovery không làm tăng tổng benchmark.

Truy xuất dùng BM25F có trọng số trường, trả về từ khớp/thiếu, trường xuất hiện và thành phần điểm; cùng benchmark ID dùng cho web dashboard, export, CLI offline và HTTP local. Giao diện gồm Search, Today, Leaderboard/Pareto frontier, Saturation, Blog, CLI. Census toàn catalog đo coverage, concentration, date/score evidence và giới hạn so sánh điểm.

Ví dụ đời thường: giống hệ thống dịch vụ hồ sơ pháp lý cho giáo sư: không chỉ cho biết “vụ án/benchmark nào tồn tại”, mà giữ nguyên từng bản gốc, đóng dấu nguồn-ngày, để khi cần bạn mở đúng hồ sơ gốc xem bằng chứng thay vì tin bảng tổng hợp.

III. Main Results:

• Catalog v0.11.0 có 1,283 source records từ 4 nguồn; 12,916 numeric observations trên 790 records, còn 493 records unscored. Trong 493 unscored, 464 vẫn có ít nhất một liên kết paper/repo/dataset.
• Phân loại được 1,279/1,283 records vào 11 domains và 63 sub-domains; lớn nhất là Multimodal Perception & Generation 20.8%, Coding & Software Engineering 17.9%, Language & Communication 14.6%. Agentic được tách thành facet, tránh đếm nhầm benchmark coding chạy dạng agent thành “agent benchmark”.
• Discovery lưu 11,068 observations, 6,546 artifacts, 46 snapshots; 4 snapshots là backfill mô phỏng. arXiv, Hugging Face Hub và GitHub Search là core sources.
• Chỉ 615/1,283 records có release date hợp lệ; các năm đủ bằng chứng cho thấy share agentic tăng không phải artifact của thay đổi thành phần catalog, vì reweight theo source mix lệch tối đa 1.1 percentage points.
• Leaderboard vẽ Pareto frontier giữa điểm, số model có điểm và mức sử dụng đo được; các cờ rỗng/chấm đánh dấu scale chưa xác minh hoặc dùng model-release date làm proxy.

IV. Conclusion & Future Works:

Benchmark Radar không thay thế leaderboard, mà bổ sung provenance, retrieval và source inspection để một record có thể được truy vết từ tên benchmark tới paper, repo, dataset, model-report mention và lịch sử điểm. Điểm mấu chốt là giữ record riêng theo nguồn trước khi so sánh phép đo, vì cùng một con số chưa đồng nghĩa cùng prompt, split, tool, attempt hay evaluator. Hướng phát triển hợp lý: mở rộng coverage source và model-report evidence, cải thiện identity resolution giữa các catalog, tăng audit tự động cho scale/date/settings, và thêm phân tích saturation/adoption theo domain để hỗ trợ thiết kế evaluation mới ít bị contamination hơn.

V. Brainstorming Space:

1. Publish Papers:

1. Phát triển phương pháp audit định kỳ toàn catalog benchmark để đo coverage theo capability, evidence date, score scale và mức độ trùng lặp identity giữa LLM Stats, OpenCompass, Artificial Analysis và model reports.
2. Nghiên cứu hệ số bão hòa benchmark theo thời gian bằng cách liên kết release year, số model được chấm, lịch sử best score và tốc độ xuất hiện trong model cards.
3. Xây dựng benchmark retrieval có giải thích cho tác vụ thiết kế evaluation mới, tối ưu truy vấn theo capability, modality, openness và loại artifact cần kiểm chứng.

2. Patent:

1. Ứng dụng điện thoại cho nhà nghiên cứu AI: gõ mô tả năng lực cần đo, ví dụ “an toàn khi dùng công cụ” hoặc “sửa issue GitHub”; app trả về benchmark phù hợp kèm paper, code, dataset, lịch sử điểm và cảnh báo khi thiếu ngày/scale để không so sánh nhầm.
2. Trợ lý trên điện thoại cho kỹ sư đánh giá model trước khi phát hành: chọn model và nhận danh sách benchmark đã báo cáo, nguồn từng điểm, mức độ bão hòa và mức sử dụng, đồng thời đề xuất benchmark còn ít bị lạm dụng để làm bài test nội bộ.
3. Hệ thống cảnh báo benchmark mới hàng ngày cho điện thoại: theo dõi arXiv, GitHub, Hugging Face và technical reports theo lĩnh vực yêu thích; khi có benchmark/release/mention mới, gửi thông báo kèm liên kết bằng chứng gốc và lý do liên quan đến hồ sơ người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.11115
ArXiv Abstract	https://arxiv.org/abs/2609.11115
PDF Download	https://arxiv.org/pdf/2609.11115.pdf
Github Repository	https://github.com/ktwu01/benchmark-radar

---

2. DataFlex-RL: An Evaluation Platform for RLVR Data Policies (102 votes)

Tác giả: Hao Liang, Mingrui Chen, Hengyi Feng, Meiyi Qiang, Wentao Zhang

Xuất bản lúc: 2026-09-05

Tag: RLVR, GRPO, Reinforcement Learning, LLM Post-training, Data Selection, Reweighting, Curriculum Learning, Evaluation Reproducibility

I. Main Problem:

RLVR với GRPO đang là công cụ chính để post-train mô hình lý luận, nhưng rất nhiều cải tiến về chính sách dữ liệu — lọc prompt dễ/quá khó, down-sample nhóm phản hồi, reweight advantage, thay đổi mixture math/logic/science — thường được báo cáo như thành phần trong một recipe lớn hơn. Khó khăn cốt lõi:

• Khó tách tín hiệu khỏi intervention: cùng dùng solve-rate hay advantage nhưng một phương pháp loại mẫu, phương pháp khác chỉ thay trọng số.
• On-policy evaluation nhiễu và endogenous: reward của prompt thay đổi khi policy học, nên "dữ liệu hữu ích" không cố định.
• Nhiễu seed có thể lớn hơn chênh lệch method trên benchmark lý luận nhỏ.
• Tóm tắt đánh giá có thể đổi người thắng: bỏ domain này, nặng math hơn kia là ranking đổi.

Câu hỏi: khi giữ cố định recipe GRPO, liệu các data policy có tạo lợi thế reproducible so với uniform sampling không?

II. Main Idea:

DataFlex-RL là nền tảng đánh giá tách riêng ba điểm can thiệp trong cùng pipeline GRPO:

• Selection: sau rollout, quyết định response/prompt group nào vào update, ví dụ DAPO-style filter, PODS, GFPO, top-k advantage.
• Reweighting: giữ mọi response nhưng đổi mức đóng góp loss theo token/response, ví dụ Advantage Reweighting, PER-inspired, softmax advantage, diff-band reward.
• Mixture adaptation: trước rollout kế tiếp, đổi tỉ lệ math/logic/science dựa trên reward, advantage, hoặc slope tiến bộ.

Nền tảng dùng một driver chung cho rollout, verification, GRPO, corpus 15.000 prompt chia đều 3 domain, 12 benchmark cân bằng math/logic/science, deterministic decoding, matched seeds, kiểm tra calibration train-eval và audit trùng dữ liệu. Điểm mấu chốt là tách signal — solve rate, reward, advantage, token probability — khỏi operator để so sánh công bằng.

Ví dụ đời thường: giống thử nghiệm trong cùng một gian bếp với cùng nguyên liệu, lửa, thời gian; chỉ thay cách chọn thớt — một người bỏ món chín quá/non, một người nêm lại đậm nhạt, một người đổi tỉ lệ món Á-Âu-Việt cho bữa sau — rồi xem món ăn cuối có ngon hơn thật không hay chỉ đổi khẩu vị đánh giá.

III. Main Results:

• Trên Qwen2.5-7B-base, uniform GRPO tăng +7.76 Overall so với checkpoint chưa train. Nhưng trong 13 cấu hình, không selection/reweighting method nào có paired 95% CI loại 0 so với uniform; không adaptive mixture nào thắng fixed equal mixture ở độ tin cậy tương đương.
• Spread giữa các method nhỏ: khoảng 0.97 điểm cho selection/reweighting và 0.61 điểm cho mixture, tức chỉ cỡ 1/8 mức lợi ích từ chính GRPO.
• Kết quả không tập trung ở một domain: method mạnh logic không mạnh đều math/science, nên Overall phản ánh đa domain thật chứ không phải một nhóm benchmark.
• Mở rộng corrected trên Llama-3.1-8B-base cũng không tìm thấy common winner; uniform GRPO vẫn tăng mạnh (+10.25), cho thấy null result không phải do base model không học được.
• Evaluation sensitivity đo trực tiếp: cùng các run Qwen2.5-7B-Instruct, tóm tắt math-heavy 6 benchmark và tóm tắt domain-balanced 12 benchmark có ranking tương quan âm (ρ = −0.33); các tóm tắt giữ đủ 12 benchmark thì phần lớn đồng thuận. Bỏ domain logic có thể làm đổi method "tốt nhất".
• Toàn bộ ma trận gồm 591 runs, với primary block 156 runs cho Qwen-base 13 cấu hình x 12 seeds.

IV. Conclusion & Future Works:

Kết luận chính là một negative result có kiểm soát: trong các điều kiện đã kiểm tra, thay đổi data policy làm thay đổi rõ quá trình training — realized domain proportions, số token vào update, response được giữ — nhưng không tạo cải thiện reproducible trên độ chính xác cuối so với uniform GRPO. Giá trị của paper nằm ở protocol: giữ recipe cố định, matched seeds, phủ đủ evaluation domains, căn verifier/eval format, và publish run-level records.

Hướng tương lai hợp lý:

• Thử data policy ở các chế độ optimization khác, rollout budget lớn hơn, hoặc khi headroom thấp hơn.
• Tách riêng mechanism controls: lợi ích đến từ tín hiệu targeting, từ việc giảm token update, hay từ cường độ intervention.
• Xây benchmark summary chuẩn hóa để ranking method không bị đổi bởi coverage domain.
• Dùng DataFlex-RL làm baseline cho các policy mới, thay vì so sánh trong recipe khác nhau.

V. Brainstorming Space:

1. Publish Papers:

1. Đánh giá lại các phương pháp curriculum RLVR theo từng giai đoạn headroom: khi nào ưu tiên prompt biên quyết định thật sự giúp, và khi nào nó chỉ reshuffle nhiễu đã có.
2. Nghiên cứu đánh giá đa domain cho reasoning model: thiết kế tóm tắt benchmark ổn định để ranking không đổi khi thêm/bớt một domain logic hoặc science.
3. Phân tích nhân quả cho intervention operator: selection, reweighting, mixture adaptation và token-budget effect dưới cùng signal GRPO.
4. Mở rộng DataFlex-RL sang verifier reward noisy, multi-step reasoning có partial credit, và môi trường reward không nhị phân.

2. Patent:

1. Hệ thống kiểm thử chính sách dữ liệu cho mô hình AI trên điện thoại: trước khi tung bản cập nhật, nền tảng tự chạy nhiều policy chọn câu hỏi luyện lý luận với cùng ngân sách và seed, rồi báo phiên bản nào chỉ thay đổi đường học chứ không cải thiện điểm thật.
2. Ứng dụng luyện toán trên điện thoại có bộ điều phối đề thông minh: app giữ tỉ lệ đề dễ/trung/khó ổn định thay vì liên tục đổi trọng số, vì dữ liệu kiểm soát cho thấy cân bằng đề thường đáng tin hơn các chiến lược thích ứng phức tạp.
3. Công cụ audit benchmark cho trợ lý học tập: kiểm tra bộ đánh giá có bỏ sót mảng logic hay nghiêng toán không, vì ranking mô hình có thể đảo nếu tóm tắt kết quả thiếu domain.
4. Bảng điều khiển training LLM dạng plug-in: gắn chính sách selection/reweighting/mixture vào đúng điểm can thiệp, ghi lại signal và thống kê paired interval để tránh tuyên bố cải tiến giả do nhiễu seed.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.06107
ArXiv Abstract	https://arxiv.org/abs/2609.06107
PDF Download	https://arxiv.org/pdf/2609.06107.pdf
Github Repository	N/A

---

3. Feyospace-v1: How the Cyber Mercury Seven Trained Frontier Cyber Models (76 votes)

Tác giả: Zongjie Li, Alan Z. W, John Nicolas J, Walter H. F, Scott Donald L, et al.

Xuất bản lúc: 2026-09-08

Tag: Cybersecurity, Post-Training, Supervised Fine-Tuning, LLM Agents, Data-Centric AI, Reasoning Distillation, Model Merging, CTF

I. Main Problem:

Bài toán không chỉ là scale model, mà là làm sao tạo dữ liệu huấn luyện cyber agent đủ thật, đủ rẻ và kiểm chứng được khi xuất phát từ open-weight model. Năm nút thắt chính:

• Reasoning fidelity: khó lấy lại quá trình suy luận nguyên vẹn thay vì bản tóm tắt đã viết lại.
• Data economics: chi phí sampling và lọc từ teacher có thể đắt hơn cả train student.
• Closed-model elicitation: teacher đóng bị giới hạn bởi refusal, account, context, generation length và API quota.
• Open-model recovery: khả năng mục tiêu có thể bị suy yếu sau model merging hoặc post-training.
• Expert internalization: khi teacher không giải được, cần biến can thiệp của chuyên gia thành trajectory đa lượt có thể học được.

Nếu thiếu môi trường chạy thật và audit bằng chứng, dữ liệu dễ bị cắt ghép, reward hacking, nhiễm trace không sạch, hoặc tạo ra chính sách suy luận mâu thuẫn.

II. Main Idea:

Framework của paper là data-centric post-training: không train từ đầu, mà xây một cỗ máy dữ liệu gồm môi trường thật + kỹ thuật lấy supervision + kiểm chứng execution rồi mới SFT.

• Data engine dựng các môi trường resettable: repository-level coding, vulnerability reproduction, CTF, kernel-history mining, full exploit development, firmware re-host và physical device. Mỗi trajectory chỉ được giữ nếu chạy thành công và qua four-layer evidence audit.
• Choulea phân tích hidden reasoning signatures từ các encrypted reasoning block; phục vụ phát hiện pattern, đo lường và đánh giá rủi ro, không dùng trực tiếp làm SFT target ở giai đoạn này.
• SkyReal khai thác thị trường tài khoản/token rẻ để giảm chi phí sampling từ frontier model, nhưng cuối cùng không đưa vào pipeline huấn luyện vì không đạt yêu cầu nội bộ.
• Hongzwang kết hợp mutation strategies, structured retries và domain skills để lấy hành vi hữu ích từ closed teacher dưới ràng buộc API và inference.
• PSBreakup dùng white-box model-merge reversal để khôi phục khả năng cyber bị suy yếu trong checkpoint mở trước SFT.
• Kreator ghi nhận điểm thất bại quan trọng, đưa chuyên gia vào, rồi rewrite phần tiếp theo thành teacher-native trajectory phù hợp với agentic training.

Ý chính là không tin vào answer cuối cùng, mà chỉ học từ những đường chạy đã được môi trường xác nhận, có bằng chứng, có nguồn gốc và đồng nhất về chiến lược suy luận.

Ví dụ đời thường: giống dựng một phòng tập có camera chấm điểm tự động, mời nhiều võ sư thử đòn trong đó, chỉ giữ lại những đoạn băng thực sự hạ được mục tiêu, rồi cho học viên tập theo từng đoạn băng đã xác minh thay vì đọc lý thuyết hay xem đòn giả lập.

III. Main Results:

• Data engine tạo quy mô lớn: 27,502 coding instances đã xử lý, 69,854 môi trường từ vulnerability công khai, 9,312 CTF environments, 12,993 môi trường từ Linux kernel history, 1,601 exploit cases đã execution-verified, cùng 1,003 firmware re-hosts và 374 physical-device environments.
• Sau execution verification và evidence audit, corpus còn 164,269 audited trajectories: 28,177 từ coding cơ bản và 136,092 từ security/hardware.
• Audit pipeline có tỷ lệ tương đối 85% accept, 9% review, 6% reject, cho thấy cổng kiểm chứng khá chặt.
• Ba checkpoint post-trained từ Qwen3.6-35B-A3B, Qwen3.8-27B và Qwen3.5-122B-A10B cải thiện trung bình +23.76% trên full CyberGym suite và +10.49% trên pooled CTF suites.
• Tính đến 1/9/2026, Feyospace-s1 đạt 63.24% verified success rate, rank 10 trên CyberGym leaderboard; cả ba checkpoint rank 1 trong nhóm cùng parameter scale.
• Choulea đạt recovery rate rất cao trước mitigation 21/8/2026, nhưng tác giả nhấn mạnh recoverable trace không đồng nghĩa có training value do chi phí làm sạch, nguồn dữ liệu dị biệt, nghi reverse trap và Gemini không đạt ngưỡng hiệu suất.

IV. Conclusion & Future Works:

Kết luận chính là một đội độc lập 7 người có thể làm end-to-end cyber post-training nếu ưu tiên dữ liệu kiểm chứng, supervision access và capability recovery thay vì chỉ scale model. Đóng góp quan trọng là pipeline xây dữ liệu cyber từ coding, vulnerability, CTF, kernel history, exploit, firmware tới thiết bị thật; đồng thời cam kết release trajectories để cộng đồng tái hiện. Hướng mở gồm: làm sạch và kiểm chứng recovered reasoning traces trước khi dùng cho training, tối ưu chi phí teacher rollout hợp lệ và mở rộng đánh giá trên nhiều model family, reasoning-effort settings và môi trường cyber thật hơn.

V. Brainstorming Space:

1. Publish Papers:

1. Nghiên cứu khi nào recovered reasoning traces thật sự cải thiện SFT: đo lường động góp theo model family, model version và reasoning-effort thay vì chỉ dùng final-answer correctness.
2. Phát triển phương pháp phát hiện provider-injected reverse trap và conflict-aware filtering cho dữ liệu reasoning recovered từ closed models.
3. Mở rộng environment-grounded data engine sang multi-agent cyber tasks, nơi cần kiểm chứng chuỗi hành động dài và hợp tác giữa nhiều agent.

2. Patent:

1. Ứng dụng điện thoại huấn luyện trợ lý an ninh mạng cho phép người dùng tạo bài tập mô phỏng trong hộp cát đám mây; điện thoại chọn mục tiêu, gửi tác vụ, xem bằng chứng chạy thật và chỉ lưu các bản sửa đã được hệ thống xác nhận.
2. Hệ thống kiểm thử thiết bị phần cứng từ điện thoại: điện thoại đóng vai trò bảng điều khiển di động, kết nối tới thiết bị thật hoặc bản mô phỏng firmware, chạy bài kiểm tra hợp lệ, ghi log và xuất báo cáo vá lỗi có bằng chứng.
3. Ứng dụng di động biến gợi ý ngắn của chuyên gia thành bài học hoàn chỉnh: người dùng quay hoặc nhập điểm kẹt, hệ thống ghép can thiệp với quá trình trước và sau đó, chạy thử lại trong môi trường ảo rồi tạo tài liệu huấn luyện nội bộ có thể tái sử dụng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.08418
ArXiv Abstract	https://arxiv.org/abs/2609.08418
PDF Download	https://arxiv.org/pdf/2609.08418.pdf
Github Repository	N/A

---

4. Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models (63 votes)

Tác giả: Jianman Lin, Shailesh Shailesh, Zhongyi Luo, Jiafei Duan

Xuất bản lúc: 2026-09-11

Tag: Robotics, Vision-Language-Action, Robot Foundation Models, Generalization, Imitation Learning, Shortcut Learning, World-Action Models

I. Main Problem:

Các robot foundation model (VLA và WAM) đạt hiệu suất tốt trong phân phối huấn luyện nhưng suy giảm nghiêm trọng khi có dịch chuyển phân phối trực quan (đổi góc camera, ánh sáng, vật gây nhiễu). Nguyên nhân là hiện tượng vision–action shortcut: action expert học lệ thuộc vào các chi tiết hình ảnh không liên quan tới tác vụ vốn tình cờ tương quan với hành động trong dữ liệu demo, và sự tương quan này vỡ khi điều kiện thay đổi.

• Dữ liệu demo robot thiếu đa dạng trực quan càng khuyến khích kiểu học đốn này
• Nhưng không thể đơn giản bỏ qua hình ảnh vì đại diện trực quan cũng mang thông tin không gian cần thiết cho hành động
• Các cách hiện có (làm giàu biểu diễn, pretrain action expert không ảnh) không ràng buộc cách thông tin trực quan được dùng, nên shortcut vẫn xuất hiện khi đưa ảnh trở lại.

II. Main Idea:

Latent Interface Training (LIT) — chiến lược hai giai đoạn, áp dụng được cho mọi kiến trúc có cấu trúc backbone + action expert:

1. Stage 1 — Action pretraining không ảnh, điều kiện hóa bằng mục tiêu không gian: action expert học sinh khối hành động chỉ từ ngôn ngữ, trạng thái robot và tư thế cuối cùng SE(3) của end-effector của từng đoạn demo. Nhờ đó nó học được bản năng hành động hướng tới mục tiêu không gian, hoàn toàn không dựa vào manh mối hình ảnh.
2. Stage 2 — Latent interface giám sát bằng pose: đưa ảnh vào duy nhất qua một cổng latent gồm các learnable tokens tự attention rồi cross-attention tới biểu diễn ngữ nghĩa và trực quan của backbone, cung cấp điều kiện hóa theo từng layer cho action expert. Các token này bị ép tái dựng lại đúng tư thế SE(3) đã dùng ở Stage 1, nên buộc phải giữ lại thông tin không gian liên quan tới mục tiêu và lọc bỏ chi tiết gây nhiễu.

Điểm then chốt: mục tiêu không gian dùng chung giữa hai stage nối action prior với giao diện trực quan, còn việc chỉ cho phép điều kiện hóa trực quan đi qua cổng này ngăn action expert tái học shortcut.

Ví dụ đời thường: giống huấn luyện tài xế lái xe trong sân tập chỉ bằng bản đồ mục tiêu đích đến (Stage 1), rồi sau đó phát cho cậu ấy một chiếc kính chuyên lọc chỉ hiển thị hướng về đích và ép cậu ấy miêu tả lại đích đó sau mỗi lần nhìn (Stage 2) — kính không hiển thị biển quảng cáo hay màu xe bên đường nên tài xế không thể phụ thuộc vào chúng.

III. Main Results:

• LIBERO-Plus (OOD, 7 loại nhiễu): cải thiện overall success +3.87 đến +10.70 điểm % trên cả 4 kiến trúc: π0.5 (68.97→79.67), MolmoAct2 (63.62→71.92), FAST-WAM (51.44→60.63), ImageWAM (83.02→86.89). Thắng 26/28 so sánh kiến trúc–nhiễu.
• LIBERO (ID): giữ nguyên hoặc tăng hiệu suất trung bình trên cả 4 kiến trúc (vd. π0.5: 87.75→91.80).
• Robot thật: tăng +13.3 đến +16.7 điểm % tổng hợp trên 3 tác vụ dưới đổi ánh sáng, đổi camera và thêm vật gây nhiễu (vd. Camera OOD: 30.0%→46.7%; Transfer egg dưới Distractors OOD: 20.0%→90.0%).
• Ablation: bỏ Stage 1 (−3.69 điểm OOD), bỏ pose supervision (−3.06), cho action expert xem ảnh trực tiếp thêm (−4.18) — chứng tỏ cả ba thành phần đều cần thiết; attention của LIT ổn định vào vùng robot–vật liên quan tới tác vụ, hành vi chuyển hướng đúng khi đổi mục tiêu.

IV. Conclusion & Future Works:

LIT chứng minh rằng kết hợp action prior không ảnh điều kiện hóa bằng mục tiêu không gian với cổng latent giám sát bằng pose là đường điều kiện hóa trực quan duy nhất giúp mô hình robot giảm lệ thuộc vào vision–action shortcut mà vẫn giữ thông tin không gian cần cho hành động — cải thiện khái quát hóa zero-shot trên mô phỏng lẫn robot thật, trên cả VLA và WAM.

Hướng tương lai: mở rộng LIT lên các bộ dữ liệu demo quy mô lớn, đa dạng hơn; đánh giá trên phạm vi tác vụ và môi trường rộng hơn.

V. Brainstorming Space:

1. Publish Papers:

1. Áp dụng tư tưởng latent interface giám sát bằng mục tiêu không gian cho các mô hình robot end-to-end khác nhau (diffusion policy, autoregressive VLA) để kiểm chừng tính phổ dụng của cơ chế chống shortcut.
2. Nghiên cứu biến thể LIT tự giám sát: tự động ước lượng tư thế đích SE(3) từ chính video/dữ liệu demo thay vì dùng nhãn trạng thái, để áp dụng cho tập dữ liệu không có ghi trạng thái robot đầy đủ.
3. Kết hợp LIT với world modeling để cổng latent tái dựng không chỉ pose cuối mà cả quỹ đạo không gian trung gian, nhằm cải thiện các tác vụ dài hạn nhiều chướng ngại.

2. Patent:

1. Hệ thống huấn luyện robot gia đình chống học lệch: trước khi dạy robot làm việc bằng camera, hệ thống cho robot học trước từ dữ liệu vị trí tay và lời nói, rồi chỉ cho phép thông tin hình ảnh đi qua một module nén có kiểm chứng vị trí đích — giúp robot hoạt động đúng dù người dùng đổi vị trí đèn, rèm hay đồ vật xung quanh.
2. Phần mềm trên điện thoại điều khiển robot hút bụi/robot bếp: khi người dùng đặt điện thoại ở góc quay mới, app tự chạy chế độ chẩn đoán ngắn để bộ lọc hình ảnh bên trong chỉ giữ thông tin vị trí mục tiêu, tránh robot nhầm bóng đổ hoặc vật trang trí là vật cần thao tác.
3. Module nâng cấp cho cánh tay robot công nghiệp lắp ráp: thay vì huấn luyện lại toàn bộ khi đổi ánh sáng xưởng hoặc thêm vật trên băng chuyền, chỉ cần bật cổng latent giám sát bằng tư thế đích — giảm chi phí hiệu chuẩn lại mỗi khi môi trường thay đổi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.12641
ArXiv Abstract	https://arxiv.org/abs/2609.12641
PDF Download	https://arxiv.org/pdf/2609.12641.pdf
Github Repository	https://github.com/MAGICLAB-NUS/LIT

---

5. SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking (50 votes)

Tác giả: Zhiwei Li, Lei Zhu, Hao Gu, Xiang Hu, Yan Wang, et al.

Xuất bản lúc: 2026-09-11

Tag: Attention Sparsification, LLM Inference Efficiency, Long Context, KV Cache, Transformer Optimization, Sparse Attention, Triton Kernel

I. Main Problem:

Tạo suy luận (inference) cho LLM với context dài đang bị tắc nghẽn vì chi phí attention tích lũy tăng bậc hai theo độ dài chuỗi. Phương pháp post-training sparsification hiện tại dùng selector học được + hard Top-K để chọn token/block, nhưng Top-K rời rạc chặn gradient từ language modeling loss, nên các phương pháp phải huấn luyện selector qua distillation mô phỏng phân phối attention dày đặc từng layer của model gốc. Cách này tạo ranking misalignment: selector học xếp hạng theo nơi model dense đang nhìn thay vì mức đóng góp của block đó vào dự đoán cuối cùng dưới ngân sách attention hạn chế — lãng phí ngân sách cho các block ít hữu ích, và bỏ qua ảnh hưởng của ma trận V cũng như tính bổ sung giữa các layer.

II. Main Idea:

SAS (Simple Attention Sparsification) biến việc chọn block thành xếp hạng context (context ranking) học end-to-end bằng loss ngôn ngữ, bỏ hoàn toàn distillation phụ:

• Selector chấm điểm các block lịch sử; điểm số được đưa trực tiếp vào trong softmax của attention dưới dạng log-gate: softmax(qK^T + log g) V, nên gradient từ loss chảy ngược thẳng về selector qua backpropagation thông thường.
• Bốn lựa chọn thiết kế quyết định (đều được ablation kiểm chứng):
  • Gate đặt bên trong softmax (dạng log) thay vì nhân ngoài softmax — gate tham gia phân bổ attention mass thay vì chỉ rescale V.
  • Kích hoạt softmax (normalized gates) để hiệu chuẩn block lịch sử so với block hiện tại luôn giữ lại (gate = 1); sigmoid hoặc raw logits đều bão hòa/sụp đổ, mất tính cạnh tranh.
  • Giữ gate liên tục (soft gating) thay vì thu về mask nhị phân Top-K qua STE — mô hình học được độ ưu tiên tương đối, training ổn định hơn, tránh gradient bùng nổ.
  • Sparse scope training (chỉ cập nhật block được chọn): chậm hơn full scope lúc đầu nhưng đạt hiệu năng tương đương với chi phí thấp hơn nhiều.
• Kernel Triton kiểu FlashAttention fuse gate vào tile qK^T, tránh vật liệu hóa ma trận attention — cho phép train context dài (32K tokens) với bộ nhớ hợp lý.

Ví dụ đời thường: giống như thay vì bắt học viên học thuộc lòng 'giáo viên cũ thường chấm bài nhìn vào đâu', cho học viên tự làm bài thi thật và tự rút ra nên ưu tiên ôn phần nào — cách xếp hạng học trực tiếp từ kết quả, không qua trung gian.

III. Main Results:

• Reasoning, ngân sách 1024 token: SAS vượt SeerAttention-R +6.0–7.7 điểm trên MATH500 và +10.6–15.5 điểm trên GPQA-Diamond trên cả Qwen3-4B/8B/14B.
• Reasoning, ngân sách 2048: GPQA +4.9 đến +5.4 điểm; AIME24 lên ~70–78%, sát full attention.
• LongBench: dẫn trước ở mọi ngân sách, margin lớn nhất ở input dài nhất (+3.2 ở bucket 8K+, Qwen3-4B, budget 2048).
• Agentic: BFCL cải thiện tới +3.5, VitaBench dẫn đầu, gần như phục hồi full attention ở budget 4096.
• Ablation (Qwen3-4B, GPQA, budget 2048): inner-softmax 54.5 vs outer 41.6; softmax gate 54.5 vs sigmoid 17.0 vs raw logits 18.8; soft gate vượt hard STE rõ rệt; sparse scope đuổi kịp full scope với chi phí thấp.
• Kiến trúc selector, backbone, dữ liệu training giữ nguyên với baseline — chỉ khác cách huấn luyện gate, chứng minh lợi ích đến từ tối ưu end-to-end.

IV. Conclusion & Future Works:

SAS chứng minh tối ưu end-to-end bằng language modeling loss — không cần teacher attention hay distillation phụ — là cách huấn luyện sparse attention post-training hiệu quả hơn distillation từng layer, đặc biệt khi ngân sách attention eo hẹp. Thiết kế đơn giản (log-gate trong softmax, gate normalized softmax, gate liên tục, sparse scope) cùng kernel Triton tích hợp FlashAttention khiến phương pháp thực dụng cho context dài. Kết quả mở rộng được sang cả continued pretraining (train chung backbone + selector). Hướng tương lai: tối ưu hóa thêm selector cho mục tiêu downstream cụ thể, và mở rộng sang các schema sparsification mịn hơn (token-level thay vì block-level).

V. Brainstorming Space:

1. Publish Papers:

1. Tổng quát hóa gated relaxation của SAS sang token-level sparsification mịn, cho phép selector quyết định cả kích thước block lẫn vị trí thay vì chỉ chọn block cố định 64 token.
2. Kết hợp SAS với KV-cache eviction/retrieval động: dùng điểm selector học được để quyết định block nào giữ trên GPU, block nào offload xuống CPU/disk trong hệ thống serving nhiều tầng bộ nhớ.
3. Nghiên cứu huấn luyện selector đa mục tiêu (reasoning + long-context + agentic) để một gate duy nhất thích ứng ngân sách attention động theo loại tác vụ tại inference.

2. Patent:

1. Hệ thống tiết kiệm pin cho chatbot AI trên điện thoại: một module nhỏ chấm điểm từng đoạn hội thoại trước đó và chỉ để mô hình 'chú ý' vài đoạn quan trọng nhất khi tạo câu trả lời, giảm đáng kể lượng tính toán và điện năng mà chất lượng trả lời gần như không đổi.
2. Trợ lý AI học theo cách dùng thật trên thiết bị đầu cuối: thay vì sao chép cách phân bố chú ý của một mô hình lớn, module chọn ngữ cảnh được tự huấn luyện trực tiếp từ độ chính xác dự đoán từ tiếp theo, có thể cập nhật nhẹ trên thiết bị mà không cần gửi dữ liệu về máy chủ.
3. Dịch vụ hội thoại dài hạn cho khách hàng: máy chủ AI chỉ nạp và tính toán trên các đoạn lịch sử chat được module chấm điểm đánh giá là liên quan, giảm chi phí GPU khi hội thoại kéo dài hàng chục nghìn từ trong khi vẫn giữ độ chính xác của dịch vụ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.13141
ArXiv Abstract	https://arxiv.org/abs/2609.13141
PDF Download	https://arxiv.org/pdf/2609.13141.pdf
Github Repository	https://github.com/Tencent-Hunyuan/Simple-Attention-Sparsification

---

6. COBRA-Skills: Contextual Bandit-Guided Evolution for Agent Skill Optimization (31 votes)

Tác giả: Pingchen Lu, Xiangyi Wang, Xiang Li, Jie Mao, Zikun Qu, et al.

Xuất bản lúc: 2026-09-10

Tag: LLM Agents, Agent Skills, Contextual Bandits, Skill Optimization, Evolutionary Search, Sample Efficiency

I. Main Problem:

Các agent LLM có thể học từ skill tái sử dụng được chiết xuất từ kinh nghiệm, nhưng phương pháp tối ưu skill hiện tại thường rất tốn kém:

• phải chạy thực tế nhiều skill thử nghiệm mới biết skill nào tốt
• lặp lại phân tích trajectory, chẩn đoán lỗi và viết lại skill bằng LLM, gây tốn token
• cần nhiều dữ liệu nhiệm vụ và ngân sách tính toán lớn

Vấn đề cốt lõi là phân bổ ngân sách đánh giá có hạn cho các ứng viên skill chưa chắc chắn, đồng thời tái sử dụng bằng chứng chạy thực tế để cải thiện skill mà không cần thử mọi phương án.

II. Main Idea:

COBRA-Skills xem tối ưu skill như bài toán sequential optimization ngân sách hạn chế trên không gian ứng viên thay đổi liên tục. Hệ thống:

• biểu diễn mỗi skill bằng embedding ngữ nghĩa, coi mỗi skill như một “arm” trong contextual bandit
• dùng mạng nhỏ dự đoán reward kết hợp LinearUCB bonus để chọn skill hứa hẹn nhất hoặc chưa được khám phá đủ để chạy thử
• định kỳ tiến hóa quần thể skill bằng ba toán tử dựa trên bằng chứng:
  • regeneration: tạo skill mới độc lập từ trajectory ban đầu, duy trì đa dạng
  • rollout mutation: sửa skill vừa chạy dựa trên các trajectory thành công và thất bại
  • crossover: dùng skill mạnh làm backbone, skill khác làm bằng chứng tích cực, skill yếu làm bằng chứng tiêu cực
• loại các skill có điểm ưu tiên thấp và thay bằng ứng viên mới

Ví dụ đời thường: giống đầu bếp thử nhiều công thức hạn chế — ưu tiên nếm món có triển vọng hoặc chưa từng thử, rồi chỉ định kỳ cải tiến thực đơn bằng cách giữ món ngon, sửa món vừa thử và kết hợp ý hay từ nhiều món.

III. Main Results:

• Đạt hiệu suất trung bình cao nhất trên 6 benchmark và 3 model mục tiêu.
• Vượt baseline không skill +13.1 điểm trên Qwen3.6-35B-A3B, +26.9 trên GPT-5.4-Nano, +22.5 trên Gemma-4-26B-A4B-it.
• Giảm 55–58% tổng chi phí tối ưu so với SkillOpt.
• Giảm 60–69% chi phí trên mỗi điểm cải thiện.
• Chỉ dùng 50 ví dụ tối ưu duy nhất mỗi benchmark.
• Dùng ít hơn 67–80% token teaching model so với SkillOpt.
• Vẫn hiệu quả khi chạy qua các harness khác như Claude Code và Codex.
• Ablation cho thấy bỏ bandit giảm 2.2 điểm, bỏ evolution giảm 2.4 điểm, và chỉ tạo nhiều ứng viên hơn cũng không đạt hiệu quả tương đương.
• Khi model mục tiêu tự làm teaching model, hiệu suất chỉ giảm nhẹ từ 73.5 xuống 72.5, trong khi chi phí giảm khoảng một nửa.
• 34/36 trường hợp transfer skill giữa các model vẫn vượt baseline không skill.

IV. Conclusion & Future Works:

COBRA-Skills cho thấy tối ưu skill không cần đánh giá bừa bãi hay viết lại liên tục: prioritization kiểu contextual bandit giúp chọn đúng ứng viên cần chạy thử, còn tiến hóa dựa trên bằng chứng giúp cải thiện và thay thế quần thể ứng viên một cách tiết kiệm. Hướng mở rộng tự nhiên gồm:

• áp dụng cho skill dài hạn, nhiều bước và có cấu trúc
• kết hợp online learning khi phân phối nhiệm vụ thay đổi
• giảm thêm chi phí bằng self-teaching, reward mô hình hoặc surrogate evaluation
• nghiên cứu cơ chế transfer và lưu trữ skill liên nhiệm vụ

V. Brainstorming Space:

1. Publish Papers:

1. Mở rộng tối ưu skill bằng contextual bandit cho hệ agent học liên tục, trong đó quần thể skill tự cập nhật khi phân phối nhiệm vụ và công cụ thay đổi.
2. Kết hợp tiến hóa skill với hierarchical skill library, cho phép agent lưu, gợi nhớ và tái kết hợp các kỹ năng ở nhiều mức trừu tượng.
3. Nghiên cứu self-teaching cho agent: model mục tiêu tự sinh, tự sửa và tự chọn skill cần kiểm tra dưới ngân sách token thấp.
4. Phát triển phương pháp đánh giá nhanh skill bằng surrogate model nhằm giảm số lần gọi target agent trong quá trình tối ưu.

2. Patent:

1. Hệ tối ưu hướng dẫn cho trợ lý AI trên điện thoại: thu thập kết quả dùng thử các hướng dẫn, dùng mô hình dự đoán kết hợp độ không chắc chắn để chọn hướng dẫn đáng thử tiếp, rồi tự sửa hoặc kết hợp các hướng dẫn hiệu quả.
2. Hệ quản lý kỹ năng cho chatbot đa nhiệm: máy chủ duy trì tập kỹ năng, ghi lại phản hồi người dùng và kết quả thực thi, loại bỏ kỹ năng kém hiệu quả, đồng thời tạo kỹ năng mới từ các ca thành công và thất bại.
3. Hệ tự cải thiện trợ lý soạn thảo trên điện thoại: kiểm thử có chọn lọc các mẫu hướng dẫn soạn email, tài liệu hoặc trả lời khách hàng, sau đó tự cập nhật bộ hướng dẫn để cải thiện chất lượng mà không cần tinh chỉnh model.
4. Hệ tối ưu quy trình dùng công cụ cho agent văn phòng: ghi lại quá trình agent dùng bảng tính, trình duyệt và phần mềm khác, xếp hạng từng quy trình kỹ năng, rồi tự tạo biến thể mới và giữ lại biến thể cho kết quả tốt nhất.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.11682
ArXiv Abstract	https://arxiv.org/abs/2609.11682
PDF Download	https://arxiv.org/pdf/2609.11682.pdf
Github Repository	https://github.com/Jerry-LuP/COBRA-Skills

---

7. StepAudio 3 Gen Technical Report (28 votes)

Tác giả: Bin Lin, Bo Zhao, Boyang Wang, Boyang Zhang, Boyong Wu, et al.

Xuất bản lúc: 2026-09-11

Tag: Audio Generation, Text-to-Speech, RVQ, Autoregressive Modeling, Large Language Models, Voice Design, Music Generation, Reinforcement Learning

I. Main Problem:

Các hệ thống tạo âm thanh (TTS, nhạc, hiệu ứng âm thanh, hát) truyền thống phát triển rời rạc từng miền, dẫn đến biểu diễn, định dạng điều kiện và pipeline không tương thích khi ứng dụng cần nhiều loại âm thanh cùng lúc. Các mô hình thống nhất gần đây chủ yếu dùng diffusion/flow matching trên không gian liên tục, tách rời khỏi khả năng ngôn ngữ của LLM.

Bên cạnh đó, gắn token âm thanh RVQ (mỗi frame có tới 16 codebook) vào LLM văn bản gây ra nhiễu xuyên (interference) ở hai mức:

• Tổng nhiều embedding RVQ mới khởi tạo lệch thống kê so với embedding văn bản đã pretrain
• Mục tiêu dự đoán 15 codebook còn lại mạnh hơn nhiều mục tiêu token cấp, có thể phá hỏng trí tuệ ngôn ngữ thừa kế của backbone

II. Main Idea:

StepAudio 3 Gen là mô hình tạo âm thanh đa năng dùng mô hình hóa autoregressive rời rạc trực tiếp trên token RVQ, thay vì diffusion:

• StepAudio Tokenizer: biểu diễn mọi âm thanh (lời nói, nhạc, hát, hiệu ứng) tại 12.5 Hz trong không gian chung 16×2048 codebook, lượng tử hóa đồng thời đặc trưng ngữ nghĩa (SSL) và âm học waveform nên mỗi lớp code giữ cả hai loại thông tin.
• Kiến trúc time–depth: LLM dự đoán codebook 0 (chứa ngữ nghĩa) dọc trục thời gian như token ngôn ngữ thông thường; một causal Transformer nhẹ (RVQ Code Predictor) tự điều kiện hóa vào hidden state + c0 để sinh 15 codebook còn lại dọc trục độ sâu. Không cần renderer acoustic kiểu diffusion.
• RVQ Adaptor: module residual zero-initialized, từng token, biến đổi tổng 16 embedding thành không gian đầu vào LLM mà không đụng backbone.
• Pretraining 4 giai đoạn chống nhiễu: (1) chỉ train adaptor với backbone đóng băng, (2) hiểu âm thanh + pha lại 50% dữ liệu text, (3) sinh âm thanh với gradient predictor tách rời backbone, (4) cool-down ngữ cảnh dài với gradient nối lại và lr thấp.
• Điều khiển qua định dạng hướng dẫn thống nhất: ROLE (danh tính/giọng), DIRECTOR (bối cảnh âm thanh), SCRIPT (sắp xếp lời nói và âm thanh theo trục thời gian).

Ví dụ đời thường: giống một người thợ chế tác đồ vật từ bản thiết kế khung trước, chạm khắc chi tiết sau — kiến trúc sư (LLM) vẽ phác thảo tổng thể theo thời gian, còn nghệ nhân chuyên trách (code predictor) điêu khắc 15 lớp chi tiết âm thanh bên trong từng khung, và người học việc mới (adaptor) chỉ được chỉnh nhẹ ở cửa vào để không làm hỏng guồng máy có sẵn.

III. Main Results:

• Đạt state-of-the-art trên cả TTS và voice design, đồng thời giữ khả năng sinh mạnh trên lời nói, hát (vocal), hiệu ứng âm thanh và nhạc trong một framework duy nhất.
• Tokenizer huấn luyện trên ~700k giờ âm thanh; LLM pretrain tổng ~2.7T token qua 4 giai đoạn, text chiếm 50% mỗi bước từ giai đoạn 2.
• Decoder hoàn toàn causal (Vocos-style, sliding-window attention 25 frame) → hỗ trợ streaming, độ trễ thấp, tái tạo 24 kHz không look-ahead.
• Ngữ cảnh dài 32,768 token ≈ 44 phút âm thanh, đủ cho tổng hợp dài và hội thoại đa lượt.
• Sau pretrain là SFT ~5,000 giờ âm thanh và tinh chỉnh GRPO với reward = điểm nhất quán hướng dẫn (caption từ audio understanding model) × hình phạt CER/WER theo hàm mũ, chặn mẫu có nội dung ngôn ngữ sai nghiêm trọng.

IV. Conclusion & Future Works:

Báo cáo chứng minh ba nguyên tắc thiết kế then chốt: interference-aware progressive pretraining, RVQ Adaptor và mô hình hóa autoregressive rời rạc trên biểu diễn chung — cho phép một LLM duy nhất sinh toàn bộ các miền âm thanh hoàn toàn trong không gian code rời rạc, không cần diffusion/flow renderer, mà vẫn bảo toàn năng lực văn bản thừa kế. Mô hình mở ra hướng kết hợp hiểu âm thanh, sinh âm thanh và trí tuệ văn bản trong một mô hình thống nhất.

V. Brainstorming Space:

1. Publish Papers:

1. Khảo sát sâu tác động của quantizer dropout và semantic distillation lên sự phân bố thông tin ngữ nghĩa/âm học qua 16 lớp codebook RVQ chung cho đa miền âm thanh.
2. Mở rộng pretraining chống nhiễu sang các phương pháp adapter/LoRA và so sánh hiệu quả bảo toàn năng lực ngôn ngữ với công thức 4 giai đoạn hiện tại.
3. Nghiên cứu kiến trúc time–depth cho mã hóa video/hình ảnh–âm thanh đồng bộ, trong đó LLM quy hoạch trục thời gian và module nhẹ sinh chi tiết còn lại theo trục độ sây.

2. Patent:

1. Ứng dụng điện thoại tạo giọng nói theo mô tả: người dùng nhập mô tả giọng (độ tuổi, cảm xúc, giọng vùng miền) và kịch bản; ứng dụng sinh lời thoại có tiếng cười, thở, ngập ngừng tự nhiên mà không cần mẫu giọng thật.
2. Hệ thống sản xuất podcast/hội thoại đa nhân vật từ một văn bản duy nhất: tự gán vai (ROLE), đạo diễn âm thanh nền (DIRECTOR) và sắp xếp lời thoại xen tiếng cười, hiệu ứng, nhạc nền đúng thứ tự thời gian (SCRIPT).
3. Trợ lý âm thanh thời gian thực trên điện thoại: decoder causal không cần nhìn tới cho phép streaming độ trễ thấp — gõ văn bản và nghe giọng đọc từng câu ngay lập tức, hữu ích cho đọc báo/điều hướng khi lái xe.
4. Công cụ thiết kế âm thanh cho game/quảng cáo trên di động: mô tả cảnh (mưa, đám đông, nhạc nền) bằng ngôn ngữ tự nhiên, mô hình sinh đồng thời lời thoại nhân vật và âm thanh môi trường với cấu trúc tiền cảnh–hậu cảnh rõ ràng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.12945
ArXiv Abstract	https://arxiv.org/abs/2609.12945
PDF Download	https://arxiv.org/pdf/2609.12945.pdf
Github Repository	N/A

---

8. ReactHuman: A Physics-Grounded Benchmark for Human-Like Reactive Decision-Making in Embodied Multimodal LLMs (26 votes)

Tác giả: Yizhan Li, Jianxin You, Mengyang Xiong, Yinhuan Chen, Zicheng Zhao, et al.

Xuất bản lúc: 2026-09-09

Tag: Embodied AI, Multimodal LLMs, Physical Reasoning, Benchmark, Humanoid Robotics, Intuitive Physics, Safety

I. Main Problem:

Các benchmark đánh giá vật lý trực quan hiện có đều bị động: chỉ hỏi đáp trên video (VQA) hoặc xét các tác vụ dài hạn, có chủ đích như navigation/rearrangement. Không benchmark nào kiểm tra liệu MLLM có thể chuyển hiểu biết vật lý thành hành động tức thời, mang tính an toàn sống còn — ví dụ đỡ chiếc đĩa trượt khỏi tay, né con dao đang rơi. Hậu quả:

• Một model chọn đúng đáp án trắc nghiệm vẫn có thể đứng chôn chân trước nguy hiểm hoặc chọn đúng hành động nhưng đưa tay lệch điểm chạm cả mét.
• Không có cách nào định vị lỗi: nhận diện sai, chọn sai dù hiểu đúng, hay dự đoán sai điểm chạm.

II. Main Idea:

ReactHuman dùng giao thức freeze-and-predict: mô phỏng vật lý đầy đủ của một sự cố gia đình bất ngờ chạy đến khoảnh khắc quyết định rồi đóng băng; model nhận ~0.6s video từ tối đa 3 camera và phải xuất một kế hoạch phản ứng cấu trúc (lệnh đi bộ + quỹ đạo keyframe bàn tay), từ đó suy ra hành động Catch/Dodge/No-Action.

• Mọi quyết định được thực thi vật lý: MLLM làm "não", controller RL pretrained làm "tủy sống", humanoid Unitree G1 làm "cơ thể" — nên hậu quả vật lý quan sát được, không chỉ là đáp án giấy.
• 17 họ sự kiện (rơi, trượt, lật, đu, nảy, phản ứng dây chuyền...) và vật phản đối (búa tạ bằng xốp, quả táo bằng thép) tách biệt ngoại hình khỏi vật lý.
• Ground truth chính xác tuyệt đối từ mô phỏng 240Hz; pipeline LLM lập kế hoạch ngữ nghĩa + randomizer theo seed sinh cảnh bit-for-bit tái lập, mở rộng được quá 10^4 cảnh không cần gán nhãn.

Ví dụ đời thường: giống bài thi bằng lái xe thật thay vì trắc nghiệm lý thuyết — thay vì khoanh tròn "nên phanh", thí sinh phải thật sự ngồi vào xe, đạp phanh, và kết quả là xe dừng đúng hay đâm vào vật cản được ghi lại trực tiếp.

III. Main Results:

• Đánh giá 7 MLLM (Claude Opus 4.8, GPT-5.5, Gemini 2.5 Flash, Kimi K2.6, Qwen3-VL-235B/30B, Gemma-3-27B) trên 306 cảnh, 2.138 quyết định.
• An toàn phản ứng còn rất xa: models xử lý sai khoảng 1/3 số nguy hiểm; trên cảnh đúng là Dodge, 35.9% quyết định vi phạm luật an toàn (chủ yếu là đứng im chịu chết — 253/392 lỗi).
• Mỗi model có một "tính khí" cố định: 6/7 model thiên về lùi/né và làm tốt cảnh Dodge, hỏng cảnh Catch; Claude ngược lại (bắt tốt 67% nhưng dám đỡ cả vật nguy hiểm). Không model nào điều chỉnh hành vi theo cảnh.
• Lớn hơn không an toàn hơn: Gemma-3-27B (nhỏ, mở) đứng thứ 2 về accuracy (62.4%) và đứng đầu an toàn (88.2%), trong khi Claude Opus 4.8 — flagship mạnh nhất — là kém an toàn nhất (64.7%).
• Chọn đúng vẫn chạm trượt: dù đúng hành động, tay lệch trung vị 0.48m so với điểm rơi thật; 89% cú trượt thiếu vì model không chịu bước tới.
• Tốc độ bị đọc nhị phân: vật chậm bị coi như "không có gì xảy ra" (đứng im 42% vs 21%), dù chuyển động nhìn rõ trong video.
• Vật phản đối hoàn toàn đánh lừa: trong 280 quyết định, không model nào nghi ngờ vật liệu/trọng lượng — búa tạ xốp bị né y như búa tạ thật; vật lý được gán theo ngoại hình và không bao giờ được hiệu chỉnh từ chuyển động quan sát được.
• Ensemble không cứu được: 7 model chỉ đồng thuận 16% cảnh; bỏ phiếu đa số (62.1%) không vượt model đơn tốt nhất.

IV. Conclusion & Future Works:

ReactHuman chuyển đánh giá vật lý từ trả lời câu hỏi bị động sang ra quyết định phản ứng mang tính an toàn, với 5 metric trên 3 trục (hợp lý — an toàn — vững vật lý) cho phép định vị chính xác lỗi: đóng băng trước nguy hiểm đòi hỏi safety-constrained decoding, tính khí cố định đòi hỏi huấn luyện cặp catch+dodge, phán đoán theo ngoại hình đòi hỏi supervision dựa trên chuyển động — và không lỗi nào thu nhỏ khi tăng scale. Hướng mở rộng: đánh giá closed-loop với chu kỳ quan sát–hành động lặp lại, thêm sự kiện vải/chất lỏng, và thả các chính sách VLA native vào cùng harness; kết quả cũng cần kiểm chứng trên phần cứng thật vì ground truth đến từ mô phỏng vật rắn.

V. Brainstorming Space:

1. Publish Papers:

1. Đánh giá các VLA policy (π0, OpenVLA) trên cùng harness ReactHuman để so sánh trực tiếp MLLM-zero-shot với chính sách được fine-tune end-to-end về an toàn phản ứng và độ chính xác điểm chạm.
2. Phương pháp huấn luyện safety-constrained decoding cho MLLM embodied: tinh chỉnh xác suất hành động theo luật an toàn (không đỡ vật nguy hiểm, không đứng im trước mối đe dọa) và đo hiệu quả trên ReactHuman.
3. Kỹ thuật motion-grounded supervision giúp model hiệu chỉnh phán đoán vật liệu/trọng lượng từ động lực học quan sát được thay vì ngoại hình, đặc biệt trên các vật phản đối appearance–physics.
4. Mở rộng benchmark sang closed-loop: quan sát liên tục, tái lập kế hoạch giữa chuyển động, và sự kiện phi-vật-rắn (vải, chất lỏng, vỡ) để gần hơn với điều kiện robot gia đình thật.

2. Patent:

1. Hệ kiểm thử an toàn tự động cho robot hộ trợ gia đình: mô phỏng sự cố vật lý (vật rơi, đồ đổ), đóng băng tại thời điểm nguy hiểm, gửi video qua app điện thoại cho model AI ra quyết định rồi thực thi trên robot ảo để xác minh robot né/đỡ đúng trước khi bàn giao khách hàng.
2. Tính năng bảo vệ an toàn theo thời gian thực trên điện thoại/robot: camera quan sát môi trường, khi phát hiện vật nguy hiểm đang lao tới người dùng (dao rơi, kệ đổ), hệ thống cảnh báo và đề xuất hành động né/đỡ dựa trên mô phỏng quỹ đạo vật lý, đo khoảng cách điểm chạm để tính giờ phản ứng.
3. Module nhận diện vật liệu động cho tay máy: thay vì tin ngoại hình, robot ghi lại vài khung hình chuyển động của vật (lăn, nảy, rơi) trên camera điện thoại, suy ra khối lượng/độ cứng thật từ động lực học quan sát được rồi quyết định cầm hay né — tránh bị đánh lừa bởi đồ giả.
4. Bộ chấm điểm phản xạ vật lý cho trợ lý AI: mỗi quyết định của model được chấm trên ba trục hợp lý/an toàn/chạm đúng điểm bằng ground truth từ mô phỏng vật lý 240Hz, dùng làm tín hiệu huấn luyện và chứng nhận an toàn cho model triển khai trong nhà.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.10895
ArXiv Abstract	https://arxiv.org/abs/2609.10895
PDF Download	https://arxiv.org/pdf/2609.10895.pdf
Github Repository	N/A

---

9. Occamy-1.0: Open Pareto-frontier 35B Intelligence for Co-work (24 votes)

Tác giả: Wenhui Chen, Shiwen Cheng, Hao Dong, Chenda Duan, Ruixiang Feng, et al.

Xuất bản lúc: 2026-09-04

Tag: Co-work Agents, Agentic Post-training, Reinforcement Learning, Model Merging, Tool Use, Cost Efficiency, Qwen, Long-horizon Agents

I. Main Problem:

Tác tử co-work phải làm việc số nhiều bước theo hướng dẫn của người dùng: tra thông tin, gọi API, sửa file, chạy code, đọc kết quả, phục hồi lỗi rồi hoàn tất một nhiệm vụ nghiệp vụ. Vấn đề là chi phí và độ trễ cộng dồn qua hàng chục đến hàng trăm lần gọi mô hình, trong khi không phải bước nào cũng cần suy luận frontier; nhiều bước chỉ cần theo dõi trạng thái, phối hợp công cụ, phục hồi và đi tới cuối công việc. Thử thách kỹ thuật lớn là continuity dài hạn: lịch sử hội thoại có thể bị tóm tắt, cắt tỉa hoặc viết lại, nhưng trạng thái môi trường vẫn tiếp tục tồn tại, nên mô hình phải học trên đúng những gì nó đã quan sát và sinh ra.

II. Main Idea:

Occamy-1.0 lấy checkpoint post-trained Qwen3.6-35B-A3B rồi huấn luyện thêm theo hướng execution-grounded thay vì chỉ tối đa benchmark đơn lẻ. Hệ thống gồm ba lớp:

• Data và environments có thể chạy được: mỗi nhiệm vụ là một hợp đồng thực thi gồm yêu cầu công khai, trạng thái thế giới ban đầu, công cụ và hợp đồng chấm điểm riêng; hai đường tổng hợp là environment-first và capability-first cùng qua cổng kiểm chứng feasibility, alignment, discoverability và khả năng phân biệt đúng/sai.
• Hạ tầng multi-harness: chạy qua OpenClaw, Hermes và Accio Work bằng adapter giữ ngữ nghĩa prompt, tool, rewrite, session; ghi lại token-exact trajectory bằng TiTO và state replay để tái dựng files, service và snapshot trạng thái, giữ lineage xuyên suốt history rewrite và subagent run.
• Công thức post-training chia giai đoạn: huấn luyện Marathon Expert cho thực thi kéo dài bằng SFT rồi HDPO; huấn luyện Sprint Expert trên phân bố tác vụ agentic ngắn hơn rộng hơn; model merging hai expert; cuối cùng áp SAO RL trên hỗn hợp co-work rộng để củng cố khả năng thực thi tổng thể.

Ví dụ đời thường: giống như đào tạo một trợ lý văn phòng không bằng cách cho đọc sổ tay, mà đưa vào nhiều phòng ban có bàn làm việc, hồ sơ, máy in và quy trình khác nhau; ghi lại chính xác từng lần bấm nút và trạng thái hồ sơ, rồi kết hợp kỹ năng làm việc dài hơi không đứt đoạn với kỹ năng xử lý nhanh nhiều loại việc.

III. Main Results:

• Trên các benchmark co-work như Claw-Eval, WildClawBench, CommerceAgentBench và Business Arena, Occamy-1.0 nằm nhất quán trong nhóm mạnh nhất ở cỡ tương đương và vẫn cạnh tranh với một số hệ thống frontier lớn hơn trên một số tác vụ.
• Điểm aggregate trên bốn benchmark đại diện đặt mô hình gần low-cost knee của cost–performance Pareto frontier theo giao thức đánh giá và pricing được nêu trong báo cáo.
• So với checkpoint xuất phát Qwen3.6-35B-A3B, Occamy đạt tăng capability lớn với chỉ thay đổi tương đối nhỏ về chi phí suy luận mỗi task.
• Các đánh giá hỗ trợ về tool calling, coding và instruction following cho thấy việc chuyên hóa cho co-work không làm sụp đổ năng lực agentic rộng hơn.
• Nhóm phát hành model weights và một phần dữ liệu huấn luyện để hỗ trợ nghiên cứu về co-work agents và agentic post-training.

IV. Conclusion & Future Works:

Bài báo chứng minh rằng một mô hình 35B compact có thể dịch Pareto frontier cho co-work nếu kết hợp ba thứ: dữ liệu gắn với môi trường chạy thật, hạ tầng ghi và replay đúng token/trạng thái, và công thức huấn luyện chuyên hóa rồi hợp nhất rồi củng cố bằng RL. Hướng đi hữu ích tiếp theo gồm: mở rộng coverage tác vụ và môi trường, giảm reward hacking/false progress, cải thiện transfer giữa các harness, tối ưu latency và độ tin cậy khi triển khai tự host, đồng thời giữ chuẩn audit lineage để các episode dài vẫn kiểm chứng được.

V. Brainstorming Space:

1. Publish Papers:

1. Phát triển chuẩn executable task contract cho co-work: đặc tả yêu cầu, trạng thái thế giới, công cụ và chấm điểm thành một gói có version, có thể kiểm chứng chạy được trước khi đưa vào SFT hoặc RL.
2. Nghiên cứu schema token-exact trajectory và state replay liên harness để huấn luyện agent dài hạn, trong đó history rewrite là ranh giới segment chứ không kết thúc episode.
3. Đánh giá phương pháp chuyên hóa-hợp nhất-củng cố cho agentic RL, đặc biệt cách tránh reward hacking bằng state fingerprint, negative execution và admission kiểm chứng kết quả cuối task.

2. Patent:

1. Trợ lý doanh nghiệp trên điện thoại thực hiện việc nghiệp vụ nhiều bước: khi người dùng yêu cầu cập nhật khách hàng, đơn hàng hoặc hồ sơ tài chính, hệ thống mở đúng ứng dụng, đọc tài liệu, gọi dịch vụ, ghi nhận trạng thái và tự phục hồi nếu một bước thất bại.
2. Hệ thống tự host cho công ty nhỏ chạy tác tử số: một máy chủ nội bộ quản lý quyền truy cập file, email, bảng tính và API, ghi lại toàn bộ hành động theo chuỗi có thể phát lại để kiểm toán sau này.
3. Công cụ đào tạo nhân viên số bằng môi trường thử việc ảo: doanh nghiệp tạo bản sao quy trình làm việc, cho agent luyện qua nhiều kịch bản lỗi, rồi chỉ giữ lại các chuỗi hành động được chấm điểm hợp lệ để cập nhật mô hình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2609.11977
ArXiv Abstract	https://arxiv.org/abs/2609.11977
PDF Download	https://arxiv.org/pdf/2609.11977.pdf
Github Repository	https://github.com/Accio-Lab/occamy

---

10. PLC-DPO: Posterior Label Correction in Noisy and Ambiguous Preference Optimization (24 votes)

Tác giả: Boryeong Cho, Sumyeong Ahn, Se-Young Yun

Xuất bản lúc: 2026-08-31

Tag: DPO, RLHF, LLM Alignment, Preference Optimization, Noisy Labels, Robust Training

I. Main Problem:

DPO giả định mọi nhãn preference quan sát được đều đáng tin cậy tuyệt đối, nhưng dữ liệu thực tế vi phạm giả định này:

• Nhãn bị đảo chiều do người annotate bất đồng, bias của model-judge, hoặc các manh mối nông như độ dài/cách diễn đạt tự tin.
• Nhiều cặp thực ra mơ hồ (hai câu trả lời ngang nhau, hoặc chênh lệch quá nhỏ) nên không mang tín hiệu nhị phân ổn định.

Hệ quả: DPO củng cố trực tiếp hướng tối ưu sai khi gặp nhãn nhiễu hoặc không phân hướng. Các phương pháp hiện có chỉ xử lý gián tiếp: giả định tỉ lệ nhiễu toàn cục (robust loss), loại bỏ dữ liệu đáng ngờ (lãng phí tín hiệu hữu ích), hoặc ước lượng chất lượng tuyệt đối từng câu trả lời (không tác động trực tiếp lên hướng pairwise mà DPO tối ưu).

II. Main Idea:

Posterior Label Correction DPO (PLC-DPO) coi nhãn của mỗi cặp preference như một trạng thái tiềm ẩn s ∈ {clean, flip, tie} và chỉnh sửa nhãn trực tiếp trong quá trình huấn luyện:

• clean: củng cố hướng quan sát được (forward DPO).
• flip: đảo ngược hướng (reversed DPO).
• tie: không gây gradient phân hướng mạnh (tie-regularizing loss dạng softplus(|m|)).

Cơ chế routing: dùng policy-reference margin (đúng đại lượng DPO dùng), detach gradient, chuẩn hóa bằng EMA của mean/variance theo batch để ra calibrated margin z. Từ z tính ba energy score (z/τdir cho clean, −z/τdir cho flip, −|z|/τtie cho tie), softmax thành trọng số routing (q_clean, q_flip, q_tie). Loss cuối cùng là hỗn hợp có trọng số của ba loss trạng thái, pha trộn với DPO chuẩn qua warm-up schedule và confidence gate (ưu tiên các gán trạng thái tự tin, hoãn các gán mập mờ). Không cần supervision bổ sung.

Ví dụ đời thường: giống người chấm bài thi nghi ngờ đáp án của đề — thay vì bỏ luôn bài đó, họ xem lại bài làm để quyết định: chấm đúng đề (clean), đảo đáp án (flip), hoặc xem hai bài ngang nhau và không trừ điểm ai (tie).

III. Main Results:

• 57 ô dataset–model–benchmark: PLC-DPO đạt mean win rate cao nhất 60.5 so với 55.5 của phương pháp tốt thứ hai (rDPO); worst-cell 41.2, đứng thứ hai.
• Trên UltraFeedback sạch: mean win rate 60.7/21 ô, vượt ROPO (59.6); các baseline còn lại ≤ 50.2.
• Stress test nhiễu nhãn (flip 5–30%): PLC-DPO mạnh nhất ở mọi mức nhiễu, ví dụ ở η=0.05 đạt 66.88 win rate so với 55.62 của ROPO trên Vicuna/Qwen2.5-1.5B.
• Stress test tie: khi thay 30% cặp bằng cặp điểm bằng nhau, PLC-DPO đạt 68.5 so với 51.6 của RE-PO; lợi thế tăng từ +8.3 lên +18.5 điểm khi tỉ lệ tie tăng.
• Diagnostic routing: khi nhiễu tăng, khối lượng routing dịch từ q_clean (0.676→0.495) sang q_flip (0.265→0.470); q_tie cao hơn rõ rệt ở 20% cặp yếu nhất so với 20% cặp mạnh nhất; trên MultiPref, q_tie tăng dần từ cặp nhất trí (0.081) → bất đồng (0.090) → tie-đa số (0.099).
• Ablation: bỏ flip state và bỏ warm-up/gate gây sụt giảm lớn nhất; bỏ tie state hoặc EMA gần giữ nguyên hiệu suất.
• Validation bằng judge thương mại (Claude Sonnet 4.6) xác nhận kết quả không phụ thuộc reward model mở.

IV. Conclusion & Future Works:

PLC-DPO đưa ra khung correction thay vì selection/filtering: sửa trực tiếp nhãn cặp mà DPO tiêu thụ, khai thác cả thông tin từ các cặp bị đảo mà các phương pháp lọc bỏ bỏ phí. Khi routing không tự tin (dữ liệu quá nhỏ, model under-trained), phương pháp tự động thoái về DPO chuẩn một cách an toàn. Gains lớn nhất khi margin policy–reference đủ thông tin, tức model nền càng mạnh càng hưởng lợi.

Hạn chế & hướng tương lai: routing dựa vào margin của policy hiện tại nên có thể mang bias hệ thống nếu policy và reference chia sẻ lỗi chung; cần warm-up dài hơn/calibration thích ứng hơn dưới distribution shift. Tương lai: nghiên cứu bảo đảm lý thuyết về routing error, EMA adaptation và gating dưới động lực học policy–routing đồng tiến hóa.

V. Brainstorming Space:

1. Publish Papers:

1. Mở rộng clean/flip/tie routing sang các hàm mục tiêu preference khác (KTO, SimPO, ORPO) để kiểm chứng tính tổng quát của khung posterior label correction.
2. Kết hợp margin-based routing với tín hiệu bên ngoài (reward model độc lập, đa judge) để giảm self-confirmation bias khi policy và reference chia sẻ lỗi hệ thống.
3. Nghiên cứu lý thuyết độ hội tụ và sai số routing của EMA-calibrated posterior gating trong bài toán latent-label learning cho preference optimization.
4. Áp dụng tư tưởng label-correction routing cho dữ liệu đa phương thức (hình ảnh, âm thanh) nơi nhãn preference cũng thường xuyên mơ hồ hoặc bị đảo.

2. Patent:

1. Hệ thống huấn luyện chatbot trên điện thoại với dữ liệu phản hồi người dùng nhiễu: ứng dụng tự phân loại mỗi cặp phản hồi thành tin cậy/đảo/mơ hồ dựa trên độ lệch giữa model hiện tại và model tham chiếu, tự động đảo hướng học cho cặp bị đánh giá sai và trung hòa cặp ngang nhau — giúp cá nhân hóa trợ lý AI mà không cần kiểm duyệt thủ công từng phản hồi.
2. Dịch vụ crowdsourcing gán nhãn preference có kiểm soát chất lượng thời gian thực: khi hai người gán nhãn mâu thuẫn nhau, hệ thống dùng routing trạng thái để quyết định nhãn nào nên đảo, nhãn nào nên xem là hòa, cập nhật bộ dữ liệu huấn luyện ngay trong phiên làm việc thay vì loại bỏ dữ liệu.
3. Cơ chế chống 'thao túng đánh giá' trong ứng dụng AI trên mobile: phát hiện và đảo chiều các cặp preference bị nhiễu do người dùng cố tình chấm sai hoặc do bias độ dài câu trả lời, bảo vệ quá trình fine-tune khỏi việc củng cố hành vi không mong muốn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2608.30597
ArXiv Abstract	https://arxiv.org/abs/2608.30597
PDF Download	https://arxiv.org/pdf/2608.30597.pdf
Github Repository	https://github.com/VennTum99/PLC-DPO