Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-08-26

Báo cáo được tạo tự động vào lúc 2026-08-27 10:15:32 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture (92 votes)​

Tác giả: GigaBrain Team, Angen Ye, Axiang Sun, Can Jin, Chenxi Cheng, et al.

Xuất bản lúc: 2026-08-16

Tag: Vision-Language-Action, Embodied AI, World Model, Flow Matching, Multi-embodiment Learning, Robot Foundation Model

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) hiện tại chủ yếu phản ứng theo quan sát hiện tại và chỉ dẫn ngôn ngữ, nên gặp khó khi mở rộng lên dữ liệu đa dạng hơn và khái quát hóa qua nhiều hình thái robot khác nhau. Cụ thể:

  • Dữ liệu robot khác biệt lớn về bậc tự do, không gian hành động và điều kiện thực thi; nếu không căn chỉnh đúng, đa dạng hóa thành nhiễu thay vì tri thức chuyển giao.
  • Hầu hết VLA thiếu cơ chế dự đoán trạng thái tương lai và đánh giá tiến độ nhiệm vụ, nên khó xử lý tác vụ dài hạn và thích ứng với tình huống mới.

II. Main Idea:​

GigaBrain-0.7 tổ chức mô hình thành kiến trúc ba hệ thống và huấn luyện đồng thời (one-stage) trên dữ liệu đa hình thái khổng lồ:

  • System 2 (Understanding & Planning): dùng Vision Language Model để hiểu quan sát, theo dõi tiến độ và phân rã chỉ dẫn dài thành các bước con qua hierarchical prompts.
  • System 3 (Prediction & Evaluation): dùng world model dự đoán ảnh trạng thái tương lai (subgoal images) và ước lượng giá trị trạng thái, cung cấp điều kiện cho System 1.
  • System 1 (Action & Control): sinh chuỗi hành động liên tục qua flow matching, có embodiment-aware action expert xử lý các bậc tự do và chế độ điều khiển khác nhau.

Ba hệ thống giao tiếp qua các giao diện ngữ nghĩa, hình ảnh và giá trị, trong khi vẫn giữ mục tiêu chuyên biệt. Huấn luyện one-stage tối ưu đồng thời VLM backbone, action expert liên tục và các mục tiêu đa phương thức, thay vì chia thành nhiều giai đoạn rời rạc. Soft Knowledge Insulation điều tiết gradient hành động vào backbone VLM thay vì chặn hoàn toàn, giúp thích ứng với điều khiển robot mà vẫn giữ khả năng vision-language.

Ví dụ đời thường: giống như một bếp trưởng đọc công thức và chia nhỏ thành các bước (System 2), một phụ bếp hình dung món ăn sẽ trông thế nào khi hoàn thành và ước lượng đang làm đến đâu (System 3), còn đầu bếp chính dùng tay nghề thực hiện chính xác từng động tác nấu (System 1) — cả ba trao đổi thông tin ngắn gọn thay vì hét cả công thức vào nhau.

III. Main Results:​

  • Quy mô dữ liệu: 37.256,98 giờ dữ liệu quỹ đạo robot sau làm sạch, bao gồm real robot (55,12%), UMI (22,15%), EGO (7,68%), simulation (3,90%) và world-model-generated (11,15%), cùng 271.976.674 mẫu VLM image-text/QA.
  • Đa hình thái: bao phủ 16 loại robot (Maker H01, AgileX, Agibot-G1, Franka, UR5, Unitree G1edu, v.v.) và nhiều tác vụ gia đình + công nghiệp.
  • Hiệu suất: vượt trội so với GigaBrain-0 series và π0.5 ở zero-shot foundation capability, language-conditioned instruction following và post-training task success rates.
  • Thực nghiệm thật: hoàn thành tốt trên nền tảng Maker H01 và AgileX PiPER/PiPER-X trong các tình huống zero-shot, multi-task, OOD generalization và long-horizon manipulation.
  • Scaling law: tăng quy mô dữ liệu liên tục giảm validation loss và làm các hành vi robot khó trở nên đáng tin cậy hơn; các ablation của System 3 cho thấy dấu hiệu emergent embodied capabilities.

IV. Conclusion & Future Works:​

GigaBrain-0.7 chứng minh rằng việc kết hợp ba hệ thống chuyên biệt (hiểu-lập kế hoạch, dự đoán-đánh giá, hành động-điều khiển) với huấn luyện một giai đoạn trên dữ liệu đa hình thái quy mô lớn giúp VLA khái quát hóa tốt hơn và xuất hiện các khả năng embodied mới. Hướng tương lai:

  • Mở rộng quy mô dữ liệu và số lượng hình thái robot hơn nữa.
  • Phát triển vòng lặp world model – policy tự cải thiện lẫn nhau (closed-loop refinement).
  • Tích hợp chặt chẽ hơn reinforcement learning từ rollout thật và phản hồi sửa lỗi của con người.
  • Đánh giá triển khai trong các miền ứng dụng thực tế như nhà máy và dịch vụ gia đình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kiến trúc ba hệ thống (Understanding-Planning, Prediction-Evaluation, Action-Control) như một framework thống nhất cho các mô hình embodied foundation.
  2. Quy luật mở rộng (scaling laws) của việc huấn luyện đồng thời dữ liệu đa hình thái robot với mục tiêu vision-language và action generation.
  3. Soft Knowledge Insulation: cơ chế điều tiết gradient giữa action expert và VLM backbone để cân bằng giữa bảo toàn khả năng VLM và thích ứng điều khiển robot.
  4. World model-conditioned VLA: sử dụng ảnh subgoal tương lai và tín hiệu giá trị để cải thiện policy học và thực thi tác vụ dài hạn.

2. Patent:​

  1. Hệ thống điều khiển robot công nghiệp dựa trên ba module: module hiểu-lập kế hoạch phân rã nhiệm vụ, module dự đoán-đánh giá tạo ảnh subgoal và ước lượng tiến độ, module điều khiển sinh chuỗi hành động liên tục qua flow matching.
  2. Ứng dụng điện thoại điều khiển robot gia đình: người dùng nói/yêu cầu bằng ngôn ngữ tự nhiên; điện thoại đóng vai trò System 2 để phân rã chỉ dẫn, System 3 dự đoán kết quả, System 1 điều khiển robot thực hiện tác vụ như dọn bàn, lấy đồ, pha trà.
  3. Nền tảng huấn luyện robot đa hình thái: pipeline xử lý dữ liệu đồng nhất chuyển đổi nhiều định dạng robot về LeRobot v3.0, chuẩn hóa state/action và sinh annotation ngôn ngữ tự động để một policy có thể học từ nhiều loại phần cứng khác nhau.
  4. Robot hỗ trợ người cao tuổi/tật nguyện với khả năng dự đoán subgoal hình ảnh: trước mỗi động tác, robot hiển thị/hình dung trạng thái đích tiếp theo để người dùng xác nhận, tăng an toàn và minh bạch trong tương tác.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.15875
ArXiv Abstracthttps://arxiv.org/abs/2608.15875
PDF Downloadhttps://arxiv.org/pdf/2608.15875.pdf
Github Repositoryhttps://github.com/open-gigaai/giga-brain-0

2. Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs (91 votes)​

Tác giả: Yunheng Li, Guohong Mu, Hao Li, Shengsheng Qian, Dingwen Zhang, et al.

Xuất bản lúc: 2026-08-20

Tag: MLLMs, Reinforcement Learning, Video Understanding, GRPO, Multimodal LLMs

I. Main Problem:​

Huấn luyện hậu kỳ các Video Multimodal Large Language Models (Video MLLMs) trên dữ liệu đa tác vụ gặp khó khăn lớn:

  • Supervised Fine-Tuning (SFT) chỉ bắt chước định dạng đầu ra, không phân biệt được dự đoán gần đúng với hoàn toàn sai.
  • Các phương pháp RL hiện tại như GRPO chỉ dùng chú thích làm thước đo điểm cho các rollout on-policy, nhưng các rollout này hiếm khi khớp chính xác khoảng thời gian, hộp, mặt nạ hay quỹ đạo trong chú thích.
  • Chain-of-Thought (CoT) kéo dài mỗi rollout, làm tăng chi phí huấn luyện và suy luận mà không mang lại lợi ích rõ ràng, thậm chí có thể giảm hiệu suất.

Như vậy, nút thắt chính là hiệu quả mẫu (sample efficiency): thêm dữ liệu huấn luyện dưới các paradigm hiện hành mang lại lợi ích không đáng kể hoặc gây suy giảm.

II. Main Idea:​

OraRL (Annotation-as-Rollout RL) coi mỗi chú thích như một oracle rollout được nối vào nhóm rollout on-policy, biến chú thích thành mục tiêu tích cực tin cậy thay vì chỉ là tham chiếu chấm điểm.

Tuy nhiên, việc trộn oracle trực tiếp vào nhóm gây ra advantage inversion: phần thưởng oracle cao làm tăng baseline, khiến các rollout on-policy tốt hơn trung bình policy nhưng thấp hơn baseline bị gán advantage âm, dập tắt sự khám phá. OraRL khắc phục bằng ước lượng advantage tách rời:

  • Baseline chỉ từ rollout on-policy, giữ nguyên so sánh tương đối giữa các policy rollout.
  • Oracle-policy gap được mã hóa thành hai thành phần riêng: directional gain khuếch đại các rollout trên trung bình, và detached oracle advantage là mục tiêu rời rạc có trọng số giảm dần khi policy tiến gần oracle.
  • Sign-balanced pruning giữ lại oracle cùng số lượng rollout dương và âm mạnh nhất, rồi hiệu chỉnh moment để tránh lệch gradient.

Ví dụ đời thường: giống như một lớp học làm bài kiểm tra — nếu đưa đáp án của giáo viên vào tính điểm trung bình, nhiều học sinh khá sẽ bị đánh giá thấp một cách bất công. Thay vào đó, nên xếp hạng học sinh với nhau, rồi dùng đáp án của giáo viên như một mục tiêu tham khảo riêng để những bài làm trên trung bình học hỏi thêm, còn những bài dưới trung bình bị điều chỉnh.

III. Main Results:​

  • Hiệu quả tính toán: OraRL chỉ cần 2.2× thời gian mỗi bước so với SFT, ít hơn một nửa so với 4.9× của GRPO có CoT; inference không CoT chỉ 130 ms thay vì 4.780 ms.
  • Nâng cao chất lượng đầu ra chính xác: so với các mô hình tốt nhất trước đó, Video-ORA-9B cải thiện temporal mIoU từ 62.5 lên 66.0, tracking AO từ 73.0 lên 78.2, segmentation từ 64.3 lên 70.4, và spatial-intelligence macro average từ 51.0 lên 56.1.
  • Vượt các mô hình proprietary trên VSI-Bench: đạt 73.1, so với 55.0 của GPT-5 và 55.1 của Gemini-3-Pro.
  • Dẫn đầu 7 nhóm tác vụ: temporal grounding, spatial grounding (R@0.5 trên tất cả 8 split RefCOCO), visual tracking, spatial-temporal grounding, segmentation, video QA, và spatial intelligence.
  • Khả năng mở rộng: Video-ORA cải thiện đều trên các quy mô từ 0.8B đến 9B và vượt GRPO trên mọi ngân sách dữ liệu đã đánh giá lên đến 100.000 prompts.
  • Tổng quát hóa backbone: OraRL vượt SFT và GRPO trên cả Qwen3-VL-8B lẫn Qwen3.5-9B mà không cần tinh chỉnh riêng.

IV. Conclusion & Future Works:​

OraRL thiết lập nguyên tắc annotation-as-rollout như một cách tiếp cận RL hiệu quả và có khả năng mở rộng cho việc nhận thức video thống nhất. Bằng cách tách biệt baseline on-policy với hướng dẫn oracle, phương pháp loại bỏ advantage inversion và cho phép huấn luyện nhanh hơn, suy luận nhanh hơn mà không cần CoT. Hướng tương lai: áp dụng annotation-as-rollout cho các trường hợp phần thưởng thưa hoặc không phải hình học, kết hợp với chiến lược khám phá chủ động để chọn oracle có ích nhất, và phân tích lý thuyết về tính ổn định của ước lượng advantage tách rời.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng OraRL cho các tác vụ phần thưởng thưa hoặc câu trả lời mở, trong đó oracle có thể không phải là mục tiêu hình học duy nhất mà còn là lý luận đa bước.
  2. Kết hợp annotation-as-rollout với active learning để chọn prompt và oracle có giá trị thông tin cao nhất, giảm ngân sách dữ liệu RL xuống hơn nữa.
  3. Nghiên cứu lý thuyết về điều kiện hội tụ và tính ổn định của advantage estimator tách rời oracle dưới các giả định về phân phối phần thưởng policy.

2. Patent:​

  1. Ứng dụng tìm kiếm sự kiện trong video trên điện thoại: người dùng mô tả một khoảnh khắc; mô hình Video-ORA không cần suy luận dài vẫn định vị thời điểm chính xác trong video dài, tiết kiệm pin và thời gian chờ.
  2. Hệ thống hỗ trợ lái xe hoặc AR điều hướng: phân tích video từ camera thiết bị theo thời gian thực để xác định khoảng cách, hướng và quan hệ không gian giữa các vật thể mà không cần tạo chuỗi suy luận dài trên thiết bị di động.
  3. Công cụ ghi chú video thông minh cho người dùng di động: tự động trích xuất, phân đoạn và theo dõi đối tượng theo mô tả ngôn ngữ, rồi tạo highlight hoặc ảnh chụp đúng khung hình để chia sẻ nhanh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.20492
ArXiv Abstracthttps://arxiv.org/abs/2608.20492
PDF Downloadhttps://arxiv.org/pdf/2608.20492.pdf
Github Repositoryhttps://github.com/HVision-NKU/OraRL

3. WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report (57 votes)​

Tác giả: Junjie Zhou, Ke Mei, Lei Li, Tianyi Wang, Fengyun Rao, et al.

Xuất bản lúc: 2026-08-25

Tag: Multimodal Embedding, Vision-Language Models, Contrastive Learning, Knowledge Distillation, Representation Learning, Retrieval, Recommendation

I. Main Problem:​

Các mô hình embedding đa phương thức trước đây không đủ tổng quát cho nội dung hiện đại:

  • CLIP-style dùng encoder riêng cho từng phương thức, khó xử lý văn bản–hình ảnh xen kẽ, truy vấn kết hợp, hoặc video kèm transcript.
  • Các mô hình dựa trên MLLM mới nổi hứa hẹn nhưng thiếu chiến lược huấn luyện quy mô lớn + tinh chỉnh chất lượng cao để đạt hiệu suất thực tế trên nhiều tác vụ (retrieval, recommendation, classification, agent).

II. Main Idea:​

WeMM-Embedding xây dựng một họ mô hình embedding đa phương thức thống nhất (2B/4B/9B) dựa trên Qwen3.5, dùng last-token pooling qua token <embedding> để thu vector đặc trưng cho bất kỳ tổ hợp text, image, video, visual document nào.

Quy trình huấn luyện hai giai đoạn:

  • Giai đoạn 1 – Broad alignment: huấn luyện trên vài trăm triệu cặp đa phương thức, đa tác vụ, đa miền theo định dạng pair chung (instruction, source, target, hard negatives, graded relevance).
  • Giai đoạn 2 – Refinement: dùng tập dữ liệu curated (~1/10 quy mô) với Semantic-ID resampling để cân bằng ngữ nghĩa, lọc chất lượng bằng MLLM, hard-negative enrichment, reranker supervision, và cross-scale knowledge distillation từ mô hình lớn hơn (9B làm teacher cho 2B/4B).

Mô hình còn hỗ trợ Matryoshka Representation Learning (MRL) để cắt ngắn chiều embedding linh hoạt mà chỉ cần một forward pass.

Ví dụ đời thường: giống như thư viện lớn đầu ấn phẩm lộn xộn (sách, ảnh, video, tài liệu) – trước tiên phân loại thô theo chủ đề lớn, sau đó thủ thư tinh chỉnh từng kệ, loại bỏ sách sai chỗ, thêm nhãn chi tiết và học hỏi từ thủ thư giàu kinh nghiệm để sắp xếp ngày càng chính xác.

III. Main Results:​

  • MMEB-v2 (78 datasets): WeMM-Embedding-2B đạt 77.9, vượt Qwen3-VL-Embedding-8B (77.8) và DME-Medium-9B (78.4). 4B đạt 79.2, 9B đạt 80.6, xếp #1 leaderboard MMEB-v2 (tính đến 24/08/2026).
  • MMEB-v3: 2B đạt 56.0, vượt các baseline so sánh; 4B 58.2, 9B 59.5, dẫn đầu cả nhóm Text và Agent.
  • Cross-modal retrieval: 2B cạnh tranh tốt với các mô hình proprietary trên bộ 12 benchmark công khai.
  • Thực tế WeChat: cải thiện rõ rệt trên 26-task in-house benchmark và 14 online A/B tests, đã triển khai quy mô lớn trong WeChat Channels, Official Accounts, Moments và dịch vụ thương mại điện tử.
  • Hiệu quả tham số: biến thể 2B nhỏ hơn vượt các baseline 8B, thiết lập ranh giới mới về trade-off hiệu suất–kích thước.

IV. Conclusion & Future Works:​

WeMM-Embedding chứng minh rằng kết hợp alignment quy mô lớn với curated fine-tuning + distillation xuyên quy mô có thể tạo ra embedding đa phương thức vừa tổng quát vừa chính xác trên nhiều tác vụ. Mô hình đã được mở trọng số và code.

Hướng tương lai:

  • mở rộng hỗ trợ audio và các phương thức không gian/3D
  • cải thiện hiệu quả để triển khai trên thiết bị biên/mobile
  • nghiên cứu distillation nhẹ và chiến lược thăm dò dữ liệu chủ động
  • phát triển công cụ giải thích không gian embedding đa phương thức

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng WeMM-Embedding sang âm thanh và dữ liệu 3D/spatial, xây dựng embedding thống nhất cho text-image-video-audio-3D.
  2. Nghiên cứu ảnh hưởng của prompt xen kẽ đa phương thức đến khả năng retrieval và reasoning trong các tác vụ agent.
  3. Phát triển phương pháp distillation hiệu quả hơn để thu nhỏ mô hình đa phương thức xuống thiết bị di động mà giữ hiệu suất.
  4. Khám phá kỹ thuật sinh dữ liệu và hard-negative mining tự động để giảm chi phí xây dựng corpus curated.

2. Patent:​

  1. Hệ thống tìm kiếm đa phương thức trên điện thoại: người dùng chụp ảnh, quay video hoặc gửi screenshot; ứng dụng embed nội dung và tìm kiếm xuyên qua sản phẩm, bài viết, liên hệ và lịch sử trò chuyện trong một không gian chung.
  2. Gợi ý nội dung video ngắn cá nhân hóa: hệ thống embed lịch sử xem video, hình ảnh đã tương tác và văn bản tìm kiếm để đề xuất nội dung tiếp theo một cách liền mạch trên nền tảng mạng xã hội.
  3. Trợ lý tài liệu hình ảnh trên di động: quét hóa đơn, biên lai hoặc tài liệu, kết hợp embedding hình ảnh và văn bản OCR để tự động phân loại chi phí, đối chiếu với cơ sở dữ liệu và cảnh báo sai lệch.
  4. Bộ nhớ cross-modal cho trợ lý AI: agent lưu trữ các tương tác qua ảnh chụp màn hình, lệnh đã chạy và đoạn chat; sau đó truy xuất lại ngữ cảnh bằng truy vấn kết hợp văn bản + hình ảnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.24053
ArXiv Abstracthttps://arxiv.org/abs/2608.24053
PDF Downloadhttps://arxiv.org/pdf/2608.24053.pdf
Github Repositoryhttps://github.com/Tencent/WeMM-Embedding

4. On-Policy Self-Distillation in Diffusion Models (50 votes)​

Tác giả: Wei Zhou, Xiongwei Zhu, Lingdong Kong, Bo Chen, Lei Zhang, et al.

Xuất bản lúc: 2026-08-25

Tag: Diffusion Models, Reinforcement Learning, Self-Distillation, Image Generation, Reward Optimization, On-Policy Learning, Flow Matching

I. Main Problem:​

Phương pháp reinforcement learning thường dùng endpoint reward — phần thưởng chỉ nhận được ở ảnh cuối cùng sau quá trình denoising — nên không chỉ rõ dự đoán trạng thái trung gian nên thay đổi như thế nào.

  • Cập nhật mô hình ở một bước denoising có thể làm xoay hoặc giảm hiệu quả ở các bước khác.
  • Các phương pháp hiện có như ReFL, FlowGRPO, DiffusionNFT hoặc dùng credit ngầm, hoặc chỉ hồi tiếp endpoint, khiến việc chẩn đoán lỗi ở giai đoạn nào bị che khuất.

II. Main Idea:​

DiffusionOPSD định khung huấn luyện diffusion như một vòng lặp on-policy self-distillation:

  • Behavior policy đóng băng sinh trajectory, cung cấp query state (trạng thái nhiễu thấp) và anchor là dự đoán clean-output tại đó.
  • Reward gradient xây dựng hai mục tiêu bị chặn: positive target (hướng tăng reward) và negative target (hướng giảm reward, dùng làm điểm đẩy).
  • Trainable policy fit hai mục tiêu này như supervision tách rời (stop-gradient), với ngân sách cập nhật hữu hạn.
  • Sau đó, behavior policy được làm mới qua EMA trước khi lặp lại.

Cơ chế tách biệt target construction và finite fitting cho phép đo lường riêng: mục tiêu có thực sự tốt hơn anchor không, và một bước fit có thực hiện được mục tiêu đó không.

Ví dụ đời thường: giống như thầy dạy lái xe đứng bên cạnh, chỉ tay rõ ràng hướng cần đánh lái (target), nhưng học viên chỉ được phép tập một lần rồi kiểm tra kết quả; nếu lái chưa đúng, thầy lại vẽ hướng mới dựa trên vị trí xe hiện tại, chứ không bắt học viên tự đoán mục tiêu từ điểm đích xa xôi.

III. Main Results:​

  • Thắng 19/20 setting so khớp reward trên hai backbone SD3.5-M và Z-Image-Turbo với 10 evaluator khác nhau.
  • Vượt phương pháp mạnh nhất lên tới +44.0% ở held-out score.
  • Giảm giờ GPU huấn luyện so với DiffusionNFT: -40% trên SD3.5-M và -63% trên Z-Image-Turbo.
  • Huấn luyện chung trên PickScore, CLIPScore, HPSv2.1: một policy duy nhất vượt DiffusionNFT trên cả ba reward và giữ phần lớn lợi ích của các chuyên gia riêng lẻ.
  • Thử nghiệm same-query cho thấy target có construction gain lớn hơn không chắc đã cho realized gain lớn hơn sau một bước fit, khẳng định cần đánh giá hai giai đoạn riêng.

IV. Conclusion & Future Works:​

DiffusionOPSD chứng minh on-policy self-distillation là cách hiệu quả và có thể phân tích để căn chỉnh diffusion model với reward cấp ảnh, bằng cách chuyển reward thành supervision trung gian tường minh và liên tục làm mới.

Hướng tương lai:

  • Khảo sát sâu hơn finite fitting gap và cách chọn ngân sách fit theo từng query.
  • Mở rộng cho các mô hình sinh video và các reward phức tạp hơn.
  • Tích hợp ước lượng uncertainty vào target construction để giảm phương sai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Ứng dụng on-policy self-distillation cho text-to-video: xây dựng positive/negative targets trên clean-output frames trung gian thay vì chỉ dựa reward ở clip cuối.
  2. Phân tích lý thuyết về finite fitting gap trong diffusion RL: điều kiện để construction gain chuyển hóa thành realized gain, và cách chọn norm/adaptive scaling tối ưu.
  3. Kết hợp DiffusionOPSD với value function hoặc critic để giảm số lượng rollout cần thiết cho mỗi outer iteration.

2. Patent:​

  1. Hệ thống tinh chỉnh mô hình sinh ảnh trên điện thoại theo sở thích người dùng: ứng dụng chụp ảnh tạo ra một số bản nháp, người dùng chấm điểm/chọn thích; điện thoại dùng reward đó xây positive/negative targets ở các bước denoising trung gian để cập nhật mô hình cục bộ mà không cần gửi ảnh gốc lên cloud.
  2. Công cụ tạo ảnh quảng cáo tự động theo thương hiệu: người dùng nhập mô tả thương hiệu, hệ thống sinh nhiều mẫu ảnh, dùng CLIP/aesthetic scorer làm reward để distil mô hình diffusion công ty, giảm thời gian và chi phí GPU so với fine-tuning truyền thống.
  3. Module chỉnh sửa ảnh chân dung theo phản hồi tức thì: ứng dụng chỉnh ảnh hiển thị vài biến thể khuôn mặt, người dùng vuốt chọn khuôn mặt đẹp hơn; reward từ lựa chọn đó được chuyển thành target cho các bước denoising giữa chừng, giúp mô hình học style cá nhân hóa nhanh hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.24646
ArXiv Abstracthttps://arxiv.org/abs/2608.24646
PDF Downloadhttps://arxiv.org/pdf/2608.24646.pdf
Github Repositoryhttps://github.com/worldbench/DiffusionOPSD

5. AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces (50 votes)​

Tác giả: Sungho Park, Wonjoong Kim, Rongyuan Tan, Jue Zhang, Wook-Shin Han, et al.

Xuất bản lúc: 2026-08-24

Tag: LLM Agents, Harness Optimization, Long-Horizon Tasks, Offline Learning, Agent Reliability

I. Main Problem:​

Các tác nhân LLM vẫn không đáng tin cậy trong tác vụ đa bước dài hạn, vì lỗi nhỏ cục bộ dồn dập tích lũy dẫn đến thất bại tổng thể. Mặc dù harness bên ngoài (lớp điều khiển bao quanh LLM) có thể tăng độ robust đáng kể, việc thiết kế và tinh chỉnh harness hiện tại vẫn thủ công, tốn kém, phải tìm kiếm trong không gian lớn gồm prompt, cấu hình tool và logic điều khiển. Đánh giá mỗi ứng viên lại tốn nhiều rollout, còn phân tích chuỗi hành động dài hạn rất phức tạp.

II. Main Idea:​

AutoSaddler khung tối ưu harness tự động theo phương pháp học ngoại tuyến (offline learning) qua các vết thực thi của tác nhân. Quy trình lặp:

  • đánh giá harness hiện tại trên mini-batch tác vụ huấn luyện
  • chẩn đoán sâu trace thất bại, xác định nguyên nhân gốc dựa trên bằng chứng
  • sinh patch có cấu trúc trên ba lớp: Prompt, Tool, Middleware, chia thành Capability Patch (sửa code/thực thi) và Steering Patch (sửa văn bản hướng dẫn)
  • xác minh cải thiện trên mini-batch và đánh giá khái quát trên dev set
  • rút kinh nghiệm vào EvoDAG, đồ thị có hướng không chu trình ghi lại lịch sử tiến hóa, rồi tổng hợp ứng viên kế tiếp

Khác với sửa lỗi từng trace, AutoSaddler tìm cập nhật bền vững (durable updates) áp dụng cho tương lai.

Ví dụ đời thường: giống như thợ máy sửa xe không chỉ thay bánh bị hỏng cho một chuyến đi, mà phân tích nguyên nhân rồi điều chỉnh cả hệ thống phanh/cân bằng để những chuyến sau đỡ hỏng.

III. Main Results:​

  • GAIA2: +9.0 pp so với base harness (53.0% → 62.0%), vượt GEPA/Meta-Harness tới +7.4 pp.
  • SWE-Bench Pro: +9.6 pp so với SWE-agent (37.3% → 46.9%), vượt baseline tự động mạnh nhất +6.2 pp (so với GEPA) và +11.6 pp (so với Meta-Harness).
  • Terminal-Bench 2.0: +10.0 pp so với Terminus 2 (40.0% → 50.0%), vượt cả bản tinh chỉnh thủ công Terminus KIRA +2.5 pp.
  • Hiệu quả rollout: đạt 72.3% trên dev GAIA2 chỉ với ~1.000 rollout, trong khi GEPA/Meta-Harness cần ~2.800 rollout và đỉnh thấp hơn; số trace dùng để học chỉ 147 so với 1.400 của Meta-Harness.
  • Ablation: bỏ chẩn đoán sâu → 57.8%, bỏ can thiệp có cấu trúc → 56.9%, bỏ lựa chọn dựa trên khái quát → 50.6% (sụt mạnh nhất).

IV. Conclusion & Future Works:​

Tối ưu harness tự động là hướng hứa hẹn để xây dựng tác nhân dài hạn đáng tin cậy hơn. AutoSaddler cho thấy ba yếu tố then chốt: chẩn đoán sâu, can thiệp có cấu trúc, và lựa chọn có ý thức khái quát. Hướng tương lai: mở rộng cho tác vụ có trạng thái liên tục, kết hợp tối ưu đồng thời harness và trọng số mô hình, và giảm chi phí tính toán/phía optimizer.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng EvoDAG thành cơ chế nhớ liên tục cho tác nhân tự học trong môi trường trạng thái phụ thuộc, không chỉ tác vụ độc lập.
  2. Kết hợp tối ưu harness với fine-tuning trọng số mô hình để đồng thời cải thiện cả kiến trúc điều khiển bên ngoài và khả năng sinh ra quyết định bên trong LLM.
  3. Phát triển chỉ số đánh giá regression sớm trên dev set để chặn patch gây hại nhanh hơn, giảm số rollout cần thiết cho giai đoạn xác minh.

2. Patent:​

  1. Công cụ tự động tinh chỉnh trợ lý ảo trên điện thoại: thu thập log lỗi khi người dùng dùng app, phân tích nguyên nhân và tự động cập nhật prompt/tool trong backend để lần sau ít lỗi hơn mà không cần phát hành app mới.
  2. Hệ thống tự cấu hình agent coding doanh nghiệp: dựa trên trace lỗi từ repo nội bộ, tự động sinh patch cho middleware và tool mô tả để agent code khớp chuẩn style và quy trình công ty.
  3. Nền tảng chẩn đoán và vá lỗi tự động cho robot/chatbot dịch vụ khách hàng: mỗi lần hội thoại thất bại được phân tích nguyên nhân gốc, cập nhật luồng xử lý và câu nhắc prompt, rồi thử nghiệm trên tập dev trước khi triển khai.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.23041
ArXiv Abstracthttps://arxiv.org/abs/2608.23041
PDF Downloadhttps://arxiv.org/pdf/2608.23041.pdf
Github Repositoryhttps://github.com/microsoft/AutoSaddler

6. SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation (36 votes)​

Tác giả: Yibo Peng, Long Lian, David Wagner, Sizhe Chen

Xuất bản lúc: 2026-08-21

Tag: Prompt Injection, LLM Security, On-Policy Distillation, Adversarial Robustness, AI Agents

I. Main Problem:​

Prompt injection được OWASP xếp là mối đe dọa số 1 đối với AI agent. Khi agent đọc dữ liệu bên ngoài như web, email, file, kẻ tấn công có thể chèn lệnh vào dữ liệu để bảo agent “bỏ qua mọi chỉ dẫn trước”. Các phòng thủ fine-tuning hiện tại (Meta-SecAlign bằng DPO, GRPO) dùng phản hồi cấp chuỗi — gán một điểm cho cả câu trả lời. Điều này làm mờ đi phần nào của câu trả lời là an toàn, phần nào là do injection tạo ra, khiến mô hình vẫn dễ bị tấn công thích ứng (adaptive) với tỷ lệ thành công gần 100%.

II. Main Idea:​

Secure On-Policy Distillation (SecOPD) đưa ra phản hồi cấp token thay vì cấp câu. Quy trình:

  • Student sinh câu trả lời từ đầu vào bị nhiễm injection.
  • Teacher là mô hình khởi tạo đóng băng, chấm điểm từng token của câu trả lời đó nhưng trên đầu vào sạch (đã bỏ injection).
  • Token nào teacher cho xác suất cao hơn trên đầu vào sạch thì được khuyến khích, token chỉ xuất hiện vì injection thì bị kìm hãm.

Nhờ đó, một câu trả lời hỗn hợp — vừa làm đúng nhiệm vụ chính vừa tuân theo injection — có thể được huấn luyện chi tiết từng đoạn.

Ví dụ đời thường: giống như học sinh làm bài kiểm tra nhưng có kẻ viết lừa vào lề giấy; thầy không chấm điểm chung cho cả bài, mà đọc từng chữ, so với đề thi gốc để khen phần đúng và gạch phần bị lừa, giúp học sinh biết chính xác chỗ nào cần sửa.

III. Main Results:​

  • Với Qwen3.6-27B trên bộ SEP trước tấn công thích ứng PISmith:
    • SecOPD: 9,0% ASR
    • Meta-SecAlign: 94,0% ASR
    • GRPO: 61,2% ASR
    • Mô hình không phòng thủ: 97,9% ASR
  • Tấn công tĩnh và basic adaptive trên SEP cũng giảm mạnh: SecOPD đạt 1,3% và 0,2%.
  • Khái quát sang lĩnh vực gọi công cụ (AgentDojo) chưa thấy trong huấn luyện: SecOPD 4,7% ASR, Meta-SecAlign 5,5%, GRPO 0,7% nhưng GRPO mất nhiều utility hơn.
  • Bảo toàn khả năng chung: điểm utility trung bình 7 benchmark của SecOPD (~88,1%) gần bằng mô hình gốc và cao hơn GRPO (83,1%). Cụ thể: AlpacaEval2 80,1%, SEP utility 88,6%, AgentDojo utility 90,7%, MMLU-Pro 84,1%, GPQA-Diamond 81,3%, GSM8K 97,4%, Minerva-Math 94,3%.
  • Phân tích trường hợp cho thấy SecOPD trả lời đúng câu hỏi về đa dạng sinh học mà không thêm câu injection yêu cầu, trong khi Meta-SecAlign và GRPO đều tuân theo injection.

IV. Conclusion & Future Works:​

SecOPD cho thấy phản hồi cấp token từ on-policy distillation có thể giảm một bậc độ lớn tỷ lệ thành công của tấn công prompt injection thích ứng mạnh nhất, trong khi vẫn giữ gần như nguyên khả năng hữu ích của mô hình gốc. Hướng tương lai: mở rộng cho jailbreak và prompt injection trực tiếp; xây dựng reasoning trace có nhận thức về injection thay vì giả vờ injection không tồn tại; xử lý tình huống ranh giới tin cậy/không tin cậy không được cung cấp sẵn; và đánh giá trước các tấn công thích ứng tiên tiến hơn khi LLM frontier tiếp tục mạnh lên.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng on-policy distillation cấp token cho các dạng tấn công khác ngoài indirect prompt injection, như jailbreak và direct system-prompt injection, bằng cách thiết kế cặp đầu vào sạch/bị tấn công phù hợp.
  2. Kết hợp SecOPD với instruction-hierarchy training và bộ lọc runtime để tạo hệ thống phòng thủ nhiều lớp cho agent gọi công cụ trong môi trường thực.
  3. Nghiên cứu cách học ranh giới tin cậy động khi mô hình không được cung cấp sẵn nhãn trusted/untrusted, dùng token-level feedback để tự phân biệt phần nào là chỉ dẫn và phần nào là dữ liệu.

2. Patent:​

  1. Module bảo mật trợ lý ảo trên điện thoại: khi assistant đọc email, tin nhắn hoặc nội dung web, mô hình trên thiết bị sinh thử câu trả lời, sau đó một mô hình teacher cục bộ chấm điểm từng từ so với yêu cầu gốc của người dùng để loại bỏ các từ/lệnh do prompt injection tạo ra trước khi thực hiện hành động.
  2. Hệ thống tóm tắt tài liệu an toàn cho doanh nghiệp trên điện thoại: trước khi tóm tắt file đính kèm hoặc trang web, hệ thống tạo bản thảo tóm tắt, dùng một bản sao sạch của câu hỏi người dùng để so sánh từng câu, loại bỏ các đoạn văn bị chèn bởi lệnh ẩn, ngăn rò rỉ dữ liệu hoặc thực thi lệnh độc hại.
  3. Trợ lý agent trên điện thoại để đặt hàng/đặt lịch/gọi điện từ tin nhắn không tin cậy: hệ thống chạy song song hai đầu vào — yêu cầu gốc của người dùng và phiên bản đã loại bỏ nội dung injection — rồi dùng phản hồi cấp token để xác định lệnh gọi công cụ nào thực sự phản ánh ý định người dùng trước khi thực thi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.21500
ArXiv Abstracthttps://arxiv.org/abs/2608.21500
PDF Downloadhttps://arxiv.org/pdf/2608.21500.pdf
Github Repositoryhttps://github.com/pppyb/SecOPD

7. CyberFactory: Scaling Cyber Security Capabilities with Instances from the Wild (28 votes)​

Tác giả: Jian Yang, Haau-Sing Li, Shawn Guo, Zixi Zhao, Yibo Tan, et al.

Xuất bản lúc: 2026-08-24

Tag: LLMs, Cybersecurity, Agentic AI, Vulnerability Analysis, Supervised Fine-Tuning, CVE

I. Main Problem:​

Các nỗ lực mã nguồn mở trong an ninh mạng cho LLM còn thiếu đồng bộ và khó tái tạo:

  • mô hình open-weight tiên tiến không công bố quy trình huấn luyện có thể tái lập
  • giải pháp mã nguồn mở chỉ tập trung từng tác vụ riêng lẻ (CTF, sửa lỗi, QA) trong bối cảnh khác nhau
  • việc mở rộng rollout agentic đòi hỏi domain prior mạnh, không thể chỉ dựa vào prompt đơn giản

Kết quả là thiếu một pipeline thống nhất để huấn luyện mô hình an ninh mạng thực thi được trên dữ liệu từ thế giới thực.

II. Main Idea:​

CyberFactory là framework mã nguồn mở kết nối xây dựng dữ liệu, tổng hợp trajectory, và huấn luyện mô hình cho ba tác vụ: tạo PoC, vá lỗ hổng, và CyberQA.

Quy trình chính:

  • Thu thập bằng chứng lỗ hổng từ CVE thực, ARVO, OSS-Fuzz
  • Tái tạo thành instance khả thi thực thi có thể kiểm chứng differentially (pre-patch crash, post-patch không crash)
  • Sử dụng vulnerability-analysis skill có thể tái sử dụng để hướng dẫn teacher model: inspect mã nguồn → khám phá với domain prior → kiểm chứng bằng chứng → tinh chỉnh khi thất bại
  • Trajectory agentic này được dùng để fine-tune OpenAegis, sao cho mô hình internalize quy trình mà không cần skill tại inference

Ví dụ đời thường: giống như thợ sửa máy không đoán mò, mà làm theo một quy trình chuẩn — mở nắp kiểm tra, thử chạy từng bộ phận, xem phản ứng thực tế, rồi điều chỉnh linh kiện cho đến khi máy hoạt động đúng.

III. Main Results:​

  • OpenAegis đạt 58.1% Pass@1 trên CyberGym với ngân sách 1 giờ, vượt tất cả baseline cùng scaffold.
  • So với Qwen 3.5 base: tăng +28.5 điểm (29.6% → 58.1%) trên cùng kiến trúc 397B-A17B.
  • Vượt GLM 5.2 +14.8 điểm (43.3%) và Kimi K2.7 +6.4 điểm (51.7%) dù nhỏ hơn.
  • Skill giúp teacher hiệu quả hơn: GLM 5.2 dùng skill trong 15 phút x 5 lần đạt 46.5%, cao hơn 60 phút không skill (43.3%).
  • Context compaction tại 90% đạt 58.1%, vượt full history (52.1%) và simple truncation (45.6%), đặc biệt trên tác vụ dài hạn (+8.5 điểm).
  • OpenAegis internalize workflow: tần suất exploration tăng từ 0.01 lên 1.32 calls/trajectory, validation từ 0.00 lên 1.05, mà không cần skill tại inference.

IV. Conclusion & Future Works:​

CyberFactory cho thấy có thể tăng cường năng lực an ninh mạng của mô hình mã nguồn mở bằng cách biến CVE từ thực tiễn thành supervision thực thi, kiểm chứng được, đồng thời internalize quy trình phân tích lỗ hổng có hệ thống vào tham số mô hình.

Hướng phát triển:

  • mở rộng độ bao phủ lỗ hổng, dự án, và ngôn ngữ lập trình
  • đánh giá patch generation và CyberQA với độ nghiêm ngặt tương đương
  • xây dựng agent thích ứng, tự chọn giữa fuzzing, static analysis, và manual input construction tùy tình huống

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng skill-guided trajectory synthesis sang các tác vụ an ninh mạng khác như phân tích malware, threat hunting, và incident response với cùng nguyên tắc inspect-explore-validate-refine.
  2. Agent thích ứng chọn chiến lược phân tích lỗ hổng: kết hợp fuzzing-first, static analysis, và symbolic execution, tự chuyển đổi chiến lược dựa trên phản hồi từ environment.
  3. Đánh giá chặt chẽ patch generation và CyberQA trên quy mô lớn với oracle thực thi, so sánh giữa multi-task joint training và single-task training trong CyberFactory.

2. Patent:​

  1. Trợ lý bảo mật trên điện thoại thông minh: tự động thu thập CVE liên quan đến ứng dụng đang cài, tái tạo instance thực thi trên sandbox đám mây, sinh PoC để xác minh lỗ hổng và cảnh báo người dùng.
  2. Hệ thống tự vá lỗ hổng cho firmware điện thoại: nhận báo cáo CVE, tổng hợp patch candidate từ commit và mô tả lỗi, kiểm chứng differentially trên bản pre/post-patch, rồi đề xuất patch an toàn.
  3. Chatbot an ninh mạng có căn cứ thực thi trên thiết bị: trả lời câu hỏi kỹ thuật về lỗ hổng dựa trên kết quả chạy thử, crash report, và call graph thực tế từ điện thoại, đảm bảo câu trả lời có nguồn gốc xác minh được.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.23181
ArXiv Abstracthttps://arxiv.org/abs/2608.23181
PDF Downloadhttps://arxiv.org/pdf/2608.23181.pdf
Github RepositoryN/A

8. Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses (21 votes)​

Tác giả: Zhaochen Yu, Yingcheng Wu, Zhenfei Yin, Kaiyuan Chen, Zhe Zhao, et al.

Xuất bản lúc: 2026-08-25

Tag: Recursive Self-Improvement, LLM Agents, Long-Horizon Tasks, Working Memory, Experiential Memory, Agent Harnesses

I. Main Problem:​

Các tác nhân LLM trong tác vụ long-horizon tích lũy kinh nghiệm nhưng cơ chế bộ nhớ gần như cố định. Lịch sử tương tác dài làm lu mờ trạng thái nhiệm vụ hiện tại và khiến việc gọi kỹ năng lệch hướng. Hệ quả:

  • kỹ năng được gọi không khớp với nhu cầu thực sự của bước hiện tại
  • thất bại khó được quy cho đúng thành phần bộ nhớ nào
  • các cập nhật bộ nhớ thường thô, viết lại toàn bộ thay vì sửa chữa cục bộ.

II. Main Idea:​

Recuris liên kết Experiential Memory (EM) — kho kỹ năng tái sử dụng — với Working Memory (WM) — trạng thái nhiệm vụ được xác minh từng bước. Quy trình:

  • WM theo dõi mục tiêu chưa xong, bị chặn, hoặc đã hoàn thành dựa trên quan sát thực tế
  • tại sự kiện thực thi cụ thể, chính sách gọi ρ chọn kỹ năng từ EM theo trạng thái hiện tại, không theo toàn bộ lịch sử
  • sau mỗi hành động, bộ kiểm tra C xác minh cập nhật trạng thái trước khi ghi nhận
  • khi thất bại, một Meta-Agent cố định đọc vết thực thi có cấu trúc, định vị thành phần bộ nhớ chịu trách nhiệm, vá cục bộ rồi đưa qua cổng xác thực trên tập phát triển riêng trước khi chấp nhận.

Ví dụ đời thường: giống như đầu bếp làm món phức tạp — thay vì đọc lại toàn bộ công thức sau mỗi bước, anh ta giữ một tờ ghi chú nhỏ ghi mục nào đã làm, mục nào còn dang dở, và chỉ lôi sổ tay kỹ thuật ra đúng khi cần thao tác tiếp theo; sau ca làm, anh ta xem lại ghi chú để sửa đúng chỗ sai thay vì viết lại cả sổ.

III. Main Results:​

  • Recuris cải thiện tỷ lệ thành công ở 35/37 cặp model–benchmark trên 4 benchmark và 10 mô hình từ 3B đến frontier.
  • τ2-Retail: GPT-5.6 Sol +17.8 (58.3→76.1), Claude Opus 5 +15.6 (72.4→87.9).
  • SkillFlow: Qwen3.6-27B +16.6 (42.2→58.7), Qwen3.6-35B +13.5 (35.3→48.8).
  • Lợi thế tăng theo độ dài tương tác: +32.2 điểm trên tác vụ dài nhất.
  • Các lỗi đặc trưng long-horizon giảm tới 80% (hallucination, omitted writes, error cascades, missed reads, v.v.).
  • Định vị lỗi từ vết có cấu trúc đạt 64.8%, so với 13.0% khi chỉ dùng kết quả cuối cùng.
  • Mô hình nền và Meta-Agent được giữ cố định; sự tiến hóa chỉ diễn ra trong lớp điều khiển bộ nhớ bên ngoài.

IV. Conclusion & Future Works:​

Recuris chứng minh rằng tự cải thiện đệ quy (RSI) có thể được thực hiện bằng cách tiến hóa lớp điều khiển bộ nhớ bên ngoài thay vì tinh chỉnh trọng số mô hình. Khóa học là liên kết EM–WM tạo ra bằng chứng chẩn đoán có cấu trúc, giúp sửa chữa cục bộ và kiểm soát hồi quy. Hướng tương lai: mở rộng cho các môi trường liên tục thay đổi, giảm chi phí xác thực, và tích hợp học từ phản hồi mật độ thấp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tiến hóa đệ quy bộ nhớ làm việc cho tác nhân trong môi trường mở, nơi trạng thái nhiệm vụ và kỹ năng phải thích ứng liên tục theo thời gian thực.
  2. Kết hợp phản hồi người dùng ẩn danh với vết thực thi có cấu trúc để vá bộ nhớ kỹ năng mà không cần ground-truth chi tiết.
  3. Chuyển giao bộ nhớ kỹ năng đã tiến hóa giữa các mô hình và miền tác vụ khác nhau, kiểm tra tính trừu tượng của kỹ năng.

2. Patent:​

  1. Trợ lý điện thoại tự sửa quy trình dịch vụ khách hàng: khi xử lý yêu cầu kỹ thuật dài, ứng dụng duy trì bảng trạng thái mục tiêu đã xác minh, tự động gọi đúng quy trình từ cơ sở tri thức nội bộ, và sau mỗi cuộc hội thoại thất bại, hệ thống phân tích vết để bổ sung hoặc sửa đúng bước bị lỗi.
  2. Hệ thống hỗ trợ kỹ thuật viên IT qua terminal: ghi lại trạng thái công việc và lệnh đã chạy, đề xuất script/lệnh tiếp theo từ kinh nghiệm tích lũy, và tự cập nhật sổ tay vận hành khi phát hiện lỗi định kỳ.
  3. Trợ lý lập kế hoạch du lịch đa bước trên điện thoại: theo dõi các mục tiêu chưa hoàn thành (vé, khách sạn, visa), gọi đúng kỹ năng đặt/chỉnh sửa từng thành phần dựa trên trạng thái hiện tại, và học từ các chuyến thất bại để tránh bỏ sót bước.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.24876
ArXiv Abstracthttps://arxiv.org/abs/2608.24876
PDF Downloadhttps://arxiv.org/pdf/2608.24876.pdf
Github Repositoryhttps://github.com/Gen-Verse/Recuris

9. Best Practice Critic Optimization (13 votes)​

Tác giả: Penghui Qi, Xiangxin Zhou, Wee Sun Lee

Xuất bản lúc: 2026-08-25

Tag: Reinforcement Learning, LLMs, PPO, Critic, Mathematical Reasoning, GRPO

I. Main Problem:​

Các phương pháp group-based như GRPO tránh huấn luyện critic bằng cách lấy mẫu nhiều phản hồi cho mỗi prompt, nhưng tốn nhiều rollout và gán cùng một advantage dựa trên kết quả cho mọi token trong phản hồi. Ngược lại, phương pháp critic-based có thể ước lượng advantage ở cấp token từ chỉ một rollout, nhưng các công thức chuẩn thường bất ổn định do:

  • PPO xử lý không đều các token có xác suất thấp/cao khi clip ratio
  • giá trị target bootstrapped kế thừa lỗi của critic
  • tham số GAE cố định làm trọng số phần thưởng cuối khác nhau giữa phản hồi ngắn và dài
  • linear value head có thể dự đoán ngoài khoảng giá trị return đã biết
  • batch-wise advantage normalization khuếch đại nhiễu khi phương sai advantage nhỏ, khiến cập nhật chính sách không tự nhiên giảm gần cực trị.

II. Main Idea:​

Best Practice Critic Optimization (BPCO) là công thức actor–critic chỉ cần một rollout mỗi prompt, kết hợp năm lựa chọn thiết kế:

  • DPPO thay vì PPO: clip theo thay đổi xác suất tuyệt đối của token được lấy mẫu, không phải theo ratio, giúp các token có ngưỡng cập nhật đồng đều hơn
  • Giới hạn value prediction trong khoảng reward: dùng hàm scaled arctangent để đảm bảo critic luôn dự đoán nằm trong [Rmin, Rmax]
  • Monte Carlo value target không thiên lệch: tách biệt λ cho policy (λπ < 1) và critic (λV = 1), khiến target của critic trở thành reward quan sát được thay vì bootstrapped target tự tham chiếu
  • Giữ nguyên advantage không chuẩn hóa: bỏ batch-wise advantage normalization để bảo toàn tỷ lệ tín hiệu policy và tránh đảo dấu advantage nhỏ
  • Length-adaptive GAE: điều chỉnh λπ theo độ dài phản hồi để trọng số của residual cuối không bị suy giảm quá mức với phản hồi dài

Ngoài ra, vì critic chỉ dùng trong huấn luyện, BPCO có thể cung cấp cho critic các thông tin đặc quyền (privileged information) như đáp án tham chiếu, lời giải chính thức hoặc rubric chấm điểm mà policy không được thấy, giúp critic xấp xỉ hàm giá trị dễ hơn mà không thay đổi đầu vào khi triển khai.

Ví dụ đời thường: giống như một trợ lý ẩn danh trong buổi luyện thi — giáo viên (critic) được xem đáp án và rubric để đánh giá chi tiết bài làm của học sinh, nhưng học sinh (policy) khi vào phòng thi chỉ nhận đề bài và tự viết bài.

III. Main Results:​

  • Trong sanity test nhỏ (1,460 bài toán có thể giải được), BPCO fit gần 100% reward trong khi PPO truyền thống bị sụp đổ, và từng thành phần được cô lập kiểm chứng qua ablation.
  • Trên DeepScaleR 40.3K bài toán với DeepSeek-R1-Distill-Qwen-1.5B, BPCO vượt cả baseline critic-based lẫn group-based Dr. GRPO về AIME 2025 avg@32, đồng thời explained variance cao hơn rõ rệt.
  • Trên mô hình lớn Qwen3-30B-A3B và Qwen3-30B-A3B-Base với DAPO-Math-17K, BPCO tiếp tục cải thiện baseline critic (baseline gần như ngừng tiến bộ sau 100 bước) và đạt hiệu quả tương đương hoặc tốt hơn group baseline mà chỉ dùng một phản hồi mỗi prompt.
  • Với rubric-based rewards trên Open-Rubrics, BPCO học nhanh hơn group và critic baseline; privileged rubric tăng explained variance nhưng không mang lại lợi ích rõ rệt ở tác vụ tương đối đơn giản.
  • Ablations cho thấy giới hạn value prediction và bỏ advantage normalization là những thay đổi có tác động ổn định rõ rệt.

IV. Conclusion & Future Works:​

BPCO chứng minh rằng critic không phải điểm yếu cố hữu của RL cho LLM khi được thiết kế nhất quán giữa dải đầu ra, target, đầu vào và tín hiệu policy. Công thức này cung cấp một lựa chọn thực tiễn, ổn định và hiệu quả thay thế cho group-based advantage estimation. Hạn chế và hướng tương lai: mới chỉ đánh giá trên reward toán học và rubric; cần giả định khoảng reward đã biết; các biến thể privileged cần thông tin đánh giá sẵn có; chi phí tính toán và bộ nhớ của critic chưa được so sánh đầy đủ khi khớp số lượng trajectory. Hướng mở rộng tự nhiên là thử BPCO trên các lĩnh vực khác như coding, reasoning đa ngành và các hệ thống reward không có khoảng biên rõ ràng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng BPCO cho các tác vụ reasoning đa dạng (mã nguồn, khoa học, luận lý) để xác nhận tính tổng quát của công thức critic được thiết kế chặt chẽ.
  2. Nghiên cứu cơ chế tự động ước lượng hoặc thích ứng khoảng reward khi biên trên/dưới không được biết trước, mở rộng BPCO ra ngoài reward có giới hạn rõ ràng.
  3. Kết hợp BPCO với các kỹ thuật cải thiện critic khác như pretraining critic hoặc critic asynchronus updates để tăng thêm hiệu quả và ổn định trên các rollout dài.
  4. So sánh chi phí tính toán/bộ nhớ chi tiết giữa BPCO một rollout và các phương pháp group-based khi khớp số lượng token huấn luyện, không chỉ số prompt.

2. Patent:​

  1. Hệ thống huấn luyện mô hình ngôn ngữ lớn với một rollout duy nhất: sử dụng critic được giới hạn trong khoảng reward và length-adaptive GAE để giảm chi phí lấy mẫu nhiều phản hồi trong các ứng dụng tư vấn toán học trên điện thoại.
  2. Module tăng cường lý luận cho trợ lý ảo di động: critic trong quá trình huấn luyện được cung cấp đáp án tham chiếu và rubric để đánh giá chất lượng suy luận, trong khi mô hình triển khai trên điện thoại chỉ nhận câu hỏi từ người dùng.
  3. Hệ thống chấm điểm tự động cho bài thi/bài tập mở: LLM được fine-tune bằng BPCO với rubric làm reward, cho phép điện thoại hoặc máy tính bảng chấm điểm câu trả lời tự luận theo tiêu chí cụ thể mà không cần nhiều mẫu so sánh.
  4. Công cụ gia sư toán thông minh trên thiết bị di động: dùng BPCO để huấn luyện policy từ một lời giải duy nhất cho mỗi bài toán, giảm độ trễ và tiêu thụ băng thông so với phương pháp nhóm mẫu nhiều phản hồi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.23566
ArXiv Abstracthttps://arxiv.org/abs/2608.23566
PDF Downloadhttps://arxiv.org/pdf/2608.23566.pdf
Github Repositoryhttps://github.com/QPHutu/golden_critic

10. On-policy Distillation with Verifiable Reward (12 votes)​

Tác giả: Wenze Lin, Jiale Zhao, Xitai Jiang, Songde Rao, Yining Li, et al.

Xuất bản lúc: 2026-08-25

Tag: RLVR, On-policy Distillation, LLM Post-training, Reasoning, GRPO, ReLU Gating

I. Main Problem:​

RLVR cung cấp phần thưởng thưa ở cấp tác vụ, khiến việc gán tín nhiệm cho các bước trung gian khó khăn. OPD bù đắp bằng tín hiệu dày đặc ở cấp token từ teacher, nhưng chỉ bắt chước phân phối teacher mà không quan tâm câu trả lời đúng hay sai, giới hạn hiệu suất của student bằng teacher. Các cách kết hợp trước đây thường dùng trọng số hoặc chuyển mạch heuristic, dẫn đến thêm siêu tham số và đánh đổi phức tạp.

II. Main Idea:​

On-policy Distillation with Verifiable Reward (OPDVR) xem sampled-token OPD như một dạng RLVR: thay vì phần thưởng nhị phân cấp tác vụ, mỗi token mang hệ số dạng log-ratio so sánh độ tự tin của teacher và student. Sau đó, một cổng ReLU đơn giản ép dấu phần thưởng khớp với kết quả kiểm chứng:

  • Trajectory đúng: chỉ giữ max(0, log π_T / π_θ), tăng xác suất các token mà teacher tự tin hơn student.
  • Trajectory sai: chỉ giữ -max(0, log π_θ / π_T), phạt nặng các token mà student tự tin sai.

Thay đổi cực nhỏ này biến OPD thành một phương pháp RLVR hợp lệ, có thể ghép trực tiếp với các thuật toán policy gradient như GRPO (tạo ra biến thể GRPD — Group Relative Policy Distillation) mà không cần thêm siêu tham số.

Ví dụ đời thường: giống như huấn luyện viên bóng đá chỉ la hét khi cầu thủ tự tin sai (sút bóng sai mà vẫn tự hào), và chỉ khen khi cầu thủ ngần ngại đúng lúc cần chuyền bóng đúng; nếu cầu thủ đã làm đúng và tự tin, HLV im lặng để không phá vỡ phong độ.

III. Main Results:​

  • Cùng kiến trúc (Qwen3-4B←Qwen3-4B-RL): OPDVR vượt sampled-token OPD trên cả 6 benchmark, tăng +2.7 điểm AIME24, +2.1 điểm AIME25, và vượt cả teacher trên AIME24.
  • Khác kiến trúc (Qwen3-1.7B←Qwen3-4B-RL): OPDVR tăng +5.5 điểm AMC, +1.7 điểm MATH500, chứng tỏ tính bền vững khi chuyển mô hình.
  • GRPD (kết hợp OPDVR với GRPO) vượt cả GRPO và OPD trên toàn bộ benchmark, với +6.5 điểm AIME24 và +10.9 điểm AIME25 so với GRPO.
  • Ablation inverse-gated: đảo ngược cổng ReLU làm kết quả tệ hơn cả OPD gốc, xác nhận hướng gating phải đồng bộ với tín hiệu verifier.

IV. Conclusion & Future Works:​

OPDVR chỉ ra rằng một cơ chế ReLU gating không siêu tham số là đủ để hòa trộn hai dòng RLVR và OPD: giữ tín hiệu dày đặc từ teacher nhưng ép mọi cập nhật token đi theo chiều của phần thưởng kiểm chứng. Hướng tương lai: mở rộng sang các thuật toán RL khác (PPO, DAPO), kết hợp verifier cấp quy trình thay vì chỉ kết quả cuối, và thử nghiệm trên các tác vụ không phải toán/lập trình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tích hợp OPDVR với process-level verifier để cung cấp phần thưởng hoặc gating chi tiết hơn cho từng bước suy luận.
  2. Mở rộng GRPD sang tác vụ tạo mã nguồn, nơi verifier có thể là biên dịch/thực thi thay vì chỉ so sánh kết quả số.
  3. Phân tích lý thuyết về tính ổn định và bias của OPDVR khi teacher không hoàn hảo hoặc student vượt trội hơn teacher.

2. Patent:​

  1. Ứng dụng gia sư AI trên điện thoại: sau mỗi câu trả lời của học sinh, hệ thống kiểm tra đúng/sai và chỉ can thiệp khi học sinh tự tin sai hoặc ngần ngại đúng, giúp giảm phản hồi nhiễu và tăng tốc độ học.
  2. Trợ lý lập trình di động: khi lập trình viên viết đoạn code, công cụ đánh dấu chỉ những dòng mà mô hình tự tin cao nhưng compiler/test lại thất bại, đồng thời bỏ qua các dòng đúng dù mô hình không hoàn toàn tự tin.
  3. Hệ thống tóm tắt/hỏi đáp tài liệu trên smartphone: kiểm chứng câu trả lời bằng trích dẫn tài liệu gốc, sau đó dùng OPDVR để điều chỉnh mô hình cục bộ chỉ tại các token sai lầm mà mô hình lại quá tự tin.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.24696
ArXiv Abstracthttps://arxiv.org/abs/2608.24696
PDF Downloadhttps://arxiv.org/pdf/2608.24696.pdf
Github Repositoryhttps://github.com/LeapLabTHU/OPDVR