Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-06-11

Báo cáo được tạo tự động vào lúc 2026-06-30 12:46:52 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. Embodied-R1.5: Evolving Physical Intelligence via Embodied Foundation Models (170 votes)​

Tác giả: Yifu Yuan, Yaoting Huang, Xianze Yao, Yutong Li, Shuoheng Zhang, et al.

Xuất bản lúc: 2026-06-09

Tag: Embodied Foundation Model, Vision-Language Model, Reinforcement Learning, Robotic Manipulation, Embodied Reasoning, Closed-Loop Autonomy

I. Main Problem:​

Các mô hình thông minh thể chất hiện có chỉ xử lý từng phần nhỏ của quá trình nhận thức-hành động, thiếu một mô hình thống nhất tích hợp đầy đủ ba năng lực cốt lõi: nhận thức không gian (spatial cognition), lập kế hoạch và sửa lỗi (planning & correction), và chỉ dẫn (pointing). Ngoài ra, việc huấn luyện đa nhiệm các tác vụ không đồng nhất gây ra xung đột gradient khiến hiệu suất suy giảm lẫn nhau.

II. Main Idea:​

Embodied-R1.5 là một Embodied Foundation Model (EFM) duy nhất 8B tham số, tích hợp ba chiều năng lực thể chất vào cùng một kiến trúc. Mô hình được huấn luyện qua hai giai đoạn: Supervised Fine-Tuning trên hệ thống dữ liệu 15 tỷ token (gồm ba pipeline tự động cho không gian, sửa lỗi và chỉ dẫn), sau đó là Reinforced Fine-Tuning với công thức đa nhiệm cân bằng (multi-task balanced RL recipe) để giải quyết xung đột giữa các tác vụ không đồng nhất. Cuối cùng, khung Planner-Grounder-Corrector (PGC) cho phép mô hình duy nhất tự động lập kế hoạch, thực thi và tự sửa lỗi trong các nhiệm vụ dài hạn.

III. Main Results:​

  • Đạt SOTA trên 16/24 benchmark VLM thể chất, vượt Gemini-Robotics-ER-1.5 và GPT-5.4 lần lượt 17% và 21.7%.
  • Chỉ cần fine-tuning nhẹ với action data, Embodied-R1.5-VLA vượt π0.5 và các baseline mạnh trên 4 bộ benchmark robot manipulation.
  • Thí nghiệm zero-shot trên robot thật thành công trong instruction following, affordance grounding, manipulation vật có khớp và long-horizon tasks.
  • Hệ thống PGC cho phép hoàn thành các nhiệm vụ phức tạp (pha trà sữa, quét rác) mà không cần can thiệp của con người.

IV. Conclusion & Future Works:​

Embodied-R1.5 chứng minh một EFM duy nhất có thể thay thế các mô hình riêng lẻ bằng cách tích hợp sâu ba năng lực thể chất, giảm nhu cầu action pretraining quy mô lớn. Hướng tương lai: mở rộng kích thước mô hình và tối ưu hóa chiến lược thăm dò tự động trong dữ liệu huấn luyện.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Embodied-R1.5 cho môi trường đa robot với giao tiếp liên tác nhân, sử dụng khung PGC để mỗi robot tự phân phối công việc và điều phối hành động.
  2. Nghiên cứu adaptive thinking trong embodied reasoning: phân tích cơ chế mô hình tự động phân bổ reasoning tokens dựa trên độ khó nhiệm vụ, tối ưu hóa real-time responsiveness.
  3. Kết hợp Embodied-R1.5 với mô phỏng động lực học online để tạo loop học tập khép kín: robot tự thực hiện, phát hiện lỗi, và tự tạo dữ liệu sửa lỗi mới cải thiện hiệu suất theo thời gian.

2. Patent:​

  1. Hệ thống robot gia đình sử dụng một mô hình duy nhất để nhận lệnh phức tạp (pha trà, dọn bàn) và tự động lập kế hoạch, thực thi, sửa lỗi; người dùng không cần lập trình.
  2. Phần mềm trên điện thoại cho phép người dùng chụp ảnh và ra lệnh bằng giọng nói; mô hình phân tích không gian 3D từ ảnh đơn, chỉ ra vị trí và cách tương tác với đồ vật trong ảnh (cầm, kéo, xoay).
  3. Module sửa lỗi thời gian thực cho robot công nghiệp: khi robot thao tác sai, mô hình phát hiện lỗi (ví dụ: kẹp trượt), xác định nguyên nhân (hướng kẹp sai, lực yếu) và đề xuất hành động sửa ngay lập tức.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.11324
ArXiv Abstracthttps://arxiv.org/abs/2606.11324
PDF Downloadhttps://arxiv.org/pdf/2606.11324.pdf
Github Repositoryhttps://github.com/pickxiguapi/Embodied-R1.5

2. Toward Generalist Autonomous Research via Hypothesis-Tree Refinement (122 votes)​

Tác giả: Jiajie Jin, Yuyang Hu, Kai Qiu, Qi Dai, Chong Luo, et al.

Xuất bản lúc: 2026-06-10

Tag: Autonomous Research, LLM Agents, Hypothesis Tree, Long-Horizon Optimization, Experimental Search, Autonomous Optimization, AI Research

I. Main Problem:​

Các tác nhân AI hiện tại có thể thực thi tác vụ kéo dài nhưng chưa thể duy trì tiến trình nghiên cứu tích lũy qua nhiều thử nghiệm. Chúng thiếu cơ chế lưu giữ giả thuyết, bằng chứng thất bại và bài học để định hướng khám phá tiếp theo, dẫn đến việc mỗi lần thử là độc lập và không xây dựng được kiến thức lâu dài.

II. Main Idea:​

Arbor giới thiệu Hypothesis Tree Refinement (HTR) – một cấu trúc cây bền vững lưu giả thuyết, phiên bản hiện thực, bằng chứng thực nghiệm và bài học rút ra. Một coordinator dài hạn quản lý chiến lược toàn cục: quan sát trạng thái cây, đề xuất giả thuyết con, chọn lá hứa hẹn, gửi cho executor ngắn hạn thực thi trong worktree cô lập. Kết quả được ghi lại, bài học được truyền ngược lên nút tổ tiên, và chỉ khi cải thiện được kiểm tra trên tập test thì mới được hợp nhất. Điều này tách biệt khám phá (trên dev) khỏi xác nhận (trên test).

III. Main Results:​

  • Arbor đạt kết quả held-out tốt nhất trên cả 6 tác vụ AO, với mức tăng trung bình hơn 2.5 lần so với Codex và Claude Code.
  • Trên MLE-Bench Lite, Arbor đạt 86.36% Any Medal với GPT-5.5, cao nhất trong so sánh.
  • Trên BrowseComp, Arbor nâng accuracy từ 45.33 lên 67.67; Codex và Claude Code chỉ đạt 50.00 và 53.33.
  • Trên Math-Reasoning Data Synthesis, Arbor cải thiện pass-gap thêm 19.79 điểm, so với 5.21 và 7.29 của các baseline.

IV. Conclusion & Future Works:​

Arbor chứng minh rằng việc tổ chức trạng thái nghiên cứu dưới dạng cây giả thuyết bền vững giúp biến nhiều thử nghiệm rời rạc thành quá trình tích lũy có cấu trúc. Hướng tới: mở rộng lĩnh vực nghiên cứu, tối ưu chi phí token, và cải thiện cơ chế tổng quát hóa insight.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng HTR cho thiết kế mô hình ngôn ngữ đa phương thức, nơi coordinator có thể thử các giả thuyết về kiến trúc encoder-decoder và cơ chế cross-attention trên tập dữ liệu đa ngữ.
  2. Tích hợp HTR với reinforcement learning để tự động tinh chỉnh siêu tham số huấn luyện, giảm can thiệp thủ công khi khám phá không gian tìm kiếm rộng.
  3. Áp dụng HTR vào tự động hóa sinh dữ liệu huấn luyện cho đại lý đàm thoại, nơi cây lưu lịch sử các chiến lược sinh câu hỏi và phản hồi từ người dùng để cải thiện pipeline.

2. Patent:​

  1. Hệ thống tối ưu hóa siêu tham số cho điện thoại thông minh: người dùng cài đặt mô hình học máy; cây giả thuyết tự động đề xuất và thử tổ hợp siêu tham số khác nhau trên batch dữ liệu nhỏ, chỉ triển khai toàn bộ khi cải thiện rõ rệt.
  2. Công cụ phát triển ứng dụng AI không code: lập trình viên nhập mục tiêu; giao diện trực quan hiển thị cây giả thuyết, cho phép chọn nhánh để kiểm tra tự động, hợp nhất nhánh thành công vào mã nguồn chính.
  3. Phương pháp tinh chỉnh pipeline sinh ảnh trên thiết bị di động: cây lưu các giả thuyết về tham số model và prompt; coordinator thử nghiệm song song trên các ảnh dev, chỉ áp dụng lên ảnh thật khi độ chính xác tăng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.11926
ArXiv Abstracthttps://arxiv.org/abs/2606.11926
PDF Downloadhttps://arxiv.org/pdf/2606.11926.pdf
Github Repositoryhttps://github.com/RUC-NLPIR/Arbor

3. Redesign Mixture-of-Experts Routers with Manifold Power Iteration (89 votes)​

Tác giả: Songhao Wu, Ang Lv, Ruobing Xie, Yankai Lin

Xuất bản lúc: 2026-06-10

Tag: Mixture-of-Experts, Router Design, Power Iteration, MoE, Large Language Models, Manifold Learning

I. Main Problem:​

Trong mô hình Mixture-of-Experts (MoE), các hàng của ma trận router đóng vai trò proxy cho từng chuyên gia, nhưng không có nguyên tắc thiết kế nào buộc các vector này phải mã hóa đặc trưng cốt lõi của chuyên gia tương ứng. Điều này dẫn đến router kém tối ưu, ảnh hưởng đến hội tụ và hiệu suất của toàn bộ mô hình MoE.

II. Main Idea:​

Bài báo đề xuất Manifold Power Iteration (MPI), một phương pháp thiết kế lại router MoE bằng cách căn chỉnh mỗi hàng router với hướng kỳ dị chính (principal singular direction) của ma trận trọng số chuyên gia. MPI tuân theo cơ chế "Power-then-Retract": đầu tiên thực hiện một bước power iteration trên trọng số router để tiến gần đến hướng kỳ dị chính, sau đó áp dụng retraction (chuẩn hóa L2) để giữ ổn định và tránh bùng nổ norm. Phương pháp này có chi phí tính toán thấp và không làm chậm quá trình huấn luyện hay suy luận đáng kể.

III. Main Results:​

  • MoE với MPI giảm loss huấn luyện trung bình 0.013 trên mô hình 1B và cải thiện độ chính xác trung bình trên 25 benchmark từ 42.78 lên 43.98 (dùng MuonH).
  • Trên mô hình 11B, MPI giảm perplexity và cải thiện điểm số trên nhiều tác vụ (ARC-C, MMLU, GSM8K, MBPP...).
  • MPI cải thiện cân bằng tải giữa các chuyên gia, giảm chỉ số MaxVio đáng kể.
  • Độ trễ thêm chỉ 0.2% trong huấn luyện 11B và không ảnh hưởng đến suy luận.
  • Ablation xác nhận: chỉ chuẩn hóa L2 không mang lại lợi ích, cần kết hợp power iteration để có hiệu quả thực sự.

IV. Conclusion & Future Works:​

MPI thiết lập mối liên hệ có nguyên tắc giữa router và tham số chuyên gia, giúp tăng tốc hội tụ và cải thiện hiệu suất downstream. Hướng tương lai: khám phá sự kết hợp nhiều ma trận chuyên gia khác nhau (Wg, Wp, Wo) cho power iteration, và nghiên cứu sâu hơn về khả năng tăng cường cân bằng tải từ retraction.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng MPI cho MoE phi tự hồi quy (non-autoregressive MoE), nơi router phải chọn chuyên gia đồng thời cho nhiều token, yêu cầu căn chỉnh chính xác hơn với đặc trưng chuyên gia.
  2. Kết hợp MPI với các phương pháp tối ưu hóa router thích ứng khác như router z-loss hoặc auxiliary load-balancing loss để kiểm tra khả năng cộng hưởng và đạt mức cải thiện tổng hợp tốt hơn.
  3. Áp dụng tư tưởng power iteration vào các thành phần khác của MoE, ví dụ các lớp attention hoặc FFN, để căn chỉnh biểu diễn với thông tin quan trọng nhất của dữ liệu.

2. Patent:​

  1. Hệ thống phân luồng thông minh trên điện thoại: dùng MoE với MPI để chọn mô hình con (expert) phù hợp cho từng yêu cầu của người dùng (ví dụ: nhận diện giọng nói, dịch thuật, phân tích ảnh) mà không tăng đáng kể tài nguyên tính toán.
  2. Ứng dụng cá nhân hóa nội dung: MoE với MPI trên thiết bị di động để chọn chuyên gia theo sở thích người dùng, giảm độ trễ và tiết kiệm pin so với chạy mô hình đầy đủ.
  3. Phương pháp tối ưu hóa bộ định tuyến cho các hệ thống đa tác vụ trên đám mây (cloud serving) bằng cách căn chỉnh vector định tuyến với hướng chính của trọng số tác vụ, giúp phân bổ tài nguyên hiệu quả hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12397
ArXiv Abstracthttps://arxiv.org/abs/2606.12397
PDF Downloadhttps://arxiv.org/pdf/2606.12397.pdf
Github Repositoryhttps://github.com/ericshwu/Router-with-Manifold-Power-Iteration

4. Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks (70 votes)​

Tác giả: Mengyu Zheng, Kai Han, Boxun Li, Haiyang Xu, Yuchuan Tian, et al.

Xuất bản lúc: 2026-06-10

Tag: Benchmark, Agent Harness, SWE-bench, Code Generation, LLM Agent, Evaluation, OpenClaw

I. Main Problem:​

Các benchmark mã nguồn hiện có như SWE-bench không thể đo trực tiếp khả năng lập trình của các tác nhân đa năng như OpenClaw vì chúng yêu cầu một giao diện patch cụ thể. Hơn nữa, các báo cáo trước đây thường gộp chung ảnh hưởng của mô hình ngôn ngữ, khung tác nhân (harness) và tập dữ liệu, khiến không thể so sánh nguyên nhân một cách riêng rẽ.

II. Main Idea:​

Bài báo giới thiệu Claw-SWE-Bench, một benchmark đa ngôn ngữ giúp đánh giá khả năng lập trình của các khung tác nhân (claw) khác nhau trong cùng một điều kiện. Nó cung cấp một lớp adapter để chuyển đổi tương tác tổng quát của một tác nhân thành định dạng patch mà SWE-bench yêu cầu, đồng thời cố định prompt, budget thời gian, và quy trình trích xuất patch để đảm bảo tính công bằng. Benchmark bao gồm 350 vấn đề GitHub từ 43 kho lưu trữ và 8 ngôn ngữ lập trình.

III. Main Results:​

  • Trên benchmark đầy đủ, OpenClaw với adapter tối thiểu chỉ đạt 19.1% Pass@1, trong khi adapter đầy đủ đạt 73.4% trên cùng mô hình GLM 5.1, cho thấy thiết kế adapter là yếu tố then chốt.
  • Việc thay đổi mô hình làm thay đổi Pass@1 tới 29.4 điểm phần trăm, còn thay đổi khung tác nhân làm thay đổi tới 27.4 điểm phần trăm trên cùng một mô hình.
  • Tập con Lite-80 chỉ tốn khoảng 22.9% chi phí so với tập đầy đủ nhưng vẫn bảo toàn thang đánh giá với sai lệch trung bình chỉ 0.4 điểm phần trăm.
  • Có sự khác biệt lớn về tổng chi phí API giữa các hệ thống có độ chính xác tương đương, nhấn mạnh tầm quan trọng của việc báo cáo chi phí đi kèm.

IV. Conclusion & Future Works:​

Claw-SWE-Bench chứng minh rằng lựa chọn khung tác nhân là một yếu tố độc lập quan trọng trong đánh giá tác nhân lập trình, không kém gì lựa chọn mô hình ngôn ngữ. Hướng tương lai có thể mở rộng benchmark với nhiều tác vụ hơn hoặc tối ưu hóa thiết kế adapter để giảm chi phí và tăng hiệu quả.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của các chiến lược dừng và quản lý bộ nhớ khác nhau trong khung tác nhân tới hiệu suất tổng thể, dùng Claw-SWE-Bench làm môi trường đối chứng.
  2. Phát triển một khung adapter thích ứng (adaptive adapter) có thể tự động điều chỉnh prompt và kế hoạch thực thi dựa trên độ khó của từng vấn đề lập trình.
  3. Mở rộng benchmark sang các ngôn ngữ lập trình ít phổ biến hơn nhưng có hệ sinh thái phòng thí nghiệm lớn, và phân tích tính tổng quát của khung tác nhân trên các miền ngôn ngữ khác nhau.

2. Patent:​

  1. Hệ thống kiểm thử regress tự động dành cho đội ngũ phát triển: mỗi khi cập nhật mô hình ngôn ngữ mới cho trợ lý viết code, hệ thống sẽ tự động chạy bộ 80 bài toán lập trình (Lite) để đo độ chính xác và chi phí trước khi triển khai.
  2. Phương pháp tối ưu chi phí API cho tác nhân viết mã: dựa trên lịch sử sử dụng, hệ thống sẽ tự động chọn giữa mô hình mạnh hoặc mô hình rẻ dựa trên ngân sách còn lại, đảm bảo chất lượng trong giới hạn tài chính.
  3. Module adapter cắm-nóng (hot-plug) cho ứng dụng di động: cho phép chuyển đổi giữa các nền tảng trí tuệ nhân tạo khác nhau (OpenAI, Gemini, DeepSeek) mà không cần sửa đổi mã nguồn ứng dụng, nhờ một lớp chuyển đổi tín hiệu thống nhất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12344
ArXiv Abstracthttps://arxiv.org/abs/2606.12344
PDF Downloadhttps://arxiv.org/pdf/2606.12344.pdf
Github Repositoryhttps://github.com/opensquilla/claw-swe-bench

5. Agentic Environment Engineering for Large Language Models: A Survey of Environment Modeling, Synthesis, Evaluation, and Application (70 votes)​

Tác giả: Jiachun Li, Zhuoran Jin, Tianyi Men, Yupu Hao, Kejian Zhu, et al.

Xuất bản lúc: 2026-06-10

Tag: Agentic Environment Engineering, Large Language Models, Environment Synthesis, Neural-Symbolic Environments, Agent-Environment Co-evolution, Reinforcement Learning, World Model

I. Main Problem:​

Mặc dù môi trường tương tác đóng vai trò then chốt trong việc huấn luyện và đánh giá các tác nhân LLM, các nghiên cứu hiện tại còn thiếu sự phân loại và phân tích có hệ thống. Khoảng trống này khiến việc thiết kế và phát triển các môi trường agentic một cách bài bản, thay vì thủ công cho từng nhiệm vụ riêng lẻ, trở nên khó khăn.

II. Main Idea:​

Bài báo giới thiệu một khuôn khổ kỹ thuật toàn diện cho 'Kỹ thuật Môi trường Tác nhân', bao trùm toàn bộ vòng đời: mô hình hóa, tổng hợp tự động, đánh giá chất lượng và ứng dụng. Nó phân loại môi trường dựa trên tám thuộc tính chính và tám lĩnh vực nhiệm vụ. Cách tiếp cận chính là hai mô hình tổng hợp môi trường tự động: (1) Tổng hợp tượng trưng (dùng quy tắc có thể kiểm chứng) và (2) Tổng hợp thần kinh (dùng mạng nơ-ron, đặc biệt là world model). Bài báo cũng phân tích quá trình đồng tiến hóa khép kín giữa tác nhân và môi trường từ bốn góc nhìn về tiến hóa của agent và ba mô hình tiến hóa của môi trường.

III. Main Results:​

  • Cung cấp một phân loại chi tiết về các môi trường hiện có dựa trên thuộc tính (tượng trưng so với thần kinh, vòng mở so với vòng đóng, v.v.) và lĩnh vực (GUI, Nghiên cứu sâu, Nhập thể, Trò chơi, v.v.).
  • Xác định hai mô hình tổng hợp môi trường chính: Tổng hợp tượng trưng và Tổng hợp thần kinh.
  • Phân loại các phương pháp tiến hóa của tác nhân thành bốn loại: Dựa trên trải nghiệm bộ nhớ, Dựa trên quy trình làm việc, Dựa trên quỹ đạo ngoại tuyến và Dựa trên khám phá trực tuyến.
  • Phân loại các phương pháp tiến hóa của môi trường thành ba mô hình: Dẫn dắt bởi thần kinh, Dẫn dắt bởi độ khó và Dẫn dắt bởi quy mô.

IV. Conclusion & Future Works:​

Bài báo nhấn mạnh các hướng tương lai như Môi trường như một Dịch vụ, Môi trường đa tác nhân và Môi trường Thần kinh-Ký hiệu. Việc thiết lập một nền tảng khoa học cho kỹ thuật môi trường, bao gồm các định luật mở rộng về môi trường và mối quan hệ giữa môi trường và năng lực, được cho là chìa khóa để phát triển thế hệ tiếp theo của các tác nhân LLM.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển một khung lý thuyết về 'Định luật mở rộng môi trường' (Environment Scaling Laws), nghiên cứu mối tương quan định lượng giữa độ phức tạp của môi trường và năng lực cuối cùng của tác nhân, giúp dự đoán tài nguyên cần thiết.
  2. Khám phá phương pháp 'Căn chỉnh Sim-to-Real' cho môi trường tổng hợp, đảm bảo các kỹ năng học được trong môi trường mô phỏng (đặc biệt là môi trường thần kinh) có thể chuyển giao một cách đáng tin cậy sang ứng dụng thực tế.
  3. Nghiên cứu sâu về 'Môi trường đa tác nhân' với trọng tâm là thiết kế cơ chế tương tác và khen thưởng tự động, cho phép các tác nhân LLM khám phá và phát triển các chiến lược hợp tác hoặc cạnh tranh phức tạp.

2. Patent:​

  1. Hệ thống 'Tự động điều chỉnh kịch bản đào tạo cho trợ lý ảo trên điện thoại': Dựa trên lịch sử lỗi của trợ lý giọng nói, hệ thống sẽ tự động tạo ra các tình huống mô phỏng khó hơn dần để thử thách và cải thiện khả năng xử lý của nó.
  2. Phương pháp 'Kiểm thử bảo mật chủ động cho ứng dụng di động' dùng tác nhân LLM: Tác nhân sẽ tự động khám phá giao diện và chức năng của ứng dụng trên một máy ảo, sau đó tổng hợp các báo cáo về lỗ hổng tiềm ẩn dựa trên phản hồi của môi trường giả lập.
  3. Công cụ 'Cá nhân hóa giao diện người dùng' trên điện thoại: Tác nhân AI quan sát cách người dùng tương tác với ứng dụng, sau đó sử dụng môi trường mô phỏng để thử nghiệm các bố cục và điều chỉnh nhằm tối ưu hóa theo thói quen của từng người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12191
ArXiv Abstracthttps://arxiv.org/abs/2606.12191
PDF Downloadhttps://arxiv.org/pdf/2606.12191.pdf
Github RepositoryN/A

6. Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions (63 votes)​

Tác giả: Xin Jin, Huanqia Cai, Zhen Li, Zechao Zhan, Dengyang Jiang, et al.

Xuất bản lúc: 2026-06-08

Tag: VLM, Reward Modeling, Score Distribution, Knowledge Distillation, Text-to-Image, RLHF

I. Main Problem:​

Visual preference đánh giá hình ảnh thường mang tính chủ quan, nhưng các reward model hiện tại nén bất định này thành một giá trị scalar đơn lẻ hoặc so sánh nhị phân, làm mất thông tin về độ chắc chắn và khác biệt tinh tế. Các mô hình sinh dựa trên reasoning cho chất lượng cao hơn nhưng lại đắt đỏ và khó dùng làm tín hiệu tối ưu.

II. Main Idea:​

Z-Reward tách quy trình đánh giá nặng về reasoning khỏi việc triển khai reward hiệu quả qua kiến trúc teacher-student. Teacher (Qwen3.5-27B) dùng reasoning để suy ra phân phối điểm số theo rubric, được huấn luyện bằng Group-wise Direct Score Optimization (GDSO)—kết hợp policy-gradient reward với giám sát trực tiếp lên phân phối điểm và chênh lệch điểm. Student (Qwen3.5-9B) dùng Reasoning-Internalized Score Distillation (RISD) hấp thụ phân phối điểm có điều kiện reasoning của teacher mà không cần sinh chuỗi suy luận, tạo reward model nhỏ gọn, nhanh và hỗ trợ lan truyền gradient.

III. Main Results:​

  • Teacher 27B GDSO đạt 89.6% Human Preference Accuracy (HPA), vượt SFT (81.3%), RewardDance (84.2%) và GRPO (86.0%).
  • Student 9B RISD đạt 88.6% HPA, gần bằng teacher 27B và vượt On-Policy Distillation (OPD) 83.1%.
  • RISD chỉ cần 1 output token, trong khi OPD và GDSO cần ~750 token.
  • Khi dùng làm tín hiệu reward cho tối ưu text-to-image, Z-Reward cải thiện 41.3% human preference so với baseline SFT.
  • Dùng expectation từ phân phối điểm thay vì parse text điểm số cải thiện đáng kể HPA cho cả GRPO và GDSO.

IV. Conclusion & Future Works:​

Z-Reward giải quyết mâu thuẫn giữa chất lượng đánh giá và hiệu quả triển khai bằng cách chuyển giao tác động của reasoning vào phân phối điểm thay vì bắt chước chuỗi suy luận. Hướng tương lai có thể mở rộng khung này cho các modality khác như video hoặc xây dựng rubric đánh giá tự động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Z-Reward cho video generation: teacher dùng reasoning suy luận đa khung hình để tạo phân phối điểm, student hấp thụ để đánh giá nhanh các clip dài.
  2. Kết hợp GDSO với multi-objective optimization: cho phép teacher tự động cân bằng trọng số giữa các dimension đánh giá (alignment, realism, aesthetics) thay vì cố định.
  3. Nghiên cứu cách RISD có thể tổng quát hóa sang các tác vụ khác ngoài generation, như visual question answering, nơi cần đánh giá độ chắc chắn mà không cần reasoning tường minh.

2. Patent:​

  1. Hệ thống chấm điểm ảnh tự động trên điện thoại: app dùng student model nhỏ gọn để đánh giá chất lượng ảnh chụp theo nhiều tiêu chí (rõ nét, bố cục, màu sắc) mà không cần kết nối mạng, giúp người dùng chọn ảnh đẹp nhanh chóng.
  2. Công cụ xếp hạng video ngắn cho mạng xã hội: khi người dùng upload video, server dùng student model để cho điểm nội dung theo thang điểm phân phối, ưu tiên hiển thị video có điểm cao và độ chắc chắn lớn, tránh spam.
  3. Module tối ưu hóa ảnh quảng cáo: hệ thống tự động sinh nhiều biến thể ảnh, dùng reward model dạng phân phối để chọn ảnh có điểm kỳ vọng cao nhất và độ bất định thấp nhất, giúp tăng tỷ lệ nhấp mà không cần A/B test tốn kém.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.09076
ArXiv Abstracthttps://arxiv.org/abs/2606.09076
PDF Downloadhttps://arxiv.org/pdf/2606.09076.pdf
Github RepositoryN/A

7. TRL-Bench: Standardizing Cross-Paradigm Representation-Level Evaluation of Tabular Encoders (53 votes)​

Tác giả: Wei Pang, Xiangru Jian, Hehan Li, Zhixuan Yu, Alex Xue, et al.

Xuất bản lúc: 2026-06-08

Tag: tabular representation learning, benchmark, embedding evaluation, cross-paradigm comparison, data lake enrichment, column embedding, row embedding, table embedding

I. Main Problem:​

Các bộ mã hóa dạng bảng hiện tại thường được đánh giá trong các pipeline đầu-cuối dành riêng cho từng tác vụ, khiến việc so sánh trực tiếp giữa các mô hình thuộc các phương pháp huấn luyện khác nhau trở nên khó khăn. Sự thiếu chuẩn hóa ở cấp độ biểu diễn (representation-level) làm lu mờ đóng góp thực sự của bộ mã hóa, vì kết quả mạnh có thể đến từ bộ dự đoán được bọc bên ngoài hoặc quá trình tinh chỉnh, chứ không phải từ chất lượng embedding xuất ra.

II. Main Idea:​

TRL-Bench chuẩn hóa việc đánh giá bằng cách yêu cầu mỗi bộ mã hóa xuất ra các embedding cấp hàng, cột hoặc bảng thông qua một wrapper được hỗ trợ. Sau đó, các đầu dò (probe) nhẹ, dùng chung được huấn luyện trên các embedding này để thực hiện nhiều tác vụ khác nhau trong ba bộ đánh giá: TRL-CTBench (cột/bảng), TRL-RBench (hàng) và TRL-DLTE (làm giàu hồ dữ liệu đa giai đoạn). Cách tiếp cận này cô lập chất lượng biểu diễn tái sử dụng khỏi các yếu tố khác của pipeline, cho phép so sánh trực tiếp giữa các mô hình không đồng nhất.

III. Main Results:​

  • Khi điều kiện hạ nguồn được chuẩn hóa, chất lượng bộ mã hóa mang tính năng lực cụ thể: bộ mã hóa văn bản tổng quát dẫn đầu ở tác vụ có tín hiệu bề mặt mạnh, trong khi chuyên gia dạng bảng thắng nhờ sự liên kết với mục tiêu tiền huấn luyện.
  • Dự đoán trong bảng và liên kết chéo bảng tách biệt các họ mô hình: các phương pháp SSL trên bảng mục tiêu mạnh về dự đoán nhưng yếu về liên kết, trong khi bộ mã hóa truyền tải dẫn đầu về liên kết.
  • Trong TRL-DLTE, pipeline lai ghép chuyên gia phù hợp năng lực (TUTA/GTE/GTE) đạt UJ-H 0.229, vượt trội so với pipeline đơn bộ mã hóa (BERT/BERT/BERT, 0.139).
  • Chất lượng pipeline phụ thuộc vào sự phù hợp thành phần (compositional fit), không chỉ vào thứ hạng biên của từng giai đoạn.
  • Khả năng giải quyết danh tính (identity-resolution) trên RBench và DLTE Stage 3 có tương quan mạnh (Spearman |ρ|=0.80).

IV. Conclusion & Future Works:​

TRL-Bench cung cấp một giao thức chung để đo lường tín hiệu tái sử dụng trong các biểu diễn dạng bảng xuất ra. Công trình này phơi bày ba khoảng trống cấu trúc: khoảng trống chuyên môn hóa, khoảng trống phạm vi truyền tải và khoảng trống thành phần, cho thấy nghiên cứu biểu diễn dạng bảng vẫn chưa hội tụ về một lý thuyết thống nhất.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu thiết kế bộ mã hóa kết hợp cả tối ưu trong bảng (intra-table) và liên kết chéo bảng (inter-table) như TransTab và TabICL, nhằm xây dựng biểu diễn vừa thích ứng cục bộ vừa so sánh được toàn cục.
  2. Phát triển phương pháp tối ưu hóa thành phần pipeline (compositional optimization) cho DLTE: thay vì chọn mô hình tốt nhất từng giai đoạn riêng lẻ, tìm kiếm tổ hợp có 'sự ăn khớp' phi cộng tính tốt nhất.
  3. Mở rộng TRL-Bench cho các mô hình ngôn ngữ lớn dạng bảng (generative table LLMs) bằng cách thiết kế wrapper trích xuất embedding ẩn từ tầng trung gian, thay vì chỉ dựa vào đầu ra văn bản.

2. Patent:​

  1. Hệ thống gợi ý nhập liệu tự động trên điện thoại: khi người dùng nhập dữ liệu vào bảng tính, ứng dụng dùng mô hình bảng nhẹ (như BERT) nhúng từng hàng và so sánh với kho hàng mẫu để gợi ý các ô còn thiếu hoặc sửa lỗi nhập.
  2. Công cụ đối sánh danh bạ trên thiết bị di động: ứng dụng danh bạ dùng embedding hàng từ mô hình truyền tải (transfer-based) để tự động phát hiện và hợp nhất các liên hệ trùng lặp đến từ nhiều nguồn (SIM, Google, Facebook) mà không cần gửi dữ liệu lên đám mây.
  3. Tính năng 'khám phá bảng liên quan' trong ứng dụng văn phòng di động: khi người dùng mở một bảng tính, hệ thống nhúng cấp bảng và cột, sau đó truy vấn kho bảng mẫu trên thiết bị để đề xuất các bảng có thể nối thêm cột hoặc hợp nhất hàng, giúp tiết kiệm thời gian soạn thảo.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.09323
ArXiv Abstracthttps://arxiv.org/abs/2606.09323
PDF Downloadhttps://arxiv.org/pdf/2606.09323.pdf
Github Repositoryhttps://github.com/LOGO-CUHKSZ/TRL-Bench

8. DeNovoSWE: Scaling Long-Horizon Environments for Generating Entire Repositories from Scratch (34 votes)​

Tác giả: Jiale Zhao, Guoxin Chen, Fanzhe Meng, Wayne Xin Zhao, Ruihua Song, et al.

Xuất bản lúc: 2026-06-09

Tag: Code Generation, Repository Generation, Long-Horizon, LLM Agents, Software Engineering, Divide-and-Conquer, Trajectory Filtering

I. Main Problem:​

Các mô hình mã nguồn hiện tại chủ yếu được huấn luyện để sửa lỗi cục bộ, không đủ năng lực cho nhiệm vụ xây dựng toàn bộ kho mã từ đầu. Thiếu tập dữ liệu huấn luyện quy mô lớn, có thể kiểm chứng cho việc tạo kho mã dài hạn, gây hạn chế cho các tác tử mã nguồn hiện đại.

II. Main Idea:​

DeNovoSWE là tập dữ liệu lớn gồm 4.818 mẫu, mỗi mẫu yêu cầu tạo toàn bộ kho mã từ tài liệu. Nó được xây dựng tự động qua pipeline sandboxed với triết lý chia để trị và cơ chế phê bình-sửa chữa lặp. Một chiến lược lọc quỹ đạo nhận biết độ khó được đề xuất, điều chỉnh ngưỡng lọc linh hoạt để cân bằng chất lượng và độ đa dạng của dữ liệu, cho phép giữ lại các quỹ đạo có ích từ các bài toán khó.

III. Main Results:​

  • Huấn luyện Qwen3-30B-A3B trên DeNovoSWE cải thiện điểm BeyondSWE-Doc2Repo từ 5.8% lên 47.2%.
  • DeNovoSWE lớn hơn ~46 lần so với tập NL2Repo, có 4.818 mẫu so với 104 của NL2RepoBench.
  • Độ phủ kiểm thử trung bình đạt 85.5%, trung vị 89.6%.
  • Mỗi mẫu có trung bình 205 unit test, trải rộng trên 31.5 tệp kiểm thử.

IV. Conclusion & Future Works:​

DeNovoSWE lấp khoảng trống dữ liệu huấn luyện cho việc tạo toàn bộ kho mã, chứng minh hiệu quả qua cải thiện đáng kể trên các benchmark. Hướng tới có thể mở rộng sang các ngôn ngữ lập trình khác, tối ưu hóa chiến lược lọc cho dữ liệu đa nhiệm phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng chiến lược lọc quỹ đạo nhận biết độ khó cho các nhiệm vụ mã nguồn dài hạn khác (vd: sửa lỗi đa file, tái cấu trúc toàn bộ dự án).
  2. Kết hợp DeNovoSWE với kỹ thuật học tăng cường (RL) để huấn luyện tác tử có khả năng lập kế hoạch tạo kho mã theo nhiều bước và tự sửa lỗi.
  3. Xây dựng phiên bản đa ngôn ngữ của DeNovoSWE, đánh giá khả năng khái quát hóa của mô hình trên các hệ sinh thái lập trình khác nhau (Java, C++, Python, v.v.).

2. Patent:​

  1. Hệ thống tạo tự động mã nguồn cho ứng dụng di động từ bản mô tả tính năng bằng ngôn ngữ tự nhiên: người dùng nhập yêu cầu, hệ thống tạo cấu trúc thư mục, file cấu hình, và các module chức năng chính.
  2. Công cụ hỗ trợ tái cấu trúc mã nguồn toàn bộ dự án: dựa trên tài liệu hiện có và kiểm thử đơn vị, công cụ tạo đề xuất mã thay thế cho toàn bộ module hoặc thư viện phụ thuộc.
  3. Phương pháp kiểm tra tính đầy đủ của tài liệu kỹ thuật cho dự án mã nguồn mở: sử dụng pipeline chia để trị để đảm bảo tài liệu bao phủ đúng các chức năng và API cốt lõi của kho mã.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.10728
ArXiv Abstracthttps://arxiv.org/abs/2606.10728
PDF Downloadhttps://arxiv.org/pdf/2606.10728.pdf
Github Repositoryhttps://github.com/AweAI-Team/DeNovoSWE

9. Reason, Then Re-reason: Cross-view Revisiting Improves Spatial Reasoning (30 votes)​

Tác giả: Chaofan Ma, Zhenjie Mao, Yuhuan Yang, Fanqin Zeng, Yue Shi, et al.

Xuất bản lúc: 2026-06-10

Tag: Spatial Reasoning, Egocentric Video, Multimodal LLM, 3D Reconstruction, VGGT, Training-Free, Inference-Time

I. Main Problem:​

Suy luận không gian từ video ngôi thứ nhất (egocentric) vốn bị hạn chế bởi quỹ đạo camera, dẫn đến bằng chứng thị giác không đầy đủ cho các câu hỏi về bố cục 3D. Các phương pháp một lượt (single-turn) buộc mô hình phải dùng tri thức ngữ nghĩa để lấp đầy khoảng trống, thay vì xác minh từ bằng chứng, gây ra sai sót và ảo giác không gian.

II. Main Idea:​

Bài báo đề xuất ReRe (Reason, then Re-reason), một khung suy luận không cần huấn luyện, chia quá trình thành hai pha: (i) Reason Phase – mô hình ngôn ngữ đa phương thức (MLLM) đưa ra giả thuyết không gian ban đầu từ video gốc; (ii) Re-reason Phase – giả thuyết đó được xác minh hoặc sửa chữa dựa trên một góc nhìn tổng hợp mới, bổ sung cho góc nhìn ban đầu. Để tạo ra góc nhìn này, ReRe dùng pipeline Geometry-to-Video: ước lượng điểm 3D từ VGGT, lập quỹ đạo quét chéo (Oblique Sweep) để có tầm nhìn bao quát, rồi raster hóa thành video thông thường mà MLLM có thể xử lý ngay.

III. Main Results:​

  • ReRe cải thiện đáng kể hiệu suất trên VSI-Bench và STI-Bench cho nhiều MLLM nguồn mở, như tăng 5.8% cho Qwen3-VL-4B.
  • Với Qwen3-VL-4B, ReRe đạt độ chính xác ngang bằng GPT-4o thương mại trên VSI-Bench.
  • Tỷ lệ sửa đúng/sai đạt 2.52:1; trong số mẫu bị thay đổi, 71.6% là sửa từ sai thành đúng.
  • Cả hai pha đều cần thiết: chỉ 'suy nghĩ lại' trên video cũ làm giảm kết quả; thiếu video gốc cũng giảm hiệu suất.
  • Quỹ đạo Oblique Sweep (đường chéo, góc cao) vượt trội so với quét ngang tầm mắt hay quỹ đạo từ trên xuống.

IV. Conclusion & Future Works:​

ReRe chứng minh rằng suy luận không gian nên là quá trình có thể xem xét lại: tận dụng hình học 3D làm bằng chứng thị giác để xác minh, thay vì đầu tư vào biểu diễn ẩn phức tạp. Hướng tương lai gồm tích hợp bộ dự đoán 3D nhanh hơn (FastVGGT) và áp dụng nguyên lý tương tự cho các nhiệm vụ đa phương thức khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ReRe cho suy luận không gian động (moving objects): tổng hợp góc nhìn mới từ 3D + trường quang (optical flow) để mô hình kiểm tra giả thuyết về chuyển động và tương tác.
  2. Kết hợp ReRe với cơ chế active view selection: mô hình tự quyết định góc nhìn bổ sung nào tối ưu nhất dựa trên độ bất định của giả thuyết, thay vì dùng quỹ đạo cố định.
  3. Ứng dụng tư tưởng 'reason then re-reason' cho suy luận nhân quả trong video: mô hình đưa ra giả thuyết nguyên nhân, sau đó xác minh bằng cách tổng hợp các cảnh quay thay thế (counterfactual views).

2. Patent:​

  1. Hệ thống hỗ trợ định vị trong nhà qua camera điện thoại: người dùng quay video phòng; điện thoại tái tạo 3D sơ lược, tổng hợp góc nhìn bổ sung; trợ lý ảo xác nhận lại vị trí đồ vật trước khi đưa chỉ dẫn.
  2. Ứng dụng thử đồ nội thất ảo (AR): người dùng quay video phòng; ứng dụng tạo góc nhìn bổ sung để hiển thị món đồ dưới nhiều góc, giúp người dùng đánh giá kích thước và bố trí chính xác hơn.
  3. Tính năng chụp ảnh 'bù thiếu' trên điện thoại: khi người dùng chụp ảnh góc hẹp, hệ thống ước tính 3D và đề xuất góc nhìn tổng thể từ cao xuống, giúp người dùng kiểm tra xem có thiếu vật thể quan trọng không trước khi chụp lại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.11683
ArXiv Abstracthttps://arxiv.org/abs/2606.11683
PDF Downloadhttps://arxiv.org/pdf/2606.11683.pdf
Github RepositoryN/A

10. World Pilot: Steering Vision-Language-Action Models with World-Action Priors (26 votes)​

Tác giả: Zefu Lin, Rongxu Cui, Junjia Xu, Xiaojuan Jin, Wenling Li, et al.

Xuất bản lúc: 2026-06-10

Tag: Vision-Language-Action Models, World Models, Robotics, Manipulation, Diffusion, OOD Generalization, LIBERO-Plus

I. Main Problem:​

Các mô hình Vision-Language-Action hiện có được huấn luyện trên cặp ảnh-văn bản tĩnh, do đó không nắm bắt được động lực học liên tục và giàu tiếp xúc của thao tác robot. Kết quả là chúng dễ gãy khi gặp thay đổi về góc nhìn, hình dạng vật thể hay trạng thái biến dạng ngoài phân bố huấn luyện.

II. Main Idea:​

World Pilot bổ sung hai luồng prior từ một World-Action Model (WAM) vào VLA: Latent Steering tiêm latent tiến hóa cảnh vào trạng thái ẩn của VLM qua cross-attention, còn Action Steering nén quỹ đạo dự đoán thành một token prefix duy nhất cho bộ sinh action. WAM được giữ nguyên trong suốt quá trình fine-tune, chỉ cập nhật VLA và các module hợp nhất nhẹ. Hai prior này cung cấp cho VLA một cái nhìn dự đoán về cảnh và một gợi ý chuyển động quỹ đạo bên cạnh ngữ nghĩa tĩnh thông thường.

III. Main Results:​

  • Trên LIBERO-Plus OOD benchmark, World Pilot đạt total success rate 84.7%—cao hơn baseline mạnh nhất (ABot-M0) 4.2 điểm và dẫn đầu trên 3/7 trục nhiễu.
  • Trên 4 tác vụ robot thật, World Pilot giành success rate cao nhất ở mọi thiết lập; độ sụt ID→OOD chỉ 10–20 điểm so với 25–50 điểm của các baseline.
  • Ablation cho thấy mỗi prior đóng góp độc lập: Latent Steering +3.2%, Action Steering +2.6%, kết hợp +4.2%.
  • Latent Steering vẫn hiệu quả khi dùng WAM chưa qua action post-training, đạt 82.6% (+2.1) trên LIBERO-Plus.
  • Dùng latent thay vì ảnh tương lai giải mã mang lại lợi thế rõ rệt (84.7% so với 83.5%).

IV. Conclusion & Future Works:​

World Pilot chứng minh cách tích hợp prior từ World-Action Model qua hai cổng bổ sung giúp VLA khái quát hóa tốt hơn ra ngoài phân bố. Tuy nhiên, phương pháp phụ thuộc vào vùng phủ của WAM, gains không đồng đều trên mọi trục, và tăng overhead tính toán. Hướng phát triển tiếp: prior gating có nhận thức bất định, đồng huấn luyện WAM–VLA, và chưng cất prior để giảm chi phí mỗi bước.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế gating có nhận thức bất định để tự động điều chỉnh mức độ ảnh hưởng của prior khi WAM không tin cậy, giúp VLA luôn ổn định dù vùng phủ WAM suy giảm.
  2. Đề xuất khung đồng huấn luyện WAM và VLA với gradient xuyên suốt, cho phép prior và policy điều chỉnh lẫn nhau nhằm tối ưu hiệu suất tổng thể thay vì chỉ phụ thuộc vào prior tĩnh.
  3. Phát triển kỹ thuật chưng cất tri thức từ WAM sang VLA dưới dạng tham số nhẹ, loại bỏ forward pass phụ tại inference để phù hợp với các hệ thống robot cần điều khiển tần số cao.

2. Patent:​

  1. Ứng dụng trên robot hỗ trợ nhà bếp: camera điện thoại quay cảnh bàn; WAM dự đoán di chuyển của chén đĩa và bàn tay robot, cho phép robot cầm-nắm chính xác dù ánh sáng hay góc quay thay đổi.
  2. Hệ thống robot lắp ráp linh kiện trong nhà máy: khi băng tải thay đổi chiều cao hoặc màu sắc, Latent Steering cập nhật ẩn trạng thái cảnh để robot vẫn đặt linh kiện đúng vị trí mà không cần hiệu chuẩn lại.
  3. Tính năng gợi ý hành động cho robot dọn dẹp nhà cửa qua điện thoại: Action Steering sinh quỹ đạo tay gần đúng dựa trên WAM, người dùng chỉ cần chọn xác nhận hoặc điều chỉnh nhẹ, giảm thời gian lập trình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12403
ArXiv Abstracthttps://arxiv.org/abs/2606.12403
PDF Downloadhttps://arxiv.org/pdf/2606.12403.pdf
Github Repositoryhttps://github.com/ZefuLin/WorldPilot

11. On Subquadratic Architectures: From Applications to Principles (23 votes)​

Tác giả: Anamaria-Roberta Hartl, Levente Zólyomi, David Stap, Pieter-Jan Hoedt, Niklas Schmidinger, et al.

Xuất bản lúc: 2026-06-10

Tag: Subquadratic Architectures, xLSTM, Mamba-2, Gated DeltaNet, State Tracking, Accumulation, Length Generalization, Linear Attention

I. Main Problem:​

Các kiến trúc Transformer có cơ chế attention bậc hai gây tốn kém tính toán. Các kiến trúc dưới bậc hai (subquadratic) như xLSTM, Mamba-2 và Gated DeltaNet là giải pháp thay thế có khả năng mở rộng, nhưng chưa có so sánh trực tiếp nào giữa chúng trên các tác vụ có sự phụ thuộc phức tạp để xác định thiết kế nào hiệu quả nhất.

II. Main Idea:​

Bài báo so sánh xLSTM, Mamba-2 và Gated DeltaNet trên các tác vụ tiền huấn luyện mã nguồn và chuỗi thời gian, cùng với chưng cất từ Transformer sang mô hình dưới bậc hai. Kết quả thực nghiệm cho thấy xLSTM vượt trội ở hầu hết các cấu hình. Để giải thích, tác giả đưa ra một khung thống nhất giúp so sánh trực tiếp cơ chế ghi, quên, ghi đè và đọc trạng thái của ba kiến trúc. Phân tích này dẫn đến giả thuyết rằng lợi thế của xLSTM đến từ khả năng kết hợp linh hoạt giữa tích lũy (accumulation) và theo dõi trạng thái (state tracking), được kiểm chứng qua các tác vụ tổng hợp có kiểm soát về khả năng khái quát hóa độ dài.

III. Main Results:​

  • Trong tiền huấn luyện mã nguồn (400M tham số), xLSTM[7:1] dẫn đầu HumanEval pass@64 với cải thiện từ 0.9 đến 1.81 điểm so với đối thủ tốt nhất.
  • Trong chưng cất mã nguồn, xLSTM[1:0] đạt trung bình cao nhất (0.768) trên HumanEval, HumanEval+, MBPP và MBPP+.
  • Trong mô hình nền tảng chuỗi thời gian, xLSTM[3:1] dẫn đầu MASE và CRPS ở mọi quy mô từ 1M đến 40M tham số.
  • Trên tác vụ tổng hợp, chỉ xLSTM[1:1] mới khái quát hóa độ dài được cả trên tác vụ đếm (Majority) và theo dõi trạng thái (Parity).

IV. Conclusion & Future Works:​

Nghiên cứu khẳng định lợi thế của xLSTM trên các tác vụ phức tạp nhờ sự kết hợp giữa tích lũy và theo dõi trạng thái, được giải thích qua khung thống nhất về cơ chế bộ nhớ. Hướng phát triển tương lai bao gồm mở rộng so sánh lên quy mô tham số lớn hơn, nhiều teacher hơn, và nhiều lĩnh vực dữ liệu hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu khả năng mở rộng của xLSTM khi kết hợp nhiều lớp recurrent hơn ở quy mô hàng tỷ tham số, liệu lợi thế về theo dõi trạng thái có được duy trì khi tăng kích thước mô hình?
  2. Phát triển một biến thể Gated DeltaNet mới có cơ chế tách rời cổng vào và quên giống xLSTM, đồng thời giữ lại khả năng ghi đè có điều hướng, để cải thiện khả năng tích lũy.
  3. Đánh giá khả năng của các kiến trúc dưới bậc hai trong các tác vụ lập luận đa bước và suy luận nhân quả, nơi việc theo dõi trạng thái và tích lũy dài hạn là rất quan trọng.

2. Patent:​

  1. Hệ thống gợi ý code thông minh trên điện thoại: sử dụng mô hình xLSTM nhẹ được chưng cất từ Transformer lớn để đưa ra gợi ý hoàn thành code theo ngữ cảnh, giảm độ trễ và tiết kiệm pin so với gọi API cloud, đặc biệt hiệu quả với code có cấu trúc vòng lặp và rẽ nhánh phức tạp.
  2. Dự báo thời tiết cá nhân hóa trên smartphone: dùng xLSTM làm backbone cho mô hình chuỗi thời gian chạy trên thiết bị, học các mẫu thời tiết địa phương từ dữ liệu cảm biến (nhiệt độ, độ ẩm, áp suất) để đưa ra dự báo ngắn hạn chính xác hơn mà không cần kết nối Internet.
  3. Công cụ chỉnh sửa ảnh thích ứng trên điện thoại: tận dụng khả năng theo dõi trạng thái của xLSTM để ghi nhớ và áp dụng nhất quán một chuỗi thao tác chỉnh sửa (ví dụ: tăng độ sáng, giảm độ tương phản, thay đổi cân bằng trắng) lên nhiều ảnh khác nhau, tự động điều chỉnh tham số cho phù hợp từng bức.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12364
ArXiv Abstracthttps://arxiv.org/abs/2606.12364
PDF Downloadhttps://arxiv.org/pdf/2606.12364.pdf
Github RepositoryN/A

12. InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning (23 votes)​

Tác giả: Ziang Yan, Sheng Xia, Jiashuo Yu, Yue Wu, Tianxiang Jiang, et al.

Xuất bản lúc: 2026-06-10

Tag: Multimodal Large Language Models, Video Understanding, Multi-step Reasoning, Contextual Reasoning, Attention Mechanism, Agents, Reinforcement Learning

I. Main Problem:​

Các mô hình multimodal nguồn mở hiện tại chủ yếu tập trung vào tác vụ văn bản và suy luận một bước, trong khi suy luận đa phương thức dài hạn trên video vẫn còn ít được khám phá. Video dài đòi hỏi khả năng hiểu ngữ cảnh theo thời gian, thu thập chứng cứ trực quan và tương tác lặp lại với công cụ, vượt xa kiểu trả lời câu hỏi một lần.

II. Main Idea:​

InternVideo3 đề xuất Multimodal Contextual Reasoning (MCR), một khung nhìn thống nhất biểu diễn các quan sát, suy luận trung gian, hành động công cụ và bộ nhớ trong cùng một ngữ cảnh tiến hóa, biến hiểu video thành quá trình khép kín gồm quan sát, suy luận, hành động, phản hồi và cập nhật ngữ cảnh. Khung kiến trúc đi kèm là M2LA, một cơ chế attention nén trạng thái KV-cache thành vector tiềm ẩn để giảm bộ nhớ mà vẫn giữ nguyên toàn bộ luồng token đa phương thức. Mô hình được huấn luyện theo lộ trình gồm: tiếp tục tiền huấn luyện sau khi chuyển đổi M2LA, fine-tuning video từ ngắn đến dài, học tăng cường dựa trên quy tắc (GSPO) và distillation on-policy từ mô hình giáo viên mạnh hơn.

III. Main Results:​

  • InternVideo3 đạt kết quả mạnh trên nhiều benchmark video ngắn và dài, đặc biệt vượt trội ở Video-MME, MLVU và EgoSchema.
  • M2LA giảm đáng kể bộ nhớ KV-cache, cho phép rollout dài hơn trên phần cứng hạn chế mà không mất mát token.
  • Phương pháp này cho thấy hiệu quả của suy luận đa phương thức khép kín trong các tác vụ yêu cầu chứng cứ lặp lại.
  • Mô hình được instantiate thành video agent với công cụ truy xuất và xác minh, minh họa khả năng suy luận đệ quy.

IV. Conclusion & Future Works:​

Kết quả cho thấy xử lý ngữ cảnh hiệu quả và suy luận đa phương thức khép kín là hai yếu tố quan trọng để thích ứng mô hình multimodal nguồn mở cho các tác vụ dài hạn. Hướng phát triển tiếp theo có thể mở rộng MCR sang các loại công cụ và tác vụ phức tạp hơn, cũng như tối ưu hóa thêm hiệu suất suy luận.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng MCR cho các tác vụ tương tác đa người dùng trong video đám đông, mỗi tác nhân có thể đặt câu hỏi và theo dõi ngữ cảnh riêng.
  2. Kết hợp M2LA với kỹ thuật nén tần số (frequency-domain compression) để giảm thêm bộ nhớ KV-cache mà vẫn giữ độ chính xác.
  3. Áp dụng MCR cho mô hình thế giới trong điều khiển robot, nơi video dài và phản hồi từ môi trường yêu cầu cập nhật ngữ cảnh liên tục.

2. Patent:​

  1. Ứng dụng MCR trên điện thoại để phân tích video giám sát dài: người dùng hỏi về sự kiện, mô hình tự động tua lại, phóng to và kiểm tra chéo nhiều khung hình, trả lời có dẫn chứng thời gian cụ thể.
  2. Hệ thống gợi ý video tương tác: khi xem phim hoặc bài giảng dài, người dùng hỏi chi tiết, mô hình tự động truy xuất khoảnh khắc liên quan và giải thích ngay trong trình phát.
  3. Trợ lý thực tế tăng cường (AR) trên kính thông minh: khi nhận lệnh phức tạp (ví dụ: 'chỉ đường đến quán cà phê gần nhất'), mô hình liên tục phân tích video camera, kết hợp GPS và ghi chú, tự hiệu chỉnh đường đi khi phát hiện chướng ngại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12195
ArXiv Abstracthttps://arxiv.org/abs/2606.12195
PDF Downloadhttps://arxiv.org/pdf/2606.12195.pdf
Github RepositoryN/A

13. Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling (21 votes)​

Tác giả: Yucheng Li, Huiqiang Jiang, Yang Xu, Jianxin Yang, Yi Zhang, et al.

Xuất bản lúc: 2026-06-10

Tag: Multi-Token Prediction, Speculative Decoding, Reinforcement Learning, LLMs, Rejection Sampling, TV Loss, Entropy

I. Main Problem:​

Trong RL training cho LLM, giai đoạn rollout là nút thắt cổ chai chi phối tài nguyên. Multi-Token Prediction (MTP) có thể tăng tốc rollout qua speculative decoding, nhưng tỷ lệ chấp nhận (acceptance rate) của MTP suy giảm mạnh trong RL do entropy của policy model biến động, khiến mức tăng tốc không đáng kể.

II. Main Idea:​

Bài báo chỉ ra rằng sự suy giảm acceptance rate chủ yếu do biến động entropy, không phải do lệch phân phối giữa draft head và backbone. Để giải quyết, tác giả đề xuất dùng rejection sampling (thay vì greedy target-only sampling) và một hàm mất mát Total Variation (TV) mới, được huấn luyện end-to-end qua nhiều bước MTP, nhằm tối ưu trực tiếp độ phủ phân phối (overlap) giữa draft và target—yếu tố quyết định acceptance rate của rejection sampling. Kết quả là draft model duy trì acceptance rate ổn định (~95%) và độc lập với entropy của policy, loại bỏ nhu cầu cập nhật MTP online tốn kém trong RL.

III. Main Results:​

  • Mất mát e2e TV cải thiện acceptance rate thêm ~10% so với CE/KL, đạt tới 95% trên các tác vụ reasoning, code và agentic.
  • Kết hợp rejection sampling với TV loss giúp acceptance rate gần như không đổi suốt quá trình RL, bất kể entropy thay đổi.
  • Tăng tốc end-to-end async RL lên tới 1.8× trên các mô hình Qwen3.5, 3.6 và 3.7.
  • TV loss có gradient bị chặn (≤1), đảm bảo huấn luyện ổn định và giảm độ phức tạp tính toán so với online MTP.

IV. Conclusion & Future Works:​

Bebop chứng minh rằng chỉ cần huấn luyện MTP một lần trước RL với TV loss và rejection sampling là đủ để duy trì tốc độ rollout cao xuyên suốt RL, loại bỏ chi phí cập nhật online. Hướng tới: mở rộng phương pháp cho các chiến lược RL khác và nghiên cứu ảnh hưởng của nhiệt độ và độ dài sinh lên acceptance rate trong nhiều tác vụ hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng hàm mất mát TV loss cho các kiến trúc speculative decoding khác như Medusa hay Eagle, kiểm tra tính khái quát hóa trên nhiều tác vụ NLP và vision-language.
  2. Kết hợp rejection sampling và TV loss với online RL để xử lý các tác vụ có động lực học thay đổi nhanh, nơi drift phân phối không thể bỏ qua.
  3. Phân tích lý thuyết sâu hơn về quan hệ giữa entropy biến động và acceptance rate trong RL, đề xuất thêm các regularization để ổn định entropy của policy model.

2. Patent:​

  1. Ứng dụng vào chatbot trên điện thoại: module MTP với rejection sampling và TV loss giúp tăng tốc sinh phản hồi, giảm thời gian chờ và tiết kiệm năng lượng xử lý trên thiết bị di động.
  2. Tích hợp vào hệ thống gợi ý thời gian thực trên điện thoại: dùng MTP để dự đoán nhiều lựa chọn tiếp theo của người dùng, rejection sampling đảm bảo độ chính xác cao ngay cả khi hành vi người dùng thay đổi đột ngột.
  3. Phát triển tính năng tự động hoàn thành văn bản trên bàn phím điện thoại: huấn luyện MTP một lần với TV loss, sau đó dùng rejection sampling để đưa ra gợi ý nhanh mà không cần cập nhật model liên tục.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12370
ArXiv Abstracthttps://arxiv.org/abs/2606.12370
PDF Downloadhttps://arxiv.org/pdf/2606.12370.pdf
Github RepositoryN/A

14. Reroute, Don't Remove: Recoverable Visual Token Routing for Vision-Language Models (20 votes)​

Tác giả: Cheng-Yu Yang, Shao-Yuan Lo, Yu-Lun Liu

Xuất bản lúc: 2026-06-10

Tag: Vision-Language Models, Visual Token Reduction, Mixture-of-Depth, Inference Acceleration, LLava, Qwen

I. Main Problem:​

Các mô hình ngôn ngữ-thị giác (VLM) tạo ra hàng trăm đến hàng nghìn token ảnh, khiến suy luận decoder trở nên tốn kém. Các phương pháp giảm token hiện tại loại bỏ vĩnh viễn các token ít quan trọng, nhưng mức độ quan trọng của token thay đổi theo độ sâu decoder, dẫn đến mất thông tin cần thiết cho các lớp sau và làm suy giảm độ chính xác grounding.

II. Main Idea:​

Reroute thay thế hành động loại bỏ vĩnh viễn bằng cơ chế định tuyến có thể khôi phục. Tại mỗi giai đoạn, một số token được chọn đi qua decoder, trong khi các token bị hoãn sẽ bỏ qua giai đoạn đó và quay lại nhóm ứng cử ở giai đoạn sau. Reroute tái sử dụng điểm chú ý hiện có, không cần huấn luyện thêm, và duy trì chi phí TFLOPs cũng như bộ nhớ KV-cache tương đương với phương pháp pruning gốc.

III. Main Results:​

  • Trên LLaVA-1.5-7B (HuggingFace), PDrop+Reroute cải thiện grounding trung bình từ 71.3% lên 82.3% ở mức 192 token, và từ 22.2% lên 34.0% ở mức 64 token.
  • Trên Qwen2.5-VL-7B, PDrop+Reroute tăng tỷ lệ trung bình từ 29.3% lên 37.4% ở mức giảm 77.8% token.
  • Trên Qwen3.5-9B (hybrid), PDrop+Reroute cải thiện từ 25.8% lên 59.7% ở mức giảm 77.8%, cho thấy lợi ích lớn nhất ở các kiến trúc hybrid.
  • VQA tổng quát vẫn duy trì ngang bằng hoặc tốt hơn so với pruning thông thường.
  • Chi phí TFLOPs và KV-cache gần như không đổi: giảm ~80% ở mức 64 token so với vanilla.

IV. Conclusion & Future Works:​

Reroute chứng minh rằng giảm token ảnh nên là định tuyến có thể khôi phục, thay vì loại bỏ vĩnh viễn, đặc biệt có lợi cho các tác vụ grounding và các kiến trúc hybrid. Hướng phát triển tương lai gồm tối ưu kernel gather/scatter, kết hợp với nén encoder và KV-cache, cũng như phân tích chi tiết tương tác với state dynamics của linear-attention.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng cơ chế định tuyến khôi phục cho các tác vụ video VLM, nơi các khung hình quan trọng có thể thay đổi theo thời gian và token bị bỏ qua ở đầu có thể trở nên cần thiết ở cuối.
  2. Kết hợp Reroute với nén encoder-side như token merging, tạo thành pipeline giảm token hai giai đoạn tối ưu cho cả chi phí và độ chính xác.
  3. Phát triển chiến lược định tuyến thích ứng dựa trên nội dung, cho phép tự động điều chỉnh số token định tuyến lại theo độ khó của truy vấn và ảnh.

2. Patent:​

  1. Hệ thống phân tích ảnh y tế trên điện thoại: module Reroute giúp giữ lại các token ảnh quan trọng, cho phép thiết bị di động tái phân tích vùng nghi ngờ dù lần đầu bị bỏ qua, cải thiện chẩn đoán ung thư da.
  2. Tính năng xem ảnh thông minh trên điện thoại: khi người dùng zoom vào chi tiết, hệ thống tự động định tuyến lại token từ vùng đó, tăng độ chi tiết mà không cần tải lại ảnh độ phân giải cao.
  3. Ứng dụng thực tế tăng cường trên điện thoại: module định tuyến token khôi phục giúp nhận diện vật thể bị che khuất một phần, cải thiện độ chính xác của tính năng đo khoảng cách và nhận diện landmark.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12412
ArXiv Abstracthttps://arxiv.org/abs/2606.12412
PDF Downloadhttps://arxiv.org/pdf/2606.12412.pdf
Github Repositoryhttps://github.com/elmma/mllm-reroute

15. ComBench: A Benchmark for Rigorous Proof Reasoning and Constructive Realization in Olympiad-Level Combinatorics (19 votes)​

Tác giả: Shunkai Zhang, Haoran Zhang, Yun Luo, Qianjia Cheng, Haodi Lei, et al.

Xuất bản lúc: 2026-06-09

Tag: LLMs, Combinatorics, Olympiad-Level Reasoning, Benchmark, Proof Reasoning, Constructive Realization, Verifier-Gated Evaluation

I. Main Problem:​

Các mô hình ngôn ngữ lớn tiên tiến hiện nay đạt thành tích cao trên nhiều benchmark toán học, nhưng vẫn thất bại không đều trên các bài toán tổ hợp cấp Olympic, đặc biệt là các bài yêu cầu suy luận sáng tạo và xây dựng cấu trúc rời rạc phức tạp. Các benchmark hiện có chủ yếu đánh giá dựa trên đáp án cuối hoặc chấm điểm chứng minh tự nhiên, chưa phân lập và đo lường riêng khả năng hiện thực hóa một đối tượng tổ hợp cụ thể và kiểm chứng được.

II. Main Idea:​

ComBench là benchmark 100 bài toán tổ hợp cấp Olympic, được chia đều thành hai loại: các bài Tập trung Phân tích (analysis-centric) đánh giá khả năng lập luận chứng minh chặt chẽ (Rigorous Proof Reasoning) và các bài Tập trung Xây dựng (construction-centric) bổ sung thêm nhiệm vụ xây dựng (Constructive Realization) đòi hỏi mô hình phải tạo ra một 'nhân chứng' (witness) rời rạc cụ thể, có thể kiểm tra bằng mã Python xác định. Giao thức đánh giá kết hợp chấm điểm chứng minh theo rubric 0/1/6/7 và một quy tắc hạ điểm dựa trên kết quả của bộ kiểm tra xây dựng, cho phép phân tích độc lập hai năng lực cốt lõi.

III. Main Results:​

  • Mô hình mạnh nhất, GPT-5.5, chỉ đạt 65.4% điểm trung bình tổng thể và 75.3% Best@4, cho thấy benchmark này vẫn còn nhiều thách thức.
  • Kết quả cho thấy Rigorous Proof Reasoning và Constructive Realization là hai năng lực riêng biệt: Kimi-K2.6 thua GPT-5.5 ở bài phân tích nhưng vượt ở Best@4 của bài xây dựng.
  • Ở cấp độ thể loại, các bài Existence and Construction luôn khó nhất đối với tất cả các mô hình tiên tiến.
  • Phân tích lỗi chứng minh cho thấy 41.2% lỗi thuộc dạng Missing Core Mechanism (thiếu cơ chế cốt lõi), tiếp theo là Wrong Mathematical Target (chứng minh sai mục tiêu) với 20%.

IV. Conclusion & Future Works:​

ComBench phân tách thành công khả năng lập luận chứng minh và khả năng xây dựng nhân chứng trong bài toán tổ hợp, bộc lộ điểm yếu cốt hữu của các mô hình hiện tại trong việc lập kế hoạch toàn cục và tổng hợp nhân chứng tường minh. Hướng nghiên cứu tương lai có thể tập trung vào cải thiện khả năng lựa chọn mục tiêu, khám phá bất biến và tổng hợp bài giải có cấu trúc.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng giao thức kiểm chứng nhân chứng có thể thực thi (verifier-gated) từ tổ hợp sang các lĩnh vực toán Olympic khác như số học, đại số và hình học, nơi các lời giải thường yêu cầu các cấu trúc hình học hoặc biểu thức đại số chính xác.
  2. Phát triển một phương pháp huấn luyện tăng cường (reinforcement learning) kết hợp với phần thưởng từ bộ kiểm tra xây dựng (construction verifier) để rèn luyện trực tiếp khả năng tổng hợp nhân chứng cho mô hình ngôn ngữ.
  3. Xây dựng một phiên bản ComBench mở rộng với các bài toán yêu cầu mô hình tự đề xuất và định nghĩa giao diện cho nhân chứng của mình, thay vì phải tuân theo một khuôn mẫu có sẵn.

2. Patent:​

  1. Hệ thống kiểm tra lời giải bài tập toán trên điện thoại: học sinh chụp ảnh bài làm có hình vẽ (ví dụ đồ thị, hình học tổ hợp); hệ thống dùng ảnh đó làm 'nhân chứng' và kiểm tra xem nó có thỏa mãn các ràng buộc của đề bài hay không.
  2. Trợ lý lập kế hoạch cho board game trên di động: người dùng nhập trạng thái bàn cờ; trợ lý đề xuất nước đi bằng cách 'xây dựng' luồng trò chơi mẫu và kiểm tra nước đi đó có đảm bảo chiến thắng với mọi phản ứng của đối thủ hay không.
  3. Công cụ thiết kế giao diện người dùng trên điện thoại: người dùng mô tả 'một ma trận nút bấm với điều kiện tổng số nút mỗi hàng bằng nhau'; công cụ tự động sinh ra một bố trí thỏa mãn và cho người dùng xem trước trực tiếp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.10479
ArXiv Abstracthttps://arxiv.org/abs/2606.10479
PDF Downloadhttps://arxiv.org/pdf/2606.10479.pdf
Github Repositoryhttps://github.com/Simplified-Reasoning/ComBench

16. Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code (18 votes)​

Tác giả: Yitong Zhang, Shiteng Lu, Jia Li

Xuất bản lúc: 2026-06-10

Tag: Grammar-Constrained Decoding, Jailbreak Attack, Malicious Code Generation, Safety Alignment, LLMs, DPO

I. Main Problem:​

Large Language Models (LLMs) dễ bị tấn công jailbreak để tạo mã độc. Grammar-Constrained Decoding (GCD) vốn được dùng để tăng độ tin cậy của mã nguồn, nhưng vô tình trở thành lỗ hổng: nó loại bỏ khả năng từ chối bằng ngôn ngữ tự nhiên, buộc mô hình phải sinh mã, nơi an toàn chưa được huấn luyện đúng mức. Đây là một rủi ro bảo mật cốt lõi chưa được khám phá trước đây.

II. Main Idea:​

Bài báo đề xuất hai phương pháp: (1) CodeSpear, một tấn công jailbreak khai thác GCD với ngữ pháp mã nguồn thông thường để ngăn mô hình từ chối yêu cầu độc hại, buộc nó sinh mã thực thi. (2) CodeShield, một cơ chế phòng thủ sử dụng Direct Preference Optimization (DPO) căn chỉnh mô hình trong không gian mã: dạy mô hình sinh 'honeypot code' – mã vô hại về ngữ nghĩa và đa dạng về cấu trúc – khi bị ép bởi GCD, thay vì sinh mã độc.

III. Main Results:​

  • CodeSpear tăng tỷ lệ tấn công thành công (ASR) trung bình hơn 30 điểm phần trăm trên 10 LLM phổ biến (ví dụ: từ 29.79% lên 83.44% với Qwen2.5-Coder-7B trên MalwareBench).
  • CodeSpear hiệu quả cả trên mô hình cục bộ lẫn API thương mại (ví dụ: ASR GPT-5 tăng từ 32.05% lên 55.49% trên RMCBench).
  • CodeShield khôi phục an toàn dưới tấn công CodeSpear, giảm ASR trung bình từ ~83% xuống chỉ ~5-7% trên các mô hình thử nghiệm.
  • CodeShield bảo toàn phần lớn khả năng sinh mã thông thường (suy giảm nhẹ trên HumanEval/MBPP, thậm chí cải thiện trong một số trường hợp).
  • Hành vi an toàn cố định (ví dụ: chỉ sinh lệnh 'pass') có thể bị phá vỡ bằng cách thắt chặt ngữ pháp, khẳng định tính ưu việt của honeypot code đa dạng.

IV. Conclusion & Future Works:​

CodeSpear và CodeShield cho thấy một rủi ro cơ bản của GCD và sự cần thiết phải căn chỉnh an toàn trong cả không gian ngôn ngữ và mã nguồn. Hướng phát triển tương lai bao gồm mở rộng phòng thủ cho các loại ràng buộc khác ngoài ngữ pháp mã nguồn và tối ưu hóa việc tạo honeypot code.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khám phá khả năng tấn công tương tự khi các kỹ thuật ràng buộc đầu ra khác (ví dụ: JSON Schema) cũng vô hiệu hóa cơ chế từ chối bằng ngôn ngữ tự nhiên, mở rộng bề mặt tấn công sang các miền dữ liệu có cấu trúc.
  2. Nghiên cứu phương pháp tối ưu hóa việc lựa chọn honeypot code trong CodeShield, chẳng hạn như ưu tiên các mẫu mã có cấu trúc đặc biệt khó bị chặn bởi ngữ pháp thắt chặt, để tăng cường tính mạnh mẽ.
  3. Phát triển một khuôn khổ đánh giá tự động hóa việc phát hiện các 'lỗ hổng từ chối' tương tự do GCD hoặc các kỹ thuật biến đổi không gian đầu ra khác gây ra, hỗ trợ kiểm định an toàn cho các LLM mới.

2. Patent:​

  1. Hệ thống kiểm tra an ninh ứng dụng di động: khi một trợ lý AI trên điện thoại được yêu cầu viết mã độc dưới dạng script, hệ thống sẽ kích hoạt một ngữ pháp nhẹ để buộc AI sinh ra mã 'giả' an toàn (ví dụ: đọc file cấu hình) thay vì từ chối hoặc thực hiện yêu cầu, bảo vệ thiết bị khỏi các cuộc tấn công.
  2. Phần mềm bảo mật nhúng cho ứng dụng nhắn tin: khi người dùng yêu cầu bot AI gửi mã thực thi độc hại, hệ thống tự động áp dụng bộ lọc ngữ pháp mã nguồn để biến đổi phản hồi thành một đoạn code vô hại và đa dạng (ví dụ: một hàm đọc dữ liệu thời tiết), ngăn chặn mã độc xuất hiện trên thiết bị.
  3. Công cụ phát triển IDE an toàn tích hợp: khi lập trình viên cố ý hoặc vô tình yêu cầu AI tạo mã có chức năng độc hại (ví dụ: gửi thông tin đăng nhập), IDE sẽ kích hoạt GCD với ngữ pháp chuẩn và thay thế mã độc bằng một 'honeypot code' mẫu, giúp ngăn chặn việc phát tán mã độc trong quá trình phát triển.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.11817
ArXiv Abstracthttps://arxiv.org/abs/2606.11817
PDF Downloadhttps://arxiv.org/pdf/2606.11817.pdf
Github Repositoryhttps://github.com/TsinghuaISE/CodeSpear-CodeShield

17. TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning (18 votes)​

Tác giả: Heming Zou, Qi Wang, Yun Qu, Yuhang Jiang, Lizhou Cai, et al.

Xuất bản lúc: 2026-06-09

Tag: Reinforcement Learning, RLVR, Multi-Turn Agent, Rollout Allocation, LLMs, Tree-Structured Rollouts

I. Main Problem:​

Trong reinforcement learning với phần thưởng kiểm chứng được (RLVR), việc phân bổ ngân sách rollout thường bỏ qua sự khác biệt về mức độ thông tin bên trong một rollout đa lượt. Các phương pháp hiện tại chỉ chọn lọc prompt hoặc phân bổ rollout ở mức độ gốc, dẫn đến tín hiệu học thưa thớt và chênh lệch phần thưởng thấp khi gặp prompt quá dễ hoặc quá khó.

II. Main Idea:​

TRACE là một framework phân bổ ngân sách rollout thống nhất, xử lý mỗi lượt ReAct (suy nghĩ-hành động-quan sát) như một nút riêng biệt, tạo thành rollout cấu trúc cây. TRACE sử dụng một bộ dự đoán xác suất thành công dùng chung để phân bổ ngân sách cho cả gốc prompt và các tiền tố trung gian, nhắm vào các nơ-ron có khả năng sinh ra cả kết quả thành công và thất bại, từ đó khuếch đại tín hiệu gradient.

III. Main Results:​

  • TRACE cải thiện độ chính xác trung bình của Qwen3-14B trên Multi-Hop QA thêm 2.8 điểm so với các baseline ở cùng chi phí lấy mẫu.
  • Tỷ lệ hiệu quả trung bình của TRACE cao hơn GRPO từ 26.8% lên 60.6% trên DeepScaler-8B, cho thấy số lượng rollout có độ tương phản tăng đáng kể.
  • Cả hai giai đoạn phân bổ gốc và tiền tố đều đóng góp và tích lũy lợi ích, thể hiện qua ablation trên HotpotQA.
  • TRACE hoạt động ổn định trên ba tác vụ: Toán học, QA đa bước, và Gọi hàm, trên cả hai backbone 8B và 14B.

IV. Conclusion & Future Works:​

TRACE định nghĩa lại việc phân bổ rollout RLVR như một bài toán chọn nhánh trong cây rollout, tăng tín hiệu cập nhật mà không cần thay đổi phần thưởng kết quả. Hướng tương lai có thể mở rộng cho các tác vụ không có phần thưởng kiểm chứng rõ ràng hoặc các kịch bản tác tử phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng TRACE cho các mô hình ngôn ngữ lớn trong tác vụ lập kế hoạch dài hạn, nơi mỗi bước là một hành động môi trường, để thấy cách phân bổ tiền tố cải thiện khả năng khám phá.
  2. Kết hợp TRACE với phần thưởng quá trình thay vì phần thưởng kết quả, nghiên cứu xem liệu tín hiệu từ tiền tố có thể thay thế hoặc bổ sung cho quá trình giám sát không.
  3. Mở rộng TRACE sang cài đặt phân tán với các tác tử học hợp tác, nơi mỗi tác tử có ngân sách rollout riêng nhưng chia sẻ bộ dự đoán khó khăn.

2. Patent:​

  1. Tối ưu hóa cuộc gọi API điện thoại thông minh: hệ thống tự động thử nghiệm các lệnh khác nhau cho cùng một mục đích (ví dụ: gọi xe), phân bổ nhiều thử nghiệm hơn cho các kịch bản có xác suất thành công không chắc chắn.
  2. Cải thiện trợ lý ảo trên điện thoại khi thực hiện các tác vụ đa bước (ví dụ: đặt lịch hẹn + nhắc nhở): hệ thống phân bổ thêm tài nguyên tính toán cho các bước mà kết quả có thể rất khác nhau.
  3. Hỗ trợ chơi game trên di động thông qua phân bổ hành động thăm dò: ở mỗi màn chơi, hệ thống quyết định số lần thử lại cho các quyết định mà kết quả chưa rõ ràng, giúp tăng tỷ lệ hoàn thành màn mà không tốn thêm ngân sách.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.11119
ArXiv Abstracthttps://arxiv.org/abs/2606.11119
PDF Downloadhttps://arxiv.org/pdf/2606.11119.pdf
Github RepositoryN/A

18. i1: A Simple and Fully Open Recipe for Strong Text-to-Image Models (16 votes)​

Tác giả: Boya Zeng, Tianze Luo, Shu Pu, Jucheng Shen, Taiming Lu, et al.

Xuất bản lúc: 2026-06-09

Tag: Text-to-Image Diffusion, DiT, Flow Matching, Fully Open Models, Controlled Experiments, Data Curation

I. Main Problem:​

Các mô hình text-to-image hàng đầu hiện nay thường không công bố dữ liệu huấn luyện và chi tiết huấn luyện, khiến cộng đồng khó xác định yếu tố nào thực sự đóng góp vào hiệu suất. Các mô hình công khai hoàn toàn (mã nguồn, trọng số, dữ liệu) có sẵn nhưng lại kém xa các mô hình dẫn đầu về mặt chất lượng.

II. Main Idea:​

Bài báo thực hiện hơn 300 thí nghiệm có kiểm soát để khảo sát thiết kế mô hình và dữ liệu cho diffusion model text-to-image. Các phát hiện chính gồm: (1) dùng một text encoder mạnh kèm adapter lớn hiệu quả hơn kết hợp nhiều encoder; (2) AdaLN ít lợi ích; (3) dual-stream DiT với long skip connections là backbone tốt; (4) caption dài có lợi cho long prompts; (5) equal weighting là mặc định mạnh khi trộn dataset. Từ đó, họ xây dựng i1, mô hình 3B tham số chỉ dùng dataset công khai, đạt hiệu suất cạnh tranh với các mô hình dẫn đầu.

III. Main Results:​

  • i1 đạt điểm trung bình 85.3% trên 5 benchmark (GenEval, DPG, PRISM, CVTG-2K, LongText), vượt mô hình open hoàn toàn tốt nhất trước đó 29.5 điểm phần trăm.
  • i1 (3B) outperforms các mô hình mở như FLUX.1 12B (83.7%) và HiDream-I1 17B (85.3%).
  • T5Gemma-2B là text encoder mạnh nhất trong các so sánh.
  • Long skip connections và adapter lớn cải thiện hiệu suất đáng kể.
  • Equal weighting trên 12 dataset (168M ảnh) cho kết quả tốt hơn các phương pháp trộn phức tạp hơn.

IV. Conclusion & Future Works:​

i1 chứng minh rằng hiệu suất mạnh có thể đạt được chỉ với dữ liệu công khai quy mô vừa phải, nhấn mạnh giá trị của việc khảo sát thiết kế cẩn thận. Hướng tương lai: mở rộng quy mô mô hình, thử nghiệm thêm kiến trúc backbone mới, và tối ưu hóa prompt rewriting cho các tác vụ đa dạng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của kích thước adapter lên hiệu suất mô hình text-to-image ở quy mô lớn hơn (trên 3B tham số).
  2. Phát triển phương pháp prompt rewriting tự động thích ứng với cả câu ngắn và dài, tối ưu hóa chất lượng sinh ảnh theo từng loại prompt.
  3. Áp dụng equal weighting kết hợp với data sampling thông minh cho các dataset không cân bằng, nhằm cải thiện hiệu suất trên các tác vụ niche (ví dụ: text-rendering, ảnh nghệ thuật).

2. Patent:​

  1. Ứng dụng mô hình text-to-image mở toàn bộ (mã, dữ liệu, trọng số) như i1 để tạo công cụ thiết kế ảnh bìa sách/tạp chí trên điện thoại, hỗ trợ nhập văn bản tiếng Việt và tạo ra hình ảnh có chữ chính xác.
  2. Tích hợp i1 vào ứng dụng chỉnh sửa ảnh trên điện thoại, cho phép người dùng nhập câu dài bằng tiếng Việt để tạo ra ảnh mới hoặc thay đổi chi tiết ảnh hiện có một cách dễ dàng.
  3. Phát triển hệ thống tạo logo và banner quảng cáo trên điện thoại dựa trên i1, với đầu vào là mô tả văn bản bằng tiếng Việt, sản phẩm được tối ưu cho kích thước màn hình di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.11289
ArXiv Abstracthttps://arxiv.org/abs/2606.11289
PDF Downloadhttps://arxiv.org/pdf/2606.11289.pdf
Github Repositoryhttps://github.com/zlab-princeton/i1

19. DyCo-RL: Dynamic Cross-Modal Coordination for Visual Reasoning (16 votes)​

Tác giả: Hangui Lin, Yan Shu, Zhengyang Liang, Chi Liu, Xiangrui Liu, et al.

Xuất bản lúc: 2026-06-06

Tag: RLVR, Multimodal LLMs, Visual Reasoning, Cross-Modal Coordination, Attention Dynamics, Fisher–Rao Distance, Policy Optimization

I. Main Problem:​

Các phương pháp RLVR hiện tại tối ưu hóa kết quả suy luận nhưng bỏ qua sự phối hợp tinh vi giữa hai luồng xử lý thị giác và ngôn ngữ trong quá trình sinh chuỗi suy nghĩ (CoT). Điều này dẫn đến các lỗi suy luận như ảo giác về đặc điểm hình ảnh hoặc mâu thuẫn logic trong văn bản.

II. Main Idea:​

DyCo-RL tích hợp phối hợp chéo phương tiện động vào RLVR thông qua hai bước. Đầu tiên, nó dùng khoảng cách trắc địa Fisher–Rao giữa các phân bố chú ý trong cùng một phương tiện để gán nhãn vai trò cho từng token: hướng thị giác hoặc hướng văn bản. Sau đó, nó đánh giá mức độ khớp giữa phân bố chú ý thực tế của token với vai trò được gán, dùng điểm này để tái trọng số lợi thế (advantage) theo từng token trong quá trình tối ưu hóa chính sách.

III. Main Results:​

  • DyCo-RL cải thiện 4 thuật toán RLVR (GRPO, DAPO, SAPO, GSPO) trên 7 benchmark bao gồm suy luận toán học và thị giác, với độ chính xác tăng trung bình từ 1-3%.
  • Trên Qwen2.5-VL-7B, DyCo-RL đạt mức tăng cao nhất lên đến +13.1 điểm trên MMBench.
  • Phân tích can thiệp nhân quả cho thấy việc khuếch đại chú ý phù hợp vào đúng phương tiện giúp phục hồi câu trả lời đúng cho các mẫu lỗi trước đây.
  • Thí nghiệm ablation chứng minh việc gán vai trò token bằng Fisher–Rao vượt trội so với các phương pháp thay thế như Entropy hoặc KL divergence.

IV. Conclusion & Future Works:​

DyCo-RL chứng minh rằng việc phối hợp chéo phương tiện ở cấp độ token là yếu tố cốt lõi cho suy luận thị giác mạnh mẽ trong MLLM, và có thể tích hợp dễ dàng vào bất kỳ pipeline RLVR nào. Hướng tương lai có thể mở rộng cơ chế này cho các tác vụ đa phương thức khác như video understanding hoặc embodied AI.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng DyCo-RL cho các mô hình ngôn ngữ đa phương thức với nhiều hơn hai phương tiện (ví dụ: video + audio + text), sử dụng khoảng cách Fisher–Rao đa chiều để phối hợp động giữa nhiều luồng thông tin.
  2. Kết hợp DyCo-RL với cơ chế bộ nhớ ngoài để các token có thể tham chiếu đến và cập nhật thông tin từ các bước suy luận trước một cách có kiểm soát, cải thiện tính nhất quán logic trên các chuỗi dài.
  3. Áp dụng tư tưởng gán vai trò động cho các tác vụ reasoning trong lĩnh vực khoa học (ví dụ: giải thích hình ảnh y tế), nơi cần luân phiên chính xác giữa trích xuất đặc điểm ảnh và suy luận văn bản.

2. Patent:​

  1. Hệ thống hỗ trợ chẩn đoán hình ảnh y tế trên điện thoại: khi người dùng chụp ảnh tổn thương da, hệ thống tự động động việc gán các token trong chuỗi suy nghĩ để ưu tiên trích xuất đặc điểm ảnh (kích thước, màu sắc) hoặc suy luận văn bản (tiền sử bệnh) nhằm đưa ra chẩn đoán chính xác.
  2. Trợ lý ảo mua sắm tích hợp camera: khi người dùng quét mã vạch sản phẩm, hệ thống sử dụng cơ chế phối hợp động để luân phiên giữa phân tích hình ảnh bao bì và đối chiếu thông tin văn bản từ cơ sở dữ liệu, đảm bảo kết quả so sánh giá và đánh giá không bị ảo giác.
  3. Ứng dụng dịch thuật thời gian thực qua camera điện thoại: khi người dùng chụp biển báo nước ngoài, hệ thống sử dụng token role assignment để tối ưu hóa việc trích xuất chữ từ ảnh và suy luận ngữ cảnh, tránh lỗi dịch do ảo giác hình ảnh hoặc suy luận văn bản không nhất quán.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.08035
ArXiv Abstracthttps://arxiv.org/abs/2606.08035
PDF Downloadhttps://arxiv.org/pdf/2606.08035.pdf
Github Repositoryhttps://github.com/Sammy20207109/DyCo-RL

20. ICA Lens: Interpreting Language Models Without Training Another Dictionary (15 votes)​

Tác giả: Sida Liu, Feijiang Han

Xuất bản lúc: 2026-06-10

Tag: Mechanistic Interpretability, Independent Component Analysis, Sparse Autoencoders, Large Language Models, Activation Analysis

I. Main Problem:​

Sparse autoencoders (SAEs) là công cụ chuẩn để giải thích biểu diễn trong mô hình ngôn ngữ lớn, nhưng việc huấn luyện chúng rất tốn kém về dữ liệu, lưu trữ và tính toán. Cần một phương pháp nhẹ hơn, không yêu cầu huấn luyện từ điển mới, để nhanh chóng khám phá cấu trúc có thể giải thích trong không gian kích hoạt.

II. Main Idea:​

Nghiên cứu này đề xuất ICALens, một quy trình phân tích ICA (Independent Component Analysis) ổn định và hiệu quả để giải thích biểu diễn LLM. Ý tưởng chính là các hướng có thể giải thích thường có tính chọn lọc cao, để lại dấu hiệu thống kê là tính phi Gaussian (non-Gaussianity). Thay vì huấn luyện từ điển thưa, ICA trực tiếp tìm kiếm các hướng phi Gaussian nhất trong không gian kích hoạt. ICALens giải quyết các vấn đề thực tế của ICA trên LLM thông qua chuẩn hóa hàng, quy tắc chấp nhận p95-LIM và refit thích ứng, giúp việc phân tích ổn định và nhanh hơn.

III. Main Results:​

  • So với FastICA thô, ICALens tăng số layer được chấp nhận lên 400% và giảm tổng số lần lặp 21.5% trên GPT-2 Small.
  • Các thành phần ICA phi Gaussian hơn đáng kể so với hướng ngẫu nhiên và hướng decoder của SAE trên cả ba mô hình.
  • ICA cạnh tranh với SAE công khai trong sparse probing và vượt trội trong targeted probe perturbation với ngân sách thành phần nhỏ đến vừa.
  • Các thành phần ICA khám phá cấu trúc từ vựng, cú pháp, cụm từ, ngữ cảnh, và nhập nhằng ngữ nghĩa.
  • ICA và SAE bổ sung cho nhau: ICA phục hồi các hướng trùng với SAE và cả những hướng mà SAE nắm bắt yếu.

IV. Conclusion & Future Works:​

ICA là một công cụ bổ sung hiệu quả cho SAE, cung cấp một 'thấu kính' đầu tiên nhẹ nhàng để khám phá biểu diễn LLM. Hướng tương lai có thể mở rộng ICALens cho các kiến trúc mô hình khác và tích hợp vào quy trình phân tích tự động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ICALens để phân tích các thành phần ICA trên activations của các mô hình đa phương thức như CLIP, và đánh giá khả năng giải thích chéo giữa các modality.
  2. Kết hợp ICA như một bước tiền xử lý để giảm chiều không gian trước khi áp dụng SAE, nhằm cải thiện hiệu quả huấn luyện và chất lượng khám phá feature.
  3. Nghiên cứu mối liên hệ giữa độ phi Gaussian của các thành phần ICA và khả năng can thiệp nhân quả (causal intervention) vào hành vi mô hình.

2. Patent:​

  1. Hệ thống chẩn đoán lỗi ứng dụng trên điện thoại: phân tích activations của mô hình ngôn ngữ trên thiết bị để xác định hướng phi Gaussian bất thường, từ đó phát hiện lỗi hoặc hành vi không mong muốn.
  2. Phương pháp khuếch đại câu từ: sử dụng ICA để tìm hướng phi Gaussian liên quan đến một khái niệm, sau đó điều chỉnh activations theo hướng đó để cải thiện độ chính xác hoặc giảm thiểu thiên kiến trong chatbot.
  3. Ứng dụng dịch thuật thời gian thực: ICA phân tích biểu diễn đa ngôn ngữ để tìm hướng phi Gaussian tương ứng với các cấu trúc ngữ nghĩa chung, giúp giảm kích thước mô hình dịch mà vẫn giữ chất lượng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.11722
ArXiv Abstracthttps://arxiv.org/abs/2606.11722
PDF Downloadhttps://arxiv.org/pdf/2606.11722.pdf
Github Repositoryhttps://github.com/liusida/ica-lens-paper

21. World Model Self-Distillation: Training World Models to Solve General Tasks (14 votes)​

Tác giả: Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro

Xuất bản lúc: 2026-06-10

Tag: World Models, Self-Distillation, Reinforcement Learning, Video Diffusion, VLMs, Task Solving, Flow Matching

I. Main Problem:​

Các mô hình thế giới dạng video sinh hiện tại phụ thuộc vào mô tả văn bản chi tiết để sinh hành động, không thể tự suy luận từ chỉ dẫn cấp cao. Phương pháp hiện có như fine-tuning giám sát đòi hỏi cặp video-hành động tốn kém, trong khi RL thuần túy gặp vấn đề chi phí tính toán do quá trình sinh video nhiều bước.

II. Main Idea:​

WMSD kết hợp self-distillation với RL để biến mô hình sinh video có điều kiện chú thích thành mô hình giải quyết tác vụ chỉ từ chỉ dẫn ngắn. Demonstrator (giáo viên) nhận mô tả chi tiết, Executor (học sinh) chỉ dùng ảnh và chỉ dẫn ngắn. Quá trình self-distillation chuyển kiến thức từ giáo viên, sau đó RL với phản hồi từ VLM giúp học sinh vượt giáo viên, kết hợp với anchor loss từ giáo viên để ổn định.

III. Main Results:​

  • WMSD đạt Task Score 0.605 trên LTX-2 (8-step), vượt base model (0.285) và baseline +VLM (0.495).
  • Cải thiện mạnh nhất ở navigation (31.1% ➔ 75.6%) và object interaction (17.6% ➔ 55.9%).
  • Kết hợp on-policy self-distillation với RL vượt Demonstrator về Task Score, Agent Score và Realism Score.
  • WMSD trên HunyuanVideo-1.5 cũng cải thiện đều các chỉ số chỉ sau 25 bước huấn luyện.
  • On-policy self-distillation tốt hơn off-policy, đặc biệt khi kết hợp distillation reward.

IV. Conclusion & Future Works:​

WMSD chứng minh có thể huấn luyện mô hình thế giới giải quyết tác vụ từ chỉ dẫn ngắn mà không cần dữ liệu video-hành động có sẵn. Hướng tương lai: mở rộng cho các tác vụ phức tạp hơn và tối ưu hóa VLM reward để giảm nhiễu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng WMSD cho các môi trường 3D tương tác, nơi Executor sinh video và robot có thể dùng video đó làm kế hoạch hành động, kết hợp với phản hồi từ môi trường thực.
  2. Tích hợp WMSD với cơ chế active learning để VLM tự đề xuất các tác vụ khó, giúp Executor học nhanh hơn trên các trường hợp biên.
  3. So sánh WMSD với các phương pháp học tăng cường trực tiếp trên không gian hành động, phân tích lợi thế của việc dùng video world model làm trung gian suy luận.

2. Patent:​

  1. Hệ thống điều khiển robot gia đình qua video mô phỏng: điện thoại người dùng ghi lại cảnh hiện tại, hệ thống gợi ý tác vụ (ví dụ: 'lấy cốc'), Executor sinh video dự đoán; robot thực thi dựa trên video đó mà không cần lập trình trước.
  2. Trợ lý lái xe dùng video world model: camera điện thoại ghi lại giao lộ, ứng dụng sinh video dự đoán hành vi xe khác hoặc hướng đi an toàn dựa trên chỉ dẫn ngắn như 'rẽ trái sau xe tải'.
  3. Công cụ chỉnh sửa video thông minh: người dùng chụp ảnh nền và nhập chỉ dẫn như 'thả bóng bay vào khung cảnh', Executor sinh video phù hợp, tiết kiệm thời gian dựng cảnh CGI thủ công.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12072
ArXiv Abstracthttps://arxiv.org/abs/2606.12072
PDF Downloadhttps://arxiv.org/pdf/2606.12072.pdf
Github Repositoryhttps://github.com/sebastian-stapf/world-model-self-distillation

22. EvoTrainer: Co-Evolving LLM Policies and Training Harnesses for Autonomous Agentic Reinforcement Learning (11 votes)​

Tác giả: Guhong Chen, Yingcheng Shi, Yongbin Li, Binhua Li, Xander Xu, et al.

Xuất bản lúc: 2026-06-02

Tag: Autonomous AI, Reinforcement Learning, LLM, Agents, Self-Evolution, Software Engineering, Co-Evolution

I. Main Problem:​

Các hệ thống huấn luyện tự động hiện tại chỉ tập trung vào tìm kiếm công thức (recipe search) mà giữ nguyên bộ công cụ chẩn đoán (harness), dẫn đến không thể thích ứng khi gặp các vấn đề mới như thưởng thưa, sụp đổ hành vi, hay nhiễu điểm số, đặc biệt nghiêm trọng trong huấn luyện agentic RL.

II. Main Idea:​

EvoTrainer là khung huấn luyện tự động đồng tiến hóa chính sách LLM và bộ công cụ huấn luyện dựa trên phản hồi thực nghiệm. Nó bao gồm: (1) vòng trong tiến hóa chính sách qua kiểm soát phiên bản, (2) vòng ngoài phản ánh của huấn luyện viên để nâng cấp các lớp chẩn đoán (điểm số, tín hiệu, hành vi, phiên bản), và (3) bộ nhớ bền vững và thư viện kỹ năng tái sử dụng để tích lũy kiến thức qua các phiên bản.

III. Main Results:​

  • EvoTrainer vượt trội so với không RL ở mọi lĩnh vực: SWE-9B (+7,97 BC%), Math (+6,48 Avg@8), Coding (+4,58 Avg@8).
  • Vượt baseline RL do con người thiết kế trên SWE-9B (38,16 vs 33,77 BC%) và Math; ngang bằng trên SWE-4B và Coding.
  • Chẩn đoán giàu thông tin phá vỡ bão hòa ở v3 (33,33 lên 38,16 BC%).
  • Kiểm tra harness ngăn chặn một nhánh giả do Git leak (48,80 BC% giả).
  • Thư viện kỹ năng giúp tái sử dụng bộ lọc StdGroupFilter, cải thiện Coding thêm +1,17.

IV. Conclusion & Future Works:​

EvoTrainer cho thấy huấn luyện tự động nên vượt xa tìm kiếm công thức đơn thuần, hướng tới đồng tiến hóa chính sách và bộ công cụ chẩn đoán. Hạn chế chính là chi phí token cao và thời gian huấn luyện; hướng tới là mở rộng lên hàng trăm phiên bản với quản lý bộ nhớ thông minh hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng EvoTrainer để tự động phát hiện và khắc phục thiên vị thưởng (reward hacking) trong agentic RL, xây dựng thêm các analyzer chuyên biệt hơn.
  2. Nghiên cứu khả năng chuyển giao kỹ năng giữa các miền (ví dụ: bộ lọc phương sai từ SWE sang Math) một cách tự động với cơ chế đối sánh ngữ cảnh thông minh.
  3. Tích hợp học tăng cường dựa trên phản hồi của con người (RLHF) vào vòng tiến hóa để harness có thể tự động điều chỉnh theo sở thích người dùng.

2. Patent:​

  1. Hệ thống tự động tối ưu hóa chatbot trên điện thoại: chatbot tự chạy các phiên bản hội thoại thử nghiệm, tự phân tích lỗi (ví dụ: câu trả lời dài dòng, lặp lại) và tự điều chỉnh prompt/ reward để cải thiện chất lượng mà không cần lập trình viên can thiệp.
  2. Ứng dụng trên điện thoại giúp lập trình viên tự động tìm lỗi và sửa lỗi trong code: agent tự động chạy thử các bản vá, phân tích kết quả (pass/fail, thời gian chạy), và đề xuất bản sửa lỗi tốt nhất dựa trên lịch sử các lần thử trước.
  3. Tính năng tự động tinh chỉnh trợ lý ảo trên điện thoại theo thói quen người dùng: trợ lý tự ghi nhận các tác vụ thất bại (không hiểu lệnh, trả lời sai), tự phân tích nguyên nhân (thiếu ngữ cảnh, hiểu sai ý) và tự điều chỉnh luật xử lý để cải thiện dần.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.03108
ArXiv Abstracthttps://arxiv.org/abs/2606.03108
PDF Downloadhttps://arxiv.org/pdf/2606.03108.pdf
Github RepositoryN/A