Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-07-20

Báo cáo được tạo tự động vào lúc 2026-07-21 10:20:23 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources (117 votes)​

Tác giả: Yijia Fan, Zonglin Di, Zimo Wen, Yifan Yang, Mingxi Cheng, et al.

Xuất bản lúc: 2026-07-16

Tag: Agent Skills, Multimodal Learning, Skill Wiki, Tutorial Videos, Software Agents, MCP, Retrieval-Augmented Agents, Procedural Knowledge

I. Main Problem:​

Các thư viện kỹ năng (skill) cho software agents hiện tại chủ yếu viết tay, dạng văn bản, hoặc trích xuất từ trace của chính agent, bỏ phí nguồn kiến thức quy trình phong phú từ video hướng dẫn, repository, bài viết, và artifact tham khảo. Hậu quả:

  • agents thiếu kỹ năng thực thi được cho các tác vụ tạo nội dung phần mềm (slide, web, bảng tính, 3D, audio...)
  • video chứa thông tin thời gian, hiệu ứng thị giác, thứ tự thao tác bị mất khi chỉ dùng văn bản
  • kỹ năng không được tổ chức phân cấp để agent tìm kiếm và kết hợp hiệu quả.

II. Main Idea:​

Resource2Skill chiết xuất kỹ năng thực thi được từ nhiều nguồn đa phương thức do con người tạo và tổ chức thành Skill Wiki phân cấp, đa phương thức. Quy trình:

  • Construction operator thu thập từ video hướng dẫn, repository mã, bài viết, artifact tham khảo
  • Mỗi kỹ năng là tuple (taxonomy path, text, visual, code, metadata); text mô tả cơ chế, code cung cấp mẫu thực thi, visual lưu layout/style/hiệu ứng
  • MetaBrowse lọc ứng viên qua BM25 trên taxonomy path, sau đó LM chọn tập con để kết hợp
  • Cùng một construction operator được dùng online để lấp khoảng trống kỹ năng khi thư viện offline không đủ

Ví dụ đời thường: giống như người học nghề không chỉ đọc sách hướng dẫn mà còn xem video thợ làm, lưu ảnh minh họa, lưu đoạn code macro, rồi tra cứu theo chủ đề phân cấp để tìm đúng thao tác cho từng tình huống.

III. Main Results:​

  • +11.9 điểm phần trăm trung bình so với agent không dùng kỹ năng trên 7 lĩnh vực (Web, Excel, Reaper, PPT, Blender, CAD, UE5)
  • Thắng các baseline harness ClaudeCode-H và Codex-H trong 26/28 ô model–domain chính
  • Lợi ích lớn nhất tại UE5 (+30–40pp) và Blender, nơi convention/API phức tạp; lợi ích nhỏ nhất tại Reaper
  • Thư viện càng lớn càng tốt, hiệu suất tăng đơn điệu và bão hòa quanh 200 kỹ năng
  • Online acquisition chỉ giúp rõ trên tập nhiệm vụ mới (+21.6pp từ 41.2% lên 62.8%), không tăng nhiều trên tập thường (+0.7pp)
  • Ablation: video là nguồn không thể thay thế; định dạng đa phương thức (text + visual + code) vượt trội hơn chỉ dùng text; tổ chức phân cấp vượt flat retrieval; chiến lược hierarchy-then-LM tốt nhất.

IV. Conclusion & Future Works:​

Resource2Skill cho thấy việc chiết xuất kỹ năng thực thi từ nguồn đa phương thức do con người tạo — đặc biệt là video hướng dẫn — cải thiện đáng kể chất lượng artifact của software agents trên nhiều lĩnh vực tạo nội dung. Hướng tương lai: mở rộng sang các domain khác, cải thiện chất lượng lọc và xác thực kỹ năng online, tích hợp phản hồi thực thi để cập nhật wiki tự động, và nghiên cứu cách kết hợp tốt hơn giữa các nguồn bổ sung (code, article, artifact) với video.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phương pháp tự động chiết xuất kỹ năng từ video hướng dẫn phần mềm bằng mô hình vision-language, kết hợp key-frame, caption, và code snippet thành skill thực thi được.
  2. Hệ thống retrieval và composition kỹ năng phân cấp cho agent đa miền (multi-domain authoring), trong đó taxonomy động thích ứng với từng phần mềm cụ thể nhưng giao diện browse-select-execute được chia sẻ.
  3. Nghiên cứu về kích thước và độ đa dạng tối ưu của thư viện kỹ năng: trade-off giữa quy mô thư viện, độ bão hòa hiệu suất, và chi phí truy xuất cho agent tạo nội dung.

2. Patent:​

  1. Trợ lý AI tạo slide tự động trên điện thoại: thu thập video hướng dẫn PowerPoint từ mạng, chiết xuất thành kỹ năng layout/typography/motion, rồi người dùng chỉ cần mô tả yêu cầu là agent tự chọn và áp dụng kỹ năng phù hợp.
  2. Hệ thống học từ video sửa âm trên điện thoại: agent xem video tutorial Reaper/Logic, trích xuất chuỗi thao tác hiệu ứng âm thanh và tham số, sau đó người dùng gửi file audio và mô tả hiệu ứng mong muốn để agent tự thực hiện mix.
  3. Công cụ hỗ trợ thiết kế 3D trên di động: từ video Blender/UE5, hệ thống xây dựng thư viện kỹ năng tạo vật liệu, ánh sáng, animation; người dùng nhập mô tả cảnh và nhận file 3D render sẵn qua agent.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.29538
ArXiv Abstracthttps://arxiv.org/abs/2606.29538
PDF Downloadhttps://arxiv.org/pdf/2606.29538.pdf
Github Repositoryhttps://github.com/microsoft/Resource2Skill

2. RAGU: A Multi-Step GraphRAG Engine with a Compact Domain-Adapted LLM (114 votes)​

Tác giả: Mikhail Komarov, Ivan Bondarenko, Stanislav Shtuka, Oleg Sedukhin, Roman Shuvalov, et al.

Xuất bản lúc: 2026-07-13

Tag: GraphRAG, RAG, LLMs, Knowledge Graphs, Information Extraction, Efficient LLMs, Domain Adaptation

I. Main Problem:​

GraphRAG hiện tại gặp ba rào cản lớn:

  • Trích xuất một lần: tạo knowledge graph trong một pass duy nhất, sinh ra thực thể nhiễu, trùng lặp và không có cơ chế hợp nhất thông tin.
  • Phụ thuộc LLM đắt đỏ: người dùng mặc định dùng GPT-4-class API, dù tác vụ trong pipeline RAG chủ yếu là kỹ năng ngôn ngữ (hiểu, trích xuất, suy luận trên ngữ cảnh) chứ không phải kiến thức thế giới.
  • Kỹ thuật chưa trưởng thành: nhiều framework mã nguồn mở khó cài đặt, thiếu test, hoặc chứa lỗ hổng như eval() trên output LLM.

II. Main Idea:​

RAGU tách rõ trích xuất (extraction) và hợp nhất (consolidation) trong pipeline GraphRAG. Quy trình:

  • Chunking tài liệu.
  • Trích xuất hai giai đoạn: giai đoạn 1 trích thực thể theo schema NEREL, giai đoạn 2 trích quan hệ nhưng bắt buộc source/target phải nằm trong tập thực thể đã xác thực, loại bỏ liên kết giả.
  • Hợp nhất: gom nhóm thực thể/quan hệ theo (name, type), dùng DBSCAN để gộp trùng lặp, rồi LLM summarization tạo mô tả sạch.
  • Phát hiện cộng đồng: Leiden clustering phân vùng đồ thị đã deduplicate, sau đó LLM sinh báo cáo cộng đồng có cấu trúc.

Đi kèm là Meno-Lite-0.1 (7B), mô hình fine-tune cho các kỹ năng ngôn ngữ trong RAG thay vì ghi nhớ sự kiện, vượt Qwen2.5-32B về xây dựng knowledge graph.

Ví dụ đời thường: như một trợ lý nghiên cứu không đọc xong để nguyên xi mà trước tiên ghi chú từng sự kiện, sau đó dùng bút highlight gộp các ghi chú trùng nhau, tóm tắt mỗi chủ đề thành một thẻ sạch, rồi xếp các thẻ thành từng chồng liên quan — để khi trả lời câu hỏi có thể lôi ra toàn bộ ngữ cảnh thay vì mảnh vỡ rời rạc.

III. Main Results:​

  • Meno-Lite-0.1 (7B) vượt Qwen2.5-32B trên benchmark xây dựng knowledge graph: +12.5% harmonic mean, đặc biệt ở relation extraction (F1 0.347 vs 0.239).
  • GraphRAG-Bench (Medical): RAGU đạt Evidence Recall cao nhất ở mọi cấp độ factoid (lên đến 84% so với ≤76% của đối thủ).
  • Vượt HippoRAG 2 trên tác vụ tổng hợp: Creative Generation AC 59.0 vs 56.9; Coverage 57.4 vs 34.7; Faithfulness 34.2 vs 26.6.
  • HippoRAG 2 dẫn đầu trên Fact Retrieval và chuỗi suy luận multi-hop (MuSiQue), tức hai hướng tiếp cận có điểm mạnh bổ sung.
  • Khoảng cách multi-hop khi dùng prompt dài chủ yếu là artifact định dạng câu trả lời: khi ép câu trả lời ngắn gọn, RAGU sánh ngang/vượt HippoRAG 2 trên BioASQ (72.9 vs 72.4).
  • Kích thước mô hình 3B–14B chỉ ảnh hưởng ≤1.5 pp đến end-to-end QA, xác nhận kỹ năng ngôn ngữ tăng chậm theo kích thước mô hình.
  • Chi phí xây dựng graph: ~0.001/taˋiliệutre^nGPUthue^,rẻhơn 100la^ˋnsovớiAPIthươngmại( 0.001/tài liệu trên GPU thuê, rẻ hơn ~100 lần so với API thương mại (~0.10/tài liệu); 100K tài liệu chỉ tốn ~100sovới 100 so với ~10,000.

IV. Conclusion & Future Works:​

RAGU cho thấy một mô hình 7B tối ưu cho kỹ năng ngôn ngữ, kết hợp với pipeline hợp nhất đa bước, đã đủ để xây dựng knowledge graph chất lượng cao và trả lời tốt các tác vụ tổng hợp rộng. Nên dùng RAGU khi cần tổng hợp ngữ cảnh rộng trên ngân sách single-GPU; nên dùng hệ thống chain-traversal khi cần tra cứu fact đa bước chính xác. Hướng phát triển: mở rộng backend đồ thị lên cơ sở dữ liệu chuyên dụng (Neo4j) cho triệu node, thích ứng schema cho ngôn ngữ/domain khác ngoài NEREL, và giảm độ nhạy còn lại với chất lượng mô hình trích xuất cơ sở.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Meno-Lite cho ngôn ngữ ít tài nguyên: tinh chỉnh extractor 7B theo RAGU cho các schema và ngữ liệu đa ngôn ngữ, kiểm chứng giả thuyết kỹ năng ngôn ngữ trên mô hình compact.
  2. GraphRAG luồng dữ liệu thay đổi liên tục: mở rộng RAGU để upsert/xóa tài liệu theo thời gian thực trong khi duy trì tính nhất quán giữa graph store, KV store và vector store.
  3. Kết hợp community retrieval của RAGU với personalized PageRank của HippoRAG: hybrid engine chọn chiến lược retrieval theo loại câu hỏi (single-fact vs synthesis) để lấy cả độ chính xác và độ bao phủ.

2. Patent:​

  1. Trợ lý y tế cá nhân trên điện thoại: ứng dụng di động xây dựng knowledge graph cục bộ từ hồ sơ bệnh nhân, xét nghiệm và đơn thuốc bằng Meno-Lite 7B; đồng thời trả lời câu hỏi tổng hợp (tương tác thuốc, tiền sử) mà không cần gửi dữ liệu nhạy cảm lên đám mây.
  2. Phân tích hợp đồng offline trên máy tính bảng: người dùng nhập tài liệu pháp lý, ứng dụng trích thực thể và quan hệ, phát hiện cộng đồng điều khoản liên quan, và trả lời câu hỏi due diligence mà dữ liệu chỉ nằm trên thiết bị.
  3. Trợ lý lập kế hoạch du lịch trên điện thoại: nạp hướng dẫn du lịch, đánh giá khách sạn, bản đồ vào đồ thị tri thức cục bộ, từ đó trả lời các câu hỏi đa bước như 'khách sạn nào gần ga tàu và có phòng cho 3 người trong ngân sách X'.
  4. Hệ thống RAG doanh nghiệp trên một GPU duy nhất: máy chủ nội bộ nhỏ gọn (hoặc workstation) chạy RAGU để index tài liệu nội bộ, tự động deduplicate nhân viên/dự án/phòng ban và tổng hợp câu trả lời cho các truy vấn tổ chức.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.11683
ArXiv Abstracthttps://arxiv.org/abs/2607.11683
PDF Downloadhttps://arxiv.org/pdf/2607.11683.pdf
Github Repositoryhttps://github.com/RaguTeam/RAGU

3. Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World Trajectories (57 votes)​

Tác giả: Xiaomi Robotics Team, Jun Guo, Piaopiao Jin, Jason Li, Peiyan Li, et al.

Xuất bản lúc: 2026-07-16

Tag: Vision-Language-Action, Robotics, Scaling Laws, Flow Matching, Diffusion Transformer, Mobile Manipulation, Real-World Data

I. Main Problem:​

Robot learning bị kẹt ở bottleneck dữ liệu: thu thập teleoperation trên robot thật chậm, đắt, và bị ràng buộc phần cứng. Dữ liệu teleop thường dồn vào một số tác vụ hẹp, thiếu đa dạng, khiến mô hình VLA khó mở rộng quy mô và khái quát hóa sang môi trường/task mới. Kết quả là các chính sách robot thường cần fine-tuning nặng trên từng tác vụ cụ thể.

II. Main Idea:​

Xiaomi-Robotics-1 theo đuổi công thức pre-training → post-training giống LLM, nhưng áp dụng cho robot manipulation thực tế:

  • Pre-training: huấn luyện trên hơn 100.000 giờ trajectory thu bằng UMI devices (gripper cầm tay + camera egocentric) trong nhiều bối cảnh (nhà, văn phòng, công nghiệp, ngoài trời). Pipeline auto-labeling bằng Qwen3.5-27B mô tả state transitions trong từng đoạn clip, thay vì gán nhãn thủ công.
  • Post-training: căn chỉnh khả năng sinh action từ UMI sang các robot thực (mobile manipulators, dual-arm) và chuyển từ prompt mô tả trạng thái sang imperative instructions như người dùng thường ra lệnh.
  • Kiến trúc Mixture-of-Transformers: VLM Qwen3-VL mã hóa observation + ngôn ngữ, DiT sinh action chunk qua flow matching. VLM còn có auxiliary loss từ Choice Policies để đẩy nhanh hội tụ.

Ví dụ đời thường: giống như học nấu ăn bằng cách xem hàng ngàn clip ngắn ghi lại "trước → sau" của từng động tác nhào bột, xào rau, rồi mới được huấn thêm cách đọc công thức và điều khiển bếp cụ thể ở nhà mình.

III. Main Results:​

  • Scaling trong pre-training: cả data scale và model size đều làm validation action error giảm đều; data scale mang lại gap lớn hơn model size, cho thấy volume dữ liệu là bottleneck chính.
  • Scaling chuyển sang post-training: từ baseline 26% (không pre-training) lên 75% success rate out-of-the-box trên 4 tác vụ môi trường unseen khi dùng 100% pre-training data; model 10B đạt 79% so với 61% của 2B.
  • Fine-tuning hiệu quả dữ liệu thấp: trung bình <10h data/task, Xiaomi-Robotics-1 đạt 75% success rate và 90% progress trên 4 tác vụ dexterous (điện thoại, giặt, máy in, đóng hộp), vượt π0.5 (40% / 66%).
  • Benchmark mô phỏng: SOTA trên RoboCasa, RoboCasa365 (57.6% vs 46.6% trước đó), VLABench, RoboDojo (20.07 vs 13.07).

IV. Conclusion & Future Works:​

Xiaomi-Robotics-1 chứng minh rằng scaling dữ liệu robot thực tế lớn + auto-labeling + hai giai đoạn training tạo ra foundation policy khái quát tốt cho manipulation. Hiệu quả scaling từ pre-training trực tiếp chuyển sang post-training và fine-tuning downstream. Hướng tương lai: tiếp tục thu thập dữ liệu đa dạng hơn, thử mô hình lớn hơn, và mở rộng sang nhiều loại robot/base action space hơn nữa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế tại sao pre-training trên UMI hand-held gripper lại transfer tốt sang robot embodiments khác biệt, đặc biệt là động lực học tay và cách biểu diễn action chung.
  2. Phát triển chiến lược active data collection cho robot foundation models: robot tự chọn tương tác nào mang lại thông tin mới nhất để mở rộng coverage của pre-training corpus.
  3. Kết hợp world model显式 hoặc ngầm với Xiaomi-Robotics-1 để cải thiện long-horizon planning và khả năng phục hồi khi bị nhiễu giữa các bước.

2. Patent:​

  1. Hệ thống dạy robot gia đình qua điện thoại: người dùng đặt điện thoại ở góc bất kỳ, nói lệnh bằng giọng nói; điện thoại gửi video lên đám mây, foundation policy xử lý ngôn ngữ và hình ảnh rồi trả về lệnh điều khiển robot dọn dẹp, xếp đồ.
  2. Robot dịch vụ khách sạn/sân bay dựa trên VLA: một hệ thống duy nhất điều khiển robot đưa hành lý, dọn phòng, sắp xếp đồ, thích ứng với từng phòng/tầng mới qua lệnh ngôn ngữ tự nhiên mà không cần lập trình lại.
  3. Module auto-labeling dữ liệu robot cho nhà máy: camera ghi lại quá trình vận hành thủ công của công nhân, pipeline tự động cắt clip và mô tả chuyển đổi trạng thái để sinh dataset huấn luyện robot công nghiệp quy mô lớn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.15330
ArXiv Abstracthttps://arxiv.org/abs/2607.15330
PDF Downloadhttps://arxiv.org/pdf/2607.15330.pdf
Github Repositoryhttps://github.com/XiaomiRobotics/Xiaomi-Robotics-1

4. Loop the Loopies! (56 votes)​

Tác giả: Zitian Gao, Yilong Chen, Yihao Xiao, Xinyu Yang, Ran Tao, et al.

Xuất bản lúc: 2026-07-17

Tag: Looped Transformers, Mixture-of-Experts, LLMs, Compute-Optimal Training, Reasoning

I. Main Problem:​

Transformer lặp (looped) truyền thống bị thua thiệt khi so sánh công bằng về compute: nếu tăngN lần compute pre-training, việc tăng số tham số theo hệ sốN thường cho kết quả tốt hơn là lặp mô hìnhN lần. Hơn nữa, hầu hết mô hình lặp trước đây chỉ thử nghiệm trên kiến trúc dense, không mở rộng được lên MoE quy mô tỷ tham số.

  • Cần một phương pháp so sánh dựa trên cùng ngân sách compute, không chỉ cùng số tham số lưu trữ.
  • MoE hiện đại là nền tảng của các mô hình frontier, nên kiến trúc lặp phải tương thích với MoE.

II. Main Idea:​

Loopie Recipe — công thức scale dựa trên tính toán thực tế (compute-matched) cho mô hình MoE lặp. Quy trình:

  • Dùng layer-loop: mỗi lớp Attention/MoE được áp dụng lặp lại trước khi chuyển sang lớp kế tiếp, thay vì lặp cả mô hình (model-loop).
  • Giảm số lớp lưu trữ (stored depth) xuống một nửa, giải phóng bộ nhớ activation.
  • Dùng headroom bộ nhớ để tăng gấp đôi microbatch mỗi device, giảm gradient-accumulation steps và tăng throughput thực tế.
  • Đo thời gian optimizer-step wall-clock thực tế, rồi tái đầu tư hiệu quả vào chiều rộng và chiều sâu của mô hình để đạt chất lượng cao hơn với cùng chi phí huấn luyện.
  • Sau pre-training, áp dụng một phương pháp supervised pre-training mới và reinforcement learning để bồi dưỡng khả năng suy luận.

Ví dụ đời thường: giống như thay vì thuê một nhà xưởng lớn hơn gấp đôi để sản xuất nhanh hơn, bạn thuê xưởng nhỏ hơn nhưng cho công nhân làm hai ca liên tiếp tại cùng một trạm, đồng thời dùng không gian tiết kiệm được để lắp thêm thiết bị, cuối cùng cho năng suất cao hơn với cùng tiền thuê.

III. Main Results:​

  • Loopie-20B-A2B (20B tổng, 2B active) vượt các baseline cùng ngân sách compute như Qwen3-30B-A3B-Thinking, gpt-oss-20B-High, Nemotron-3-Nano-30B-A3B trên nhiều benchmark suy luận.
  • Trên AIME: 92.10% (vượt 90.10% của Qwen3-30B-A3B-Thinking).
  • Trên AMC: 94.21% (vượt 93.57% của Nemotron-Cascade2-30B-A3B).
  • Trên OlympiadBench: 80.50% (vượt 76.68% của Qwen3-30B-A3B-Thinking).
  • Trên IFEval: 84.72% (vượt 79.21% của Nemotron-Cascade2-30B-A3B).
  • Thang scale (scaling ladder) từ 0.15B đến 1B cho thấy Loopie liên tục vượt baseline vanilla MoE tương ứng, khoảng cách không biến mất khi tăng quy mô (+0.6 đến +2.2 điểm trung bình).
  • Throughput thực tế trong Megatron-LM: Loopie-20B-A2B đạt 261.53 TFLOPS/s, cao hơn đáng kể so với 189.65 TFLOPS/s của Qwen3-30B-A3B.

IV. Conclusion & Future Works:​

Loopie chứng minh rằng Transformer lặp có thể cạnh tranh và vượt trội so với vanilla Transformer khi so sánh cùng ngân sách compute pre-training, miễn là được scale đúng cách thông qua layer-loop và hiệu quả microbatch thực tế. Mô hình mở ra con đường cho kiến trúc lặp quy mô frontier. Hướng tương lai: khám phá số bước lặp khác (ít hơn hoặc nhiều hơn 2), kết hợp với adaptive recurrence, và mở rộng lên quy mô tỷ tham số với ngân sách compute tương ứng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu lý thuyết về tại sao layer-loop lại có inductive bias tốt hơn model-loop trong kiến trúc MoE: phân tích biểu diễn ở các độ sâu hiệu quả liền kề so với độ sâu xa cách biệt.
  2. Phát triển phương pháp recurrence tự động (adaptive depth) cho Loopie, cho phép mô hình tự quyết định số bước lặp theo từng token để cân bằng compute và độ khó bài toán.
  3. Mở rộng Loopie Recipe lên các kiến trúc khác ngoài Qwen3-MoE (ví dụ: Dense Transformer, State Space Models) để kiểm chứng tính tổng quát của công thức compute-matched.

2. Patent:​

  1. Máy chủ suy luận LLM tiết kiệm bộ nhớ: sử dụng kiến trúc layer-loop MoE để lưu ít lớp hơn, mở rộng microbatch và throughput, giảm chi phí phần cứng trung tâm dữ liệu cho dịch vụ chatbot và trợ lý AI.
  2. Chip/điện thoại di động chạy mô hình ngôn ngữ lớn: triển khai Loopie-6B-A0.6B với ít tham số active, tận dụng lặp tầng để tăng cường suy luận mà không vượt quá giới hạn bộ nhớ và năng lượng của thiết bị cầm tay.
  3. Hệ thống đào tạo mô hình AI tối ưu chi phí: phần mềm tự động đo thời gian optimizer-step thực tế trên cụm GPU, sau đó chọn cấu hình layer-loop MoE để đạt chất lượng cao nhất với chi phí điện toán và thời gian huấn luyện cố định.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.16051
ArXiv Abstracthttps://arxiv.org/abs/2607.16051
PDF Downloadhttps://arxiv.org/pdf/2607.16051.pdf
Github RepositoryN/A

5. xHC: Expanded Hyper-Connections (47 votes)​

Tác giả: Xiangdong Zhang, Xiaohan Qin, Sunan Zou, Tuo Dai, Xiaoming Shi, et al.

Xuất bản lúc: 2026-07-16

Tag: Transformers, Residual Connections, Hyper-Connections, Mixture-of-Experts, Sparse Computation, Scaling Laws, LLMs

I. Main Problem:​

Phương pháp Hyper-Connections (HC) mở rộng residual stream của Transformer thành N luồng song song, tạo thêm một trục scaling bộ nhớ ngoài chiều rộng và độ sâu. Tuy nhiên, các biến thể hiện đại như Manifold-Constrained HC (mHC) thường dừng lại ở N=4 vì hai lý do:

  • Nút thắt thông tin: mỗi tầng chỉ ghi một tín hiệu write-back duy nhất, không đủ đa dạng để tạo ra các lịch sử khác biệt cho nhiều luồng.
  • Nút thắt chi phí: việc sinh ma trận trộn residual Hres có chi phí O(N³C), khiến chi phí training tăng nhanh hơn nhiều so với lợi ích thu được. Hệ quả là mở rộng N từ 4→16 trong mHC chỉ giảm loss 0.006 nhưng tăng 32% FLOPs, khiến trục scaling này bị bỏ ngỏ.

II. Main Idea:​

xHC (Expanded Hyper-Connections) giải quyết cả hai nút thắt để mở rộng N hiệu quả hơn 4 lần lần đầu tiên trong họ HC:

  • Tăng cường write-back theo thời gian: dùng các causal depthwise 1D convolution đa tỷ lệ trên token lân cận để làm giàu tín hiệu ghi ngược, sau đó trực giao hóa Gram–Schmidt để các thành phần không chồng chéo.
  • Kiến trúc residual stream thưa: tại mỗi sublayer, chỉ cập nhật k=4 luồng tích cực trong tổng số N=16, nhưng vẫn đọc đặc toàn bộ N luồng để bảo toàn luồng thông tin xuyên tầng.

Hai thiết kế này bổ trợ lẫn nhau: tăng cường thời gian làm các luồng bổ sung có ích hơn, còn cập nhật thưa giữ chi phí ở mức kiểm soát được.

Ví dụ đời thường: giống như một thư viện có 16 kệ sách, nhưng mỗi ngày chỉ sắp xếp lại 4 kệ quan trọng nhất để tiết kiệm công sức; trong khi đó, độc giả vẫn được phép tìm đọc tất cả 16 kệ, nên thông tin không bị mất đi.

III. Main Results:​

  • 18B MoE: xHC đạt trung bình downstream 48.8, vượt mHC (44.8) và vanilla (40.6); đại diện: ARC-Challenge +5.9, BBH +5.8, C3 +5.6, HumanEval +6.1.
  • 28B MoE: xHC đạt 53.6, cao hơn mHC (50.5) và vanilla (47.8); đại diện: CommonsenseQA +5.7, HumanEval +4.3, MMLU +3.7.
  • Training loss: xHC 1.758 so với mHC 1.776 và vanilla 1.799, chỉ thêm ~3–4% FLOPs so với baseline.
  • Sweeping N: mở rộng N từ 4→16, xHC giảm loss 0.012 với chỉ 4% FLOPs thêm; mHC giảm 0.006 với 32% FLOPs thêm.
  • Scaling laws: để đạt cùng loss, vanilla cần 1.50× và mHC cần 1.19× compute so với xHC.
  • xHC-Flash: giảm memory traffic từ 73.5C xuống 40C, gần bằng mHC tại N=4 (34C), trong khi vẫn giữ gần hết lợi ích của xHC.

IV. Conclusion & Future Works:​

xHC chứng minh rằng residual-stream expansion có thể trở thành một trục scaling thực tiễn cho LLM pre-training, song song với chiều rộng và độ sâu, bằng cách đồng thời làm giàu thông tin write-back và kiểm soát chi phí trộn residual. Hướng tương lai: tìm tỷ lệ k/N tối ưu cho các quy mô lớn hơn, kết hợp với các kỹ thuật tối ưu bộ nhớ khác, mở rộng sang kiến trúc không chỉ MoE, và phát triển các kernel tích hợp phần cứng cho N lớn hơn nữa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tỷ lệ k/N tối ưu và giới hạn lý thuyết của residual-stream expansion trong Transformer, đặc biệt khi N tiến tới 32 hoặc 64.
  2. Kết hợp xHC với các kỹ thuật bộ nhớ dài hạn khác như recurrence, memory layers, hoặc compressive memory để tạo mô hình có khả năng ghi nhớ xuyên suốt tốt hơn.
  3. Phân tích động lực học huấn luyện của sparse routing trên residual stream: tại sao dense read và fixed streams lại ổn định hơn, và cách thiết kế router tự học hiệu quả hơn.

2. Patent:​

  1. Module tăng tốc suy diễn LLM trên điện thoại: sử dụng kiến trúc residual stream thưa của xHC để giảm băng thông bộ nhớ khi chạy mô hình ngôn ngữ lớn cục bộ mà không làm giảm đáng kể chất lượng đầu ra.
  2. Hệ thống pre-training LLM tiết kiệm năng lượng trên đám mây: tích hợp xHC-Flash với kernel tích hợp để giảm lưu lượng memory giữa các sublayer, cắt giảm chi phí đào tạo cho các mô hình từ 10B+ tham số.
  3. Trợ lý AI di động thích ứng độ phức tạp tác vụ: định tuyến tự động chọn ít luồng residual hơn cho câu hỏi đơn giản và kích hoạt nhiều luồng hơn cho lập trình hoặc suy luận, cân bằng giữa độ chính xác và thời lượng pin.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.14530
ArXiv Abstracthttps://arxiv.org/abs/2607.14530
PDF Downloadhttps://arxiv.org/pdf/2607.14530.pdf
Github Repositoryhttps://github.com/aHapBean/xHC

6. Cura 1T: Specialized Model for Agentic Healthcare (43 votes)​

Tác giả: actAVA AI, Haolin Chen, Leon Qi, Steve Brown, Deon Metelski, et al.

Xuất bản lúc: 2026-07-15

Tag: LLMs, Healthcare AI, Agentic AI, Self-Improvement, Low-Rank Adaptation, Clinical Reasoning, FHIR, EHR

I. Main Problem:​

Triển khai y tế đòi hỏi mô hình ngôn ngữ đồng thời xử lý ba nhiệm vụ: Patient care (trả lời bệnh nhân/bác sĩ theo hướng dẫn lâm sàng), Clinical reasoning (suy luận chuyên gia trên văn bản và hình ảnh), và Healthcare agentic tasks (chẩn đoán đa lượt, sử dụng công cụ hồ sơ bệnh án điện tử). Các khả năng này thất bại theo cách khác nhau—thiếu điểm trong thang điểm, thiếu kiến thức, suy luận giòn, chẩn đoán sớm, lệnh công cụ sai định dạng—và cải thiện một hành vi hẹp thường làm suy giảm hành vi khác. Thách thức nằm ở việc xây dựng data mixture phù hợp để chuyển giao giữa các tác vụ mà không gây quên.

II. Main Idea:​

Cura 1T là mô hình chuyên biệt hóa y tế xây dựng trên Kimi-K2.6, sử dụng low-rank adapters (LoRA) và huấn luyện qua human-gated self-evolution loop. Một training agent lặp lại: lập kế hoạch khả năng mục tiêu, huấn luyện adapter qua SFT → RL → SDFT, chạy các benchmark y tế, đọc các trajectory đã chấm điểm, và tinh chỉnh data mixture từ các lỗi quan sát được. Vòng lặp tối ưu hóa data recipe thay vì siêu tham số hay prompt, dùng các kỹ năng:

  • Retention Anchor: giữ các ví dụ đã làm đúng khi thêm sửa chữa
  • Reasoning Correction: sửa trace suy luận lỗi và sinh ca tương tự
  • Knowledge Injection: bổ sung kiến thức lâm sàng thiếu vào các hàng closed-book QA
  • Behavior Calibration: căn chỉnh câu trả lời theo rubric do bác sĩ viết

Ví dụ đời thường: giống như bác sĩ nội trú không chỉ đọc sách mà sau mỗi ca khám bệnh, xem lại ca nào chẩn đoán sai, tìm nguyên nhân (thiếu kiến thức, vội vàng kết luận, hay viết sai đơn thuốc), rồi luyện thêm các ca tương tự để khắc phục, đồng thời ôn lại các ca đã làm tốt để không quên.

III. Main Results:​

  • Cura 1T đạt đứng đầu hoặc gần đầu trên 5/6 nhóm benchmark y tế, chỉ xếp thứ hai về MedXpertQA multimodal.
  • MedAgentBench: tăng từ 0.883 lên 0.940 (các vòng trung gian đạt 0.973); vượt các frontier baseline như Claude Opus 4.8 (0.937) và GPT-5.5 (0.894).
  • HealthBench Professional: 0.503 → 0.662; HealthBench Hard: 0.222 → 0.368.
  • MedXpertQA overall: 0.569 → 0.655; cải thiện rõ rệt nhờ Knowledge Injection + Retention sau khi Reasoning Correction bị revert.
  • AgentClinic: 0.754 → 0.796, đặc biệt giảm chẩn đoán sớm trên các ca NEJM.
  • Out-of-domain: duy trì hiệu suất trên AIME, GPQA-Diamond, và τ2-Bench, chứng tỏ chuyên môn hóa y tế không làm xói mòn khả năng suy luận và agentic tổng quát.

IV. Conclusion & Future Works:​

Cura 1T cho thấy tiếp cận data-first self-evolution có thể xây dựng mô hình chuyên biệt hóa y tế mạnh trên cả ba trụ cột—Patient care, Clinical reasoning, và Healthcare agentic tasks—mà không phá hủy khả năng ngoài miền. Việc tập trung vào data mixture curation và human gating giúp giảm quên và kiểm soát các failure mode không đồng nhất. Hướng tương lai: tự động hóa thêm việc phê duyệt con người, mở rộng vòng lặp cho các miền y tế chuyên sâu hơn, và cải thiện kỹ năng tổng hợp dữ liệu để giảm chi phí chú thích chuyên gia.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng vòng lặp self-evolution từ cải thiện data mixture sang tự động thiết kế reward function và cấu trúc benchmark cho các miền chuyên biệt khác như luật hoặc kỹ thuật.
  2. Kết hợp self-evolution với kiểm chứng hình thức để đảm bảo các tổng hợp dữ liệu y tế không vi phạm hướng dẫn lâm sàng hoặc sinh ra nội dung không an toàn.
  3. Nghiên cứu cách chuyển giao các adapter đã huấn luyện qua vòng lặp giữa các cơ sở mô hình khác nhau để kiểm tra tính bền vững của công thức dữ liệu đã tối ưu.

2. Patent:​

  1. Trợ lý y tế trên điện thoại di động tự cải thiện theo thời gian: mỗi khi bác sĩ hoặc bệnh nhân chỉ ra câu trả lời không đạt, ứng dụng tổng hợp thêm các tình huống tương tự và cập nhật mô hình cục bộ để lần sau trả lời chính xác hơn mà không làm mất khả năng đã học.
  2. Hệ thống hỗ trợ chẩn đoán đa lượt trong phòng khám ảo: mô hình đặt câu hỏi lâm sàng, gọi công cụ tra cứu hồ sơ bệnh án điện tử, và chỉ đưa ra kết luận sau khi thu thập đủ bằng chứng, giảm nguy cơ chẩn đoán sớm.
  3. Công cụ kiểm tra đơn thuốc và thủ tục y tế tự động cho bệnh viện: mô hình đọc yêu cầu lâm sàng, tạo các lệnh ghi dữ liệu hồ sơ bệnh án theo đúng chuẩn định dạng, và tự sửa lỗi trường thiếu hoặc mã hóa sai qua các vòng lặp thực thi—thích hợp cho việc nhập liệu bệnh án trên máy tính bảng hoặc điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.15314
ArXiv Abstracthttps://arxiv.org/abs/2607.15314
PDF Downloadhttps://arxiv.org/pdf/2607.15314.pdf
Github Repositoryhttps://github.com/actava-ai/Cura

7. On-Policy Delta Distillation (28 votes)​

Tác giả: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

Xuất bản lúc: 2026-07-16

Tag: On-Policy Distillation, Knowledge Distillation, Reinforcement Learning, Reasoning, LLMs, Post-Training

I. Main Problem:​

Phương pháp On-Policy Distillation (OPD) hiện tại huấn luyện mô hình học sinh bắt chước trực tiếp phân phối đầu ra của giáo viên. Điều này gây ra những hạn chế:

  • Giáo viên sau tinh chỉnh lý luận vẫn giữ các xu hướng tự nhiên, phong cách và sở thích từ giai đoạn pre-training, không liên quan đến khả năng lý luận.
  • Tín hiệu OPD thuần túy có thể tăng cường các token sai trong quá trình lý luận khi học sinh có xác suất thấp hơn giáo viên, vì phần thưởng chỉ phụ thuộc vào khoảng cách giáo viên–học sinh.
  • Kết quả là tín hiệu chưa tách biệt được quỹ đạo học lý luận thực sự của giáo viên, làm giảm hiệu quả chuyển giao khả năng lý luận.

II. Main Idea:​

Thay vì bắt chước giáo viên trực tiếp, On-Policy Delta Distillation (OPD2) sử dụng delta signal — hiệu số log-xác suất giữa giáo viên đã tinh chỉnh lý luận và mô hình nền (base model) của giáo viên trước khi tinh chỉnh. Quy trình:

  • Delta signal bắt lấy dấu vết học tập do quá trình reasoning tuning tạo ra, loại bỏ các sở thích không liên quan của giáo viên.
  • Kết hợp với centering (trừ phần thưởng kỳ vọng theo phân phối on-policy) để giảm thiên lệch dấu.
  • Thêm joint conditioning: chỉ áp dụng delta signal khi nó cùng dấu với tín hiệu OPD gốc, tránh đưa học sinh đi quá xa so với giáo viên.

Ví dụ đời thường: giống như khi học một kỹ năng mới, thay vì sao chép toàn bộ hành vi của người thầy (bao gồm cả thói quen cá nhân), ta chỉ học những thay đổi mà người thầy đã thực hiện so với trước khi học kỹ năng đó — tức là đúng phần cốt lõi đã biến họ thành chuyên gia.

III. Main Results:​

  • Trên bộ đánh giá Math, Science, Code với Qwen3 1.7B/4B/8B và Gemma-4, OPD2 vượt trội so với OPD và ExOPD ở cả hai chế độ thinking và non-thinking.
  • Qwen3-4B non-thinking: OPD2 đạt trung bình Math 70.3, cao hơn ExOPD (66.4) và OPD (64.0); thậm chí vượt Qwen3-8B khi dùng các phương pháp cũ.
  • Qwen3-8B thinking: OPD2 cải thiện AIME25 từ 64.0 lên 66.9, HMMT25 từ 44.3 lên 52.3, trong khi OPD và ExOPD thường làm giảm hiệu suất baseline.
  • Code & Science: OPD2 đạt điểm trung bình cao nhất ở mọi kích thước, chẳng hạn Code Avg của Qwen3-8B tăng từ 50.8 lên 57.8.
  • Phân tích tín hiệu cho thấy delta signal tăng cường các từ nối lý luận như hence, however, instead, regardless, đồng thời giảm các từ mơ hồ/mô tả như perhaps, tackle, see, verify.

IV. Conclusion & Future Works:​

OPD2 thay đổi cơ chế thưởng của on-policy distillation từ bắt chước giáo viên sang học quỹ đạo lý luận mà giáo viên đã trải qua. Phương pháp cho phép mô hình nhỏ đạt hiệu suất lý luận mạnh chỉ với giai đoạn post-training ngắn. Hướng tương lai: khám phá cách kết hợp delta signal với các biến thể OPD mở rộng (top-k, off-policy), áp dụng cho các lĩnh vực đa modal và nghiên cứu ứng dụng trên thiết bị di động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng delta signal cho on-policy distillation đa giáo viên, kết hợp quỹ đạo lý luận từ nhiều mô hình thầy để tạo tín hiệu ổn định hơn cho học sinh.
  2. Nghiên cứu delta signal trong bài toán multi-turn reasoning (tương tác dài hạn), nơi quỹ đạo học tập của giáo viên có thể phân thành nhiều giai đoạn nhận thức.
  3. Áp dụng delta distillation cho mô hình đa ngôn ngữ, kiểm tra xem phương pháp có tách biệt được các thay đổi do lý luận so với các thay đổi do ngôn ngữ/thể loại văn bản không.

2. Patent:​

  1. Hệ thống huấn luyện trợ lý AI trên điện thoại: sử dụng delta distillation để chuyển khả năng lý luận từ mô hình lớn trên đám mây xuống mô hình nhỏ chạy cục bộ, chỉ giữ lại phần kiến thức lý luận cốt lõi mà không sao chép phong cách đáp ứng của mô hình lớn.
  2. Công cụ gia sư toán học cá nhân hóa: ứng dụng trên smartphone phân tích bài làm của học sinh, dùng delta signal để chỉ điều chỉnh các bước lý luận sai mà không thay đổi cách diễn đạt tự nhiên của học sinh.
  3. Module tối ưu hóa chatbot hỗ trợ khách hàng: hệ thống trên điện thoại/edge device tự tinh chỉnh chatbot theo phản hồi của giáo viên lớn, học chính xác các thay đổi giúp trả lời chính xác hơn mà không bắt chước các cụm từ thừa hoặc giọng điệu không phù hợp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.15161
ArXiv Abstracthttps://arxiv.org/abs/2607.15161
PDF Downloadhttps://arxiv.org/pdf/2607.15161.pdf
Github Repositoryhttps://github.com/naver-ai/opd2

8. RecGPT-V3 Technical Report (26 votes)​

Tác giả: Bowen Zheng, Chao Yi, Dian Chen, Gaoyang Guo, Han Zhu, et al.

Xuất bản lúc: 2026-07-17

Tag: Recommender Systems, LLMs, Semantic IDs, Memory Systems, Latent Reasoning, E-commerce, A/B Testing

I. Main Problem:​

Hệ thống gợi ý dựa trên LLM tuyến tính trước RecGPT-V3 gặp ba nút thắt khi triển khai quy mô tỷ người dùng trên Taobao:

  • Stateless behavior modeling: mỗi request xử lý lại toàn bộ lịch sử hành vi (~55K token cho user năng động), lãng phí tài nguyên và không tích lũy hiểu biết về user.
  • Tag-to-item bottleneck: LLM sinh tag ngôn ngữ tự nhiên làm trung gian để model downstream tìm item, nhưng tag là kênh thông tin mất mát — không truyền được bằng chứng cấp ID chi tiết mà retrieval cần.
  • Inefficient explicit reasoning: chain-of-thought dài (~3,000 token) tạo ra độ trễ và chi phí inference không chấp nhận được ở high QPS.

II. Main Idea:​

RecGPT-V3 là hệ gợi ý stateful, hybrid-modal, giải quyết cả ba nút thắt cùng lúc:

  • Memory Hub: lưu trữ bộ nhớ user có cấu trúc, nén lịch sử dài hạn thành các memory unit ngắn gọn, cập nhật gia tăng theo thời gian thay vì xử lý lại toàn bộ history. Giảm 94.5% token và 55.8% tính toán user modeling.
  • Hybrid-modal Foundation Model: mở rộng Qwen3-14B bằng Semantic IDs (SIDs) — 65,536 token rời rạc mã hóa ngữ nghĩa item — để LLM suy luận song song trên cả ngôn ngữ (mở, generalizable) và SID (cụ thể, concrete), loại bỏ cổ chai tag-to-item.
  • Latent Intent Reasoning: nén chuỗi lập luận dài thành các token tiềm ẩn có thể học được, giảm chi phí token đầu ra 200×, nhưng vẫn giải mã lại thành rationale đọc được khi cần.

Ví dụ đời thường: giống như nhân viên bán hàng lâu năm không hỏi lại từ đầu khách quen mỗi lần gặp, mà ghi nhớ sở thích và cập nhật dần qua từng lần trò chuyện, đồng thời dùng cả mã hàng trong kho (SID) và lời miêu tả để tìm đúng sản phẩm nhanh hơn.

III. Main Results:​

  • Triển khai online A/B trên feed "Đoán bạn thích" của Taobao, so với RecGPT-V2 đang chạy thực tế:
    • IPV +1.28%
    • CTR +1.00%
    • TC +1.97%
    • GMV +3.97%
  • Giảm 52.4% tài nguyên serving end-to-end; RecGPT-V3 chỉ dùng 19% compute so với RecGPT-V1.
  • Memory Hub nén token lịch sử xuống 5.5% và giảm 55.8% tính toán user modeling.
  • Latent Intent Reasoning giảm chi phí token đầu ra 200× so với explicit chain-of-thought.
  • SID vocabulary gồm 65,536 token (hai mức RQ-VAE, mỗi mức 32,768), tạo ra 2-level Semantic IDs như <C_18921><C_40222>.

IV. Conclusion & Future Works:​

RecGPT-V3 chứng minh LLM có thể trở thành "bộ não thông minh" của hệ thống gợi ý công nghiệp, đồng thời cải thiện độ chính xác và hiệu quả serving. Hướng tương lai bao gồm:

  • Mở rộng Memory Hub sang các nền tảng/user journey dài hạn hơn (lifelong recommendation).
  • Áp dụng Latent Intent Reasoning cho các tác vụ agentic reasoning khác ngoài gợi ý sản phẩm.
  • Tối ưu thêm kỹ thuật RQ-VAE và InfoNCE để SID phân biệt tốt hơn các item long-tail/niche.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng bộ nhớ user có cấu trúc (Memory Hub) sang lifelong recommendation đa nền tảng, trong đó memory units được cập nhật liên tục qua nhiều dịch vụ mà vẫn đảm bảo quyền riêng tư và tính nhất quán ngữ nghĩa.
  2. Nghiên cứu cơ chế nén/giải nén latent reasoning () cho các tác vụ agentic planning ngoài recommendation, kiểm tra tính tổng quát của internalized reasoning token.
  3. Phát triển phương pháp học Semantic IDs (SIDs) cho các lĩnh vực không phải e-commerce như content recommendation, video, và quảng cáo, nơi định nghĩa item tương tự người dùng phức tạp hơn.

2. Patent:​

  1. Hệ thống gợi ý mua sắm trên điện thoại với bộ nhớ user tiến hóa: ứng dụng thương mại điện tử lưu các memory unit về sở thích, chu kỳ mua lại và thương hiệu yêu thích của user, cập nhật gia tăng mỗi khi có hành vi mới thay vì phân tích lại toàn bộ lịch sử, giảm pin và dữ liệu mạng.
  2. Module gợi ý sản phẩm hybrid-modal trên thiết bị di động: kết hợp văn bản người dùng nhập/tìm kiếm với mã định danh ngữ nghĩa (Semantic IDs) của sản phẩm trong kho để tìm kiếm chính xác hơn, ví dụ user mô tả "giày chạy nhẹ cho marathon" và model sinh ra đúng SID của các mẫu giày phù hợp.
  3. Hệ thống suy luận ẩn ý định (latent intent reasoning) cho trợ lý mua sắm: thay vì hiển thị hoặc sinh chuỗi lý giải dài, model nén ý định thành vài token tiềm ẩn để trả lời gợi ý trong <100ms, đồng thời có thể giải mã lại lý do đưa ra gợi ý khi user yêu cầu giải thích.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.15591
ArXiv Abstracthttps://arxiv.org/abs/2607.15591
PDF Downloadhttps://arxiv.org/pdf/2607.15591.pdf
Github RepositoryN/A

9. From Human-Centric to Agentic Code Review: The Impact of Different Generations of Generative AI Technology on Review Quality (24 votes)​

Tác giả: Suzhen Zhong, Shayan Noei, Bram Adams, Ying Zou

Xuất bản lúc: 2026-07-14

Tag: Code Review, LLMs, AI Agents, Generative AI, Software Engineering, Human-AI Collaboration, Empirical Study

I. Main Problem:​

Việc tích hợp AI tạo sinh vào code review đang chuyển dịch từ review hoàn toàn bởi người sang người + LLM + AI agent cùng tham gia, nhưng chưa có bằng chứng thực nghiệm quy mô lớn về việc chuyển đổi này ảnh hưởng thế nào đến:

  • hiệu quả review (thời gian ra quyết định)
  • chất lượng review (các dấu hiệu xấu như Review Buddies, Sleeping Review, Large Changeset)

Không rõ các dự án áp dụng AI reviewer theo cách nào, các mô hình hợp tác người-AI nào phổ biến, và yếu tố nào thực sự giải thích chất lượng.

II. Main Idea:​

Nghiên cứu phân tích 1,02 triệu pull request từ 207 dự án GitHub trong ba giai đoạn: Pre-LLM, LLM-assisted, và Agentic review. Các bước chính:

  • Phân cụm các dự án theo cách họ áp dụng AI reviewer theo thời gian (time series) → ra ba kiểu: Gradual AI Adoption, Rapid LLM Adoption, Rapid AI Agent Adoption.
  • Mô hình hóa các chuỗi tương tác reviewer trong từng PR bằng Markov chains + EM để tìm các mẫu hợp tác điển hình (ví dụ: Agent khởi xướng, Multi-Agent, LLM hỗ trợ sau người,…).
  • Đánh giá hiệu quả bằng thời gian review/KLOC và chất lượng bằng review smells (anti-pattern trong quy trình review).
  • Xây dựng mô hình hồi quy logistic để so sánh tác động của các mẫu hợp tác người-AI với các yếu tố truyền thống (đặc điểm PR, hoạt động review, kinh nghiệm reviewer).

Ví dụ đời thường: giống như một công ty thuê thêm nhân viên tự động hóa — nếu đưa robot vào từ từ, giao trước việc đơn giản rồi mới đến việc phức tạp, hoặc đưa ngay robot thông minh vào đúng việc nặng, thì công ty làm việc nhanh hơn; nhưng nếu giao hết mọi việc cho một chatbot đơn giản duy nhất, mọi người lại bị phụ thuộc vào cùng một "người" máy, khiến góc nhìn hẹp và lỗi sót nhiều hơn.

III. Main Results:​

  • Ba kiểu áp dụng AI reviewer:

    • Gradual AI Adoption (46% dự án): LLM tham gia ít ở giai đoạn LLM, agent tham gia 36% ở giai đoạn agent.
    • Rapid LLM Adoption (22%): LLM tham gia 91% ngay giai đoạn LLM, agent 93% ở giai đoạn agent.
    • Rapid AI Agent Adoption (32%): LLM tham gia 19%, sau đó agent tăng vọt lên 76%.

  • Hiệu quả review:

    • Gradual AI Adoption và Rapid AI Agent Adoption giảm thời gian review đáng kể ở giai đoạn agent (lần lượt -2,5 và -4,5 ngày/KLOC so với pre-LLM).
    • Rapid LLM Adoption không cải thiện thời gian review đáng kể.
    • Ở giai đoạn agent, các mẫu Agent-Init và Multi-Agent nhanh hơn đáng kể so với review chỉ người trong hai kiểu áp dụng trên.

  • Chất lượng review:

    • Rapid LLM Adoption làm tăng đáng kể tỷ lệ review smells (+8,0% ở giai đoạn LLM, +4,4% ở giai đoạn agent), đặc biệt là Review Buddies (+26% và +23,2%).
    • Hầu hết các mẫu có AI tham gia có tỷ lệ smells cao hơn review chỉ người (78–94% so với 69–76%), chủ yếu do dựa nhiều vào cùng một tài khoản/mô hình AI.
    • Không có mẫu hợp tác người-AI nào vượt trội hoàn toàn review chỉ người cả về hiệu quả lẫn chất lượng.

  • Yếu tố giải thích:

    • Trước khi có AI, kinh nghiệm tác giả và đặc điểm PR là yếu tố chính giải thích hiệu quả.
    • Khi LLM và agent tham gia, các mẫu hợp tác người-AI trở thành yếu tố giải thích mạnh nhất cho hiệu quả review, đồng thời vẫn quan trọng đối với Review Buddies.
    • Các mẫu có agent tham gia thường đi kèm với changeset lớn hơn, cho thấy agent được dùng nhiều cho thay đổi lớn.

IV. Conclusion & Future Works:​

Chuyển sang agentic review có thể giúp review nhanh hơn, nhưng không tự động đồng nghĩa với chất lượng tốt hơn. Cách áp dụng AI quan trọng hơn tốc độ tích hợp: tăng trưởng dần hoặc chuyển nhanh sang agent thông minh mang lại hiệu quả, trong khi dựa quá nhiều vào LLM đơn thuần sớm có thể làm tăng rủi ro chất lượng. Để thiết kế quy trình review có AI, cần chú ý đến đa dạng hóa reviewer, tránh phụ thuộc vào một tài khoản AI duy nhất, và cân nhắc khi nào nên để agent khởi xướng hay phối hợp đa agent.

Hướng tương lai:

  • Khảo sát sâu hơn các công cụ và khả năng cụ thể của AI agent (retrieval, chạy test, tự động sửa) để hiểu tại sao agent-init/multi-agent nhanh hơn.
  • Nghiên cứu các chiến lược giảm thiểu Review Buddies khi dùng AI, ví dụ luân phiên mô hình/agent hoặc kết hợp người đánh giá chéo.
  • Theo dõi chất lượng thực tế của code sau review (bug sau merge, technical debt) thay vì chỉ dựa trên review smells.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích dài hạn ảnh hưởng của các cấu hình đa agent khác nhau (số lượng, vai trò, công cụ) đến chất lượng code sau khi merge và tỷ lệ lỗi hồi quy.
  2. Nghiên cứu thiết kế giao thức phân công reviewer AI thích ứng: tự động chọn giữa LLM, agent và người dựa trên kích thước, loại và độ phức tạp của pull request.
  3. So sánh các chiến lược giảm thiểu Review Buddies trong agentic review: luân phiên mô hình, đa agent độc lập, hoặc điều chỉnh ngưỡng tham gia của reviewer AI.
  4. Khai thác dữ liệu quan sát từ nghiên cứu này để xây dựng mô hình dự đoán rủi ro chất lượng của một pull request khi có AI reviewer tham gia.

2. Patent:​

  1. Hệ thống điều phối reviewer AI trên nền tảng quản lý code (GitHub/GitLab/Bitbucket): tự động phân loại pull request theo kích thước và mục đích, sau đó chọn cấu hình tối ưu giữa người, LLM và agent để cân bằng tốc độ và chất lượng.
  2. Ứng dụng di động hỗ trợ duyệt code cho maintainer: khi maintainer mở PR trên điện thoại, hệ thống gọi AI agent tóm tắt thay đổi, chạy kiểm thử ảo và đề xuất hành động (approve, request changes), giúp người duyệt ra quyết định nhanh mà không cần máy tính.
  3. Module kiểm soát đa dạng reviewer AI trong dự án phần mềm: theo dõi tần suất một tài khoản AI cụ thể tham gia review cùng một tác giả, cảnh báo khi xuất hiện dấu hiệu Review Buddies và đề xuất luân phiên mô hình hoặc thêm reviewer người.
  4. Công cụ tự động hóa review dành cho pull request lớn: AI agent khởi tạo bằng cách tóm tắt diff, chạy lint/test, đặt câu hỏi ngữ cảnh, sau đó phân chia thành các phần nhỏ gợi ý cho người review từng phần, giảm thiểu Large Changeset và Sleeping Review.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.13196
ArXiv Abstracthttps://arxiv.org/abs/2607.13196
PDF Downloadhttps://arxiv.org/pdf/2607.13196.pdf
Github RepositoryN/A

10. Understanding Reasoning from Pretraining to Post-Training (20 votes)​

Tác giả: Jingyan Shen, Ang Li, Salman Rahman, Yifan Sun, Micah Goldblum, et al.

Xuất bản lúc: 2026-07-17

Tag: Reinforcement Learning, Pretraining, Post-Training, Scaling Laws, Chess, Reasoning, LLMs, GRPO

I. Main Problem:​

Hậu huấn luyện bằng Reinforcement Learning (RL) thường được nghiên cứu tách biệt khỏi pretraining, nên hai câu hỏi cơ bản vẫn chưa có câu trả lời định lượng:

  • Lựa chọn pretraining (kích thước mô hình, lượng dữ liệu) ảnh hưởng thế nào đến hiệu quả của compute dùng cho RL?
  • RL thực sự làm gì với mô hình thừa kế từ pretraining — chỉ làm sắc nét những gì đã có, hay tạo ra khả năng mới?

Nghiên cứu trong môi trường LLM tự nhiên khó vì dữ liệu pretraining khổng lồ, không kiểm soát được, và sweep compute đắt đỏ; do đó không thể quy kết rõ hành vi là do pretraining hay RL.

II. Main Idea:​

Tác giả dùng cờ vua làm bệ thử nghiệm có kiểm soát để mô phỏng toàn bộ pipeline chuẩn của LLM: pretraining trên ván cờ của con người, supervised fine-tuning (SFT) với synthetic reasoning traces, rồi RL trên các thế cờ có phần thưởng xác minh được.

Từ 36 kết hợp pretraining–RL, họ rút ra định luật scaling liên kết pretraining và RL: hiệu suất sau RL được dự đoán tốt từ pretraining loss, và độ dốc của đường cong reward dưới RL tăng gần tuyến tính theo log số token pretraining. Về cơ chế, RL không đơn thuần làm sắc nét SFT: trên bài dễ nó khuếch đại nước đi đúng SFT đã ưa thích; trên bài khó nó đưa nước đi đúng từ phần đuôi xác suất gần như bằng 0 lên top-k, đồng thời cũng củng cố cả nước sai. Họ còn kiểm chứng mô hình 1B trên toán học và thấy cùng một pattern.

Ví dụ đời thường: giống như học viên trước tiên đọc hàng nghìn ván cờ để hình thành “cảm nhịp” (pretraining), sau đó luyện giải bài tập có đáp án để biết đúng sai (RL). Học viên đọc càng nhiều ván thì luyện càng tiến bộ nhanh; nhưng khi luyện, họ vừa củng cố nước hay đã biết, vừa đôi khi tự tin sai hoặc chợt nhìn ra nước mới.

III. Main Results:​

  • Định luật scaling pretraining–RL: pass@1 sau RL tương quan mạnh với pretraining loss (Spearman |ρ| từ 0.93 lên 0.99 khi RL compute tăng).
  • Độ dốc reward dưới RL tương quan thuận với log số token pretraining (Pearson r = +0.84); mô hình kết hợp log tokens và log kích thước mô hình đạt R² = 0.84.
  • Phân bổ compute tối ưu: tỷ lệ compute dành cho RL tăng theo tổng compute, từ khoảng 20% ở mô hình 50M lên ~28% ở 680M; tuy nhiên số token pretraining tối ưu không lệch khỏi quy luật Chinchilla.
  • RL cải thiện mạnh pass@1 nhưng lợi ích pass@k rất hạn chế, đặc biệt trên mô hình lớn.
  • Cơ chế phụ thuộc độ khó:
    • Bài dễ (B1–B3): RL chủ yếu khuếch đại nước đi đúng đã nằm trong top-k của SFT.
    • Bài khó (B5): RL vừa khám phá đuôi (tail discovery) các nước đúng hiếm, vừa củng cố nước sai (wrong-mode amplification).
  • Chuyển giao sang toán học: mô hình 1B pretrain 10B–200B token toán cho thấy post-RL performance tăng và độ dốc RL tăng theo lượng token pretraining, giống pattern cờ vua.

IV. Conclusion & Future Works:​

Bài báo cung cấp tài khoản định lượng về giao diện giữa pretraining và RL, giúp quyết định cách chia compute giữa hai giai đoạn. Pretraining tạo prior tốt hơn giúp RL học nhanh hơn và đạt cao hơn; RL góp phần đáng kể vào pass@1 nhưng chưa cải thiện đa dạng (pass@k). Hướng tương lai: thiết kế synthetic reasoning traces khuyến khích tìm kiếm sâu hơn, giảm hiện tượng củng cố nước sai, và mở rộng định luật scaling sang nhiều tác vụ ngôn ngữ/khác biệt với phần thưởng xác minh được.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng định luật scaling pretraining–RL sang các tác vụ lý luận ngôn ngữ tự nhiên (toán, lập trình) với phần thưởng xác minh được ở từng bước.
  2. Nghiên cứu cơ chế: chất lượng và cấu trúc của reasoning traces trong SFT ảnh hưởng thế nào đến khả năng khám phá đuôi và tránh củng cố nước sai dưới RL.
  3. Xây dựng lý thuyết liên kết pretraining loss với tốc độ hội tụ và giới hạn hiệu suất của RL trong không gian chính sách rời rạc.

2. Patent:​

  1. Ứng dụng cờ vua/dạy cờ thông minh trên điện thoại: hệ thống pretrain bằng hàng triệu ván cờ rồi dùng RL với đáp án động cơ mạnh để đề xuất nước đi phù hợp trình độ người chơi, điều chỉnh độ khó theo phản hồi thắng thua.
  2. Gia sư toán học cá nhân trên thiết bị di động: mô hình học trước từ kho tài liệu toán rồi luyện bằng bài tập có lời giải từng bước xác minh được; ứng dụng tự động phát hiện lỗi sai và đề xuất gợi ý phù hợp với lỗi cụ thể của học sinh.
  3. Trợ lý pháp lý trên điện thoại: mô hình học trước từ văn bản pháp luật và mẫu hợp đồng, sau đó tinh chỉnh bằng phản hồi có thể kiểm chứng từ chuyên gia để đề xuất điều khoản, phát hiện rủi ro và soạn thảo văn bản theo từng trường hợp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.16097
ArXiv Abstracthttps://arxiv.org/abs/2607.16097
PDF Downloadhttps://arxiv.org/pdf/2607.16097.pdf
Github Repositoryhttps://github.com/pavelslab-nyu/pre2post-chess

11. Qwen-Music Technical Report (18 votes)​

Tác giả: Jin Xu, Kangdi Wang, Ruibin Yuan, Shun Lei, Xiong Wang, et al.

Xuất bản lúc: 2026-07-13

Tag: Music Generation, Text-to-Music, Cover Song Generation, LLMs, Diffusion Transformer, Neural Audio Tokenizer, Chain-of-Thought

I. Main Problem:​

Sinh nhạc có lời hát đầy đủ đòi hỏi đồng thời kiểm soát nhiều tầng: lời, giai điệu, nhịp điệu, giọng hát, phối khí và cấu trúc bài hát kéo dài nhiều phút. Thách thức cốt lõi là khoảng cách giữa biên soạn ý nghĩa (semantic composition) và tái tạo âm thanh (acoustic rendering): mô hình ngôn ngữ với token rời rạc dễ học cấu trúc dài hạn nhưng mất chi tiết âm học; mô hình sóng thuần thì khó kiểm soát giai điệu và cấu trúc. Thêm nữa, tác vụ cover song đòi hỏi giữ nguyên giai điệu gốc trong khi thay đổi phong cách, giọng hát và phối khí.

II. Main Idea:​

Qwen-Music chia quá trình tạo nhạc thành hai tầng riêng biệt nhưng phối hợp: tầng ý nghĩa dùng LLM dự đoán token nhạc rời rạc, tầng âm thanh dùng Diffusion Transformer để vẽ lại chi tiết sóng stereo 48 kHz.

Điểm mới nổi bật là Melody-CoT: trước khi sinh toàn bộ bài hát, mô hình tự lập một kế hoạch giai điệu trung gian (melody tokens) từ lời và tag nhạc. Với cover song, mô hình đưa giai điệu trích xuất từ bản gốc vào điều kiện, giữ nguyên đường cong âm điệu trong khi thay đổi phong cách.

Ba khối chính:

  • Qwen-Music-Tokenizer: nén audio thành dòng token 25 Hz, 1 codebook duy nhất (Music Semantic Tokens), bảo toàn ngữ nghĩa và giai điệu.
  • Qwen-Music-LLM: mô hình tự hồi quy 3B, sinh token nhạc có kế hoạch giai điệu rõ ràng.
  • Qwen-Music-Render: gồm DiT 1.3B điều kiện hóa bởi token và văn bản, Spec-VAE tái tạo phổ, và Band-Mode Refiner chỉnh sửa tần số theo dải.

Ví dụ đời thường: giống như một kiến trúc sư không xây nhà ngay mà vẽ trước bản phác thảo khung cảnh và bố cục phòng (melody + cấu trúc), sau đó thợ xây mới dựng tường, lát gạch và trang trí nội thất chi tiết (âm thanh stereo đầy đủ).

III. Main Results:​

  • Ưu thế so với hệ thống thương mại hàng đầu: đánh giá A/B mù bởi chuyên gia, Qwen-Music thắng MiniMax Music 2.5+ (59.1%), MiniMax Music 2.6 (66.7%), Mureka V8 (58.3%), Suno V5 (55.4%), và ngang ngửa Suno V5.5 (50.3%).
  • Bảng xếp hạng bên thứ ba: xếp thứ 3 trên Artificial Analysis Music with Vocals Leaderboard (tham gia với tên JazzCat).
  • Kết quả định lượng: đạt tốt nhất trong 13/16 chỉ số khách quan về tính nhạc và chất lượng audio trên SongBench, SongEval và AudioBox-Aesthetic.
  • Cover song: bảo toàn giai điệu tham chiếu chính xác hơn Suno V5.5, Suno V5 và MiniMax Cover trên tập tham chiếu do AI tạo; vượt MiniMax Cover trên hầu hết chỉ số với bài hát thật phổ biến.
  • Huấn luyện quy mô lớn: hơn 5 triệu giờ nhạc đa ngôn ngữ, chương trình pre-training theo chất lượng và post-training gồm SFT, offline DPO và online GSPO.

IV. Conclusion & Future Works:​

Qwen-Music cung cấp một khung thống nhất cho sinh nhạc có lời chất lượng cao, kiểm soát được và có cấu trúc nhạc rõ ràng. Bằng cách tách biệt không gian biên soạn ý nghĩa và tái tạo sóng âm thanh, hệ thống đồng thời hỗ trợ sáng tác tự do từ văn bản và tái hiện lại bài hát có sẵn theo phong cách mới. Hướng tương lai: cải thiện khả năng điều khiển đa chiều hơn nữa (ví dụ: nhạc cụ riêng lẻ, giọng hát cụ thể), mở rộng sang các ngôn ngữ và thể loại ít dữ liệu hơn, và nâng cao tính ổn định của cấu trúc bài hát dài.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Melody-CoT để hỗ trợ nhiều lớp lập kế hoạch hơn: không chỉ giai điệu mà cả tiết tấu, hòa âm và cấu trúc đoạn nhạc như các bước suy luận trung gian rõ ràng.
  2. Kết hợp phản hồi con người theo thời gian thực vào quá trình online preference optimization để mô hình học cách chỉnh sửa bài hát dựa trên gợi ý cụ thể của nhạc sĩ.
  3. Nghiên cứu các phương pháp tách rời và điều kiện hóa giọng hát, nhạc cụ và hiệu ứng âm thanh trong không gian token nhạc để kiểm soát độc lập từng thành phần.

2. Patent:​

  1. Ứng dụng di động tạo nhạc cá nhân hóa: người dùng nhập mô tả cảm xúc, thể loại và vài dòng lời, hệ thống tạo bài hát hoàn chỉnh có giọng hát với chất lượng stereo cao, phù hợp làm nhạc nền, quà tặng hoặc nội dung mạng xã hội.
  2. Tính năng cover song trên điện thoại: người dùng hát hoặc tải lên một bài hát tham chiếu, chọn phong cách và giọng ca mới, ứng dụng giữ nguyên giai điệu gốc nhưng tái tạo thành bản phối hoàn toàn khác.
  3. Công cụ hỗ trợ sáng tác cho nhạc sĩ: nhạc sĩ nhập phác thảo lời và tag phong cách, hệ thống sinh bản demo giai điệu và phối khí tự động, sau đó cho phép chỉnh sửa từng đoạn trước khi render bản final chất lượng cao.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.11699
ArXiv Abstracthttps://arxiv.org/abs/2607.11699
PDF Downloadhttps://arxiv.org/pdf/2607.11699.pdf
Github RepositoryN/A

12. Recursive Harness Self-Improvement (14 votes)​

Tác giả: Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Matei Zaharia, et al.

Xuất bản lúc: 2026-07-17

Tag: Recursive Harness Self-Improvement, Agentic AI, Multi-Agent Systems, Prompt Optimization, LLM-as-a-Judge

I. Main Problem:​

Sự tiến bộ của AI ngày càng phụ thuộc vào sự đồng tiến hóa giữa foundation model và harness (khung điều phối agent), trong đó harness không chỉ là giàn giáo lúc inference mà còn tạo ra execution trace dùng để huấn luyện các mô hình tương lai. Tuy nhiên:

  • Harness do nhà cung cấp xây dựng phải tổng quát hóa đa tác vụ, nên cập nhật liên tục rất tốn kém và cận thận.
  • Harness do người dùng tự xây dựng có thể chuyên biệt hóa theo tác vụ, nhưng cần một phương pháp tối ưu nhẹ, hội tụ trong vài vòng lặp và cải thiện chất lượng trace mà không gây chi phí inference quá lớn.

II. Main Idea:​

Recursive Harness Self-Improvement (RHI) định nghĩa harness như một đối tượng cấp prompt mô tả vòng lặp agent (vai trò, chỉ dẫn, contract, hop), rồi tự tinh chỉnh qua phản hồi pairwise so sánh với chính bản thân trước đó. Quy trình:

  • Tại mỗi vòng lặp, agent chạy tác vụ với harness hiện tại và tạo output.
  • Evaluator so sánh output hiện tại với output của vòng trước để sinh tín hiệu ưu tiên.
  • Lịch sử so sánh tích lũy được dùng làm momentum ngữ nghĩa để LLM harness optimizer sửa harness tiếp theo.

RHI ưu tiên cập nhật workflow (contract và hop) hơn là thiết kế agent, vì contract tối ưu giúp giảm thông tin dư thừa giữa các agent và cải thiện quản lý context theo tác vụ.

Ví dụ đời thường: giống như một đầu bếp làm món mới, không phải thay đổi cả người (agent), mà chỉ điều chỉnh quy trình truyền thông tin giữa các bếp phụ (contract) và thứ tự bước nấu (hop) qua vài lần nếm thử và so sánh với lần trước, để món ăn ngày càng ngon hơn mà không cần mua thêm nguyên liệu.

III. Main Results:​

  • Trên 30 tác vụ nghiên cứu ML tổng hợp (quantitative finance, robotics, pharmacy), RHI với vài vòng lặp nâng cao trần hiệu suất của agent high-reasoning (sonnet-4.6, opus-4.7, opus-4.8), vượt qua các cấu hình test-time scaling mạnh hơn như xhigh, max, ultracode.
  • Với opus-4.8, RHI giảm chi phí inference tới 60% so với baseline ultracode.
  • Cải thiện không đến từ việc tăng output token — lượng token gần như không đổi trong khi hiệu suất tăng; thay vào đó, cache read/write và chi phí thường giảm.
  • Phân tích ablation cho thấy lợi ích chủ yếu đến từ quản lý context chuyên biệt theo tác vụ thông qua contract và hop hiệu quả hơn, giảm dư thừa giữa các thành phần harness.

IV. Conclusion & Future Works:​

RHI đóng vai trò như một thuật toán thực tiễn cho continual learning trong mô hình đồng tiến hóa model–harness, tập trung vào nửa vòng lặp đầu: cải thiện harness do người dùng xây dựng để tạo execution trace chất lượng cao hơn. Hướng tương lai: mở rộng giả thuyết information-theoretic (tăng mutual information giữa thành phần harness và tác vụ, giảm redundancy), áp dụng RHI cho nhiều loại harness thực tế hơn, và tích hợp vào quy trình tự động hóa công việc hàng ngày.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RHI sang việc tự cải thiện các multi-agent system trong môi trường mở, kết hợp với học tăng cường để harness không chỉ tối ưu trace mà còn thích ứng với phản hồi từ môi trường.
  2. Kiểm chứng giả thuyết information-theoretic của RHI bằng cách đo lường mutual information giữa contract/hop và tác vụ trên các benchmark agentic đa dạng, từ đó đề xuất hàm mục tiêu rõ ràng cho harness optimizer.
  3. Nghiên cứu cách kết hợp RHI với test-time scaling (parallel sampling, sequential refinement) dưới ngân sách inference cố định để tìm phương án tối ưu Pareto giữa chi phí và hiệu suất.

2. Patent:​

  1. Ứng dụng tối ưu harness tác vụ trên điện thoại: người dùng mô tả công việc (ví dụ: lập trình phân tích dữ liệu cá nhân), hệ thống tự động tinh chỉnh prompt-level workflow qua vài vòng lặp so sánh kết quả, giảm số lần gọi mô hình mạnh và tiết kiệm pin/dữ liệu di động.
  2. Hệ thống tự động hóa nghiên cứu khoa học cho nhóm nhỏ: người dùng đưa vào mô tả dự án ML, RHI tự điều chỉnh cách phân công agent viết code, thí nghiệm và viết báo cáo, đồng thời rút gọn thông tin trao đổi giữa các agent để giảm chi phí đám mây.
  3. Trợ lý lập trình thông minh trong IDE: mỗi dự án được gán một harness tự học, sau mỗi lần refactor hoặc review code, hệ thống so sánh chất lượng output với lần trước và tự động cập nhật quy trình điều phối agent để code ngày càng đúng chuẩn dự án mà không cần người dùng can thiệp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.15524
ArXiv Abstracthttps://arxiv.org/abs/2607.15524
PDF Downloadhttps://arxiv.org/pdf/2607.15524.pdf
Github RepositoryN/A

13. When Does Muon Help Agentic Reinforcement Learning? (13 votes)​

Tác giả: Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou, Qianshan Wei, et al.

Xuất bản lúc: 2026-07-17

Tag: Muon, Reinforcement Learning, Agentic RL, Policy Optimization, Credit Assignment, LLM Agents, ALFWorld, GiGPO, GraphGPO, GRPO, Optimizer

I. Main Problem:​

Muon đã chứng minh hiệu quả trong pre-training LLM, nhưng giá trị của nó trong RL post-training — đặc biệt là RL agent dài hạn, phần thưởng thưa — vẫn chưa rõ. Bằng chứng trước đây mâu thuẫn: Muon có lợi ích nhỏ trong một số cài đặt, nhưng gây forgetting/khớp sai trong fine-tuning có giám sát và thất bại trong single-turn RLVR với ước lượng advantage cấp episode. Câu hỏi cốt lõi là: khi nào và vì sao Muon giúp RL agentic, liệu chỉ phụ thuộc optimizer hay còn phụ thuộc cấu trúc credit assignment của thuật toán RL?

II. Main Idea:​

Tác giả giữ nguyên vanilla Muon chỉ áp dụng lên các ma trận trọng số ẩn 2D của policy, giao phần còn lại (embeddings, norms, LM head) cho AdamW, rồi so sánh với AdamW thuần trên ALFWorld với Qwen2.5-0.5B-Instruct dưới ba cách ước lượng advantage khác nhau: GRPO (episode-level), GiGPO (episode + step-level từ anchor states lặp lại), GraphGPO (transition-level trên đồ thị trạng thái). Giả thuyết là Muon làm phẳng phổ suy rộng (spectral flattening) qua Newton–Schulz, khuếch đại các hướng gradient yếu; điều này chỉ có ích khi các hướng đó chứa tín hiệu credit đủ sạch — tức estimator tạo ra gradient SNR cao. Do đó, optimizer, advantage estimator và learning rate cần được nghiên cứu cùng nhau.

Ví dụ đời thường: giống như máy trợ thính chỉ hữu ích khi tín hiệu lời nói đủ rõ; nếu nền ồn quá lớn, khuếch đại thêm chỉ làm rè hơn, còn khi âm thanh nền được lọc tốt, tăng âm các tần yếu giúp nghe rõ lời.

III. Main Results:​

  • GiGPO: Muon lr 3times10−53\\times10^{-5} đạt success cuối-200-update 0.546 so với 0.290 của AdamW (tăng 88%); checkpoint cuối 0.63 vs 0.32. Lợi ích xuất hiện trên nhiều nhóm tác vụ (Cool, Pick Two, Heat, Pick). AdamW ở các tốc độ học cao hơn (10−510^{-5}, 3times10−53\\times10^{-5}) mất hoàn toàn success sau vài updates, còn Muon giữ được.
  • GRPO: Muon 3times10−53\\times10^{-5} nâng success cuối từ 0.161 lên 0.268 và AUC chuẩn hóa từ 0.078 lên 0.091; tốc độ 10−510^{-5} chỉ tăng nhẹ success cuối nhưng AUC giảm.
  • GraphGPO: Khi đã gần bão hòa, Muon 10−510^{-5} đạt 0.901 so với 0.810 của AdamW, AUC chuẩn hóa 0.556 vs 0.399, đạt ngưỡng success 0.5/0.75 sớm hơn 30/60 updates. Seed thứ hai tái hiện được lợi thế của Muon.
  • Ablation step-level credit (GiGPO): Muon cải thiện cả khi tắt (omega=0\\omega=0) và bật (omega=1\\omega=1) step credit; bật step credit cải thiện cả AdamW và Muon, tạo hiệu ứng bổ trợ.

IV. Conclusion & Future Works:​

Muon không phải lúc nào cũng tốt trong RL; hiệu quả của nó phụ thuộc vào sự kết hợp giữa optimizer, cấu trúc advantage estimator và learning rate. Các estimator có credit tinh hơn cấp bước (GiGPO) hoặc cấp chuyển trạng thái (GraphGPO) làm tăng SNR của gradient, từ đó khai thác được lợi thế spectral flattening của Muon. Hướng tương lai: đo lường trực tiếp SNR và phổ cập nhật để kiểm chứng giả thuyết, thiết kế estimator mới tối ưu cho Muon, chạy thêm nhiều seed/mô hình/môi trường, và phát triển biến thể Muon phân tán để mở rộng lên mô hình lớn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Đo lường trực tiếp signal-to-noise ratio (SNR) của ma trận gradient và phổ suy rộng của cập nhật Muon trên các advantage estimator khác nhau để kiểm chứng hay bác bỏ giả thuyết SNR.
  2. Nghiên cứu thiết kế advantage estimator mới — ví dụ kết hợp anchor-state grouping với successor-distance — nhằm tạo gradient SNR cao nhất để khai thác spectral flattening của Muon.
  3. Mở rộng đánh giá Muon trong RL agentic sang nhiều seed, mô hình lớn hơn và môi trường khác (lập trình, toán học, robotics), đồng thời kết hợp với các biện pháp ổn định optimizer như Hopper hoặc Pion.

2. Patent:​

  1. Hệ thống huấn luyện LLM agent tự động chọn bộ ba optimizer–advantage estimator–learning rate dựa trên đặc tính credit assignment của tác vụ, giúp tăng tỷ lệ thành công và giảm FLOPs trong RL post-training.
  2. Trợ lý agent trên điện thoại thông minh sử dụng Muon + GiGPO/GraphGPO để học từ phần thưởng thưa khi điều khiển giao diện ứng dụng, với việc chỉ cập nhật các ma trận trọng số ẩn để tiết kiệm bộ nhớ thiết bị.
  3. Dịch vụ đám mây RL post-training cho tác nhân dịch vụ khách hàng hoặc robot gia đình: áp dụng Muon cục bộ trên các lớp ẩn kết hợp với grouped credit assignment để cải thiện ổn định và tốc độ hội tụ trên tác vụ đa bước.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.16169
ArXiv Abstracthttps://arxiv.org/abs/2607.16169
PDF Downloadhttps://arxiv.org/pdf/2607.16169.pdf
Github RepositoryN/A

14. S1-Omni: A Unified Multimodal Reasoning Model for Scientific Understanding, Prediction, and Generation (10 votes)​

Tác giả: Jiahao Zhao, Junyi Liu, Lifeng Xu, Nan Xu, Qingli Wang, et al.

Xuất bản lúc: 2026-07-17

Tag: AI for Science, Multimodal Reasoning, Scientific Language Models, Unified Modeling, Property Prediction, Protein Structure Prediction, Spectrum-to-Molecular Generation, Scientific Image Generation

I. Main Problem:​

Trí tuệ khoa học hiện tại bị phân mảnh giữa ba hướng:

  • mô hình chuyên biệt theo miền (AlphaFold 3, ESM3, DiffSpectra) — mạnh trên từng đối tượng nhưng khó mở rộng sang lĩnh vực khác;
  • mô hình ngôn ngữ lớn kết hợp công cụ (GPT-Rosalind, Claude Science) — hiểu nhiệm vụ nhưng kiến thức khoa học vẫn nằm ở công cụ bên ngoài;
  • mô hình ngôn ngữ khoa học (NatureLM, LOGOS, BioMatrix) — thống nhất không gian biểu diễn nhưng chưa đưa luật khoa học, kinh nghiệm chuyên gia và ràng buộc miền vào quá trình suy luận.

Hệ quả: không thể xử lý đồng thời dữ liệu đa dạng (phân tử, vật liệu, protein, phổ, ảnh), các định luật tự nhiên và tri thức chuyên gia trong một mô hình duy nhất.

II. Main Idea:​

S1-Omni là một mô hình đa phương thức thống nhất cho ba nhóm năng lực: hiểu (understanding), dự đoán (prediction) và sinh (generation) trong khoa học. Kiến trúc gồm ba trụ cột:

  • Thống nhất biểu diễn dữ liệu khoa học: hướng dẫn ngôn ngữ tự nhiên và các đối tượng khoa học (CIF, SMILES, chuỗi protein, phổ, ảnh khoa học) được ánh xạ vào cùng không gian biểu diễn chung, nhưng vẫn giữ ranh giới loại đối tượng và cấu trúc cần thiết.
  • Căn chỉnh tri thức thế giới tự nhiên: trong xây dựng dữ liệu và huấn luyện, mô hình được bơm các định luật khoa học, kinh nghiệm chuyên gia và dữ kiện thực nghiệm, giúp suy luận từ bằng chứng thay vì chỉ học thống kê.
  • Giải mã cho từng nhiệm vụ miền: trên cùng một backbone chia sẻ, mô hình chọn decoder phù hợp để xuất kết quả ở dạng gốc của từng miền — giá trị liên tục, nhãn phân loại, vị trí residue, cấu trúc 3D, hoặc ảnh khoa học.

Quy trình huấn luyện gồm hai giai đoạn: (1) huấn luyện VLM chung để hiểu nhiệm vụ và sinh lý luận; (2) cố định VLM, huấn luyện riêng từng decoder theo không gian kết quả gốc của nhiệm vụ.

Ví dụ đời thường: giống như một bác sĩ đọc đồng thời văn bản khám bệnh, kết quả xét nghiệm máu, ảnh MRI và mẫu gen của bệnh nhân, rồi viết chẩn đoán và đơn thuốc bằng ngôn ngữ thường — thay vì gửi từng loại dữ liệu cho từng chuyên khoa riêng.

III. Main Results:​

  • Đánh giá trên hơn 60 benchmark trong 5 nhóm nhiệm vụ: dự đoán tính chất, sinh phân tử từ phổ, dự đoán vị trí chức năng protein, dự đoán cấu trúc protein, và sinh/chỉnh sửa ảnh khoa học.
  • Vượt GPT-5.5 và Gemini-3.1-Pro trên hầu hết các chỉ số: thắng 16/18 benchmark ADMET, thắng cả hai mô hình đóng trên tất cả 7 tác vụ MoleculeNet và 11 tính chất lượng tử QM9/COMPAS-1D.
  • Sánh ngang hoặc vượt mô hình chuyên biệt trên một số tác vụ quan trọng như CYP enzymes, hERG, hấp thu ruột, dự đoán vị trí tương tác protein, epitope, và vị trí liên kết phân tử nhỏ.
  • Ảnh khoa học: đạt kết quả mạnh trên phân đoạn ảnh y tế MSD, dịch ảnh y tế, super-resolution và sinh minh họa khoa học.
  • Corpus: S1-Omni-Corpus gồm hơn 8 triệu mẫu suy luận chất lượng cao trên 200 nhiệm vụ khoa học; tác giả công bố trọng số, code và tập con 10K mẫu dưới Apache-2.0.

IV. Conclusion & Future Works:​

S1-Omni chứng minh rằng một mô hình đa phương thức thống nhất có thể thực hiện hiểu, dự đoán và sinh trong khoa học với kết quả kiểm chứng được ở từng miền gốc, thay vì phải kết hợp nhiều mô hình chuyên biệt hoặc công cụ bên ngoài. Hướng tương lai: mở rộng sang nhiều lĩnh vực khoa học hơn, cải thiện dự đoán giá trị liên tục và các nhiệm vụ đòi hỏi độ chính xác hình học/điện tử cao, đồng thời làm sâu thêm việc nhúng định luật khoa học vào suy luận giữa các miền.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng S1-Omni cho các nhiệm vụ khoa học xã hội và lý luận định tính, kết hợp văn bản học thuật, dữ liệu thực nghiệm và mô hình lý thuyết trong một quy trình suy luận duy nhất.
  2. Nghiên cứu cách tự động trích xuất và kiểm tra các chuỗi bằng chứng khoa học từ văn bản và dữ liệu thực nghiệm, giúp mô hình đa phương thức tự giải thích và tự sửa lỗi.
  3. Xây dựng các decoder miền có khả năng tích hợp kiểm định vật lý/hóa học trong quá trình sinh, ví dụ decoder cấu trúc 3D tự kiểm tra ràng buộc liên kết nguyên tử.

2. Patent:​

  1. Ứng dụng dược phẩm trên điện thoại: người dùng chụp phân tử/dược chất dưới dạng SMILES hoặc ảnh công thức, ứng dụng dự đoán độc tính (hERG, AMES), khả năng hấp thu và chuyển hóa CYP, rồi đưa ra cảnh báo hoặc đề xuất tương tác thuốc.
  2. Trợ lý nghiên cứu vật liệu trên thiết bị di động: nhập công thức tinh thể CIF, ứng dụng dự đoán độ bền nhiệt động, khoảng dải năng lượng và các tính chất điện tử để sàng lọc vật liệu pin hoặc chất bán dẫn nhanh.
  3. Công cụ phân tích protein cho phòng thí nghiệm di động: nhập chuỗi protein hoặc ảnh phổ, ứng dụng dự đoán vị trí liên kết, epitope và cấu trúc 3D, hỗ trợ thiết kế kháng thể hoặc vắc-xin mà không cần gửi dữ liệu ra nhiều phần mềm chuyên biệt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.15686
ArXiv Abstracthttps://arxiv.org/abs/2607.15686
PDF Downloadhttps://arxiv.org/pdf/2607.15686.pdf
Github Repositoryhttps://github.com/ScienceOne-AI/S1-Omni