🤗 Daily Hugging Face Paper Digest - 2026-07-09
Báo cáo được tạo tự động vào lúc 2026-07-11 09:49:33 bằng mô hình hermes-agent.
📰 Summary of Papers
1. Accurate, Interdisciplinary and Transparent Structure-property Understanding with Deep Native Structural Reasoning (77 votes)
Tác giả: Chen Tang, Yizhou Wang, Jianyu Wu, Lintao Wang, Shixiang Tang, et al.
Xuất bản lúc: 2026-07-08
Tag: Scientific Foundation Model, Multimodal AI, Structural Reasoning, Protein Function Prediction, Retrosynthesis, Materials Science, Chain-of-Thought, Reinforcement Learning
I. Main Problem:
Mối quan hệ cấu trúc–tính chất là nền tảng trong sinh học, hóa học và khoa học vật liệu, nhưng các hệ thống AI hiện tại thường tách biệt biểu diễn cấu trúc gốc với lập luận dựa trên bằng chứng. Các mô hình ngôn ngữ lớn coi protein, phân tử và tinh thể chủ yếu là văn bản, làm mất thông tin tổ chức không gian; còn các mô hình chuyên ngành dù học được cấu trúc lại thường chỉ đưa ra điểm số hoặc nhãn mà không giải thích bằng chứng trung gian. Điều này tạo ra khoảng cách lớn giữa dự đoán chính xác và suy luận khoa học có thể kiểm chứng.
II. Main Idea:
SciReasoner đề xuất native structural reasoning bằng cách mã hóa protein, phân tử nhỏ và tinh thể vô cơ thành một bộ từ vựng thống nhất nhạy cấu trúc (structure-aware vocabulary), trong đó các token cấu trúc trở thành đơn vị bằng chứng có thể trích dẫn và kiểm tra trực tiếp trong quỹ đạo suy luận autoregressive. Mô hình kết hợp các token cấu trúc này với ngôn ngữ tự nhiên, cho phép sinh ra chuỗi suy luận xen kẽ giữa lời giải thích và các đoạn cấu trúc cụ thể (residue, fragment SMILES, mô tả tinh thể). Ví dụ đời thường: giống như một kỹ sư sửa chữa không chỉ đọc mô tả về máy mà còn chỉ tay vào từng bánh răng, bu-lông và mối hàn để giải thích tại sao máy hỏng, thay vì chỉ đưa ra kết luận cuối cùng.
III. Main Results:
- Trên 86 benchmark khoa học, SciReasoner đạt state-of-the-art trên 67 tác vụ và bằng hoặc vượt các chuyên gia trên 26 benchmark.
- Dự đoán Gene Ontology (GO): Cellular Component Fmax tăng từ 0.42 lên 0.55 ở vùng low-homology, tổng thể Fmax = 0.59, vượt BLAST, ESM2, SaProt và các LLM tổng quát.
- Retrosynthesis: độ chính xác single-step tăng từ 0.63 (RSGPT) lên 0.72 trên USPTO-50K, với chuỗi suy luận phân tích → ngắt liên kết → xác minh → đánh giá khả thi.
- Virtual screening DUD-E: bằng AUC tốt nhất trước đó (0.76) và cải thiện 5.0% EF từ 7.12 lên 7.70; embedding nhóm hoạt chất theo hình học túi liên kết 3D thay vì scaffold 2D.
- Vật liệu học: không gian tiềm ẩn phân tách C, Si, SiC và sắp xếp các dạng thù hình theo gradient bandgap; R² dự đoán năng lượng hình thành đạt 0.895.
- Đánh giá double-blind của chuyên gia: 98% trường hợp ưu tiên hoặc xem ngang bằng với LLM frontier.
IV. Conclusion & Future Works:
SciReasoner chứng minh rằng khi cấu trúc được biểu diễn như một substrate có thể kiểm tra cho suy luận, mô hình không chỉ dự đoán chính xác mà còn giải thích tại sao cấu trúc dẫn đến một chức năng, phản ứng hoặc tính chất vật liệu cụ thể. Hướng tương lai có thể mở rộng bộ từ vựng cấu trúc sang nhiều loại dữ liệu khoa học hơn, cải thiện khả năng lập luận đa bước trong các tác vụ thiết kế phân tử, và phát triển các công cụ tương tác cho phép chuyên gia can thiệp vào chuỗi suy luận để xác minh hoặc điều chỉnh kết luận.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng SciReasoner cho các dạng cấu trúc sinh học phức tạp hơn như phức hợp protein–protein, protein–DNA và màng sinh học.
- Kết hợp native structural reasoning với mô phỏng phân tử động lực học (molecular dynamics) để tạo ra suy luận dựa trên cơ chế động và năng lượng tự do.
- Phát triển các phương pháp đánh giá tự động chất lượng chuỗi suy luận khoa học, đặc biệt là khả năng trích dẫn bằng chứng cấu trúc chính xác.
2. Patent:
- Nền tảng hỗ trợ thiết kế thuốc trên điện thoại: người dùng nhập phân tử đích, hệ thống sinh chuỗi suy luận retrosynthesis với các fragment SMILES có thể kiểm tra, đề xuất tiền chất và điều kiện phản ứng.
- Ứng dụng chẩn đoán biến thể protein: từ chuỗi hoặc cấu trúc protein đột biến, hệ thống dự đoán chức năng GO và chỉ ra các residue chịu trách nhiệm, hỗ trợ bác sĩ di truyền và nghiên cứu bệnh học.
- Công cụ phân tích vật liệu pin và chất bán dẫn: dự đoán độ bền, bandgap và tính chất điện tử từ cấu trúc tinh thể, đồng thời giải thích vai trò của nhóm không gian, môi trường phối hợp và liên kết tuần hoàn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.07708 |
| ArXiv Abstract | https://arxiv.org/abs/2607.07708 |
| PDF Download | https://arxiv.org/pdf/2607.07708.pdf |
| Github Repository | https://github.com/SpectrAI-Initiative/SciReasoner |
2. Dual Latent Memory in Vision-Language-Action Models for Robotic Manipulation (50 votes)
Tác giả: Hongyu Qu, Jianzhe Gao, Xiaobin Hu, Shaohuan Yang, Xinlei Yu, et al.
Xuất bản lúc: 2026-07-08
Tag: Vision-Language-Action, Robotics, Long-horizon Manipulation, Memory Augmentation, Latent Memory, Diffusion Policy
I. Main Problem:
Các mô hình Vision-Language-Action (VLA) phổ biến hiện nay thường giả định Markov, chỉ dự đoán hành động từ quan sát hiện tại nên thiếu nhận thức về tiến trình tác vụ và các trạng thái trước đó. Điều này khiến chúng yếu kém trong các tác vụ thao tác dài hạn, phụ thuộc thời gian. Các phương pháp bổ sung bộ nhớ hiện có thường chỉ mở rộng cửa sổ quan sát hoặc truy xuất lịch sử từ ngân hàng bộ nhớ bên ngoài để điều kiện hóa đầu ra chính sách, nhưng bộ nhớ vẫn nằm ngoài không gian embedding tiềm ẩn (latent) gốc của VLA, nên không thể hòa quyện trôi chảy với quá trình suy luận đa phương thức và hình thành hành động bên trong mô hình.
II. Main Idea:
LaMem-VLA đề xuất một khung bộ nhớ tiềm ẩn gốc (latent-memory-native), trong đó lịch sử robot được tổ chức, truy xuất và tiêu thụ hoàn toàn trong cùng không gian embedding liên tục mà VLA đang dùng để nhìn, hiểu và quyết định hành động. Hệ thống gồm bốn thành phần phối hợp: (i) curator tách lịch sử thành hai kho bộ nhớ bổ sung—bộ nhớ ngắn hạn lưu bằng chứng trực quan gần đây, bộ nhớ dài hạn lưu tiến trình tác vụ và tính liên tục hành động; (ii) seeker dùng trạng thái nhận thức đa phương thức hiện tại để truy xuất bằng chứng liên quan từ cả hai kho; (iii) condenser nén bằng chứng truy xuất được thành các token bộ nhớ tiềm ẩn cố định chiều dài; (iv) weaver xen các token bộ nhớ này vào chuỗi suy luận VLA cùng với quan sát và chỉ dẫn hiện tại, để bộ nhớ trực tiếp tham gia self-attention và định hình action queries. Ví dụ đời thường: giống như đầu bếp nấu ăn phức tạp không chỉ nhìn nguyên liệu trước mặt mà còn tự động gợi nhớ vừa hình ảnh vừa tiến trình các bước đã làm—như đảo trứng ra khỏi chảo, đun nước sôi—rồi kết hợp cả hai loại ký ức vào suy nghĩ hiện tại để quyết định bước tiếp theo.
III. Main Results:
- Trên SimplerEnv-Bridge, LaMem-VLA đạt 73,9% tỷ lệ thành công trung bình, vượt CogACT 16,6 điểm và π0 4,7 điểm.
- Trên LIBERO, LaMem-VLA đạt 97,6% trung bình qua năm suite, vượt MemoryVLA 1,1 điểm, CogACT 4,4 điểm và π0 3,5 điểm ở bốn suite đầu.
- Các suite dài hạn (Long-10, Long-90) hưởng lợi rõ rệt: LaMem-VLA đạt 95,8% và 97,0%, cho thấy bộ nhớ dài hạn giúp duy trì tiến trình tác vụ.
- Ablation: loại bỏ cả hai nguồn bộ nhớ khiến hiệu suất sụt xuống 57,3% trên SimplerEnv và 92,1% trên LIBERO-90; chỉ dùng bộ nhớ bên ngoài (policy-side) cũng thấp hơn đáng kể so với tích hợp tiềm ẩn gốc.
IV. Conclusion & Future Works:
LaMem-VLA chứng minh rằng biến lịch sử robot thành bộ nhớ tiềm ẩn gốc trong VLA—thay vì điều kiện hóa bên ngoài—là hướng đi khả thi để xây dựng hệ thống robot có nhận thức thời gian mạnh hơn. Hạn chế hiện tại là thử nghiệm chỉ mới trong môi trường mô phỏng; tác giả đang mở rộng sang nền tảng robot thực. Hướng tương lai bao gồm chuyển đổi thực tế, tối ưu chi phí tính toán của bộ nhớ tiềm ẩn, và thử nghiệm trên các tác vụ dài hạn phức tạp hơn ngoài mô phỏng.
V. Brainstorming Space:
1. Publish Papers:
- Thiết kế cơ chế quên và ghi đè có chọn lọc trong kho bộ nhớ tiềm ẩn kép để LaMem-VLA tự động duy trì những khoảnh khắc quan trọng trong tác vụ dài hàng giờ mà không làm phình context.
- Mở rộng latent memory vault sang nhiều robot đồng thời, cho phép tác nhân chia sẻ ký ức trực quan và ngữ nghĩa giữa các thể hiện robot khác nhau.
- Kết hợp LaMem-VLA với mô hình thế giới (world model) để bộ nhớ tiềm ẩn không chỉ lưu quá khứ mà còn hỗ trợ dự đoán trạng thái tương lai trong tác vụ đa bước.
2. Patent:
- Hệ thống điều khiển robot gia đình qua ứng dụng điện thoại: điện thoại đặt ở vị trí bất kỳ trong phòng, robot chụp ảnh thăm dò ngắn, gửi về đám mây để xây dựng bộ nhớ tiềm ẩn kép về góc nhìn và tiến trình, sau đó thực hiện lệnh như 'nhặt gốc lên giá' một cách liên tục theo góc camera người dùng.
- Module bộ nhớ cho cánh tay robot công nghiệp lắp ráp: mỗi lần đổi đầu kẹp hoặc linh kiện, robot tự ghi nhớ ngắn hạn dạng hình ảnh và dài hạn dạng chuỗi thao tác đã làm, từ đó tự điều chỉnh độ mở, tốc độ và trình tự mà không cần lập trình lại.
- Trợ lý ảo trên điện thoại thông minh hỗ trợ nấu ăn: ứng dụng theo dõi camera bếp, ghi nhớ các bước đã thực hiện (bộ nhớ dài hạn) và trạng thái nguyên liệu trên bàn (bộ nhớ ngắn hạn), sau đó nhắc người dùng bước tiếp theo phù hợp.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.07608 |
| ArXiv Abstract | https://arxiv.org/abs/2607.07608 |
| PDF Download | https://arxiv.org/pdf/2607.07608.pdf |
| Github Repository | https://github.com/quhongyu/LaMem-VLA |
3. Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence (43 votes)
Tác giả: Shuailei Ma, Jiaqi Liao, Xinyang Wang, Jingjing Wang, Chaoran Feng, et al.
Xuất bản lúc: 2026-07-08
Tag: Mixture-of-Experts, Video Generation, Diffusion Transformer, Embodied Intelligence, World Models
I. Main Problem:
Các mô hình sinh video hiện đại chủ yếu tối ưu hóa cho chất lượng thị giác, thẩm mỹ và sự phù hợp với văn bản, chứ không phải tính đúng đắn vật lý hay khả năng điều khiển. Khi áp dụng cho robot và trí thông minh thể hiện (embodied intelligence), chúng thiếu tính nhất quán về động lực học vật rắn, độ ổn định tiếp xúc, và trạng thái dài hạn. Đồng thời, kiến trúc dense transformer kích hoạt tất cả tham số cho mọi token, gây ra chi phí suy luận cao và khó mở rộng dung lượng mô hình.
II. Main Idea:
LingBot-Video là một Diffusion Transformer (DiT) tiền huấn luyện video dành riêng cho embodied intelligence, dùng ba cải tiến cốt lõi: (1) thay thế FFN dense bằng Sparse Mixture-of-Experts (MoE) với shared experts và routed experts, cho phép tăng tổng dung lượng tham số lên hàng chục tỷ trong khi giữ nguyên chi phí tính toán active per-token; (2) xây dựng kho dữ liệu kết hợp video internet với dữ liệu robot (thao tác, điều hướng, góc nhìn egocentric) để cung cấp prior về hành động và động lực học thế giới; (3) hệ thống reward đa chiều bao gồm tính hợp lý vật lý và tín hiệu hoàn thành nhiệm vụ, vượt qua mục tiêu thẩm mỹ thông thường. Ví dụ đời thường: giống như đầu bếp học nấu ăn không chỉ bằng cách xem video ẩm thực đẹp mắt, mà còn phải thực hành cầm dao, cảm nhận độ cứng của thịt, và kiểm tra thức ăn chín chưa, để hiểu thực sự cách món ăn được tạo ra.
III. Main Results:
- MoE 13B-A1.4B vượt trội Dense 1.3B với cùng ngân sách tính toán active trên cả training và validation loss.
- MoE 30B-A3B đạt hiệu suất gần Dense 14B, chứng minh sự thống trị cross-compute của kiến trúc sparse.
- Mở rộng lên 120B tổng tham số (11B active) cho thấy quy luật scaling dự đoán được với loss giảm theo quy mô.
- Suy luận trên chuỗi 1M token: MoE 30B-A3B nhanh hơn Dense 6B 1.5x, Dense 14B 2.59x, Dense 30B 3.18x.
- Refiner tăng độ phân giải từ 480p lên 1080p, phục hồi chi tiết cao tần và cải thiện chất lượng hình ảnh.
IV. Conclusion & Future Works:
LingBot-Video là mô hình MoE video open-source quy mô lớn đầu tiên cho embodied intelligence, kết nối sinh video kỹ thuật số với điều khiển vật lý. Hướng tương lai: mở rộng quy mô dữ liệu robot đa dạng hơn, tích hợp thêm reward vật lý dựa trên mô phỏng, và tối ưu hóa hiệu quả suy luận cho triển khai real-time trên robot.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng kiến trúc MoE sparse cho video dài hơn và độ phân giải cao hơn trong bối cảnh embodied intelligence.
- Phát triển phương pháp đánh giá reward vật lý tự động dựa trên mô phỏng vật lý cho mô hình sinh video.
- Kết hợp world model video với policy learning để tạo ra hệ thống planning end-to-end cho robot.
2. Patent:
- Hệ thống tạo video dự đoán cho điều khiển robot: robot quan sát trạng thái hiện tại, mô hình sinh video hậu quả của các hành động khả thi, và policy chọn hành động tối ưu dựa trên mô phỏng trực quan.
- Nền tảng đào tạo video đa nhiệm vụ trên điện thoại: ứng dụng di động nhận mô tả hoặc hình ảnh từ người dùng, sinh video minh họa quy trình vận hành thiết bị hoặc robot gia đình trước khi thực thi.
- Công cụ kiểm tra tính khả thi vật lý cho thiết kế robot: kỹ sư nhập bản thiết kế và chuỗi hành động, hệ thống sinh video mô phỏng để phát hiện xung đột, trượt tay cầm hoặc vi phạm ràng buộc không gian trước khi sản xuất.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.07675 |
| ArXiv Abstract | https://arxiv.org/abs/2607.07675 |
| PDF Download | https://arxiv.org/pdf/2607.07675.pdf |
| Github Repository | https://github.com/robbyant/lingbot-video |
4. Infinite Worlds with Versatile Interactions (27 votes)
Tác giả: Zelin Gao, Qiuyu Wang, Jiapeng Zhu, Jingye Chen, Zichen Liu, et al.
Xuất bản lúc: 2026-07-08
Tag: World Modeling, Causal Video Generation, Interactive World Models, Diffusion Transformer, Distillation, Real-time Generation
I. Main Problem:
Các mô hình thế giới tương tác sinh khung hình liên tục theo hành động người dùng đang bị giới hạn bởi hai vấn đề cốt lõi. Thứ nhất là tính ổn định chuỗi dài: vì mỗi khung hình được điều kiện hóa trên các khung trước đó, lỗi tự tích lũy khiến chất lượng hình ảnh nhòe, hình học biến dạng và cảnh trôi dạt khỏi thế giới hợp lý sau vài phút đến vài phút. Thứ hai là tương tác độ phân giải cao đòi hỏi tính toán lớn, buộc các hệ thống trước đây phải đánh đổi giữa độ phân giải, tốc độ khung hình hoặc khả năng điều khiển, khiến người dùng chủ yếu chỉ di chuyển camera trong cảnh tĩnh.
II. Main Idea:
LingBot-World-Infinity xây dựng một mô hình thế giới nhân quả (causal world model) dựa trên Diffusion Transformer, trong đó mỗi trạng thái chỉ phụ thuộc vào quá khứ và tín hiệu điều khiển hiện tại để tránh rò rỉ thông tin tương lai. Mặt nạ chú ý MoBA (Mixture of Bidirectional and Autoregressive) kết hợp thành phần hai chiều với mặt nạ teacher forcing, giúp giữ độ trung thực hình ảnh mà vẫn cho phép tự hồi quy. Sau đó, mô hình được chưng cất qua Consistency Distillation và Distribution Matching Distillation để giảm số bước khử nhiễu, đạt tốc độ real-time, đồng thời triệt tiêu trôi dạt trên chuỗi dài. Bên ngoài lõi sinh, hệ thống được bọc trong một agentic harness gồm Pilot agent điều khiển nhân vật và Director agent (VLM) liên tục bổ sung nội dung, đạo cụ và sự kiện theo tiến trình khám phá. Ví dụ đời thường: giống như một vở kịch có đạo diễn ngồi ngoài sân khấu liên tục viết thêm tình tiết và đưa đạo cụ mới, trong khi diễn viên tự ứng biến hành động theo kịch bản, cả hai cùng giữ cho vở diễn kéo dài mãi mà không bị rối loạn.
III. Main Results:
- Giữ chất lượng ổn định trong phiên tạo sinh liên tục hơn một giờ mà không có dấu hiệu suy giảm trực quan.
- Chạy real-time ở độ phân giải 720p và 60 fps nhờ mô hình đã chưng cất.
- Không gian tương tác phong phú: chiến đấu, bắn cung, thi triển phép, bắn súng, điều khiển đối tượng, thay đổi thời tiết, chuyển đổi ngày đêm.
- Kiến trúc Director-Pilot cho phép tương tác ngữ nghĩa trực tiếp, theo dõi đối tượng qua SAM và can thiệp thế giới bằng văn bản.
- Mô hình 14B đi kèm phiên bản 1.3B có thể triển khai trên một GPU.
IV. Conclusion & Future Works:
LingBot-World-Infinity chứng minh một mô hình thế giới nhân quả mở có thể đồng thời đạt độ bền chuỗi dài, tương tác đa dạng và hiệu suất real-time. Hướng tương lai bao gồm mở rộng hỗ trợ đa người chơi, cải thiện khả năng lập luận vật lý nhất quán trên quy mô dài hạn, và tối ưu hóa triển khai trên thiết bị biên để giảm độ trễ và tăng khả năng tiếp cận.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng agentic harness để nhiều tác nhân đồng thời cư trú và tương tác trong cùng một thế giới sinh, với giao thức phân vai rõ ràng giữa đạo diễn và các phi công.
- Kết hợp mô hình thế giới nhân quả với lập kế hoạch dài hạn để tác nhân tự đặt mục tiêu, khám phá và thao túng môi trường một cách chủ động.
- Nghiên cứu cơ chế đánh giá định lượng chất lượng và độ trôi dạt trong thế giới tương tác sinh tự động qua hàng giờ, thay vì chỉ đo lường trên các đoạn ngắn.
2. Patent:
- Nền tảng game AI sinh vô hạn trên điện thoại: máy chủ đám mây chạy mô hình thế giới nhân quả đã chưng cất, điện thoại chỉ nhận luồng video 720p 60fps và gửi tín hiệu điều khiển, cho phép người chơi khám phá thế giới mở không giới hạn.
- Hệ thống tạo nội dung game tự động: AI đạo diễn tự đề xuất sự kiện, địa hình, thời tiết và kẻ thù theo hành vi người chơi, giảm chi phí thiết kế cấp độ và kịch bản thủ công.
- Giả lập huấn luyện robot và tác nhân nhúng: tạo môi trường ảo liên tục phản ứng với hành động, dùng làm sandbox huấn luyện các tác vụ thao tác vật thể trước khi triển khai thực tế.
- Ứng dụng thực tế ảo và xã hội ảo: nhiều người dùng cùng đắm chìm trong một thế giới sinh real-time, tương tác với đối tượng và thay đổi môi trường qua lời nói hoặc cử chỉ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.07534 |
| ArXiv Abstract | https://arxiv.org/abs/2607.07534 |
| PDF Download | https://arxiv.org/pdf/2607.07534.pdf |
| Github Repository | https://github.com/robbyant/lingbot-world-v2 |
5. Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning (10 votes)
Tác giả: Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong
Xuất bản lúc: 2026-07-08
Tag: Reinforcement Learning, Asynchronous RL, GRPO, PPO, LLMs, Agentic RL, Value Model, Generalized Advantage Estimation, Single-Rollout
I. Main Problem:
Huấn luyện tăng cường (RL) đồng bộ cho LLM hiệu quả kém với tác vụ agentic dài hạn vì phải chờ rollout chậm nhất trong batch, khiến GPU nhàn rỗi. RL không đồng bộ giải quyết được vấn đề này nhưng thường chỉ chú trọng throughput, bỏ qua độ ổn định và hiệu quả huấn luyện. Đặc biệt, GRPO với group-wise sampling không phù hợp với async vì phải chờ cả nhóm rollout hoàn thành, gây off-policy nghiêm trọng và không áp dụng được trong môi trường online chỉ có một trajectory feedback mỗi prompt.
II. Main Idea:
SAO thay group-wise sampling bằng single-rollout: mỗi rollout được đưa vào huấn luyện ngay khi sinh xong, không chờ nhóm. Để ổn định trong bối cảnh policy lag của async RL, SAO dùng Direct Double-Sided Importance Sampling (DIS) ở cấp token, tính trực tiếp tỷ lệ nhờ log-probability từ rollout engine và áp dụng cắt hai chiều chặt chẽ, loại bỏ token vượt ngoài trust region. Để giảm phương sai do single-rollout, SAO cải tiến value model: cập nhật critic nhanh gấp K lần actor, đóng băng attention weights trong khi huấn luyện value, và mở rộng quy mô pretraining cho value model. Với trajectory agentic nhiều lượt, SAO dùng Skip-Observation GAE để tránh lan truyền nhiễu qua các observation token không do mô hình sinh ra. Ví dụ đời thường: giống như bếp nhà hàng nấu và phục vụ từng món ngay khi chín thay vì chờ cả bàn xong, kèm theo người kiểm tra chất lượng nghiêm ngặt (cắt hai chiều) để món nào không đạt chuẩn là bỏ ngay, giúp phục vụ nhanh mà vẫn ổn định.
III. Main Results:
- SAO vượt trội GRPO trên AIME2025 (97.3% vs 84.2%), BeyondAIME (74.8% vs 54.8%), HMMT Nov 2025 (88.3% vs 76.0%), IMOAnswerBench (74.0% vs 55.8%), và SWE-Bench Verified (29.8% vs 27.0% của GRPO kèm DIS).
- SAO huấn luyện ổn định khoảng 1000 bước, trong khi vanilla GRPO sụp đổ sau khoảng 160 bước.
- Ablation cho thấy DIS ngăn sụp đổ, cập nhật value nhanh (K=2) cải thiện explained variance, và đóng băng attention giảm gradient norm đáng kể so với full-parameter value training.
- Trong mô phỏng online learning với phần thưởng thay đổi liên tục (cute → chuunibyou → classical), SAO thích ứng nhanh hơn và ổn định hơn Running Mean baseline.
- SAO đã được triển khai trong pipeline RL cho mô hình GLM-5.2 (750B-A40B).
IV. Conclusion & Future Works:
SAO chứng minh RL không đồng bộ có thể vừa hiệu quả vừa ổn định cho tác vụ agentic khi kết hợp single-rollout, DIS cấp token, và huấn luyện value model chuyên biệt. Hướng tương lai: nghiên cứu lý thuyết hội tụ của single-rollout async RL, mở rộng cho môi trường online không dừng (non-stationary) phức tạp hơn, và tích hợp SAO với các hệ thống async RL hiện có để cải thiện cả throughput lẫn sample efficiency.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng phân tích lý thuyết về hội tụ và bias-variance trade-off của single-rollout asynchronous RL trong bối cảnh policy lag.
- Kết hợp SAO với học liên tục trực tuyến (continual online learning) cho agent mở, trong đó phần thưởng và phân phối nhiệm vụ thay đổi liên tục theo thời gian.
- So sánh và tích hợp SAO với các hệ thống async RL khác như AReaL hay ROLL Flash để xây dựng một framework thống nhất cho agentic RL quy mô lớn.
2. Patent:
- Trợ lý viết văn trên điện thoại tự điều chỉnh giọng văn theo phản hồi từng tin nhắn của người dùng, dùng single-rollout async RL để cập nhật ngay mà không cần thu thập hàng loạt phản hồi.
- Plugin IDE lập trình thông minh học liên tục từ mỗi lần người dùng sửa hoặc chấp nhận đề xuất code, tối ưu chính sách đề xuất mà không bị gián đoạn bởi các tác vụ debug chậm.
- Ứng dụng gia sư ảo trên điện thoại: mỗi khi học sinh trả lời một câu, hệ thống dùng một trajectory duy nhất để điều chỉnh ngay phong cách giảng và độ khó bài tập theo năng lực đang tiến hóa của học sinh.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.07508 |
| ArXiv Abstract | https://arxiv.org/abs/2607.07508 |
| PDF Download | https://arxiv.org/pdf/2607.07508.pdf |
| Github Repository | N/A |