🤗 Daily Hugging Face Paper Digest - 2026-04-30
Báo cáo được tạo tự động vào lúc 2026-05-05 08:21:12 bằng mô hình deepseek-ai/deepseek-v4-flash.
📰 Summary of Papers
1. GLM-5V-Turbo: Toward a Native Foundation Model for Multimodal Agents (92 votes)
Tác giả: V Team, Wenyi Hong, Xiaotao Gu, Ziyang Pan, Zhen Yang, Yuting Wang, Yue Wang, Yuanchang Yue, Yu Wang, Yanling Wang, Yan Wang, Xijun Liu, Wenmeng Yu, Weihan Wang, Wei Li, Shuaiqi Duan, Sheng Yang, Ruiliang Lv, Mingdao Liu, Lihang Pan, Ke Ning, Junhui Ji, Jinjiang Wang, Jing Chen, Jiazheng Xu, Jiale Zhu, Jiale Cheng, Ji Qi, Guobing Gan, Guo Wang, Cong Yao, Zijun Dou, Zihao Zhou, Zihan Wang, Zhiqi Ge, Zhijie Li, Zhenyu Hou, Zhao Xue, Zehui Wang, Zehai He, Yusen Liu, Yukuo Cen, Yuchen Li, Yuan Wang, Yijian Lu, Yanzi Wang, Yadong Xue, Xinyu Zhang, Xinyu Liu, Wenkai Li, Tianyu Tong, Tianshu Zhang, Shengdong Yan, Qinkai Zheng, Mingde Xu, Licheng Bao, Jiaxing Xu, Jiaxin Fan, Jiawen Qian, Jiali Chen, Jiahui Lin, Haozhi Zheng, Haoran Wang, Haochen Li, Fan Yang, Dan Zhang, Chuangxin Zhao, Chengcheng Wu, Boyan Shi, Bowei Jia, Baoxu Wang, Peng Zhang, Debing Liu, Bin Xu, Juanzi Li, Minlie Huang, Yuxiao Dong, Jie Tang
Xuất bản lúc: 2026-04-29
Tag: Multimodal Agents, Vision-Language Model, Reinforcement Learning, GUI Agent, Multimodal Coding, Tool Use
I. Main Problem:
Các mô hình nền tảng hiện tại thường xử lý nhận thức đa phương thức như một giao diện phụ trợ cho mô hình ngôn ngữ, thay vì tích hợp nó như một thành phần cốt lõi của suy luận, lập kế hoạch, sử dụng công cụ và thực thi. Điều này dẫn đến những hạn chế trong khả năng tác nhân đa phương thức, đặc biệt là trong các môi trường phức tạp đòi hỏi sự tương tác thực tế với hình ảnh, video, trang web, tài liệu và giao diện người dùng đồ họa (GUI).
II. Main Idea:
GLM-5V-Turbo đề xuất một loạt các cải tiến phối hợp để xây dựng mô hình nền tảng tác nhân đa phương thức một cách tự nhiên. Các cải tiến chính bao gồm: (1) CogViT: Bộ mã hóa thị giác mới được thiết kế riêng cho hiểu biết đa phương thức chi tiết. (2) Multimodal Multi-Token Prediction (MMTP): Mở rộng dự đoán đa token cho đầu vào đa phương thức, sử dụng token <|image|> để cân bằng hiệu quả giữa khả năng mô hình hóa, ổn định huấn luyện và hiệu suất hệ thống. (3) Huấn luyện đa nhiệm rộng: Tích hợp sâu thị giác và ngôn ngữ từ giai đoạn tiền huấn luyện, sau đó tối ưu hóa bằng học tăng cường (RL) trên hơn 30 loại tác vụ bao gồm nhận thức, suy luận và tác nhân. (4) Hạ tầng RL đa phương thức quy mô lớn: Thiết kế lại hệ thống huấn luyện với trừu tượng hóa tác vụ và phần thưởng thống nhất, pipeline bất đồng bộ, quản lý bộ nhớ cho khối lượng công việc đa phương thức và phân vùng nhận biết cấu trúc liên kết.
III. Main Results:
GLM-5V-Turbo đạt hiệu suất mạnh mẽ trên các benchmark tác nhân đa phương thức: sử dụng công cụ đa phương thức (30.7 trên ImageMining, 51.9 trên BrowseComp-VL, 72.9 trên MMSearch), tác vụ GUI agent (75.7 trên AndroidWorld, 62.3 trên OSWorld), và đánh giá dựa trên Claw (87.0/80.7 trên PinchBench). Mô hình cũng cho thấy hiệu suất lập trình vượt trội trong cả cài đặt đa phương thức (94.8 trên Design2Code, vượt Claude Opus 4.6) và chỉ văn bản, thậm chí vượt qua mô hình nền tảng chỉ ngôn ngữ GLM-5-Turbo trên một số benchmark lập trình.
IV. Conclusion & Future Works:
Phát triển GLM-5V-Turbo mang lại những bài học thực tiễn: (1) Nhận thức là nền tảng cho khả năng đa phương thức cấp cao hơn. (2) Năng lực tác nhân có thể được xây dựng hiệu quả hơn thông qua tối ưu hóa phân cấp. (3) Chìa khóa để xây dựng, đánh giá và tối ưu hóa các tác vụ dài hạn end-to-end nằm ở đặc tả rõ ràng, xác minh đáng tin cậy và quy trình đánh giá có kiểm soát. Các hướng phát triển trong tương lai bao gồm mở rộng phạm vi tác vụ trong RL và khám phá các proxy task để cải thiện khả năng tổng quát.
V. Brainstorming Space:
1. Publish Papers:
- Tối ưu hóa nhận thức phân cấp cho tác nhân GUI đa phương thức: Nghiên cứu sâu hơn về chiến lược tối ưu hóa phân cấp, xây dựng một hệ thống phân cấp tác vụ chi tiết hơn từ nhận thức phần tử, gắn kết GUI, dự đoán hành động đơn bước đến dự đoán chuỗi hành động, nhằm cải thiện tính ổn định và hiệu quả của huấn luyện tác nhân.
- Học tăng cường đa tác vụ với chuyển giao chiến lược suy luận: Khám phá cơ chế chuyển giao các mẫu suy luận giữa các tác vụ khác nhau trong quá trình RL đa tác vụ, nhằm tận dụng sự chia sẻ chiến lược để cải thiện hiệu suất trên các tác vụ có dữ liệu hạn chế.
- Xây dựng benchmark Vision2Web cho phát triển website đa phương thức end-to-end: Phát triển và mở rộng benchmark Vision2Web, tập trung vào việc xác định tác vụ rõ ràng với các đặc tả giàu thông tin (PRD, mockup, trang tham chiếu) và xác minh dựa trên quy trình làm việc, nhằm tạo ra một tiêu chuẩn đánh giá đáng tin cậy cho các tác nhân lập trình đa phương thức.
2. Patent:
- Phương pháp và hệ thống tạo mã nguồn giao diện người dùng từ ảnh chụp màn hình trên thiết bị di động: Sử dụng mô hình thị giác-ngôn ngữ để phân tích ảnh chụp màn hình của một ứng dụng di động, nhận diện bố cục, các thành phần UI và mối quan hệ không gian giữa chúng, sau đó tự động tạo ra mã nguồn (HTML/CSS hoặc mã native) tương ứng. Điều này cho phép người dùng nhanh chóng tạo mẫu thử hoặc sao chép thiết kế ứng dụng một cách trực quan.
- Ứng dụng tìm kiếm và tổng hợp thông tin đa phương thức dựa trên hình ảnh trên điện thoại thông minh: Cho phép người dùng chụp ảnh một đối tượng (ví dụ: cây cối, địa điểm, sản phẩm) và ứng dụng sẽ thực hiện một chuỗi các bước tìm kiếm tự động: phân tích chi tiết hình ảnh, trích xuất đặc điểm nhận dạng, thực hiện nhiều truy vấn tìm kiếm trên web, tổng hợp thông tin từ văn bản và hình ảnh, và cuối cùng trình bày kết quả dưới dạng báo cáo đa phương thức ngay trên màn hình điện thoại.
- Hệ thống hỗ trợ nghiên cứu và tạo bài thuyết trình từ tài liệu trên thiết bị di động: Ứng dụng cho phép người dùng tải lên các tài liệu phức tạp (ví dụ: bài báo khoa học, báo cáo) dưới dạng PDF hoặc hình ảnh. Hệ thống sẽ tự động phân tích nội dung văn bản và hình ảnh (biểu đồ, bảng biểu), sau đó tạo ra một bản trình bày slide có cấu trúc, bao gồm cả văn bản tóm tắt và hình ảnh trích xuất, giúp người dùng dễ dàng chia sẻ và trình bày kết quả nghiên cứu mọi lúc mọi nơi.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.26752 |
| ArXiv Abstract | https://arxiv.org/abs/2604.26752 |
| PDF Download | https://arxiv.org/pdf/2604.26752.pdf |
| Github Repository | https://github.com/zai-org/GLM-V |
2. RADIO-ViPE: Online Tightly Coupled Multi-Modal Fusion for Open-Vocabulary Semantic SLAM in Dynamic Environments (70 votes)
Tác giả: Zaid Nasser, Mikhail Iumanov, Tianhao Li, Maxim Popov, Jaafar Mahmoud, Sergey Kolyubin
Xuất bản lúc: 2026-04-28
Tag: Semantic SLAM, Open-Vocabulary, Multi-Modal Fusion, Dynamic Environments, Bundle Adjustment, Robust Optimization, Foundation Models
I. Main Problem:
Các hệ thống SLAM (định vị và lập bản đồ đồng thời) hiện tại gặp khó khăn khi triển khai trong thế giới thực vì: (1) Hầu hết các phương pháp hiểu ngữ nghĩa mở (open-vocabulary) hoạt động ngoại tuyến, yêu cầu dữ liệu đầu vào đã được hiệu chỉnh (calibrated) và giả định môi trường tĩnh; (2) Các hệ thống SLAM thời gian thực thiếu khả năng hiểu ngữ nghĩa linh hoạt và (3) Không có hệ thống nào giải quyết đồng thời các vấn đề về hiệu chuẩn, vận hành trực tuyến, hiểu ngữ nghĩa mở, và xử lý các vật thể chuyển động hoặc thay đổi trong môi trường động.
II. Main Idea:
Bài báo giới thiệu RADIO-ViPE, một hệ thống SLAM ngữ nghĩa trực tuyến, không cần hiệu chỉnh (calibration-free), có khả năng xử lý môi trường động. Hệ thống kết hợp chặt chẽ (tightly coupled) các đặc trưng đa phương thức (thị giác, ngôn ngữ) từ các mô hình nền tảng kết tụ (agglomerative foundation models) như RADIO với thông tin hình học 3D. Các đóng góp chính bao gồm: (1) Một phương pháp hợp nhất thị giác-ngôn ngữ-hình học mới thông qua khung Bundle Adjustment dày đặc, nơi đồ thị nhân tố (factor graph) được xây dựng dựa trên cả tiêu chí hình học và ngữ nghĩa. (2) Một cơ chế robust kernel thích ứng (adaptive robust kernel) có tính đến tính nhất quán theo thời gian (temporal consistency) để giảm ảnh hưởng của các vật thể chuyển động và bán tĩnh. (3) Một hệ thống SLAM ngữ nghĩa mở trực tuyến, sẵn sàng triển khai, chỉ sử dụng luồng video RGB đơn nhìn (monocular) không hiệu chỉnh.
III. Main Results:
Hệ thống đạt được kết quả state-of-the-art trên bộ dữ liệu động TUM-RGBD (Average ATE: 1.63 cm với adaptive kernel), vượt trội so với các phương pháp SLAM động khác. Trên bộ dữ liệu Replica cho phân vùng ngữ nghĩa 3D, RADIO-ViPE đạt thứ hạng top-3 (mIoU: 24.25, f-mIoU: 50.63) trong số các phương pháp so sánh, mặc dù không sử dụng thông tin về hiệu chỉnh máy ảnh, độ sâu, hay tư thế camera. Hệ thống hoạt động với tốc độ 8-10 FPS.
IV. Conclusion & Future Works:
RADIO-ViPE là một hệ thống SLAM ngữ nghĩa mạnh mẽ, hoạt động trực tuyến, không cần hiệu chỉnh và có thể xử lý các cảnh động. Bằng cách tận dụng các đặc trưng RADSeg, hệ thống đạt được hiệu suất cạnh tranh trên các bộ dữ liệu chuẩn, chứng minh sự cân bằng tốt giữa hiệu năng và hiệu quả tính toán, phù hợp cho robot thời gian thực, AR/VR và video không ràng buộc. Hạn chế hiện tại là khó khăn trong việc phân vùng các lớp cấu trúc (ví dụ: tường, sàn nhà) trong bối cảnh có nền.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng RADIO-ViPE cho cảnh ngoài trời quy mô lớn: Nghiên cứu cách điều chỉnh hệ thống để hoạt động hiệu quả trong môi trường ngoài trời rộng lớn, nơi có sự thay đổi về ánh sáng, địa hình phức tạp và các vật thể di chuyển với tốc độ cao. Đề xuất các cơ chế quản lý bản đồ phân tán và chiến lược chọn khung hình chính (keyframe) thích ứng.
- Tích hợp tri thức bối cảnh (Contextual Knowledge) vào SLAM ngữ nghĩa: Phát triển một hệ thống SLAM không chỉ hiểu 'cái gì' và 'ở đâu' mà còn hiểu 'tại sao' và 'mối quan hệ' giữa các đối tượng. Sử dụng các mô hình ngôn ngữ lớn (LLMs) để suy luận về chức năng và mối liên hệ không gian-thời gian giữa các vật thể, ví dụ: 'cái ghế này thường ở cạnh bàn làm việc'.
- SLAM ngữ nghĩa với khả năng học liên tục (Continual Learning): Nghiên cứu các phương pháp cho phép hệ thống SLAM cập nhật và mở rộng vốn hiểu biết ngữ nghĩa của mình theo thời gian mà không bị quên kiến thức cũ (catastrophic forgetting). Ví dụ, sau khi nhìn thấy một loại 'ghế văn phòng' mới, hệ thống có thể tự động thêm nó vào bản đồ tri thức.
2. Patent:
- Phương pháp và hệ thống điều hướng thực tế tăng cường (AR) trên điện thoại thông minh sử dụng SLAM ngữ nghĩa mở: Phát minh này mô tả một ứng dụng trên điện thoại có thể sử dụng camera để tạo bản đồ 3D của môi trường xung quanh theo thời gian thực. Người dùng có thể nói hoặc gõ các câu lệnh bằng ngôn ngữ tự nhiên như 'tìm chìa khóa màu đỏ trên bàn' hoặc 'chỉ đường đến cái tủ lạnh'. Hệ thống sẽ hiểu câu lệnh, xác định vị trí đối tượng trên bản đồ 3D và vẽ các mũi tên hoặc điểm đánh dấu ảo trên màn hình điện thoại để hướng dẫn người dùng.
- Ứng dụng chụp ảnh và quay phim thông minh với khả năng chỉnh sửa dựa trên ngữ nghĩa 3D trên thiết bị di động: Phát minh cho phép người dùng chụp ảnh hoặc quay video bằng điện thoại, và ứng dụng sẽ tự động xây dựng một bản đồ 3D ngữ nghĩa của cảnh. Sau đó, người dùng có thể sử dụng các lệnh ngôn ngữ tự nhiên để chỉnh sửa, ví dụ: 'làm mờ cái cốc trên bàn', 'thay đổi màu sắc của chiếc ghế sofa thành màu xanh' hoặc 'xóa người đang đi qua khỏi video'. Việc chỉnh sửa được thực hiện dựa trên sự hiểu biết về không gian 3D, giúp kết quả trông tự nhiên và chính xác hơn.
- Hệ thống hỗ trợ người khiếm thị tương tác với môi trường xung quanh bằng điện thoại thông minh: Phát minh sử dụng camera của điện thoại để chạy hệ thống SLAM ngữ nghĩa mở theo thời gian thực. Hệ thống sẽ mô tả môi trường xung quanh cho người dùng thông qua giọng nói, ví dụ: 'Phía trước bạn là một cái bàn, trên bàn có một cốc nước và một quyển sách. Bên trái bạn là một chiếc ghế trống'. Khi người dùng di chuyển, hệ thống sẽ liên tục cập nhật mô tả và cảnh báo về các vật cản động như người đi bộ hoặc đồ vật bị xê dịch, giúp người dùng định hướng an toàn hơn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.26067 |
| ArXiv Abstract | https://arxiv.org/abs/2604.26067 |
| PDF Download | https://arxiv.org/pdf/2604.26067.pdf |
| Github Repository | https://github.com/be2rlab/RADIO-ViPE |
3. Large Language Models Explore by Latent Distilling (67 votes)
Tác giả: Yuanhao Zeng, Ao Lu, Lufei Li, Zheng Zhang, Yexin Li, Kan Ren
Xuất bản lúc: 2026-04-27
Tag: LLMs, Decoding Strategy, Semantic Diversity, Test-Time Scaling, Exploration, Knowledge Distillation, Reasoning Models
I. Main Problem:
Các phương pháp giải mã hiện tại cho mô hình ngôn ngữ lớn (LLMs) thường tạo ra sự đa dạng về mặt từ vựng bề mặt nhưng thiếu sự đa dạng về mặt ngữ nghĩa, dẫn đến các giải pháp trùng lặp về mặt logic khi tạo nhiều mẫu. Điều này hạn chế hiệu quả của các kỹ thuật scaling ở thời điểm kiểm tra (test-time scaling) vì chúng không khám phá được các chiến lược suy luận thực sự mới.
II. Main Idea:
Bài báo đề xuất Exploratory Sampling (ESamp), một phương pháp giải mã mới khuyến khích sự đa dạng về mặt ngữ nghĩa. ESamp sử dụng một bộ chưng cất tiềm ẩn (Latent Distiller) nhẹ, được huấn luyện trực tuyến để dự đoán các biểu diễn lớp sâu từ các biểu diễn lớp nông của mô hình ngôn ngữ lớn. Sai số dự đoán được sử dụng như một tín hiệu mới lạ để điều chỉnh lại xác suất của các token, ưu tiên các token dẫn đến các vùng biểu diễn ngữ nghĩa chưa được khám phá. Phương pháp này được triển khai với một pipeline bất đồng bộ giúp giảm thiểu chi phí tính toán.
III. Main Results:
ESamp vượt trội hoặc tương đương với các phương pháp cơ sở mạnh (stochastic sampling, heuristic methods) trên các chuẩn mực toán học (AIME 2024/2025), khoa học (GPQA-Diamond) và sinh mã (LiveCodeBench). Nó đặc biệt hiệu quả với các mô hình suy luận, đạt được hiệu suất Pass@k tương đương với các phương pháp khác nhưng với ngân sách lấy mẫu thấp hơn đáng kể. ESamp cũng phá vỡ sự đánh đổi giữa tính đa dạng và tính mạch lạc trong văn bản sáng tạo. Chi phí tính toán thấp (dưới 5% overhead, trung bình 1.2% ở bản tối ưu).
IV. Conclusion & Future Works:
ESamp là một giải pháp thực tế và hiệu quả để khám phá ngữ nghĩa trong quá trình sinh văn bản của LLMs, giúp cải thiện đáng kể hiệu quả của test-time scaling. Các hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng phương pháp cho các kiến trúc mô hình khác, tối ưu hóa thêm pipeline bất đồng bộ, và khám phá các cách sử dụng tín hiệu mới lạ khác từ các biểu diễn nội bộ.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu về các tín hiệu mới lạ khác từ biểu diễn nội bộ của mô hình ngôn ngữ lớn: Khám phá việc sử dụng các lớp khác nhau hoặc kết hợp nhiều tín hiệu từ các tầng khác nhau của mô hình để tạo ra các chiến lược khám phá tinh vi hơn, thay vì chỉ dựa vào sai số giữa lớp nông và lớp sâu.
- Mở rộng ESamp cho các tác vụ đa phương thức (Vision-Language Models): Áp dụng ý tưởng chưng cất biểu diễn tiềm ẩn để khuyến khích sự đa dạng trong sinh ảnh, video hoặc mô tả hình ảnh, nơi sự đa dạng về mặt ngữ nghĩa đóng vai trò quan trọng.
- Phân tích lý thuyết về cơ chế khám phá của ESamp: Xây dựng các nền tảng lý thuyết vững chắc hơn để giải thích tại sao và làm thế nào việc dự đoán biểu diễn tiềm ẩn lại dẫn đến sự đa dạng ngữ nghĩa, có thể thông qua lăng kính của lý thuyết thông tin hoặc học tăng cường.
2. Patent:
- Phương pháp và hệ thống tạo nội dung sáng tạo trên thiết bị di động: Một ứng dụng trên điện thoại thông minh sử dụng ESamp để giúp người dùng viết truyện, thơ hoặc kịch bản. Khi người dùng nhập một vài câu mở đầu, ứng dụng sẽ tạo ra nhiều đoạn tiếp theo khác nhau về mặt ý tưởng và phong cách, giúp người dùng có nhiều lựa chọn sáng tạo hơn mà không bị lặp ý.
- Hệ thống gợi ý giải pháp đa dạng cho các bài toán suy luận trên điện thoại: Một ứng dụng học tập hoặc giải đố trên điện thoại, khi người dùng gặp một bài toán khó (ví dụ: toán, logic), ứng dụng sẽ sử dụng ESamp để tạo ra nhiều cách giải khác nhau. Điều này không chỉ giúp người dùng tìm ra đáp án mà còn học được nhiều phương pháp tiếp cận vấn đề khác nhau.
- Phương pháp cải thiện chatbot hỗ trợ khách hàng trên di động: Một chatbot trên điện thoại được huấn luyện để trả lời các câu hỏi của khách hàng. Khi gặp một câu hỏi phức tạp, chatbot sử dụng ESamp để tạo ra nhiều câu trả lời tiềm năng với các góc nhìn khác nhau. Hệ thống sau đó sẽ chọn ra câu trả lời toàn diện và hữu ích nhất, giúp giải quyết vấn đề của khách hàng một cách triệt để hơn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.24927 |
| ArXiv Abstract | https://arxiv.org/abs/2604.24927 |
| PDF Download | https://arxiv.org/pdf/2604.24927.pdf |
| Github Repository | https://github.com/LinesHogan/tLLM |
4. ClawGym: A Scalable Framework for Building Effective Claw Agents (47 votes)
Tác giả: Fei Bai, Huatong Song, Shuang Sun, Daixuan Cheng, Yike Yang, Chuan Hao, Renyuan Li, Feng Chang, Yuan Wei, Ran Tao, Bryan Dai, Jian Yang, Wayne Xin Zhao
Xuất bản lúc: 2026-04-29
Tag: LLMs, Agent Framework, Data Synthesis, Reinforcement Learning, Supervised Fine-Tuning
I. Main Problem:
Các hệ thống agent tự động hiện tại, dù được hỗ trợ bởi các mô hình ngôn ngữ lớn (LLM) tiên tiến nhất, vẫn gặp khó khăn trong việc xử lý đáng tin cậy các tác vụ kỹ thuật số hàng ngày trong môi trường Claw-style (môi trường làm việc đa bước trên file, công cụ và không gian làm việc cục bộ). Vấn đề chính là thiếu một khung làm việc có hệ thống để tổng hợp dữ liệu huấn luyện có thể kiểm chứng, tích hợp dữ liệu đó với quá trình huấn luyện agent, và xây dựng các bài đánh giá chẩn đoán. Các nghiên cứu hiện tại bị hạn chế do thiếu dữ liệu tác vụ Claw-style quy mô lớn, vì các tác vụ này có tính cá nhân hóa cao, thời gian dài, và gắn với không gian làm việc cục bộ, gây khó khăn cho việc tổng hợp và xác minh tự động.
II. Main Idea:
Tác giả đề xuất ClawGym, một khung làm việc có khả năng mở rộng, tập trung vào dữ liệu, hỗ trợ toàn bộ vòng đời phát triển agent Claw-style. Khung này bao gồm ba thành phần chính:
- ClawGym-SynData: Một bộ dữ liệu tổng hợp quy mô lớn (13.5K tác vụ) được xây dựng thông qua hai pipeline tổng hợp song song:
- Persona-driven top-down: Tạo tác vụ từ hồ sơ người dùng, danh mục kịch bản và tập thao tác nguyên tử.
- Skill-grounded bottom-up: Kết hợp các kỹ năng có sẵn từ OpenClaw thành các quy trình làm việc đa bước thực tế.
- ClawGym-Agents: Một họ mô hình agent được huấn luyện bằng cách thu thập các quỹ đạo tương tác chất lượng cao thông qua các rollout hộp đen trên OpenClaw, sau đó tinh chỉnh có giám sát (SFT) và khám phá học tăng cường (RL) với pipeline song song hóa sandbox nhẹ.
- ClawGym-Bench: Một bộ đánh giá gồm 200 tác vụ được chọn lọc kỹ lưỡng qua quy trình hiệu chuẩn độ khó dựa trên rollout và đánh giá của con người và LLM, đảm bảo độ tin cậy.
III. Main Results:
Khi đánh giá trên ClawGym-Bench và PinchBench, các LLM nhỏ hơn được huấn luyện trên dữ liệu tổng hợp của ClawGym đã cải thiện đáng kể hiệu suất thực hiện tác vụ OpenClaw:
- Qwen3-8B cải thiện 38.90% trên PinchBench và 43.46% trên ClawGym-Bench.
- Qwen3-30B-A3B cải thiện 54.68% trên PinchBench và 25.96% trên ClawGym-Bench. Các kết quả này cho thấy khả năng mở rộng và hiệu quả của khung làm việc ClawGym trong việc nâng cao năng lực của các agent Claw-style.
IV. Conclusion & Future Works:
ClawGym cung cấp một khung làm việc có khả năng mở rộng, tích hợp tổng hợp dữ liệu, huấn luyện agent và đánh giá hiệu suất, mở ra hướng nghiên cứu mới cho các agent gắn với môi trường làm việc. Trong tương lai, công việc có thể tập trung vào:
- Đánh giá chi tiết hơn về độ an toàn, hiệu quả và khả năng phục hồi lỗi của các hành động trung gian.
- Mở rộng khung làm việc cho các môi trường và loại tác vụ phức tạp hơn.
- Cải thiện hơn nữa các pipeline tổng hợp dữ liệu và huấn luyện để đạt được hiệu suất cao hơn.
V. Brainstorming Space:
1. Publish Papers:
- Nâng cao chất lượng tổng hợp dữ liệu cho Agent: Nghiên cứu các phương pháp tổng hợp dữ liệu mới, chẳng hạn như kết hợp sinh dữ liệu đa phương thức (văn bản, hình ảnh, âm thanh) hoặc sử dụng mô hình ngôn ngữ lớn để tạo ra các tác vụ có độ khó và tính đa dạng cao hơn, nhằm cải thiện khả năng tổng quát hóa của agent.
- Huấn luyện Agent với Học Tăng Cường từ Phản hồi của Môi trường: Khám phá các thuật toán học tăng cường tiên tiến hơn, như PPO hoặc các phương pháp học dựa trên phần thưởng thưa thớt, để huấn luyện agent trong môi trường Claw-style. Nghiên cứu cách thiết kế hàm phần thưởng hiệu quả từ các tín hiệu kiểm chứng lai (code-based và rubric-based).
- Xây dựng Bộ Đánh giá Toàn diện cho Agent Claw-style: Phát triển một bộ đánh giá mới với nhiều tác vụ hơn, bao gồm cả các tác vụ yêu cầu suy luận đa bước phức tạp và tương tác với nhiều ứng dụng khác nhau. Tích hợp các chỉ số đánh giá về hiệu quả, độ an toàn và khả năng phục hồi lỗi của agent.
2. Patent:
- Phương pháp và hệ thống tạo tác vụ cá nhân hóa cho trợ lý ảo trên thiết bị di động: Hệ thống này sử dụng hồ sơ người dùng (ví dụ: nghề nghiệp, thói quen, sở thích) để tự động tạo ra các tác vụ hàng ngày cho trợ lý ảo, như sắp xếp lịch họp, tìm kiếm thông tin du lịch, hoặc quản lý file ảnh. Các tác vụ được tạo ra có thể kiểm chứng tự động, giúp trợ lý ảo học hỏi và cải thiện hiệu suất theo thời gian.
- Hệ thống kiểm chứng lai cho các tác vụ đa bước trên thiết bị di động: Phát minh này kết hợp kiểm tra mã (code-based) và kiểm tra theo tiêu chí (rubric-based) để đánh giá xem trợ lý ảo trên điện thoại có hoàn thành đúng một tác vụ phức tạp hay không. Ví dụ, khi người dùng yêu cầu tạo một báo cáo chi tiêu, hệ thống sẽ kiểm tra xem file báo cáo có đúng định dạng không (code-based) và nội dung có rõ ràng, đầy đủ không (rubric-based).
- Phương pháp huấn luyện trợ lý ảo trên thiết bị di động bằng cách mô phỏng tác vụ trong môi trường sandbox: Phát minh này cho phép huấn luyện trợ lý ảo trên điện thoại thông minh bằng cách tạo ra một môi trường sandbox (hộp cát) an toàn, nơi trợ lý có thể thực hiện các tác vụ mô phỏng (ví dụ: sắp xếp file, gửi tin nhắn mẫu) mà không ảnh hưởng đến dữ liệu thật của người dùng. Quá trình này giúp trợ lý học cách xử lý các tình huống phức tạp và cải thiện độ chính xác.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.26904 |
| ArXiv Abstract | https://arxiv.org/abs/2604.26904 |
| PDF Download | https://arxiv.org/pdf/2604.26904.pdf |
| Github Repository | N/A |
5. Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models (44 votes)
Tác giả: Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan
Xuất bản lúc: 2026-04-29
Tag: Diffusion Language Models, Knowledge Distillation, Cross-Architecture Distillation, LLMs, Code Generation
I. Main Problem:
Các mô hình ngôn ngữ khuếch tán (dLLM) hiện đại yêu cầu hàng tỷ tham số để đạt hiệu suất cạnh tranh, gây khó khăn cho việc triển khai. Các phương pháp distillation hiện tại chỉ hoạt động trong cùng một kiến trúc, không giải quyết được vấn đề chuyển giao kiến thức giữa các kiến trúc khác nhau (khác biệt về kiến trúc mô hình, cơ chế attention và tokenizer).
II. Main Idea:
Tác giả đề xuất TIDE, framework đầu tiên cho cross-architecture dLLM distillation, gồm ba thành phần mô-đun: (1) TIDAL giúp điều chỉnh cường độ distillation dựa trên tiến trình huấn luyện và bước thời gian khuếch tán; (2) COMPDEMO làm giàu ngữ cảnh cho teacher bằng cách chia mask bổ sung; (3) Reverse CALM là hàm mục tiêu cross-tokenizer giúp ánh xạ kiến thức giữa các tokenizer khác nhau.
III. Main Results:
Distillation từ teacher 8B dense và 16B MoE thành student 0.6B cải thiện baseline trung bình 1.53 điểm trên 8 benchmark, đặc biệt nổi bật ở code generation (HumanEval đạt 48.78 so với 32.3 của AR baseline). Student chỉ cần 1.4 GB bộ nhớ (giảm 22 lần so với teacher) và nhanh hơn 5 lần khi suy luận.
IV. Conclusion & Future Works:
TIDE chứng minh cross-architecture distillation hiệu quả cho dLLM, mỗi pipeline ưu tiên chiến lược riêng (Reverse CALM cho cross-tokenizer, TIDAL + COMPDEMO cho shared-tokenizer). Hướng phát triển tương lai bao gồm mở rộng dung lượng student và áp dụng cho diffusion LM trạng thái liên tục.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng TIDE cho các mô hình khuếch tán trạng thái liên tục (continuous-state diffusion LMs) để kiểm tra tính khả dụng trên nhiều loại dữ liệu hơn.
- Nghiên cứu tăng dung lượng student (ví dụ từ 0.6B lên 1.5B hoặc 3B) để xem liệu distillation có hiệu quả hơn khi student có thêm tham số hay không.
- Áp dụng TIDE vào các tác vụ đa ngôn ngữ hoặc miền chuyên biệt (y tế, pháp lý) để đánh giá khả năng tổng quát hóa của framework.
2. Patent:
- Phương pháp nén mô hình ngôn ngữ khuếch tán trên điện thoại thông minh: Sử dụng TIDE để giảm kích thước mô hình từ hàng chục GB xuống dưới 2 GB, cho phép chạy các trợ lý ảo thông minh (như viết email, tóm tắt văn bản) trực tiếp trên thiết bị mà không cần kết nối mạng.
- Hệ thống sinh mã nguồn song song trên thiết bị di động: Tận dụng khả năng sinh song song của dLLM đã được distillation để tạo ra các đoạn code hoàn chỉnh từ mô tả bằng ngôn ngữ tự nhiên, giúp lập trình viên chỉnh sửa code nhanh chóng ngay trên điện thoại.
- Công cụ dịch thuật đa ngữ hiệu quả trên điện thoại: Áp dụng TIDE để nén mô hình dịch máy dạng khuếch tán, cho phép dịch văn bản dài với chất lượng cao và độ trễ thấp, đồng thời tiết kiệm pin và bộ nhớ so với các mô hình autoregressive truyền thống.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.26951 |
| ArXiv Abstract | https://arxiv.org/abs/2604.26951 |
| PDF Download | https://arxiv.org/pdf/2604.26951.pdf |
| Github Repository | https://github.com/PKU-YuanGroup/TIDE |
6. Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding (11 votes)
Tác giả: Hayate Iso, Tiyasa Mitra, Sudipta Mondal, Rasoul Shafipour, Venmugil Elango, Terry Kong, Yuki Huang, Seonjin Na, Izzy Putterman, Benjamin Chislett, Maor Ashkenazi, Joseph Guman, Gerald Shen, Tugrul Konuk, Ashwath Aithal, Ritika Borkar, Ran Zilberstein, Bita Rouhani
Xuất bản lúc: 2026-04-29
Tag: Speculative Decoding, Reinforcement Learning, LLMs, RL Post-Training, EAGLE-3, NeMo, vLLM
I. Main Problem:
Quá trình RL post-training cho các mô hình ngôn ngữ lớn (LLMs) bị chậm đáng kể do bước sinh rollout (rollout generation) theo cơ chế tự hồi quy (autoregressive). Đây là nút thắt cổ chai về mặt hệ thống, đặc biệt trong các tác vụ suy luận và tác nhân (agentic), nơi chi phí sinh token là rất lớn. Các phương pháp tăng tốc hiện tại như thực thi bất đồng bộ, phát lại off-policy, hay sinh độ chính xác thấp thường làm thay đổi phân phối đầu ra hoặc ngữ nghĩa tối ưu hóa, dẫn đến giảm hiệu quả học tập.
II. Main Idea:
Bài báo đề xuất tích hợp kỹ thuật Speculative Decoding (giải mã suy diễn) như một phương pháp tăng tốc không làm mất mát (lossless acceleration) cho quá trình sinh rollout trong RL post-training. Cụ thể, một mô hình draft (draft model) đề xuất nhiều token cùng lúc, và mô hình đích (target model) xác thực chúng thông qua một quy trình từ chối (rejection procedure) để đảm bảo phân phối đầu ra được bảo toàn. Hệ thống được tích hợp vào NeMo RL với backend vLLM, hỗ trợ cả pipeline đồng bộ và bất đồng bộ, sử dụng cơ chế draft EAGLE-3 hoặc các đầu MTP (Multi-Token Prediction) có sẵn. Trọng số được đồng bộ hóa giữa learner và rollout engine, và có tùy chọn thích ứng draft trực tuyến (online draft adaptation) để duy trì sự liên kết với policy đang thay đổi.
III. Main Results:
Trên khối lượng công việc suy luận ở quy mô 8B với RL đồng bộ, EAGLE-3 cải thiện thông lượng rollout lên 1.8 lần (từ 100.0s xuống 56.6s trên RL-Zero) và tăng tốc tổng thể bước RL lên 1.41 lần. Trong mô phỏng triển khai ở quy mô lớn (235B, 2048 GPU), kết hợp speculative decoding với RL bất đồng bộ có thể đạt được tốc độ huấn luyện tổng thể nhanh hơn tới 2.5 lần. Các thí nghiệm cũng chỉ ra rằng việc khởi tạo draft trong miền (in-domain) và chọn độ dài draft tối ưu (k=3) là rất quan trọng để đạt được hiệu quả tối đa.
IV. Conclusion & Future Works:
Speculative decoding là một phương pháp tăng tốc rollout hiệu quả và không làm thay đổi phân phối, có thể được tích hợp vào các framework RL hiện có. Các hướng nghiên cứu trong tương lai có thể bao gồm việc tối ưu hóa cơ chế draft cho các mô hình lớn hơn, khám phá sự kết hợp với các kỹ thuật tăng tốc khác, và mở rộng sang các tác vụ RL phức tạp hơn như agentic RL.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu về các chiến lược thích ứng draft (draft adaptation) trong quá trình RL post-training, tập trung vào việc giảm chi phí đồng bộ hóa và cập nhật draft model một cách hiệu quả khi policy thay đổi nhanh chóng.
- Phát triển các phương pháp speculative decoding mới được thiết kế riêng cho các tác vụ RL đa tác nhân (multi-agent RL), nơi nhiều mô hình tương tác và sinh rollout đồng thời, nhằm tối ưu hóa thông lượng tổng thể.
- Khám phá việc kết hợp speculative decoding với các kỹ thuật tối ưu hóa bộ nhớ đệm (cache optimization) và lập lịch tác vụ (task scheduling) để giảm thiểu độ trễ trong các hệ thống RL phân tán quy mô lớn, đặc biệt là khi sử dụng các mô hình có kích thước tham số lớn.
2. Patent:
- Phương pháp và hệ thống tăng tốc suy luận cho trợ lý ảo trên điện thoại thông minh: Sử dụng một mô hình ngôn ngữ nhỏ (draft model) được huấn luyện sẵn trên thiết bị để dự đoán nhanh các câu trả lời tiềm năng. Mô hình lớn hơn trên đám mây chỉ xác thực và tinh chỉnh các câu trả lời này, giúp giảm độ trễ và tiết kiệm năng lượng khi người dùng tương tác với trợ lý ảo.
- Ứng dụng tạo nội dung sáng tạo theo thời gian thực trên thiết bị di động: Khi người dùng sử dụng ứng dụng chỉnh sửa ảnh hoặc video, một mô hình draft nhẹ sẽ đề xuất các hiệu ứng hoặc bộ lọc tiếp theo. Mô hình chính sẽ chỉ xác nhận và áp dụng các đề xuất đó, giúp quá trình chỉnh sửa diễn ra mượt mà và nhanh chóng mà không cần tải toàn bộ mô hình lớn.
- Hệ thống gợi ý văn bản thông minh cho bàn phím ảo trên điện thoại: Kết hợp một mô hình dự đoán từ nhỏ (draft model) chạy cục bộ để đề xuất các từ hoặc cụm từ tiếp theo. Mô hình ngôn ngữ lớn hơn trên thiết bị hoặc đám mây sẽ xác thực các đề xuất này, đảm bảo độ chính xác và ngữ cảnh phù hợp, giúp người dùng soạn thảo văn bản nhanh hơn và giảm thiểu lỗi gõ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.26779 |
| ArXiv Abstract | https://arxiv.org/abs/2604.26779 |
| PDF Download | https://arxiv.org/pdf/2604.26779.pdf |
| Github Repository | N/A |
7. Diffusion Templates: A Unified Plugin Framework for Controllable Diffusion (10 votes)
Tác giả: Zhongjie Duan, Hong Zhang, Yingda Chen
Xuất bản lúc: 2026-04-27
Tag: Diffusion Models, Controllable Generation, Plugin Framework, KV-Cache, LoRA
I. Main Problem:
Các phương pháp điều khiển khuếch tán hiện tại thường được phát triển như các hệ thống riêng lẻ, phụ thuộc vào kiến trúc backbone cụ thể, với các pipeline huấn luyện, định dạng tham số và hook runtime không tương thích. Sự phân mảnh này gây khó khăn trong việc tái sử dụng cơ sở hạ tầng giữa các tác vụ, chuyển giao khả năng giữa các backbone, hoặc kết hợp nhiều điều khiển trong một pipeline sinh duy nhất.
II. Main Idea:
Bài báo đề xuất Diffusion Templates, một framework plugin thống nhất và mở, tách biệt suy luận mô hình nền khỏi việc tiêm khả năng điều khiển. Framework gồm ba thành phần chính: (1) Template model: ánh xạ đầu vào tác vụ cụ thể thành biểu diễn khả năng trung gian gọi là Template cache; (2) Template cache: giao diện chuẩn hóa để tiêm khả năng, có thể được hiện thực hóa qua KV-Cache, LoRA hoặc các dạng khác; (3) Template pipeline: tải, hợp nhất và tiêm một hoặc nhiều Template cache vào quá trình sinh của mô hình nền. Thiết kế này cho phép các khả năng điều khiển khác nhau (cấu trúc, độ sáng, màu sắc, chỉnh sửa ảnh, siêu phân giải...) hoạt động như các plugin độc lập, có thể tái sử dụng và kết hợp linh hoạt.
III. Main Results:
Bài báo xây dựng và công bố một bộ sưu tập đa dạng các Template model bao gồm: điều khiển cấu trúc (depth, outline, human pose, normal maps), điều chỉnh độ sáng, điều chỉnh màu sắc, chỉnh sửa ảnh (tăng tốc 1.8 lần), siêu phân giải, tăng cường độ nét, căn chỉnh thẩm mỹ, tham chiếu nội dung, inpainting cục bộ và điều khiển độ tuổi. Các kết quả cho thấy Diffusion Templates có thể thống nhất nhiều tác vụ sinh có điều khiển khác nhau trong khi vẫn duy trì tính mô-đun, khả năng kết hợp và mở rộng thực tế.
IV. Conclusion & Future Works:
Diffusion Templates cung cấp một giải pháp plugin thống nhất cho các mô hình khuếch tán có điều khiển, giải quyết vấn đề phân mảnh hiện tại. Framework này mở ra hướng phát triển các khả năng điều khiển như các plugin có thể tái sử dụng, giúp dễ dàng huấn luyện, kết hợp và bảo trì. Hướng nghiên cứu tương lai có thể bao gồm mở rộng framework cho các backbone mới, hỗ trợ thêm các loại Template cache khác, và phát triển các Template model phức tạp hơn cho các tác vụ như căn chỉnh theo sở thích con người.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Diffusion Templates cho Video Generation: Nghiên cứu cách áp dụng framework Diffusion Templates cho các mô hình sinh video, giải quyết các thách thức về tính nhất quán thời gian và hiệu suất khi kết hợp nhiều điều khiển trên các khung hình.
- Tối ưu hóa Template Cache với Kiến trúc Mới: Khám phá các dạng biểu diễn Template cache mới ngoài KV-Cache và LoRA, ví dụ như các bộ nhớ có cấu trúc hoặc các không gian tiềm ẩn có thể học được, để tăng cường khả năng biểu diễn và hiệu quả của các plugin điều khiển.
- Học Cộng tác Đa Tác vụ cho Template Model: Phát triển các phương pháp huấn luyện cho phép một Template model duy nhất học nhiều khả năng điều khiển khác nhau (ví dụ: vừa điều khiển cấu trúc vừa điều chỉnh màu sắc) thông qua các đầu vào có điều kiện, giảm số lượng mô hình cần quản lý.
2. Patent:
- Phương pháp và hệ thống tạo ảnh chân dung có điều khiển trên điện thoại di động: Sử dụng framework Diffusion Templates để tạo ra các plugin nhẹ cho phép người dùng điều chỉnh các thuộc tính khuôn mặt như độ tuổi, biểu cảm, hoặc kiểu tóc trên điện thoại thông minh. Plugin này nhận đầu vào là ảnh gốc và các thanh trượt điều chỉnh, tạo ra ảnh đầu ra với các thay đổi mong muốn một cách tự nhiên và nhanh chóng.
- Ứng dụng chỉnh sửa ảnh tức thì với nhiều hiệu ứng kết hợp: Một ứng dụng di động cho phép người dùng áp dụng đồng thời nhiều hiệu ứng ảnh như thay đổi độ sáng, màu sắc, độ nét và phong cách nghệ thuật lên ảnh chụp. Mỗi hiệu ứng là một Template model độc lập, người dùng có thể bật/tắt và điều chỉnh cường độ của từng hiệu ứng một cách trực quan mà không cần kiến thức kỹ thuật.
- Hệ thống tạo nội dung quảng cáo cá nhân hóa trên thiết bị di động: Một hệ thống sử dụng Diffusion Templates để tạo ra các hình ảnh quảng cáo được cá nhân hóa dựa trên sở thích của người dùng. Hệ thống này có thể kết hợp các plugin điều khiển khác nhau như plugin tham chiếu sản phẩm (giữ nguyên hình dạng sản phẩm), plugin điều chỉnh phong cách (phù hợp với gu thẩm mỹ của người dùng) và plugin điều chỉnh bố cục để tạo ra các quảng cáo độc đáo và hấp dẫn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.24351 |
| ArXiv Abstract | https://arxiv.org/abs/2604.24351 |
| PDF Download | https://arxiv.org/pdf/2604.24351.pdf |
| Github Repository | N/A |