🤗 Daily Hugging Face Paper Digest - 2026-05-08

Báo cáo được tạo tự động vào lúc 2026-05-09 10:41:00 bằng mô hình deepseek-ai/deepseek-v4-pro.

📰 Summary of Papers

1. Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning (56 votes)

Tác giả: Yaorui Shi, Yuxin Chen, Zhengxi Lu, Yuchun Miao, Shugui Liu, Qi GU, Xunliang Cai, Xiang Wang, An Zhang

Xuất bản lúc: 2026-05-07

Tag: Reinforcement Learning, LLM Agents, Skill Library, GRPO, Credit Assignment, Co-evolution

I. Main Problem:

Các tác nhân ngôn ngữ lớn (LLM Agents) thường giải quyết các nhiệm vụ một cách biệt lập, không có khả năng tái sử dụng các chiến lược đã thành công trước đó. Các phương pháp hiện có sử dụng thư viện kỹ năng (skill library) để lưu trữ chiến lược, nhưng việc tối ưu hóa ba khả năng cốt lõi là lựa chọn kỹ năng (selection), sử dụng kỹ năng (utilization), và chắt lọc kỹ năng (distillation) thường được thực hiện một cách cô lập hoặc với các tín hiệu phần thưởng khác nhau. Điều này dẫn đến sự phát triển không đồng bộ và thậm chí xung đột lẫn nhau giữa các khả năng, gây ra tắc nghẽn hiệu suất và ngăn cản tác nhân đạt được sự tiến hóa toàn diện.

II. Main Idea:

Đề xuất khuôn khổ Skill1, huấn luyện một chính sách duy nhất để cùng tiến hóa đồng thời ba khả năng lựa chọn, sử dụng và chắt lọc kỹ năng hướng tới một mục tiêu chung là kết quả nhiệm vụ. Thay vì sử dụng các phần thưởng phụ trợ, Skill1 phân tách tín hiệu kết quả nhiệm vụ duy nhất thành hai thành phần: xu hướng tần số thấp (low-frequency trend) để đánh giá chất lượng dài hạn của kỹ năng (gán tín nhiệm cho việc lựa chọn và xếp hạng lại kỹ năng), và biến động tần số cao (high-frequency variation) để đo lường mức độ cải thiện của kỹ năng mới so với thư viện hiện có (gán tín nhiệm cho việc chắt lọc kỹ năng). Toàn bộ quy trình từ tạo truy vấn tìm kiếm, xếp hạng lại ứng viên, hành động dựa trên kỹ năng đến chắt lọc kỹ năng mới đều được tối ưu hóa thông qua một bước cập nhật gradient duy nhất.

III. Main Results:

Trên môi trường ALFWorld, Skill1 đạt tỷ lệ thành công trung bình 97.5% , vượt qua tất cả các mô hình nền tảng khác, bao gồm các phương pháp RL không dùng kỹ năng (GiGPO: 90.8%) và RL có dùng kỹ năng (RetroAgent: 94.9%).
Trên WebShop, Skill1 cũng đạt hiệu suất cao nhất với tỷ lệ thành công 82.9% và điểm số 89.7.
Phân tích động lực huấn luyện cho thấy ba khả năng (lựa chọn, sử dụng, chắt lọc) cải thiện đồng thời và củng cố lẫn nhau dưới tín hiệu chung.
Nghiên cứu cắt bỏ (ablation) chứng minh rằng việc loại bỏ bất kỳ tín hiệu tín nhiệm nào (cho lựa chọn hoặc chắt lọc) đều làm suy giảm hiệu suất của cả ba khả năng, xác nhận sự phụ thuộc lẫn nhau trong quá trình tiến hóa.
Thư viện kỹ năng của Skill1 kích hoạt một tập hợp kỹ năng đa dạng hơn, trải rộng trên không gian chiến lược, thay vì chỉ tập trung vào một vài kỹ năng thống trị.

IV. Conclusion & Future Works:

Skill1 cung cấp một khuôn khổ thống nhất cho phép tác nhân LLM tự động phát triển và tái sử dụng kỹ năng, giải quyết vấn đề tối ưu hóa rời rạc trước đây bằng cách phân tách tín hiệu phần thưởng duy nhất. Các thí nghiệm xác nhận tính hiệu quả và sự đồng tiến hóa của các khả năng. Tuy nhiên, nghiên cứu mới chỉ giới hạn ở môi trường văn bản và kích thước thư viện cố định. Các hướng nghiên cứu trong tương lai bao gồm: mở rộng khuôn khổ sang môi trường có quan sát hình ảnh hoặc các tác vụ tìm kiếm sâu phức tạp hơn, và phát triển các chiến lược tổ chức thư viện phân cấp hoặc thu hồi thông minh hơn để xử lý lượng kỹ năng khổng lồ mà không gây tắc nghẽn.

V. Brainstorming Space:

1. Publish Papers:

Phát triển khuôn khổ Skill1 cho các môi trường đa phương thức (ví dụ: vừa có văn bản vừa có hình ảnh) bằng cách mở rộng bộ mã hóa kỹ năng và tín hiệu tín nhiệm để xử lý đầu vào thị giác, cho phép tác nhân thao tác trong thế giới ảo 3D hoặc trên giao diện website thực tế.
Nghiên cứu cơ chế quản lý thư viện kỹ năng động thích ứng với dung lượng không giới hạn, sử dụng các kỹ thuật phân cụm và tổ chức phân cấp để tự động hợp nhất các kỹ năng tương tự và truy xuất hiệu quả trong không gian kỹ năng lên đến hàng triệu mục, giải quyết bài toán về khả năng mở rộng.
Ứng dụng ý tưởng đồng tiến hóa đa mục tiêu của Skill1 vào lĩnh vực robotics, nơi các kỹ năng vận động cơ bản có thể được chắt lọc và kết hợp để giải quyết các nhiệm vụ thao tác phức tạp, với tín hiệu tín nhiệm được phân tách từ phần thưởng thành công của nhiệm vụ thực tế.

2. Patent:

Hệ thống trợ lý ảo trên điện thoại thông minh có khả năng tự động xây dựng và tái sử dụng thư viện kỹ năng cá nhân hóa. Khi người dùng thực hiện một chuỗi thao tác mới (ví dụ: đặt đồ ăn, đặt vé xem phim), trợ lý sẽ tự động chắt lọc các bước thành công thành một kỹ năng mới. Ở lần sau, chỉ cần một câu lệnh ngắn gọn, trợ lý sẽ chọn đúng kỹ năng và thực thi toàn bộ quy trình mà không cần hướng dẫn lại từ đầu, giúp tiết kiệm thời gian và công sức cho người dùng.
Công cụ tự động hóa kiểm thử phần mềm trên nền tảng di động sử dụng cơ chế đồng tiến hóa kỹ năng. Công cụ này tự động khám phá giao diện ứng dụng, ghi nhận các đường dẫn thao tác thành công (ví dụ: đăng nhập, thêm vào giỏ hàng, thanh toán) như các kỹ năng. Sau đó, nó có thể thông minh kết hợp và sắp xếp lại các kỹ năng này để tạo ra các kịch bản kiểm thử mới, đồng thời liên tục cập nhật thư viện kỹ năng khi giao diện ứng dụng thay đổi, giúp phát hiện lỗi nhanh chóng và hiệu quả hơn.
Phương pháp cá nhân hóa trải nghiệm chơi game trên điện thoại bằng cách xây dựng một thư viện chiến thuật thích ứng cho người chơi. Hệ thống AI trong game sẽ quan sát cách người chơi vượt qua các thử thách và chắt lọc thành các 'kỹ năng' chiến thuật. Khi người chơi gặp khó khăn, hệ thống sẽ phân tích tình huống hiện tại, lựa chọn từ thư viện một kỹ năng phù hợp nhất với phong cách của họ để đưa ra gợi ý chiến thuật theo thời gian thực, giúp trải nghiệm chơi game mượt mà và bớt nản chí hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.06130
ArXiv Abstract	https://arxiv.org/abs/2605.06130
PDF Download	https://arxiv.org/pdf/2605.06130.pdf
Github Repository	N/A

2. Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction (51 votes)

Tác giả: Zhuofeng Li, Haoxiang Zhang, Cong Wei, Pan Lu, Ping Nie, Yi Lu, Yuyang Bai, Shangbin Feng, Hangxiao Zhu, Ming Zhong, Yuyu Zhang, Jianwen Xie, Yejin Choi, James Zou, Jiawei Han, Wenhu Chen, Jimmy Lin, Dongfu Jiang, Yu Zhang

Xuất bản lúc: 2026-05-03

Tag: Agentic Search, Retrieval-Augmented Generation, Direct Corpus Interaction, LLMs, CLI Agents, Information Retrieval

I. Main Problem:

Các hệ thống truy xuất thông tin hiện đại, dù dùng phương pháp từ vựng hay ngữ nghĩa, đều giới hạn quyền truy cập vào kho ngữ liệu thông qua một giao diện tương đồng cố định (top-k). Đối với các tác vụ tìm kiếm phức tạp, đa bước (agentic search), giao diện này trở thành nút thắt cổ chai vì nó không hỗ trợ tốt các thao tác như ràng buộc từ vựng chính xác, kết hợp manh mối thưa thớt, kiểm tra ngữ cảnh cục bộ hoặc tinh chỉnh giả thuyết đa bước. Bằng chứng bị lọc bỏ ở bước truy xuất ban đầu không thể được khôi phục bởi các mô hình suy luận mạnh mẽ hơn ở phía sau.

II. Main Idea:

Bài báo đề xuất phương pháp Tương tác Trực tiếp với Kho ngữ liệu (Direct Corpus Interaction - DCI) . Thay vì gọi một bộ truy xuất ngữ nghĩa thông thường, tác nhân (agent) sẽ tìm kiếm trực tiếp trên kho ngữ liệu thô bằng các công cụ dòng lệnh đa năng (như grep, find, bash, đọc file). Cách tiếp cận này loại bỏ hoàn toàn mô hình nhúng, chỉ mục vector hay API truy xuất, cho phép tác nhân tự do kết hợp các lệnh tìm kiếm chính xác, kiểm tra cục bộ và tinh chỉnh lặp đi lặp lại. Tác giả giới thiệu khái niệm "độ phân giải giao diện truy xuất" (retrieval interface resolution) để giải thích hiệu quả của DCI, nhấn mạnh rằng khả năng thao tác trên các đơn vị nhỏ hơn và chính xác hơn toàn bộ tài liệu là chìa khóa.

III. Main Results:

BrowseComp-Plus: Khi thay thế bộ truy xuất Qwen3-Embedding-8B bằng DCI (cùng dùng Claude Sonnet 4.6), độ chính xác tăng từ 69.0% lên 80.0% (+11.0 điểm) và chi phí giảm 29.4%.
Multi-hop QA: DCI-Agent-CC đạt độ chính xác trung bình 83.0%, vượt qua mô hình truy xuất tốt nhất (ASearcher-Local-14B) tới 30.7 điểm.
IR Ranking: DCI-Agent-CC đạt NDCG@10 trung bình 68.5, vượt qua mô hình truy xuất tốt nhất (ReasonRank-32B) 21.5 điểm.
Phân tích cơ chế: Lợi thế của DCI không đến từ việc truy xuất được nhiều tài liệu vàng hơn, mà từ khả năng khai thác sâu và chính xác hơn các bằng chứng trong tài liệu đã tìm thấy (điểm localization cao hơn hẳn: 48.4 so với 21.7).

IV. Conclusion & Future Works:

DCI không chỉ là một cách tiếp cận truy xuất khác, mà là bằng chứng cho thấy việc truy xuất cho các tác nhân thông minh nên được định hình lại như một bài toán thiết kế giao diện, nơi độ chi tiết của giao diện quyết định những gì tác nhân có thể quan sát và hành động. DCI hoạt động hiệu quả trên các kho ngữ liệu vừa và nhỏ, nhưng chi phí tăng mạnh khi kích thước kho ngữ liệu tăng lên, cho thấy cần có các nghiên cứu sâu hơn về khả năng mở rộng. Các hướng phát triển trong tương lai bao gồm: kết hợp DCI với các kỹ thuật lập chỉ mục lai để mở rộng quy mô, tối ưu hóa chiến lược quản lý ngữ cảnh trong thời gian chạy, và khám phá các giao diện tương tác mới cho phép tác nhân thực hiện các thao tác tìm kiếm và suy luận phức tạp hơn trên dữ liệu phi cấu trúc.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu phương pháp kết hợp DCI với tìm kiếm ngữ nghĩa truyền thống (hybrid DCI) để tận dụng ưu điểm của cả hai: dùng tìm kiếm ngữ nghĩa để định vị nhanh cụm tài liệu tiềm năng trong kho ngữ liệu lớn, sau đó chuyển sang DCI để khai thác chính xác và suy luận đa bước trên tập đã thu hẹp.
Phát triển các chiến lược quản lý bối cảnh thông minh hơn cho DCI, sử dụng chính mô hình ngôn ngữ để tự động quyết định khi nào nên cắt bớt, nén hoặc tóm tắt lịch sử công cụ, nhằm tối ưu hóa việc sử dụng cửa sổ ngữ cảnh mà không làm mất thông tin quan trọng.
Khám phá không gian thiết kế giao diện truy xuất cho tác nhân: định nghĩa và đánh giá một tập hợp các toán tử nguyên thủy mới (beyond grep và bash) được thiết kế riêng cho nhu cầu suy luận đa bước và kiểm tra giả thuyết của các tác nhân ngôn ngữ.

2. Patent:

Hệ thống tìm kiếm tệp tin thông minh trên điện thoại: Ứng dụng sử dụng mô hình ngôn ngữ nhỏ trên thiết bị để cho phép người dùng tìm kiếm tài liệu, tin nhắn, ghi chú bằng các câu lệnh ngôn ngữ tự nhiên kết hợp ràng buộc chính xác (ví dụ: "tìm file PDF có chứa cụm từ 'hợp đồng thuê nhà' và 'điều khoản thanh toán' trong cùng một trang"). Hệ thống sẽ tự động sinh và thực thi các lệnh tìm kiếm kiểu grep, find trên hệ thống tệp mà không cần lập chỉ mục trước, sau đó tổng hợp và trình bày kết quả theo ngữ cảnh.
Trợ lý nghiên cứu di động với khả năng suy luận đa bước: Một ứng dụng cho phép người dùng đặt câu hỏi phức tạp đòi hỏi tổng hợp thông tin từ nhiều nguồn trên điện thoại (email, lịch sử duyệt web đã lưu, tệp tải về). Trợ lý sẽ tự động lập kế hoạch tìm kiếm, thực hiện các bước tìm kiếm chính xác trên dữ liệu thô, trích xuất thực thể trung gian, và kết hợp các manh mối để trả lời câu hỏi mà không cần tải lên đám mây, đảm bảo quyền riêng tư.
Công cụ gỡ lỗi và kiểm tra thông tin trên trình duyệt di động: Tiện ích mở rộng cho trình duyệt di động, cho phép người dùng chọn một đoạn văn bản trên trang web và yêu cầu mô hình ngôn ngữ trên thiết bị kiểm tra chéo thông tin đó với dữ liệu đã tải về hoặc các trang web đã truy cập trước đó. Công cụ sẽ sử dụng các lệnh tìm kiếm chính xác và kiểm tra ngữ cảnh cục bộ để xác minh tính xác thực của thông tin, phát hiện mâu thuẫn hoặc tìm nguồn gốc của một tuyên bố.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.05242
ArXiv Abstract	https://arxiv.org/abs/2605.05242
PDF Download	https://arxiv.org/pdf/2605.05242.pdf
Github Repository	https://github.com/DCI-Agent/DCI-Agent-Lite

3. Continuous Latent Diffusion Language Model (46 votes)

Tác giả: Hongcan Guo, Qinyu Zhao, Yian Zhao, Shen Nie, Rui Zhu, Qiushan Guo, Feng Wang, Tao Yang, Hengshuang Zhao, Guoqiang Wei, Yan Zeng

Xuất bản lúc: 2026-05-07

Tag: Diffusion Language Models, Latent Variable Models, Continuous Diffusion, Flow Matching, Text Generation, Non-autoregressive Generation, VAE, DiT

I. Main Problem:

Các mô hình ngôn ngữ tự hồi quy truyền thống bị giới hạn bởi thứ tự sinh văn bản từ trái sang phải cố định, dẫn đến suy luận tuần tự chậm và thiên kiến quy nạp mạnh. Các phương pháp thay thế như khuếch tán rời rạc hay liên tục vẫn gặp khó khăn trong việc đồng thời đạt được hiệu quả sinh, biểu diễn có khả năng mở rộng và mô hình hóa ngữ nghĩa toàn cục. Chúng thường khôi phục quan sát ở cấp độ token thay vì tách biệt rõ ràng tổ chức ngữ nghĩa toàn cục khỏi việc hiện thực hóa văn bản cục bộ.

II. Main Idea:

Đề xuất Cola DLM, một mô hình ngôn ngữ khuếch tán tiềm ẩn phân cấp. Ý tưởng cốt lõi là phân tách việc sinh văn bản thành hai cấp độ: (1) Mô hình hóa tiên nghiệm ngữ nghĩa toàn cục trong không gian tiềm ẩn liên tục sử dụng một mạng DiT có cơ chế nhân quả khối, và (2) Hiện thực hóa văn bản cục bộ thông qua một bộ giải mã có điều kiện. Thay vì khôi phục token, quá trình khuếch tán được sử dụng để vận chuyển tiên nghiệm tiềm ẩn. Mô hình học ánh xạ văn bản sang tiềm ẩn ổn định bằng Text VAE, sau đó học tiên nghiệm ngữ nghĩa trên không gian này, cho phép tổ chức ngữ nghĩa linh hoạt và hiệu quả hơn.

III. Main Results:

Cola DLM thể hiện hành vi mở rộng quy mô thuận lợi cho việc sinh văn bản trên các thí nghiệm với 8 tiêu chuẩn đánh giá, các đường cơ sở tự hồi quy và LLaDA được đối sánh nghiêm ngặt ở quy mô ~2B tham số, và các đường cong mở rộng lên đến khoảng 2000 EFLOPs. Các thí nghiệm thành phần xác nhận sự tồn tại của cấu trúc ngữ nghĩa toàn cục trong không gian tiềm ẩn, xác định loại không gian tiềm ẩn và quá trình khuếch tán tối ưu, đồng thời chứng minh lợi thế của mô hình hóa tiên nghiệm tiềm ẩn liên tục so với các phương pháp truyền thống.

IV. Conclusion & Future Works:

Cola DLM thiết lập mô hình hóa tiên nghiệm tiềm ẩn liên tục phân cấp như một giải pháp thay thế có nguyên tắc cho mô hình hóa ngôn ngữ ở cấp độ token thuần túy. Kết quả cho thấy chất lượng sinh và hành vi mở rộng quy mô có thể phản ánh năng lực mô hình tốt hơn so với likelihood. Công việc tương lai bao gồm: (1) Phân tích sâu hơn về sự không khớp giữa ước lượng likelihood và chất lượng sinh; (2) Cải thiện cơ chế điều kiện hóa khối đầu tiên; (3) Mở rộng mô hình sang các tác vụ đa phương thức, kết nối văn bản rời rạc với các phương thức liên tục như thị giác.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cải tiến kiến trúc Text VAE trong Cola DLM để đạt được tỷ lệ nén chuỗi cao hơn (ví dụ: nén 4x hoặc 8x) mà không làm mất mát thông tin ngữ nghĩa quan trọng, nhằm tăng tốc độ suy luận của DiT và giảm chi phí tính toán cho các mô hình ngôn ngữ lớn.
Đề xuất và đánh giá các chiến lược học đa giai đoạn mới cho Cola DLM, nơi giai đoạn tiền huấn luyện VAE và DiT có thể được đan xen hoặc đồng thời tối ưu hóa với các mục tiêu phụ trợ mới, nhằm ổn định hơn nữa quá trình huấn luyện chung và cải thiện chất lượng sinh văn bản dài.
Khám phá việc thay thế kiến trúc DiT nhân quả khối bằng các mô hình sinh liên tục khác (ví dụ: mô hình nhất quán, mô hình dòng chảy rời rạc hóa) cho phần tiên nghiệm tiềm ẩn, so sánh sự đánh đổi giữa tốc độ suy luận và chất lượng sinh, đặc biệt trong bối cảnh sinh văn bản có kiểm soát.

2. Patent:

Hệ thống soạn thảo văn bản thông minh trên điện thoại di động sử dụng Cola DLM: Người dùng nhập một dàn ý hoặc các từ khóa chính, hệ thống sẽ mã hóa chúng thành vector tiềm ẩn ngữ nghĩa toàn cục, sau đó sinh ra toàn bộ đoạn văn bản hoàn chỉnh một cách không tuần tự. Hệ thống cho phép người dùng chỉnh sửa dàn ý ở cấp độ ngữ nghĩa và ngay lập tức tái sinh văn bản mới, giúp tăng tốc quá trình viết email, ghi chú hay bài đăng mạng xã hội.
Tính năng trả lời tin nhắn theo ngữ cảnh toàn cục trên bàn phím ảo: Bàn phím thông minh sử dụng Cola DLM để phân tích toàn bộ lịch sử hội thoại, nén nó thành một biểu diễn tiềm ẩn toàn cục. Khi người dùng bắt đầu nhập một vài từ, mô hình sẽ sử dụng biểu diễn tiềm ẩn này để sinh ra các câu trả lời hoàn chỉnh, mạch lạc với toàn bộ ngữ cảnh trước đó, thay vì chỉ dựa trên một vài tin nhắn cuối cùng.
Phương pháp tìm kiếm ảnh nâng cao dựa trên mô tả ngữ nghĩa trừu tượng: Ứng dụng thư viện ảnh trên điện thoại sử dụng mô hình đa phương thức mở rộng từ Cola DLM. Người dùng có thể mô tả một cảm xúc, bầu không khí hoặc cốt truyện trừu tượng (ví dụ: "niềm vui của một chuyến đi biển cùng gia đình"), hệ thống sẽ chuyển đổi mô tả này thành vector tiềm ẩn ngữ nghĩa và tìm kiếm những bức ảnh có phân phối tiềm ẩn tương tự nhất, thay vì tìm kiếm theo đối tượng hay từ khóa cụ thể.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.06548
ArXiv Abstract	https://arxiv.org/abs/2605.06548
PDF Download	https://arxiv.org/pdf/2605.06548.pdf
Github Repository	N/A

4. MiA-Signature: Approximating Global Activation for Long-Context Understanding (41 votes)

Tác giả: Yuqing Li, Jiangnan Li, Mo Yu, Zheng Lin, Weiping Wang, Jie Zhou

Xuất bản lúc: 2026-05-07

Tag: RAG, Memory-Augmented LLMs, Long-Context Understanding, Submodular Selection, Agentic Systems, Cognitive AI

I. Main Problem:

Các hệ thống LLM hiện tại, đặc biệt là các pipeline RAG, chủ yếu truy cập bộ nhớ ngoài thông qua cơ chế truy xuất cục bộ (local retrieval). Cách tiếp cận này giả định rằng việc suy luận có thể được thực hiện chỉ với một tập nhỏ bằng chứng được truy xuất, bỏ qua thực tế rằng một truy vấn thường kích hoạt một vùng ngữ nghĩa rộng lớn hơn trong toàn bộ không gian bộ nhớ. Điều này dẫn đến sự thiếu mạch lạc và khả năng bỏ sót thông tin quan trọng khi xử lý các ngữ cảnh dài, nơi mà các bằng chứng liên quan thường phân tán và chồng chéo.

II. Main Idea:

Lấy cảm hứng từ khoa học nhận thức về hiện tượng 'global ignition' (sự kích hoạt toàn cục trong não bộ), bài báo đề xuất mô hình hóa việc truy cập bộ nhớ trong LLM thành một quy trình hai giai đoạn: (1) Kích hoạt toàn cục trên một không gian bộ nhớ ngữ nghĩa (gọi là Mindscape), và (2) Biểu diễn nén của sự kích hoạt đó. Cụ thể, nhóm tác giả giới thiệu 'MiA-Signature' (Mindscape Activation Signature), một đại diện cô đọng của toàn bộ vùng bộ nhớ được kích hoạt bởi truy vấn. Chữ ký này được xây dựng bằng cách chọn lựa dựa trên submodular một tập hợp các khái niệm cấp cao bao phủ vùng ngữ cảnh đã kích hoạt, và có thể được tinh chỉnh lặp đi lặp lại. Chữ ký này hoạt động như một tín hiệu điều kiện toàn cục, hướng dẫn quá trình truy xuất và suy luận mà không thay thế các bằng chứng cục bộ.

III. Main Results:

Việc tích hợp MiA-Signature vào cả hệ thống RAG tĩnh và hệ thống tác tử (agent) lặp đều mang lại những cải thiện nhất quán trên nhiều tác vụ hiểu ngữ cảnh dài (DetectiveQA, NarrativeQA, NovelHopQA, NoCha). Trong thiết lập RAG tĩnh, việc chỉ sử dụng MiA-Signature ở bước truy xuất (MiA-Emb) đã cải thiện Recall@10 trung bình 10.9% và hiệu suất tác vụ trung bình 3.8% so với truy xuất chỉ dùng truy vấn. Khi cung cấp chữ ký cho cả bộ truy xuất và bộ sinh (MiA-RAG), hiệu suất còn tăng thêm nữa. Trong thiết lập tác tử, MiA-Signature hoạt động như một trạng thái toàn cục ổn định, giúp quá trình tìm kiếm lặp không bị lệch hướng khi truy vấn được viết lại qua các bước. Kết quả cũng chỉ ra rằng chữ ký có giá trị nhất quán trong việc dẫn đường truy xuất, trong khi giá trị của nó ở bước sinh câu trả lời cuối cùng mang tính chọn lọc hơn, tùy thuộc vào tác vụ.

IV. Conclusion & Future Works:

Bài báo kết luận rằng việc mô hình hóa truy cập bộ nhớ như một quá trình kích hoạt toàn cục, sau đó là biểu diễn nén (MiA-Signature), là một hướng đi hiệu quả để cải thiện khả năng hiểu ngữ cảnh dài của LLM. Chữ ký này cung cấp một ngữ cảnh bộ nhớ hữu ích mà không cần thay thế bằng chứng cục bộ hay yêu cầu truy cập trực tiếp vào toàn bộ trạng thái bộ nhớ thô. Các hướng nghiên cứu tương lai có thể bao gồm: khám phá các phương pháp xây dựng chữ ký phức tạp hơn, thử nghiệm trên các kiến trúc bộ nhớ đa dạng hơn, và nghiên cứu sâu hơn về sự tương tác giữa chữ ký toàn cục và bằng chứng cục bộ trong các tác vụ suy luận phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế học để tự động xác định trọng số tối ưu giữa tín hiệu truy vấn cục bộ và tín hiệu chữ ký toàn cục (tham số α) một cách động cho từng bước truy xuất, thay vì sử dụng một giá trị cố định, nhằm thích ứng với các loại câu hỏi và giai đoạn suy luận khác nhau.
Phát triển một kiến trúc 'Mindscape' phân cấp và đa phương thức, nơi không gian bộ nhớ không chỉ chứa văn bản tóm tắt mà còn bao gồm đồ thị tri thức, hình ảnh, và âm thanh. Nghiên cứu cách xây dựng MiA-Signature trên không gian đa phương thức này để phục vụ các tác vụ hiểu nội dung đa phương tiện dài.
Khám phá việc sử dụng các mô hình ngôn ngữ lớn có khả năng suy luận (như các mô hình o-series) làm bộ cập nhật trạng thái M_upd trong vòng lặp tác tử, cho phép quá trình tinh chỉnh chữ ký và quyết định dừng trở nên có chủ đích và chiến lược hơn, thay vì chỉ dựa trên việc viết lại truy vấn đơn thuần.

2. Patent:

Phương pháp và thiết bị di động hỗ trợ đọc và tóm tắt sách điện tử thông minh: Ứng dụng MiA-Signature trên điện thoại để phân tích toàn bộ một cuốn sách dài. Khi người dùng đặt câu hỏi về nội dung (ví dụ: 'Mối quan hệ giữa nhân vật A và B diễn biến thế nào?'), hệ thống sẽ tạo một chữ ký kích hoạt toàn cục từ không gian bộ nhớ của sách (các chương, tóm tắt sự kiện) để nhanh chóng định vị và truy xuất chính xác các đoạn văn liên quan nhất, đưa ra câu trả lời có ngữ cảnh đầy đủ mà không cần xử lý lại toàn bộ văn bản.
Hệ thống trợ lý ảo trên smartphone với bộ nhớ hội thoại dài hạn dựa trên chữ ký kích hoạt: Xây dựng một trợ lý ảo có khả năng ghi nhớ và liên kết thông tin từ các cuộc trò chuyện dài trong quá khứ. Thay vì chỉ tìm kiếm từ khóa, mỗi truy vấn mới của người dùng sẽ kích hoạt một 'chữ ký' trên toàn bộ lịch sử hội thoại (Mindscape). Chữ ký này đại diện cho chủ đề và ngữ cảnh chung, giúp trợ lý đưa ra phản hồi nhất quán, liên quan đến các sự kiện đã thảo luận từ lâu, giống như cách con người nhớ lại bối cảnh chung của một mối quan hệ.
Công cụ xác minh thông tin (fact-checking) đa nguồn trên thiết bị di động: Khi người dùng duyệt web và nghi ngờ một thông tin, họ có thể kích hoạt công cụ. Hệ thống sẽ tự động xây dựng một không gian bộ nhớ (Mindscape) từ nhiều nguồn đáng tin cậy đã được lưu trữ cục bộ hoặc trên đám mây cá nhân. Truy vấn về thông tin cần kiểm tra sẽ tạo ra một MiA-Signature, giúp công cụ không chỉ tìm các bằng chứng khớp từ khóa đơn lẻ mà còn hiểu được bối cảnh toàn cục của sự kiện, từ đó đối chiếu và đưa ra kết luận chính xác hơn về tính xác thực của thông tin.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.06416
ArXiv Abstract	https://arxiv.org/abs/2605.06416
PDF Download	https://arxiv.org/pdf/2605.06416.pdf
Github Repository	N/A

5. RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation (37 votes)

Tác giả: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

Xuất bản lúc: 2026-05-06

Tag: RAG, LLM Ensemble, Multi-Turn Dialogue, Faithfulness, LLM-as-Judge, Few-Shot Prompting, Domain Adaptation, Abstention

I. Main Problem:

Bài toán đặt ra là làm thế nào để xây dựng một hệ thống sinh phản hồi đáng tin cậy (faithful) trong các cuộc hội thoại nhiều lượt (multi-turn dialogue) dựa trên các đoạn văn bản tham chiếu được cung cấp. Các thách thức chính bao gồm: kết hợp ngữ cảnh hội thoại dài, xác định và từ chối trả lời các câu hỏi không thể trả lời được (unanswerable) hoặc không được chỉ định rõ ràng (underspecified), và đảm bảo mọi thông tin đưa ra đều dựa chính xác vào tài liệu gốc, không bịa đặt (hallucination).

II. Main Idea:

Nhóm tác giả đề xuất một hệ thống kết hợp (ensemble) không đồng nhất gồm bảy mô hình ngôn ngữ lớn (LLMs) khác nhau về kiến trúc, quy mô và chiến lược nhắc nhở (prompting). Hệ thống hoạt động theo ba bước: (1) xây dựng hai biến thể prompt (prompt hệ thống đã được tinh chỉnh và prompt few-shot dựa trên phân loại câu hỏi), (2) sinh các câu trả lời ứng viên song song từ bảy mô hình, và (3) sử dụng một mô hình GPT-4o-mini đóng vai trò 'giám khảo' (judge) để đánh giá và chọn ra câu trả lời trung thực nhất cho từng trường hợp cụ thể. Ngoài ra, họ giới thiệu Meno-Lite-0.1, một mô hình 7B được tinh chỉnh cho các tác vụ RAG.

III. Main Results:

Hệ thống đã giành vị trí thứ nhất trong cuộc thi SemEval-2026 Task 8 (Task B) với điểm số HM3 là 0.7827, vượt trội hơn hẳn mô hình cơ sở mạnh nhất (gpt-oss-120b, 0.6390). Các thí nghiệm cắt bỏ (ablation) cho thấy tính đa dạng của tập hợp mô hình là yếu tố then chốt, giúp hệ thống vượt qua bất kỳ mô hình đơn lẻ nào. Mô hình Meno-Lite-0.1 tuy nhỏ nhưng đạt hiệu suất cạnh tranh với các mô hình lớn hơn nhiều trên các tác vụ đòi hỏi kỹ năng ngôn ngữ và khả năng căn cứ vào ngữ cảnh, thể hiện sự đánh đổi chi phí-hiệu suất hiệu quả.

IV. Conclusion & Future Works:

Công trình khẳng định sức mạnh của việc kết hợp đa dạng các mô hình và sử dụng một 'giám khảo' để chọn lọc câu trả lời cuối cùng, đặc biệt trong bối cảnh yêu cầu độ chính xác cao. Tuy nhiên, điểm yếu của phương pháp này là chi phí tính toán lớn và độ trễ cao do phải chạy tuần tự nhiều mô hình. Các hướng nghiên cứu trong tương lai bao gồm: phát triển cơ chế định tuyến thích ứng (adaptive routing) để chỉ gọi một tập con mô hình phù hợp cho từng loại câu hỏi, tối ưu hóa tiêu chí lựa chọn của 'giám khảo' dựa trên nhiều mục tiêu (faithfulness và completeness), và cải thiện khả năng từ chối trả lời cho các câu hỏi không rõ ràng.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế định tuyến câu hỏi thích ứng dựa trên một mô hình phân loại nhẹ, nhằm tự động lựa chọn một tập con tối ưu các LLM trong ensemble cho từng loại câu hỏi cụ thể (có thể trả lời, không thể trả lời, không rõ ràng) để giảm chi phí tính toán và độ trễ.
Phát triển một hệ thống 'giám khảo' đa mục tiêu (multi-objective judge) có khả năng cân bằng đồng thời giữa độ trung thực (faithfulness) với tài liệu gốc và tính đầy đủ, phù hợp của câu trả lời, đặc biệt cho các trường hợp câu hỏi không được chỉ định rõ ràng cần yêu cầu làm rõ thay vì trả lời trực tiếp.
Điều tra và đề xuất các phương pháp tạo bộ dữ liệu đánh giá RAG đa vòng thực tế hơn, trong đó các câu hỏi không thể trả lời được đi kèm với các đoạn văn bản gây nhiễu (distractor passages) thay vì ngữ cảnh rỗng, nhằm loại bỏ các lối tắt (shortcut) trong đánh giá và thúc đẩy phát triển các hệ thống kiểm tra tính xác thực mạnh mẽ hơn.

2. Patent:

Hệ thống trợ lý ảo đa nhiệm trên điện thoại: Một trợ lý ảo trên thiết bị di động sử dụng một tập hợp các mô hình AI chuyên biệt (mô hình nhỏ chạy trên thiết bị và mô hình lớn trên đám mây). Khi người dùng đưa ra một yêu cầu phức tạp trong hội thoại nhiều lượt, một 'giám khảo' AI nhẹ trên điện thoại sẽ tự động chọn câu trả lời tốt nhất từ các mô hình này hoặc quyết định từ chối trả lời nếu không có đủ thông tin đáng tin cậy, đảm bảo câu trả lời cuối cùng luôn chính xác và an toàn.
Tính năng xác minh thông tin thông minh trong ứng dụng nhắn tin: Tích hợp vào ứng dụng nhắn tin một cơ chế cho phép người dùng kiểm tra chéo thông tin trong một cuộc trò chuyện nhóm. Khi có một câu hỏi, hệ thống sẽ ngầm truy vấn nhiều nguồn và mô hình AI khác nhau, sau đó một 'bộ phận giám khảo' sẽ tổng hợp và chỉ hiển thị câu trả lời được nhiều nguồn đồng thuận nhất, có trích dẫn rõ ràng, giúp ngăn chặn tin giả và thông tin sai lệch trong thời gian thực.
Công cụ hỗ trợ viết email/báo cáo dựa trên ngữ cảnh hội thoại: Một tiện ích trên điện thoại có khả năng đọc và hiểu toàn bộ lịch sử email hoặc tin nhắn công việc. Khi người dùng cần soạn một email phản hồi, hệ thống sẽ sử dụng tập hợp các mô hình AI để sinh ra nhiều dự thảo khác nhau, sau đó một AI 'giám khảo' sẽ chọn ra bản nháp trung thực nhất với nội dung đã trao đổi, đúng mực nhất về văn phong và tự động cảnh báo nếu thiếu thông tin để trả lời một phần quan trọng nào đó.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.04523
ArXiv Abstract	https://arxiv.org/abs/2605.04523
PDF Download	https://arxiv.org/pdf/2605.04523.pdf
Github Repository	https://github.com/RaguTeam/ragu_mtrag_semeval

6. MARBLE: Multi-Aspect Reward Balance for Diffusion RL (34 votes)

Tác giả: Canyu Zhao, Hao Chen, Yunze Tong, Yu Qiao, Jiacheng Li, Chunhua Shen

Xuất bản lúc: 2026-05-07

Tag: Diffusion Models, Reinforcement Learning, Multi-Objective Optimization, Gradient Harmonization, Image Generation, RLHF

I. Main Problem:

Bài toán tinh chỉnh mô hình khuếch tán bằng học tăng cường (RL) để tối ưu đồng thời nhiều tiêu chí đánh giá chất lượng ảnh (thẩm mỹ, căn chỉnh văn bản, độ chính xác chi tiết...). Các phương pháp hiện tại gặp khó khăn khi kết hợp nhiều tín hiệu phần thưởng: hoặc là huấn luyện riêng biệt từng mô hình cho từng phần thưởng (tốn kém, không tổng quát), hoặc huấn luyện tuần tự theo lịch trình thủ công (dễ quên, cần nhiều siêu tham số), hoặc dùng tổng trọng số đơn giản (weighted-sum) nhưng thường làm giảm hiệu suất. Nguyên nhân cốt lõi được xác định là hiện tượng mẫu chuyên biệt (specialist sample): hầu hết các ảnh sinh ra chỉ mang thông tin hữu ích cho một vài chiều phần thưởng cụ thể và không liên quan đến các chiều khác, khiến việc tổng hợp vô hướng làm loãng tín hiệu giám sát và tạo ra hướng cập nhật đối nghịch với ít nhất một phần thưởng trong 80% mini-batch.

II. Main Idea:

Đề xuất MARBLE (Multi-Aspect Reward BalancE), một khuôn khổ cân bằng phần thưởng trong không gian gradient. Thay vì gộp phần thưởng thành một giá trị vô hướng, MARBLE duy trì một bộ ước lượng lợi thế (advantage) độc lập cho từng phần thưởng, tính toán gradient chính sách riêng biệt, chuẩn hóa chúng để loại bỏ sự khác biệt về thang đo, và sau đó hài hòa chúng thành một hướng cập nhật duy nhất bằng cách giải bài toán Quy hoạch Toàn phương (Quadratic Programming) để tìm điểm có chuẩn nhỏ nhất trong bao lồi của các gradient đã chuẩn hóa. Để giảm chi phí tính toán, MARBLE phát triển một phiên bản amortized khai thác cấu trúc affine của hàm mất mát DiffusionNFT, cho phép áp dụng các hệ số cân bằng đã được ước lượng để tính toán chỉ với một lần lan truyền ngược duy nhất, đồng thời sử dụng làm mượt EMA cho các hệ số này để ổn định quá trình huấn luyện.

III. Main Results:

Trên mô hình SD3.5 Medium với 5 phần thưởng, MARBLE cải thiện đồng thời tất cả các chiều phần thưởng trong một lần huấn luyện duy nhất. Cụ thể, nó đảo ngược tình trạng cosine gradient của phần thưởng tệ nhất từ âm (dưới phương pháp tổng trọng số) thành dương nhất quán. Tốc độ huấn luyện của MARBLE đạt 0.97 lần so với huấn luyện cơ sở (baseline), trong khi chỉ cần thêm 14% bộ nhớ GPU. Về định lượng, MARBLE đạt điểm tổng hợp (Composite) cao nhất khi đánh giá trên 8 chỉ số (bao gồm cả các chỉ số ngoài miền huấn luyện như Aesthetic Score, ImageReward, UniReward), vượt qua các phương pháp tuần tự và tổng trọng số.

IV. Conclusion & Future Works:

MARBLE là phương pháp cân bằng đa phần thưởng đầu tiên cho tinh chỉnh RL mô hình khuếch tán, giải quyết hiệu quả hiện tượng mẫu chuyên biệt và loại bỏ nhu cầu tinh chỉnh thủ công. Hạn chế hiện tại là mới chỉ được xác thực trên tác vụ sinh ảnh. Các hướng nghiên cứu tương lai bao gồm: (1) Mở rộng khuôn khổ sang sinh video và mô hình thế giới (world models), nơi có nhiều chiều chất lượng phức tạp hơn như tính nhất quán thời gian, độ chân thực chuyển động; (2) Mở rộng MARBLE để xử lý một tập lớn hơn nhiều các phần thưởng, nơi cả bài toán tối ưu và hiệu quả tính toán đều trở nên thách thức hơn.

V. Brainstorming Space:

1. Publish Papers:

Cân bằng đa mục tiêu cho sinh video bằng mô hình khuếch tán: Mở rộng MARBLE cho các mô hình sinh video, giải quyết bài toán cân bằng các phần thưởng đặc thù như tính nhất quán tạm thời, độ chân thực của chuyển động, chất lượng từng khung hình và căn chỉnh văn bản-đoạn phim. Nghiên cứu cách các chiều chất lượng không đồng nhất này tương tác trong không gian gradient và đề xuất các chiến lược hài hòa phù hợp.
Tự động phát hiện và xử lý xung đột gradient trong RL đa phần thưởng: Phát triển một cơ chế tự động phát hiện khi nào các tín hiệu phần thưởng bắt đầu xung đột nghiêm trọng (gradient cosine âm) trong quá trình huấn luyện và đề xuất các kỹ thuật thích ứng để tái cân bằng hoặc tạm dừng một số mục tiêu nhằm tránh suy giảm hiệu suất tổng thể, không giới hạn ở mô hình khuếch tán.
Mở rộng quy mô cân bằng đa phần thưởng cho các mô hình nền tảng: Nghiên cứu khả năng mở rộng của các phương pháp hài hòa gradient như MARBLE khi số lượng phần thưởng lên đến hàng chục hoặc hàng trăm, bao gồm các kỹ thuật phân cụm gradient, xấp xỉ QP thưa thớt, và các chiến lược amortized để giữ chi phí huấn luyện ở mức chấp nhận được cho các mô hình sinh lớn.

2. Patent:

Hệ thống chụp ảnh di động thông minh với cân bằng đa tiêu chí theo ngữ cảnh: Tích hợp MARBLE vào bộ xử lý ảnh trên điện thoại. Khi người dùng chụp ảnh, hệ thống sẽ tự động tinh chỉnh ảnh dựa trên một tập các tiêu chí (độ sáng, độ nét, màu sắc, bố cục, độ nhiễu) nhưng trọng số của các tiêu chí này được tự động điều chỉnh dựa trên ngữ cảnh bức ảnh (phong cảnh, chân dung, văn bản) bằng cơ chế hài hòa gradient, thay vì dùng bộ lọc cố định. Điều này đảm bảo ảnh chân dung được làm đẹp da nhưng không làm mờ chữ trên bảng hiệu phía sau.
Công cụ thiết kế đồ họa trên điện thoại với khả năng sinh ảnh đa ràng buộc: Phát triển một ứng dụng thiết kế cho phép người dùng mô tả một poster hoặc ảnh sản phẩm bằng văn bản, đồng thời đặt ra nhiều ràng buộc cứng (ví dụ: "có logo ở góc trên bên trái", "dòng chữ 'Giảm giá 50%' phải rõ ràng", "tông màu ấm áp"). Ứng dụng sử dụng MARBLE để sinh ảnh đáp ứng đồng thời tất cả các ràng buộc này mà không cần người dùng phải thử đi thử lại với các trọng số khác nhau, giúp quá trình thiết kế nhanh và trực quan hơn.
Tối ưu hóa đa mục tiêu cho camera AI: nhận diện và thẩm mỹ: Trên camera điện thoại, khi người dùng quét mã QR hoặc dịch văn bản, hệ thống vừa phải đảm bảo ảnh chụp rõ nét, đủ sáng để thuật toán AI phía sau nhận diện chính xác, vừa phải cho ra một bức ảnh hiển thị trên màn hình không bị quá gắt, quá tối hay mất thẩm mỹ. MARBLE có thể được dùng để cân bằng hai mục tiêu này trong thời gian thực: tối ưu đồng thời độ chính xác cho máy (thông qua chỉ số kỹ thuật) và chất lượng hình ảnh cho người (thông qua chỉ số thẩm mỹ), mang lại trải nghiệm liền mạch.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.06507
ArXiv Abstract	https://arxiv.org/abs/2605.06507
PDF Download	https://arxiv.org/pdf/2605.06507.pdf
Github Repository	https://github.com/aim-uofa/MARBLE

7. When to Trust Imagination: Adaptive Action Execution for World Action Models (34 votes)

Tác giả: Rui Wang, Yue Zhang, Jiehong Lin, Kuncheng Luo, Jianan Wang, Zhongrui Wang, Xiaojuan Qi

Xuất bản lúc: 2026-05-07

Tag: World Action Models, Adaptive Execution, Future–Reality Verification, Causal Attention, Robotic Manipulation, Imitation Learning

I. Main Problem:

Các Mô hình Hành động Thế giới (WAMs) hiện tại thực thi một số lượng hành động dự đoán cố định sau mỗi lần suy luận, khiến robot không thể nhận biết được liệu tương lai do mô hình tưởng tượng có còn nhất quán với thực tế vật lý hay không. Việc thực thi mù quáng này dẫn đến kém hiệu quả trong các pha dễ dự đoán và dễ thất bại trong các tương tác phức tạp, giàu tiếp xúc hoặc bất định, nơi các dự đoán nhanh chóng trở nên không đáng tin cậy.

II. Main Idea:

Bài báo định nghĩa lại việc thực thi WAM thích ứng như một bài toán xác minh tương lai-thực tế (future–reality verification). Thay vì thực thi cố định, robot nên so sánh các quan sát hình ảnh trong tương lai do WAM dự đoán với các quan sát thực tế trong quá trình vận hành. Để hiện thực hóa điều này, nhóm tác giả đề xuất FFDC (Future Forward Dynamics Causal Attention), một bộ xác minh nhẹ sử dụng cơ chế chú ý nhân quả có cấu trúc để ước tính độ tin cậy của chuỗi hành động còn lại, dựa trên sự tương tác giữa hành động dự đoán, động lực học hình ảnh dự đoán, quan sát thực tế và mệnh lệnh ngôn ngữ. Kích thước đoạn hành động hiệu quả trở thành một hệ quả tự nhiên của sự nhất quán giữa dự đoán và quan sát.

III. Main Results:

Trên benchmark RoboTwin: FFDC-WAM giảm 69.10% số lần suy luận WAM và 34.02% thời gian thực thi, đồng thời cải thiện tỷ lệ thành công thêm 2.54% so với phương pháp cơ sở sử dụng đoạn hành động ngắn. Trên các tác vụ khó, tỷ lệ thành công tăng từ 54.20% lên 76.40%.
Trong thực tế: Tỷ lệ thành công trung bình tăng từ 45% lên 80% trên hai tác vụ gắp và đặt đồ vật.
Nghiên cứu cắt bỏ: Việc loại bỏ các token hình ảnh dự đoán gây ra sự sụt giảm hiệu suất lớn nhất, khẳng định tầm quan trọng của tương lai được tưởng tượng trong việc đánh giá độ tin cậy của kế hoạch.

IV. Conclusion & Future Works:

FFDC-WAM chuyển đổi việc thực thi WAM từ cơ chế vòng lặp mở cố định sang chiến lược điều khiển thích ứng dựa trên độ tin cậy, cho phép robot hành động dài khi thế giới dễ dự đoán và lập kế hoạch lại sớm khi thực tế đi chệch hướng. Hướng phát triển trong tương lai bao gồm việc mở rộng bộ xác minh để học hỏi từ các chế độ lỗi phong phú hơn và dữ liệu thực tế đa dạng hơn, thay vì chỉ dựa vào giám sát nhị phân từ các phân đoạn thành công, thất bại và bị làm nhiễu tổng hợp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu phát triển một bộ xác minh đa phương thức, có khả năng phát hiện sớm các bất thường không chỉ từ sai lệch hình ảnh mà còn từ các tín hiệu xúc giác và lực/mô-men xoắn, để cải thiện độ an toàn và độ bền vững cho robot trong các tác vụ tiếp xúc vật lý phức tạp.
Tìm hiểu phương pháp học tăng cường để tinh chỉnh bộ xác minh FFDC trực tuyến trong quá trình vận hành, cho phép nó liên tục thích nghi với các môi trường và đối tượng mới mà không cần thu thập lại bộ dữ liệu lỗi tổng hợp.
Khảo sát việc áp dụng cơ chế xác minh tương lai-thực tế cho các mô hình nền tảng đa năng (ví dụ: VLA models) bằng cách sử dụng một mô-đun sinh video phụ trợ nhẹ, nhằm cung cấp tín hiệu 'tương lai tưởng tượng' mà không yêu cầu kiến trúc WAM đầy đủ.

2. Patent:

Hệ thống trợ lý ảo trên điện thoại có khả năng tự động điều chỉnh tốc độ thực thi và tần suất kiểm tra dựa trên độ phức tạp của tác vụ. Ví dụ, khi người dùng yêu cầu đặt lịch hẹn (tác vụ đơn giản, dễ dự đoán), hệ thống sẽ thực thi nhanh một chuỗi dài các thao tác. Nhưng khi yêu cầu soạn một email phức tạp với nhiều ngữ cảnh, hệ thống sẽ liên tục kiểm tra sự nhất quán giữa nội dung đã soạn và yêu cầu ban đầu, và dừng lại để hỏi người dùng nếu phát hiện mâu thuẫn.
Tính năng chụp ảnh thông minh trên điện thoại sử dụng mô hình dự đoán tương lai-thực tế. Trước khi người dùng bấm chụp, camera sẽ dự đoán khung hình tiếp theo. Trong lúc phơi sáng, hệ thống liên tục so sánh khung hình thực tế với dự đoán. Nếu phát hiện sự sai lệch lớn do đối tượng chuyển động đột ngột hoặc rung tay mạnh, nó sẽ tự động kích hoạt chế độ chụp bù hoặc cảnh báo người dùng chụp lại ngay lập tức, thay vì cho ra một bức ảnh mờ.
Ứng dụng điều khiển thiết bị nhà thông minh bằng cử chỉ trên điện thoại, nơi mô hình dự đoán quỹ đạo cử chỉ tương lai của ngón tay trên màn hình. Khi người dùng vẽ một hình dạng hoặc ký hiệu để ra lệnh, hệ thống sẽ dự đoán nét vẽ tiếp theo và so sánh với diễn biến thực tế. Nếu nét vẽ thực tế đi chệch khỏi dự đoán (do trượt tay), hệ thống sẽ tạm dừng việc diễn giải lệnh và yêu cầu xác nhận, tránh thực thi các lệnh sai do cử chỉ không chính xác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.06222
ArXiv Abstract	https://arxiv.org/abs/2605.06222
PDF Download	https://arxiv.org/pdf/2605.06222.pdf
Github Repository	N/A

8. Continuous-Time Distribution Matching for Few-Step Diffusion Distillation (24 votes)

Tác giả: Tao Liu, Hao Yan, Mengting Chen, Taihang Hu, Zhengrong Yue, Zihao Pan, Jinsong Lan, Xiaoyong Zhu, Ming-Ming Cheng, Bo Zheng, Yaxing Wang

Xuất bản lúc: 2026-05-07

Tag: Diffusion Distillation, Distribution Matching, Continuous-Time Optimization, Few-Step Generation, Flow Matching, Text-to-Image

I. Main Problem:

Các phương pháp Distribution Matching Distillation (DMD) truyền thống bị giới hạn bởi việc tối ưu hóa trên một tập hợp cố định các mốc thời gian rời rạc, dẫn đến việc giám sát thưa thớt. Điều này gây ra trường vận tốc không mượt mà, làm trơn quá mức hình ảnh đầu ra và tạo ra các nhiễu ảnh (artifact) thị giác, thường đòi hỏi các mô-đun phụ trợ phức tạp như GAN hoặc mô hình đánh giá (reward model) để khôi phục độ trung thực. Ngoài ra, suy luận với ít bước gây ra lỗi cắt cụt số học nghiêm trọng, khiến quỹ đạo suy luận bị lệch khỏi đa tạp dữ liệu lý tưởng.

II. Main Idea:

Bài báo đề xuất Continuous-Time Distribution Matching (CDM), lần đầu tiên chuyển đổi khuôn khổ DMD từ tối ưu hóa rời rạc sang tối ưu hóa liên tục. CDM đạt được điều này thông qua hai thiết kế chính: (1) Lịch trình động liên tục (Dynamic Continuous Schedule) thay thế lịch trình rời rạc cố định bằng các mốc thời gian được lấy mẫu ngẫu nhiên trong miền liên tục, cho phép việc khớp phân phối được thực thi tại các điểm tùy ý trên quỹ đạo lấy mẫu. (2) Hàm mất mát CDM (CDM loss) thực hiện khớp phân phối ngoài quỹ đạo (off-trajectory matching) bằng cách ngoại suy các vector ẩn dựa trên trường vận tốc của mô hình học sinh, từ đó chủ động giảm thiểu sự trôi lệch ngoài quỹ đạo và cải thiện khả năng tổng quát hóa.

III. Main Results:

CDM đạt được hiệu suất cạnh tranh cao nhất trên các mô hình SD3-Medium và Longcat-Image chỉ với 4 bước đánh giá mạng (NFE). Trên SD3-Medium, CDM đạt Aesthetic Score 6.075, DPGBench 85.26, PickScore 21.95 và HPSv3 9.561, vượt trội so với các phương pháp ít bước hiện có và thậm chí sánh ngang hoặc vượt qua giáo viên 100 bước ở một số chỉ số. Về mặt định tính, CDM tạo ra kết cấu sắc nét hơn, chi tiết phong phú hơn và độ trung thực hình ảnh tổng thể cao hơn mà không cần dựa vào các mục tiêu phụ trợ như GAN hay mô hình đánh giá.

IV. Conclusion & Future Works:

CDM là một khuôn khổ chưng cất mới giúp tạo ra hình ảnh chất lượng cao chỉ với vài bước bằng cách chuyển đổi tối ưu hóa sang không gian thời gian liên tục. Phương pháp này khắc phục hiệu quả lỗi rời rạc hóa và suy giảm chi tiết mà không cần huấn luyện đối nghịch hay các mô hình đánh giá bên ngoài. Nhóm tác giả hy vọng công trình này sẽ mở đường cho việc chưng cất mô hình khuếch tán dễ tiếp cận hơn và truyền cảm hứng cho các mở rộng trong tương lai cho tổng hợp hình ảnh phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng CDM cho các mô hình tạo video và hoạt ảnh 3D, nơi yêu cầu về tính nhất quán theo thời gian và không gian là rất quan trọng, bằng cách áp dụng cơ chế khớp phân phối ngoài quỹ đạo để giảm thiểu hiện tượng nhấp nháy và biến dạng xuyên suốt các khung hình.
Nghiên cứu tích hợp CDM với các mô hình ngôn ngữ lớn đa phương thức (MLLMs) để cho phép tạo ảnh nhanh, chất lượng cao trực tiếp từ các lệnh hội thoại phức tạp, tập trung vào việc duy trì sự liên kết ngữ nghĩa chính xác trong quá trình chưng cất ít bước.
Phát triển một phiên bản thích ứng của CDM cho việc chưng cất dựa trên LoRA, cho phép người dùng cá nhân hóa nhanh chóng các mô hình nền tảng lớn chỉ với vài bước suy luận trên các thiết bị biên mà không làm mất đi các chi tiết nhận dạng đối tượng cụ thể.

2. Patent:

Hệ thống chụp ảnh điện thoại thông minh sử dụng CDM để tăng cường và tái tạo chi tiết ảnh chỉ với vài bước xử lý, cho phép chụp ảnh thiếu sáng hoặc ảnh bị nhiễu được làm nét và khử nhiễu tức thì với độ phân giải cao mà không cần phần cứng chuyên dụng.
Ứng dụng chỉnh sửa ảnh chân dung trên điện thoại di động, nơi mô hình CDM 4 bước cho phép người dùng thay đổi các thuộc tính phức tạp như biểu cảm khuôn mặt, kiểu tóc hoặc ánh sáng studio theo thời gian thực, đảm bảo kết cấu da và chi tiết nền vẫn sắc nét và tự nhiên.
Công cụ tạo nhãn dán (sticker) và biểu tượng cảm xúc (emoji) cá nhân hóa trên bàn phím điện thoại, tận dụng CDM để nhanh chóng chuyển đổi ảnh selfie hoặc ảnh thú cưng thành các hình minh họa hoạt hình chất lượng cao chỉ trong vài bước, giảm độ trễ và tăng độ chi tiết so với các phương pháp chưng cất truyền thống.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.06376
ArXiv Abstract	https://arxiv.org/abs/2605.06376
PDF Download	https://arxiv.org/pdf/2605.06376.pdf
Github Repository	https://github.com/byliutao/cdm

9. Nonsense Helps: Prompt Space Perturbation Broadens Reasoning Exploration (23 votes)

Tác giả: Langlin Huang, Chengsong Huang, Jinyuan Li, Donghong Cai, Yuyi Yang, Jiaxin Huang

Xuất bản lúc: 2026-05-07

Tag: GRPO, Reinforcement Learning, LLMs, Prompt Engineering, Exploration

I. Main Problem:

Trong quá trình huấn luyện mô hình ngôn ngữ lớn bằng phương pháp Group Relative Policy Optimization (GRPO), tồn tại vấn đề zero-advantage: khi tất cả các phản hồi được lấy mẫu cho một câu hỏi đều thất bại (không đưa ra được đáp án đúng), lợi thế tương đối giữa các phản hồi này bằng 0. Điều này khiến mô hình mất tín hiệu huấn luyện cho những câu hỏi đó, gây lãng phí dữ liệu và tài nguyên tính toán. Việc tăng ngân sách lấy mẫu đơn thuần không giải quyết được vấn đề vì các câu hỏi khó vẫn nằm ngoài khả năng của chính sách hiện tại, và việc khám phá trong không gian logit (logit-space exploration) như tăng nhiệt độ (temperature) thường không đủ để thoát khỏi các lối mòn suy luận cục bộ.

II. Main Idea:

Nhóm tác giả đề xuất phương pháp Lorem Perturbation for Exploration (LOPE), một khung làm việc đơn giản nhưng hiệu quả để mở rộng không gian khám phá trong quá trình huấn luyện tăng cường. Ý tưởng cốt lõi là: khi tất cả các phản hồi ban đầu cho một câu hỏi đều thất bại, thay vì lấy mẫu lại với câu lệnh gốc, LOPE sẽ thêm vào đầu câu lệnh một chuỗi văn bản giả Latin ngẫu nhiên (Lorem Ipsum) – một nhiễu loạn không gian câu lệnh (prompt-space perturbation) không mang ý nghĩa ngữ nghĩa – trước khi lấy mẫu lại. Sự nhiễu loạn này giúp thay đổi phân phối đầu ra của mô hình, mở khóa các hướng suy luận trực giao mà việc lấy mẫu lại thông thường không thể đạt tới. Sau đó, các phản hồi thành công từ lần lấy mẫu mới được trộn với các phản hồi thất bại ban đầu để tạo thành một lô huấn luyện hợp lệ. Để khắc phục vấn đề huấn luyện lệch phân phối (off-policy) và ước lượng lợi thế bị chệch, bài báo cũng giới thiệu cơ chế định hình tín hiệu huấn luyện (training signal shaping) bao gồm định hình chính sách và định hình lợi thế.

III. Main Results:

LOPE được thử nghiệm trên các mô hình Qwen3-1.7B, Qwen3-4B và Qwen2.5-Math-7B với các bộ đánh giá MATH-500, GSM8K, AMC, AIME 2024, AIME 2025. Kết quả cho thấy LOPE vượt trội hơn hẳn so với GRPO tiêu chuẩn và phương pháp lấy mẫu lại với câu lệnh gốc. Cụ thể, LOPE cải thiện điểm trung bình lần lượt là +2.79, +4.62 và +6.20 điểm trên ba kích thước mô hình. Đặc biệt, LOPE duy trì tỷ lệ thành công khi lấy mẫu lại cao hơn trong suốt quá trình huấn luyện, đảm bảo tín hiệu huấn luyện hiệu quả trên một tập hợp câu hỏi rộng hơn. Phân tích sâu hơn chỉ ra rằng các nhiễu loạn hiệu quả nhất có hai đặc điểm: (1) sử dụng từ vựng giả Latin để tránh can thiệp vào ngữ cảnh suy luận tiếng Anh, và (2) duy trì perplexity thấp để đảm bảo chất lượng phản hồi.

IV. Conclusion & Future Works:

LOPE là một phương pháp nền tảng (baseline) mạnh mẽ và tổng quát để mở rộng khám phá trong học tăng cường cho mô hình ngôn ngữ lớn. Nó giải quyết hiệu quả vấn đề zero-advantage bằng cách sử dụng nhiễu loạn không gian câu lệnh không liên quan đến tác vụ. Các kết quả thực nghiệm khẳng định tính ưu việt của phương pháp này so với việc lấy mẫu lại đơn thuần. Hướng nghiên cứu tương lai có thể tập trung vào việc tối ưu hóa cơ chế tạo nhiễu loạn, khám phá các loại nhiễu loạn khác nhau, và tích hợp LOPE vào các thuật toán học tăng cường khác ngoài GRPO.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế học tập chương trình (curriculum learning) cho nhiễu loạn: thay vì sử dụng một mức nhiễu cố định (Lorem Ipsum), thiết kế một lịch trình điều chỉnh độ phức tạp của nhiễu loạn (ví dụ: từ perplexity thấp đến cao, hoặc từ từ vựng giả Latin sang ngôn ngữ tự nhiên) trong suốt quá trình huấn luyện để mô hình dần thích nghi và mở rộng không gian khám phá một cách hiệu quả hơn.
Điều tra tác động của các loại nhiễu loạn không gian câu lệnh đa phương thức (multimodal prompt-space perturbation), chẳng hạn như chèn hình ảnh nhiễu ngẫu nhiên hoặc âm thanh không liên quan vào câu lệnh của mô hình Vision-Language Action, để đánh giá khả năng mở rộng của LOPE sang các lĩnh vực khác ngoài suy luận toán học.
Phân tích lý thuyết về mối liên hệ giữa nhiễu loạn không gian câu lệnh và hình học của đa tạp suy luận (reasoning manifold) bên trong mô hình. Sử dụng các công cụ từ lý thuyết thông tin và hình học thông tin để giải thích tại sao và khi nào một nhiễu loạn cụ thể (ví dụ: chuỗi giả Latin perplexity thấp) có thể đẩy mô hình ra khỏi cực tiểu địa phương và tìm thấy quỹ đạo suy luận thành công.

2. Patent:

Hệ thống trợ lý ảo trên điện thoại thông minh có khả năng tự động vượt qua bế tắc trong hội thoại. Khi người dùng liên tục đặt câu hỏi mà trợ lý không trả lời được, hệ thống sẽ tự động thêm một đoạn văn bản gây nhiễu không ý nghĩa (ví dụ: một chuỗi từ vựng giả ngẫu nhiên như Lorem Ipsum) vào ngữ cảnh nội bộ của mô hình trước khi suy luận lại, giúp tạo ra các hướng trả lời mới mà không cần thay đổi câu hỏi của người dùng, từ đó tăng tỷ lệ phản hồi thành công cho các truy vấn khó.
Phương pháp cải thiện khả năng sáng tạo nội dung trên ứng dụng ghi chú hoặc soạn thảo văn bản di động. Khi người dùng gặp tình trạng 'bí ý tưởng' (writer's block) và yêu cầu mô hình AI tiếp tục viết nhưng nhận được kết quả lặp lại hoặc kém chất lượng, ứng dụng sẽ tự động chèn một đoạn nhiễu ngẫu nhiên có cấu trúc ngôn ngữ (perplexity thấp) vào phần đầu của ngữ cảnh, buộc mô hình khám phá các hướng diễn đạt và ý tưởng mới mẻ, đa dạng hơn cho đoạn văn bản tiếp theo.
Cơ chế tiết kiệm năng lượng và tài nguyên tính toán cho các tác vụ suy luận phức tạp trên thiết bị di động. Thay vì tăng số lần suy luận (gây tốn pin và thời gian) khi mô hình không tìm ra đáp án đúng, hệ thống sẽ kích hoạt cơ chế 'nhiễu loạn thông minh' – chèn một chuỗi token đặc biệt có perplexity thấp được tối ưu hóa để đánh thức các đường dẫn suy luận thay thế – giúp tăng xác suất tìm ra câu trả lời đúng ngay trong lần suy luận đầu tiên hoặc với số lần thử lại ít hơn, từ đó giảm tổng thời gian xử lý và mức tiêu thụ pin.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.05566
ArXiv Abstract	https://arxiv.org/abs/2605.05566
PDF Download	https://arxiv.org/pdf/2605.05566.pdf
Github Repository	N/A

10. SkillOS: Learning Skill Curation for Self-Evolving Agents (23 votes)

Tác giả: Siru Ouyang, Jun Yan, Yanfei Chen, Rujun Han, Zifeng Wang, Bhavana Dalvi Mishra, Rui Meng, Chun-Liang Li, Yizhu Jiao, Kaiwen Zha, Maohao Shen, Vishy Tirumalashetty, George Lee, Jiawei Han, Tomas Pfister, Chen-Yu Lee

Xuất bản lúc: 2026-05-07

Tag: RL, LLM Agents, Self-Evolution, Procedural Memory, Skill Curation, GRPO, Multi-Agent

I. Main Problem:

Các tác nhân dựa trên LLM hiện nay thường chỉ giải quyết vấn đề một lần (one-off) và không có khả năng tự học hỏi từ những tương tác trong quá khứ để cải thiện hiệu suất trong dài hạn. Thách thức cốt lõi nằm ở việc quản lý kỹ năng (skill curation), tức làm sao để trích xuất các bài học chất lượng cao từ trải nghiệm và tích hợp chúng vào bộ nhớ một cách hiệu quả. Các phương pháp hiện tại hoặc dựa vào sự quản lý thủ công, hoặc sử dụng các quy tắc cố định, hoặc chỉ huấn luyện cho việc thích ứng ngắn hạn, dẫn đến việc không thể học được các chính sách quản lý phức tạp và dài hạn từ những tín hiệu phản hồi gián tiếp và bị trì hoãn.

II. Main Idea:

Nhóm tác giả đề xuất SkillOS, một công thức huấn luyện Học tăng cường (RL) dựa trên trải nghiệm để học cách quản lý kỹ năng cho các tác nhân tự tiến hóa. Hệ thống kết hợp một 'Tác nhân thực thi' (Agent Executor) cố định, có nhiệm vụ truy xuất và sử dụng kỹ năng từ 'Kho kỹ năng' (SkillRepo), và một 'Người quản lý kỹ năng' (Skill Curator) có khả năng huấn luyện để cập nhật kho kỹ năng thông qua các thao tác thêm, sửa, xóa. Điểm cốt lõi là kỹ thuật huấn luyện trên các nhóm tác vụ có liên quan, nơi các kỹ năng được tạo ra từ các trải nghiệm trước đó sẽ được đánh giá dựa trên khả năng cải thiện hiệu suất cho các tác vụ liên quan trong tương lai. Họ cũng thiết kế một hàm thưởng tổng hợp để quy kết chính xác phản hồi từ môi trường cho các quyết định quản lý kỹ năng.

III. Main Results:

SkillOS vượt trội hơn hẳn so với các mô hình không có bộ nhớ và các mô hình có bộ nhớ mạnh mẽ khác trên cả hai loại tác vụ: tác nhân đa lượt (ALFWorld, WebShop) và suy luận đơn lượt (AIME, GPQA). Trên ALFWorld, tỉ lệ thành công trung bình tăng lên tới +9.8% và số bước tương tác giảm tới -6.0% so với mô hình cơ sở mạnh nhất. Đặc biệt, 'Người quản lý kỹ năng' với mô hình 8B đã qua huấn luyện RL thậm chí còn vượt qua Gemini-2.5-Pro khi được sử dụng trực tiếp làm người quản lý. Mô hình cũng thể hiện khả năng tổng quát hóa tốt khi hoạt động với các 'Tác nhân thực thi' khác nhau và chuyển giao giữa các miền tác vụ khác nhau.

IV. Conclusion & Future Works:

SkillOS đã thiết lập một công thức huấn luyện RL thực tế, theo mô-đun và dựa trên trải nghiệm để xây dựng các tác nhân tự tiến hóa. Công trình chứng minh rằng việc huấn luyện có chủ đích một mô hình quản lý kỹ năng nhỏ có thể vượt trội hơn các mô hình biên lớn hơn nhiều trong nhiệm vụ quản lý. Các hướng nghiên cứu trong tương lai bao gồm việc khám phá sự đồng tiến hóa giữa người quản lý và người thực thi, quản lý kỹ năng phân cấp với các kỹ năng tổng hợp, và áp dụng SkillOS vào các miền tác vụ đa dạng hơn như các tác nhân được nhúng trong thế giới thực.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về sự đồng tiến hóa giữa 'Người quản lý kỹ năng' (Skill Curator) và 'Tác nhân thực thi' (Agent Executor) bằng cách cho phép cả hai mô hình cùng được huấn luyện trong một vòng lặp RL, thay vì chỉ giữ cố định một bên. Điều này có thể tạo ra sự cộng hưởng mạnh mẽ hơn khi cả việc tạo và sử dụng kỹ năng đều được tối ưu cho nhau.
Phát triển một hệ thống quản lý kỹ năng phân cấp (hierarchical skill curation), nơi 'Người quản lý' không chỉ tạo ra các kỹ năng đơn lẻ mà còn có khả năng tổng hợp chúng thành các 'siêu kỹ năng' (meta-skills) phức tạp hơn. Việc này sẽ giúp giảm không gian tìm kiếm và tăng khả năng tổng quát cho các tác vụ đòi hỏi chuỗi hành động dài.
Điều tra khả năng ứng dụng của SkillOS trong việc cá nhân hóa mô hình ngôn ngữ lớn. Thay vì chỉ quản lý kỹ năng cho một tác nhân chung, hệ thống có thể được điều chỉnh để quản lý một 'Kho kỹ năng' được cá nhân hóa cho từng người dùng, giúp tác nhân thích ứng với sở thích và thói quen riêng của họ qua thời gian.

2. Patent:

Hệ thống trợ lý ảo trên điện thoại có khả năng tự động ghi nhớ và cải thiện quy trình thao tác của người dùng. Khi người dùng lặp lại một chuỗi thao tác (ví dụ: đặt đồ ăn, đặt lịch hẹn), trợ lý sẽ tự động trích xuất quy trình đó thành một 'kỹ năng' dưới dạng hướng dẫn, và đề xuất thực hiện tự động trong những lần sau. Hệ thống sẽ tự đánh giá mức độ thành công của việc thực thi để cập nhật và làm mịn kỹ năng đó, giúp trợ lý ngày càng hiểu rõ và phục vụ người dùng hiệu quả hơn.
Cơ chế tiết kiệm pin và tài nguyên cho các tác nhân AI trên thiết bị di động thông qua 'Kho kỹ năng' được nén và tối ưu. Khi một tác nhân AI trên điện thoại thực hiện một tác vụ, thay vì phải gửi toàn bộ lịch sử tương tác lên cloud để xử lý, nó sẽ chỉ truy xuất một kỹ năng đã được nén từ bộ nhớ cục bộ. Một mô hình quản lý nhỏ gọn sẽ liên tục học cách xóa bỏ các kỹ năng dư thừa và cập nhật các kỹ năng lỗi thời, đảm bảo bộ nhớ luôn gọn nhẹ và hiệu quả, giảm thiểu độ trễ và tiêu thụ năng lượng.
Công cụ phát triển ứng dụng 'Low-Code/No-Code' cho di động, nơi người dùng có thể tạo ra các tác vụ tự động hóa phức tạp bằng cách mô tả bằng ngôn ngữ tự nhiên. Hệ thống sẽ tự động chia nhỏ yêu cầu thành các kỹ năng thành phần, thực thi thử nghiệm, và tự đánh giá kết quả để tinh chỉnh. Người dùng chỉ cần phê duyệt kết quả cuối cùng, và hệ thống sẽ tự học hỏi từ những lần tạo trước đó để ngày càng tạo ra các quy trình tự động hóa chính xác và hiệu quả hơn, biến mọi người dùng thành 'nhà phát triển' cho chính thiết bị của mình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.06614
ArXiv Abstract	https://arxiv.org/abs/2605.06614
PDF Download	https://arxiv.org/pdf/2605.06614.pdf
Github Repository	N/A

11. Audio-Visual Intelligence in Large Foundation Models (20 votes)

Tác giả: You Qin, Kai Liu, Shengqiong Wu, Kai Wang, Shijian Deng, Yapeng Tian, Junbin Xiao, Yazhou Xing, Yinghao Ma, Bobo Li, Roger Zimmermann, Lei Cui, Furu Wei, Jiebo Luo, Hao Fei

Xuất bản lúc: 2026-05-05

Tag: Audio-Visual Intelligence, Large Foundation Models, Multimodal Learning, Cross-Modal Fusion, Diffusion Models, Autoregressive Generation, Embodied AI, Visual-Language-Action

I. Main Problem:

Mặc dù trí tuệ âm thanh-hình ảnh (AVI) đã đạt được nhiều tiến bộ nhanh chóng nhờ các mô hình nền tảng lớn, các nghiên cứu hiện tại vẫn còn phân mảnh, trải rộng trên nhiều tác vụ đa dạng, sử dụng các hệ thống phân loại không nhất quán và các phương pháp đánh giá không đồng nhất. Sự phân mảnh này gây cản trở cho việc so sánh hệ thống và tích hợp tri thức một cách có hệ thống. Bên cạnh đó, lĩnh vực này còn thiếu một khuôn khổ tham chiếu thống nhất để định nghĩa rõ ràng phạm vi, giả định và mối quan hệ giữa các bài toán con như nhận thức, tạo sinh và tương tác đa phương thức.

II. Main Idea:

Bài khảo sát này đề xuất một hệ thống phân loại thống nhất cho toàn bộ lĩnh vực Trí tuệ Âm thanh-Hình ảnh dưới góc nhìn của các mô hình nền tảng lớn. Hệ thống này tổ chức các tác vụ thành ba trụ cột chính: 1) Thấu hiểu thế giới (nhận thức âm thanh-hình ảnh, trả lời câu hỏi, suy luận), 2) Kiến tạo thế giới (tạo sinh có điều kiện, tạo sinh chéo giữa âm thanh và hình ảnh, và tạo sinh kết hợp), và 3) Tương tác với thế giới (hội thoại hợp nhất và tương tác thể hiện). Bài báo cũng tổng hợp các nền tảng phương pháp luận cốt lõi như mã hóa đơn thể, hợp nhất đa phương thức, các kỹ thuật tạo sinh tự hồi quy và khuếch tán, cùng với các chiến lược huấn luyện quy mô lớn.

III. Main Results:

Bài khảo sát không đưa ra các kết quả thực nghiệm mới mà tổng hợp và phân tích các xu hướng chính trong lĩnh vực. Các phát hiện chính bao gồm: sự dịch chuyển chiến lược sang mô hình hóa âm thanh-hình ảnh đầu cuối và tổng hợp phối hợp (ví dụ: Meta MovieGen, Google Veo-3); sự nổi lên của các mô hình hợp nhất vừa hiểu vừa tạo (omni-model); và sự quan trọng ngày càng tăng của các mô hình thế giới âm thanh-hình ảnh có điều kiện hành động. Bài báo cũng xác định các lỗ hổng trong đánh giá, đặc biệt là đối với chất lượng đồng bộ hóa thời gian, tính nhất quán không gian và các đánh giá lấy con người làm trung tâm.

IV. Conclusion & Future Works:

Trí tuệ Âm thanh-Hình ảnh đang hội tụ thành một lĩnh vực thống nhất, nơi nhận thức, tạo sinh và tương tác không còn tách biệt. Các hướng nghiên cứu tương lai đầy thách thức bao gồm: 1) Suy luận không gian và đồng bộ hóa thời gian chính xác hơn, 2) Phát triển các mô hình thế giới âm thanh-hình ảnh có điều kiện hành động, 3) Xây dựng bộ nhớ ngữ cảnh âm thanh-hình ảnh dài hạn, 4) Can thiệp nhân quả trong các tình huống đa phương thức, và **5) Giải quyết các vấn đề về an toàn, quyền riêng tư, và quản trị dữ liệu ở quy mô lớn.

V. Brainstorming Space:

1. Publish Papers:

Mô hình thế giới âm thanh-hình ảnh cho tương tác thể hiện: Nghiên cứu phát triển một mô hình thế giới có khả năng dự đoán diễn biến tiếp theo của cảnh dưới dạng video và âm thanh dựa trên hành động của robot, từ đó cho phép robot lập kế hoạch và thao tác với các đối tượng phát ra âm thanh trong môi trường thực.
Khung đánh giá thống nhất cho tạo sinh âm thanh-hình ảnh: Đề xuất một bộ tiêu chí và công cụ đánh giá chuẩn hóa, tập trung vào tính đồng bộ thời gian ở mức mili-giây và sự gắn kết nhân quả giữa các sự kiện âm thanh và hình ảnh, giải quyết tình trạng phân mảnh của các phương pháp đánh giá hiện tại.
Học tăng cường cho suy luận đa phương thức: Khám phá việc sử dụng các kỹ thuật tối ưu hóa sở thích và học tăng cường (RLHF/RLAIF) để cải thiện khả năng suy luận logic và hiểu biết về quan hệ nhân quả trong các tác vụ hỏi đáp và suy luận âm thanh-hình ảnh phức tạp.

2. Patent:

Hệ thống trợ lý ảo trên điện thoại có khả năng hiểu ngữ cảnh đa giác quan: Một trợ lý AI trên smartphone không chỉ nghe lệnh thoại mà còn phân tích video từ camera để hiểu ngữ cảnh không gian và hành động của người dùng. Ví dụ, khi người dùng giơ một thiết bị hỏng hóc lên và hỏi 'Làm sao để sửa cái này?', hệ thống sẽ kết hợp hình ảnh thiết bị và âm thanh phát ra từ nó để đưa ra hướng dẫn sửa chữa chính xác.
Phương pháp tạo video hoạt hình từ giọng nói theo thời gian thực trên thiết bị di động: Công nghệ cho phép người dùng tạo ra một nhân vật ảo động trên điện thoại, với chuyển động môi và biểu cảm khuôn mặt khớp chính xác với giọng nói và cảm xúc trong lời nói của họ theo thời gian thực, ứng dụng trong gọi video, mạng xã hội hoặc trò chơi, mà không cần máy chủ đám mây.
Cơ chế cảnh báo an ninh thông minh dựa trên sự kiện âm thanh-hình ảnh trên camera nhà: Một hệ thống camera an ninh cho gia đình có khả năng phân tích đồng thời âm thanh và hình ảnh để phát hiện các sự kiện bất thường một cách thông minh hơn. Ví dụ, thay vì chỉ phát hiện chuyển động, hệ thống có thể phân biệt giữa tiếng cửa sổ vỡ kèm theo hình ảnh kẻ đột nhập và tiếng cốc vỡ do trẻ em đánh rơi, từ đó chỉ kích hoạt báo động trong các tình huống nguy hiểm thực sự.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.04045
ArXiv Abstract	https://arxiv.org/abs/2605.04045
PDF Download	https://arxiv.org/pdf/2605.04045.pdf
Github Repository	https://github.com/JavisVerse/Awesome-AVI

12. StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory Abstraction (12 votes)

Tác giả: Xiangyuan Xue, Yifan Zhou, Zidong Wang, Shengji Tang, Philip Torr, Wanli Ouyang, Lei Bai, Zhenfei Yin

Xuất bản lúc: 2026-05-07

Tag: Agentic RL, GRPO, LLM Agents, Hierarchical RL, Strategy Abstraction, Long-Horizon Tasks

I. Main Problem:

Các tác nhân dựa trên mô hình ngôn ngữ lớn (LLM) hiện tại khi giải quyết các tác vụ dài hạn thường hoạt động một cách thuần túy phản ứng (reactive), tức là chỉ đưa ra hành động dựa trên trạng thái hiện tại. Điều này dẫn đến ba vấn đề chính:

Khám phá thiển cận: Tác nhân khó lập kế hoạch dài hạn và dễ bị mắc kẹt vào các hành vi kém hiệu quả.
Hành vi không nhất quán: Việc không có một chiến lược tổng thể dẫn đến các quyết định mâu thuẫn và phải quay lui không cần thiết.
Khó khăn trong phân bổ tín nhiệm (credit assignment): Với phần thưởng thưa thớt và chỉ có ở cuối tác vụ, rất khó để xác định hành động nào thực sự đóng góp vào thành công cuối cùng.

II. Main Idea:

Bài báo đề xuất một framework có tên là StraTA (Strategic Trajectory Abstraction), đưa ra một hướng tiếp cận mới bằng cách tách biệt rõ ràng giữa việc lập chiến lược và thực thi hành động. Ý tưởng cốt lõi bao gồm:

Trừu tượng hóa chiến lược: Thay vì phản ứng thuần túy, ở đầu mỗi tác vụ, tác nhân sẽ tạo ra một chiến lược tổng thể bằng ngôn ngữ tự nhiên. Mọi hành động sau đó sẽ được điều kiện hóa dựa trên cả trạng thái hiện tại và chiến lược toàn cục này.
Huấn luyện phân cấp kiểu GRPO: Xây dựng một cấu trúc rollout hai cấp. Cấp chiến lược so sánh nhiều chiến lược khác nhau để tìm ra kế hoạch tốt nhất. Cấp hành động so sánh nhiều lần thực thi dưới cùng một chiến lược để tìm ra cách thực hiện tốt nhất. Phần thưởng cho chiến lược được tính dựa trên hiệu suất của các lần thực thi tốt nhất của nó.
Hai kỹ thuật bổ trợ:
- Diverse Strategy Rollout: Sử dụng phương pháp lấy mẫu điểm xa nhất (farthest point sampling) để chọn ra một tập các chiến lược đa dạng về mặt ngữ nghĩa, giúp mở rộng không gian khám phá.
- Critical Self-Judgment: Sau mỗi lần thực thi, tác nhân tự đánh giá lại toàn bộ quá trình để phạt những hành động không tuân theo chiến lược hoặc không đóng góp vào tiến độ, giúp việc phân bổ tín nhiệm chi tiết hơn.

III. Main Results:

StraTA đã được thử nghiệm trên ba benchmark đại diện cho các tác vụ dài hạn và cho thấy hiệu suất vượt trội so với các mô hình nguồn đóng mạnh mẽ và các phương pháp học tăng cường (RL) khác:

ALFWorld: Đạt tỷ lệ thành công 90.7% với mô hình nền 1.5B và 93.1% với mô hình 7B, vượt qua GPT-5.1 (55.7%) và các phương pháp RL như GiGPO (90.8%).
WebShop: Đạt tỷ lệ thành công 82.5% (1.5B) và 84.2% (7B), cải thiện đáng kể so với GiGPO (65.0% và 72.8%).
SciWorld: Đạt điểm tổng thể 63.5%, vượt qua các mô hình nguồn đóng như Claude-4-Sonnet (57.4%) và các mô hình RL khác như ScalingInter (57.0%). Đặc biệt đạt điểm tuyệt đối 100.0% ở hạng mục Lifespan.
Nghiên cứu cắt bỏ (Ablation Study): Cả hai kỹ thuật 'Diverse Strategy Rollout' và 'Critical Self-Judgment' đều đóng góp một cách trực giao vào việc cải thiện hiệu suất và tốc độ hội tụ.

IV. Conclusion & Future Works:

Kết luận: StraTA là một framework đơn giản nhưng hiệu quả, giải quyết các hạn chế của tác nhân phản ứng bằng cách đưa ra một chiến lược tường minh ở cấp độ quỹ đạo. Bằng cách phân tách việc ra quyết định thành lập chiến lược và thực thi hành động, cùng với các kỹ thuật cải thiện khám phá và phân bổ tín nhiệm, StraTA đạt được hiệu suất hàng đầu trên các tác vụ dài hạn phức tạp.

Hướng nghiên cứu tương lai:

Mở rộng khả năng thích ứng chiến lược động, cho phép tác nhân cập nhật hoặc thay đổi chiến lược giữa chừng khi gặp tình huống bất ngờ thay vì cố định một chiến lược từ đầu.
Tích hợp cơ chế tự phản biện (self-judgment) vào quá trình huấn luyện để tạo ra phần thưởng nội tại, giúp tác nhân có thể tiếp tục học hỏi và cải thiện ngay cả khi không có phần thưởng từ môi trường.

V. Brainstorming Space:

1. Publish Papers:

StraTA-Adaptive: Dynamic Strategy Adjustment for Non-Stationary Agentic Environments Nghiên cứu này sẽ mở rộng StraTA bằng cách cho phép tác nhân không chỉ tạo ra một chiến lược cố định từ đầu mà còn có khả năng chủ động phát hiện sự sai lệch giữa chiến lược và tình hình thực tế, từ đó tạo ra một chiến lược con hoặc điều chỉnh chiến lược hiện tại một cách linh hoạt. Điều này rất quan trọng trong các môi trường động, nơi các sự kiện không lường trước có thể xảy ra.
Multi-Strategy Debate and Synthesis for Robust LLM Agent Planning Thay vì chỉ chọn một chiến lược từ một tập đa dạng, nghiên cứu này sẽ phát triển một cơ chế để tác nhân tự động tổng hợp điểm mạnh của nhiều chiến lược khác nhau thành một kế hoạch hành động lai (hybrid plan). Các chiến lược sẽ được cho

2. Patent:

Hệ thống trợ lý ảo trên điện thoại có khả năng lập kế hoạch chủ động cho tác vụ phức tạp Phát minh này áp dụng cơ chế của StraTA vào trợ lý ảo trên điện thoại thông minh. Khi người dùng đưa ra một yêu cầu phức tạp, nhiều bước (ví dụ: "Lên kế hoạch cho một chuyến du lịch cuối tuần với ngân sách X"), trợ lý sẽ không thực hiện ngay lập tức từng bước một. Thay vào đó, nó sẽ tạo ra một vài "chiến lược" khác nhau (ví dụ: chiến lược tiết kiệm, chiến lược sang trọng, chiến lược khám phá), hiển thị cho người dùng chọn, và sau đó tự động thực thi toàn bộ chuỗi hành động (đặt vé, đặt phòng, tìm nhà hàng) theo đúng chiến lược đã chọn. Điều này giúp trợ lý hành động nhất quán và có mục đích hơn, thay vì chỉ phản ứng với từng câu lệnh nhỏ lẻ.
Phương pháp tự động hóa kiểm thử ứng dụng di động bằng tác nhân thông minh có chiến lược Sử dụng mô hình tương tự StraTA để tự động hóa việc kiểm thử phần mềm trên điện thoại. Thay vì viết kịch bản kiểm thử cứng nhắc, một "tác nhân kiểm thử" sẽ nhận mô tả tính năng cần kiểm tra, tự sinh ra một tập các chiến lược kiểm thử đa dạng (ví dụ: chiến lược tập trung vào luồng chính, chiến lược cố tình nhập sai dữ liệu, chiến lược kiểm tra các trường hợp biên). Tác nhân sẽ thực thi từng chiến lược trên ứng dụng và báo cáo lỗi. Cơ chế tự phán xét (self-judgment) sẽ giúp xác định chính xác bước hành động nào gây ra lỗi, giúp lập trình viên tiết kiệm thời gian gỡ lỗi.
Cơ chế tiết kiệm pin và tài nguyên cho tác nhân AI trên thiết bị di động thông qua trừu tượng hóa chiến lược Một phát minh tập trung vào việc tối ưu hóa hiệu năng cho các mô hình AI chạy ngay trên điện thoại. Khi thực hiện một tác vụ dài hơi, mô hình sẽ sử dụng một mô hình nhẹ hơn để tạo ra "chiến lược cấp cao". Sau đó, một mô hình mạnh hơn nhưng tốn năng lượng hơn sẽ được "đánh thức" theo từng bước để thực thi hành động dựa trên chiến lược đó. Vì chiến lược đã được định sẵn, mô hình thực thi không cần phải suy nghĩ lại về mục tiêu tổng thể, giúp giảm độ trễ và tiêu thụ năng lượng đáng kể cho mỗi bước hành động, kéo dài thời lượng pin khi sử dụng các ứng dụng AI phức tạp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.06642
ArXiv Abstract	https://arxiv.org/abs/2605.06642
PDF Download	https://arxiv.org/pdf/2605.06642.pdf
Github Repository	https://github.com/xxyQwQ/StraTA

13. Auto Research with Specialist Agents Develops Effective and Non-Trivial Training Recipes (11 votes)

Tác giả: Jingjie Ning, Xiaochuan Li, Ji Zeng, Hao Kang, Chenyan Xiong

Xuất bản lúc: 2026-05-07

Tag: Agentic AI, AutoML, LLMs, Multi-Agent Systems, Training Recipes, Closed-Loop Research, Parameter Optimization, Compute-Budgeted Training

I. Main Problem:

Quá trình nghiên cứu máy học truyền thống dựa vào con người để đề xuất giả thuyết, chỉnh sửa mã nguồn, chạy thí nghiệm và phân tích kết quả, tạo ra một vòng lặp chậm và không liên tục. Các tác nhân ngôn ngữ hiện tại thường chỉ tạo ra đề xuất một lần hoặc báo cáo tường thuật, thiếu khả năng tự động duy trì một vòng lặp thực nghiệm khép kín, nơi kết quả đo lường bên ngoài (bao gồm cả thất bại) được sử dụng để định hình các đề xuất tiếp theo.

II. Main Idea:

Bài báo định nghĩa "nghiên cứu tự động" là một quỹ đạo kiểm toán được ghi lại bởi các thử nghiệm đã nộp. Mỗi thử nghiệm bao gồm một giả thuyết, một chỉnh sửa mã nguồn thực thi, một kết quả từ hệ thống đánh giá bên ngoài và phản hồi. Hệ thống sử dụng một tập hợp các tác nhân chuyên biệt (specialist agents), mỗi tác nhân tập trung vào một khía cạnh của công thức huấn luyện (như kiến trúc, tối ưu hóa, hệ thống). Các tác nhân này chia sẻ một "dòng dõi" (lineage) chung, ghi lại lịch sử các thử nghiệm, điểm số và thất bại. Phản hồi từ dòng dõi này cho phép các tác nhân biến các kết quả đo lường (kể cả lỗi, vượt ngân sách, hoặc không đạt ngưỡng độ chính xác) thành các chỉnh sửa mã cấp chương trình cho các đề xuất sau, thay vì chỉ là các gợi ý một lần. Con người không can thiệp vào việc lựa chọn thử nghiệm hay sửa lỗi trong quá trình tìm kiếm sau khi thiết lập ban đầu.

III. Main Results:

Trên ba môi trường thử nghiệm, vòng lặp tự động đã cải thiện đáng kể các công thức huấn luyện cơ sở:

Parameter Golf: Giảm 0.81% điểm validation bpb (bits per byte) so với điểm khởi đầu, với các cải tiến về kiến trúc và lượng tử hóa.
NanoChat-D12: Tăng 38.7% điểm CORE (điểm đánh giá mô hình ngôn ngữ) bằng cách chẩn đoán và sửa lỗi đường dẫn nhân attention, giải phóng thời gian để huấn luyện với nhiều token hơn.
CIFAR-10 Airbench96: Giảm 4.59% thời gian huấn luyện (wallclock) trong khi vẫn đáp ứng ngưỡng độ chính xác 0.96. Các thí nghiệm kiểm soát trên Parameter Golf cho thấy phản hồi dòng dõi (lineage feedback) là cơ chế then chốt: nếu không có nó, số lượng cải tiến hợp lệ giảm mạnh từ 16 xuống còn 3. Việc phân chia vai trò chuyên biệt giúp tăng tính đa dạng của các đề xuất và kỷ luật biên, tránh việc lặp lại các ý tưởng giống nhau.

IV. Conclusion & Future Works:

Nghiên cứu tự động dưới dạng một vòng lặp thực nghiệm khép kín là hữu ích và có thể đo lường được khi môi trường sở hữu thước đo, chi phí cho mỗi thử nghiệm được giới hạn, và kết quả trả về đủ nhanh để ảnh hưởng đến các đề xuất tiếp theo. Các tác nhân hiện tại hoạt động tốt ở mức độ kết hợp và sửa chữa các kỹ thuật đã biết, nhưng chưa tạo ra được các phát minh kiến trúc mang tính đột phá. Công việc tương lai bao gồm việc áp dụng vòng lặp này cho các môi trường khác (như xử lý ảnh, giọng nói, học tăng cường), chạy các thử nghiệm dài hơn trong nhiều tuần để khám phá sự kết hợp chéo giữa các vai trò, và phát triển các tác nhân mạnh hơn có khả năng đề xuất các ý tưởng ở cấp độ mô hình (paradigm-level).

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu Tự động cho Bài toán Tối ưu hóa Đa Mục tiêu trong Huấn luyện Mô hình Ngôn ngữ Lớn: Mở rộng vòng lặp tác nhân chuyên biệt để xử lý đồng thời nhiều mục tiêu xung đột, chẳng hạn như độ chính xác, độ trễ suy luận và mức tiêu thụ bộ nhớ, bằng cách sử dụng một cơ chế dòng dõi đa chiều để theo dõi biên Pareto.
Phân tích Hành vi và Tính An toàn của Tác nhân trong Vòng lặp Nghiên cứu Khép kín Dài hạn: Nghiên cứu chuyên sâu về hành vi của các tác nhân ngôn ngữ trong các phiên nghiên cứu tự động kéo dài nhiều tuần, tập trung vào việc phát hiện các chiến lược "gian lận" (reward hacking) tinh vi, sự suy giảm chất lượng đề xuất và khả năng tự sửa chữa.
Từ Kết hợp đến Sáng tạo: Đánh giá Khả năng Đề xuất Mô hình Mới của Tác nhân Nghiên cứu Tự động: Xây dựng một bộ tiêu chí và môi trường thử nghiệm mới, nơi không gian giải pháp không chỉ giới hạn ở việc kết hợp các kỹ thuật đã biết, nhằm đánh giá và thúc đẩy khả năng của tác nhân trong việc phát minh ra các khối kiến trúc hoặc hàm mất mát hoàn toàn mới.

2. Patent:

Hệ thống Tự động Tối ưu Hóa Hiệu Năng và Pin cho Mô hình AI trên Điện thoại: Một ứng dụng trên điện thoại thông minh chạy nền, sử dụng vòng lặp tác nhân chuyên biệt để liên tục tinh chỉnh các công thức lượng tử hóa và cắt tỉa mô hình AI trên thiết bị. Hệ thống nhận phản hồi từ mức tiêu thụ pin, độ trễ và độ chính xác thực tế để tự động tìm ra cấu hình mô hình tối ưu nhất cho từng thói quen sử dụng của người dùng, đảm bảo mô hình chạy nhanh nhất mà không làm hao pin.
Phương pháp Cá nhân hóa Mô hình Ngôn ngữ trên Thiết bị Di động bằng Nghiên cứu Tự động: Một quy trình chạy trên điện thoại, tận dụng thời gian rảnh (cắm sạc qua đêm) để tự động tìm kiếm và thử nghiệm các công thức tinh chỉnh (fine-tuning) hiệu quả cho mô hình ngôn ngữ cá nhân. Tác nhân sẽ đề xuất và đánh giá các chỉnh sửa kiến trúc nhỏ hoặc chiến lược huấn luyện dựa trên dữ liệu cá nhân của người dùng, nhằm tạo ra một trợ lý ảo có khả năng dự đoán văn bản và phản hồi chính xác hơn theo phong cách cá nhân, mà không cần gửi dữ liệu lên máy chủ.
Công cụ Sửa lỗi và Tăng tốc Ứng dụng Thị giác Máy tính Tự động trên Điện thoại: Một công cụ phát triển phần mềm (SDK) tích hợp vào ứng dụng camera trên điện thoại. Khi một tính năng thị giác máy tính mới (ví dụ: xóa phông, nhận diện cử chỉ) hoạt động chậm hoặc bị lỗi, vòng lặp nghiên cứu tự động sẽ được kích hoạt. Nó sẽ phân tích các lỗi và điểm nghẽn hiệu năng, sau đó tự động đề xuất và kiểm tra các chỉnh sửa mã nguồn cấp thấp (như thay đổi kernel xử lý hoặc độ phân giải đầu vào) để vừa sửa lỗi, vừa tối ưu tốc độ khung hình mà không cần lập trình viên can thiệp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.05724
ArXiv Abstract	https://arxiv.org/abs/2605.05724
PDF Download	https://arxiv.org/pdf/2605.05724.pdf
Github Repository	https://github.com/cxcscmu/Auto-Research-Recipes

14. A^2TGPO: Agentic Turn-Group Policy Optimization with Adaptive Turn-level Clipping (10 votes)

Tác giả: Dingwei Chen, Zefang Zong, Zhipeng Ma, Leo Luo, Yang Li, Chengming Li, Peng Chen, Jie Jiang

Xuất bản lúc: 2026-05-07

Tag: Reinforcement Learning, LLMs, Agentic AI, Credit Assignment, Policy Optimization, Information Gain

I. Main Problem:

Huấn luyện tăng cường cho các mô hình ngôn ngữ lớn dạng tác tử (agentic LLMs) thường chỉ dựa vào phần thưởng kết quả cuối cùng, gây khó khăn trong việc đánh giá đóng góp của từng lượt gọi công cụ (tool-call) trong các tương tác nhiều lượt. Các phương pháp gán điểm quá trình (process credit assignment) hiện có hoặc cần mô hình đánh giá ngoài, hoặc chỉ phân phối lại tín hiệu kết quả và hạn chế sự đa dạng của quỹ đạo. Việc sử dụng tín hiệu Information Gain (IG) nội tại gặp ba thách thức: (1) chuẩn hóa gộp chung các lượt ở các vị trí khác nhau làm sai lệch vị thế tương đối; (2) tích lũy chiết khấu với số lượng số hạng thay đổi khiến độ lớn lợi thế (advantage) không đồng nhất giữa các độ sâu quỹ đạo; (3) phạm vi cắt tỉa (clipping range) cố định không phân biệt được các lượt có mức độ thông tin khác nhau.

II. Main Idea:

Đề xuất A²TGPO, một phương pháp tối ưu chính sách nhóm theo lượt của tác tử với cắt tỉa thích ứng ở cấp độ lượt. Phương pháp này tái thiết kế cách sử dụng tín hiệu Information Gain (IG) bằng ba kỹ thuật chính: (1) Chuẩn hóa nhóm theo lượt (Turn-Group Normalization) để so sánh IG chỉ trong cùng một vị trí lượt (cùng prompt và chỉ số lượt), loại bỏ sự không thể so sánh giữa các vị trí khác nhau. (2) Tích lũy chiết khấu được tái chuẩn hóa phương sai (Variance-Rescaled Discounted Accumulation) bằng cách chia tổng IG tích lũy cho căn bậc hai của số số hạng, giữ cho độ lớn lợi thế ổn định bất kể độ sâu quỹ đạo. (3) Cắt tỉa thích ứng cấp độ lượt (Adaptive Turn-level Clipping) điều chỉnh phạm vi cắt tỉa của mỗi lượt dựa trên IG đã chuẩn hóa, mở rộng vùng cập nhật cho các lượt giàu thông tin và thu hẹp cho các lượt kém thông tin.

III. Main Results:

A²TGPO được đánh giá trên bảy bộ dữ liệu hỏi đáp đơn bước và đa bước (HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle, NQ, TriviaQA, PopQA) với ba mô hình nền (Qwen3-4B, Qwen3-8B, Qwen2.5-7B). Kết quả cho thấy A²TGPO vượt trội hơn hẳn các phương pháp RL hiện có, với mức cải thiện trung bình +1.75 điểm trên các tác vụ đa bước và +1.69 điểm trên các tác vụ đơn bước. Phân tích cho thấy A²TGPO duy trì được entropy chính sách cân bằng trong suốt quá trình huấn luyện, tránh được hiện tượng sụp đổ entropy hoặc mất ổn định. Nghiên cứu cắt bỏ (ablation study) xác nhận mỗi thành phần (chuẩn hóa nhóm, tái chuẩn hóa phương sai, cắt tỉa thích ứng) đều đóng góp gia tăng riêng biệt vào hiệu suất tổng thể.

IV. Conclusion & Future Works:

A²TGPO đã chứng minh rằng việc thiết kế lại cách chuẩn hóa, tích lũy và tiêu thụ tín hiệu Information Gain nội tại có thể mang lại sự ổn định và hiệu quả vượt trội trong việc gán điểm quá trình cho huấn luyện tác tử LLM, mà không cần bất kỳ mô hình đánh giá ngoài nào. Các hướng nghiên cứu trong tương lai bao gồm: mở rộng khung làm việc cho các bộ công cụ đa dạng hơn và các tác vụ tác tử có tầm nhìn dài hạn hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng A²TGPO cho môi trường đa tác tử (multi-agent), nơi tín hiệu Information Gain có thể được tính toán không chỉ dựa trên lượt của một tác tử mà còn dựa trên tương tác giữa các tác tử, từ đó giải quyết bài toán gán điểm quá trình phức tạp hơn trong các hệ thống cộng tác.
Nghiên cứu kết hợp A²TGPO với các kỹ thuật tìm kiếm cây (tree search) để cải thiện khả năng khám phá trong không gian hành động lớn, sử dụng tín hiệu IG đã chuẩn hóa theo nhóm để hướng dẫn việc mở rộng và cắt tỉa cây tìm kiếm một cách hiệu quả.
Phát triển một phiên bản A²TGPO có khả năng học tăng cường từ phản hồi của con người (RLHF), trong đó tín hiệu IG nội tại được kết hợp với phản hồi từ con người ở cấp độ lượt để tạo ra một tín hiệu quá trình mạnh mẽ và phù hợp với đánh giá chủ quan hơn.

2. Patent:

Hệ thống trợ lý ảo trên điện thoại thông minh có khả năng tự đánh giá hiệu quả từng bước thao tác: Khi người dùng yêu cầu một tác vụ phức tạp (ví dụ: "đặt vé xem phim, đặt nhà hàng gần rạp và gửi lịch hẹn cho bạn"), trợ lý sẽ thực hiện nhiều lượt tương tác với các ứng dụng khác nhau. Hệ thống sử dụng cơ chế của A²TGPO để tự động đánh giá mức độ hữu ích của mỗi thao tác (như tìm kiếm phim, kiểm tra lịch chiếu, tìm nhà hàng) mà không cần máy chủ đám mây đánh giá lại. Các thao tác được xác định là kém hiệu quả sẽ tự động bị hạn chế cập nhật trong mô hình hành vi trên thiết bị, giúp trợ lý ngày càng thông minh và tiết kiệm tài nguyên tính toán cũng như pin.
Phương pháp tối ưu hóa mức tiêu thụ năng lượng cho các tác vụ AI trên thiết bị di động dựa trên độ tin cậy của từng bước xử lý: Trong một tác vụ nhiều bước như chụp ảnh và tự động chỉnh sửa, mô hình AI trên điện thoại sẽ thực hiện nhiều bước (nhận diện cảnh, điều chỉnh phơi sáng, xóa vật thể thừa, v.v.). Sử dụng nguyên lý "cắt tỉa thích ứng" của A²TGPO, hệ thống sẽ dự đoán mức độ đóng góp của từng bước vào kết quả cuối cùng. Những bước có đóng góp thấp sẽ được thực thi với độ chính xác thấp hơn (ví dụ: sử dụng mô hình INT8 thay vì FP16) hoặc bị bỏ qua để tiết kiệm năng lượng và thời gian xử lý.
Cơ chế gợi ý chủ động trên thiết bị di động dựa trên phân tích tầm quan trọng của ngữ cảnh tương tác: Khi người dùng đang chat với một AI, mỗi tin nhắn của AI có thể chứa nhiều đề xuất hoặc hành động. Hệ thống sử dụng kỹ thuật "chuẩn hóa nhóm theo vị trí" của A²TGPO để so sánh mức độ thông tin mà mỗi đề xuất mang lại so với các đề xuất khác ở cùng "độ sâu" của cuộc hội thoại. Các đề xuất thực sự có giá trị cao sẽ được hiển thị nổi bật, trong khi các đề xuất ít thông tin hơn sẽ được ẩn bớt hoặc hiển thị dưới dạng rút gọn, giúp giao diện gọn gàng và giảm sự phân tâm cho người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.06200
ArXiv Abstract	https://arxiv.org/abs/2605.06200
PDF Download	https://arxiv.org/pdf/2605.06200.pdf
Github Repository	https://github.com/CuSO4-Chen/A-TGPO

📰 Summary of Papers​

1. Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning (56 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction (51 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Continuous Latent Diffusion Language Model (46 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. MiA-Signature: Approximating Global Activation for Long-Context Understanding (41 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation (37 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. MARBLE: Multi-Aspect Reward Balance for Diffusion RL (34 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. When to Trust Imagination: Adaptive Action Execution for World Action Models (34 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. Continuous-Time Distribution Matching for Few-Step Diffusion Distillation (24 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Nonsense Helps: Prompt Space Perturbation Broadens Reasoning Exploration (23 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning (56 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction (51 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Continuous Latent Diffusion Language Model (46 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. MiA-Signature: Approximating Global Activation for Long-Context Understanding (41 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation (37 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. MARBLE: Multi-Aspect Reward Balance for Diffusion RL (34 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. When to Trust Imagination: Adaptive Action Execution for World Action Models (34 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. Continuous-Time Distribution Matching for Few-Step Diffusion Distillation (24 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Nonsense Helps: Prompt Space Perturbation Broadens Reasoning Exploration (23 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: