🤗 Daily Hugging Face Paper Digest - 2026-05-26

Báo cáo được tạo tự động vào lúc 2026-05-27 11:43:28 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers

1. DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning (117 votes)

Tác giả: Guochao Jiang, Jingyi Song, Guofeng Quan, Chuzhan Hao, Guohua Liu, Yuewei Zhang

Xuất bản lúc: 2026-05-25

Tag: GRPO, Multi-Reward RL, Reinforcement Learning, LLM Alignment, Advantage Optimization, Pareto Frontier

I. Main Problem:

Các phương pháp chuẩn hóa hiện tại (Reward Combination và Advantage Combination) trong Group Relative Policy Optimization (GRPO) cho môi trường đa phần thưởng có những hạn chế nghiêm trọng: Reward Combination tạo ra các lợi thế (advantage) có độ lớn bình phương quá lớn dẫn đến mất ổn định huấn luyện, trong khi Advantage Combination phụ thuộc vào siêu tham số tĩnh và bỏ qua mối tương quan giữa các mục tiêu, dẫn đến sự đánh đổi tối ưu kém.

II. Main Idea:

Bài báo đề xuất Dynamic Variance-adaptive Advantage Optimization (DV AO), một phương pháp điều chỉnh trọng số kết hợp một cách động dựa trên phương sai thực nghiệm của từng phần thưởng trong một nhóm rollout. Phương pháp này tự động tăng trọng số cho các mục tiêu có phương sai cao (tín hiệu học tập mạnh) và giảm trọng số cho các mục tiêu nhiễu có phương sai thấp. DV AO được chứng minh toán học là duy trì độ lớn lợi thế bị chặn để huấn luyện ổn định và giới thiệu một cơ chế chính quy hóa chéo mục tiêu tự thích ứng.

III. Main Results:

Trên các benchmark suy luận toán học (AIME-2024, AIME-2025, MATH500, OlympiadBench, AMC23) và sử dụng công cụ (BFCL-v4) với các mô hình Qwen3 và Qwen2.5, DV AO vượt trội so với các phương pháp cơ sở (RC, AC, GDPO). Cụ thể, DV AO đạt độ chính xác trung bình cao nhất (ví dụ: 42.19% so với 38.99% của RC trên Qwen3-4B) và tỷ lệ tuân thủ độ dài/định dạng gần như hoàn hảo (99.91% so với 96.39% của RC). Trên biểu đồ Pareto, DV AO chiếm ưu thế hoàn toàn ở vùng trên cùng bên phải, cho thấy sự cân bằng vượt trội giữa độ chính xác và các ràng buộc phụ.

IV. Conclusion & Future Works:

DV AO giải quyết các hạn chế cố hữu của các phương pháp chuẩn hóa hiện tại bằng cách điều chỉnh trọng số động dựa trên phương sai, đạt được chính sách tối ưu Pareto vượt trội mà không cần siêu tham số cố định. Hướng nghiên cứu tương lai bao gồm mở rộng DV AO cho môi trường có số lượng lớn hàm thưởng xung đột và mở rộng cơ chế thích ứng phương sai sang các mô hình alignment rộng hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng DV AO cho môi trường có số lượng lớn hàm thưởng xung đột (ví dụ: >10 mục tiêu) và đánh giá hiệu suất trên các tác vụ phức tạp như lập kế hoạch đa bước hoặc đối thoại nhiều vòng.
Kết hợp DV AO với các kỹ thuật học tăng cường khác như học đối kháng (Adversarial RL) hoặc học bắt chước (Imitation Learning) để cải thiện khả năng khám phá và tránh tối ưu cục bộ.
Nghiên cứu cơ chế thích ứng phương sai cho các mô hình alignment rộng hơn ngoài GRPO, chẳng hạn như trong PPO hoặc các phương pháp học tăng cường dựa trên mô hình (model-based RL).

2. Patent:

Phương pháp tối ưu hóa trợ lý ảo trên điện thoại thông minh: Sử dụng DV AO để huấn luyện trợ lý ảo trên điện thoại thông minh nhằm cân bằng giữa độ chính xác của câu trả lời và độ dài phản hồi. Ví dụ, khi người dùng hỏi về thời tiết, trợ lý sẽ đưa ra câu trả lời ngắn gọn, chính xác thay vì một đoạn văn dài. Hệ thống sẽ tự động điều chỉnh trọng số giữa độ chính xác và độ dài dựa trên phản hồi của người dùng (ví dụ: nếu người dùng thường xuyên yêu cầu câu trả lời ngắn hơn, trọng số cho độ dài sẽ tăng lên).
Hệ thống đề xuất nội dung trên thiết bị di động: Áp dụng DV AO để huấn luyện mô hình đề xuất nội dung (ví dụ: tin tức, video ngắn) trên điện thoại thông minh, cân bằng giữa độ liên quan của nội dung và sự đa dạng của các đề xuất. Ví dụ, hệ thống sẽ ưu tiên các video có liên quan cao nhưng cũng đảm bảo không lặp lại cùng một chủ đề quá nhiều lần. DV AO sẽ tự động điều chỉnh trọng số dựa trên hành vi của người dùng (ví dụ: nếu người dùng thường xuyên bỏ qua các video cùng chủ đề, trọng số cho sự đa dạng sẽ tăng lên).
Công cụ chỉnh sửa ảnh thông minh trên điện thoại: Sử dụng DV AO để huấn luyện mô hình chỉnh sửa ảnh tự động trên điện thoại thông minh, cân bằng giữa chất lượng ảnh (ví dụ: độ sắc nét, màu sắc tự nhiên) và tốc độ xử lý. Ví dụ, khi người dùng chụp ảnh trong điều kiện thiếu sáng, hệ thống sẽ tự động điều chỉnh độ sáng và giảm nhiễu, nhưng cũng đảm bảo quá trình xử lý diễn ra nhanh chóng để không làm gián đoạn trải nghiệm người dùng. DV AO sẽ tự động điều chỉnh trọng số dựa trên điều kiện ánh sáng và loại ảnh (ví dụ: nếu ảnh chụp phong cảnh, trọng số cho chất lượng sẽ cao hơn so với ảnh selfie).

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.25604
ArXiv Abstract	https://arxiv.org/abs/2605.25604
PDF Download	https://arxiv.org/pdf/2605.25604.pdf
Github Repository	N/A

2. WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation (89 votes)

Tác giả: Kaining Ying, Hengrui Hu, Siyu Ren, Jiamu Li, Fengjiao Chen, Ziwen Wang, Xuezhi Cao, Xunliang Cai, Henghui Ding

Xuất bản lúc: 2026-05-25

Tag: Interactive Video World Model, Benchmark, Multi-turn Evaluation, Navigation, Video Generation, World Model, Consistency, Physics Compliance

I. Main Problem:

Các mô hình thế giới tương tác (Interactive World Models) đang phát triển nhanh chóng, nhưng các chuẩn đánh giá hiện tại chỉ bao phủ một phần các năng lực cần thiết, thiếu một tiêu chuẩn thống nhất để đánh giá một cách có hệ thống. Cụ thể, chưa có chuẩn nào bao gồm đồng thời các khía cạnh: (i) cảnh đa dạng, (ii) cả góc nhìn thứ nhất và thứ ba, (iii) bốn loại tương tác (điều hướng, hành động chủ thể, chỉnh sửa sự kiện, chuyển đổi góc nhìn), và (iv) đánh giá đa lượt (multi-turn) về tính nhất quán và tuân thủ vật lý.

II. Main Idea:

Bài báo giới thiệu WBENCH, một chuẩn đánh giá toàn diện, đa lượt dành cho các mô hình thế giới tương tác. WBENCH đánh giá các mô hình dựa trên năm khía cạnh chính: chất lượng video, độ tuân thủ cài đặt, độ tuân thủ tương tác, tính nhất quán và tuân thủ vật lý. Chuẩn này bao gồm 289 trường hợp kiểm tra với 1,058 lượt tương tác, bao phủ nhiều bối cảnh, phong cách, chủ thể và góc nhìn khác nhau. Đặc biệt, WBENCH thống nhất ba loại điều khiển điều hướng (văn bản, tư thế 6-DoF và hành động rời rạc) để cho phép so sánh công bằng giữa các mô hình có giao diện đầu vào khác nhau. Việc đánh giá sử dụng 22 chỉ số phụ tự động, kết hợp các mô hình thị giác chuyên dụng và các mô hình đa phương thức lớn.

III. Main Results:

Kết quả thử nghiệm trên 20 mô hình hiện đại cho thấy: 1) Không có mô hình nào vượt trội trên tất cả năm khía cạnh. 2) Khả năng điều hướng phần lớn độc lập với các khía cạnh khác. 3) Điều khiển camera và tính nhất quán về góc nhìn là hai năng lực riêng biệt. 4) Tính chính xác về vật lý có tương quan với chất lượng kết xuất hơn là khả năng điều khiển. 5) Độ khó của chuẩn được cấu trúc bởi góc nhìn, loại cảnh và loại chủ thể. 6) Bốn loại tương tác suy giảm không đồng đều qua các lượt, trong đó điều hướng là dễ bị ảnh hưởng nhất.

IV. Conclusion & Future Works:

WBENCH cung cấp một chuẩn đánh giá thống nhất và toàn diện, thiết lập các đường cơ sở chẩn đoán và đưa ra những hiểu biết sâu sắc có thể hành động cho sự phát triển mô hình trong tương lai. Các hướng nghiên cứu trong tương lai có thể bao gồm mở rộng chuẩn với nhiều loại tương tác và bối cảnh phức tạp hơn, cũng như phát triển các mô hình có khả năng duy trì tính nhất quán và tuân thủ vật lý tốt hơn qua nhiều lượt tương tác.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về mô hình thế giới tương tác đa phương thức cho điều hướng trong môi trường phức tạp: Phát triển một mô hình mới có thể kết hợp hiệu quả các tín hiệu điều khiển từ văn bản, tư thế camera và hành động rời rạc để cải thiện độ chính xác và tính mượt mà của điều hướng trong các cảnh đô thị đông đúc.
Phân tích sự suy giảm hiệu suất của các mô hình thế giới tương tác theo thời gian: Thực hiện một nghiên cứu chuyên sâu về nguyên nhân và cơ chế dẫn đến sự suy giảm chất lượng của các tương tác, đặc biệt là điều hướng, qua nhiều lượt, từ đó đề xuất các kiến trúc mới để cải thiện trí nhớ không gian và tính nhất quán dài hạn.
Xây dựng một chuẩn đánh giá mới cho các mô hình thế giới tương tác tập trung vào tính nhân quả và vật lý: Mở rộng WBENCH với các trường hợp kiểm tra phức tạp hơn về mặt vật lý, chẳng hạn như tương tác với chất lỏng, biến dạng vật thể mềm và các chuỗi hành động có quan hệ nhân quả chặt chẽ, để đánh giá khả năng mô phỏng thế giới thực của các mô hình.

2. Patent:

Phương pháp và hệ thống điều khiển camera thông minh trên điện thoại di động dựa trên mô hình thế giới tương tác: Sử dụng mô hình thế giới tương tác để dự đoán và đề xuất các góc quay camera tối ưu cho người dùng khi quay video. Người dùng có thể nhập một hành động bằng văn bản như 'lùi lại và quay sang trái' và điện thoại sẽ tự động điều chỉnh góc quay, giúp tạo ra các thước phim chuyên nghiệp mà không cần kiến thức về kỹ thuật quay phim.
Ứng dụng mô hình thế giới tương tác để tạo nội dung thực tế ảo (VR) và thực tế tăng cường (AR) trên thiết bị di động: Hệ thống cho phép người dùng tương tác với các đối tượng ảo trong thế giới thực thông qua camera điện thoại. Mô hình sẽ dự đoán cách các đối tượng ảo thay đổi dựa trên hành động của người dùng (ví dụ: di chuyển, xoay, chạm), tạo ra trải nghiệm AR/VR nhập vai và chân thực hơn.
Hỗ trợ chỉnh sửa video thông minh trên điện thoại di động bằng mô hình thế giới tương tác: Cho phép người dùng chỉnh sửa video đã quay bằng các lệnh ngôn ngữ tự nhiên, chẳng hạn như 'thêm một chiếc trực thăng bay ngang qua', 'chuyển cảnh từ ngày sang đêm' hoặc 'thay đổi góc nhìn từ ngôi thứ nhất sang ngôi thứ ba'. Mô hình thế giới tương tác sẽ tự động tạo ra các khung hình mới phù hợp với ngữ cảnh và hành động chỉnh sửa, giúp việc chỉnh sửa video trở nên trực quan và dễ dàng hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.25874
ArXiv Abstract	https://arxiv.org/abs/2605.25874
PDF Download	https://arxiv.org/pdf/2605.25874.pdf
Github Repository	https://github.com/meituan-longcat/WBench

3. Macaron-A2UI: A Model for Generative UI in Personal Agents (67 votes)

Tác giả: Fancy Kong, Congjie Zheng, Murphy Zhuang, Rio Yang, Sueky Zhang, Hao Fu, Gene Jin, Song Cao, Kaijie Chen, Andrew Chen, Pony Ma

Xuất bản lúc: 2026-05-24

Tag: Generative UI, Personal Agents, Large Language Models, LoRA, Reinforcement Learning, A2UI

I. Main Problem:

Các tác nhân cá nhân hiện tại chủ yếu giao tiếp qua văn bản tĩnh, gây khó khăn và tốn kém về mặt nhận thức khi xử lý các tác vụ phức tạp như thu thập thông tin, so sánh lựa chọn, xác nhận quyết định hoặc tổ chức nhiều mục tiêu. Thiếu một phương pháp thống nhất để tạo giao diện người dùng (UI) linh hoạt, có thể thực thi được từ phía trợ lý, thay vì chỉ dựa vào hội thoại văn bản thuần túy.

II. Main Idea:

Bài báo đề xuất Macaron-A2UI, một mô hình cho phép các tác nhân cá nhân tạo ra giao diện người dùng tương tác (Generative UI) một cách linh hoạt. Mô hình này sử dụng giao thức A2UI khai báo để tạo ra các chuỗi hành động UI có thể thực thi, kết hợp với văn bản tự nhiên. Quá trình huấn luyện gồm hai giai đoạn tiết kiệm tham số: đầu tiên là tinh chỉnh có giám sát (SFT) với LoRA để thiết lập nền tảng văn bản-UI, sau đó là học tăng cường (RL) với GRPO để cải thiện chất lượng tương tác có thể thực thi. Mô hình được huấn luyện trên một kho dữ liệu lớn gồm hơn 14.000 mẫu được xây dựng từ bốn nguồn hội thoại khác nhau.

III. Main Results:

Mô hình Macaron-A2UI-Venti (754B tham số) đạt điểm tổng thể 75.6 trên chuẩn đánh giá A2UI-Bench mà không cần gợi ý schema rõ ràng, vượt qua các baseline mạnh nhất có schema đầy đủ. Huấn luyện SFT cải thiện đáng kể điểm số, và RL tiếp tục nâng cao chất lượng, đặc biệt là về tính hợp lệ của giao thức (L1) và chất lượng tương tác (L2, L3).

IV. Conclusion & Future Works:

Macaron-A2UI chứng minh rằng khả năng tạo UI có thể được nội tại hóa trong các mô hình ngôn ngữ lớn mà không cần schema dài dòng tại thời điểm suy luận. Hướng phát triển tương lai có thể bao gồm mở rộng kho dữ liệu với nhiều nguồn đa dạng hơn, cải thiện khả năng đa phương thức, và nghiên cứu các kiến trúc mô hình khác để tối ưu hóa hơn nữa chất lượng UI được tạo ra.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Macaron-A2UI để hỗ trợ tạo UI đa phương thức, kết hợp đầu vào từ giọng nói, hình ảnh và cử chỉ để tương tác phong phú hơn.

Hướng dẫn chi tiết: Nghiên cứu này sẽ tập trung vào việc tích hợp thêm các modality đầu vào như giọng nói (speech), hình ảnh (image), và cử chỉ (gesture) vào quy trình tạo UI. Mục tiêu là phát triển một mô hình có thể hiểu và phản hồi các yêu cầu phức tạp từ nhiều nguồn thông tin cùng lúc, từ đó tạo ra giao diện người dùng trực quan và hiệu quả hơn. Ví dụ, người dùng có thể nói 'Tìm cho tôi một nhà hàng Ý gần đây' và đồng thời chỉ vào một khu vực trên bản đồ. Mô hình sẽ kết hợp thông tin này để tạo ra một UI hiển thị danh sách các nhà hàng Ý lân cận với các tùy chọn lọc và đặt chỗ.

Tên bài báo đề xuất: Macaron-A2UI-Multimodal: Generative UI with Speech, Image, and Gesture Inputs 2. Nghiên cứu khả năng thích ứng miền (domain adaptation) của Macaron-A2UI, cho phép mô hình tạo UI hiệu quả trong các lĩnh vực mới mà không cần huấn luyện lại toàn bộ.

Hướng dẫn chi tiết: Bài báo này sẽ khám phá các kỹ thuật như fine-tuning theo miền (domain-specific fine-tuning) hoặc học vài mẫu (few-shot learning) để điều chỉnh Macaron-A2UI cho các lĩnh vực chuyên biệt như y tế, tài chính, giáo dục. Mục tiêu là xây dựng một hệ thống có thể nhanh chóng thích nghi với các thuật ngữ, quy trình và yêu cầu UI đặc thù của từng miền. Ví dụ, trong lĩnh vực y tế, mô hình có thể tạo ra các biểu mẫu thu thập triệu chứng, lịch hẹn khám bệnh, hoặc hiển thị kết quả xét nghiệm một cách trực quan.

Tên bài báo đề xuất: Domain-Adaptive Generative UI: Tailoring Macaron-A2UI for Specialized Fields 3. Phát triển một phương pháp đánh giá chất lượng UI từ góc nhìn người dùng (human-centric evaluation), tập trung vào các yếu tố như sự hài lòng, hiệu quả hoàn thành tác vụ và giảm tải nhận thức.

Hướng dẫn chi tiết: Nghiên cứu này sẽ thiết kế và tiến hành các thử nghiệm với người dùng thực để đánh giá chất lượng của UI do Macaron-A2UI tạo ra. Các thước đo sẽ bao gồm thời gian hoàn thành tác vụ, tỷ lệ lỗi, điểm hài lòng của người dùng (SUS - System Usability Scale), và các chỉ số sinh lý như nhịp tim hoặc chuyển động mắt để đo tải nhận thức. Kết quả sẽ cung cấp những hiểu biết sâu sắc về cách cải thiện mô hình để tạo ra UI không chỉ đúng về mặt kỹ thuật mà còn thân thiện và hiệu quả với người dùng.

Tên bài báo đề xuất: Beyond Technical Correctness: A Human-Centric Evaluation Framework for Generative UI

2. Patent:

Phương pháp và hệ thống tạo giao diện người dùng động trên thiết bị di động dựa trên ngữ cảnh hội thoại.

Giải thích: Sáng chế này mô tả một hệ thống trên điện thoại thông minh, nơi trợ lý ảo có thể tự động tạo ra các biểu mẫu, nút bấm, hoặc menu lựa chọn ngay trong khung chat dựa trên nội dung cuộc trò chuyện. Ví dụ, khi người dùng nói 'Đặt vé xem phim cho tôi tối nay', thay vì trả lời bằng văn bản dài dòng, trợ lý sẽ hiển thị ngay một giao diện nhỏ gọn với các trường chọn phim, giờ chiếu, số lượng vé và nút xác nhận. Điều này giúp người dùng tương tác nhanh hơn, giảm thiểu thao tác gõ phím và tăng tốc độ hoàn thành tác vụ. 2. Phương pháp tối ưu hóa giao diện người dùng được tạo động trên thiết bị di động bằng cách sử dụng học tăng cường dựa trên phản hồi của người dùng.

Giải thích: Sáng chế này tập trung vào việc cải thiện chất lượng giao diện do AI tạo ra trên điện thoại. Hệ thống sẽ theo dõi cách người dùng tương tác với các UI động (ví dụ: người dùng có nhấn nút 'Đặt vé' ngay lập tức hay không, họ có phải cuộn để tìm thông tin không). Dựa trên những hành vi này, hệ thống sử dụng thuật toán học tăng cường để tự động điều chỉnh thiết kế UI trong tương lai, chẳng hạn như ưu tiên hiển thị các tùy chọn phổ biến hơn, thay đổi kích thước nút bấm, hoặc sắp xếp lại bố cục để giúp người dùng hoàn thành tác vụ nhanh hơn và dễ dàng hơn. 3. Hệ thống và phương pháp tạo giao diện người dùng đa nhiệm trên thiết bị di động, cho phép người dùng thực hiện nhiều tác vụ liên quan trong một phiên tương tác duy nhất.

Giải thích: Sáng chế này giải quyết vấn đề khi người dùng muốn thực hiện nhiều việc cùng lúc, ví dụ vừa đặt vé máy bay vừa đặt khách sạn cho một chuyến đi. Thay vì tạo ra các UI riêng lẻ cho từng tác vụ, hệ thống sẽ tạo ra một giao diện tổng hợp, có tổ chức, ví dụ như một bảng điều khiển (dashboard) với các tab hoặc các phần riêng biệt cho 'Vé máy bay' và 'Khách sạn'. Người dùng có thể dễ dàng chuyển đổi giữa các tác vụ, xem thông tin tổng quan và hoàn thành tất cả trong một luồng tương tác mượt mà, không bị gián đoạn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.24830
ArXiv Abstract	https://arxiv.org/abs/2605.24830
PDF Download	https://arxiv.org/pdf/2605.24830.pdf
Github Repository	N/A

4. Foundation Protocol: A Coordination Layer for Agentic Society (59 votes)

Tác giả: Bang Liu, Yongfeng Gu, Jiayi Zhang, Zhaoyang Yu, Sirui Hong, Maojia Song, Xiaoqiang Wang, Mingyi Deng, Zijie Zhuang, Ronghao Wang, Mingzhe Cao, Yutong Zhu, Xingjian Li, Yifan Wu, Jianhao Ruan, Yiran Peng, Shuangrui Chen, Jinlin Wang, Yizhang Lin, Dongjie Zhang, Dekun Wu, Chen Ma, Lizi Liao, Han Yu, Jian Pei, Heng Ji, Qiang Yang, Yuyu Luo, Chenglin Wu

Xuất bản lúc: 2026-05-22

Tag: Agentic Society, Coordination Protocols, Multi-Agent Systems, AI Economy, Trust and Identity, Governance and Auditability

I. Main Problem:

Các hệ thống đa tác tử hiện tại thiếu một lớp phối hợp chung để quản lý danh tính, ủy quyền, trao đổi giá trị, chính sách và kiểm toán một cách nhất quán. Việc này dẫn đến sự phân mảnh, chi phí tích hợp cao và khó khăn trong việc mở rộng quy mô khi các tác tử tự động hình thành nhóm, giao dịch và hoạt động dưới sự giám sát thực tế.

II. Main Idea:

Bài báo giới thiệu Foundation Protocol (FP), một lớp phối hợp dạng đồ thị cho xã hội người-AI. FP thống nhất các thực thể không đồng nhất (tác tử, công cụ, con người, tổ chức) thành các nút trong đồ thị. Nó hỗ trợ tổ chức đa bên, cộng tác dựa trên sự kiện, cung cấp các nguyên thủy kinh tế (đo lường, biên lai, thanh toán) và coi chính sách, nguồn gốc và kiểm toán là những vấn đề ưu tiên hàng đầu. FP được thiết kế để bao bọc và kết nối các giao thức hiện có, cho phép áp dụng gia tăng.

III. Main Results:

Bài báo trình bày kiến trúc dựa trên bốn mặt phẳng của FP: (1) Mặt phẳng Thực thể & Tin cậy, (2) Mặt phẳng Vận chuyển & Định tuyến, (3) Mặt phẳng Tương tác & Tổ chức, và (4) Mặt phẳng Điều chỉnh & Giám sát. Một kịch bản chi tiết về một công ty AI với sự giám sát của con người được sử dụng để minh họa cách tất cả các mặt phẳng này hoạt động cùng nhau. Kết quả chính là một giao thức có thể mở rộng, có thể kiểm toán và có thể áp dụng gia tăng cho xã hội tác tử.

IV. Conclusion & Future Works:

Foundation Protocol cung cấp một cơ sở hạ tầng dùng chung cho sự phối hợp trong xã hội người-AI, giúp việc phối hợp trở nên cởi mở, đa nguyên và có thể quản trị được. Các hướng phát triển trong tương lai bao gồm: phát triển các cấu hình và cầu nối cụ thể, xây dựng các thư viện mẫu tương tác đa bên, và tích hợp sâu hơn với các giao thức hiện có như MCP, A2A.

V. Brainstorming Space:

1. Publish Papers:

Phát triển giao thức phối hợp chuyên biệt cho mạng lưới tác tử trong lĩnh vực chăm sóc sức khỏe: Nghiên cứu cách điều chỉnh Foundation Protocol để quản lý danh tính bệnh nhân, ủy quyền truy cập dữ liệu, kiểm toán quy trình điều trị và đảm bảo tuân thủ các quy định y tế.
Tối ưu hóa chi phí và hiệu suất của lớp phối hợp tác tử thông qua kỹ thuật progressive disclosure: Đề xuất các thuật toán và chiến lược mới để giảm thiểu lượng token và độ trễ khi trao đổi thông tin giữa các tác tử, dựa trên nguyên tắc chỉ tiết lộ thông tin chi tiết khi cần thiết.
Xây dựng hệ thống kinh tế cho xã hội tác tử dựa trên các nguyên thủy kinh tế của Foundation Protocol: Phân tích các mô hình định giá, thanh toán và giải quyết tranh chấp cho các dịch vụ do AI cung cấp, và đề xuất các cơ chế khuyến khích sự hợp tác hiệu quả.

2. Patent:

Phương pháp và hệ thống quản lý danh tính và ủy quyền cho tác tử AI trên thiết bị di động: Sáng chế này mô tả cách một chiếc điện thoại thông minh có thể đóng vai trò là một 'kho tin cậy' (trust anchor) cho các tác tử AI cá nhân. Nó cho phép người dùng xác thực và ủy quyền cho các tác tử khác nhau (ví dụ: tác tử đặt vé, tác tử mua sắm) thực hiện các giao dịch thay mặt mình, đồng thời vẫn giữ quyền kiểm soát và có thể thu hồi ủy quyền bất cứ lúc nào thông qua một giao diện đơn giản trên màn hình khóa.
Hệ thống kiểm toán chi tiêu và tài nguyên cho các tác tử AI trên thiết bị di động: Sáng chế này cho phép người dùng thiết lập ngân sách và hạn mức chi tiêu cho từng tác tử AI. Mọi giao dịch (mua ứng dụng, thanh toán dịch vụ, sử dụng dữ liệu di động) đều được ghi lại dưới dạng biên lai có thể kiểm tra. Người dùng có thể xem báo cáo chi tiêu theo thời gian thực ngay trên điện thoại và nhận cảnh báo khi sắp vượt quá hạn mức.
Phương pháp phối hợp đa tác tử để thực hiện các tác vụ phức tạp trên thiết bị di động với sự giám sát của con người: Sáng chế này mô tả cách một tác tử chính trên điện thoại có thể phân chia một tác vụ phức tạp (ví dụ: lên kế hoạch cho một chuyến du lịch) thành các tác vụ con và thuê các tác tử chuyên biệt khác (tác tử tìm kiếm chuyến bay, tác tử đặt phòng khách sạn, tác tử lên lịch trình). Trước mỗi bước quan trọng (ví dụ: thanh toán), tác tử chính sẽ gửi yêu cầu xác nhận đến người dùng thông qua một thông báo đẩy trên điện thoại, đảm bảo người dùng luôn nắm quyền kiểm soát.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.23218
ArXiv Abstract	https://arxiv.org/abs/2605.23218
PDF Download	https://arxiv.org/pdf/2605.23218.pdf
Github Repository	https://github.com/FoundationAgents/foundation-protocol

5. TriSplat: Simulation-Ready Feed-Forward 3D Scene Reconstruction (34 votes)

Tác giả: Weijie Wang, Zimu Li, Jinchuan Shi, Zeyu Zhang, Botao Ye, Marc Pollefeys, Donny Y. Chen, Bohan Zhuang

Xuất bản lúc: 2026-05-25

Tag: Feed-Forward 3D Reconstruction, Triangle Splatting, Novel-View Synthesis, Surface Reconstruction, Simulation-Ready

I. Main Problem:

Các phương pháp tái tạo 3D từ ảnh thưa hiện tại, đặc biệt là các mô hình feed-forward dựa trên Gaussian splatting, chủ yếu tạo ra các biểu diễn bề mặt gián tiếp. Để có được một lưới (mesh) có thể sử dụng trong các công cụ mô phỏng vật lý, phát hiện va chạm hay tương tác robot, cần thực hiện các bước hậu kỳ tốn kém như TSDF fusion hoặc Poisson reconstruction, làm mất đi lợi thế của phương pháp feed-forward. Vấn đề càng trở nên nghiêm trọng hơn trong các thiết lập không có camera pose (pose-free), nơi cấu trúc cảnh và thông số máy ảnh phải được ước lượng đồng thời từ các quan sát thưa thớt.

II. Main Idea:

TriSplat đề xuất một mạng feed-forward tái tạo cảnh 3D dưới dạng các primitive hình tam giác (oriented triangle primitives). Mạng này có thể xuất trực tiếp một lưới mesh sẵn sàng cho mô phỏng chỉ trong một lần chạy duy nhất. Ý tưởng chính bao gồm: (1) Dự đoán đồng thời các bản đồ điểm 3D cục bộ, thuộc tính tam giác, camera pose và tiêu cự từ ảnh đầu vào không có pose. (2) Xây dựng hướng của tam giác dựa trên hình học (geometry-anchored): các normal hình học được tính từ bản đồ điểm, sau đó được tinh chỉnh bởi một mạng U-Net có điều kiện ảnh và được khởi tạo ấm (warm-start) từ một mô hình monocular teacher. (3) Sử dụng lịch trình huấn luyện tiến bộ (opacity và blur scheduling) để làm sắc nét dần các primitive từ mờ thành các phần tử bề mặt rõ ràng. Kết quả cuối cùng là một lưới tam giác có thể được nạp trực tiếp vào các engine vật lý mà không cần bất kỳ bước chuyển đổi hay hậu xử lý nào.

III. Main Results:

Trên các bộ dữ liệu RealEstate10K và DL3DV, TriSplat vượt trội so với các baseline feed-forward dựa trên Gaussian về độ chính xác bề mặt (ví dụ: trên RE10K với 6 ảnh đầu vào, TriSplat đạt Chamfer Distance là 0.190 và F1 score là 0.622, cải thiện đáng kể so với YoNoSplat với 0.267 và 0.443). Về chất lượng kết xuất lưới (mesh rendering), TriSplat cũng đạt điểm PSNR cao hơn (24.69 trên RE10K) so với các phương pháp khác. Đặc biệt, khi xuất mesh, các baseline Gaussian bị giảm chất lượng đáng kể do quá trình TSDF fusion, trong khi TriSplat hầu như không bị suy giảm. Kết quả zero-shot trên ScanNet cũng cho thấy khả năng tổng quát hóa tốt hơn với độ chính xác depth và normal cao hơn hẳn.

IV. Conclusion & Future Works:

TriSplat chứng minh rằng việc sử dụng các primitive tam giác trong mô hình feed-forward là khả thi và mang lại lợi thế lớn cho các ứng dụng yêu cầu mesh sẵn sàng mô phỏng. Bằng cách neo hướng tam giác vào hình học dự đoán và sử dụng lịch trình huấn luyện làm sắc nét, mô hình tạo ra các bề mặt chính xác hơn và loại bỏ hoàn toàn nhu cầu về các bước hậu kỳ tốn kém. Các hướng phát triển trong tương lai có thể bao gồm mở rộng cho các cảnh động, cải thiện khả năng xử lý các bề mặt phản chiếu hoặc trong suốt, và tối ưu hóa cho các thiết bị có tài nguyên hạn chế.

V. Brainstorming Space:

1. Publish Papers:

1. TriSplat-Dynamic: Tái tạo cảnh 3D động, sẵn sàng mô phỏng từ video thưa. Mở rộng TriSplat để xử lý các cảnh có chuyển động bằng cách dự đoán các trường tam giác biến đổi theo thời gian. Điều này có thể ứng dụng trong robot học tương tác với môi trường động hoặc thực tế ảo với các vật thể di chuyển.
2. TriSplat-Refine: Tinh chỉnh lưới tam giác từ TriSplat bằng kỹ thuật per-scene optimization nhẹ. Kết hợp ưu điểm của feed-forward (nhanh) và per-scene optimization (chất lượng cao) bằng cách dùng kết quả của TriSplat làm khởi tạo cho một bước tối ưu ngắn trên tam giác, giúp cải thiện chi tiết nhỏ mà không cần TSDF fusion.
3. TriSplat-Light: Phiên bản nhẹ và nhanh của TriSplat cho thiết bị di động và nhúng. Nghiên cứu các kiến trúc backbone nhẹ hơn (ví dụ: MobileNet) và lượng tử hóa mô hình để có thể chạy real-time trên điện thoại hoặc drone, phục vụ cho các ứng dụng AR/VR di động.

2. Patent:

1. Phương pháp và hệ thống tái tạo mô hình 3D từ ảnh chụp điện thoại để mua sắm trực tuyến. Ứng dụng cho phép người dùng chụp một vài bức ảnh của một vật thể (ví dụ: đôi giày, cái bàn) bằng điện thoại. Hệ thống sử dụng TriSplat để tạo ra mô hình 3D dạng lưới chính xác. Mô hình này sau đó có thể được xoay, phóng to và xem ở mọi góc độ trực tiếp trên điện thoại, giúp người mua có cái nhìn chân thực hơn trước khi quyết định mua hàng.
2. Ứng dụng điện thoại thông minh để tạo không gian ảo cho cuộc gọi video. Người dùng có thể dùng camera điện thoại quét nhanh căn phòng của mình. Ứng dụng sử dụng TriSplat để tái tạo căn phòng thành một lưới 3D. Lưới này được sử dụng làm nền cho cuộc gọi video, cho phép người khác 'bước vào' không gian đó một cách chân thực, hỗ trợ tương tác như di chuyển đồ vật ảo trong không gian thật.
3. Hệ thống đo kích thước đồ đạc trong nhà bằng camera điện thoại. Người dùng chụp ảnh một món đồ nội thất (ví dụ: tủ lạnh, bàn ghế) từ nhiều góc độ. TriSplat tạo ra mô hình 3D chính xác của vật thể. Ứng dụng tự động tính toán và hiển thị các kích thước thực tế (chiều dài, chiều rộng, chiều cao) của vật thể đó ngay trên màn hình điện thoại, giúp người dùng kiểm tra xem món đồ có vừa với không gian dự định hay không.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.26115
ArXiv Abstract	https://arxiv.org/abs/2605.26115
PDF Download	https://arxiv.org/pdf/2605.26115.pdf
Github Repository	https://github.com/ziplab/TriSplat

6. Toward Native Multimodal Modeling: A Roadmap (31 votes)

Tác giả: Siyu An, Junru Lu, Junnan Dong, Qiufeng Wang, Yinghui Li, Weizhi Fei, Zichao Yu, Zheng Yuan, Biao Liu, Haopeng Wang, Renzhao Liang, Yixuan Yang, Yunhang Shen, Bo Ke, Keyu Chen, Linhao Luo, Difan Zou, Xiao Huang, Di Yin, Ruizhi Qiao, Xing Sun

Xuất bản lúc: 2026-05-25

Tag: Multimodal Modeling, Native Multimodal Modeling, Mid-Fusion, Early-Fusion, Multi-to-Text, Multi-to-Target, Multi-to-Multi, Vision-Language, Audio Understanding, Video Understanding, Image Generation, Audio Generation, Video Generation, Transformer, MoE, Diffusion

I. Main Problem:

Các mô hình đa phương thức hiện tại chủ yếu dựa trên kiến trúc late-fusion, nơi các bộ mã hóa riêng biệt được ghép nối với các ngôn ngữ nền tảng đông lạnh thông qua các lớp chiếu nông. Sự tách rời kiến trúc này dẫn đến sự thiếu hiểu biết sâu sắc về các tín hiệu cảm giác thô, hạn chế khả năng tương tác chéo giữa các phương thức và ngăn cản mô hình đạt được sự cộng hưởng thực sự giữa các dạng dữ liệu khác nhau. Hơn nữa, không gian thiết kế cho mô hình đa phương thức native (NMM) vẫn còn phân mảnh và chưa được định nghĩa đầy đủ, gây khó khăn cho việc đánh giá mức độ 'native' của các mô hình và lựa chọn kiến trúc tối ưu cho các tác vụ cụ thể.

II. Main Idea:

Bài báo đề xuất một lộ trình chính thức hóa cho quá trình chuyển đổi từ mô hình đa phương thức modular (late-fusion) sang mô hình đa phương thức native (NMM). Các tác giả định nghĩa kiến trúc native dựa trên độ sâu tích hợp, phân biệt hai chế độ chính: (i) Mid-Fusion, nơi các đặc trưng từ các bộ mã hóa khác nhau được tiêm vào một backbone đa phương thức chung, và (ii) Early-Fusion, nơi tất cả các phương thức được xử lý trong một không gian embedding thống nhất bởi một transformer duy nhất (born-native). Bài báo cũng phân loại các mô hình NMM hiện có dựa trên tính đối xứng đầu vào-đầu ra thành ba loại chức năng: (i) Multi-to-Text (M2T) cho hiểu và suy luận đa phương thức với đầu ra là văn bản, (ii) Multi-to-Target (M2G) cho sinh nội dung theo kịch bản cụ thể (ví dụ: hình ảnh, âm thanh, video), và (iii) Multi-to-Multi (M2M) cho mô hình hóa đối xứng, nơi hiểu và sinh cùng tồn tại trong một mạng duy nhất. Bài báo cung cấp một phân tích toàn diện về toàn bộ vòng đời của NMM, bao gồm kiến trúc, dữ liệu, huấn luyện, suy luận và đánh giá.

III. Main Results:

Bài báo là một bài khảo sát toàn diện, không trình bày các kết quả thực nghiệm mới. Tuy nhiên, nó cung cấp một bảng so sánh chi tiết (Table 1) về các mô hình NMM mã nguồn mở gần đây, phân loại chúng theo loại chức năng (M2T, M2G, M2M), tham số, phương thức đầu vào/đầu ra và ngày phát hành. Các ví dụ đại diện bao gồm: M2T (Qwen3-VL, Kimi K2.5, InternVL-3.5), M2G (HunyuanVideo-1.5, Qwen3-Omni, Wan2.2), M2M (Emu3.5, Chameleon, Transfusion). Bài báo cũng xác định các thách thức kỹ thuật chính và giải pháp cho từng loại mô hình, chẳng hạn như 'Semantic-Acoustic Conflict' trong hiểu âm thanh, 'Computational Explosion' trong hiểu video, và 'Comprehension-Generation Dilemma' trong mô hình M2M.

IV. Conclusion & Future Works:

Bài báo kết luận rằng NMM là một bước tiến quan trọng từ suy luận phi phương thức (modality-agnostic) đến mô hình hóa thế giới (world modeling). Các hướng phát triển trong tương lai bao gồm: (i) Hội tụ kiến trúc từ M2T/M2G sang M2M đối xứng, (ii) Phát triển dữ liệu từ các kho ngữ liệu được tuyển chọn sang các luồng đa phương thức tự sinh, (iii) Kết hợp các công thức huấn luyện (PT/SFT/RL/OPD) cho mô hình native, (iv) Tối ưu hóa suy luận và triển khai cho streaming, ngữ cảnh dài và đồng thiết kế hệ thống, (v) Xây dựng các giao thức đánh giá toàn diện, nhận biết thời gian, và (vi) Hướng tới các mô hình thế giới native (Native World Models).

V. Brainstorming Space:

1. Publish Papers:

Phát triển kiến trúc M2M hiệu quả cho thiết bị di động: Nghiên cứu các phương pháp nén và tối ưu hóa kiến trúc M2M (ví dụ: sử dụng kiến trúc MoE thưa, lượng tử hóa, hoặc các cơ chế attention hiệu quả) để có thể chạy được trên các thiết bị có tài nguyên hạn chế như điện thoại thông minh, tập trung vào các tác vụ tương tác thời gian thực như trợ lý ảo đa phương thức.
Xây dựng chiến lược dữ liệu tự động cho huấn luyện M2M: Đề xuất một pipeline tự động để tạo ra dữ liệu huấn luyện đa phương thức chất lượng cao, đa dạng và có cấu trúc, giúp giảm sự phụ thuộc vào dữ liệu thủ công và cải thiện khả năng tổng quát hóa của mô hình M2M trong các tình huống thực tế.
Giải quyết vấn đề 'Token Explosion' trong sinh video native: Nghiên cứu các cơ chế nén không gian-thời gian mới (ví dụ: kết hợp VAE cực đoan với cắt tỉa attention động) để giảm số lượng token cần xử lý trong các mô hình sinh video native, cho phép sinh video độ phân giải cao và thời gian dài hơn mà không làm tăng chi phí tính toán quá mức.

2. Patent:

Phương pháp và hệ thống tạo phản hồi đa phương thức cho trợ lý ảo trên thiết bị di động: Một phương pháp cho phép trợ lý ảo trên điện thoại hiểu và phản hồi bằng nhiều hình thức cùng lúc, như văn bản, giọng nói và hình ảnh. Ví dụ: khi người dùng chụp ảnh một món ăn và hỏi 'Món này có bao nhiêu calo?', trợ lý sẽ phân tích hình ảnh, đưa ra câu trả lời bằng văn bản và giọng nói, đồng thời có thể hiển thị thêm thông tin dinh dưỡng dưới dạng hình ảnh hoặc biểu đồ.
Thiết bị di động và phương pháp tạo nội dung video từ văn bản và hình ảnh: Một ứng dụng trên điện thoại cho phép người dùng nhập một đoạn văn bản mô tả và chọn một vài hình ảnh làm mẫu, sau đó ứng dụng sẽ tự động tạo ra một video ngắn hoàn chỉnh với chuyển động, âm thanh và lời thoại phù hợp, phục vụ cho việc tạo nội dung trên mạng xã hội một cách nhanh chóng.
Hệ thống và phương pháp hiểu và tổng hợp giọng nói với cảm xúc trên thiết bị di động: Một hệ thống trên điện thoại có thể nhận dạng giọng nói của người dùng không chỉ nội dung mà còn cả cảm xúc (vui, buồn, tức giận) thông qua âm điệu và ngữ điệu. Sau đó, hệ thống có thể phản hồi lại bằng giọng nói với cảm xúc phù hợp, giúp cuộc trò chuyện với trợ lý ảo trở nên tự nhiên và đồng cảm hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.25343
ArXiv Abstract	https://arxiv.org/abs/2605.25343
PDF Download	https://arxiv.org/pdf/2605.25343.pdf
Github Repository	https://github.com/NMM-Roadmap/Awesome-NMM-List

7. QUEST: Training Frontier Deep Research Agents with Fully Synthetic Tasks (29 votes)

Tác giả: Jian Xie, Tianhe Lin, Zilu Wang, Yuting Ning, Yuekun Yao, Tianci Xue, Zhehao Zhang, Zhongyang Li, Kai Zhang, Yufan Wu, Shijie Chen, Boyu Gou, Mingzhe Han, Yifei Wang, Vint Lee, Xinpeng Wei, Xiangjun Wang, Yu Su, Huan Sun

Xuất bản lúc: 2026-05-22

Tag: Deep Research Agents, Synthetic Data, Reinforcement Learning, Supervised Fine-Tuning, Mid-Training, Rubric Trees, Context Management, Fact Seeking, Citation Grounding, Report Synthesis

I. Main Problem:

Các hệ thống deep research (tìm kiếm chuyên sâu) hiện tại chủ yếu là mã nguồn đóng (proprietary) và các hệ thống mã nguồn mở hiện có thường tổng quát hóa kém trên nhiều loại tác vụ khác nhau (tìm kiếm sự thật, trích dẫn nguồn, tổng hợp báo cáo). Việc đào tạo một agent nghiên cứu có khả năng tổng quát, xử lý các tác vụ tìm kiếm dài hạn vẫn là một thách thức. Các phương pháp huấn luyện hiện tại thường chỉ tập trung vào một khả năng cụ thể (ví dụ: tìm kiếm sự thật) và không có một khung thống nhất để đánh giá và huấn luyện trên cả ba khả năng cốt lõi này.

II. Main Idea:

Bài báo giới thiệu QUEST, một họ mô hình mã nguồn mở (từ 2B đến 35B tham số) hoạt động như các agent nghiên cứu chuyên sâu đa năng. Trọng tâm của giải pháp là một quy trình huấn luyện ba giai đoạn kết hợp với một pipeline tổng hợp dữ liệu hoàn toàn nhân tạo dựa trên cây rubric (rubric tree). Các ý tưởng chính bao gồm:

Pipeline tổng hợp dữ liệu dựa trên cây rubric: Tự động tạo ra các tác vụ huấn luyện với các tiêu chí đánh giá có thể kiểm chứng (cây rubric), cho phép huấn luyện trên nhiều dạng tác vụ khác nhau (tìm kiếm sự thật, tác vụ mở) mà không cần chú thích thủ công. Cây rubric cung cấp tín hiệu thưởng chi tiết hơn là đúng/sai đơn thuần.
Quản lý ngữ cảnh có cấu trúc (Structured Context Management): Khi ngữ cảnh làm việc trở nên quá dài, một bộ phận 'ngưng tụ' (condenser) sẽ nén lịch sử tương tác thành một Context State có cấu trúc JSON gồm ba loại thông tin: đã tin cậy (trusted), chưa chắc chắn (uncertain), và không đáng tin (untrusted). Điều này cho phép agent tiếp tục nghiên cứu một cách mạch lạc mà không bị tràn ngữ cảnh.
Quy trình huấn luyện ba giai đoạn (MT -> SFT -> RL):
1. Mid-Training (MT): Trang bị cho mô hình khả năng hiểu ngữ cảnh dài và nhận biết cấu trúc Context State thông qua hai tác vụ phụ trợ (tóm tắt ngữ cảnh và trích xuất thông tin liên quan từ HTML).
2. Supervised Fine-Tuning (SFT): Huấn luyện mô hình bắt chước các quỹ đạo (trajectories) sử dụng công cụ chất lượng cao được thu thập từ các tác vụ tổng hợp, bao gồm cả định dạng trích dẫn nội tuyến (inline citation).
3. Reinforcement Learning (RL): Tối ưu hóa chính sách (policy) của agent bằng cách sử dụng hai tín hiệu thưởng: thưởng dựa trên cây rubric (đánh giá mức độ hoàn thành tác vụ) và thưởng kiểm tra tính xác thực của trích dẫn (fact-checking reward).

III. Main Results:

QUEST-35B đạt hiệu suất vượt trội hoặc cạnh tranh với các hệ thống deep research mã nguồn đóng hàng đầu trên tám benchmark đa dạng, bao gồm BrowseComp (64.6%), Mind2Web 2 (30.7%), HLE (37.2%), DeepResearch Bench (48.2%), BrowseComp-Plus (69.5%), WideSearch (60.6%), GAIA (80.8%), và LiveResearchBench (68.2%). Ngay cả các phiên bản nhỏ hơn như QUEST-2B-SFT cũng đạt kết quả ấn tượng trong các tác vụ tìm kiếm sự thật (ví dụ: 30.3 trên HLE, 72.8 trên GAIA). Các thí nghiệm có kiểm soát cho thấy mỗi giai đoạn huấn luyện (MT, SFT, RL) đều đóng góp tích cực vào hiệu suất tổng thể, với RL mang lại cải thiện lớn nhất cho các tác vụ tổng hợp báo cáo dạng mở.

IV. Conclusion & Future Works:

QUEST là một bước tiến quan trọng trong việc xây dựng các agent nghiên cứu chuyên sâu mã nguồn mở, có khả năng tổng quát. Công thức huấn luyện kết hợp dữ liệu tổng hợp từ cây rubric, quản lý ngữ cảnh có cấu trúc và huấn luyện ba giai đoạn đã chứng minh hiệu quả. Các hướng phát triển trong tương lai bao gồm: (1) Cải thiện khả năng tổng hợp báo cáo cho các mô hình nhỏ (lightweight), hướng tới các ứng dụng địa phương, bảo mật. (2) Mở rộng pipeline tổng hợp dữ liệu để tạo ra các tác vụ phức tạp và đa dạng hơn nữa. (3) Nghiên cứu các cơ chế quản lý ngữ cảnh hiệu quả hơn cho các quỹ đạo nghiên cứu cực kỳ dài.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng cây rubric cho các lĩnh vực chuyên ngành: Nghiên cứu cách tự động tạo cây rubric chi tiết cho các lĩnh vực đặc thù như y sinh, luật, hoặc tài chính, nơi các tiêu chí đánh giá rất phức tạp và đòi hỏi kiến thức nền tảng sâu. Bài báo có thể đề xuất một phương pháp kết hợp giữa tổng hợp tự động và tinh chỉnh dựa trên phản hồi của chuyên gia để xây dựng các cây rubric này.
Học tăng cường đa tác vụ cho deep research agent: Phát triển một khung học tăng cường cho phép agent học đồng thời nhiều kỹ năng nghiên cứu khác nhau (tìm kiếm sự thật, trích dẫn, tổng hợp báo cáo) từ các tín hiệu thưởng khác nhau. Nghiên cứu các chiến lược ưu tiên và cân bằng giữa các mục tiêu để đạt được hiệu suất tổng thể tốt nhất.
Phân tích khả năng chuyển giao và tổng quát hóa của deep research agent: Tiến hành các thí nghiệm có kiểm soát để hiểu rõ khả năng của agent trong việc tổng quát hóa sang các lĩnh vực, định dạng câu hỏi, và nguồn thông tin mới mà chưa từng thấy trong quá trình huấn luyện. Bài báo có thể tập trung vào việc xác định các điểm yếu và đề xuất các phương pháp để cải thiện tính tổng quát.

2. Patent:

Phương pháp và hệ thống hỗ trợ nghiên cứu trên thiết bị di động: Một ứng dụng trên điện thoại thông minh sử dụng một mô hình deep research nhỏ (ví dụ 2B-4B tham số) được huấn luyện theo phương pháp QUEST để thực hiện các tác vụ tìm kiếm thông tin phức tạp. Người dùng có thể đặt câu hỏi bằng giọng nói hoặc văn bản, ứng dụng sẽ tự động phân tích câu hỏi, thực hiện nhiều bước tìm kiếm trên web, tổng hợp thông tin từ nhiều nguồn và trình bày kết quả dưới dạng một báo cáo ngắn gọn kèm trích dẫn nguồn, tất cả đều được xử lý cục bộ trên thiết bị để đảm bảo quyền riêng tư.
Hệ thống quản lý ngữ cảnh thông minh cho trợ lý ảo trên điện thoại: Một phương pháp quản lý bộ nhớ làm việc cho trợ lý ảo (như Siri, Google Assistant) dựa trên khái niệm 'Context State'. Khi người dùng thực hiện một chuỗi các hành động hoặc câu hỏi phức tạp (ví dụ: lên kế hoạch cho một chuyến du lịch), hệ thống sẽ tự động nén lịch sử tương tác thành một cấu trúc dữ liệu có tổ chức gồm các thông tin đã xác nhận (trusted), cần xác nhận thêm (uncertain), và thông tin không liên quan (untrusted). Điều này giúp trợ lý ảo duy trì sự mạch lạc trong các cuộc hội thoại dài và đưa ra các phản hồi chính xác hơn.
Ứng dụng tạo báo cáo tự động với trích dẫn từ dữ liệu web trên thiết bị di động: Một ứng dụng dành cho sinh viên hoặc nhà nghiên cứu cho phép họ nhập một chủ đề nghiên cứu. Ứng dụng sẽ sử dụng một agent deep research nhỏ gọn để tự động duyệt web, thu thập thông tin từ nhiều trang, và tạo ra một báo cáo tổng quan có cấu trúc, bao gồm các phần như giới thiệu, phân tích, và kết luận. Mỗi luận điểm trong báo cáo đều được gắn trực tiếp với URL nguồn tham khảo, cho phép người dùng dễ dàng kiểm chứng lại thông tin. Toàn bộ quá trình diễn ra trên điện thoại, giúp người dùng có thể nghiên cứu mọi lúc mọi nơi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.24218
ArXiv Abstract	https://arxiv.org/abs/2605.24218
PDF Download	https://arxiv.org/pdf/2605.24218.pdf
Github Repository	https://github.com/OSU-NLP-Group/QUEST

8. ParaVT: Taming the Tool Prior Paradox for Parallel Tool Use in Agentic Video Reinforcement Learning (29 votes)

Tác giả: Zuhao Yang, Kaichen Zhang, Sudong Wang, Keming Wu, Zhongyu Yang, Bo Li, Xiaojuan Qi, Shijian Lu, Xingxuan Li, Lidong Bing

Xuất bản lúc: 2026-05-19

Tag: Reinforcement Learning, Large Multimodal Models, Long-Video Understanding, Tool Calling, GRPO, Multi-Agent Systems

I. Main Problem:

Các mô hình ngôn ngữ đa phương thức lớn (LMMs) hiện tại sử dụng phương pháp gọi công cụ tuần tự (sequential tool calling) để xử lý video dài gặp nhiều hạn chế: (1) một lần cắt sai sẽ lan truyền lỗi mà không có sự sửa chữa từ các công cụ khác, (2) việc gọi công cụ nhiều lần làm tích tụ ngữ cảnh dẫn đến suy giảm chất lượng, và (3) chi phí suy luận tăng tuyến tính với số lần gọi. Ngoài ra, khi áp dụng học tăng cường (RL) cho phương pháp gọi công cụ song song mới, xuất hiện 'Nghịch lý Tiên nghiệm Công cụ' (Tool Prior Paradox): các tiên nghiệm công cụ từ giai đoạn tiền huấn luyện vừa giúp khám phá công cụ, vừa gây mất ổn định định dạng cấu trúc và tạo ra lối tắt khen thưởng khi bỏ qua công cụ.

II. Main Idea:

Bài báo giới thiệu ParaVT, khung làm việc đa tác tử đầu tiên được huấn luyện bằng RL end-to-end cho phép gọi công cụ video song song trong một lượt duy nhất. Thay vì gọi tuần tự, một tác tử chính phát ra nhiều lệnh cắt khung thời gian cùng lúc, gửi chúng đến các tác tử phụ độc lập. Các tác tử phụ trả về bản tóm tắt văn bản, giúp giảm chi phí ngữ cảnh và cho phép tổng hợp bằng chứng từ nhiều nguồn, khắc phục lỗi từ một lần cắt sai. Để giải quyết 'Nghịch lý Tiên nghiệm Công cụ', nhóm tác giả đề xuất PARA-GRPO với hai cơ chế bổ trợ: (1) Exploration Anchoring: ổn định định dạng đầu ra (ví dụ: thẻ <tool_call>) bằng cách thêm phần thưởng có chọn lọc chỉ vào các vị trí token cấu trúc dễ bị sụp đổ và sử dụng ràng buộc sinh (constrained generation) cho các thẻ mở đầu và kết thúc; (2) nFrames Gating: ngẫu nhiên hóa số lượng khung hình tổng quan mỗi prompt, tạo ra một chương trình học (curriculum) nơi một số prompt không thể trả lời nếu không gọi công cụ, từ đó tạo ra tín hiệu khen thưởng chênh lệch rõ ràng giữa việc gọi và không gọi công cụ.

III. Main Results:

ParaVT vượt trội hơn tất cả các baseline mã nguồn mở 7-8B trên sáu trong bảy tập đánh giá video dài. So với baseline Qwen3-VL-8B, ParaVT cải thiện trung bình +7.9%, với mức tăng lớn nhất trên LongVideoBench (+15.7%), LVBench (+20.2%), và MLVU (+11.5%). Trên Charades-STA, ParaVT đạt 50.1 mIoU cho bài toán gắn kết thời gian. Về mặt huấn luyện, PARA-GRPO nâng điểm tuân thủ định dạng (format compliance) từ 0.13 lên 0.64, giải quyết thành công cả hai vấn đề về sự mong manh của định dạng và khoảng cách cần thiết của công cụ.

IV. Conclusion & Future Works:

ParaVT là khung làm việc RL đa tác tử đầu tiên cho phép gọi công cụ video song song, thay thế các chuỗi công cụ tuần tự mong manh bằng cơ chế tổng hợp bằng chứng có khả năng sửa lỗi đồng thời giữ chi phí suy luận ổn định. 'Nghịch lý Tiên nghiệm Công cụ' và giải pháp PARA-GRPO cung cấp một công thức tổng quát cho RL tác tử khi các khả năng công cụ ngày càng được nội tại hóa trong các LMM hiện đại. Hướng phát triển trong tương lai có thể bao gồm mở rộng khung làm việc cho nhiều loại công cụ video hơn và khám phá các cơ chế khen thưởng tinh vi hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng khung làm việc gọi công cụ song song cho các tác vụ đa phương thức khác như phân tích âm thanh và văn bản trong video, tạo ra một hệ thống tác tử đa năng hơn.
Nghiên cứu sâu hơn về 'Nghịch lý Tiên nghiệm Công cụ' trong các mô hình ngôn ngữ lớn khác và phát triển các phương pháp tổng quát để cân bằng giữa khám phá và ổn định định dạng trong RL.
Kết hợp ParaVT với các kỹ thuật lập kế hoạch (planning) và suy luận (reasoning) bậc cao hơn, cho phép tác tử chính không chỉ phân phối công việc mà còn lập kế hoạch chiến lược sử dụng công cụ dựa trên các mục tiêu phức tạp.

2. Patent:

Phương pháp và hệ thống xem lại video thông minh trên điện thoại: Một ứng dụng cho phép người dùng đặt câu hỏi về một video dài (ví dụ: 'Cầu thủ nào đã ghi bàn thắng quyết định?'). Hệ thống sẽ tự động cắt video thành nhiều đoạn nhỏ, phân tích song song và tổng hợp câu trả lời chính xác, giúp người dùng không cần xem toàn bộ video.
Công cụ hỗ trợ học tập từ video bài giảng: Một ứng dụng trên điện thoại có thể 'tóm tắt' một bài giảng dài bằng cách chia nhỏ video, phân tích từng phần để tìm ra các khái niệm chính, sau đó tổng hợp lại thành một bản tóm tắt văn bản ngắn gọn, kèm theo các mốc thời gian quan trọng.
Hệ thống giám sát an ninh cá nhân: Một ứng dụng cho camera điện thoại có thể phân tích đồng thời nhiều khung hình khác nhau từ luồng video trực tiếp để phát hiện các sự kiện bất thường (ví dụ: vật thể lạ xuất hiện, chuyển động đột ngột) và gửi cảnh báo tức thời đến người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.20342
ArXiv Abstract	https://arxiv.org/abs/2605.20342
PDF Download	https://arxiv.org/pdf/2605.20342.pdf
Github Repository	https://github.com/EvolvingLMMs-Lab/ParaVT

9. ThriftAttention: Selective Mixed Precision for Long-Context FP4 Attention (28 votes)

Tác giả: Joe Sharratt

Xuất bản lúc: 2026-05-21

Tag: FP4 Quantization, Mixed Precision, Long-Context Attention, Efficient Inference, Block-Scaled Quantization, LLMs

I. Main Problem:

Các phương pháp attention lượng tử hóa FP4 hiện tại trên GPU Blackwell giúp tăng tốc inference nhưng gây suy giảm chất lượng đáng kể trong các tác vụ có ngữ cảnh dài (long-context). Sự suy giảm này là do lỗi lượng tử hóa phân bố không đều, tập trung vào các tương tác query-key quan trọng nhất.

II. Main Idea:

ThriftAttention đề xuất cơ chế attention hỗn hợp độ chính xác (mixed-precision) không cần huấn luyện lại. Phương pháp này gồm hai giai đoạn: (1) Sử dụng một heuristic nhẹ để nhanh chóng chọn ra một số ít cặp block query-key quan trọng nhất dựa trên tích vô hướng của vector trung bình của mỗi block. (2) Tính toán các block được chọn với độ chính xác FP16 và các block còn lại với FP4, sau đó hợp nhất cả hai luồng thông qua online softmax để tạo ra đầu ra duy nhất. Mục tiêu là đạt được chất lượng gần với FP16 nhưng hiệu suất inference tương đương FP4.

III. Main Results:

Với chỉ 5% số block query-key được tính bằng FP16, ThriftAttention phục hồi trung bình 89.1% khoảng cách chất lượng giữa FP4 và FP16. Khi tăng ngân sách lên 10% và 25%, tỷ lệ phục hồi lần lượt đạt 91.8% và 92.4%. Trong generation end-to-end, ThriftAttention giảm độ trễ inference lên đến 2 lần ở ngữ cảnh dài. Lợi thế của phương pháp này tăng lên khi độ dài ngữ cảnh tăng, nơi FP4 bị suy giảm nghiêm trọng nhất.

IV. Conclusion & Future Works:

ThriftAttention là một cơ chế attention hỗn hợp độ chính xác có chọn lọc, giúp ngăn chặn sự suy giảm hiệu năng có hệ thống trong các tác vụ long-context. Hướng phát triển trong tương lai bao gồm: mở rộng lên GPU Blackwell trung tâm dữ liệu để tận dụng các tính năng SM100, giảm mức tăng 28% bộ nhớ KV-cache do lưu trữ cả cache FP16 và FP4, và mở rộng phương pháp cho huấn luyện attention với độ chính xác sub-byte.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về phương pháp chọn block quan trọng hiệu quả hơn: Phát triển các heuristic mới hoặc sử dụng mô hình học nhẹ (lightweight learned scorer) để dự đoán chính xác hơn các tương tác query-key nào cần độ chính xác cao, thay vì chỉ dùng tích vô hướng của vector trung bình block.
Mở rộng ThriftAttention cho các kiến trúc mô hình khác: Áp dụng ý tưởng mixed-precision attention cho các mô hình không phải Transformer thuần túy, như Mamba hay các mô hình có cơ chế attention thưa (sparse attention) hoặc linear attention.
Phân tích lý thuyết sâu hơn về lỗi lượng tử hóa: Xây dựng các giới hạn lý thuyết chặt chẽ hơn cho lỗi đầu ra của attention hỗn hợp độ chính xác, giải thích tại sao việc giữ lại các tương tác quan trọng ở độ chính xác cao lại hiệu quả hơn so với các phương pháp sparsity truyền thống.

2. Patent:

Phương pháp và hệ thống tăng tốc suy luận mô hình ngôn ngữ lớn trên thiết bị di động: Sử dụng cơ chế attention hỗn hợp độ chính xác (mixed-precision) để giảm thời gian phản hồi khi xử lý văn bản dài trên điện thoại thông minh. Hệ thống sẽ tự động xác định các phần quan trọng của văn bản đầu vào để tính toán với độ chính xác cao hơn, trong khi các phần còn lại được tính toán với độ chính xác thấp hơn, giúp tiết kiệm năng lượng và tăng tốc độ xử lý.
Ứng dụng trên điện thoại thông minh để tóm tắt văn bản dài theo thời gian thực: Kết hợp cơ chế attention hỗn hợp độ chính xác để tối ưu hóa việc tóm tắt các tài liệu, email hoặc tin nhắn dài. Ứng dụng sẽ ưu tiên độ chính xác cao cho các câu và từ khóa quan trọng, trong khi giảm độ chính xác cho các phần ít quan trọng hơn, đảm bảo chất lượng tóm tắt tốt nhất với tốc độ xử lý nhanh trên thiết bị di động.
Hệ thống gợi ý nội dung được cá nhân hóa trên thiết bị di động dựa trên attention hỗn hợp: Sử dụng ThriftAttention để phân tích lịch sử tương tác của người dùng (ví dụ: tin nhắn, lịch sử duyệt web) một cách hiệu quả. Hệ thống sẽ tính toán attention với độ chính xác cao cho các tương tác gần đây hoặc quan trọng nhất, và độ chính xác thấp hơn cho các tương tác cũ hơn, từ đó đưa ra các gợi ý (sản phẩm, bài viết, bạn bè) nhanh chóng và chính xác hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.23081
ArXiv Abstract	https://arxiv.org/abs/2605.23081
PDF Download	https://arxiv.org/pdf/2605.23081.pdf
Github Repository	https://github.com/joesharratt1229/ThriftAttention

10. AutoResearch AI: Towards AI-Powered Research Automation for Scientific Discovery (22 votes)

Tác giả: Guiyao Tie, Jiawen Shi, Dingjie Song, Yixiao Huang, Ziji Sheng, Xueyang Zhou, Daizong Liu, Pan Zhou, Yongchao Chen, Ran Xu, Lifang He, Qingsong Wen, Manling Li, Cong Lu, Shuai Li, Pengtao Xie, Yixuan Yuan, Rui Meng, Lei Xing, Lichao Sun, Caiming Xiong, Philip S. Yu, Jianfeng Gao

Xuất bản lúc: 2026-05-22

Tag: AutoResearch, AI for Science, Scientific Workflow Automation, Vibe Research, AI Scientist, LLMs, Agentic Systems

I. Main Problem:

Lĩnh vực tự động hóa nghiên cứu khoa học bằng AI hiện đang bị phân mảnh, thiếu một khung khổ thống nhất để so sánh các hệ thống khác nhau. Các hệ thống hiện có khác nhau đáng kể về mức độ tự chủ, phạm vi lĩnh vực, môi trường thực thi, cơ chế xác thực và sự phụ thuộc vào con người. Mặc dù nhiều hệ thống có thể tạo ra ý tưởng khả thi, vận hành công cụ, chạy thí nghiệm có giới hạn, hoặc tạo ra các sản phẩm hoàn chỉnh, chúng vẫn phải đối mặt với những thách thức dai dẳng trong việc bảo tồn bằng chứng, tái lập kết quả, từ chối các hướng nghiên cứu yếu, theo dõi nguồn gốc, độ mạnh mẽ liên lĩnh vực và kết thúc nghiên cứu một cách có trách nhiệm.

II. Main Idea:

Bài báo giới thiệu khái niệm 'AutoResearch' như một phổ phát triển của tự động hóa quy trình nghiên cứu khoa học do AI hỗ trợ. Tác giả đề xuất một khung khổ gồm năm cấp độ tự chủ (L0-L4) để phân loại sự tham gia của AI vào quy trình nghiên cứu, từ nghiên cứu hoàn toàn do con người thực hiện (L0) đến nghiên cứu hoàn toàn tự động bởi AI (L4). Trong đó, 'Vibe Research' (L1-L2) là vùng do con người dẫn dắt, AI hỗ trợ mở rộng năng lực; còn AutoResearch thực thụ (L3-L4) đòi hỏi AI dẫn dắt và phối hợp quy trình. Bài báo phân tích các nền tảng kỹ thuật của AutoResearch qua năm giai đoạn chính của quy trình nghiên cứu: (1) Nền tảng tài liệu và nghiên cứu, (2) Hình thành giả thuyết và lập kế hoạch, (3) Thực nghiệm và sử dụng công cụ, (4) Phản hồi, xác thực và đánh giá, (5) Báo cáo và truyền thông tri thức.

III. Main Results:

Bài báo tổng hợp và phân tích một loạt các hệ thống AutoResearch hiện có, từ các hệ thống hỗ trợ tìm kiếm và tổng hợp tài liệu (ví dụ: LitLLM, OpenScholar, PaperQA2) đến các hệ thống pipeline tích hợp như The AI Scientist, AI Scientist-v2, Agent Laboratory. Tác giả chỉ ra rằng các hệ thống hiện tại mạnh trong tìm kiếm, soạn thảo, viết mã và một số hình thức thực thi có giới hạn, nhưng vẫn yếu trong xác thực, từ chối, xử lý ngoại lệ, tái lập và kết thúc nghiên cứu một cách có trách nhiệm. Bài báo đề xuất năm khía cạnh đánh giá cho AutoResearch: tính mới (novelty), tính hợp lệ (validity), tác động (impact), độ tin cậy (reliability) và truy xuất nguồn gốc (provenance). Phân tích cho thấy trần tự chủ thực tế phụ thuộc mạnh vào lĩnh vực: các lĩnh vực tính toán và hình thức có thể đạt tự chủ cao hơn, trong khi các lĩnh vực thực nghiệm, có độ trễ, hoặc có rủi ro cao bị ràng buộc nhiều hơn.

IV. Conclusion & Future Works:

Bài báo kết luận rằng AutoResearch đang chuyển đổi từ các công cụ hỗ trợ tác vụ riêng lẻ sang tự động hóa ở cấp độ quy trình làm việc, nhưng sự tiến bộ là không đồng đều. Các hướng nghiên cứu trong tương lai bao gồm: (1) Cải thiện khả năng xác thực, từ chối và xử lý ngoại lệ của các hệ thống; (2) Phát triển các hệ thống có thể duy trì tính mạch lạc và độ tin cậy khoa học qua nhiều giai đoạn của quy trình; (3) Mở rộng khả năng của AutoResearch sang các lĩnh vực có ràng buộc về mặt thể chất, thực nghiệm và đạo đức; (4) Xây dựng các khuôn khổ đánh giá toàn diện hơn tập trung vào độ tin cậy khoa học của đầu ra ở cấp độ quy trình; (5) Giải quyết các vấn đề về đạo đức và xã hội, bao gồm trách nhiệm giải trình và khả năng kiểm toán.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về khả năng tự động từ chối các hướng nghiên cứu yếu trong pipeline AutoResearch: Phát triển các cơ chế cho phép hệ thống AI tự động đánh giá và loại bỏ các giả thuyết hoặc hướng thực nghiệm có độ khả thi thấp, dựa trên các tiêu chí như xung đột với bằng chứng hiện có, thiếu cơ sở lý thuyết vững chắc, hoặc chi phí thực nghiệm quá cao.
Xây dựng khung đánh giá mới cho AutoResearch tập trung vào khả năng tái lập và truy xuất nguồn gốc: Đề xuất một bộ benchmark và quy trình kiểm tra tiêu chuẩn để đánh giá mức độ mà một hệ thống AutoResearch có thể tái tạo lại kết quả của chính nó và cung cấp dấu vết rõ ràng về dữ liệu, quyết định và công cụ đã sử dụng trong suốt quy trình nghiên cứu.
Mở rộng AutoResearch sang lĩnh vực khoa học xã hội và kinh tế: Nghiên cứu các thách thức và cơ hội khi áp dụng các hệ thống tự động hóa quy trình nghiên cứu vào các lĩnh vực mà bằng chứng không đồng nhất, thực nghiệm có độ trễ cao và có nhiều ràng buộc về đạo đức và trách nhiệm giải trình, từ đó đề xuất các kiến trúc hệ thống phù hợp.

2. Patent:

Phương pháp và hệ thống hỗ trợ nghiên cứu trên thiết bị di động, tự động tổng hợp và đề xuất các hướng nghiên cứu mới: Hệ thống trên điện thoại có thể đọc các bài báo khoa học, tóm tắt nội dung, và dựa trên lịch sử tìm kiếm và sở thích của người dùng để đề xuất các ý tưởng nghiên cứu mới, các câu hỏi cần giải đáp, hoặc các phương pháp thực nghiệm tiềm năng.
Ứng dụng trên điện thoại thông minh giúp sinh viên và nhà nghiên cứu lập kế hoạch thí nghiệm khoa học: Ứng dụng cho phép người dùng mô tả mục tiêu nghiên cứu, sau đó hệ thống AI sẽ tự động đề xuất một quy trình thí nghiệm chi tiết, bao gồm các bước, vật liệu cần thiết, và các phương pháp phân tích dữ liệu, giúp tiết kiệm thời gian và công sức lập kế hoạch.
Hệ thống kiểm tra và xác thực kết quả nghiên cứu trên thiết bị di động: Một ứng dụng cho phép người dùng nhập dữ liệu thô và mô tả phương pháp thí nghiệm, sau đó hệ thống AI sẽ tự động kiểm tra tính hợp lệ của các bước, phát hiện các lỗi tiềm ẩn, và đề xuất các cách cải thiện độ tin cậy của kết quả nghiên cứu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.23204
ArXiv Abstract	https://arxiv.org/abs/2605.23204
PDF Download	https://arxiv.org/pdf/2605.23204.pdf
Github Repository	https://github.com/Mr-Tieguigui/Autoresearch

11. Your Embedding Model is SMARTer Than You Think (20 votes)

Tác giả: Jianrui Zhang, Hyun Jung Lee, Sukanta Ganguly, Tae-Eui Kam, Donghyun Kim, Yong Jae Lee

Xuất bản lúc: 2026-05-24

Tag: Multimodal Retrieval, Dense Retrieval, Single-Vector Embedding, Multi-Vector Embedding, Late Interaction, Contrastive Learning, Information Retrieval

I. Main Problem:

Các mô hình truy xuất đa phương thức dùng một vector duy nhất (single-vector) nén toàn bộ thông tin đầu vào thành một biểu diễn toàn cục duy nhất, dẫn đến mất mát các chi tiết cục bộ quan trọng. Điều này gây khó khăn cho các truy vấn tinh vi phụ thuộc vào thông tin chi tiết như văn bản địa phương, thuộc tính hình ảnh cụ thể hoặc liên kết vùng. Các phương pháp đa vector (multi-vector) giải quyết được vấn đề này nhưng yêu cầu huấn luyện lại toàn bộ mô hình, tốn kém chi phí tính toán và bộ nhớ.

II. Main Idea:

Bài báo giới thiệu SMART (Single-to-Multi Adaptation for Retrieval Transformers), một khuôn khổ cho phép chuyển đổi bất kỳ mô hình truy xuất một vector nào thành phiên bản đa vector mà không cần hoặc chỉ cần huấn luyện nhẹ. Ý tưởng chính là tận dụng các hidden states không phải token gộp (non-pooling hidden states) vốn đã được huấn luyện gián tiếp thông qua gradient của hàm mất mát contrastive trên token gộp. SMART sử dụng cơ chế late-interaction (MAXSIM) trên các hidden states này, kết hợp với điểm số từ vector gộp (pooled score) trong một công thức lai (hybrid scoring: shybrid = ssingle + slate) để vừa giữ được thông tin toàn cục vừa khai thác được thông tin cục bộ.

III. Main Results:

SMART hoạt động hiệu quả cả ở chế độ chỉ suy luận (inference-only) và sau khi huấn luyện nhẹ. Ở chế độ suy luận, SMART hoạt động như một bản nâng cấp plug-and-play, cải thiện nhất quán hiệu suất trên nhiều tác vụ và kiến trúc mô hình khác nhau, bao gồm cả mô hình SOTA Qwen3-VL-Embedding (ví dụ: tăng điểm trung bình trên MMEB-V2 từ 78.83% lên 79.34% cho phiên bản 8B). Khi huấn luyện một adapter tuyến tính nhẹ (chỉ mất 1 giờ 50 phút), phiên bản 2B của Qwen3-VL-Embedding vượt qua mô hình đa vector SOTA jina-embeddings-v4. Việc chuyển đổi một mô hình single-vector thành multi-vector bằng SMART tiết kiệm hơn 20% thời gian huấn luyện so với huấn luyện từ đầu.

IV. Conclusion & Future Works:

SMART là một giải pháp hiệu quả và tiết kiệm chi phí để khai thác thông tin chi tiết, cục bộ từ các mô hình truy xuất đa phương thức hiện có. Nó vừa là một bản nâng cấp suy luận mạnh mẽ vừa là một kỹ thuật tinh chỉnh hiệu quả. Hạn chế là SMART không có lợi cho các tác vụ toàn cục như phân loại. Hướng phát triển trong tương lai bao gồm khám phá ứng dụng của SMART trên nhiều tác vụ và bộ dữ liệu hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng SMART cho các tác vụ truy xuất đa phương thức phức tạp hơn như truy xuất video dài hoặc tài liệu có cấu trúc phức tạp, nơi thông tin cục bộ đóng vai trò then chốt.
Nghiên cứu cơ chế late-interaction thích ứng, nơi trọng số đóng góp giữa điểm số toàn cục và cục bộ được học tự động dựa trên đặc điểm của truy vấn hoặc ngữ cảnh.
Kết hợp SMART với các kỹ thuật nén mô hình (model compression) hoặc lượng tử hóa (quantization) để tạo ra các hệ thống truy xuất đa vector hiệu quả, có thể triển khai trên các thiết bị có tài nguyên hạn chế.

2. Patent:

Phương pháp và hệ thống tìm kiếm ảnh trên điện thoại thông minh cho phép người dùng khoanh vùng một chi tiết cụ thể trong ảnh (ví dụ: một logo trên áo, một loại hoa trong vườn) và hệ thống sẽ tìm kiếm các ảnh khác có chứa chi tiết tương tự, thay vì chỉ tìm ảnh có nội dung tổng quan giống nhau.
Ứng dụng trên điện thoại giúp tra cứu thông tin sản phẩm bằng cách chụp ảnh một phần nhỏ của sản phẩm (ví dụ: một góc của chiếc đồng hồ, một họa tiết trên túi xách). Hệ thống sẽ so khớp chi tiết cục bộ này với cơ sở dữ liệu sản phẩm để xác định chính xác model, thương hiệu và các thông tin liên quan.
Phương pháp cải thiện tìm kiếm văn bản trong tài liệu quét (scan) hoặc ảnh chụp tài liệu trên điện thoại. Người dùng có thể gõ một cụm từ hoặc câu hỏi cụ thể, và hệ thống không chỉ tìm các tài liệu có chứa từ khóa đó mà còn có thể xác định chính xác vị trí của thông tin đó trong tài liệu nhờ khả năng so khớp chi tiết cục bộ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.24938
ArXiv Abstract	https://arxiv.org/abs/2605.24938
PDF Download	https://arxiv.org/pdf/2605.24938.pdf
Github Repository	https://github.com/HanSolo9682/SMART

12. CUA-Gym: Scaling Verifiable Training Environments and Tasks for Computer-Use Agents (19 votes)

Tác giả: Bowen Wang, Dunjie Lu, Junli Wang, Tianyi Bai, Shixuan Liu, Zhipeng Zhang, Haiquan Wang, Hao Hu, Tianbao Xie, Shuai Bai, Dayiheng Liu, Que Shen, Junyang Lin, Tao Yu

Xuất bản lúc: 2026-05-25

Tag: Reinforcement Learning with Verifiable Rewards, Computer-Use Agents, Data Synthesis, Environment Scaling, GUI Agents, Multi-Agent Pipeline, GSPO

I. Main Problem:

Việc mở rộng quy mô huấn luyện học tăng cường với phần thưởng có thể kiểm chứng (RLVR) cho các tác tử sử dụng máy tính (CUA) gặp khó khăn do thiếu dữ liệu huấn luyện có thể mở rộng với phần thưởng xác định. Mỗi bộ dữ liệu RLVR cho CUA bao gồm hướng dẫn tác vụ, trạng thái môi trường có thể thực thi và hàm thưởng, nhưng việc xây dựng thủ công từng bộ như vậy tốn nhiều giờ công sức chuyên gia. Các phương pháp hiện có không đồng thời đáp ứng ba yêu cầu cho RLVR CUA có thể mở rộng: phần thưởng có thể kiểm chứng xác định, phạm vi ứng dụng rộng và tính đa dạng tác vụ có thể mở rộng.

II. Main Idea:

CUA-GYM là một pipeline tác tử có khả năng mở rộng để đồng tạo ra các bộ dữ liệu huấn luyện RLVR cho CUA. Pipeline này sử dụng ba tác tử phối hợp: một Generator xây dựng trạng thái môi trường ban đầu và trạng thái vàng, một Discriminator viết hàm thưởng chỉ từ mô tả tác vụ, và một Orchestrator điều khiển hai tác tử này qua các vòng lặp cho đến khi hàm thưởng phân biệt được hai môi trường khi thực thi. Pipeline cũng bao gồm một bộ lọc cuối cùng kết hợp bỏ phiếu đa số LLM và các rollout tác tử để đảm bảo chất lượng. Để giải quyết sự khan hiếm môi trường huấn luyện, CUA-GYM còn tổng hợp CUA-GYM-HUB, một bộ ứng dụng web mô phỏng có độ trung thực cao dựa trên phân phối sử dụng phần mềm thực tế.

III. Main Results:

CUA-GYM tạo ra một bộ dữ liệu gồm 32.112 bộ huấn luyện RLVR đã được xác minh trên 110 môi trường. Khi được huấn luyện với GSPO trên CUA-GYM, các mô hình CUA-GYM-A3B và CUA-GYM-A17B đạt lần lượt 62,1% và 72,6% trên OSWorld-Verified, vượt trội so với các CUA mã nguồn mở trước đây ở quy mô tương tự. Các mô hình này cũng cải thiện hiệu suất trên chuẩn WebArena, cho thấy khả năng chuyển giao. Hiệu suất mở rộng mượt mà theo cả khối lượng dữ liệu và sự đa dạng môi trường.

IV. Conclusion & Future Works:

CUA-GYM là một pipeline tự động có khả năng mở rộng để tạo dữ liệu huấn luyện RLVR cho CUA. Kết quả cho thấy sự đa dạng tác vụ và phần thưởng là một nút thắt thực sự đối với các GUI agent hiện tại. Nhóm tác giả sẽ mã nguồn mở toàn bộ pipeline, bộ dữ liệu, môi trường CUA-GYM-HUB và các mô hình để cộng đồng có thể nghiên cứu về mở rộng quy mô tác vụ và môi trường.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng CUA-GYM cho các tác vụ đa phương thức và đa nền tảng: Nghiên cứu khả năng mở rộng pipeline CUA-GYM để xử lý các tác vụ yêu cầu tương tác đồng thời trên nhiều nền tảng (di động, desktop, web) và nhiều phương thức đầu vào (hình ảnh, văn bản, giọng nói). Trọng tâm là phát triển một cơ chế đồng tạo dữ liệu có thể thích ứng với sự khác biệt về giao diện và hành vi giữa các nền tảng.
Phân tích tính bền vững và khả năng kháng nhiễu của phần thưởng trong RLVR cho CUA: Thực hiện một nghiên cứu sâu về các hình thức 'reward hacking' tiềm ẩn trong pipeline CUA-GYM, đặc biệt là các lỗ hổng từ việc sử dụng LLM để tạo hàm thưởng. Đề xuất các kỹ thuật kiểm chứng hình thức và các ràng buộc mới để tăng cường tính bền vững của phần thưởng trước các hành vi khai thác của tác tử.
Khám phá tính nổi bật của hành vi đa hành động trong RL cho GUI agent: Dựa trên phát hiện về hành động đa công cụ nổi lên một cách tự phát, thực hiện một nghiên cứu có hệ thống về cơ chế, lợi ích và các yếu tố ảnh hưởng đến hành vi này. Mục tiêu là xây dựng một khung lý thuyết để thiết kế các chiến lược huấn luyện RL có chủ đích nhằm khuyến khích các hành vi nén hành động hiệu quả.

2. Patent:

Phương pháp và hệ thống tự động hóa tác vụ trên điện thoại thông minh dựa trên học tăng cường với phần thưởng có thể kiểm chứng: Một hệ thống trên điện thoại thông minh có khả năng tự động học cách thực hiện các tác vụ phức tạp (ví dụ: soạn email theo mẫu, đặt lịch hẹn, sao chép dữ liệu giữa các ứng dụng) thông qua việc quan sát màn hình và sử dụng phần thưởng xác định (ví dụ: email đã được gửi thành công, lịch hẹn đã được tạo) để tự cải thiện. Hệ thống này không yêu cầu người dùng phải lập trình hay can thiệp thủ công.
Công cụ tạo dữ liệu huấn luyện cho trợ lý ảo trên thiết bị di động bằng cách mô phỏng môi trường ứng dụng: Một phương pháp cho phép tạo ra vô số tình huống huấn luyện cho trợ lý ảo trên điện thoại bằng cách xây dựng các bản sao ảo của các ứng dụng phổ biến (ví dụ: Gmail, Zalo, Lịch). Các bản sao này có thể được thiết lập ở các trạng thái khác nhau (ví dụ: hộp thư có 10 email chưa đọc, lịch có 3 cuộc hẹn) để tạo ra các bài tập huấn luyện đa dạng cho trợ lý ảo.
Hệ thống kiểm tra và đánh giá tự động hiệu suất của tác tử giao diện người dùng trên điện thoại thông minh: Một phương pháp để đánh giá khả năng của một ứng dụng trợ lý ảo trên điện thoại thông minh bằng cách yêu cầu nó thực hiện một loạt các tác vụ được xác định trước trong một môi trường mô phỏng. Hệ thống sẽ tự động chấm điểm dựa trên việc tác vụ có được hoàn thành hay không, thay vì dựa vào đánh giá chủ quan của con người, giúp quá trình phát triển trợ lý ảo nhanh chóng và khách quan hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.25624
ArXiv Abstract	https://arxiv.org/abs/2605.25624
PDF Download	https://arxiv.org/pdf/2605.25624.pdf
Github Repository	https://github.com/xlang-ai/CUA-Gym

13. Pantheon360: Taming Digital Twin Generation via 3D-Aware 360° Video Diffusion (16 votes)

Tác giả: Ting-Hsuan Chen, Ying-Huan Chen, Tao Tu, Jie-Ying Lee, Cho-Ying Wu, Fangzhou Lin, Hengyuan Zhang, David Paz, Xinyu Huang, Yuliang Guo, Yu-Lun Liu, Yue Wang, Liu Ren

Xuất bản lúc: 2026-05-25

Tag: Video Diffusion, 360° Video, Digital Twin, 3D Reconstruction, Camera Control

I. Main Problem:

Các phương pháp tạo video từ góc nhìn phối cảnh hiện tại gặp hạn chế do trường nhìn hẹp, dẫn đến thiếu nhất quán về không gian và thời gian khi tạo các cảnh quay dài hoặc đa góc nhìn. Việc tạo bản sao kỹ thuật số hoàn chỉnh từ video đòi hỏi khả năng kiểm soát camera chính xác, bao phủ toàn bộ cảnh và duy trì tính nhất quán chặt chẽ về không gian-thời gian.

II. Main Idea:

Bài báo đề xuất Pantheon360, một khung tạo video 360° có thể điều khiển được, sử dụng một '3D Cache' (bộ nhớ đệm 3D) dạng đám mây điểm được tái tạo từ đầu vào thưa thớt. 3D Cache này đóng vai trò như một khung hình học cho bất kỳ đường đi camera nào do người dùng xác định, cho phép mô hình khuếch tán tập trung vào việc tinh chỉnh kết cấu chân thực. Sự tách biệt giữa suy luận hình học và tổng hợp quang học này đảm bảo tính nhất quán hình học toàn cầu.

III. Main Results:

Pantheon360 vượt trội hơn các phương pháp cơ sở (ViewCrafter, TrajectoryCrafter, GEN3C) trên cả hai bộ dữ liệu Web360 và Habitat ở tất cả các chỉ số (FVD, SSIM, PSNR, LPIPS, MET3R). Ví dụ, trên Web360, Pantheon360 đạt FVD 356.151, SSIM 0.746 và PSNR 22.838, cải thiện đáng kể so với các phương pháp cạnh tranh. Phương pháp này cũng cho thấy hiệu suất vượt trội trong các tác vụ tổng hợp khung nhìn mới và so sánh với các mô hình thế giới 360° như GenEX.

IV. Conclusion & Future Works:

Pantheon360 là một khung tạo video 360° có thể điều khiển được với khả năng kiểm soát quỹ đạo camera chính xác nhờ 3D Cache. Mặc dù mô hình có thể xử lý các đối tượng động thông qua các tiên nghiệm chuyển động đã học, việc kiểm soát rõ ràng động lực học ở cấp độ đối tượng vẫn là một thách thức. Hướng phát triển trong tương lai có thể kết hợp các biểu diễn chuyển động rõ ràng để cho phép kiểm soát chi tiết hơn đối với động lực học của đối tượng.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Pantheon360 để kiểm soát rõ ràng các đối tượng động trong cảnh, cho phép tạo ra các bản sao kỹ thuật số không chỉ tĩnh mà còn có các chuyển động phức tạp của đối tượng.
Nghiên cứu việc tích hợp các mô hình ngôn ngữ lớn (LLMs) để cho phép người dùng điều khiển quỹ đạo camera và nội dung video bằng ngôn ngữ tự nhiên, ví dụ: 'bay vòng quanh tòa nhà và phóng to cửa sổ'.
Phát triển một phiên bản thời gian thực của Pantheon360 có thể chạy trên các thiết bị di động, sử dụng các kỹ thuật tối ưu hóa mô hình và tăng tốc phần cứng để cho phép tạo và chỉnh sửa video 360° ngay trên điện thoại.

2. Patent:

Phương pháp tạo video 360° ổn định từ cảnh quay rung lắc trên điện thoại thông minh: Phát hiện các khung hình chính từ video đầu vào bị rung, tái tạo một bộ nhớ đệm 3D của cảnh, xác định một quỹ đạo camera mượt mà và tạo ra một video 360° mới, ổn định dọc theo quỹ đạo đó. Phương pháp này giúp người dùng có thể quay video toàn cảnh mà không cần gimbal chuyên dụng.
Ứng dụng tạo nội dung thực tế ảo (VR) từ ảnh chụp phố trên Google Maps: Cho phép người dùng chọn hai hoặc nhiều điểm ảnh toàn cảnh trên Google Maps Street View. Hệ thống sẽ tự động tạo ra một video điều hướng mượt mà, liên tục giữa các điểm đó, tạo ra trải nghiệm tham quan ảo sống động ngay trên điện thoại.
Hệ thống tạo mô hình 3D của sản phẩm từ video quay tay trên điện thoại: Người dùng quay video xoay quanh một sản phẩm (ví dụ: đồ nội thất, giày dép). Hệ thống sử dụng Pantheon360 để ổn định video, sau đó tái tạo một bộ nhớ đệm 3D và tạo ra một video 360° có thể xoay, phóng to/thu nhỏ sản phẩm một cách mượt mà, phục vụ cho thương mại điện tử.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.25449
ArXiv Abstract	https://arxiv.org/abs/2605.25449
PDF Download	https://arxiv.org/pdf/2605.25449.pdf
Github Repository	N/A

14. ControlLight: Towards Controllable, Consistent, and Generalizable Low-Light Enhancement (15 votes)

Tác giả: Yufeng Yang, Jianzhuang Liu, Jisheng Chu, Yuqi Peng, Xianfang Zeng, Jiancheng Huang, Shifeng Chen

Xuất bản lúc: 2026-05-25

Tag: Low-Light Enhancement, Diffusion Models, Flow Matching, Controllable Image Editing, Retinex Theory, LoRA, Image Restoration

I. Main Problem:

Các phương pháp tăng cường ánh sáng yếu hiện tại thường được huấn luyện trên các bộ dữ liệu hạn chế với một mục tiêu tăng cường duy nhất, dẫn đến khả năng tổng quát hóa kém và thiếu khả năng điều khiển linh hoạt trong các ứng dụng thực tế. Người dùng không thể tự do điều chỉnh cường độ tăng sáng theo sở thích hoặc từng bức ảnh cụ thể.

II. Main Idea:

ControlLight là một khung làm việc cho phép tăng cường ánh sáng yếu một cách có thể điều khiển, nhất quán và tổng quát hóa. Nó dựa trên ba đóng góp chính: (1) Xây dựng bộ dữ liệu Light100K với các cặp ảnh thực tế có độ sáng liên tục, sử dụng chiến lược nội suy dựa trên Retinex để tạo ra các mục tiêu giả có độ nhất quán cao; (2) Đề xuất hàm mất mát Misalignment-Aware Weighted Flow Matching (LwFM) giúp giảm thiểu ảnh hưởng của sự lệch cạnh nhỏ giữa ảnh đầu vào và ảnh mục tiêu do mô hình sinh tạo ra, bằng cách gán trọng số thấp hơn cho các vùng cạnh không đáng tin cậy; (3) Huấn luyện mô hình FLUX.2-klein-9B với LoRA, sử dụng cường độ tăng sáng s làm hệ số tỷ lệ LoRA, cho phép điều khiển mịn và liên tục quá trình tăng sáng.

III. Main Results:

ControlLight đạt được kết quả tốt nhất trên hầu hết các chỉ số đánh giá (NIQE, CLIPIQA, MANIQA, MUSIQ) trên các bộ dữ liệu thực tế như DICM, LIME và RealIR-Bench, vượt qua các phương pháp hiện đại như Retinexformer, CIDNet, CLE Diffusion. Về khả năng điều khiển tuyến tính, ControlLight đạt điểm CLIP-Dir cao nhất (0.9138 trên RealIR-Bench) và độ mượt (δsmooth) thấp, cho thấy quỹ đạo tăng sáng mượt mà và nhất quán về mặt ngữ nghĩa. Các thí nghiệm ablation xác nhận hiệu quả của LwFM trong việc giảm sự không nhất quán về cấu trúc và cải thiện chất lượng cảm nhận.

IV. Conclusion & Future Works:

ControlLight thiết lập một chuẩn mới cho tăng cường ánh sáng yếu có thể điều khiển, nhờ vào chiến lược nội suy Retinex, bộ dữ liệu Light100K và hàm mất mát LwFM. Mô hình này vượt trội về tính nhất quán, khả năng điều khiển và tổng quát hóa trong các tình huống thực tế. Hướng nghiên cứu tương lai có thể mở rộng phương pháp này sang các tác vụ phục hồi ảnh khác hoặc cải thiện hiệu quả tính toán cho các thiết bị di động.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng điều khiển liên tục cho các tác vụ phục hồi ảnh khác: Áp dụng kiến trúc và hàm mất mát tương tự để điều khiển liên tục quá trình khử mờ, khử nhiễu, hoặc khôi phục ảnh cũ, tạo ra một khung làm việc thống nhất cho nhiều tác vụ.
Tích hợp thông tin ngữ cảnh để cải thiện tính nhất quán: Nghiên cứu cách kết hợp thêm các tín hiệu điều khiển khác như bản đồ độ sâu hoặc hướng dẫn ngữ nghĩa để cải thiện tính nhất quán và chất lượng của kết quả tăng cường, đặc biệt là trong các cảnh phức tạp.
Giảm chi phí tính toán cho mô hình lớn: Phát triển các kỹ thuật tinh chỉnh hiệu quả hơn (ví dụ: lượng tử hóa, cắt tỉa) để giảm kích thước và thời gian suy luận của mô hình nền tảng (FLUX.2-klein-9B) mà vẫn duy trì chất lượng và khả năng điều khiển, giúp mô hình có thể chạy trên các thiết bị có tài nguyên hạn chế.

2. Patent:

Phương pháp và hệ thống điều chỉnh độ sáng ảnh linh hoạt trên điện thoại thông minh: Một ứng dụng trên điện thoại cho phép người dùng vuốt thanh trượt để tăng hoặc giảm độ sáng của ảnh chụp thiếu sáng một cách mượt mà và tự nhiên. Ứng dụng sử dụng mô hình trí tuệ nhân tạo đã được huấn luyện sẵn để tự động khôi phục chi tiết ở vùng tối, giảm nhiễu và giữ nguyên cấu trúc của ảnh gốc mà không làm ảnh hưởng đến các vùng đã sáng.
Hệ thống chụp ảnh ban đêm thông minh với khả năng xem trước và điều chỉnh thời gian thực: Trên điện thoại, khi người dùng chụp ảnh trong điều kiện thiếu sáng, hệ thống sẽ hiển thị trước một bản xem trước đã được tăng sáng. Người dùng có thể sử dụng một thanh trượt để điều chỉnh mức độ tăng sáng theo thời gian thực trước khi bấm chụp, đảm bảo bức ảnh cuối cùng đúng ý muốn.
Phương pháp tạo bộ dữ liệu huấn luyện cho mô hình tăng cường ảnh thiếu sáng: Một quy trình tự động để tạo ra các cặp ảnh 'thiếu sáng - đủ sáng' với các mức độ sáng khác nhau từ một ảnh gốc duy nhất. Quy trình này sử dụng mô hình trí tuệ nhân tạo để tạo ra ảnh sáng chuẩn, sau đó áp dụng lý thuyết Retinex để phân tách và nội suy thành phần ánh sáng, tạo ra các mức sáng trung gian một cách tự nhiên và nhất quán, phục vụ cho việc huấn luyện các mô hình tăng cường ảnh chất lượng cao trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.25569
ArXiv Abstract	https://arxiv.org/abs/2605.25569
PDF Download	https://arxiv.org/pdf/2605.25569.pdf
Github Repository	https://github.com/yfyang007/ControlLight

15. Claw-Anything: Benchmarking Always-On Personal Assistants with Broader Access to User's Digital World (15 votes)

Tác giả: Yusong Lin, Xinyuan Liang, Haiyang Wang, Qipeng Gu, Siqi Cheng, Jiangui Chen, Shuzhe Wu, Feiyang Pan, Lue Fan, Sanyuan Zhao, Dandan Tu

Xuất bản lúc: 2026-05-25

Tag: LLM Agents, Personal Assistant, Benchmark, Digital World, Proactive Assistance, Multi-Device Interaction

I. Main Problem:

Các hệ thống trợ lý cá nhân hiện tại chỉ hoạt động trên một phần rất nhỏ của thế giới số của người dùng, dẫn đến khả năng suy luận theo ngữ cảnh và hỗ trợ hiệu quả bị hạn chế. Các chuẩn đánh giá hiện có cũng chỉ cung cấp trạng thái người dùng một phần, không đánh giá được hiệu suất của các tác nhân trong bối cảnh rộng lớn và luôn hoạt động (always-on) như vậy.

II. Main Idea:

Bài báo giới thiệu Claw-Anything, một chuẩn đánh giá mở rộng bối cảnh của tác nhân theo ba chiều kích: (1) lịch sử hoạt động dài hạn (nhiều tháng), (2) các dịch vụ nền tảng phụ thuộc lẫn nhau, và (3) tương tác GUI và CLI tích hợp trên nhiều thiết bị. Để tạo ra các môi trường này, các tác giả mô phỏng nhiều tháng hoạt động của người dùng thông qua việc tiêm sự kiện nhiều vòng, tạo ra các trạng thái thế giới phức tạp và nhiễu thực tế. Phạm vi mở rộng này cũng cho phép đánh giá khả năng hỗ trợ chủ động (proactive assistance), yêu cầu tác nhân dự đoán nhu cầu của người dùng và đưa ra đề xuất kịp thời.

III. Main Results:

Kết quả thực nghiệm cho thấy ngay cả GPT-5.5 cũng chỉ đạt 34.5% pass@1 trên Claw-Anything, thấp hơn đáng kể so với các chuẩn đánh giá trước đây, nhấn mạnh khoảng cách giữa khả năng của các tác nhân hiện tại và yêu cầu của trợ lý cá nhân luôn hoạt động. Khi tinh chỉnh Qwen3.5-27B trên 1,500 quỹ đạo thành công từ 2,000 môi trường huấn luyện do pipeline tự động tạo ra, mô hình đã cải thiện 23.7% so với mô hình nền.

IV. Conclusion & Future Works:

Claw-Anything là một chuẩn đánh giá cho các tác nhân trợ lý cá nhân với phạm vi hoạt động rộng hơn đáng kể. Kết quả cho thấy một khoảng cách rõ rệt giữa các mô hình tiên tiến hiện tại và yêu cầu của trợ lý thực tế, với hiệu suất giảm khi bối cảnh mở rộng và các tác vụ chủ động vẫn đặc biệt khó khăn. Pipeline tạo dữ liệu tự động đi kèm hỗ trợ xây dựng môi trường có khả năng mở rộng và cung cấp nền tảng thực tế cho nghiên cứu trong tương lai về các tác nhân trợ lý cá nhân.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược nén ngữ cảnh hiệu quả cho tác nhân trợ lý cá nhân: Tập trung vào việc phát triển các phương pháp để tóm tắt và truy xuất thông tin liên quan từ luồng sự kiện dài hạn (nhiều tháng) một cách hiệu quả, giúp tác nhân có thể đưa ra quyết định mà không bị quá tải thông tin.
Phát triển các kỹ thuật suy luận đa phương thức cho tác nhân hoạt động trên nhiều thiết bị: Nghiên cứu cách kết hợp thông tin từ giao diện CLI (văn bản) và GUI (hình ảnh) một cách mượt mà, cho phép tác nhân thực hiện các tác vụ phức tạp đòi hỏi sự phối hợp giữa máy tính và điện thoại di động.
Xây dựng khung đánh giá cho khả năng hỗ trợ chủ động của tác nhân: Đề xuất các thước đo và kịch bản đánh giá mới để đo lường khả năng của tác nhân trong việc dự đoán nhu cầu của người dùng và đưa ra đề xuất kịp thời dựa trên bối cảnh, thay vì chỉ phản ứng với các yêu cầu tường minh.

2. Patent:

Phương pháp và hệ thống trợ lý ảo chủ động trên thiết bị di động: Một trợ lý ảo trên điện thoại có khả năng theo dõi lịch sử hoạt động của người dùng (email, tin nhắn, lịch hẹn, giao dịch ngân hàng) trong nhiều tháng. Dựa trên dữ liệu này, trợ lý có thể chủ động đưa ra các đề xuất như 'Có vẻ bạn thường xuyên gọi xe đi sân bay vào thứ Sáu, tôi có thể đặt xe cho bạn vào 18:20 như thường lệ không?' mà không cần người dùng yêu cầu.
Hệ thống tổng hợp và đồng bộ hóa tác vụ đa dịch vụ trên điện thoại thông minh: Một ứng dụng trợ lý có thể truy cập đồng thời vào nhiều dịch vụ khác nhau trên điện thoại (Gmail, Google Calendar, Google Drive, Slack). Khi người dùng nói 'Tổng hợp công việc tuần này của tôi thành một bài thuyết trình', hệ thống sẽ tự động trích xuất email, sự kiện lịch và tài liệu từ các dịch vụ này để tạo ra một bản trình chiếu hoàn chỉnh.
Phương pháp phối hợp tác vụ giữa điện thoại và máy tính để bàn thông qua trợ lý giọng nói: Một trợ lý trên điện thoại có thể nhận lệnh bằng giọng nói và thực hiện các hành động trên cả điện thoại và máy tính để bàn. Ví dụ, người dùng nói 'Phân tích dữ liệu bán hàng từ file Excel trên máy tính và gửi báo cáo tóm tắt vào email cho tôi', trợ lý sẽ mở file trên máy tính, thực hiện phân tích, sau đó gửi kết quả qua ứng dụng email trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.26086
ArXiv Abstract	https://arxiv.org/abs/2605.26086
PDF Download	https://arxiv.org/pdf/2605.26086.pdf
Github Repository	https://github.com/LiberCoders/CLaw-Anything

16. On-Policy Adversarial Flow Distillation for Autoregressive Video Generation (14 votes)

Tác giả: Yang Luo, Shengju Qian, Xiaohang Tang, Zirui Zhu, Yong Liu, Xin Wang, Yang You

Xuất bản lúc: 2026-05-25

Tag: Video Generation, Autoregressive Models, Knowledge Distillation, Flow Matching, Adversarial Learning, Diffusion Models

I. Main Problem:

Việc huấn luyện các mô hình sinh video tự hồi quy (autoregressive) từ các mô hình giáo viên mạnh nhưng không minh bạch (black-box) gặp nhiều khó khăn. Các mô hình giáo viên thường chỉ trả về video hoàn chỉnh mà không cung cấp điểm số, trạng thái tiềm ẩn, hay quỹ đạo khử nhiễu. Điều này khiến các phương pháp chưng cất kiến thức hiện tại như tinh chỉnh có giám sát (SFT) không hiệu quả do sự khác biệt về phân phối dữ liệu giữa quá trình huấn luyện và suy luận (off-policy), dẫn đến lỗi tích lũy dần trong quá trình sinh video.

II. Main Idea:

Bài báo đề xuất Adversarial Flow Distillation (AFD), một khung làm việc on-policy để chưng cất kiến thức từ mô hình giáo viên black-box sang mô hình sinh video tự hồi quy. AFD hoạt động theo ba bước: (1) Sử dụng một bộ phân biệt (discriminator) có điều kiện theo prompt để ước tính sự khác biệt về phân phối giữa video do giáo viên và học sinh tạo ra. (2) Chuyển đổi tín hiệu khác biệt này thành điểm lợi thế (advantage score) cho từng video. (3) Sử dụng điểm lợi thế này trong một hàm mục tiêu DiffusionNFT để cập nhật trường vận tốc (velocity field) của mô hình học sinh trên các trạng thái nhiễu của chính nó, biến tín hiệu cấp video thành sự giám sát dày đặc cho quá trình khử nhiễu mà không cần truy cập vào các thông tin nội bộ của mô hình giáo viên.

III. Main Results:

AFD được đánh giá trên hai kiến trúc mô hình học sinh tự hồi quy (Self-Forcing và Causal-Forcing) với mô hình giáo viên Seedance 2.0. Kết quả cho thấy AFD cải thiện đáng kể các chỉ số liên quan đến chuyển động và vật lý (VBench Physics, VideoAlign-MQ, VideoPhy-2-PC) so với các phương pháp baseline như SFT, GAN và DMD, đồng thời vẫn giữ được chất lượng video tổng thể. Các thí nghiệm kiểm chứng (ablation) khẳng định tầm quan trọng của phản hồi on-policy thích ứng và cơ chế gán tín hiệu trên quá trình forward.

IV. Conclusion & Future Works:

AFD là một phương pháp hiệu quả và thiết thực để chưng cất các mô hình sinh video mạnh mẽ nhưng không minh bạch vào các mô hình học sinh tự hồi quy nhỏ gọn hơn, chỉ yêu cầu video hoàn chỉnh từ giáo viên và học sinh. Phương pháp này giải quyết được vấn đề cốt lõi về sự không tương thích thông tin giữa hai mô hình. Hướng phát triển trong tương lai có thể bao gồm việc áp dụng AFD cho các loại kiến trúc học sinh khác, tối ưu hóa hiệu quả tính toán, hoặc kết hợp với các kỹ thuật tinh chỉnh dựa trên phản hồi khác.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa kiến trúc bộ phân biệt cho chưng cất video: Nghiên cứu các kiến trúc bộ phân biệt khác nhau (ví dụ: 3D ConvNet, Video Transformer) và các hàm mất mát (ví dụ: hinge loss, focal loss) để cải thiện độ chính xác của tín hiệu phản hồi trong AFD, đặc biệt là cho các video dài và có chuyển động phức tạp.
Kết hợp AFD với tinh chỉnh dựa trên sở thích (preference-based fine-tuning): Nghiên cứu cách kết hợp AFD với các phương pháp tối ưu hóa dựa trên phản hồi của con người (RLHF, DPO) để điều chỉnh mô hình học sinh không chỉ bắt chước giáo viên mà còn tuân theo các tiêu chí chất lượng cụ thể do con người định nghĩa.
Mở rộng AFD cho các tác vụ sinh đa phương thức khác: Khám phá khả năng áp dụng khung làm việc của AFD (on-policy distillation với black-box teacher) cho các mô hình sinh khác như sinh âm thanh, sinh văn bản có cấu trúc, hoặc sinh 3D, nơi mà mô hình giáo viên thường được cung cấp dưới dạng API đóng.

2. Patent:

Phương pháp và hệ thống cải thiện chất lượng video trên điện thoại thông minh dựa trên chưng cất kiến thức: Một ứng dụng trên điện thoại cho phép người dùng chọn một video ngắn và cải thiện chất lượng chuyển động của nó (ví dụ: làm mượt các chuyển động giật cục, tăng độ tự nhiên cho các vật thể chuyển động). Hệ thống sử dụng một mô hình nhỏ gọn trên thiết bị đã được huấn luyện bằng AFD từ một mô hình mạnh mẽ trên đám mây. Người dùng không cần kết nối mạng trong quá trình xử lý.
Ứng dụng tạo video hoạt hình cá nhân hóa từ ảnh tĩnh trên thiết bị di động: Người dùng chụp một bức ảnh và nhập một đoạn mô tả ngắn. Ứng dụng sử dụng một mô hình sinh video tự hồi quy nhẹ (đã được chưng cất bằng AFD) để tạo ra một video hoạt hình ngắn từ bức ảnh đó, ví dụ như làm cho nhân vật trong ảnh vẫy tay hoặc nhảy múa. Quá trình xử lý diễn ra hoàn toàn trên điện thoại để bảo vệ quyền riêng tư.
Hệ thống đề xuất và tạo sticker động thông minh trên ứng dụng nhắn tin: Hệ thống phân tích nội dung tin nhắn văn bản của người dùng và tự động đề xuất một sticker động (video ngắn) phù hợp. Sticker này được tạo ra ngay lập tức bởi một mô hình sinh video nhẹ (đã được chưng cất) chạy trên điện thoại. Mô hình được huấn luyện để tạo ra các sticker có chuyển động mượt mà và biểu cảm, nâng cao trải nghiệm nhắn tin.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.26105
ArXiv Abstract	https://arxiv.org/abs/2605.26105
PDF Download	https://arxiv.org/pdf/2605.26105.pdf
Github Repository	N/A

17. SkillEvolBench: Benchmarking the Evolution from Episodic Experience to Procedural Skills (14 votes)

Tác giả: Yingtie Lei, Zhongwei Wan, Jiankun Zhang, Samiul Alam, Zixuan Zhong, Peizhou Huang, Xin Wang, Jingxuan Zhang, Donghao Zhou, Yunta Hsieh, Zhihao Dou, Hui Shen, Yan Xu, Dimitrios Dimitriadis, Tuo Zhang, Mi Zhang

Xuất bản lúc: 2026-05-22

Tag: LLM Agents, Skill Evolution, Benchmarking, Procedural Knowledge, Experience Reuse, Skill Formation

I. Main Problem:

Các tác nhân ngôn ngữ lớn (LLM agents) có thể tích lũy các kinh nghiệm theo từng tập (episodic trajectories) khi giải quyết các tác vụ thực tế, nhưng vẫn chưa rõ liệu những kinh nghiệm đó có thể được chưng cất thành các kỹ năng thủ tục (procedural skills) có thể tái sử dụng hay không. Vấn đề cốt lõi là tái sử dụng một tập kinh nghiệm không giống với việc trích xuất một quy trình. Một tập ghi lại những gì đã xảy ra một lần và thường pha trộn các quyết định có thể chuyển giao với các chi tiết ngẫu nhiên, các giả thuyết thất bại và sai lầm. Các tác vụ trong tương lai hiếm khi lặp lại cùng một tập một cách chính xác; chúng đòi hỏi một dạng thủ tục rõ ràng hơn, nêu rõ những việc cần làm lại, khi nào làm và cần kiểm tra những gì trên đường đi. Do đó, cần một phương pháp đánh giá khả năng chuyển đổi từ kinh nghiệm rời rạc thành kỹ năng thủ tục bền vững.

II. Main Idea:

Bài báo giới thiệu SkillEvolBench, một benchmark chẩn đoán để đánh giá bước chuyển đổi từ kinh nghiệm tập sang kỹ năng thủ tục. Benchmark bao gồm 180 tác vụ trong sáu môi trường tác nhân thực tế, được tổ chức thành các họ tác vụ có điều kiện vai trò (role-conditioned task families) với các quy trình tiềm ẩn được chia sẻ. Các tác nhân học từ các tác vụ thu nhận (acquisition tasks), cập nhật một thư viện kỹ năng bên ngoài bằng cách sử dụng các dấu vết kinh nghiệm được nén lại (compacted trajectories) và phản hồi từ bộ xác minh (verifier feedback), sau đó đối mặt với các tác vụ triển khai cố định (frozen deployment tasks) để kiểm tra sự dịch chuyển ngữ cảnh (context shift), các lối tắt đối nghịch (adversarial shortcuts) và khả năng kết hợp (composition). Bằng cách so sánh sự tiến hóa kỹ năng tự tạo (self-generated) và bắt đầu từ kỹ năng được quản lý (curated-start) với các điều kiện kiểm soát không có kỹ năng (no-skill) và dấu vết thô (raw-trajectory), SkillEvolBench tách biệt khả năng trừu tượng hóa thủ tục khỏi năng lực cơ sở, kiến thức nền được quản lý và việc tái sử dụng trực tiếp các dấu vết tập.

III. Main Results:

Qua mười cấu hình mô hình và ba bộ khung tác nhân (agent harnesses), các tác giả nhận thấy rằng các tác nhân hiện tại thường thích ứng cục bộ nhưng hiếm khi hình thành các kỹ năng tái sử dụng mạnh mẽ. Các điều kiện dựa trên kỹ năng có thể cải thiện việc thu nhận hoặc phát lại, nhưng những lợi ích này không ổn định dưới các tác vụ triển khai cố định. Việc tái sử dụng dấu vết thô thường vượt trội hơn các kỹ năng đã được chưng cất, cho thấy rằng các quy trình trừu tượng hóa hiện tại loại bỏ các tín hiệu ngữ cảnh và thủ tục vẫn hữu ích cho các tác vụ trong tương lai. Các phân tích về năng lực và chi phí cho thấy việc viết nhiều kỹ năng hơn hoặc có thư viện tài nguyên lớn hơn là không đủ: các bản cập nhật bổ sung có thể cải thiện độ bao phủ nhưng đồng thời tạo ra sự lệch lạc theo từng tập cụ thể và sự lộn xộn về thủ tục.

IV. Conclusion & Future Works:

Kết luận, SkillEvolBench được định vị như một bãi thử nghiệm để đo lường thời điểm kinh nghiệm một lần trở thành kiến thức thủ tục bền vững thay vì bộ nhớ cục bộ của tác vụ. Các tác nhân hiện tại thể hiện sự thích ứng thủ tục cục bộ nhưng không đáng tin cậy trong việc hình thành kỹ năng tái sử dụng. Hướng nghiên cứu trong tương lai bao gồm phát triển các chính sách cập nhật kỹ năng bảo toàn tính tổng quát, lọc các chi tiết cụ thể của tập trước khi chúng tồn tại và giữ lại các tín hiệu thủ tục cần thiết cho việc triển khai trong tương lai dưới sự dịch chuyển ngữ cảnh, các lối tắt đối nghịch và khả năng kết hợp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về chính sách cập nhật kỹ năng thích ứng: Phát triển các thuật toán học tăng cường để xác định thời điểm tối ưu để viết, sửa đổi hoặc bỏ qua việc cập nhật kỹ năng dựa trên độ không chắc chắn của tác vụ và mức độ liên quan của kinh nghiệm. Nghiên cứu này có thể mở rộng SkillEvolBench để đánh giá các chính sách động.
Mở rộng SkillEvolBench sang các lĩnh vực đa phương thức: Phát triển các phiên bản mới của benchmark bao gồm các tác vụ liên quan đến hình ảnh, âm thanh và video, nơi các kỹ năng thủ tục cần tích hợp thông tin từ nhiều nguồn khác nhau. Điều này sẽ kiểm tra khả năng trừu tượng hóa kỹ năng trong bối cảnh đa phương thức.
Phân tích tác động của kiến trúc mô hình đến sự hình thành kỹ năng: So sánh hiệu suất của các kiến trúc LLM khác nhau (ví dụ: transformer, mamba) trên SkillEvolBench để xác định các đặc điểm kiến trúc nào hỗ trợ hoặc cản trở việc chuyển đổi kinh nghiệm tập thành kỹ năng thủ tục.

2. Patent:

Hệ thống tự động tạo hướng dẫn từng bước cho ứng dụng di động: Phát triển một phương pháp trên điện thoại thông minh, nơi các tương tác của người dùng với ứng dụng (ví dụ: chỉnh sửa ảnh, đặt vé) được ghi lại và tự động chuyển đổi thành các hướng dẫn ngắn gọn, có thể tái sử dụng. Hướng dẫn này sẽ giúp người dùng mới hoàn thành các tác vụ phức tạp mà không cần phải xem lại toàn bộ quá trình thao tác.
Phương pháp cải thiện trợ lý ảo trên thiết bị di động bằng cách học từ các phiên làm việc trước: Một hệ thống cho phép trợ lý ảo trên điện thoại ghi nhớ các chuỗi hành động thành công từ các tương tác trước đó của người dùng (ví dụ: đặt báo thức, gửi tin nhắn hàng loạt) và tạo ra các 'kỹ năng' tùy chỉnh. Khi người dùng đưa ra yêu cầu tương tự, trợ lý có thể thực hiện toàn bộ quy trình thay vì từng bước một, giúp tiết kiệm thời gian và công sức.
Ứng dụng quản lý tác vụ thông minh với khả năng tự động hóa quy trình làm việc: Một ứng dụng di động cho phép người dùng ghi lại một quy trình làm việc nhiều bước (ví dụ: sao lưu ảnh, chỉnh sửa và đăng lên mạng xã hội). Ứng dụng sẽ phân tích quy trình này, trích xuất các bước cốt lõi và tạo ra một 'kỹ năng' có thể được kích hoạt lại chỉ bằng một cú chạm, tự động hóa các tác vụ lặp đi lặp lại và giảm thiểu sai sót.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.24117
ArXiv Abstract	https://arxiv.org/abs/2605.24117
PDF Download	https://arxiv.org/pdf/2605.24117.pdf
Github Repository	N/A

18. Personalize-then-Store: Benchmarking and Learning Personalized Memory for Long-horizon Agents (12 votes)

Tác giả: Yeonjun In, Wonjoong Kim, Sangwu Park, Kanghoon Yoon, Chanyoung Park

Xuất bản lúc: 2026-05-25

Tag: LLMs, Memory Systems, Personalization, Benchmark, Long-horizon Agents

I. Main Problem:

Các hệ thống bộ nhớ dựa trên LLM hiện tại sử dụng các chính sách phổ quát, tĩnh, bỏ qua thực tế rằng ngữ cảnh đáng lưu trữ là khác nhau giữa các người dùng. Điều này dẫn đến việc lãng phí bộ nhớ hữu hạn vào các tương tác nhất thời và không lưu trữ được ngữ cảnh quan trọng cho các tác vụ dài hạn.

II. Main Idea:

Bài báo giới thiệu PerMem-Bench, benchmark đầu tiên để đánh giá hệ thống bộ nhớ cá nhân hóa, với lịch sử tương tác đa ngành, nhiều năm cho nhiều chân dung người dùng khác nhau. Ngoài ra, bài báo đề xuất 'session-level storage gating', một khung nhẹ cho phép bỏ qua các thao tác ghi nhớ đối với các phiên tương tác nhất thời, tập trung tài nguyên vào các phiên cần tích lũy ngữ cảnh dài hạn.

III. Main Results:

Các thí nghiệm cho thấy rằng việc cá nhân hóa hoàn hảo (Oracle) mang lại cải thiện đáng kể về tỷ lệ lưu giữ bộ nhớ (Retention Rate) so với chính sách phổ quát, đặc biệt là khi ngân sách bộ nhớ thấp. Tuy nhiên, các phương pháp gating hiện tại (Greedy, Context-aware, Structure-aware) vẫn chưa đủ chính xác để đạt được lợi ích này, với Structure-aware đạt F1 tối đa 0.844 trên PerMem-Bench tĩnh nhưng gặp khó khăn khi phát hiện sự thay đổi trong hồ sơ sử dụng.

IV. Conclusion & Future Works:

Bài báo khẳng định tầm quan trọng của hệ thống bộ nhớ cá nhân hóa và cung cấp benchmark PerMem-Bench. Hướng phát triển trong tương lai bao gồm: mở rộng quy mô benchmark, mô hình hóa hồ sơ sử dụng chi tiết hơn, mở rộng cá nhân hóa sang cả thao tác xóa bộ nhớ, và cải thiện độ chính xác của session-level gating thông qua các phương pháp như agentic post-training.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu và phát triển các phương pháp gating kết hợp giữa suy luận cấu trúc và suy luận cấp phiên để phát hiện chính xác sự thay đổi trong hành vi sử dụng của người dùng.
Mở rộng PerMem-Bench với hồ sơ người dùng chi tiết hơn, bao gồm các mẫu hành vi tinh tế và nhiều lĩnh vực hơn, cùng với các cơ chế đánh giá mới cho các thao tác xóa bộ nhớ.
Áp dụng các kỹ thuật học tăng cường (reinforcement learning) để tối ưu hóa chính sách gating thông qua tương tác giữa tác nhân và môi trường, nhằm thu hẹp khoảng cách giữa hiệu suất hiện tại và hiệu suất lý tưởng.

2. Patent:

Phương pháp quản lý bộ nhớ thông minh trên điện thoại thông minh: Hệ thống tự động phân loại các tương tác của người dùng với trợ lý ảo thành hai loại: 'quan trọng cần nhớ' (ví dụ: kế hoạch du lịch dài ngày, dự án công việc) và 'nhất thời' (ví dụ: hỏi thời tiết, tra từ điển). Sau đó, hệ thống chỉ lưu trữ thông tin từ các tương tác quan trọng, giúp tiết kiệm bộ nhớ và tăng tốc độ phản hồi.
Ứng dụng cá nhân hóa lịch trình trên thiết bị di động: Ứng dụng ghi nhớ các dự án dài hạn của người dùng (ví dụ: lên kế hoạch đám cưới, học ngoại ngữ) dựa trên lịch sử tương tác. Khi người dùng có các truy vấn mới, ứng dụng sẽ ưu tiên cung cấp thông tin liên quan đến các dự án này, đồng thời bỏ qua các truy vấn ngắn hạn, không liên quan để tối ưu hóa hiệu suất.
Hệ thống gợi ý thích ứng trên điện thoại: Hệ thống theo dõi các chủ đề mà người dùng thường xuyên tương tác trong thời gian dài (ví dụ: công thức nấu ăn cho việc kinh doanh ẩm thực) và tự động đề xuất các nội dung liên quan. Đồng thời, hệ thống sẽ không lưu trữ hoặc đề xuất các chủ đề chỉ xuất hiện một lần (ví dụ: hỏi đường đi), giúp trải nghiệm người dùng trở nên tập trung và hiệu quả hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.25535
ArXiv Abstract	https://arxiv.org/abs/2605.25535
PDF Download	https://arxiv.org/pdf/2605.25535.pdf
Github Repository	https://github.com/yeonjun-in/PerMemBench

19. Anticipate and Learn: Unleashing Idle-Time Compute in Proactive Agents (12 votes)

Tác giả: Haoyi Hu, Qirong Lyu, Xianghan Kong, Weiwen Liu, Jianghao Lin, Zixuan Guo, Yan Xu, Yasheng Wang, Weinan Zhang, Yong Yu

Xuất bản lúc: 2026-05-25

Tag: LLMs, AI Agents, Proactive Computing, Memory-Augmented LLMs, Inference-Time Compute, Dialogue Systems

I. Main Problem:

Các AI agent hiện tại hoạt động theo cơ chế phản ứng (reactive): chúng chỉ tính toán và đưa ra phản hồi sau khi nhận được yêu cầu tường minh từ người dùng. Điều này bỏ qua một cơ hội quan trọng: khoảng thời gian chờ (idle time) giữa các tương tác bị lãng phí, khiến agent không thể chuẩn bị cho các nhu cầu tương lai của người dùng.

II. Main Idea:

Tác giả giới thiệu ProAct, một kiến trúc agent chủ động (proactive) tận dụng thời gian chờ để dự đoán và chuẩn bị cho các nhu cầu sắp tới của người dùng. ProAct có hai mô-đun chính: (1) Dự đoán trạng thái tương lai (Future-State Prediction) liên tục dự đoán các nhu cầu tiềm ẩn dựa trên lịch sử hội thoại và bộ nhớ dài hạn; (2) Thu thập thông tin trong thời gian chờ (Idle-Time Acquisition) đánh giá các nhu cầu dự đoán, phân bổ tài nguyên tính toán để thu thập bằng chứng và tạo ra các tạo tác kiến thức, sau đó quyết định thời điểm và cách thức cung cấp chúng cho người dùng một cách hữu ích.

III. Main Results:

Trên bộ đánh giá ProActEval (200 kịch bản, 40 lĩnh vực), ProAct giảm 14.8% số lượt tương tác cần thiết, giảm 11.7% nỗ lực của người dùng và cắt giảm 28.1% tỷ lệ hallucination so với baseline phản ứng. Trên MemBench, ProAct đạt độ chính xác phản ánh (reflective accuracy) 84.3% ở 10k token và 86.3% ở 100k token, vượt trội so với các phương pháp hiện có.

IV. Conclusion & Future Works:

ProAct chứng minh rằng việc tận dụng thời gian chờ để dự đoán và chuẩn bị cho nhu cầu tương lai mang lại hiệu quả vượt trội so với các agent phản ứng. Tuy nhiên, kết quả được đánh giá trên benchmark mô phỏng thế giới đóng, cần được kiểm chứng thêm trong các hệ thống trợ lý cá nhân thực tế. Các hướng phát triển tương lai bao gồm kiểm soát người dùng, giới hạn tốc độ và giám sát liên tục để tránh các tác dụng phụ không mong muốn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng ProActEval thành một benchmark chuẩn cho các agent chủ động, bao gồm các kịch bản đa phương thức (văn bản, hình ảnh, giọng nói) và các hồ sơ người dùng phức tạp hơn.
Nghiên cứu các chiến lược tối ưu hóa việc phân bổ ngân sách tính toán trong thời gian chờ, sử dụng học tăng cường để tự động điều chỉnh mức độ chủ động dựa trên phản hồi của người dùng.
Tích hợp ProAct với các mô hình ngôn ngữ lớn đa phương thức để dự đoán và chuẩn bị cho các nhu cầu không chỉ dựa trên văn bản mà còn từ hình ảnh, video hoặc dữ liệu cảm biến từ môi trường xung quanh.

2. Patent:

Phương pháp và hệ thống trợ lý ảo trên điện thoại thông minh có khả năng tự động dự đoán và chuẩn bị thông tin cho các cuộc họp hoặc sự kiện sắp tới của người dùng. Ví dụ: sau khi người dùng xác nhận lịch họp, trợ lý sẽ tự động tìm kiếm và tóm tắt các tài liệu liên quan, lịch sử dự án, và danh sách người tham dự, sẵn sàng cung cấp khi người dùng yêu cầu.
Hệ thống quản lý thông báo thông minh trên thiết bị di động, sử dụng kiến trúc agent chủ động để đánh giá mức độ hữu ích và chi phí gián đoạn trước khi quyết định 'đẩy' thông tin đã chuẩn bị lên màn hình chính hoặc gửi thông báo, thay vì phải chờ người dùng hỏi.
Phương pháp tối ưu hóa thời gian chờ trên điện thoại thông minh bằng cách sử dụng các tài nguyên tính toán rảnh rỗi (ví dụ: khi điện thoại đang sạc qua đêm) để thực hiện các tác vụ nền như cập nhật hồ sơ người dùng, phân tích thói quen, và chuẩn bị các câu trả lời cho các câu hỏi thường gặp, giúp cải thiện tốc độ phản hồi và giảm tiêu thụ pin khi tương tác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.25971
ArXiv Abstract	https://arxiv.org/abs/2605.25971
PDF Download	https://arxiv.org/pdf/2605.25971.pdf
Github Repository	https://github.com/AgentACE-AI/ProAct

20. Channel-wise Vector Quantization (11 votes)

Tác giả: Wei Song, Tianhang Wang, Yitong Chen, Tong Zhang, Zuxuan Wu, Ming Li, Jiaqi Wang, Kaicheng Yu

Xuất bản lúc: 2026-05-25

Tag: Vector Quantization, Autoregressive Generation, Image Tokenization, Vision-Language Action, Image Generation

I. Main Problem:

Các phương pháp Vector Quantization (VQ) truyền thống gặp phải hai hạn chế chính: (1) Sử dụng codebook không hiệu quả, dẫn đến mất mát thông tin và chất lượng tái tạo kém; (2) Không phù hợp với mô hình tuần tự hóa (sequence-to-sequence) vì ảnh là không gian 2D, trong khi ngôn ngữ là tín hiệu 1D, gây ra sự không khớp cấu trúc khi làm phẳng các token patch thành chuỗi 1D.

II. Main Idea:

Bài báo đề xuất Channel-wise Vector Quantization (CVQ), một phương pháp lượng tử hóa mới thay thế các token dạng patch (theo không gian) bằng các token theo kênh (channel). Thay vì gán một chỉ số cho mỗi vector đặc trưng 1x1xc, CVQ gán một chỉ số cho mỗi kênh hxwx1 của bản đồ đặc trưng. Dựa trên CVQ, tác giả giới thiệu Channel-wise Auto-Regressive (CAR), một khung sinh ảnh tự hồi quy mới với cơ chế 'next-channel prediction', cho phép mô hình dự đoán các kênh ảnh một cách tuần tự, từ cấu trúc tổng thể đến chi tiết tinh vi.

III. Main Results:

CVQ đạt được tỷ lệ sử dụng codebook 100% với kích thước codebook 16K+ mà không cần thủ thuật phức tạp, cải thiện đáng kể chất lượng tái tạo so với VQ truyền thống (rFID giảm từ 4.84 xuống 2.60 với 256 token). Mô hình CAR đạt điểm DPG là 86.7 và GenEval là 0.79 trên tác vụ sinh ảnh từ văn bản, cạnh tranh với các phương pháp mạnh như Infinity và InfinityStar.

IV. Conclusion & Future Works:

CVQ là một phương pháp lượng tử hóa đơn giản nhưng hiệu quả, đạt được tỷ lệ sử dụng codebook cao và chất lượng tái tạo tốt. Hướng phát triển trong tương lai bao gồm: (1) Kết hợp CVQ với các cải tiến VQ khác như SimVQ và IBQ; (2) Áp dụng CAR cho các mô hình thị giác thống nhất (unified vision models); (3) Mở rộng CVQ sang chiều thời gian để học biểu diễn video hiệu quả.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp CVQ với các phương pháp VQ tiên tiến (SimVQ, IBQ) để nâng cao khả năng biểu diễn: Nghiên cứu tích hợp CVQ với các kỹ thuật như SimVQ (cải thiện gradient) hoặc IBQ (lan truyền ngược chỉ số) nhằm tối ưu hóa quá trình học codebook, giảm thiểu lỗi lượng tử hóa và tăng cường chất lượng tái tạo hình ảnh.
Xây dựng mô hình thị giác thống nhất (Unified Vision Model) dựa trên CAR: Phát triển một kiến trúc duy nhất có khả năng thực hiện đồng thời hiểu và sinh ảnh (ví dụ: phân loại ảnh, mô tả ảnh, sinh ảnh từ văn bản) sử dụng cơ chế tự hồi quy theo kênh (CAR), tận dụng lợi thế về thứ tự token 1D tự nhiên.
Mở rộng CVQ cho biểu diễn video hiệu quả: Áp dụng phương pháp lượng tử hóa theo kênh cho dữ liệu video bằng cách mở rộng sang chiều thời gian, tạo ra các token video 1D thể hiện sự tiến triển về nội dung theo thời gian, phục vụ cho các tác vụ sinh video hoặc nén video hiệu quả.

2. Patent:

Phương pháp nén ảnh thông minh trên điện thoại di động: Sử dụng CVQ để nén ảnh thành một chuỗi các token theo kênh, thay vì các khối pixel truyền thống. Khi người dùng chụp ảnh, điện thoại sẽ lưu trữ ảnh dưới dạng các token này, giúp giảm dung lượng lưu trữ đáng kể mà vẫn giữ được chất lượng hình ảnh tốt, đặc biệt hữu ích cho các thiết bị có bộ nhớ hạn chế.
Ứng dụng chỉnh sửa ảnh 'từ tổng thể đến chi tiết' trên điện thoại: Dựa trên cơ chế sinh ảnh theo kênh của CAR, phát triển một ứng dụng chỉnh sửa ảnh cho phép người dùng thay đổi ảnh một cách trực quan. Người dùng có thể điều chỉnh các thuộc tính tổng thể (màu sắc chủ đạo, bố cục) trước, sau đó mới chỉnh sửa các chi tiết nhỏ (kết cấu, đường nét), mô phỏng quy trình vẽ của một họa sĩ.
Tính năng tạo hình nền động trên điện thoại: Sử dụng mô hình CAR để tạo ra hình nền động có độ phân giải cao ngay trên điện thoại. Người dùng chỉ cần nhập một mô tả văn bản (ví dụ: 'một khu rừng với ánh nắng xuyên qua tán lá'), mô hình sẽ tự động sinh ra hình ảnh tương ứng, bắt đầu từ các mảng màu lớn và dần dần thêm các chi tiết, tạo ra trải nghiệm xem hình nền sống động và cá nhân hóa.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.26089
ArXiv Abstract	https://arxiv.org/abs/2605.26089
PDF Download	https://arxiv.org/pdf/2605.26089.pdf
Github Repository	https://github.com/songweii/CVQ

📰 Summary of Papers​

1. DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning (117 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation (89 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Macaron-A2UI: A Model for Generative UI in Personal Agents (67 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Foundation Protocol: A Coordination Layer for Agentic Society (59 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. TriSplat: Simulation-Ready Feed-Forward 3D Scene Reconstruction (34 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Toward Native Multimodal Modeling: A Roadmap (31 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. QUEST: Training Frontier Deep Research Agents with Fully Synthetic Tasks (29 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. ParaVT: Taming the Tool Prior Paradox for Parallel Tool Use in Agentic Video Reinforcement Learning (29 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. ThriftAttention: Selective Mixed Precision for Long-Context FP4 Attention (28 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning (117 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation (89 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Macaron-A2UI: A Model for Generative UI in Personal Agents (67 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Foundation Protocol: A Coordination Layer for Agentic Society (59 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. TriSplat: Simulation-Ready Feed-Forward 3D Scene Reconstruction (34 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Toward Native Multimodal Modeling: A Roadmap (31 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. QUEST: Training Frontier Deep Research Agents with Fully Synthetic Tasks (29 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. ParaVT: Taming the Tool Prior Paradox for Parallel Tool Use in Agentic Video Reinforcement Learning (29 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. ThriftAttention: Selective Mixed Precision for Long-Context FP4 Attention (28 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: