Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-05-13

Báo cáo được tạo tự động vào lúc 2026-05-14 12:03:43 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​


1. MemPrivacy: Privacy-Preserving Personalized Memory Management for Edge-Cloud Agents (128 votes)​

Tác giả: Yining Chen, Jihao Zhao, Bo Tang, Haofen Wang, Feiyu Xiong, Zhiyu Li

Xuất bản lúc: 2026-05-10

Tag: LLM Agents, Edge-Cloud, Privacy Preservation, Memory Management, Pseudonymization, Placeholder Masking, LLM

I. Main Problem:​

Các tác nhân AI (Agent) được hỗ trợ bởi LLM trong kiến trúc edge-cloud sử dụng bộ nhớ cá nhân hóa trên cloud để thích ứng lâu dài. Tuy nhiên, việc xử lý bộ nhớ trên cloud làm lộ thông tin nhạy cảm của người dùng. Các phương pháp bảo vệ quyền riêng tư hiện tại, như che giấu (masking) toàn bộ, thường phá hủy ngữ nghĩa của văn bản, dẫn đến giảm chất lượng cá nhân hóa và tiện ích của bộ nhớ. Thách thức chính là làm sao giảm thiểu rủi ro lộ dữ liệu nhạy cảm trong quá trình xử lý trên cloud mà vẫn giữ được cấu trúc ngữ nghĩa cần thiết cho việc truy xuất và cá nhân hóa hiệu quả.

II. Main Idea:​

Bài báo đề xuất MemPrivacy, một khung quản lý bộ nhớ cá nhân hóa bảo vệ quyền riêng tư dựa trên cơ chế 'giả danh hóa có thể đảo ngược cục bộ' (local reversible pseudonymization). Cụ thể, một mô hình nhẹ trên thiết bị edge sẽ phát hiện các khoảng văn bản chứa thông tin nhạy cảm, thay thế chúng bằng các placeholder có cấu trúc ngữ nghĩa (ví dụ: <EMAIL_1>, <Health_Info_1>) trước khi gửi lên cloud. Cloud chỉ nhìn thấy các placeholder này, giúp bảo toàn ngữ nghĩa cho các tác vụ như suy luận và ghi nhớ, nhưng không tiếp xúc với dữ liệu gốc. Sau khi cloud xử lý xong, thiết bị cục bộ sẽ khôi phục lại các giá trị gốc từ các placeholder, đảm bảo người dùng nhận được phản hồi đầy đủ và cá nhân hóa. Khung này cũng giới thiệu một hệ thống phân loại quyền riêng tư bốn cấp độ (PL1-PL4) để cho phép các chính sách bảo vệ có thể cấu hình được theo mức độ nhạy cảm.

III. Main Results:​

MemPrivacy đạt hiệu suất vượt trội trong việc trích xuất thông tin nhạy cảm, vượt qua các mô hình mạnh như GPT-5.2 và Gemini-3.1-Pro, đồng thời giảm độ trễ suy luận. Khi tích hợp vào các hệ thống bộ nhớ phổ biến (LangMem, Mem0, Memobase), MemPrivacy giới hạn mức suy giảm tiện ích (utility loss) ở mức dưới 1.6%, vượt trội so với các chiến lược che giấu (masking) cơ bản. Mô hình MemPrivacy nhẹ (0.6B đến 4B tham số) được tối ưu cho triển khai trên thiết bị edge.

IV. Conclusion & Future Works:​

MemPrivacy cung cấp một giải pháp hiệu quả để cân bằng giữa bảo vệ quyền riêng tư và tiện ích của bộ nhớ cá nhân hóa cho các tác nhân edge-cloud. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng bộ dữ liệu MemPrivacy-Bench, cải thiện khả năng phát hiện quyền riêng tư trong các ngữ cảnh phức tạp hơn, và tối ưu hóa hơn nữa các mô hình nhẹ cho nhiều loại thiết bị edge khác nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng MemPrivacy-Bench cho đa phương tiện: Nghiên cứu khả năng bảo vệ quyền riêng tư không chỉ cho văn bản mà còn cho các định dạng dữ liệu khác như hình ảnh, âm thanh và video trong tương tác agent. Xây dựng một benchmark mới với các tình huống đa phương tiện và phát triển cơ chế placeholder cho các loại dữ liệu này.
  2. Học tăng cường cho chính sách bảo vệ quyền riêng tư thích ứng: Nghiên cứu việc sử dụng học tăng cường để tự động điều chỉnh mức độ bảo vệ (PL1-PL4) dựa trên phản hồi của người dùng và ngữ cảnh. Mục tiêu là tạo ra một hệ thống có thể học được sở thích về quyền riêng tư của từng người dùng và tối ưu hóa sự cân bằng giữa bảo mật và tiện ích.
  3. Tấn công và phòng thủ trên placeholder semantics: Nghiên cứu các loại tấn công mới nhắm vào chính các placeholder (ví dụ: suy luận ngược giá trị từ ngữ cảnh) và phát triển các cơ chế phòng thủ mạnh mẽ hơn, như mã hóa placeholder hoặc tạo placeholder động khó đoán.

2. Patent:​

  1. Phương pháp và hệ thống bảo vệ quyền riêng tư cho trợ lý ảo trên điện thoại thông minh: Khi người dùng nhờ trợ lý ảo soạn tin nhắn hoặc email có chứa thông tin cá nhân như số điện thoại, địa chỉ nhà, thông tin sức khỏe, điện thoại sẽ tự động thay thế các thông tin này bằng các ký hiệu đặc biệt (ví dụ: <SDT_CUA_TOI>) trước khi gửi yêu cầu lên máy chủ đám mây. Sau khi máy chủ xử lý và gửi kết quả trả về, điện thoại sẽ khôi phục các ký hiệu thành thông tin gốc, giúp người dùng có được kết quả hoàn chỉnh mà không lo bị lộ dữ liệu.
  2. Ứng dụng quản lý mật khẩu và thông tin đăng nhập thông minh: Một ứng dụng trên điện thoại cho phép người dùng lưu trữ mật khẩu và thông tin thẻ tín dụng. Khi người dùng cần điền thông tin này vào các biểu mẫu trực tuyến hoặc yêu cầu trợ lý ảo thực hiện giao dịch, ứng dụng sẽ chỉ gửi các placeholder đại diện cho các thông tin đó lên đám mây. Điện thoại sẽ tự động điền thông tin thật vào biểu mẫu hoặc xác nhận giao dịch, đảm bảo rằng dữ liệu nhạy cảm không bao giờ rời khỏi thiết bị.
  3. Phương pháp cá nhân hóa quảng cáo trên thiết bị di động mà không tiết lộ danh tính: Hệ thống quảng cáo trên điện thoại có thể học sở thích của người dùng (ví dụ: thích du lịch, thể thao) và lưu trữ dưới dạng các placeholder. Khi cần hiển thị quảng cáo, hệ thống gửi các placeholder này lên máy chủ quảng cáo để chọn nội dung phù hợp. Máy chủ không bao giờ biết danh tính thực hay các thông tin chi tiết của người dùng, nhưng vẫn có thể cung cấp quảng cáo được cá nhân hóa cao.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.09530
ArXiv Abstracthttps://arxiv.org/abs/2605.09530
PDF Downloadhttps://arxiv.org/pdf/2605.09530.pdf
Github Repositoryhttps://github.com/MemTensor/MemPrivacy

2. SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture (114 votes)​

Tác giả: Haiwen Diao, Penghao Wu, Hanming Deng, Jiahao Wang, Shihao Bai, Silei Wu, Weichen Fan, Wenjie Ye, Wenwen Tong, Xiangyu Fan, Yan Li, Yubo Wang, Zhijie Cao, Zhiqian Lin, Zhitao Yang, Zhongang Cai, Yuwei Niu, Yue Zhu, Bo Liu, Chengguang Lv, Haojia Yu, Haozhe Xie, Hongli Wang, Jianan Fan, Jiaqi Li, Jiefan Lu, Jingcheng Ni, Junxiang Xu, Kaihuan Liang, Lianqiang Shi, Linjun Dai, Linyan Wang, Oscar Qian, Peng Gao, Pengfei Liu, Qingping Sun, Rui Shen, Ruisi Wang, Shengnan Ma, Shuang Yang, Siyi Xie, Siying Li, Tianbo Zhong, Xiangli Kong, Xuanke Shi, Yang Gao, Yongqiang Yao, Yves Wang, Zhengqi Bai, Zhengyu Lin, Zixin Yin, Wenxiu Sun, Ruihao Gong, Quan Wang, Lewei Lu, Lei Yang, Ziwei Liu, Dahua Lin

Xuất bản lúc: 2026-05-12

Tag: Vision-Language Model, Multimodal Understanding, Multimodal Generation, Mixture-of-Transformers, Flow Matching, Unified Model

I. Main Problem:​

Các mô hình đa phương thức lớn hiện tại (VLMs) bị chia tách thành hai bài toán riêng biệt: hiểu và sinh. Sự phân chia này dẫn đến các kiến trúc rời rạc, pipeline xếp tầng và không gian biểu diễn không đồng nhất. Các mô hình hiểu thường dùng bộ mã hóa thị giác (VE) đã được huấn luyện trước, trong khi mô hình sinh dùng bộ mã hóa tự động biến thiên (VAE) tiềm ẩn. Điều này tạo ra các không gian đặc trưng khác nhau, gây khó khăn cho việc hợp nhất thực sự.

II. Main Idea:​

Bài báo giới thiệu SenseNova-U1, một mô hình đa phương thức hợp nhất tự nhiên dựa trên kiến trúc NEO-unify. Khác với các phương pháp trước, SenseNova-U1 hoạt động trực tiếp trên pixel và văn bản mà không cần bộ mã hóa thị giác (VE) hay bộ giải mã VAE. Kiến trúc cốt lõi là Mixture-of-Transformers (MoT) cho phép hiểu và sinh tương tác ở mọi lớp. Mô hình sử dụng giao diện thị giác gần như không mất mát, huấn luyện với mục tiêu kết hợp: mất mát autoregressive cho văn bản và flow matching trong không gian pixel cho hình ảnh.

III. Main Results:​

SenseNova-U1 đạt hiệu suất cạnh tranh với các VLM hiểu đỉnh cao trong các tác vụ như hiểu văn bản, nhận thức thị giác-ngôn ngữ, suy luận tri thức, ra quyết định tác tử và trí thông minh không gian. Đồng thời, mô hình này cũng thể hiện khả năng sinh ảnh mạnh mẽ (X2I) với tỷ lệ nén 32 lần, bao gồm sinh ảnh thông thường, sinh ảnh giàu tri thức và sinh ảnh giàu văn bản. Ngoài ra, mô hình còn hỗ trợ sinh xen kẽ văn bản-hình ảnh một cách mạch lạc.

IV. Conclusion & Future Works:​

SenseNova-U1 thiết lập một mô hình mới cho việc hợp nhất hiểu và sinh đa phương thức. Kết quả thử nghiệm sơ bộ cho thấy tiềm năng trong các lĩnh vực thị giác-ngôn ngữ-hành động (VLA) và mô hình thế giới (WM), hướng tới một kiến trúc thống nhất nơi mô hình có thể suy luận và hành động một cách tự nhiên trên các phương thức. Hướng phát triển tương lai bao gồm mở rộng quy mô dữ liệu, mô hình và ứng dụng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc áp dụng kiến trúc MoT cho các tác vụ đa phương thức trên thiết bị di động, tối ưu hóa để giảm độ trễ và chi phí tính toán.
  2. Phát triển một phiên bản SenseNova-U1 chuyên biệt cho việc hiểu và sinh ảnh y tế, tận dụng khả năng sinh ảnh giàu tri thức của mô hình.
  3. Khám phá khả năng của SenseNova-U1 trong việc tạo ra các trợ lý ảo đa phương thức có thể hiểu và sinh nội dung một cách liền mạch, ví dụ như tạo truyện tranh hoặc trình bày slide tự động.

2. Patent:​

  1. Phương pháp và hệ thống tạo ảnh đại diện cá nhân hóa cho điện thoại di động: Sử dụng SenseNova-U1 để tạo ảnh đại diện (avatar) từ mô tả văn bản của người dùng, cho phép tùy chỉnh phong cách, trang phục và bối cảnh, tạo ra các ảnh đại diện chất lượng cao, sẵn sàng sử dụng làm ảnh đại diện trên các ứng dụng mạng xã hội hoặc trò chơi.
  2. Ứng dụng chỉnh sửa ảnh thông minh trên điện thoại di động: Sử dụng SenseNova-U1 để cho phép người dùng chỉnh sửa ảnh trực tiếp bằng ngôn ngữ tự nhiên, như 'thay đổi màu tóc thành màu xanh' hoặc 'thêm một chú mèo vào góc trái'. Mô hình sẽ hiểu và thực hiện các thao tác chỉnh sửa phức tạp một cách chính xác.
  3. Hệ thống tạo nội dung quảng cáo đa phương thức cho thiết bị di động: Sử dụng SenseNova-U1 để tự động tạo ra các bài đăng quảng cáo trên mạng xã hội bao gồm cả văn bản và hình ảnh từ một mô tả sản phẩm ngắn gọn. Hệ thống có thể tạo ra nhiều phiên bản quảng cáo khác nhau, tối ưu hóa cho các đối tượng mục tiêu khác nhau.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.12500
ArXiv Abstracthttps://arxiv.org/abs/2605.12500
PDF Downloadhttps://arxiv.org/pdf/2605.12500.pdf
Github Repositoryhttps://github.com/OpenSenseNova/SenseNova-U1

3. δ-mem: Efficient Online Memory for Large Language Models (89 votes)​

Tác giả: Jingdi Lei, Di Zhang, Junxian Li, Weida Wang, Kaixuan Fan, Xiang Liu, Qihan Liu, Xiaoteng Ma, Baian Chen, Soujanya Poria

Xuất bản lúc: 2026-05-12

Tag: LLMs, Memory Mechanisms, Delta-Rule Learning, Associative Memory, Attention Correction

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) gặp khó khăn trong việc tích lũy và tái sử dụng thông tin lịch sử trong các tác vụ tương tác dài hạn như trợ lý cá nhân và hệ thống tác tử. Việc mở rộng cửa sổ ngữ cảnh đơn giản là tốn kém về mặt tính toán (chi phí bậc hai) và thường không đảm bảo sử dụng hiệu quả ngữ cảnh do hiện tượng suy giảm chất lượng khi ngữ cảnh quá dài.

II. Main Idea:​

Bài báo đề xuất δ-mem, một cơ chế bộ nhớ nhẹ, bổ sung cho một mô hình nền (backbone) đã được đóng băng (frozen full-attention backbone) một trạng thái bộ nhớ kết hợp (associative memory) trực tuyến, gọn nhẹ. Cơ chế này nén thông tin quá khứ vào một ma trận trạng thái có kích thước cố định, được cập nhật liên tục bằng quy tắc delta (delta-rule learning). Trong quá trình sinh, thay vì truy xuất văn bản, δ-mem đọc tín hiệu từ trạng thái bộ nhớ để tạo ra các hiệu chỉnh hạng thấp (low-rank corrections) cho quá trình tính toán attention của mô hình nền, cho phép bộ nhớ tham gia trực tiếp vào quá trình tính toán mà không cần tinh chỉnh lại toàn bộ mô hình.

III. Main Results:​

Với trạng thái bộ nhớ trực tuyến chỉ 8x8, δ-mem cải thiện điểm trung bình lên 1.10x so với mô hình nền và 1.15x so với baseline mạnh nhất không phải δ-mem. Trên các benchmark nặng về bộ nhớ, δ-mem đạt 1.31x trên MemoryAgentBench và 1.20x trên LoCoMo. Kết quả cho thấy một trạng thái trực tuyến nhỏ gọn, khi được kết nối trực tiếp với tính toán attention, có thể cung cấp bộ nhớ kết hợp hiệu quả.

IV. Conclusion & Future Works:​

δ-mem chứng minh rằng bộ nhớ hiệu quả có thể được hiện thực hóa thông qua một trạng thái trực tuyến nhỏ gọn kết hợp trực tiếp với tính toán attention, mà không cần tinh chỉnh toàn bộ mô hình, thay thế backbone hay mở rộng ngữ cảnh một cách tường minh. Các kết quả cho thấy trạng thái trực tuyến nhỏ gọn có thể đóng vai trò là một giao diện hiệu quả và có khả năng mở rộng cho bộ nhớ trong quá trình kiểm tra (test-time) trên các mô hình nền đã được đóng băng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu việc kết hợp δ-mem với các kiến trúc attention hiệu quả khác (ví dụ: sparse attention, linear attention) để giảm thêm chi phí tính toán, đồng thời cải thiện khả năng mở rộng của bộ nhớ.

  2. Mở rộng δ-mem để hỗ trợ cập nhật bộ nhớ đa phương thức (ví dụ: hình ảnh, âm thanh) bằng cách thiết kế các không gian bộ nhớ kết hợp riêng cho từng loại dữ liệu.

  3. Phát triển các chiến lược ghi bộ nhớ động (dynamic writing strategies) cho δ-mem, nơi mô hình tự quyết định mức độ chi tiết (token, segment, event) để ghi vào bộ nhớ dựa trên nội dung đầu vào, nhằm tối ưu hóa việc sử dụng bộ nhớ.

2. Patent:​

  1. Phương pháp và hệ thống trợ lý ảo trên thiết bị di động có bộ nhớ ngữ cảnh thông minh: Một hệ thống trợ lý ảo trên điện thoại sử dụng δ-mem để ghi nhớ lịch sử tương tác và sở thích của người dùng dưới dạng một ma trận bộ nhớ nhỏ gọn. Khi người dùng đặt câu hỏi mới, trợ lý sẽ truy vấn bộ nhớ này để hiểu rõ hơn về ngữ cảnh và đưa ra câu trả lời chính xác và cá nhân hóa hơn, mà không cần lưu trữ toàn bộ lịch sử trò chuyện dưới dạng văn bản.

  2. Ứng dụng ghi chú thông minh trên điện thoại có khả năng tóm tắt và tra cứu ngữ cảnh: Một ứng dụng ghi chú cho phép người dùng ghi lại các ý tưởng, sự kiện hoặc nhiệm vụ. Ứng dụng sử dụng δ-mem để nén nội dung của các ghi chú trước đó thành một trạng thái bộ nhớ. Khi người dùng tạo một ghi chú mới, ứng dụng sẽ tự động truy xuất thông tin liên quan từ bộ nhớ này và đề xuất các nội dung bổ sung, tóm tắt hoặc nhắc nhở dựa trên ngữ cảnh.

  3. Hệ thống điều khiển bằng giọng nói trên điện thoại có khả năng ghi nhớ các lệnh và tác vụ đa bước: Một hệ thống điều khiển bằng giọng nói trên điện thoại có thể thực hiện các tác vụ phức tạp gồm nhiều bước (ví dụ: 'đặt báo thức cho 7 giờ sáng, sau đó nhắc tôi mua sữa khi tôi đến gần cửa hàng tạp hóa'). Hệ thống sử dụng δ-mem để ghi nhớ trạng thái của từng tác vụ và các bước cần thực hiện, cho phép nó theo dõi tiến trình và đưa ra các phản hồi hoặc hành động phù hợp tại đúng thời điểm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.12357
ArXiv Abstracthttps://arxiv.org/abs/2605.12357
PDF Downloadhttps://arxiv.org/pdf/2605.12357.pdf
Github Repositoryhttps://github.com/declare-lab/delta-Mem

4. RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards (66 votes)​

Tác giả: Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister

Xuất bản lúc: 2026-05-11

Tag: Meta-RL, Reinforcement Learning, Deep Research Agents, Rubric-guided Learning, Credit Assignment, Policy Decomposition, LLMs

I. Main Problem:​

Các hệ thống deep research agent hiện tại gặp khó khăn khi huấn luyện bằng reinforcement learning vì đầu ra của chúng không có câu trả lời đúng chuẩn (non-verifiable rewards), các quyết định kéo dài qua nhiều bước sử dụng công cụ, và các phương pháp post-training thông thường không biến các lần thử trước đó thành kinh nghiệm có thể tái sử dụng.

II. Main Idea:​

RubricEM đề xuất sử dụng rubric (tiêu chí đánh giá) như một giao diện chung để cấu trúc hóa việc thực thi policy, phản hồi của judge, và bộ nhớ của agent. Framework này kết hợp: (1) Policy decomposition theo từng giai đoạn (Plan, Research, Review, Answer) dựa trên rubric tự sinh, (2) Stage-Structured GRPO (SS-GRPO) để gán tín hiệu credit dày đặc hơn cho từng giai đoạn, và (3) Reflection Meta-Policy training để chắt lọc kinh nghiệm từ các trajectory đã được đánh giá thành hướng dẫn có thể tái sử dụng.

III. Main Results:​

RubricEM-8B đạt hiệu suất cao nhất trong số các mô hình open-source trên bốn benchmark long-form research (HealthBench, ResearchQA, DeepResearchBench, ResearchRubrics) với average score 55.5, vượt qua DR Tulu-8B-RL (53.6) và tiếp cận hiệu suất của các hệ thống proprietary như OpenAI Deep Research (59.9). RL chỉ với 1400 steps đã cải thiện đáng kể so với SFT checkpoint (từ 49.2 lên 55.5).

IV. Conclusion & Future Works:​

RubricEM chứng minh rằng việc expose cấu trúc task, gán credit theo cấu trúc đó, và chuyển đổi các lần thử đã được đánh giá thành kinh nghiệm có thể tái sử dụng là một công thức hiệu quả cho long-horizon RL beyond verifiable rewards. Các phân tích sâu cho thấy cả SS-GRPO và Meta-Policy đều đóng góp bổ trợ cho nhau, và structured scaffold là yếu tố then chốt cho hiệu quả của RL. Hướng phát triển tương lai có thể mở rộng sang các tác vụ open-ended khác và cải thiện hiệu quả của rubric bank.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RubricEM cho các tác vụ đa phương tiện: Nghiên cứu khả năng áp dụng framework rubric-guided policy decomposition cho các tác vụ deep research liên quan đến hình ảnh, video, hoặc âm thanh, nơi các tiêu chí đánh giá phức tạp hơn và cần tích hợp thông tin đa modality.
  2. Cải thiện Reflection Meta-Policy với Active Learning: Phát triển một phương pháp chủ động lựa chọn các trajectory nào cần được phân tích và lưu trữ reflection dựa trên độ không chắc chắn hoặc tính đa dạng của chúng, nhằm tối ưu hóa dung lượng rubric bank và hiệu quả học tập.
  3. Nghiên cứu khả năng tổng quát hóa của RubricEM: Đánh giá hiệu suất của RubricEM trên các tác vụ long-horizon khác ngoài deep research, chẳng hạn như lập kế hoạch robot, viết code phức tạp, hoặc các mô phỏng ra quyết định chiến lược, để kiểm tra tính tổng quát của phương pháp.

2. Patent:​

  1. Phương pháp và hệ thống hỗ trợ nghiên cứu thông tin trên thiết bị di động sử dụng rubric động: Một ứng dụng trên điện thoại thông minh cho phép người dùng nhập một câu hỏi nghiên cứu phức tạp. Hệ thống sẽ tự động phân tích câu hỏi, tạo ra một bộ tiêu chí đánh giá (rubric) tùy chỉnh, sau đó thực hiện tìm kiếm và tổng hợp thông tin theo từng giai đoạn (lập kế hoạch, tìm kiếm, đánh giá, tổng hợp). Kết quả là một báo cáo dài có cấu trúc, trích dẫn nguồn, và được tối ưu hóa cho màn hình nhỏ của điện thoại. Điểm mới là các rubric được cập nhật linh hoạt dựa trên thông tin mới tìm được, giúp cải thiện độ chính xác và mức độ liên quan của báo cáo.
  2. Trợ lý học tập trên điện thoại thông minh với khả năng tự đánh giá và cải thiện dựa trên kinh nghiệm: Một ứng dụng giáo dục trên điện thoại, nơi trợ lý AI giúp học sinh giải quyết các bài tập mở (ví dụ: viết luận, phân tích tình huống). Trợ lý không chỉ đưa ra câu trả lời mà còn giải thích quá trình suy nghĩ theo từng bước (lập kế hoạch, thu thập bằng chứng, xem xét, viết). Sau mỗi lần tương tác, hệ thống sẽ tự động rút ra bài học kinh nghiệm (reflection) và lưu trữ chúng. Khi gặp câu hỏi tương tự trong tương lai, trợ lý sẽ truy xuất và áp dụng những bài học này để đưa ra câu trả lời tốt hơn, mô phỏng quá trình học hỏi từ kinh nghiệm của con người.
  3. Ứng dụng chăm sóc sức khỏe cá nhân hóa trên điện thoại thông minh sử dụng phân tích nguyên nhân - kết quả: Một ứng dụng sức khỏe cho phép người dùng đặt câu hỏi về mối liên hệ giữa các thói quen sinh hoạt (ví dụ: giấc ngủ, chế độ ăn) và các vấn đề sức khỏe (ví dụ: suy giảm nhận thức). Thay vì chỉ đưa ra các thông tin tương quan, hệ thống sẽ thực hiện một quy trình nghiên cứu chuyên sâu: lập kế hoạch tìm kiếm bằng chứng về quan hệ nhân quả, tìm kiếm các nghiên cứu theo chiều dọc và cơ chế sinh học, đánh giá mức độ tin cậy của bằng chứng, và cuối cùng tổng hợp thành một câu trả lời tập trung vào các yếu tố can thiệp cụ thể. Kết quả được trình bày dưới dạng dễ hiểu, giúp người dùng đưa ra quyết định sáng suốt về sức khỏe của mình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.10899
ArXiv Abstracthttps://arxiv.org/abs/2605.10899
PDF Downloadhttps://arxiv.org/pdf/2605.10899.pdf
Github RepositoryN/A

5. Do Enterprise Systems Need Learned World Models? The Importance of Context to Infer Dynamics (53 votes)​

Tác giả: Jishnu Sethumadhavan Nair, Patrice Bechard, Rishabh Maheshwary, Surajit Dasgupta, Sravan Ramachandran, Aakash Bhagat, Shruthan Radhakrishna, Pulkit Pattnaik, Johan Obando-Ceron, Shiva Krishna Reddy Malay, Sagar Davasam, Seganrasan Subramanian, Vipul Mittal, Sridhar Krishna Nemala, Christopher Pal, Srinivas Sunkara, Sai Rajeswar

Xuất bản lúc: 2026-05-12

Tag: World Models, Enterprise Systems, LLM Agents, CascadeBench, Business Rules, Runtime Discovery, Deployment Shift, Enterprise Discovery Agents

I. Main Problem:​

Các hệ thống doanh nghiệp có các quy tắc động được cấu hình riêng cho từng khách hàng (tenant) và thay đổi theo thời gian. Mô hình thế giới (world model) học từ dữ liệu lịch sử bị suy giảm hiệu suất khi quy tắc thay đổi. Câu hỏi chính của nghiên cứu là: khi các quy tắc có thể đọc được tại thời điểm suy luận (inference time), liệu tác nhân (agent) có cần phải học chúng từ trước hay không?

II. Main Idea:​

Thay vì chỉ dựa vào mô hình thế giới được học từ dữ liệu lịch sử (offline), tác giả đề xuất 'Enterprise Discovery Agents' - các tác nhân chủ động truy vấn cấu hình của hệ thống đang hoạt động tại thời điểm suy luận để lấy các quy tắc chuyển đổi (business rules, workflows) và dự đoán kết quả. Nghiên cứu so sánh ba phương pháp: 1) Prompted Baseline (dùng mô hình ngôn ngữ có sẵn), 2) Learned Enterprise World Model (fine-tune mô hình trên dữ liệu chuyển đổi), và 3) Enterprise Discovery Agent (truy vấn cấu hình thực tế).

III. Main Results:​

Các mô hình thế giới được học (fine-tuned) hoạt động tốt trên dữ liệu cùng phân phối (in-distribution) nhưng giảm mạnh khi gặp cấu hình mới (out-of-distribution). Ngược lại, Discovery Agent duy trì độ chính xác ổn định hơn khi có sự thay đổi về quy tắc. Ví dụ, trên bộ dữ liệu CascadeBench, khi có quy tắc kinh doanh, các mô hình đạt IoU ~38-51; khi không có quy tắc, IoU giảm xuống còn ~7-12. Discovery Agent khôi phục phần lớn độ chính xác này (IoU ~29-32) mà không cần huấn luyện trên hệ thống mới.

IV. Conclusion & Future Works:​

Trong các môi trường doanh nghiệp có thể đọc được cấu hình, các tác nhân không nên chỉ dựa vào các động lực học được cố định. Hướng phát triển tiếp theo là kết hợp các kiến thức nền (learned priors) với khả năng truy xuất và suy luận tại thời điểm chạy (runtime retrieval and reasoning), huấn luyện các tác nhân học cách truy xuất cái gì, khi nào và như thế nào.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp học tăng cường (RL) với cơ chế discovery để tối ưu hóa hành vi truy vấn quy tắc: huấn luyện tác nhân tự động quyết định khi nào nên tin vào mô hình nội bộ và khi nào nên truy vấn hệ thống để giảm chi phí và tăng độ chính xác.
  2. Mở rộng CascadeBench thành một bộ benchmark đa nền tảng (multi-platform) bao gồm nhiều hệ thống doanh nghiệp khác nhau (SAP, Oracle, Salesforce) để đánh giá tính tổng quát của các phương pháp discovery.
  3. Nghiên cứu khả năng suy luận trên các quy tắc xung đột (Tier 3) bằng cách kết hợp đồ thị phụ thuộc (dependency graph) và mô phỏng thực thi (execution simulation) để dự đoán chính xác các kết quả phức tạp.

2. Patent:​

  1. Phương pháp và hệ thống dự đoán kết quả của một thao tác trên ứng dụng di động doanh nghiệp bằng cách tự động truy vấn các quy tắc kinh doanh hiện tại từ máy chủ, giúp người dùng biết trước hậu quả trước khi thực hiện, ví dụ: 'Nếu tôi phê duyệt yêu cầu này, điều gì sẽ xảy ra tiếp theo?'.
  2. Ứng dụng di động thông minh cho phép người quản trị hệ thống 'thử nghiệm ảo' (virtual sandbox) các thay đổi cấu hình. Ứng dụng sẽ đọc các quy tắc hiện tại, mô phỏng tác động của việc thêm/sửa/xóa quy tắc và hiển thị trực quan các thay đổi dự kiến trên luồng công việc, giúp tránh lỗi cấu hình.
  3. Trợ lý ảo trên điện thoại thông minh cho nhân viên doanh nghiệp: khi nhân viên hỏi 'Tôi nên làm gì tiếp theo?', trợ lý sẽ truy vấn cấu hình hệ thống hiện tại (quy tắc, chính sách) và đưa ra hướng dẫn từng bước dựa trên bối cảnh cụ thể của người dùng và hệ thống, thay vì chỉ dựa vào quy trình cố định.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.12178
ArXiv Abstracthttps://arxiv.org/abs/2605.12178
PDF Downloadhttps://arxiv.org/pdf/2605.12178.pdf
Github RepositoryN/A

6. World Action Models: The Next Frontier in Embodied AI (51 votes)​

Tác giả: Siyin Wang, Junhao Shi, Zhaoyang Fu, Xinzhe He, Feihong Liu, Chenchen Yang, Yikang Zhou, Zhaoye Fei, Jingjing Gong, Jinlan Fu, Mike Zheng Shou, Xuanjing Huang, Xipeng Qiu, Yu-Gang Jiang

Xuất bản lúc: 2026-05-12

Tag: World Action Models, Embodied AI, Vision-Language-Action, World Models, Cascaded WAM, Joint WAM, Diffusion, Autoregressive

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) hiện tại chỉ học ánh xạ trực tiếp từ quan sát đến hành động mà không mô hình hóa một cách tường minh cách thế giới vật lý tiến hóa dưới tác động can thiệp. Điều này hạn chế khả năng tổng quát hóa trong các môi trường mới, nơi cần có suy luận vật lý dự đoán. Bên cạnh đó, các nghiên cứu về tích hợp mô hình thế giới vào robot còn phân mảnh, thiếu một khung khái niệm thống nhất.

II. Main Idea:​

Bài báo đề xuất và định nghĩa một hệ thống mới gọi là World Action Models (WAMs): các mô hình nền tảng nhúng (embodied foundation models) hợp nhất mô hình hóa trạng thái dự đoán (predictive state modeling) với sinh hành động (action generation). WAM nhắm đến phân phối đồng thời trên các trạng thái tương lai và hành động, thay vì chỉ hành động đơn thuần. Bài báo phân loại WAM thành hai loại kiến trúc chính: (1) Cascaded WAM – tách biệt việc dự đoán trạng thái tương lai và sinh hành động, và (2) Joint WAM – đồng tối ưu hóa dự đoán trạng thái và sinh hành động trong không gian biểu diễn chung. Bài báo cũng phân tích hệ sinh thái dữ liệu, các giao thức đánh giá và xác định những thách thức mở.

III. Main Results:​

Bài báo là khảo sát có hệ thống đầu tiên về WAM, cung cấp: (1) Định nghĩa chính thức và phân biệt với các khái niệm liên quan như VLA, Video Policy, Action World Model; (2) Phân loại kiến trúc chi tiết (Cascaded/Joint WAM) với các nhánh nhỏ hơn theo phương thức sinh (autoregressive, diffusion), cơ chế điều kiện và chiến lược giải mã hành động; (3) Phân tích bốn nguồn dữ liệu chính (teleoperation, human demonstration, simulation, egocentric video); (4) Tổng hợp các giao thức đánh giá dựa trên độ trung thực hình ảnh, vật lý thông thường và tính hợp lý của hành động.

IV. Conclusion & Future Works:​

WAM là hướng đi đầy hứa hẹn kế thừa VLA, mang lại khả năng hiểu vật lý sâu hơn và tổng quát hóa tốt hơn. Các thách thức mở bao gồm: (1) Thiết kế kiến trúc tối ưu cho việc hợp nhất dự đoán và hành động; (2) Tận dụng hiệu quả dữ liệu video quy mô lớn không có nhãn hành động; (3) Phát triển các giao thức đánh giá chuẩn hóa cho khả năng mô hình hóa thế giới; (4) Mở rộng WAM cho các tác vụ phức tạp hơn như thao tác hai tay, điều khiển hình người.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Hiệu quả của Cascaded vs Joint WAM trên các tác vụ robot cụ thể: Nghiên cứu so sánh có hệ thống giữa hai họ kiến trúc Cascaded và Joint WAM trên các tác vụ thao tác đa dạng (ví dụ: nhặt đồ, lắp ráp, nấu ăn) để xác định ưu nhược điểm và phạm vi ứng dụng phù hợp của từng loại.
  2. Khai thác dữ liệu video egocentric không nhãn cho WAM: Phát triển phương phận học tự giám sát (self-supervised) để WAM có thể học mô hình thế giới và chính sách hành động từ kho dữ liệu video egocentric lớn (ví dụ: Ego4D) mà không cần nhãn hành động, tận dụng sự phong phú về ngữ nghĩa và động lực học.
  3. WAM cho tương tác vật lý phức tạp (ví dụ: vật liệu mềm, chất lỏng): Mở rộng WAM để mô hình hóa và sinh hành động trong các môi trường có động lực học phức tạp như vật liệu biến dạng (vải, đất sét) hoặc chất lỏng, đánh giá trên các benchmark như SoftGym, PlasticineLab.

2. Patent:​

  1. Phương pháp điều khiển robot gia đình dựa trên dự đoán video: Hệ thống trên điện thoại thông minh cho phép người dùng quay video cảnh vật trong nhà và đưa ra yêu cầu bằng giọng nói (ví dụ: 'Hãy dọn dẹp đồ chơi trên bàn'). Điện thoại sẽ gửi video và yêu cầu đến robot gia đình. Robot sử dụng mô hình WAM để dự đoán chuỗi video tương lai mô tả quá trình dọn dẹp, sau đó trích xuất các hành động cụ thể từ video dự đoán đó để thực thi, đảm bảo robot hiểu được diễn biến vật lý của công việc.
  2. Ứng dụng WAM để tạo nội dung thực tế ảo tương tác trên điện thoại: Ứng dụng trên điện thoại cho phép người dùng chụp ảnh một căn phòng và nhập mô tả bằng văn bản (ví dụ: 'Đặt một chiếc ghế màu xanh ở góc phải'). Mô hình WAM trên server sẽ dự đoán hình ảnh của căn phòng sau khi thêm ghế, đồng thời sinh ra các hành động ảo (ví dụ: các bước di chuyển và đặt ghế) để tạo ra trải nghiệm thực tế ảo sống động, nơi người dùng có thể 'kéo thả' đồ vật một cách hợp lý về mặt vật lý.
  3. Hệ thống hỗ trợ đỗ xe sử dụng mô hình thế giới dự đoán chuyển động: Ứng dụng trên điện thoại sử dụng camera để quan sát không gian đỗ xe. Mô hình WAM nhẹ trên điện thoại sẽ dự đoán các khung hình tương lai của quá trình đỗ xe dựa trên các thao tác lái (bẻ lái, ga, phanh) do người dùng thực hiện. Ứng dụng hiển thị các đường dự đoán này dưới dạng lớp phủ (overlay) trên màn hình, giúp người dùng hình dung trước kết quả và điều chỉnh thao tác để tránh va chạm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.12090
ArXiv Abstracthttps://arxiv.org/abs/2605.12090
PDF Downloadhttps://arxiv.org/pdf/2605.12090.pdf
Github Repositoryhttps://github.com/OpenMOSS/Awesome-WAM

7. Efficient Pre-Training with Token Superposition (30 votes)​

Tác giả: Bowen Peng, Théo Gigant, Jeffrey Quesnelle

Xuất bản lúc: 2026-05-07

Tag: LLMs, Pre-training, Efficiency, Token Superposition, Multi-hot Cross-Entropy, MoE

I. Main Problem:​

Việc huấn luyện trước các mô hình ngôn ngữ lớn (LLMs) thường rất tốn kém và kém hiệu quả ở quy mô lớn, đặc biệt là khi cần tiêu thụ một lượng lớn dữ liệu. Các phương pháp hiện tại thường yêu cầu các thay đổi phức tạp và can thiệp sâu vào kiến trúc mô hình, bộ tối ưu hóa, hoặc tokenizer để cải thiện thông lượng dữ liệu. Mục tiêu của nghiên cứu này là cải thiện hiệu quả huấn luyện trước mà không cần sửa đổi kiến trúc cuối cùng của mô hình hay các cơ chế suy luận của nó.

II. Main Idea:​

Bài báo giới thiệu Token-Superposition Training (TST), một phương pháp đơn giản, dễ tích hợp, giúp cải thiện đáng kể thông lượng dữ liệu trên mỗi FLOP trong quá trình huấn luyện trước. TST gồm hai pha:

  • Pha chồng chập (Superposition Phase): Kết hợp nhiều token liên tiếp (s-token) thành một 'bag' duy nhất bằng cách lấy trung bình các embedding của chúng. Mô hình sau đó dự đoán 'bag' token tiếp theo thay vì từng token riêng lẻ, sử dụng hàm mất mát multi-hot cross-entropy (MCE). Điều này cho phép mô hình xử lý lượng token gấp s lần với cùng một lượng FLOP, giúp tăng tốc độ 'tiêu thụ' dữ liệu lên gấp nhiều lần.
  • Pha phục hồi (Recovery Phase): Quay trở lại huấn luyện với mục tiêu dự đoán token tiếp theo (next-token prediction) tiêu chuẩn. Mô hình nhanh chóng thích nghi và đạt được kết quả tốt hơn so với đường cơ sở.

III. Main Results:​

TST được đánh giá trên nhiều quy mô mô hình khác nhau (270M, 600M, 3B dense và 10B MoE). Kết quả cho thấy:

  • Trong điều kiện cùng chi phí tính toán (equal-FLOPs), TST luôn đạt được loss thấp hơn và điểm số trên các benchmark downstream (HellaSwag, ARC, MMLU) cao hơn so với baseline.
  • Trong điều kiện cùng loss (equal-loss), TST giúp giảm tới 2.5 lần tổng thời gian huấn luyện trước ở quy mô 10B MoE (xem Hình 1).
  • TST hoạt động ổn định với nhiều lựa chọn siêu tham số khác nhau (kích thước bag s từ 4 đến 8, tỷ lệ bước superposition r từ 0.2 đến 0.4).

IV. Conclusion & Future Works:​

TST là một phương pháp huấn luyện mới, hiệu quả, giúp tăng đáng kể hiệu suất huấn luyện trước LLMs mà không làm thay đổi kiến trúc suy luận. Nó hoạt động tốt trong các ràng buộc về tính toán, nhưng có thể kém hiệu quả hơn nếu giới hạn về dữ liệu. Các hướng nghiên cứu trong tương lai bao gồm: (1) Nghiên cứu sâu hơn về pha 'output-only superposition' để giảm tiêu thụ dữ liệu, (2) Đánh giá tác động của TST lên khả năng xử lý ngữ cảnh dài, (3) Xây dựng luật scaling cho TST để dự đoán cài đặt tối ưu cho các mô hình lớn hơn, và (4) Kết hợp TST với các phương pháp mất mát phụ trợ khác như Multi-Token Prediction (MTP).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về Scaling Laws của Token Superposition: Xây dựng các luật scaling để dự đoán kích thước 'bag' (s) và tỷ lệ pha superposition (r) tối ưu dựa trên kích thước mô hình và khối lượng dữ liệu, giúp áp dụng TST một cách hiệu quả nhất ở mọi quy mô.
  2. Kết hợp TST với Multi-Token Prediction (MTP): Khám phá việc kết hợp hai phương pháp trực giao này. Ở pha superposition, mô hình vừa dự đoán 'bag-of-tokens' vừa dự đoán nhiều token tương lai, nhằm tối đa hóa tín hiệu học tập trên mỗi bước huấn luyện.
  3. TST cho các tác vụ Đa phương thức (Multimodal): Mở rộng ý tưởng 'chồng chập' token sang các modality khác như hình ảnh (superposition của các patch) hoặc âm thanh, tạo ra một phương pháp huấn luyện trước hiệu quả cho các mô hình đa phương thức lớn.

2. Patent:​

  1. Phương pháp tăng tốc độ huấn luyện trợ lý ảo trên điện thoại thông minh: Mô tả một hệ thống huấn luyện mô hình ngôn ngữ trên điện thoại sử dụng kỹ thuật 'gộp token'. Các đoạn văn bản đầu vào được chia thành các nhóm nhỏ, mỗi nhóm được biểu diễn bằng một vector trung bình. Mô hình được huấn luyện để dự đoán nhóm văn bản tiếp theo, giúp giảm đáng kể thời gian và năng lượng tính toán cần thiết cho việc huấn luyện trên thiết bị di động.
  2. Hệ thống gợi ý văn bản thông minh tiết kiệm năng lượng: Một phương pháp cho bàn phím ảo trên điện thoại, nơi mô hình dự đoán từ tiếp theo được huấn luyện bằng cách học dự đoán một 'túi' các từ có khả năng xuất hiện tiếp theo thay vì một từ duy nhất. Điều này giúp mô hình nắm bắt ngữ cảnh tốt hơn trong khi yêu cầu ít tài nguyên tính toán hơn, kéo dài thời gian pin.
  3. Phương pháp nén và giải nén văn bản cho ứng dụng nhắn tin: Mô tả một hệ thống nén tin nhắn trước khi gửi và giải nén sau khi nhận trên điện thoại. Ở phía gửi, các token tin nhắn được 'chồng chập' thành một biểu diễn nhỏ gọn hơn, giúp tiết kiệm băng thông. Ở phía nhận, một mô hình nhẹ được huấn luyện để khôi phục lại tin nhắn gốc từ biểu diễn đã nén này.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.06546
ArXiv Abstracthttps://arxiv.org/abs/2605.06546
PDF Downloadhttps://arxiv.org/pdf/2605.06546.pdf
Github RepositoryN/A

8. AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward (28 votes)​

Tác giả: Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao

Xuất bản lúc: 2026-05-12

Tag: Reinforcement Learning, GRPO, Unified Multimodal Models, Text-to-Image Generation, Diffusion Models, Self-Refinement, Reward Model, MLLM

I. Main Problem:​

Các mô hình đa phương thức thống nhất (UMM) hiện tại có tiềm năng thực hiện các tác vụ sinh ảnh phức tạp như suy luận và tự phản xạ, nhưng chưa có phương pháp hiệu quả để khai thác và tăng cường các khả năng này. Việc huấn luyện tăng cường (RL) cho các mô hình này gặp khó khăn do thiếu tín hiệu phần thưởng ổn định và đáng tin cậy cho các tác vụ sinh đa phương thức trong thế giới thực. Các phương pháp phần thưởng hiện tại như điểm số tổng thể (holistic scalar reward) thường không phân biệt được các lỗi tinh tế, dẫn đến nhiễu trong quá trình huấn luyện.

II. Main Idea:​

Bài báo đề xuất AlphaGRPO, một khung huấn luyện mới áp dụng Group Relative Policy Optimization (GRPO) cho các mô hình UMM dạng AR-Diffusion để nâng cao khả năng sinh đa phương thức. AlphaGRPO không yêu cầu giai đoạn khởi động nguội (cold-start stage) mà trực tiếp kích hoạt tiềm năng vốn có của mô hình. Để giải quyết vấn đề phần thưởng, tác giả giới thiệu Decompositional Verifiable Reward (DVReward), một cơ chế phần thưởng chi tiết sử dụng một mô hình ngôn ngữ lớn (LLM) để phân rã các yêu cầu phức tạp của người dùng thành các câu hỏi nguyên tử, có thể kiểm chứng về cả ngữ nghĩa và chất lượng hình ảnh. Một mô hình đa phương thức lớn (MLLM) sau đó đánh giá các câu hỏi này để đưa ra phản hồi đáng tin cậy và có thể giải thích được.

III. Main Results:​

AlphaGRPO đạt được cải thiện nhất quán trên nhiều benchmark sinh ảnh như GenEval, TIIF-Bench, DPG-Bench và WISE. Cụ thể, khi huấn luyện trên tác vụ tự phản xạ (Self-Reflective Refinement), mô hình không chỉ cải thiện trên các benchmark sinh ảnh mà còn đạt được hiệu quả đáng kể trên tác vụ chỉnh sửa ảnh GEdit (+0.52 so với baseline BAGEL) mà không cần huấn luyện trên dữ liệu chỉnh sửa. Khả năng suy luận và tự sửa lỗi ở thời điểm suy luận (inference-time self-reflective refinement) còn giúp tăng điểm trên TIIF-Bench lên tới 83.9%, vượt trội so với BAGEL 5.8%.

IV. Conclusion & Future Works:​

AlphaGRPO là một khung huấn luyện học tăng cường hiệu quả cho các mô hình đa phương thức thống nhất dạng AR-Diffusion, giúp khai thác tiềm năng suy luận và tự hoàn thiện vốn có của chúng mà không cần giai đoạn khởi động nguội. Cơ chế DVReward cung cấp tín hiệu phần thưởng ổn định và đáng tin cậy. Các kết quả thực nghiệm cho thấy AlphaGRPO có khả năng tổng quát hóa cao, cải thiện hiệu suất trên cả tác vụ sinh ảnh và chỉnh sửa ảnh. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng khung này sang các tác vụ đa phương thức khác và nghiên cứu các cơ chế phần thưởng tinh vi hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng AlphaGRPO cho các tác vụ sinh video: Nghiên cứu khả năng áp dụng khung AlphaGRPO và cơ chế DVReward cho các mô hình sinh video thống nhất, cho phép mô hình tự suy luận và sửa lỗi trong quá trình sinh các chuỗi hình ảnh động phức tạp.
  2. Kết hợp DVReward với các mô hình ngôn ngữ lớn chuyên biệt cho từng lĩnh vực: Thay vì sử dụng một LLM tổng quát, nghiên cứu việc sử dụng các LLM đã được tinh chỉnh cho các lĩnh vực cụ thể (ví dụ: y tế, kiến trúc) để tạo ra các câu hỏi kiểm chứng chi tiết và chính xác hơn, từ đó cải thiện chất lượng sinh ảnh trong các lĩnh vực chuyên ngành.
  3. Nghiên cứu cơ chế phần thưởng đa tầng cho các tác vụ tương tác phức tạp: Phát triển một phiên bản DVReward có thể xử lý các tác vụ tương tác nhiều bước, nơi mô hình cần liên tục suy luận, tạo ra kết quả, nhận phản hồi và cải thiện qua nhiều vòng lặp, ví dụ như thiết kế sản phẩm theo yêu cầu.

2. Patent:​

  1. Phương pháp và hệ thống tạo ảnh đại diện cá nhân hóa trên điện thoại thông minh: Hệ thống sử dụng một mô hình thống nhất trên điện thoại để nhận mô tả bằng văn bản của người dùng (ví dụ: 'một chú mèo hoạt hình đội mũ cao bồi đang cưỡi ván trượt'). Mô hình sẽ tự động phân tích yêu cầu, suy luận ra các chi tiết còn thiếu (ví dụ: màu sắc, tư thế) và tạo ra hình ảnh. Sau đó, hệ thống sẽ tự đánh giá hình ảnh vừa tạo, so sánh với mô tả gốc và nếu phát hiện lỗi (ví dụ: mũ cao bồi bị sai màu), nó sẽ tự động điều chỉnh và tạo lại cho đến khi đạt yêu cầu.
  2. Ứng dụng chỉnh sửa ảnh thông minh trên thiết bị di động: Một ứng dụng cho phép người dùng chụp ảnh và đưa ra các yêu cầu chỉnh sửa bằng giọng nói hoặc văn bản (ví dụ: 'thay đổi phong cách của bức ảnh này thành phong cách cyberpunk' hoặc 'thêm một con chim đang đậu trên hàng rào'). Ứng dụng sử dụng công nghệ học tăng cường để tự động thực hiện chỉnh sửa, đồng thời tự kiểm tra lại kết quả để đảm bảo sự thay đổi là chính xác và hài hòa với bức ảnh gốc, giúp người dùng không cần các thao tác chỉnh sửa phức tạp.
  3. Trợ lý thiết kế đồ họa hỗ trợ bởi trí tuệ nhân tạo trên nền tảng di động: Một công cụ dành cho các nhà thiết kế đồ họa làm việc trên máy tính bảng hoặc điện thoại. Người dùng có thể mô tả ý tưởng thiết kế (ví dụ: 'một banner quảng cáo với tông màu xanh lá, có một chiếc lá và dòng chữ Sống Xanh'). Trợ lý AI sẽ tạo ra bản thiết kế thô. Dựa trên phản hồi của người dùng hoặc tự động đánh giá (ví dụ: kiểm tra bố cục, độ tương phản), trợ lý sẽ liên tục cải thiện thiết kế qua nhiều vòng lặp, đảm bảo sản phẩm cuối cùng đáp ứng được các tiêu chí về thẩm mỹ và nội dung.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.12495
ArXiv Abstracthttps://arxiv.org/abs/2605.12495
PDF Downloadhttps://arxiv.org/pdf/2605.12495.pdf
Github Repositoryhttps://github.com/huangrh99/AlphaGRPO

9. Beyond the Last Layer: Multi-Layer Representation Fusion for Visual Tokenization (28 votes)​

Tác giả: Xuanyu Zhu, Yan Bai, Yang Shi, Yihang Lou, Yuanxing Zhang, Jing Jin, Yuan Zhou

Xuất bản lúc: 2026-05-12

Tag: Visual Tokenization, Representation Autoencoder, Multi-Layer Feature Fusion, Image Generation, Image Reconstruction, Vision Transformer, DINOv2, Diffusion Model, Scaling Law

I. Main Problem:​

Các phương pháp mã hóa ảnh tự động (representation autoencoders) hiện tại chỉ sử dụng đặc trưng từ lớp cuối cùng của bộ mã hóa thị giác đã được huấn luyện trước (pretrained vision encoder). Lớp cuối cùng này chủ yếu chứa thông tin ngữ nghĩa cấp cao, trong khi các chi tiết hình ảnh cấp thấp như kết cấu, cạnh, và gradient màu sắc bị suy giảm dần qua các lớp do quá trình trừu tượng hóa ngữ nghĩa. Việc loại bỏ các lớp trung gian dẫn đến mất mát thông tin đáng kể, ảnh hưởng đến chất lượng tái tạo và sinh ảnh.

II. Main Idea:​

Bài báo đề xuất DRoRAE (Depth-Routed Representation AutoEncoder), một module hợp nhất đa lớp nhẹ (~29M tham số) có thể thích ứng với nội dung. Nó tổng hợp các đặc trưng từ tất cả các lớp của bộ mã hóa đã đóng băng (frozen encoder) thông qua ba thành phần chính:

  1. Cơ chế định tuyến có ràng buộc năng lượng (Energy-Constrained Routing): Một bộ định tuyến (router) học cách gán trọng số cho từng token ở mỗi lớp, bao gồm cả trọng số âm để chủ động loại bỏ các lớp có hại, sau đó chuẩn hóa bằng chuẩn ℓ2 để ổn định năng lượng đầu ra.
  2. Hiệu chỉnh gia tăng (Incremental Correction): Thay vì thay thế hoàn toàn đặc trưng lớp cuối, DRoRAE coi việc hợp nhất như một sự điều chỉnh nhỏ (perturbation) có kiểm soát xung quanh đặc trưng gốc, giúp duy trì tính tương thích với bộ giải mã đã được huấn luyện.
  3. Chiến lược huấn luyện tách rời ba pha (Three-Phase Decoupled Training): Pha 1 huấn luyện bộ giải mã từ đặc trưng lớp cuối. Pha 2 đóng băng bộ giải mã, chỉ huấn luyện module hợp nhất dưới ràng buộc phân phối ngầm. Pha 3 mở khóa bộ giải mã để cùng thích nghi với không gian tiềm ẩn phong phú hơn.

III. Main Results:​

Trên tập dữ liệu ImageNet-256, DRoRAE đạt được những cải tiến vượt trội so với baseline RAE:

  • Tái tạo ảnh (Reconstruction): rFID giảm từ 0.57 xuống 0.29, PSNR tăng từ 18.8 lên 24.32 dB.
  • Sinh ảnh có điều kiện lớp (Class-Conditional Generation): gFID với AutoGuidance cải thiện từ 1.74 xuống 1.65.
  • Sinh ảnh từ văn bản (Text-to-Image): Cải thiện điểm GenEval tổng thể so với baseline RAE (0.60 so với 0.56).
  • Quy luật Scaling: Phát hiện ra quy luật scaling log-linear (R²=0.86) giữa dung lượng hợp nhất (số lớp và kích thước expert) và chất lượng tái tạo, thiết lập 'độ phong phú của biểu diễn' (representation richness) như một chiều kích có thể mở rộng dự đoán được cho các bộ tokenizer hình ảnh.

IV. Conclusion & Future Works:​

DRoRAE chứng minh rằng việc hợp nhất đặc trưng đa lớp một cách thông minh có thể cải thiện đáng kể chất lượng của bộ tokenizer ảnh dựa trên biểu diễn (representation autoencoder) mà không làm giảm khả năng sinh ảnh. Phát hiện về quy luật scaling log-linear mở ra một hướng nghiên cứu mới: tăng cường 'độ phong phú của biểu diễn' (representation richness) một cách có hệ thống, tương tự như việc tăng kích thước từ vựng trong NLP. Hướng phát triển trong tương lai có thể bao gồm việc mở khóa toàn bộ backbone để tận dụng tối đa module fusion, áp dụng DRoRAE cho các tác vụ sinh ảnh/video khác, và khám phá sâu hơn về quy luật scaling.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng DRoRAE cho các tác vụ hình ảnh/video khác: Nghiên cứu khả năng áp dụng kiến trúc DRoRAE cho các tác vụ sinh ảnh có điều kiện phức tạp hơn như sinh ảnh từ văn bản chi tiết, sinh video, hoặc chuyển đổi phong cách hình ảnh, nơi mà thông tin chi tiết cấp thấp đóng vai trò quan trọng.
  2. Kết hợp DRoRAE với các bộ mã hóa nền tảng khác: Thử nghiệm DRoRAE với các bộ mã hóa thị giác mạnh mẽ khác ngoài DINOv2, chẳng hạn như CLIP, SigLIP, hoặc các mô hình ngôn ngữ-thị giác đa phương thức, để đánh giá tính tổng quát và khả năng thích ứng của phương pháp hợp nhất đa lớp.
  3. Khám phá quy luật Scaling của DRoRAE trên quy mô lớn hơn: Mở rộng các thí nghiệm scaling lên các bộ dữ liệu lớn hơn (ví dụ: ImageNet-512) và các module fusion có dung lượng cao hơn (hàng trăm triệu tham số) để xác nhận và khám phá sâu hơn quy luật log-linear, đồng thời tìm ra các giới hạn tiềm năng của nó.

2. Patent:​

  1. Phương pháp và hệ thống tăng cường chất lượng ảnh chụp trên thiết bị di động thông qua hợp nhất đặc trưng đa tầng: Một hệ thống trên điện thoại thông minh sử dụng mô hình DRoRAE đã được huấn luyện để hậu xử lý ảnh chụp từ camera. Hệ thống này sẽ trích xuất các đặc trưng từ nhiều tầng khác nhau của một mạng nơ-ron thị giác, hợp nhất chúng để tạo ra một biểu diễn giàu thông tin hơn, từ đó tái tạo lại bức ảnh với chi tiết sắc nét hơn, đặc biệt là ở các vùng có kết cấu phức tạp hoặc điều kiện thiếu sáng, mà không làm tăng đáng kể thời gian xử lý.
  2. Ứng dụng hợp nhất đặc trưng đa lớp để nén ảnh hiệu quả cho ứng dụng nhắn tin và mạng xã hội trên điện thoại: Một phương pháp nén ảnh mới cho các ứng dụng chat và mạng xã hội. Thay vì nén ảnh bằng các thuật toán truyền thống, hệ thống sẽ sử dụng một bộ mã hóa nhẹ (lightweight encoder) để trích xuất các đặc trưng đa lớp, sau đó hợp nhất chúng để tạo ra một biểu diễn tiềm ẩn nhỏ gọn nhưng vẫn giữ được nhiều chi tiết. Biểu diễn này được gửi đi và giải mã ở phía máy nhận, cho phép chất lượng ảnh tốt hơn ở cùng một dung lượng dữ liệu, giúp tiết kiệm băng thông và dung lượng lưu trữ.
  3. Hệ thống gợi ý và tạo sticker/avatar cá nhân hóa dựa trên hợp nhất đặc trưng khuôn mặt đa tầng: Một ứng dụng trên điện thoại cho phép người dùng chụp ảnh khuôn mặt và hệ thống sẽ tự động tạo ra các sticker hoặc avatar hoạt hình có độ giống cao. Hệ thống sử dụng một mô hình DRoRAE đã được huấn luyện để hợp nhất các đặc trưng từ nhiều tầng khác nhau của mạng nơ-ron phân tích khuôn mặt, giúp bảo toàn cả các đặc điểm nhận dạng tổng thể lẫn các chi tiết nhỏ như nếp nhăn, tàn nhang hay kiểu tóc, tạo ra sản phẩm cuối cùng vừa sáng tạo vừa giống người thật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.10780
ArXiv Abstracthttps://arxiv.org/abs/2605.10780
PDF Downloadhttps://arxiv.org/pdf/2605.10780.pdf
Github Repositoryhttps://github.com/zhuzil/DRoRAE

10. MCP-Cosmos: World Model-Augmented Agents for Complex Task Execution in MCP Environments (27 votes)​

Tác giả: Giridhar Ganapavarapu, Dhaval Patel

Xuất bản lúc: 2026-05-09

Tag: World Model, MCP, LLM Agents, Task Planning, Tool Use, Simulation

I. Main Problem:​

Các tác nhân AI hiện tại khi sử dụng công cụ thông qua giao thức MCP (Model Context Protocol) gặp phải sự phân nhánh giữa lập kế hoạch tĩnh (không tính đến động thái môi trường) và thực thi phản ứng (thiếu tầm nhìn dài hạn). Điều này dẫn đến các hành vi như 'cận thị tầm nhìn' (horizon myopia), gây ra các lệnh gọi công cụ dư thừa hoặc lỗi không thể khắc phục.

II. Main Idea:​

Bài báo đề xuất MCP-Cosmos, một khung kiến trúc tích hợp World Model (Mô hình Thế giới) vào vòng lặp tương tác MCP. Các tác nhân sử dụng World Model để mô phỏng các chuyển đổi trạng thái (state transitions) trong không gian tiềm ẩn trước khi thực thi thực tế, từ đó lên kế hoạch chủ động (proactive planning) và tinh chỉnh hành trình (trajectory) nhằm giảm thiểu rủi ro và tăng hiệu quả. Chiến lược 'Bring Your Own World Model' (BYOWM) cho phép tích hợp linh hoạt các World Model khác nhau.

III. Main Results:​

Thử nghiệm trên hơn 20 tác vụ MCP-Bench cho thấy các tác nhân có World Model (ReAct-Plan-Exec và SPIRAL-Exec) đạt điểm tổng thể (Overall Score) cao hơn so với baseline ReAct (ví dụ: SPIRAL-Exec + GPT-OSS-120B-WM đạt 44.8% so với ReAct 36.1%). Chúng cải thiện rõ rệt về độ chính xác tham số (Parameter Accuracy) và lựa chọn công cụ (Tool Selection). Bài báo cũng đề xuất chỉ số mới 'Execution Quality' để đo lường hiệu quả thực thi, qua đó cho thấy các tác nhân có World Model vượt trội hơn hẳn (ví dụ: SPIRAL-Exec + GPT-OSS-120B-WM đạt 91.4% so với ReAct 38.9%).

IV. Conclusion & Future Works:​

MCP-Cosmos chứng minh rằng việc tích hợp World Model vào tác nhân MCP giúp cải thiện đáng kể chất lượng lựa chọn công cụ và hiệu quả thực thi. Các hướng nghiên cứu tương lai bao gồm: khám phá tác động của World Model lên các thao tác ghi (write operations) và công cụ phá hủy (destructive tools), quản lý trạng thái môi trường, phân tích độ trung thực của mô phỏng, và phát triển các chiến lược thích ứng theo miền cụ thể.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về World Model chuyên biệt cho thiết bị di động: Phát triển một World Model nhẹ, có thể chạy trên thiết bị di động để mô phỏng các tác vụ hàng ngày như đặt báo thức, gửi tin nhắn, hoặc điều hướng. Mô hình này sẽ được huấn luyện trên một tập dữ liệu lớn các tương tác người dùng trên điện thoại, giúp tác nhân AI trên điện thoại dự đoán kết quả của một hành động trước khi thực hiện, từ đó giảm thiểu lỗi và tiết kiệm thời gian.
  2. Phân tích tác động của World Model lên các tác vụ đa phương tiện trên MCP: Đánh giá hiệu quả của World Model trong việc lập kế hoạch cho các tác vụ phức tạp liên quan đến nhiều loại dữ liệu (văn bản, hình ảnh, âm thanh) trên môi trường MCP. Nghiên cứu sẽ tập trung vào việc mô phỏng các chuyển đổi trạng thái khi tác nhân tương tác với các công cụ xử lý ảnh, chỉnh sửa video, hoặc tổng hợp giọng nói.
  3. Xây dựng bộ chỉ số đánh giá toàn diện cho World Model trong Agentic Systems: Phát triển một bộ chỉ số mới vượt ra ngoài 'Execution Quality' để đánh giá chất lượng của các bước suy luận trung gian, khả năng diễn giải của World Model, và độ tin cậy của các mô phỏng. Nghiên cứu này sẽ đề xuất các phương pháp đánh giá chuẩn hóa giúp so sánh các World Model khác nhau một cách công bằng và hiệu quả.

2. Patent:​

  1. Phương pháp và hệ thống dự đoán lỗi thao tác trên điện thoại thông minh: Hệ thống sử dụng một mô hình thế giới (World Model) nhúng trong điện thoại để mô phỏng ảo tác vụ người dùng sắp thực hiện (ví dụ: gửi email, xóa danh bạ). Nếu mô hình dự đoán hành động đó dẫn đến lỗi hoặc hậu quả không mong muốn, hệ thống sẽ đưa ra cảnh báo hoặc đề xuất phương án thay thế trước khi người dùng xác nhận thao tác thực tế.
  2. Ứng dụng tối ưu hóa pin dựa trên mô phỏng tác vụ: Một ứng dụng trên điện thoại sử dụng World Model để mô phỏng các tác vụ phức tạp (ví dụ: chơi game nặng, quay video 4K) và dự đoán mức tiêu thụ pin trước khi người dùng thực hiện. Dựa trên kết quả mô phỏng, ứng dụng sẽ đề xuất giảm chất lượng đồ họa hoặc thời lượng quay để kéo dài thời gian sử dụng pin.
  3. Trợ lý ảo lập kế hoạch chủ động cho lịch trình di động: Trợ lý ảo sử dụng World Model để mô phỏng một ngày làm việc của người dùng dựa trên lịch trình và các ứng dụng (bản đồ, thời tiết, email). Trước khi thực hiện, trợ lý sẽ 'chạy thử' các kịch bản (ví dụ: đi họp lúc 9h sáng có bị kẹt xe không?) và chủ động đề xuất thay đổi lịch trình hoặc đặt lời nhắc nhở phù hợp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.09131
ArXiv Abstracthttps://arxiv.org/abs/2605.09131
PDF Downloadhttps://arxiv.org/pdf/2605.09131.pdf
Github RepositoryN/A

11. L2P: Unlocking Latent Potential for Pixel Generation (23 votes)​

Tác giả: Zhennan Chen, Junwei Zhu, Xu Chen, Jiangning Zhang, Jiawei Chen, Zhuoqi Zeng, Wei Zhang, Chengjie Wang, Jian Yang, Ying Tai

Xuất bản lúc: 2026-05-12

Tag: Diffusion Models, Latent Diffusion Models, Pixel Diffusion, Text-to-Image Generation, Knowledge Transfer, 4K Generation, Synthetic Data

I. Main Problem:​

Các mô hình khuếch tán không gian tiềm ẩn (LDMs) bị giới hạn bởi bộ giải mã VAE, dẫn đến mất chi tiết tần số cao và không thể tạo ảnh độ phân giải siêu cao (ví dụ 4K). Trong khi đó, việc huấn luyện các mô hình khuếch tán không gian pixel từ đầu đòi hỏi chi phí tính toán và dữ liệu cực kỳ lớn, thường cần hàng trăm GPU và hàng tỷ cặp văn bản-hình ảnh, khiến chúng khó tiếp cận.

II. Main Idea:​

Bài báo đề xuất một phương pháp chuyển giao hiệu quả mang tên Latent-to-Pixel (L2P) nhằm tận dụng tri thức có sẵn từ các LDM đã được huấn luyện trước để xây dựng các mô hình không gian pixel mạnh mẽ. L2P loại bỏ VAE, thay vào đó sử dụng token hóa patch lớn (16x16) cho đầu vào pixel. Nó đóng băng các lớp trung gian của mô hình Diffusion Transformer (DiT) nguồn và chỉ huấn luyện các lớp nông (đầu vào, đầu ra) cùng một bộ giải mã nhẹ (Detailer Head - U-Net) để học phép biến đổi từ không gian tiềm ẩn sang không gian pixel. Đặc biệt, L2P chỉ sử dụng các hình ảnh tổng hợp do chính LDM nguồn tạo ra làm dữ liệu huấn luyện, giúp hội tụ nhanh chóng và không tốn chi phí thu thập dữ liệu thực. Việc loại bỏ VAE cũng cho phép tạo ảnh 4K gốc một cách hiệu quả bằng cách tăng kích thước patch (64x64) và điều chỉnh tham số noise shift.

III. Main Results:​

L2P đạt được hiệu suất tương đương với LDM nguồn trên benchmark DPG-Bench (86.00 so với 84.86 của Z-Image-turbo) và đạt 93% hiệu suất trên GenEval. So với các mô hình pixel khác, L2P thiết lập SOTA mới trên DPG-Bench và thể hiện sự đa dạng trong sinh ảnh vượt trội (LPIPS cao hơn). Đối với ảnh 4K, L2P đạt FID thấp nhất (33.46) và IS cao nhất (12.28), đồng thời giảm 97.67% độ trễ suy luận và 38.81% bộ nhớ GPU so với LDM nguồn. Các thí nghiệm ablation cho thấy việc sử dụng dữ liệu tổng hợp từ nguồn và chỉ tinh chỉnh các lớp nông là yếu tố then chốt cho hiệu quả của L2P.

IV. Conclusion & Future Works:​

L2P là một phương pháp chuyển giao hiệu quả về mặt tài nguyên, cho phép xây dựng các mô hình khuếch tán không gian pixel mạnh mẽ chỉ với 8 GPU và không cần dữ liệu thực. Nó kế thừa thành công các tri thức tiên nghiệm sâu sắc từ LDM và mở ra khả năng tạo ảnh độ phân giải siêu cao 4K gốc. Tương lai, hướng nghiên cứu có thể mở rộng L2P sang các kiến trúc LDM khác và các tác vụ khác như tạo video.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng L2P sang các kiến trúc Diffusion Transformer khác ngoài Z-Image, ví dụ như Flux.1 hay SD3, để kiểm chứng tính tổng quát của phương pháp.
  2. Nghiên cứu áp dụng L2P cho các tác vụ sinh ảnh có điều kiện phức tạp hơn như sinh ảnh dựa trên bố cục (layout-to-image) hoặc sinh ảnh từ nhiều văn bản mô tả khác nhau.
  3. Khám phá việc sử dụng L2P để tạo video độ phân giải cao bằng cách chuyển đổi các LDM video tiềm ẩn sang không gian pixel, tận dụng tri thức về chuyển động và thời gian có sẵn.

2. Patent:​

  1. Phương pháp tạo ảnh đại diện (avatar) chất lượng cao trên điện thoại di động: Sử dụng mô hình L2P đã được tối ưu hóa để chạy trên thiết bị di động, cho phép người dùng tạo ảnh đại diện 4K từ một bức ảnh selfie và một vài mô tả văn bản, mà không cần kết nối Internet mạnh.
  2. Hệ thống chỉnh sửa ảnh thông minh trên điện thoại: Tích hợp L2P vào ứng dụng chỉnh sửa ảnh để cho phép người dùng 'vẽ' hoặc 'thêm' các chi tiết mới vào ảnh (ví dụ: thêm hoa, thay đổi nền) với độ chân thực cao, dựa trên các mô tả văn bản ngắn gọn.
  3. Ứng dụng tạo hình nền động 4K cho điện thoại: Sử dụng L2P để tạo ra các hình nền sống động, có độ phân giải 4K, thay đổi theo thời gian thực dựa trên các yếu tố như thời tiết, thời gian trong ngày hoặc sở thích của người dùng, tất cả đều được xử lý ngay trên thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.12013
ArXiv Abstracthttps://arxiv.org/abs/2605.12013
PDF Downloadhttps://arxiv.org/pdf/2605.12013.pdf
Github Repositoryhttps://github.com/NJU-PCALab/L2P

12. ToolCUA: Towards Optimal GUI-Tool Path Orchestration for Computer Use Agents (23 votes)​

Tác giả: Xuhao Hu, Xi Zhang, Haiyang Xu, Kyle Qiao, Jingyi Yang, Xuanjing Huang, Jing Shao, Ming Yan, Jieping Ye

Xuất bản lúc: 2026-05-12

Tag: Computer Use Agents, GUI-Tool Hybrid Action, Reinforcement Learning, Tool Synthesis, Multimodal Large Language Models, Agentic AI

I. Main Problem:​

Các tác nhân sử dụng máy tính (CUA) hiện tại gặp khó khăn trong việc lựa chọn tối ưu giữa các hành động giao diện đồ họa (GUI) cơ bản và các lệnh gọi công cụ (Tool) cấp cao trong không gian hành động lai ghép. Cụ thể, chúng không biết khi nào nên tiếp tục với GUI và khi nào nên chuyển sang sử dụng công cụ, dẫn đến việc không chọn được đường dẫn thực thi tối ưu. Vấn đề này xuất phát từ hai khó khăn chính: (1) Thiếu hụt dữ liệu huấn luyện chất lượng cao về các chuỗi hành động xen kẽ GUI-Công cụ, do việc thu thập dữ liệu công cụ thực tế rất tốn kém và không ổn định; (2) Các phương pháp giám sát hiện tại (như bắt chước từng bước hoặc phần thưởng hoàn thành nhiệm vụ cuối cùng) cung cấp rất ít thông tin phản hồi ở cấp độ toàn bộ chuỗi hành động để hướng dẫn việc lựa chọn đường dẫn GUI-Công cụ một cách hiệu quả.

II. Main Idea:​

Bài báo đề xuất ToolCUA, một tác nhân đầu cuối được thiết kế để học cách lựa chọn đường dẫn GUI-Công cụ tối ưu thông qua một quy trình huấn luyện theo giai đoạn. Ý tưởng chính bao gồm ba phần: (1) Đường ống mở rộng dữ liệu chuỗi hành động xen kẽ GUI-Công cụ: Tận dụng các kho dữ liệu GUI tĩnh sẵn có, tổng hợp một thư viện công cụ dựa trên ngữ cảnh của chuỗi hành động, sau đó chuyển đổi dữ liệu GUI thuần túy thành dữ liệu xen kẽ GUI-Công cụ mà không cần thu thập thủ công. (2) Huấn luyện tăng cường khởi động bằng công cụ (Tool-Bootstrapped GUI RFT): Kết hợp huấn luyện có giám sát (SFT) để thiết lập nền tảng về khả năng lai ghép và huấn luyện tăng cường một lượt (single-turn RL) để cải thiện các quyết định tại các điểm chuyển đổi quan trọng giữa GUI và Công cụ. (3) Huấn luyện tăng cường tác nhân trực tuyến (Online Agentic RL): Tối ưu hóa toàn bộ chuỗi hành động trong môi trường GUI-Công cụ thực tế, sử dụng một hàm phần thưởng mới (Tool-Efficient Path Reward) khuyến khích việc sử dụng công cụ một cách phù hợp và tìm kiếm các đường dẫn thực thi ngắn hơn, hiệu quả hơn.

III. Main Results:​

ToolCUA đạt được độ chính xác 46.85% trên benchmark OSWorld-MCP, cải thiện tương đối khoảng 66% so với baseline (Qwen3-VL-8B-Instruct), thiết lập trạng thái kỹ thuật mới nhất (SOTA) trong số các mô hình có cùng kích thước. Mô hình cũng cho thấy sự cải thiện 3.9% so với khi chỉ sử dụng hành động GUI, chứng minh khả năng phối hợp GUI-Công cụ hiệu quả. Ngoài ra, ToolCUA thể hiện khả năng tổng quát hóa vượt trội, đạt 23.9% trên các tác vụ Linux đa ứng dụng chưa thấy và 33.8% trên các ứng dụng Windows chưa thấy trong WindowsAgentArena.

IV. Conclusion & Future Works:​

Kết quả nghiên cứu cho thấy việc huấn luyện trong không gian hành động lai ghép GUI-Công cụ là một hướng đi đầy hứa hẹn cho các tác nhân kỹ thuật số trong thế giới thực. Các công trình tương lai có thể mở rộng hướng nghiên cứu này bằng cách: (1) phát triển các pipeline tổng hợp dữ liệu mạnh mẽ hơn cho các nền tảng và ứng dụng đa dạng; (2) tối ưu hóa thêm hàm phần thưởng và thuật toán RL để đạt được sự phối hợp tinh vi hơn; và (3) khám phá các kiến trúc mô hình mới có thể tích hợp sâu hơn giữa lập kế hoạch GUI và gọi công cụ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Học Tăng Cường Đa Tác Vụ Cho Tác Nhân Sử Dụng Máy Tính Trong Không Gian Hành Động Lai: Nghiên cứu khả năng tổng quát hóa của một mô hình CUA duy nhất trên nhiều bộ dữ liệu và môi trường khác nhau (Linux, Windows, Web) bằng cách huấn luyện với hàm phần thưởng có thể thích ứng, giúp tác nhân tự động điều chỉnh chiến lược sử dụng GUI và Công cụ tùy theo từng nền tảng.
  2. Tổng Hợp Công Cụ Tự Động Từ Mô Tả Ngôn Ngữ Tự Nhiên Cho Tác Nhân Điện Thoại Thông Minh: Xây dựng một pipeline tự động tổng hợp các công cụ cấp cao từ các hướng dẫn bằng ngôn ngữ tự nhiên hoặc các chuỗi thao tác GUI có sẵn trên điện thoại, giúp tác nhân có thể nhanh chóng thích nghi với các ứng dụng và tác vụ mới mà không cần lập trình thủ công.
  3. Tối Ưu Hóa Đường Dẫn Thực Thi Cho Tác Nhân GUI Bằng Phần Thưởng Hiệu Quả Chi Phí: Đề xuất một hàm phần thưởng mới không chỉ xem xét độ dài đường dẫn và sự phù hợp của công cụ, mà còn tính đến chi phí tính toán và độ trễ khi gọi công cụ so với thao tác GUI, từ đó tìm ra sự cân bằng tối ưu giữa hiệu quả và tài nguyên cho các thiết bị có năng lực hạn chế như điện thoại.

2. Patent:​

  1. Phương pháp và hệ thống hỗ trợ người dùng điện thoại thông minh tự động hóa các tác vụ phức tạp bằng cách kết hợp thao tác chạm và lệnh thoại: Hệ thống này cho phép người dùng mô tả một tác vụ (ví dụ: 'đặt lịch hẹn và gửi email nhắc nhở') bằng giọng nói. Tác nhân AI trên điện thoại sẽ tự động xác định khi nào nên thực hiện các thao tác chạm trực tiếp trên màn hình (mở ứng dụng lịch, chọn ngày) và khi nào nên sử dụng các lệnh API cấp cao (gửi email qua dịch vụ thư), giúp hoàn thành nhiệm vụ nhanh chóng và chính xác hơn so với việc chỉ dùng giọng nói hoặc chỉ dùng chạm.
  2. Ứng dụng trên điện thoại thông minh giúp người dùng mới làm quen với một ứng dụng phức tạp bằng cách hướng dẫn trực quan kết hợp thao tác tự động: Khi người dùng muốn thực hiện một chức năng nâng cao (ví dụ: tạo một biểu đồ động trong ứng dụng chỉnh sửa ảnh), ứng dụng sẽ phân tích giao diện hiện tại. Nó sẽ vừa thực hiện các thao tác chạm để điều hướng đến đúng menu, vừa gọi các công cụ nội bộ của ứng dụng để thiết lập các tham số phức tạp một cách tự động, đồng thời hiển thị chú thích giải thích từng bước cho người dùng học theo.
  3. Phương pháp tối ưu hóa thời lượng pin và hiệu năng cho trợ lý ảo trên điện thoại thông minh khi thực hiện các tác vụ đa bước: Hệ thống sẽ học cách quyết định khi nào nên thực hiện một chuỗi các thao tác chạm (tốn nhiều bước nhưng ít tốn pin) và khi nào nên gọi một công cụ API (nhanh nhưng có thể tốn nhiều năng lượng xử lý hơn). Bằng cách cân nhắc giữa tốc độ và mức tiêu thụ pin dựa trên tình trạng pin hiện tại và độ phức tạp của tác vụ, trợ lý ảo có thể hoàn thành nhiệm vụ một cách thông minh mà không làm hao pin quá nhanh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.12481
ArXiv Abstracthttps://arxiv.org/abs/2605.12481
PDF Downloadhttps://arxiv.org/pdf/2605.12481.pdf
Github Repositoryhttps://github.com/X-PLUG/ToolCUA

13. CausalCine: Real-Time Autoregressive Generation for Multi-Shot Video Narratives (20 votes)​

Tác giả: Yihao Meng, Zichen Liu, Hao Ouyang, Qiuyu Wang, Ka Leong Cheng, Yue Yu, Hanlin Wang, Haobo Li, Jiapeng Zhu, Yanhong Zeng, Xing Zhu, Yujun Shen, Qifeng Chen, Huamin Qu

Xuất bản lúc: 2026-05-12

Tag: Autoregressive Video Generation, Multi-Shot Video, KV Cache, Content-Aware Memory, Distribution Matching Distillation, Causal Generation, Long-Context Video

I. Main Problem:​

Các mô hình sinh video tự hồi quy hiện tại chủ yếu được huấn luyện để kéo dài một cảnh quay duy nhất trong một khoảng thời gian ngắn, dẫn đến hiện tượng trì trệ chuyển động, lặp lại hoặc lạc đề về mặt ngữ nghĩa khi sinh video dài với nhiều cảnh quay (multi-shot). Chúng không thể xử lý các chuyển cảnh, thay đổi góc nhìn và duy trì bối cảnh câu chuyện xuyên suốt các cảnh.

II. Main Idea:​

CausalCine đề xuất một khung làm việc tương tác, sinh video tự hồi quy theo thời gian thực cho các câu chuyện nhiều cảnh quay. Khung làm việc này biến quá trình sinh video thành một quá trình đạo diễn trực tuyến, cho phép sinh video theo quan hệ nhân quả qua các lần chuyển cảnh, chấp nhận các prompt động trong quá trình sinh và tái sử dụng ngữ cảnh mà không cần sinh lại các cảnh trước đó. Để đạt được điều này, CausalCine gồm ba bước chính: (1) Huấn luyện một mô hình nền tảng nhân quả trên các chuỗi video nhiều cảnh dài để học các chuyển cảnh phức tạp; (2) Đề xuất Cơ chế Định tuyến Bộ nhớ Nhận thức Nội dung (CAMR) giúp truy xuất động các mục KV lịch sử dựa trên điểm số liên quan, thay vì vị trí thời gian, để duy trì sự nhất quán xuyên suốt các cảnh; (3) Chưng cất mô hình nền tảng nhân quả thành một bộ sinh vài bước để tạo ra sự tương tác theo thời gian thực.

III. Main Results:​

CausalCine vượt trội hơn đáng kể so với các baseline tự hồi quy về chất lượng cảnh quay, độ chính xác bám sát prompt, bảo toàn danh tính nhân vật và cấu trúc chuyển cảnh. Mô hình đạt được kết quả cạnh tranh với các mô hình hai chiều (bidirectional) về chất lượng hình ảnh và sự nhất quán xuyên suốt các cảnh, đồng thời vẫn duy trì được hiệu quả và khả năng tương tác của sinh nhân quả. Cụ thể, trên bộ benchmark nhiều cảnh, CausalCine đạt điểm Text Alignment cao nhất (0.1980) và Shot-Cut Accuracy (SCA) cao nhất (0.9732) so với các phương pháp tự hồi quy khác.

IV. Conclusion & Future Works:​

CausalCine là một khung làm việc nhân quả cho sinh video nhiều cảnh tương tác, chứng minh rằng việc học các chuyển cảnh dài trước khi chưng cất và định tuyến bộ nhớ KV theo nội dung cho phép cập nhật prompt theo từng cảnh, sinh video với bộ nhớ chú ý có giới hạn và khả năng nhớ lại thông tin xuyên suốt các cảnh mà không cần sinh lại video trước đó. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng khung làm việc để hỗ trợ các tương tác phức tạp hơn, cải thiện khả năng kiểm soát câu chuyện và tối ưu hóa thêm về mặt hiệu năng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế bộ nhớ thích ứng cho sinh video đa cảnh, nơi các thông tin ngữ cảnh được nén và truy xuất linh hoạt dựa trên mức độ liên quan đến nội dung hiện tại, thay vì chỉ dựa vào vị trí thời gian.
  2. Phát triển một phương pháp huấn luyện mới cho mô hình sinh video tự hồi quy, kết hợp học tăng cường (reinforcement learning) để tối ưu hóa trực tiếp các chỉ số đánh giá như độ bám sát prompt và sự nhất quán về nhân vật xuyên suốt câu chuyện.
  3. Mở rộng khung làm việc CausalCine để hỗ trợ sinh video có âm thanh (audio) đồng bộ, nơi các tín hiệu âm thanh được sử dụng như một điều kiện bổ sung để điều khiển nhịp điệu và cảm xúc của các cảnh quay.

2. Patent:​

  1. Phương pháp và hệ thống tạo video tương tác trên thiết bị di động dựa trên prompt văn bản theo thời gian thực: Hệ thống cho phép người dùng nhập một prompt văn bản mô tả cảnh quay đầu tiên, sau đó trong quá trình điện thoại đang tạo video, người dùng có thể nhập thêm các prompt mới để thay đổi góc quay, nhân vật, hoặc bối cảnh ở các cảnh tiếp theo. Video được tạo ra một cách mượt mà, không bị gián đoạn và có sự nhất quán về mặt nội dung.
  2. Ứng dụng chỉnh sửa video trên điện thoại thông minh sử dụng bộ nhớ thông minh để duy trì tính nhất quán của nhân vật: Khi người dùng muốn thêm một cảnh mới vào giữa một video đã có, ứng dụng sẽ tự động phân tích nội dung các cảnh xung quanh, nhận diện các nhân vật và bối cảnh chính, sau đó tạo ra cảnh mới sao cho nhân vật và bối cảnh đó xuất hiện một cách nhất quán, tránh tình trạng thay đổi ngoại hình hoặc trang phục một cách bất thường.
  3. Phương pháp tạo nội dung quảng cáo đa cảnh trên thiết bị di động với khả năng tùy chỉnh theo ngữ cảnh người dùng: Hệ thống cho phép tạo ra một video quảng cáo ngắn gồm nhiều cảnh, trong đó cảnh đầu tiên có thể là một góc nhìn tổng quan về sản phẩm. Dựa vào thông tin vị trí hoặc sở thích của người dùng, hệ thống có thể tự động thay đổi prompt cho các cảnh tiếp theo (ví dụ: thay đổi màu sắc sản phẩm, thêm nhân vật phù hợp với văn hóa địa phương) để tạo ra trải nghiệm quảng cáo cá nhân hóa cao.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.12496
ArXiv Abstracthttps://arxiv.org/abs/2605.12496
PDF Downloadhttps://arxiv.org/pdf/2605.12496.pdf
Github RepositoryN/A

14. Towards On-Policy Data Evolution for Visual-Native Multimodal Deep Search Agents (19 votes)​

Tác giả: Shijue Huang, Hangyu Guo, Chenxin Li, Junting Lu, Xinyu Geng, Zhaochen Su, Zhenyu Li, Shuang Chen, Hongru Wang, Yi R. Fung

Xuất bản lúc: 2026-05-11

Tag: Multimodal Deep Search, Visual-Native Agent, On-policy Data Evolution, Image Bank Reference Protocol, Reinforcement Learning, SFT, MLLM

I. Main Problem:​

Các hệ thống tìm kiếm sâu đa phương thức hiện tại gặp hai nút thắt chính. Thứ nhất, các pipeline hiện có coi hình ảnh do các công cụ trả về (tìm kiếm, duyệt web, biến đổi) là đầu ra tạm thời, không thể tái sử dụng làm đầu vào cho các công cụ sau, dẫn đến việc bằng chứng hình ảnh trung gian bị lãng phí. Thứ hai, dữ liệu huấn luyện thường được xây dựng bằng các công thức cố định, không thể theo dõi và thích ứng với khả năng đang tiến hóa của agent mục tiêu, dẫn đến dữ liệu không còn phù hợp với nhu cầu học tập của agent.

II. Main Idea:​

Để giải quyết các vấn đề trên, bài báo đề xuất hai đóng góp chính. Thứ nhất, một khung agent (Visual-Native Agent Harness) với giao thức tham chiếu ngân hàng ảnh (Image Bank Reference Protocol), nơi mọi hình ảnh do công cụ trả về đều được đăng ký như một tham chiếu có địa chỉ (ví dụ: image:N) và có thể được các công cụ sau tái sử dụng. Thứ hai, một khung xây dựng dữ liệu vòng kín gọi là On-policy Data Evolution (ODE), hoạt động như một vòng lặp: sinh tác vụ, cho agent mục tiêu thực thi, phân tích dấu vết dựa trên tiêu chí đánh giá (rubric), và dùng phản hồi đó để tinh chỉnh cấu hình sinh dữ liệu cho vòng tiếp theo. ODE hỗ trợ cả hai chế độ: SFT (tạo dữ liệu trình diễn chất lượng cao) và RL (tạo tác vụ phù hợp với ranh giới học tập hiện tại của policy).

III. Main Results:​

Qua 8 benchmark tìm kiếm sâu đa phương thức (MMBC, HLE-VL, BC-VL, VDR, MMSearch, MMSearch+, SimpleVQA, FVQA), ODE cải thiện đáng kể hiệu suất của agent Qwen3-VL: từ 24.9% lên 39.0% ở phiên bản 8B và từ 30.6% lên 41.5% ở phiên bản 30B, vượt qua cả Gemini-2.5 Pro (37.9%) trong cài đặt agent workflow tiêu chuẩn. Các phân tích sâu hơn xác nhận rằng việc tái sử dụng ngân hàng ảnh mang lại lợi ích rõ rệt nhất trên các tác vụ yêu cầu tinh chỉnh hình ảnh lặp đi lặp lại, và dữ liệu từ ODE (với phản hồi từ rollout) có chất lượng và độ đa dạng cao hơn so với dữ liệu tổng hợp tĩnh.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng tìm kiếm sâu đa phương thức là một bài toán đồng thiết kế (co-design) giữa không gian làm việc (workspace), bộ sinh dữ liệu (data generator) và chính sách huấn luyện (training policy). Hướng phát triển trong tương lai được đề cập là mở rộng quy mô của quá trình tiến hóa on-policy (larger-scale on-policy evolution).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ODE cho các tác vụ đa phương thức phức tạp hơn: Áp dụng khung ODE cho các bài toán như lập kế hoạch đa bước (multi-step planning) trong môi trường mô phỏng hoặc robot, nơi agent cần kết hợp nhiều loại cảm biến (hình ảnh, văn bản, âm thanh) và phản hồi từ môi trường để cải thiện dữ liệu huấn luyện.
  2. Nghiên cứu tính tổng quát của Image Bank Protocol: Khám phá khả năng áp dụng giao thức tham chiếu ngân hàng ảnh cho các loại dữ liệu khác như âm thanh, video ngắn, hoặc dữ liệu đồ họa vector, tạo ra một không gian làm việc đa phương thức thống nhất và có thể mở rộng.
  3. Tối ưu hóa hiệu quả của vòng lặp ODE: Nghiên cứu các chiến lược tối ưu hóa cấu hình (ví dụ: học tăng cường cho bộ sinh dữ liệu) để giảm chi phí tính toán của vòng lặp ODE, đồng thời tăng tốc độ hội tụ và chất lượng dữ liệu đầu ra.

2. Patent:​

  1. Phương pháp và hệ thống tìm kiếm ảnh trên điện thoại thông minh sử dụng ngân hàng ảnh động: Khi người dùng chụp ảnh một đối tượng (ví dụ: một món đồ nội thất), hệ thống sẽ tự động lưu ảnh này vào ngân hàng ảnh. Trong quá trình tìm kiếm, mọi ảnh kết quả trả về từ các bước (ví dụ: ảnh sản phẩm tương tự, ảnh phóng to chi tiết) đều được thêm vào ngân hàng. Người dùng có thể chạm vào bất kỳ ảnh nào trong ngân hàng để bắt đầu một vòng tìm kiếm mới, tạo ra một luồng tương tác trực quan và liên tục để khám phá thông tin mà không cần nhập lại văn bản.
  2. Ứng dụng di động hỗ trợ học tập dựa trên tiến hóa dữ liệu on-policy: Một ứng dụng học ngoại ngữ hoặc khoa học sử dụng camera điện thoại. Ứng dụng sẽ liên tục đưa ra các câu hỏi trực quan (ví dụ: chụp ảnh một bộ phận máy móc và hỏi tên của nó). Dựa trên lịch sử trả lời của người dùng (rollout), hệ thống sẽ tự động điều chỉnh độ khó và loại câu hỏi (ví dụ: nếu người dùng hay sai các câu hỏi về chi tiết nhỏ, hệ thống sẽ sinh thêm các câu hỏi yêu cầu phóng to và quan sát kỹ), cá nhân hóa trải nghiệm học tập một cách thông minh.
  3. Phương pháp tạo nội dung quảng cáo tương tác trên thiết bị di động: Một nền tảng quảng cáo cho phép người dùng chụp ảnh sản phẩm từ quảng cáo. Hệ thống sẽ tạo ra một 'ngân hàng ảnh' cá nhân hóa chứa ảnh sản phẩm và các ảnh liên quan (ví dụ: ảnh phối cảnh, ảnh chi tiết chất liệu). Dựa trên các tương tác của người dùng với ngân hàng ảnh này (ví dụ: họ phóng to phần nào, tìm kiếm ảnh nào), hệ thống sẽ tự động điều chỉnh nội dung quảng cáo tiếp theo, giúp quảng cáo trở nên hấp dẫn và phù hợp hơn với sở thích của từng người.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.10832
ArXiv Abstracthttps://arxiv.org/abs/2605.10832
PDF Downloadhttps://arxiv.org/pdf/2605.10832.pdf
Github Repositoryhttps://github.com/JoeYing1019/ODE

15. Teaching Language Models to Think in Code (17 votes)​

Tác giả: Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

Xuất bản lúc: 2026-05-11

Tag: LLMs, Code-Centric Reasoning, Tool-Integrated Reasoning, Reinforcement Learning, Mathematical Reasoning, GRPO

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) khi giải toán thường sử dụng phương pháp Tool-Integrated Reasoning (TIR) xen kẽ suy luận ngôn ngữ tự nhiên (NL) với thực thi mã. Tuy nhiên, cách tiếp cận này có ba hạn chế cố hữu: (1) Mã thường chỉ đóng vai trò xác minh sau khi đã suy luận xong bằng NL, không đóng góp tính toán mới; (2) Các bước tính toán trung gian bằng NL dễ mắc lỗi số học và lỗi này lan truyền vào mã; (3) Vai trò của NL và mã bị chồng chéo, NL thường mô tả lại thuật toán mà mã sẽ thực hiện, gây lãng phí tài nguyên.

II. Main Idea:​

Bài báo đề xuất THINC (Thinking in Code), một khung huấn luyện trong đó mã chính là bộ suy luận chính thay vì là công cụ được NL triệu gọi. Một quỹ đạo THINC bắt đầu bằng một bước lập kế hoạch ngắn gọn bằng NL, sau đó toàn bộ suy luận diễn ra thông qua các khối mã chỉ kết nối với nhau bằng kết quả thực thi. Cấu trúc này giải quyết ba hạn chế trên: mã thực hiện tính toán thay vì xác minh, mọi giá trị trung gian đều được thông dịch viên tạo ra và xác thực, NL chỉ giới hạn ở việc lập kế hoạch cấp cao. Phương pháp gồm ba giai đoạn: chưng cất quỹ đạo từ mô hình giáo viên (tạo tập THINC-SFT 12.2k), tinh chỉnh có giám sát (SFT) để thiết lập hành vi lấy mã làm trung tâm, và học tăng cường (RL) với phần thưởng xác minh được (GRPO) để tăng cường khả năng giải quyết vấn đề.

III. Main Results:​

Mô hình THINC-4B đạt độ chính xác trung bình 78.1% trên năm benchmark toán cấp độ thi đấu (AIME 2024-2026, HMMT 2025, BeyondAIME), vượt qua mọi baseline TIR, bao gồm cả mô hình NL lớn hơn nhiều là Qwen3-235B-A22B-Thinking. THINC-4B vượt ASTER-4B (một phương pháp TIR tốt nhất) trung bình 4.1 điểm với chi phí suy luận thấp hơn (6.1 lần gọi công cụ so với 11.1). Phân tích cho thấy 99.2% câu trả lời cuối cùng của THINC-4B dựa trên đầu ra của thông dịch viên, và mô hình duy trì khả năng phục hồi 64-69% sau ba lần thực thi mã thất bại liên tiếp, cao hơn gấp đôi các baseline TIR khác.

IV. Conclusion & Future Works:​

THINC chứng minh rằng suy luận lấy mã làm trung tâm là một phương pháp hiệu quả và mạnh mẽ cho giải toán, khắc phục các hạn chế của TIR truyền thống. Hướng phát triển tương lai bao gồm: mở rộng THINC cho các mô hình lớn hơn (trên 4B tham số), và áp dụng định dạng lấy mã làm trung tâm cho các lĩnh vực suy luận tích hợp công cụ khác ngoài toán học.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng THINC cho các mô hình lớn hơn và đa lĩnh vực: Nghiên cứu khả năng mở rộng của kiến trúc suy luận lấy mã làm trung tâm (code-centric) cho các mô hình từ 7B đến 70B tham số. Đánh giá hiệu quả trên các lĩnh vực khác như suy luận khoa học (ví dụ: GPQA), lập kế hoạch tác vụ (task planning) và phân tích dữ liệu, nơi tính chính xác của tính toán là rất quan trọng.
  2. Phân tích vai trò của bước lập kế hoạch bằng ngôn ngữ tự nhiên (NL planning step) trong THINC: Nghiên cứu tác động của việc thay đổi độ dài và nội dung của bước lập kế hoạch NL đầu tiên. Liệu một bước lập kế hoạch 'tối thiểu' (ví dụ: chỉ gồm các từ khóa) hay 'chi tiết' (mô tả đầy đủ chiến lược) có ảnh hưởng đến hiệu suất và tính mạnh mẽ của mô hình không? Đề xuất một phương pháp tối ưu hóa bước lập kế hoạch này.
  3. THINC cho suy luận đa bước với nhiều loại công cụ: Mở rộng THINC để tích hợp nhiều loại công cụ khác nhau (ví dụ: máy tính tượng trưng (symbolic solver), cơ sở tri thức, API tra cứu) bên cạnh trình thông dịch Python. Xây dựng một khung làm việc nơi mã đóng vai trò là 'nhạc trưởng' điều phối việc sử dụng các công cụ này, thay vì ngôn ngữ tự nhiên.

2. Patent:​

  1. Phương pháp và hệ thống hỗ trợ giải toán thông minh trên thiết bị di động: Một ứng dụng di động sử dụng mô hình ngôn ngữ nhỏ được huấn luyện theo phương pháp THINC. Khi người dùng nhập một bài toán, ứng dụng sẽ tạo ra một kế hoạch giải ngắn gọn, sau đó thực thi trực tiếp các bước tính toán trên thiết bị thông qua một trình thông dịch mã nhúng. Điều này đảm bảo tốc độ xử lý nhanh, không cần kết nối mạng và độ chính xác cao cho các phép tính phức tạp.
  2. Ứng dụng trợ lý học tập có khả năng tự kiểm tra và sửa lỗi tính toán: Một trợ lý ảo trên điện thoại thông minh giúp học sinh kiểm tra bài tập toán. Trợ lý này không chỉ đưa ra đáp án mà còn hiển thị toàn bộ quá trình suy luận dưới dạng mã nguồn. Nếu có lỗi xảy ra trong quá trình tính toán, hệ thống sẽ tự động phát hiện và thử lại các bước mã khác mà không cần sự can thiệp của người dùng, giúp học sinh hiểu rõ bản chất của lỗi và cách khắc phục.
  3. Hệ thống tối ưu hóa chiến lược đầu tư cá nhân dựa trên suy luận bằng mã: Một ứng dụng quản lý tài chính cá nhân trên điện thoại di động. Khi người dùng đặt ra mục tiêu tài chính (ví dụ: tiết kiệm bao nhiêu tiền sau 5 năm với lãi suất thay đổi), ứng dụng sẽ sử dụng một mô hình suy luận bằng mã để xây dựng và chạy các kịch bản mô phỏng phức tạp. Mô hình sẽ liên tục điều chỉnh các biến số đầu vào dựa trên kết quả thực thi của mã, đưa ra chiến lược tối ưu mà không cần người dùng phải hiểu các công thức tài chính phức tạp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.07237
ArXiv Abstracthttps://arxiv.org/abs/2605.07237
PDF Downloadhttps://arxiv.org/pdf/2605.07237.pdf
Github RepositoryN/A

16. Multi-Stream LLMs: Unblocking Language Models with Parallel Streams of Thoughts, Inputs and Outputs (13 votes)​

Tác giả: Guinan Su, Yanwu Yang, Xueyan Li, Jonas Geiping

Xuất bản lúc: 2026-05-12

Tag: LLMs, Parallel Decoding, Multi-Stream, Prompt Injection, Monitorability, Agent Systems

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) hiện tại, dù được sử dụng như các tác tử AI phức tạp, vẫn bị giới hạn bởi kiến trúc tuần tự kế thừa từ các mô hình chat (chat models). Chúng chỉ có thể xử lý một luồng văn bản duy nhất, dẫn đến tình trạng 'bị chặn' (blocked): không thể vừa đọc vừa phản hồi, vừa suy nghĩ vừa hành động, hoặc tiếp nhận thông tin mới trong khi đang tạo ra phản hồi. Điều này gây ra độ trễ lớn, kém hiệu quả trong các tác vụ đa nhiệm, dễ bị tấn công tiêm nhiễm prompt (prompt injection) do không phân tách được nguồn thông tin, và khó giám sát quá trình suy luận nội bộ của mô hình.

II. Main Idea:​

Bài báo đề xuất một phương pháp mới gọi là Multi-Stream LLM, thay đổi cách huấn luyện chỉ thị (instruction-tuning) từ định dạng tin nhắn tuần tự sang định dạng nhiều luồng song song (multiple, parallel streams). Mỗi vai trò (người dùng, hệ thống, mô hình, suy nghĩ) được tách thành một luồng riêng biệt. Trong mỗi lần chạy (forward pass), mô hình sẽ đồng thời đọc từ nhiều luồng đầu vào và tạo ra các token ở nhiều luồng đầu ra, với sự phụ thuộc nhân quả (causal dependency) giữa các luồng. Phương pháp này cho phép mô hình 'không bị chặn', có thể thực hiện nhiều hành động cùng lúc như đọc, suy nghĩ và phản hồi, đồng thời tăng cường bảo mật và khả năng giám sát.

III. Main Results:​

Kết quả thực nghiệm trên các mô hình Qwen3-1.7B, Qwen3-4B, Qwen3-8B và Qwen3.5-27B cho thấy:

  • Hiệu quả (Efficiency): Giảm đáng kể độ trễ (Delay) và số token đến token mục tiêu đầu tiên (TNFT) gần như về 0. Khi kết hợp 3 luồng (Đọc - Giải - Kiểm tra), độ trễ giảm hơn 40% so với mô hình tuần tự có phản xạ (Vanilla + Reflection).
  • Bảo mật (Security): Giảm tỷ lệ thành công của các cuộc tấn công tiêm nhiễm prompt trực tiếp và gián tiếp (Direct/Indirect ASR) một cách đáng kể, ví dụ giảm hơn 33 điểm ASR trên tập dữ liệu StruQ-ID, mà không cần huấn luyện đối kháng (adversarial training).
  • Khả năng giám sát (Monitorability): Các luồng suy nghĩ nội bộ giúp bộ giám sát bên ngoài dễ dàng phát hiện ra các ý định, mối quan tâm của mô hình mà không xuất hiện trong câu trả lời. Ví dụ, tỷ lệ phát hiện mối quan tâm ẩn (Concern subvoc.) tăng từ 0.06 lên 0.44 trên mô hình 27B.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng việc chuyển từ định dạng tin nhắn tuần tự sang nhiều luồng song song là một thay đổi mang tính nguyên tắc, giúp khắc phục những hạn chế cố hữu của các mô hình ngôn ngữ hiện tại khi hoạt động như các tác tử. Phương pháp này hứa hẹn mang lại hiệu quả, bảo mật và khả năng giám sát tốt hơn. Các hướng phát triển trong tương lai bao gồm: mở rộng quy mô mô hình và dữ liệu huấn luyện, khám phá các biến thể của cơ chế attention giữa các luồng (ví dụ: attention dạng sọc, tương tác một chiều), và áp dụng cho các tác vụ khác ngoài chat và tác tử.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa Kiến trúc Multi-Stream cho Thiết bị Biên (Edge Devices): Nghiên cứu các kỹ thuật như lượng tử hóa (quantization), cắt tỉa (pruning) và kiến trúc attention hiệu quả (ví dụ: linear attention) để giảm chi phí tính toán và bộ nhớ, giúp mô hình Multi-Stream LLM có thể chạy mượt mà trên các thiết bị có tài nguyên hạn chế như điện thoại thông minh.
  2. Multi-Stream LLM cho Học Tăng cường (Reinforcement Learning): Kết hợp định dạng đa luồng với các phương pháp học tăng cường (ví dụ: RLHF) để huấn luyện mô hình tự học cách phân bổ tài nguyên và ưu tiên giữa các luồng (ví dụ: khi nào nên ngắt lời người dùng, khi nào nên tập trung suy nghĩ sâu hơn) nhằm tối ưu hóa hiệu quả tổng thể của tác tử.
  3. Giám sát và Giải thích Hành vi Tác tử AI bằng Luồng Nội bộ (Internal Streams): Nghiên cứu chuyên sâu về việc sử dụng các luồng nội bộ (ví dụ: 'Audit', 'Skepticism') để tạo ra các bản ghi (logs) chi tiết về quá trình ra quyết định của tác tử. Mục tiêu là phát triển các công cụ giám sát tự động có thể phát hiện các hành vi nguy hiểm tiềm ẩn (ví dụ: lừa dối, tìm kiếm quyền lực) ngay từ trong trứng nước.

2. Patent:​

  1. Phương pháp và Hệ thống Nhập liệu và Phản hồi Song song (Parallel Input and Response System) cho Trợ lý Ảo trên Điện thoại Di động: Mô tả một trợ lý ảo trên điện thoại có thể vừa đọc văn bản người dùng đang nhập dở dang vừa bắt đầu đưa ra phản hồi hoặc gợi ý, giúp tăng tốc độ tương tác. Ví dụ, khi người dùng gõ 'Cho tôi xem ảnh về...', trợ lý có thể lập tức bắt đầu tìm kiếm trong thư viện ảnh thay vì phải chờ người dùng gõ xong toàn bộ câu.
  2. Ứng dụng Bảo mật Đa luồng (Multi-Stream Security Application) cho Tin nhắn Trên Thiết bị Di động: Phát triển một ứng dụng nhắn tin hoặc email có tích hợp mô hình Multi-Stream LLM. Hệ thống sẽ tự động tách biệt nội dung do người dùng nhập và nội dung do AI tạo ra thành các luồng riêng, giúp ngăn chặn hiệu quả các cuộc tấn công lừa đảo (phishing) hoặc tiêm nhiễm mã độc qua văn bản mà người dùng vô tình copy từ nguồn không tin cậy.
  3. Giao diện Người dùng Đa nhiệm (Multitasking User Interface) cho Tác tử AI trên Điện thoại Thông minh: Mô tả một giao diện cho phép người dùng tương tác với tác tử AI trên nhiều tác vụ cùng lúc. Ví dụ, trong khi tác tử đang tạo một bản tóm tắt văn bản dài (luồng 1), người dùng có thể đặt một câu hỏi khác (luồng 2) và tác tử sẽ trả lời ngay lập tức mà không làm gián đoạn quá trình tạo bản tóm tắt. Giao diện có thể hiển thị các luồng này dưới dạng các thẻ (tabs) hoặc các bong bóng hội thoại riêng biệt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.12460
ArXiv Abstracthttps://arxiv.org/abs/2605.12460
PDF Downloadhttps://arxiv.org/pdf/2605.12460.pdf
Github Repositoryhttps://github.com/seal-rg/streaming

17. On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment (13 votes)​

Tác giả: Bo Yin, Qi Li, Xinchao Wang

Xuất bản lúc: 2026-05-12

Tag: LLM Agents, Safety Alignment, Reinforcement Learning, Multi-Objective Optimization, Pareto Front, Self-Evolution, Agent Safety

I. Main Problem:​

Các tác nhân ngôn ngữ lớn (LLM) sử dụng công cụ thường gặp thất bại ở cấp độ toàn bộ quá trình thực thi (trajectory-level), như thực hiện lệnh gọi công cụ không an toàn, tuân theo các hướng dẫn bị chèn vào, hoặc từ chối quá mức các tác vụ hợp pháp. Các phương pháp hiện tại chủ yếu đánh giá an toàn dựa trên phản hồi cuối cùng (response-level) hoặc sử dụng tín hiệu giám sát lỗi thời (off-policy), dẫn đến sự đánh đổi giữa an toàn và hiệu quả tác vụ, và không thể cung cấp phản hồi dày đặc ở cấp độ toàn bộ quá trình thực thi.

II. Main Idea:​

Bài báo đề xuất FATE (Failure-Trajectory Evolution), một khung tự tiến hóa on-policy biến đổi các quỹ đạo thất bại (failure trajectories) thành tín hiệu giám sát sửa chữa (repair supervision) mà không cần chuyên gia. Quy trình gồm: (1) thu thập các quỹ đạo thất bại từ chính sách hiện tại, (2) dùng cùng chính sách đó để đề xuất nhiều phương án sửa chữa, (3) lọc các phương án sửa chữa qua bộ kiểm chứng (verifier) và chọn lọc bằng mặt Pareto (Pareto front) để đảm bảo cân bằng giữa an toàn, tiện ích, kiểm soát từ chối quá mức và tính hợp lệ của quỹ đạo, và (4) tối ưu hóa chính sách qua hai giai đoạn: SFT và PFPO (Pareto-Front Policy Optimization) nhằm bảo toàn sự cân bằng giữa an toàn và tiện ích.

III. Main Results:​

Thử nghiệm trên AgentDojo, AgentHarm và ATBench cho thấy FATE cải thiện an toàn nhất quán trên nhiều họ mô hình và quy mô khác nhau. Cụ thể, so với các baseline mạnh, FATE giảm 33.5% tỷ lệ tấn công thành công (ASR), giảm 82.6% tuân thủ tác vụ có hại (HCR), và cải thiện 6.5% khả năng chẩn đoán an toàn quỹ đạo bên ngoài. FATE cũng cho thấy khả năng mở rộng tốt khi tăng quy mô mô hình và số vòng tiến hóa.

IV. Conclusion & Future Works:​

FATE là một khung tự tiến hóa hiệu quả, biến các quỹ đạo thất bại thành tín hiệu giám sát có cấu trúc để cải thiện an toàn cho tác nhân. Kết quả thực nghiệm cho thấy tiềm năng của việc sử dụng thất bại ở cấp độ quỹ đạo như một nguồn giám sát sửa chữa. Hướng phát triển tương lai có thể bao gồm mở rộng khung này sang các môi trường phức tạp hơn, hoặc kết hợp với các kỹ thuật suy luận thời gian thực để tăng cường an toàn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung FATE cho các tác vụ đa phương thức (Multimodal Agent Safety): Nghiên cứu cách áp dụng cơ chế tự tiến hóa dựa trên quỹ đạo thất bại cho các tác nhân đa phương thức, nơi thất bại có thể đến từ việc hiểu sai hình ảnh, âm thanh hoặc video, thay vì chỉ văn bản. Bài báo có thể đề xuất các bộ kiểm chứng đa phương thức và mặt Pareto mới cho các mục tiêu an toàn chéo phương thức.
  2. Giảm chi phí tính toán trong quá trình tự tiến hóa của tác nhân: Tập trung vào việc tối ưu hóa quy trình 'đề xuất và chọn lọc' của FATE. Nghiên cứu các phương pháp sinh sửa chữa hiệu quả hơn (ví dụ: sử dụng mô hình nhỏ hơn để đề xuất, hoặc lọc thô trước khi đánh giá chi tiết) để giảm số lượng lời gọi bộ kiểm chứng và thời gian huấn luyện, giúp khung này khả thi hơn cho các ứng dụng thực tế.
  3. Kết hợp FATE với các phương pháp phòng thủ thời gian thực (Inference-time Defenses): Nghiên cứu cách tích hợp các bộ lọc hoặc mô hình bảo vệ bên ngoài (như Tool Filter) vào quy trình tự tiến hóa của FATE. Thay vì chỉ cập nhật chính sách, bài báo có thể đề xuất một hệ thống lai, nơi các phòng thủ thời gian thực cung cấp thêm tín hiệu giám sát cho quá trình tiến hóa, hoặc bản thân các bộ lọc cũng được tối ưu hóa dựa trên thất bại của chính sách.

2. Patent:​

  1. Phương pháp và hệ thống tự động điều chỉnh hành vi của trợ lý ảo trên điện thoại thông minh dựa trên các tương tác thất bại: Phát hiện các thao tác không an toàn hoặc từ chối sai của trợ lý ảo (ví dụ: từ chối đặt báo thức vì sợ bị lợi dụng), ghi lại toàn bộ chuỗi hành động dẫn đến lỗi đó. Sau đó, hệ thống tự động tạo ra các phương án thay thế an toàn hơn và hiệu quả hơn, và sử dụng các phương án này để 'huấn luyện' lại trợ lý ảo, giúp nó ngày càng thông minh và an toàn hơn mà không cần người dùng can thiệp.
  2. Hệ thống kiểm soát an toàn chủ động cho ứng dụng ngân hàng di động sử dụng tác nhân AI: Khi tác nhân AI thực hiện các giao dịch hoặc truy vấn thông tin nhạy cảm, hệ thống sẽ đánh giá toàn bộ quá trình tương tác, không chỉ kết quả cuối cùng. Nếu phát hiện một chuỗi hành động có nguy cơ (ví dụ: rò rỉ thông tin tài khoản khi trả lời câu hỏi), hệ thống sẽ tự động tạo ra một chuỗi hành động sửa chữa an toàn hơn (ví dụ: che dấu thông tin nhạy cảm) và cập nhật vào bộ nhớ của tác nhân để tránh lặp lại lỗi tương tự.
  3. Phương pháp tối ưu hóa đa mục tiêu cho chatbot dịch vụ khách hàng trên thiết bị di động: Chatbot được huấn luyện để đạt được nhiều mục tiêu cùng lúc: giải quyết vấn đề của khách hàng (tiện ích), không tiết lộ thông tin cá nhân (bảo mật), và không từ chối các yêu cầu hợp lệ (kiểm soát từ chối). Khi chatbot thực hiện một chuỗi hội thoại không đạt yêu cầu, hệ thống sẽ tự động sinh ra các phương án hội thoại thay thế, chọn ra phương án cân bằng tốt nhất giữa các mục tiêu, và dùng nó để cải thiện chatbot, giúp chatbot ngày càng phục vụ tốt hơn mà vẫn đảm bảo an toàn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.11882
ArXiv Abstracthttps://arxiv.org/abs/2605.11882
PDF Downloadhttps://arxiv.org/pdf/2605.11882.pdf
Github Repositoryhttps://github.com/YinBo0927/FATE

18. Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction (12 votes)​

Tác giả: Zhong Guan, Yongjian Guo, Haoran Sun, Wen Huang, Shuai Di, Xiong Jun Wu, Likang Wu, Hongke Zhao

Xuất bản lúc: 2026-05-12

Tag: Asynchronous RL, PPO, Off-Policy Correction, LLMs, Agentic RL, Training-Inference Discrepancy, Policy Staleness, PPO-EWMA

I. Main Problem:​

Trong các hệ thống Học Tăng Cường (RL) không đồng bộ cho các tác tử Mô hình Ngôn ngữ Lớn (LLM), quá trình sinh mẫu (rollout) và tối ưu hóa chính sách (policy optimization) bị tách rời. Điều này dẫn đến một lỗi nghiêm trọng: mất logit cũ (missing-old-logit problem). Cụ thể, khi một quỹ đạo (trajectory) được sinh ra bởi một phiên bản chính sách cũ (inference-side), quá trình huấn luyện (training-side) cần logit của chính sách cũ đó để tính toán tỷ lệ quan trọng (importance ratio) cho việc hiệu chỉnh off-policy. Tuy nhiên, do độ trễ và cập nhật không đồng bộ, phiên bản chính sách cũ này thường đã bị loại bỏ, khiến cho logit cũ không còn tồn tại. Sự thiếu hụt này phá vỡ sự phân tách ngữ nghĩa giữa hai yếu tố cần hiệu chỉnh riêng biệt: (1) sự khác biệt giữa huấn luyện và suy luận (training-inference discrepancy) và (2) sự lỗi thời của chính sách (policy staleness). Hậu quả là các cơ chế clipping và masking tương tác không mong muốn, làm suy giảm hiệu suất tối ưu hóa.

II. Main Idea:​

Bài báo phân tích vấn đề mất logit cũ và đề xuất các phương pháp sửa chữa, tập trung vào hai hướng chính: (1) Phục hồi chính xác logit cũ (Exact Old-Logit Acquisition) thông qua hỗ trợ hạ tầng hệ thống, và (2) Xấp xỉ chi phí thấp (Low-Cost Approximation) bằng cách sử dụng một chính sách tham chiếu EWMA (Exponentially Weighted Moving Average) cải tiến. Các chiến lược phục hồi chính xác bao gồm: theo dõi phiên bản dựa trên snapshot (snapshot-based version tracking), duy trì một mô hình logit cũ riêng (dedicated old-logit model), và đồng bộ hóa bằng cách ngắt rollout một phần (synchronization via partial rollout interruption). Đối với xấp xỉ chi phí thấp, bài báo đề xuất PPO-EWMA sửa đổi, với hệ số phân rã (decay) được thiết lập dựa trên độ trễ dự kiến và cơ chế tự động reset khi tham chiếu trở nên quá lỗi thời, nhằm đạt được sự cân bằng tốt giữa độ chính xác và chi phí tính toán.

III. Main Results:​

Các thí nghiệm trên các tác vụ Agentic với mô hình Qwen3-4B (dense) và Qwen3-30B-A3B (MoE) cho thấy: (1) Phương pháp phục hồi chính xác (Snapshot) cho hiệu suất tốt nhất nhưng có chi phí hệ thống cao (ví dụ: tăng thời gian 150s và 76.4GB bộ nhớ cho mô hình 30B). (2) Phương pháp PPO-EWMA được đề xuất cải thiện đáng kể so với các baseline (Decoupled PPO, Linear_prox) và đạt kết quả gần với Snapshot trên hầu hết các benchmark (ví dụ: trên Qwen3-4B, PPO-EWMA đạt avg@4 là 65.72 so với 66.23 của Snapshot ở tác vụ Retail). (3) Phân tích ngưỡng (threshold) cho thấy sự tương tác giữa discrepancy masking và PPO clipping. (4) Cơ chế tự động reset trong PPO-EWMA giúp ngăn chặn sự sụp đổ của Train-Infer Mask ở giai đoạn sau của quá trình huấn luyện.

IV. Conclusion & Future Works:​

Bài báo đã xác định và nghiên cứu vấn đề mất logit cũ trong Agentic RL không đồng bộ cho LLM, một vấn đề làm suy yếu hiệu chỉnh off-policy. Các tác giả đề xuất các giải pháp từ phục hồi chính xác đến xấp xỉ chi phí thấp. Kết quả cho thấy phục hồi chính xác cải thiện độ trung thực của việc hiệu chỉnh, trong khi PPO-EWMA là một giải pháp thay thế thực tế. Hạn chế của PPO-EWMA là nó chỉ là một tham chiếu xấp xỉ và có thể không đáng tin cậy trong điều kiện độ trễ thay đổi mạnh hoặc khoảng cách phiên bản quá lớn. Hướng nghiên cứu trong tương lai có thể tập trung vào việc cải thiện độ chính xác của các phương pháp xấp xỉ hoặc phát triển các chiến lược lai ghép giữa hai hướng tiếp cận.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các phương pháp xấp xỉ chính sách tham chiếu (reference policy) hiệu quả hơn cho PPO không đồng bộ, chẳng hạn như sử dụng các kỹ thuật học online (online learning) để cập nhật chính sách tham chiếu một cách thích ứng dựa trên độ trễ của rollout.
  2. Phát triển một framework lý thuyết để phân tích tác động của việc mất logit cũ lên sự hội tụ và độ ổn định của các thuật toán RL không đồng bộ, đặc biệt là trong các tác vụ có phần thưởng thưa (sparse reward).
  3. Mở rộng phương pháp PPO-EWMA cho các kiến trúc mô hình khác như mô hình ngôn ngữ thị giác (Vision-Language Models - VLMs) và đánh giá hiệu quả trên các tác vụ đa phương thức (multi-modal tasks).

2. Patent:​

  1. Phương pháp và hệ thống tối ưu hóa tác tử AI trên thiết bị di động bằng cách sử dụng bộ nhớ đệm tham chiếu thích ứng: Phát minh này mô tả một hệ thống trên điện thoại thông minh, nơi một tác tử AI (ví dụ: trợ lý ảo) được huấn luyện tăng cường. Để tránh lỗi do chính sách cũ bị mất, hệ thống sẽ lưu trữ một bản sao nhẹ (lightweight snapshot) của chính sách tại thời điểm sinh ra quỹ đạo tương tác với người dùng. Khi tác tử được cập nhật, nó sẽ sử dụng bản sao này để tính toán tỷ lệ hiệu chỉnh, đảm bảo quá trình học ổn định mà không cần lưu trữ toàn bộ lịch sử mô hình, tiết kiệm bộ nhớ và năng lượng.
  2. Hệ thống và phương pháp huấn luyện tác tử đàm thoại trên thiết bị di động bằng kỹ thuật xấp xỉ chính sách trung bình động: Phát minh này đề xuất một phương pháp huấn luyện cho trợ lý giọng nói trên điện thoại. Thay vì cố gắng khôi phục chính sách cũ đã mất, hệ thống duy trì một chính sách tham chiếu 'trung bình' được cập nhật dần dần. Chính sách tham chiếu này được dùng để hiệu chỉnh các quyết định của tác tử, giúp quá trình học diễn ra mượt mà và ổn định ngay cả khi có độ trễ trong việc thu thập phản hồi từ người dùng. Phương pháp này đặc biệt hữu ích cho các ứng dụng thời gian thực trên thiết bị di động.
  3. Thiết bị di động và phương pháp đồng bộ hóa quá trình học tăng cường không đồng bộ cho tác tử AI thông qua cơ chế ngắt quãng thông minh: Phát minh này mô tả một cơ chế trên điện thoại thông minh, nơi quá trình sinh dữ liệu tương tác (rollout) của tác tử AI có thể bị tạm dừng một cách thông minh. Khi phát hiện chính sách hiện tại sắp được cập nhật, hệ thống sẽ tạm dừng việc tạo ra các tương tác mới, tính toán logit cho các tương tác đang chờ xử lý bằng chính sách cũ, sau đó mới tiến hành cập nhật. Điều này đảm bảo tính chính xác của việc hiệu chỉnh off-policy mà không cần lưu trữ nhiều phiên bản mô hình, phù hợp với giới hạn tài nguyên của thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.12070
ArXiv Abstracthttps://arxiv.org/abs/2605.12070
PDF Downloadhttps://arxiv.org/pdf/2605.12070.pdf
Github Repositoryhttps://github.com/millioniron/ROLL

19. World Model for Robot Learning: A Comprehensive Survey (12 votes)​

Tác giả: Bohan Hou, Gen Li, Jindou Jia, Tuo An, Xinying Guo, Sicong Leng, Haoran Geng, Yanjie Ze, Tatsuya Harada, Philip Torr, Oier Mees, Marc Pollefeys, Zhuang Liu, Jiajun Wu, Pieter Abbeel, Jitendra Malik, Yilun Du, Jianfei Yang

Xuất bản lúc: 2026-04-30

Tag: World Models, Robot Learning, Vision-Language-Action (VLA), Video Generation, Model-Based Reinforcement Learning, Foundation Models, Imitation Learning, Autonomous Driving, Navigation

I. Main Problem:​

Các mô hình robot học tập hiện tại, đặc biệt là các mô hình Vision-Language-Action (VLA) phản ứng thuần túy, gặp khó khăn trong các môi trường vật lý phức tạp. Chúng thường xử lý kém các tác vụ có tầm nhìn xa, khó khăn trong việc gán tín hiệu phần thưởng theo thời gian và thiếu tính mạnh mẽ khi đối mặt với các lỗi tích lũy. Vấn đề cốt lõi là thiếu một cấu trúc dự đoán rõ ràng để hình dung thế giới sẽ tiến triển như thế nào dưới tác động của robot, dẫn đến việc ra quyết định kém hiệu quả và thiếu tính vật lý.

II. Main Idea:​

Bài báo này trình bày một khảo sát toàn diện về các mô hình thế giới (world models) từ góc độ học robot, tập trung vào cách các mô hình dự đoán này hỗ trợ việc học chính sách, lập kế hoạch, mô phỏng, đánh giá và tạo dữ liệu. Các tác giả phân loại các phương pháp dựa trên kiến trúc (ví dụ: kiểu IDM tách rời, backbone chia sẻ, MoE/MoT, VLA thống nhất, mô hình hóa không gian tiềm ẩn) và chức năng (chính sách, mô phỏng, tạo video). Quan điểm chính là mô hình thế giới, đặc biệt là các mô hình video có điều kiện hành động, đóng vai trò như một cầu nối dự đoán từ ý định ngữ nghĩa đến hành vi có thể thực thi vật lý, bằng cách cung cấp khả năng nhìn xa, lập kế hoạch dựa trên trí tưởng tượng và khuếch đại dữ liệu.

III. Main Results:​

Bài báo tổng hợp và so sánh nhiều công trình đại diện theo thời gian (từ 2023 đến 2026), cho thấy xu hướng từ các pipeline tách rời (dự đoán rồi hành động) đến các tích hợp chặt chẽ hơn (backbone chia sẻ, VLA thống nhất) và cuối cùng là nội hóa năng lực dự đoán trong không gian tiềm ẩn. Các xu hướng chính bao gồm: (1) Các mô hình thế giới ngày càng được tích hợp vào vòng lặp học tập và ra quyết định cốt lõi của robot; (2) Sự tiến hóa từ các pipeline video + IDM tách rời sang các thiết kế tích hợp chặt chẽ hơn; (3) Mở rộng vai trò của mô hình thế giới từ xác nhận hành động sang môi trường học tập cho RL và đồng tiến hóa với chính sách. Bài báo cũng thảo luận về các ứng dụng trong điều hướng và lái xe tự động, đồng thời tóm tắt các bộ dữ liệu, điểm chuẩn và giao thức đánh giá đại diện.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng các mô hình thế giới không còn chỉ là các công cụ dự đoán phụ trợ mà đang trở thành một phần không thể thiếu trong vòng lặp học tập và ra quyết định của hệ thống robot. Các hướng nghiên cứu trong tương lai bao gồm: phát triển các mô hình thế giới có khả năng kiểm soát và nhất quán hơn, cải thiện độ tin cậy trong các tác vụ dài hạn, tích hợp sâu hơn với các mô hình ngôn ngữ lớn và thị giác, và mở rộng sang các lĩnh vực tác nhân nhập thể khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mô hình Thế giới Tiềm ẩn cho Học Tăng cường trong Robot: Nghiên cứu các kiến trúc mô hình thế giới mới chỉ hoạt động trong không gian tiềm ẩn (latent space) để dự đoán trạng thái tương lai, giảm chi phí tính toán so với mô hình video ở pixel. Hướng này tập trung vào việc tạo ra các biểu diễn nhúng (embeddings) giàu thông tin cho phép lập kế hoạch và học chính sách hiệu quả trong các tác vụ phức tạp, đặc biệt là khi dữ liệu tương tác còn hạn chế.
  2. Tích hợp Mô hình Thế giới với Mô hình Ngôn ngữ Lớn cho Robot Đa Nhiệm: Khám phá cách kết hợp khả năng suy luận ngữ nghĩa của các mô hình ngôn ngữ lớn (LLMs) với khả năng dự đoán vật lý của mô hình thế giới. Mục tiêu là tạo ra các robot có thể hiểu và thực thi các lệnh phức tạp bằng cách sử dụng mô hình thế giới để mô phỏng và đánh giá các kế hoạch hành động trước khi thực thi, tăng cường tính an toàn và độ tin cậy.
  3. Mô hình Thế giới cho Lập kế hoạch Chuyển động Nhận thức Tác động (Affordance-Aware): Phát triển các mô hình thế giới không chỉ dự đoán trạng thái tương lai mà còn hiểu được các khả năng tương tác (affordances) của môi trường và đối tượng. Hướng này tập trung vào việc học các biểu diễn cấu trúc (ví dụ: quan hệ đối tượng, ràng buộc vật lý) để hỗ trợ lập kế hoạch chuyển động tinh vi và thích ứng, đặc biệt là trong các tác vụ thao tác phức tạp.

2. Patent:​

  1. Hệ thống Hỗ trợ Điều khiển Robot Bằng Cử chỉ trên Điện thoại Thông minh: Một ứng dụng điện thoại cho phép người dùng vẽ hoặc hướng dẫn robot bằng cử chỉ trên màn hình cảm ứng. Ứng dụng sử dụng mô hình thế giới nhẹ chạy trên điện thoại để dự đoán kết quả của các cử chỉ đó và hiển thị hình ảnh mô phỏng trực quan cho người dùng trước khi gửi lệnh điều khiển thực tế đến robot, giúp người dùng kiểm tra và điều chỉnh kế hoạch một cách an toàn.
  2. Phương pháp Tạo Dữ liệu Huấn luyện Robot cho Các Nhiệm vụ Gia đình bằng Hình ảnh Mô phỏng trên Điện thoại: Một ứng dụng cho phép người dùng quay video một cảnh trong nhà và gán nhãn nhiệm vụ mong muốn (ví dụ: 'lấy cốc nước'). Ứng dụng sử dụng mô hình thế giới trên đám mây để tạo ra các video mô phỏng chi tiết về cách robot có thể thực hiện nhiệm vụ đó trong cùng một cảnh. Các video mô phỏng này sau đó được sử dụng để huấn luyện robot thực tế, giúp giảm chi phí và thời gian thu thập dữ liệu huấn luyện.
  3. Hệ thống Cảnh báo và Dự đoán Tai nạn cho Xe Tự hành Dựa trên Mô hình Thế giới trên Thiết bị Di động: Một ứng dụng trên điện thoại thông minh kết nối với xe tự hành, sử dụng mô hình thế giới nhẹ để dự đoán các tình huống nguy hiểm tiềm tàng trong vài giây tới dựa trên camera và cảm biến của xe. Ứng dụng hiển thị cảnh báo trực quan và âm thanh cho người dùng (hành khách hoặc người giám sát từ xa) về các rủi ro như va chạm sắp xảy ra, giúp họ có thời gian can thiệp hoặc chuẩn bị tâm lý.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.00080
ArXiv Abstracthttps://arxiv.org/abs/2605.00080
PDF Downloadhttps://arxiv.org/pdf/2605.00080.pdf
Github Repositoryhttps://github.com/NTUMARS/Awesome-World-Model-for-Robotics-Policy

20. SeePhys Pro: Diagnosing Modality Transfer and Blind-Training Effects in Multimodal RLVR for Physics Reasoning (11 votes)​

Tác giả: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhen, Dandan Tu, Yinya Huang, Xiaodan Liang

Xuất bản lúc: 2026-05-10

Tag: Multimodal LLMs, Physics Reasoning, Modality Transfer, Reinforcement Learning with Verifiable Rewards, Benchmarking, Visual Grounding, Blind Training

I. Main Problem:​

Các mô hình đa phương thức (MLLMs) hiện tại thiếu tính ổn định khi cùng một thông tin vật lý được biểu diễn dưới các dạng thức khác nhau (văn bản so với hình ảnh). Các benchmark thông thường chỉ đánh giá trên một dạng đầu vào duy nhất, không thể phát hiện sự suy giảm hiệu suất khi thông tin chuyển từ ngôn ngữ sang hình ảnh. Ngoài ra, việc huấn luyện tăng cường (RL) trên dữ liệu đa phương thức có thể cải thiện độ chính xác mà không thực sự dựa trên bằng chứng hình ảnh hợp lệ, dẫn đến những hiểu lầm về khả năng suy luận trực quan thực sự của mô hình.

II. Main Idea:​

Bài báo giới thiệu SeePhys Pro, một benchmark chuyển đổi phương thức (modality transfer) chi tiết, trong đó mỗi bài toán vật lý được xây dựng thành bốn biến thể với mức độ trực quan tăng dần: (L1) chỉ văn bản, (L2) cấu trúc trong hình ảnh, (L3) cấu trúc + biến số trong hình ảnh, và (L4) toàn bộ bài toán dưới dạng hình ảnh. Điều này cho phép phân tích sự suy giảm hiệu suất thành các yếu tố cụ thể như nhận dạng cấu trúc, gán biến số (variable grounding) và hiểu toàn bộ hình ảnh. Để nghiên cứu hành vi trong quá trình huấn luyện, bài báo xây dựng các bộ dữ liệu RLVR (PhysRL-38K, PhysRL-8K) và sử dụng phương pháp blind training (che hết hình ảnh huấn luyện) như một biện pháp kiểm soát chẩn đoán. Kết quả cho thấy RL với hình ảnh bị che vẫn có thể cải thiện hiệu suất trên các bộ validation không bị che, chứng tỏ sự cải thiện này đến từ các tín hiệu văn bản và thống kê dư thừa chứ không phải từ bằng chứng hình ảnh.

III. Main Results:​

Trên benchmark SeePhys Pro với 15 mô hình MLLM, độ chính xác trung bình giảm từ 49.2% (L1) xuống 35.8% (L4), với khoảng cách chuyển đổi trung bình là 13.4 điểm. Gán biến số từ hình ảnh (variable grounding) là nút thắt lớn nhất, gây ra mức suy giảm trung bình 7.4 điểm. Các mô hình mạnh như GPT-5.4 và Claude-4.7-Opus cũng bị ảnh hưởng nặng. Đáng chú ý, blind training trên Qwen3-VL-4B cải thiện độ chính xác L4 từ 6.4% lên 13.0% (cao hơn cả RL thông thường là 10.8%), nhưng không thu hẹp khoảng cách chuyển đổi phương thức (gap), thậm chí còn làm nó rộng hơn. Các thí nghiệm kiểm soát cho thấy lợi ích từ blind training chủ yếu đến từ ngôn ngữ dư thừa và các quy luật thống kê trong tập dữ liệu.

IV. Conclusion & Future Works:​

Kết quả nhấn mạnh sự cần thiết phải đánh giá suy luận đa phương thức không chỉ bằng độ chính xác tuyệt đối mà còn bằng độ ổn định khi chuyển đổi phương thức và các chẩn đoán kiểm tra xem sự cải thiện có dựa trên bằng chứng hình ảnh quan trọng hay không. Hướng nghiên cứu trong tương lai bao gồm phát triển các cặp văn bản-hình ảnh phản thực tế (counterfactual), sử dụng hình ảnh đen làm bài toán không thể giải, và áp dụng phần thưởng ở mức quy trình (process-level rewards) để khắc phục các hạn chế này.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển một phương pháp RL mới với phần thưởng ở mức quy trình (process reward model) cho suy luận đa phương thức, nhằm đảm bảo mô hình thực sự sử dụng thông tin hình ảnh thay vì các lối tắt văn bản.
  2. Nghiên cứu các kỹ thuật 'phản thực tế' (counterfactual) để tạo ra dữ liệu huấn luyện, nơi thông tin trong văn bản và hình ảnh mâu thuẫn với nhau, buộc mô hình phải dựa vào hình ảnh để đưa ra câu trả lời đúng.
  3. Xây dựng một benchmark mới tập trung vào việc gán biến số (variable grounding) trong các lĩnh vực khác ngoài vật lý, như hóa học hoặc sinh học, để đánh giá tính tổng quát của vấn đề.

2. Patent:​

  1. Phương pháp kiểm tra khả năng suy luận trực quan của trợ lý ảo trên điện thoại: Một hệ thống trên điện thoại thông minh có thể tự động tạo ra các bài kiểm tra bằng cách chuyển đổi thông tin từ văn bản sang hình ảnh (ví dụ: từ mô tả mạch điện bằng chữ sang sơ đồ mạch). Hệ thống sẽ đánh giá xem trợ lý ảo có đưa ra câu trả lời nhất quán hay không, từ đó chẩn đoán điểm yếu trong khả năng hiểu hình ảnh của nó.
  2. Ứng dụng chụp ảnh giải bài tập vật lý thông minh: Một ứng dụng trên điện thoại cho phép học sinh chụp ảnh bài tập vật lý có chứa sơ đồ và biến số. Ứng dụng sẽ không chỉ đưa ra đáp án mà còn giải thích từng bước, đồng thời cảnh báo nếu hệ thống AI gặp khó khăn trong việc đọc các biến số từ hình vẽ, giúp học sinh hiểu được hạn chế của công nghệ.
  3. Hệ thống huấn luyện AI cho điện thoại bằng cách che dấu thông tin: Một phương pháp huấn luyện các mô hình AI trên điện thoại, trong đó một phần dữ liệu hình ảnh bị làm mờ hoặc che đi trong quá trình học. Phương pháp này giúp xác định xem mô hình có thực sự học cách 'nhìn' hay chỉ đang dựa vào các gợi ý văn bản, từ đó cải thiện khả năng suy luận trực quan một cách hiệu quả hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.09266
ArXiv Abstracthttps://arxiv.org/abs/2605.09266
PDF Downloadhttps://arxiv.org/pdf/2605.09266.pdf
Github Repositoryhttps://github.com/AI4Phys/SeePhy-Pro

21. From Web to Pixels: Bringing Agentic Search into Visual Perception (10 votes)​

Tác giả: Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue

Xuất bản lúc: 2026-05-12

Tag: Agentic Search, Visual Perception, Grounding, Segmentation, VQA, Multimodal LLMs, Benchmark, Web Search

I. Main Problem:​

Các mô hình nhận thức thị giác hiện tại thường giả định rằng bằng chứng quyết định để xác định một đối tượng đã có sẵn trong ảnh hoặc nằm trong kiến thức nội tại của mô hình. Tuy nhiên, trong thế giới thực, đối tượng có thể hiện hữu trong ảnh, nhưng bằng chứng để nhận dạng nó lại nằm bên ngoài ảnh và vượt quá kiến thức có sẵn của mô hình (ví dụ: các sự kiện gần đây, thực thể ít phổ biến, quan hệ đa bước). Bài toán này, được gọi là 'Perception Deep Research', đòi hỏi mô hình phải chủ động tìm kiếm bằng chứng bên ngoài, giải quyết danh tính ẩn của mục tiêu và gắn kết nó với một thể hiện trực quan cụ thể, một nhiệm vụ mà các phương pháp hiện tại chưa giải quyết triệt để.

II. Main Idea:​

Bài báo giới thiệu khái niệm 'Perception Deep Research' và xây dựng một benchmark mới có tên WebEyes để đo lường nhiệm vụ này. WebEyes bao gồm các ảnh, truy vấn đòi hỏi kiến thức chuyên sâu, bằng chứng có thể kiểm chứng và các chú thích không gian (box, mask). Bài báo cũng đề xuất Pixel-Searcher, một quy trình làm việc dạng agentic (tác tử) gồm hai pha: (1) Tìm kiếm và Giải quyết mục tiêu (Agentic Search & Target Resolution): sử dụng vòng lặp tìm kiếm-suy luận thích ứng để phân rã truy vấn, thu thập bằng chứng web và tổng hợp giả thuyết về danh tính mục tiêu (tên thực thể, danh mục, các dấu hiệu có thể kiểm tra trong ảnh). (2) Gắn kết và Sử dụng công cụ (Agentic Grounding & Tool Use): sử dụng giả thuyết này để hướng dẫn việc gắn kết với vùng ảnh, tạo ra box, mask hoặc câu trả lời (VQA). Pixel-Searcher biến nhiệm vụ nhận thức thị giác thành một quá trình tìm kiếm và lập luận chủ động.

III. Main Results:​

Pixel-Searcher đạt hiệu suất mạnh nhất trong số các phương pháp mã nguồn mở trên cả ba tác vụ của WebEyes: Search-based Grounding (IoU 34.17, R@0.5 41.30), Search-based Segmentation (gIoU 39.17, cIoU 32.41) và Search-based VQA (độ chính xác 42.24%), cải thiện đáng kể so với baseline Qwen3-VL-8B. Phân tích thất bại cho thấy nút thắt chính nằm ở các giai đoạn thu thập bằng chứng, giải quyết danh tính và gắn kết thể hiện trực quan, chứ không phải ở khâu tinh chỉnh mask cuối cùng.

IV. Conclusion & Future Works:​

Bài báo đã xác lập 'Perception Deep Research' như một hướng nghiên cứu mới, nơi bằng chứng từ web phải được chuyển đổi thành các dự đoán ở cấp độ hộp và pixel. WebEyes cung cấp cơ sở hạ tầng benchmark cho hướng đi này, và Pixel-Searcher đưa ra một quy trình làm việc khởi đầu đơn giản để nghiên cứu cách tìm kiếm tác tử có thể xác định đúng thực thể và gắn kết nó với đúng thể hiện trực quan. Các hướng phát triển trong tương lai bao gồm cải thiện khả năng lập kế hoạch tìm kiếm, độ chính xác của việc giải quyết thực thể và khả năng xác minh thể hiện trực quan, vốn là những nút thắt chính hiện tại.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cải thiện khả năng lập kế hoạch tìm kiếm đa bước (Multi-hop Search Planning): Nghiên cứu các chiến lược lập kế hoạch tìm kiếm thông minh hơn, có khả năng tự động phân rã các truy vấn phức tạp thành các truy vấn con và quyết định thời điểm dừng tìm kiếm dựa trên độ chắc chắn của thông tin thu thập được, thay vì giới hạn số vòng lặp cố định.
  2. Giải quyết thực thể mơ hồ (Entity Disambiguation): Phát triển các kỹ thuật để giải quyết các thực thể mơ hồ khi có nhiều đối tượng có ngoại hình tương tự trong ảnh. Hướng này có thể kết hợp thông tin ngữ cảnh từ ảnh, kiến thức nền và bằng chứng web để phân biệt chính xác thực thể nào đang được đề cập đến.
  3. Xác minh thể hiện trực quan (Visual Instance Verification): Tập trung vào việc cải thiện khả năng của mô hình trong việc xác minh rằng một thực thể đã được giải quyết có thực sự tương ứng với một vùng ảnh cụ thể hay không. Hướng này có thể sử dụng các kỹ thuật đối chiếu chi tiết hơn giữa các dấu hiệu trích xuất từ bằng chứng web và các đặc điểm trực quan của đối tượng trong ảnh.

2. Patent:​

  1. Phương pháp và hệ thống tìm kiếm và nhận dạng đối tượng trong ảnh dựa trên truy vấn kiến thức cho điện thoại thông minh: Khi người dùng chụp ảnh một vật thể lạ và hỏi 'Đây là gì?', hệ thống sẽ tự động phân tích truy vấn, tìm kiếm thông tin trên web về các sự kiện hoặc đặc điểm liên quan, sau đó gắn kết thông tin đó với đối tượng trong ảnh để đưa ra câu trả lời chính xác, ví dụ: xác định một phiên bản giới hạn của giày thể thao dựa trên thông tin về ngày phát hành và sự kiện đặc biệt.
  2. Ứng dụng trợ lý ảo mua sắm thông minh trên thiết bị di động: Người dùng chụp ảnh một món đồ và hỏi 'Tìm cho tôi chiếc váy mà người mẫu A mặc trong sự kiện B'. Hệ thống sẽ tìm kiếm thông tin về sự kiện, người mẫu và bộ trang phục trên web, sau đó xác định chính xác chiếc váy trong ảnh người dùng chụp (có thể là ảnh chụp màn hình hoặc ảnh chụp từ tạp chí) và cung cấp các liên kết mua hàng.
  3. Phương pháp chú thích ảnh tự động dựa trên kiến thức web cho thư viện ảnh trên điện thoại: Khi người dùng chụp ảnh tại một địa điểm hoặc sự kiện, hệ thống sẽ tự động tạo chú thích chi tiết cho ảnh. Ví dụ, thay vì chỉ ghi 'một chiếc xe hơi', hệ thống có thể tra cứu thông tin để xác định đó là 'chiếc xe điện Tesla Model Y đời 2024' dựa trên các đặc điểm thiết kế và các bài đánh giá gần đây, hoặc xác định một nhân vật hoạt hình trong ảnh là ai dựa trên các sự kiện phát hành phim mới.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.12497
ArXiv Abstracthttps://arxiv.org/abs/2605.12497
PDF Downloadhttps://arxiv.org/pdf/2605.12497.pdf
Github RepositoryN/A

22. Covering Human Action Space for Computer Use: Data Synthesis and Benchmark (10 votes)​

Tác giả: Miaosen Zhang, Xiaohan Zhao, Zhihong Tan, Zhou Huoshen, Yijia Fan, Yifan Yang, Kai Qiu, Bei Liu, Justin Wagle, Chenzhong Yin, Mingxi Cheng, Ji Li, Qi Dai, Chong Luo, Xu Yang, Xin Geng, Baining Guo

Xuất bản lúc: 2026-05-12

Tag: Computer-Using Agent, GUI Grounding, Data Synthesis, Benchmark, Vision-Language Model

I. Main Problem:​

Các tác nhân sử dụng máy tính (CUA) hiện tại gặp khó khăn với các thao tác phức tạp, tần suất thấp (như kéo thả, vẽ tự do) trên giao diện đồ họa (GUI). Các nghiên cứu trước đây chủ yếu tập trung vào các thao tác nhấp chuột đơn giản trên các widget GUI, dẫn đến sự thiếu hụt dữ liệu và điểm chuẩn (benchmark) cho các tương tác phức tạp hơn, gây ra tỷ lệ lỗi cao trong các tác vụ thực tế.

II. Main Idea:​

Bài báo đề xuất một benchmark mới có tên CUActSpot để đánh giá khả năng của mô hình trên 5 phương thức tương tác: GUI, văn bản, bảng biểu, khung vẽ và ảnh tự nhiên, với các thao tác đa dạng như nhấp, kéo và vẽ. Đồng thời, tác giả xây dựng một pipeline tổng hợp dữ liệu dựa trên renderer (code-based rendering) để tự động tạo ra các screenshot, tọa độ phần tử và sử dụng LLM để sinh ra các hướng dẫn và dấu vết hành động phù hợp, nhằm tạo ra 50 triệu mẫu dữ liệu huấn luyện.

III. Main Results:​

Mô hình Phi-Ground-Any-4B được huấn luyện trên dữ liệu tổng hợp đạt hiệu suất vượt trội so với các mô hình mã nguồn mở dưới 32B tham số trên CUActSpot. Các thí nghiệm cho thấy việc tăng tính đa dạng của tác vụ và phương thức (variety scaling) quan trọng hơn việc chỉ tăng lượng dữ liệu đơn lẻ. Mô hình cũng thể hiện khả năng tổng quát hóa chéo tác vụ, giải quyết được nhiều tác vụ chi tiết hơn so với tập huấn luyện.

IV. Conclusion & Future Works:​

Nghiên cứu này giải quyết thách thức 'đuôi dài' (long-tail) trong GUI grounding bằng cách mở rộng đánh giá và dữ liệu huấn luyện cho các tương tác phức tạp. Hướng phát triển trong tương lai bao gồm: mở rộng benchmark để bao phủ các kịch bản dài hạn và có trạng thái, cũng như cải thiện sự phù hợp của dữ liệu tổng hợp với phân phối dữ liệu thực tế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về 'Variety Scaling' cho các tác vụ đa phương thức trên điện thoại di động: Mở rộng pipeline tổng hợp dữ liệu để bao gồm các thao tác cảm ứng đa dạng (chạm, vuốt, chụm) và đánh giá hiệu quả của việc tăng đa dạng tác vụ trên các thiết bị di động.
  2. Xây dựng benchmark đánh giá khả năng tương tác với giao diện người dùng trên điện thoại thông minh, tập trung vào các thao tác phức tạp như kéo thả biểu tượng, vẽ trên màn hình cảm ứng, và thao tác với các ứng dụng đa phương tiện.
  3. Phát triển mô hình CUA nhẹ (lightweight) có thể chạy trực tiếp trên thiết bị di động, sử dụng kỹ thuật tổng hợp dữ liệu đa phương thức và kỹ thuật nén mô hình để giảm kích thước và tăng tốc độ suy luận.

2. Patent:​

  1. Phương pháp và hệ thống tự động hóa thao tác trên màn hình điện thoại thông minh: Hệ thống sử dụng mô hình thị giác-ngôn ngữ để nhận diện các thành phần giao diện (nút bấm, thanh trượt, vùng văn bản) và thực hiện các thao tác phức tạp như kéo thả, vẽ hoặc chọn vùng dựa trên hướng dẫn bằng ngôn ngữ tự nhiên.
  2. Phương pháp tổng hợp dữ liệu huấn luyện cho tác vụ tương tác màn hình cảm ứng: Pipeline tự động tạo ra các kịch bản tương tác trên màn hình điện thoại (ví dụ: vuốt để mở khóa, kéo thả tập tin, vẽ chữ ký) bằng cách kết hợp renderer và mô hình ngôn ngữ lớn để sinh ra dữ liệu huấn luyện đa dạng.
  3. Ứng dụng hỗ trợ người dùng điện thoại thực hiện các thao tác phức tạp: Hệ thống gợi ý và tự động hóa các bước thao tác (ví dụ: chỉnh sửa ảnh, tạo bảng tính) dựa trên phân tích màn hình và hướng dẫn bằng giọng nói hoặc văn bản, giúp người dùng tiết kiệm thời gian và công sức.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.12501
ArXiv Abstracthttps://arxiv.org/abs/2605.12501
PDF Downloadhttps://arxiv.org/pdf/2605.12501.pdf
Github Repositoryhttps://github.com/microsoft/Phi-Ground

23. Continual Harness: Online Adaptation for Self-Improving Foundation Agents (10 votes)​

Tác giả: Seth Karten, Joel Zhang, Tersoo Upaa Jr, Ruirong Feng, Wenzhe Li, Chengshuai Shi, Chi Jin, Kiran Vodrahalli

Xuất bản lúc: 2026-05-11

Tag: Embodied Agents, Continual Learning, Online Adaptation, Foundation Models, Reinforcement Learning, LLM Agents, Self-Improvement

I. Main Problem:​

Các hệ thống đóng khung (harness) cho tác tử mã hóa đã rất phát triển, nhưng không có hệ thống tương đương nào cho các tác tử nhập vai (embodied agents) trong các môi trường có tầm nhìn dài hạn và quan sát một phần. Các mô hình nền tảng (foundation models) tiên tiến gần như không thể tiến triển trong các trò chơi nhập vai (RPG) mà không có sự hỗ trợ miền đặc thù (domain-specific scaffolding) do con người thiết kế. Việc tinh chỉnh harness thủ công với sự tham gia của con người là không khả thi ở quy mô lớn.

II. Main Idea:​

Bài báo giới thiệu Continual Harness, một khung làm việc không cần reset (reset-free) giúp tự động hóa việc tinh chỉnh harness cho các tác tử nhập vai. Khung này cho phép tác tử luân phiên giữa việc hành động trong môi trường và tự động tinh chỉnh prompt, tác tử con (sub-agents), kỹ năng (skills) và bộ nhớ (memory) của chính nó ngay trong một lần chạy duy nhất (online in-context learning). Mỗi F bước, một Bộ tinh chỉnh (Refiner) đọc quỹ đạo gần đây và thực hiện các thao tác CRUD lên bốn thành phần của harness. Quy trình này sau đó được mở rộng thành một vòng lặp đồng học (co-learning loop) giữa mô hình và harness, nơi các quỹ đạo của một mô hình nguồn mở được gắn nhãn lại bởi một mô hình giáo viên mạnh hơn để cập nhật trọng số của mô hình học sinh.

III. Main Results:​

Continual Harness đã giúp tác tử AI (Gemini Plays Pokémon) lần đầu tiên hoàn thành các trò chơi Pokémon Blue, Yellow Legacy (chế độ khó) và Crystal mà không thua trận nào. Trên các trò chơi Pokémon Red và Emerald, Continual Harness, khi bắt đầu từ một harness tối thiểu, đã giảm đáng kể chi phí (số lần nhấn nút) để đạt được các cột mốc so với baseline tối thiểu và thu hẹp phần lớn khoảng cách hiệu quả so với một harness chuyên gia được thiết kế thủ công. Vòng lặp đồng học (co-learning) đã thúc đẩy sự tiến bộ bền vững về cột mốc trong game cho một mô hình nguồn mở (Gemma-4) trên Pokémon Red mà không cần reset môi trường.

IV. Conclusion & Future Works:​

Continual Harness chứng minh rằng một tác tử có thể tự xây dựng và tinh chỉnh hệ thống hỗ trợ của chính mình từ một giao diện môi trường tối thiểu, không cần reset, và đạt được hiệu quả gần bằng harness chuyên gia. Tuy nhiên, tồn tại một ngưỡng năng lực mô hình tối thiểu để vòng lặp tinh chỉnh có thể hoạt động (ví dụ: Flash-Lite không đủ mạnh). Vòng lặp đồng học chưa đạt đến điểm hội tụ. Các hướng nghiên cứu trong tương lai bao gồm so sánh trực tiếp giữa chế độ huấn luyện không reset và có reset, cũng như việc sử dụng cùng một mô hình cho cả vai trò giáo viên và học sinh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Continual Harness cho các tác tử đa phương tiện (Multimodal Agents): Nghiên cứu cách áp dụng cơ chế tự tinh chỉnh harness không cần reset cho các tác tử làm việc với nhiều loại dữ liệu đầu vào khác nhau (hình ảnh, âm thanh, văn bản) trong các môi trường phức tạp như điều khiển robot trong nhà hoặc hỗ trợ người dùng trên thiết bị di động.
  2. Phân tích chiều sâu về 'Kỹ năng' (Skill) trong Continual Harness: Tập trung vào việc phân tích chi tiết cách các kỹ năng (skills) được tạo ra, sửa đổi và kết hợp với nhau trong quá trình tự tinh chỉnh. Mục tiêu là tìm ra các mẫu hình (patterns) tối ưu và xây dựng các phương pháp tổng quát hóa việc hình thành kỹ năng cho các tác tử.
  3. Giảm thiểu chi phí tính toán cho vòng lặp đồng học (Co-learning): Đề xuất các kiến trúc và thuật toán mới để giảm chi phí tính toán và số lượng tương tác với môi trường trong vòng lặp đồng học giữa mô hình và harness, giúp quá trình này khả thi hơn trên các thiết bị có tài nguyên hạn chế.

2. Patent:​

  1. Phương pháp và hệ thống tự động tối ưu hóa ứng dụng trên thiết bị di động dựa trên hành vi người dùng: Hệ thống này sử dụng một tác tử AI trên điện thoại để quan sát cách người dùng tương tác với các ứng dụng (ví dụ: hay bị mắc kẹt ở màn hình nào, thao tác nào chậm). Tác tử sẽ tự động tạo ra các 'kỹ năng' (ví dụ: tạo lối tắt, tự động điền thông tin, gợi ý bước tiếp theo) và tinh chỉnh 'bộ nhớ' (hiểu thói quen của người dùng) để giúp trải nghiệm sử dụng điện thoại nhanh chóng và thông minh hơn, mà không cần người dùng phải cài đặt thủ công.
  2. Hệ thống trợ lý ảo trên điện thoại có khả năng tự học và mở rộng kỹ năng trong quá trình trò chuyện: Trợ lý ảo này có khả năng tự động tạo ra các 'tác tử con' chuyên biệt (ví dụ: tác tử đặt lịch hẹn, tác tử tra cứu thông tin thời tiết) và 'kỹ năng' mới dựa trên các yêu cầu phức tạp của người dùng. Ví dụ, nếu người dùng yêu cầu 'lên kế hoạch cho một bữa tiệc sinh nhật', trợ lý có thể tự động tạo ra một tác tử con để tìm địa điểm, một tác tử khác để quản lý danh sách khách mời, và học cách phối hợp chúng lại với nhau mà không cần lập trình trước.
  3. Phương pháp huấn luyện mô hình AI trên điện thoại thông minh mà không cần reset dữ liệu người dùng: Phương pháp này cho phép một mô hình AI nhỏ trên điện thoại tự cải thiện hiệu suất của nó (ví dụ: nhận dạng giọng nói, dự đoán chữ tiếp theo) dựa trên dữ liệu tương tác thực tế của người dùng. Quá trình huấn luyện diễn ra liên tục và không bị gián đoạn (reset-free), giúp mô hình ngày càng thích nghi tốt hơn với giọng nói, thói quen gõ phím và sở thích cá nhân của người dùng mà không ảnh hưởng đến trải nghiệm sử dụng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.09998
ArXiv Abstracthttps://arxiv.org/abs/2605.09998
PDF Downloadhttps://arxiv.org/pdf/2605.09998.pdf
Github Repositoryhttps://github.com/sethkarten/continual-harness