Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-04-07

Báo cáo được tạo tự động vào lúc 2026-04-08 10:08:45 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. OpenWorldLib: A Unified Codebase and Definition of Advanced World Models (151 votes)​

Tác giả: DataFlow Team, Bohan Zeng, Daili Hua, Kaixin Zhu, Yifan Dai, Bozhou Li, Yuran Wang, Chengzhuo Tong, Yifan Yang, Mingkun Chang, Jianbin Zhao, Zhou Liu, Hao Liang, Xiaochen Ma, Ruichuan An, Junbo Niu, Zimo Meng, Tianyi Bai, Meiyi Qiang, Huanyao Zhang, Zhiyou Xiao, Tianyu Guo, Qinhan Yu, Runhao Zhao, Zhengpin Li, Xinyi Huang, Yisheng Pan, Yiwen Tang, Yang Shi, Yue Ding, Xinlong Chen, Hongcheng Gao, Minglei Shi, Jialong Wu, Zekun Wang, Yuanxing Zhang, Xintao Wang, Pengfei Wan, Yiren Song, Mike Zheng Shou, Wentao Zhang

Xuất bản lúc: 2026-04-06

Tag: World Models, LLMs, Agents, Multimodal, Vision-Language-Action, 3D Generation, Diffusion Models, Framework

I. Main Problem:​

Các mô hình thế giới (World Models) đang thu hút sự chú ý đáng kể, đặc biệt là để chuyển đổi các LLM và Agents từ môi trường ảo sang ứng dụng thế giới thực. Tuy nhiên, lĩnh vực này vẫn thiếu một định nghĩa rõ ràng và thống nhất, dẫn đến sự đa dạng trong phạm vi và gây khó khăn trong việc xác định chính xác những nhiệm vụ nào thuộc về nghiên cứu World Model.

II. Main Idea:​

Bài báo đề xuất một định nghĩa chuẩn hóa cho World Model: một mô hình hoặc framework tập trung vào nhận thức, được trang bị khả năng tương tác và bộ nhớ dài hạn, để hiểu và dự đoán thế giới phức tạp. Dựa trên định nghĩa này, nhóm tác giả giới thiệu OpenWorldLib, một framework suy luận toàn diện và tiêu chuẩn hóa cho các Advanced World Models. OpenWorldLib tích hợp các mô hình trên nhiều nhiệm vụ khác nhau (như tạo video tương tác, tạo 3D, suy luận đa phương thức và Vision-Language-Action) vào một framework thống nhất, cho phép tái sử dụng hiệu quả và suy luận cộng tác. Framework này bao gồm các module Operator, Synthesis, Reasoning, Representation và Memory để xử lý các tín hiệu môi trường phức tạp, tạo ra đầu ra đa phương thức, thực hiện suy luận có cấu trúc và duy trì bộ nhớ dài hạn.

III. Main Results:​

Bài báo đã đưa ra một định nghĩa chuẩn hóa cho World Model, làm rõ những nhiệm vụ nào nên được coi là một phần của khả năng World Model. Đồng thời, nó giới thiệu OpenWorldLib, một framework suy luận World Model thống nhất, giúp cấu trúc và tiêu chuẩn hóa nghiên cứu trong lĩnh vực này. Framework đã được thiết kế để hỗ trợ các nhiệm vụ như tạo video tương tác, suy luận đa phương thức, tạo 3D và Vision-Language-Action (VLA), cho phép tích hợp và suy luận hiệu quả giữa các mô hình khác nhau. Mặc dù bài báo mô tả các loại nhiệm vụ được đánh giá, nhưng không có kết quả định lượng cụ thể hoặc số liệu hiệu suất được cung cấp trong phần văn bản được trích xuất.

IV. Conclusion & Future Works:​

Bài báo kết luận bằng việc cung cấp một định nghĩa chuẩn hóa cho World Model và giới thiệu OpenWorldLib như một framework suy luận thống nhất, nhằm thúc đẩy và tiêu chuẩn hóa nghiên cứu trong lĩnh vực này. Các tác giả cũng đưa ra những phân tích và thảo luận sâu hơn về các hướng phát triển tiềm năng trong tương lai của nghiên cứu World Model, nhấn mạnh tầm quan trọng của việc hiểu và tương tác với thế giới vật lý phức tạp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các kiến trúc bộ nhớ thích ứng cho World Models để duy trì ngữ cảnh dài hạn trong các tương tác phức tạp: Phát triển các cơ chế bộ nhớ mới cho World Models có khả năng thích nghi linh hoạt với các môi trường động và độ dài tương tác khác nhau, vượt qua giới hạn của bộ nhớ truyền thống.
  2. Tích hợp sâu các mô hình 3D vật lý với World Models để nâng cao khả năng hiểu và tuân thủ các quy tắc vật lý: Tập trung vào việc kết nối chặt chẽ World Models với các trình mô phỏng 3D vật lý tiên tiến, cho phép mô hình học hỏi và kiểm chứng sự hiểu biết về thế giới thực một cách có cấu trúc và chính xác hơn.
  3. Khám phá khả năng suy luận tiềm ẩn (latent reasoning) trong World Models đa phương thức để phân tích động lực thế giới thực: Nghiên cứu cách các World Models có thể sử dụng suy luận tiềm ẩn để xử lý thông tin phức tạp, đa chiều từ thế giới thực, thay vì chỉ dựa vào các phương pháp suy luận tường minh hoặc định hướng văn bản truyền thống.

2. Patent:​

  1. Hệ thống dự đoán hành vi người dùng thông minh dựa trên World Model cho điện thoại di động: Một ứng dụng di động sử dụng các cảm biến của điện thoại (camera, microphone, gia tốc kế) để "nhận thức" môi trường và hành vi của người dùng. Dựa trên dữ liệu này, hệ thống sẽ xây dựng một mô hình nội bộ về thói quen và ngữ cảnh, sau đó dự đoán hành động tiếp theo của người dùng (ví dụ: tự động mở ứng dụng phù hợp, điều chỉnh cài đặt, hoặc gợi ý thông tin liên quan) để mang lại trải nghiệm cá nhân hóa và tiện lợi hơn.
  2. Công nghệ tạo và tương tác môi trường 3D tức thì từ camera điện thoại: Một tính năng trên điện thoại cho phép người dùng quét nhanh một không gian thực bằng camera. Điện thoại sẽ sử dụng các kỹ thuật 3D generation và reconstruction để tạo ra một mô hình 3D chi tiết của không gian đó trong thời gian thực. Mô hình này có thể được sử dụng cho các ứng dụng thực tế tăng cường (AR), cho phép người dùng đặt vật thể ảo vào môi trường thực hoặc đo đạc kích thước, hữu ích cho thiết kế nội thất hoặc du lịch ảo.
  3. Trợ lý ảo đa phương thức có khả năng "hiểu" ngữ cảnh vật lý qua cảm biến điện thoại: Một trợ lý ảo tích hợp trên điện thoại thông minh, không chỉ phản hồi các lệnh thoại mà còn có thể phân tích hình ảnh và âm thanh từ camera và microphone. Nếu người dùng chỉ vào một vật thể và hỏi về nó, trợ lý sẽ không chỉ nhận diện mà còn suy luận về chức năng, tương tác tiềm năng và cung cấp thông tin liên quan dựa trên sự hiểu biết sâu sắc về thế giới vật lý, giúp người dùng tương tác tự nhiên hơn với môi trường xung quanh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.04707
ArXiv Abstracthttps://arxiv.org/abs/2604.04707
PDF Downloadhttps://arxiv.org/pdf/2604.04707.pdf
Github Repositoryhttps://github.com/OpenDCAI/OpenWorldLib

2. MinerU2.5-Pro: Pushing the Limits of Data-Centric Document Parsing at Scale (91 votes)​

Tác giả: Bin Wang, Tianyao He, Linke Ouyang, Fan Wu, Zhiyuan Zhao, Tao Chu, Yuan Qu, Zhenjiang Jin, Weijun Zeng, Ziyang Miao, Bangrui Xu, Junbo Niu, Mengzhang Cai, Jiantao Qiu, Qintong Zhang, Dongsheng Ma, Yuefeng Sun, Hejun Dong, Wenzheng Zhang, Jutao Xiao, Jiayong Shi, Pengyu Liao, Xiaomeng Zhao, Huaping Zhong, Liqun Wei, Jing Yu, Jie Yang, Wei Li, Shasha Wang, Qianqian Wu, Xuanhe Zhou, Weijia Li, Zhenxiang Li, Zhongying Tu, Jiang Wu, Lijun Wu, Chao Xu, Kai Chen, Wentao Zhang, Yu Qiao, Bowen Zhou, Dahua Lin, Conghui He

Xuất bản lúc: 2026-04-06

Tag: Document Parsing, Data-Centric AI, Vision-Language Models, Data Engineering, OCR, LLMs, RAG, Deep Learning, Machine Learning

I. Main Problem:​

Các phương pháp phân tích tài liệu hiện tại chủ yếu cạnh tranh về đổi mới kiến trúc mô hình, trong khi việc kỹ thuật hóa dữ liệu huấn luyện một cách có hệ thống vẫn chưa được khai thác đầy đủ. Các mô hình hiện đại (SOTA) với kiến trúc và quy mô tham số khác nhau đều cho thấy các lỗi tương tự trên cùng một tập hợp các mẫu khó, cho thấy điểm nghẽn hiệu suất bắt nguồn từ những thiếu sót chung trong dữ liệu huấn luyện chứ không phải do kiến trúc mô hình. Cụ thể, vấn đề dữ liệu thể hiện ở hai khía cạnh: thứ nhất là độ bao phủ không đủ (dưới 10 triệu trang, tập trung vào các danh mục tần suất cao, bỏ qua các trường hợp hiếm như bảng lồng ghép phức tạp hoặc bố cục công thức dày đặc); thứ hai là chất lượng chú thích kém, đặc biệt đối với các mẫu khó mà không mô hình chính thống nào có thể phân tích nhất quán. Ngoài ra, khung đánh giá hiện có (OmniDocBench v1.5) có ít mẫu khó và logic khớp phần tử của nó có xu hướng thiên vị các định dạng đầu ra cụ thể, gây khó khăn cho việc so sánh công bằng.

II. Main Idea:​

MinerU2.5-Pro cải thiện hiệu suất phân tích tài liệu bằng cách tập trung hoàn toàn vào kỹ thuật dữ liệu và tối ưu hóa chiến lược huấn luyện, giữ nguyên kiến trúc 1.2B tham số của MinerU2.5. Cốt lõi của nó là một Data Engine được thiết kế đồng thời để tối ưu hóa độ bao phủ, tính thông tin và độ chính xác của chú thích, bao gồm ba thành phần chính:

  1. Diversity-and-Difficulty-Aware Sampling (DDAS): Mở rộng dữ liệu huấn luyện từ dưới 10 triệu lên 65.5 triệu mẫu, đồng thời điều chỉnh sự dịch chuyển phân phối bằng cách lấy mẫu theo cấp độ trang và cấp độ phần tử, cân bằng sự đa dạng và độ khó.
  2. Cross-Model Consistency Verification (CMCV): Sử dụng sự đồng thuận đầu ra giữa các mô hình không đồng nhất (heterogeneous models) để đánh giá độ khó của mẫu và tạo chú thích đáng tin cậy, phân loại mẫu thành các cấp độ Easy, Medium, Hard.
  3. Judge-and-Refine pipeline: Cải thiện chất lượng chú thích cho các mẫu khó thông qua quy trình sửa lỗi lặp lại "render-then-verify" (kết xuất rồi xác minh), cùng với chú thích chuyên gia có mục tiêu cho các trường hợp cực kỳ phức tạp. Ngoài ra, một chiến lược huấn luyện ba giai đoạn được áp dụng—tiền huấn luyện quy mô lớn, tinh chỉnh mẫu khó chất lượng cao và căn chỉnh GRPO—để khai thác dữ liệu ở các cấp độ chất lượng khác nhau. Nhóm nghiên cứu cũng giới thiệu giao thức đánh giá OmniDocBench v1.6 đã được nâng cấp, sửa lỗi thiên vị khớp phần tử và bổ sung tập con Hard để đánh giá công bằng và phân biệt hơn.

III. Main Results:​

Không cần bất kỳ sửa đổi kiến trúc nào, MinerU2.5-Pro đạt 95.69 điểm trên OmniDocBench v1.6, cải thiện 2.71 điểm so với mô hình nền tảng cùng kiến trúc (MinerU2.5 đạt 92.98 điểm). Hiệu suất này vượt trội hơn tất cả các phương pháp hiện có, bao gồm cả các mô hình có số lượng tham số lớn hơn gấp 200 lần, như các mô hình phân tích tài liệu chuyên biệt (ví dụ: GLM-OCR, PaddleOCR-VL-1.5, Youtu-Parsing) và các mô hình VLM đa năng (ví dụ: Gemini 3 Pro, Qwen3-VL-235B). Điều này chứng minh rằng kỹ thuật dữ liệu và tối ưu hóa chiến lược huấn luyện có thể đẩy giới hạn hiệu suất mà không cần đổi mới kiến trúc.

IV. Conclusion & Future Works:​

Nghiên cứu kết luận rằng khi kiến trúc mô hình đã trưởng thành, kỹ thuật dữ liệu có hệ thống trở thành đòn bẩy chính để nâng cao hiệu suất phân tích tài liệu. MinerU2.5-Pro chứng minh điều này bằng cách đạt được hiệu suất vượt trội chỉ thông qua tối ưu hóa dữ liệu và chiến lược huấn luyện. Các đóng góp chính bao gồm một Data Engine mới (DDAS, CMCV, và Judge-and-Refine) và một chiến lược huấn luyện ba giai đoạn, cùng với giao thức đánh giá OmniDocBench v1.6 nâng cấp. Hướng phát triển trong tương lai có thể bao gồm việc kết hợp các kỹ thuật kỹ thuật dữ liệu tiên tiến với các kiến trúc mô hình mới, tiếp tục tinh chỉnh các thành phần của Data Engine để tự động hóa xử lý các mẫu khó hơn, hoặc áp dụng các phương pháp tập trung vào dữ liệu này cho các tác vụ Vision-Language khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tự động hóa hoàn toàn quy trình Judge-and-Refine cho dữ liệu khó: Nghiên cứu về việc phát triển các mô hình hoặc kỹ thuật phản hồi vòng lặp kín mạnh mẽ hơn để tự động xử lý các mẫu dữ liệu cực kỳ phức tạp, giảm thiểu hoặc loại bỏ sự can thiệp của con người trong quy trình tinh chỉnh chú thích.
  2. Tích hợp kỹ thuật dữ liệu với đổi mới kiến trúc Vision-Language Models: Khám phá cách các nguyên tắc kỹ thuật dữ liệu được đề xuất (DDAS, CMCV, Judge-and-Refine) có thể ảnh hưởng đến việc thiết kế hoặc được tích hợp vào các kiến trúc VLM mới để phân tích tài liệu, đặc biệt là các kiến trúc được tối ưu hóa cho các loại dữ liệu khó hoặc long-tail.
  3. Mở rộng Data Engine cho các tác vụ Vision-Language đa dạng: Khái quát hóa và áp dụng các nguyên tắc cốt lõi của Data Engine (tối ưu hóa độ bao phủ, tính thông tin, độ chính xác chú thích thông qua lấy mẫu thông minh, xác minh đa mô hình và tinh chỉnh lặp lại) cho các tác vụ VLM khác ngoài phân tích tài liệu, ví dụ như chú thích hình ảnh phức tạp hoặc tạo dữ liệu huấn luyện cho các VLM đa phương thức.

2. Patent:​

  1. Hệ thống “Quét & Phân tích Tài liệu thông minh trên di động”: Một ứng dụng di động cho phép người dùng chụp ảnh các loại tài liệu khác nhau (ví dụ: hóa đơn, hợp đồng, danh thiếp). Hệ thống sử dụng một phiên bản tối ưu hóa của Data Engine để tự động xác định các phần khó trong tài liệu (ví dụ: bảng phức tạp, chữ viết tay). Khi phát hiện các lỗi tiềm ẩn hoặc phần không chắc chắn, ứng dụng sẽ gợi ý người dùng kiểm tra hoặc cung cấp các tùy chọn tinh chỉnh dễ dàng trên giao diện cảm ứng, sau đó tự động chuyển đổi tài liệu sang định dạng có cấu trúc (ví dụ: JSON, Markdown) và lưu vào điện thoại hoặc dịch vụ đám mây.
  2. Công nghệ “Tối ưu hóa dữ liệu học tập cá nhân cho thiết bị di động”: Một hệ thống trên điện thoại di động có khả năng học hỏi từ dữ liệu người dùng tạo ra (ví dụ: ghi chú viết tay, ảnh chụp màn hình chứa văn bản, tài liệu PDF được xem). Hệ thống sẽ tự động xác định các "mẫu khó" hoặc "điểm yếu" trong cách người dùng tương tác với thông tin, sử dụng một cơ chế tương tự DDAS và CMCV ở quy mô nhỏ. Sau đó, nó sẽ tạo ra các bài tập, gợi ý hoặc tài liệu học tập được cá nhân hóa để cải thiện khả năng đọc, ghi nhớ hoặc xử lý thông tin của người dùng, hoặc cải thiện hiệu suất của các ứng dụng AI cục bộ trên thiết bị đó.
  3. Tính năng “Tự động sửa lỗi văn bản dựa trên ngữ cảnh thị giác” cho bàn phím di động: Tích hợp vào bàn phím hoặc ứng dụng ghi chú trên điện thoại. Khi người dùng nhập liệu từ một hình ảnh (ví dụ: chép lại văn bản từ một bức ảnh tài liệu), hệ thống sẽ sử dụng một mô hình Vision-Language nhẹ để so sánh văn bản đã nhập với hình ảnh gốc. Nếu có sự không nhất quán, nó sẽ không chỉ đề xuất sửa lỗi chính tả thông thường mà còn đề xuất sửa lỗi dựa trên ngữ cảnh thị giác từ hình ảnh, thậm chí đề xuất cấu trúc lại đoạn văn nếu phát hiện lỗi phân tích bố cục ban đầu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.04771
ArXiv Abstracthttps://arxiv.org/abs/2604.04771
PDF Downloadhttps://arxiv.org/pdf/2604.04771.pdf
Github RepositoryN/A

3. LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models (71 votes)​

Tác giả: Chanyoung Kim, Minwoo Kim, Minseok Kang, Hyunwoo Kim, Dahuin Jung

Xuất bản lúc: 2026-03-30

Tag: VLA Models, Robotic Manipulation, Paraphrase Robustness, Benchmark, NLP, Semantic Grounding, Deep Learning, Vision-Language Models, Fine-tuning

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) đạt hiệu suất cao trong thao tác robot, nhưng khi được tinh chỉnh với dữ liệu hạn chế trong môi trường robot thực tế, chúng dễ bị quá khớp với các cách diễn đạt lệnh cụ thể và thiếu khả năng chống chịu với các lệnh được diễn giải lại. Các bộ benchmark hiện có chủ yếu đánh giá khả năng tổng quát hóa thị giác, bỏ qua sự đa dạng về ngôn ngữ, và thường gộp chung các biến thể diễn giải lại với các thay đổi ngữ nghĩa cấp độ tác vụ, hoặc không định lượng được khoảng cách giữa các biến thể này. Tỷ lệ thành công nhị phân hiện tại không phân biệt được độ khó của các biến thể diễn giải lại, làm mất đi cái nhìn sâu sắc về khả năng hiểu ngôn ngữ thực sự của mô hình.

II. Main Idea:​

Giới thiệu LIBERO-Para, một bộ benchmark được kiểm soát để đánh giá khả năng chống chịu với các lệnh diễn giải lại trong các mô hình VLA. LIBERO-Para sử dụng thiết kế hai trục độc lập thay đổi cách diễn đạt hành động và đối tượng tham chiếu, dựa trên cấu trúc ngôn ngữ của các lệnh thao tác robot với 43 loại biến thể chi tiết. Để phân tích độ bền bỉ một cách chi tiết, đề xuất PRIDE (Paraphrase Robustness Index in Robotic Instructional DEviation), một chỉ số định lượng độ khó của các biến thể diễn giải lại. PRIDE kết hợp độ tương đồng từ khóa (SK) dựa trên các từ nội dung quan trọng và độ tương đồng cấu trúc (ST) dựa trên khoảng cách chỉnh sửa cây phụ thuộc, sau đó kết hợp với tỷ lệ thành công của tác vụ.

III. Main Results:​

  • Quan sát thấy hiệu suất giảm nhất quán từ 22-52 điểm phần trăm (pp) trên bảy cấu hình mô hình VLA (0.6B–7.5B) khi sử dụng các lệnh diễn giải lại.
  • Sự suy giảm này chủ yếu do các biến thể từ vựng cấp độ đối tượng: ngay cả việc thay thế từ đồng nghĩa đơn giản cũng gây ra sụt giảm lớn, cho thấy mô hình phụ thuộc vào việc khớp từ bề mặt hơn là hiểu ngữ nghĩa sâu sắc.
  • 80-96% các lỗi phát sinh từ sự sai lệch quỹ đạo ở cấp độ lập kế hoạch (xác định tác vụ), chứ không phải lỗi thực thi.
  • Chỉ số PRIDE cho thấy mức độ nghiêm trọng tiềm ẩn: các mô hình như VLA-Adapter và π0.5 expert-only có thành công chủ yếu với các biến thể dễ, trong khi π0.5 và Xiaomi-Robotics-0 thể hiện độ bền bỉ đồng đều hơn.
  • Sự mong manh với diễn giải lại vẫn tồn tại trên các kiến trúc, quy mô và chiến lược tinh chỉnh khác nhau.

IV. Conclusion & Future Works:​

Các mô hình VLA hiện tại gặp khó khăn trong việc ánh xạ các lệnh ngôn ngữ đa dạng tới việc xác định tác vụ chính xác, phụ thuộc vào việc khớp từ bề mặt thay vì hiểu ngữ nghĩa đối tượng vững chắc. Việc cải thiện khả năng chống chịu với các lệnh diễn giải lại cần ưu tiên việc xác định tác vụ từ lệnh hơn là tinh chỉnh kiểm soát cấp độ thấp, với việc hiểu ngữ nghĩa đối tượng là một hướng đi quan trọng.

Các hạn chế và hướng phát triển trong tương lai bao gồm:

  • Cần xác nhận các lỗ hổng được quan sát trên các nền tảng robot vật lý, vì nghiên cứu hiện tại chỉ thực hiện trong môi trường mô phỏng.
  • Nghiên cứu trong tương lai sẽ phân tích các biến thể diễn giải lại phức tạp hơn, kết hợp nhiều loại biến thể trên các trục hành động và đối tượng.
  • Không điều tra việc tăng cường dữ liệu dựa trên diễn giải lại như một chiến lược giảm thiểu, để tránh sự trùng lặp phân phối với bộ benchmark có thể làm sai lệch đánh giá.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Xác thực khả năng chống chịu với các biến thể diễn giải trong mô hình VLA trên robot thực tế: Nghiên cứu này sẽ tập trung vào việc chuyển giao và đánh giá các mô hình VLA trên các nền tảng robot vật lý, nhằm xác định xem các lỗ hổng về khả năng chống chịu với các lệnh diễn giải lại được quan sát trong môi trường mô phỏng có còn tồn tại trong thế giới thực hay không, đồng thời phân tích các yếu tố như nhiễu cảm biến và tương tác vật lý.
  2. Nghiên cứu các biến thể diễn giải phức hợp để tăng cường khả năng chống chịu của mô hình VLA: Phát triển một bộ benchmark và phương pháp đánh giá mới cho các mô hình VLA, trong đó tích hợp các biến thể diễn giải phức hợp (kết hợp nhiều thay đổi về từ vựng, cấu trúc và ngữ dụng) để đánh giá khả năng chống chịu của chúng trước những thay đổi ngôn ngữ phức tạp hơn, mở rộng từ các biến thể đơn trục đã nghiên cứu trong LIBERO-Para.
  3. Cải thiện khả năng định vị đối tượng trong mô hình VLA thông qua huấn luyện trước tăng cường ngữ nghĩa: Đề xuất và thử nghiệm các chiến lược huấn luyện trước hoặc tinh chỉnh mới nhằm tăng cường rõ rệt khả năng định vị ngữ nghĩa đối tượng của các mô hình VLA, đặc biệt tập trung vào việc nhận diện và hiểu đối tượng một cách vững chắc ngay cả khi có các biến thể từ vựng đa dạng, vượt qua giới hạn của việc khớp từ bề mặt.

2. Patent:​

  1. Hệ thống trợ lý cá nhân di động thông minh hiểu lệnh đa dạng: Một ứng dụng trên điện thoại di động cho phép người dùng điều khiển các thiết bị nhà thông minh hoặc robot gia đình bằng giọng nói hoặc văn bản, với khả năng hiểu nhiều cách diễn đạt khác nhau cho cùng một lệnh (ví dụ: "Bật đèn phòng khách", "Làm sáng phòng khách", "Cho đèn phòng khách sáng lên"). Ứng dụng sẽ phân tích ý nghĩa cốt lõi của lệnh, bỏ qua các biến thể từ ngữ bề mặt, để đảm bảo thiết bị thực hiện đúng yêu cầu, ngay cả khi người dùng không sử dụng từ ngữ chính xác như đã được đào tạo.
  2. Giao diện điều khiển robot di động thích ứng với ngôn ngữ người dùng: Một hệ thống phần mềm trên điện thoại di động cho phép người dùng điều khiển robot cá nhân hoặc robot hỗ trợ trong môi trường làm việc. Hệ thống này sẽ học và thích nghi với phong cách ngôn ngữ riêng của từng người dùng, tự động điều chỉnh để hiểu các từ đồng nghĩa hoặc cấu trúc câu khác nhau mà người dùng thường sử dụng để chỉ cùng một hành động hoặc đối tượng. Điều này giúp giảm thiểu lỗi do hiểu sai lệnh và tăng cường trải nghiệm người dùng tự nhiên hơn.
  3. Công cụ lập trình robot giáo dục dựa trên ngôn ngữ tự nhiên cho thiết bị di động: Một ứng dụng di động dành cho trẻ em và người học lập trình robot, cho phép họ ra lệnh cho robot bằng cách sử dụng ngôn ngữ tự nhiên thay vì mã hóa phức tạp. Ứng dụng này sẽ có khả năng diễn giải các lệnh đa dạng (ví dụ: "Di chuyển robot đến khối màu xanh", "Đẩy khối màu xanh", "Hãy đưa robot đến chỗ khối màu xanh") thành các hành động robot cụ thể, giúp người học dễ dàng tương tác và lập trình robot mà không cần lo lắng về việc sử dụng chính xác từng từ ngữ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.28301
ArXiv Abstracthttps://arxiv.org/abs/2603.28301
PDF Downloadhttps://arxiv.org/pdf/2603.28301.pdf
Github Repositoryhttps://github.com/cau-hai-lab/LIBERO-Para

4. TriAttention: Efficient Long Reasoning with Trigonometric KV Compression (68 votes)​

Tác giả: Weian Mao, Xi Lin, Wei Huang, Yuxin Xie, Tianfu Fu, Bohan Zhuang, Song Han, Yukang Chen

Xuất bản lúc: 2026-04-06

Tag: LLMs, KV Cache, Attention Mechanism, Memory Optimization, Long Context, Deep Learning, Efficiency

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) gặp phải nút thắt cổ chai nghiêm trọng về bộ nhớ KV cache khi thực hiện suy luận trên ngữ cảnh dài (long reasoning), đôi khi lên đến hàng chục nghìn token. Các phương pháp nén KV cache hiện có thường ước tính mức độ quan trọng của token dựa trên điểm chú ý từ các truy vấn post-RoPE gần đây. Tuy nhiên, các truy vấn post-RoPE xoay theo vị trí, khiến chỉ có rất ít truy vấn mang tính đại diện, dẫn đến việc chọn các khóa quan trọng kém hiệu quả và suy luận không ổn định. Điều này có thể khiến các token quan trọng bị loại bỏ vĩnh viễn, làm đứt gãy chuỗi suy luận.

II. Main Idea:​

Bài báo phát hiện ra hiện tượng "Q/K concentration" trong không gian pre-RoPE: các vector Q và K tập trung cao độ xung quanh các tâm cố định, không bằng 0 và ổn định trên các vị trí và ngữ cảnh. Sự tập trung này khiến các truy vấn ưu tiên chú ý đến các khóa ở những khoảng cách cụ thể, có thể được mô tả bằng một chuỗi lượng giác. Dựa trên quan sát này, TriAttention được đề xuất để ước tính mức độ quan trọng của khóa bằng cách tận dụng các tâm Q/K ổn định này. Phương pháp này sử dụng chuỗi lượng giác để chấm điểm các khóa theo vị trí của chúng, phản ánh sự ưu tiên khoảng cách, đồng thời kết hợp chuẩn (norm) của Q/K như một tín hiệu bổ sung để ước tính tầm quan trọng. Đối với các head có độ tập trung Q/K thấp hơn, trọng số được điều chỉnh linh hoạt.

III. Main Results:​

TriAttention đạt được độ chính xác suy luận tương đương với Full Attention trên AIME25 (32K token) trong khi tăng thông lượng lên 2.5 lần hoặc giảm bộ nhớ KV cache tới 10.7 lần. Các phương pháp nén KV cache hàng đầu khác chỉ đạt khoảng một nửa độ chính xác với cùng hiệu quả. TriAttention cho phép triển khai OpenClaw trên một GPU tiêu dùng duy nhất, nơi ngữ cảnh dài thông thường sẽ gây ra lỗi hết bộ nhớ với Full Attention. Trên MATH 500, với chỉ 1024/32k token trong KV cache, TriAttention đạt độ chính xác gần bằng Full Attention (68.4% so với 69.6%). Nó cũng vượt trội hơn R-KV và SnapKV trên các bộ dữ liệu AIME24 và AIME25 ở nhiều mức ngân sách bộ nhớ khác nhau và duy trì khả năng lưu giữ bộ nhớ tốt hơn trong các bài kiểm tra suy luận đệ quy.

IV. Conclusion & Future Works:​

TriAttention khám phá và tận dụng hiện tượng "Q/K concentration" trong không gian pre-RoPE, nơi các vector Q và K tập trung quanh các tâm cố định, giúp dự đoán hành vi chú ý theo khoảng cách thông qua chuỗi lượng giác. Đây là một thuộc tính cố hữu của mô hình, nhất quán trên các miền và kiến trúc. TriAttention sử dụng phát hiện này để ước tính mức độ quan trọng của khóa từ các tâm Q/K ổn định, tránh sự bất ổn của các phương pháp post-RoPE. Các thử nghiệm cho thấy TriAttention vượt trội hơn tất cả các phương pháp cơ sở, đạt độ chính xác tương đương Full Attention trong khi tăng thông lượng 2.5 lần và giảm bộ nhớ KV cache 10.7 lần. Tác động của công trình này là cải thiện hiệu quả suy luận trong LLMs, giảm chi phí tính toán và độ trễ mà không ảnh hưởng đến độ chính xác, giúp triển khai LLMs có khả năng suy luận hiệu quả và dễ tiếp cận hơn. Không có tác động đạo đức mới nào được nêu ra. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc áp dụng các nguyên tắc này cho các kiến trúc hoặc phương pháp mã hóa vị trí khác, hoặc phát triển các cơ chế thích ứng động cho các tâm Q/K trong quá trình suy luận.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu hiện tượng "Q/K concentration" và ứng dụng nén KV cache trong các kiến trúc LLM sử dụng phương pháp mã hóa vị trí (Positional Encoding) khác ngoài RoPE, như ALiBi hoặc T5 Relative Position Bias, để đánh giá tính phổ quát của cơ chế này.
  2. Phát triển các phương pháp thích ứng động (dynamic adaptation) cho các tâm Q/K và chuẩn vector trong quá trình suy luận, thay vì chỉ hiệu chỉnh ngoại tuyến (offline calibration), nhằm cải thiện độ chính xác và khả năng thích ứng của TriAttention trong các ngữ cảnh thay đổi hoặc miền dữ liệu mới.
  3. Tích hợp TriAttention với các kỹ thuật tối ưu hóa LLM khác như lượng tử hóa (quantization), sparsification (làm thưa) hoặc suy luận suy đoán (speculative decoding) để đạt được mức độ hiệu quả cao hơn nữa về mặt tính toán và bộ nhớ cho các tác vụ suy luận dài.

2. Patent:​

  1. Hệ thống trợ lý ảo trên điện thoại thông minh với bộ nhớ ngữ cảnh dài thích ứng: Một hệ thống trợ lý ảo trên thiết bị di động có khả năng duy trì lịch sử hội thoại hoặc chuỗi tác vụ phức tạp rất dài mà không tiêu tốn quá nhiều RAM. Hệ thống này sẽ động nén và ưu tiên bộ nhớ hội thoại (KV cache) dựa trên khả năng dự đoán mức độ liên quan trong tương lai, cho phép trợ lý nhớ lại các chi tiết từ nhiều giờ hoặc nhiều ngày trước mà không làm chậm điện thoại.
  2. Ứng dụng soạn thảo sáng tạo AI trên thiết bị với ngữ cảnh mở rộng: Một ứng dụng trên thiết bị di động hỗ trợ người dùng viết email dài, truyện hoặc các đoạn mã đơn giản bằng cách cung cấp gợi ý và hoàn thành dựa trên ngữ cảnh. Ứng dụng này sẽ sử dụng hệ thống nén bộ nhớ hiệu quả để "ghi nhớ" toàn bộ tài liệu hoặc tệp mã, cho phép đưa ra các gợi ý liên quan ngay cả với văn bản được viết từ rất lâu trước đó, khắc phục hạn chế về cửa sổ ngữ cảnh của các LLM trên thiết bị.
  3. Hệ thống gia sư AI thời gian thực trên di động với khả năng ghi nhớ sâu: Một ứng dụng giáo dục di động hoạt động như một gia sư cá nhân, có khả năng theo dõi tiến độ học tập và các câu hỏi trước đây của học sinh trong thời gian dài. Bằng cách sử dụng tính năng nén bộ nhớ hiệu quả, gia sư có thể nhớ lại những hiểu lầm cụ thể hoặc các lĩnh vực khó khăn từ các buổi học trước (thậm chí vài tuần trước) để điều chỉnh các giải thích hoặc bài tập mới, cá nhân hóa cao trải nghiệm học tập mà không yêu cầu tài nguyên tính toán lớn từ điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.04921
ArXiv Abstracthttps://arxiv.org/abs/2604.04921
PDF Downloadhttps://arxiv.org/pdf/2604.04921.pdf
Github Repositoryhttps://github.com/WeianMao/triattention

5. Adam's Law: Textual Frequency Law on Large Language Models (46 votes)​

Tác giả: Hongyuan Adam Lu, Z. L., Victor Wei, Zefan Zhang, Zhao Hong, Qiqi Xiang, Bowen Cao, Wai Lam

Xuất bản lúc: 2026-04-02

Tag: LLMs, Textual Frequency, Prompting, Fine-tuning, Data Augmentation, Curriculum Learning, Machine Translation, Reasoning

I. Main Problem:​

Vấn đề chính mà nghiên cứu này giải quyết là sự thiếu hiểu biết về mối liên hệ giữa tần suất văn bản và hiệu suất của Mô hình Ngôn ngữ Lớn (LLM). Mặc dù tần suất văn bản được biết là ảnh hưởng đến nhận thức của con người (ví dụ: tốc độ đọc), nhưng vai trò của nó đối với LLM vẫn chưa được nghiên cứu kỹ. Cụ thể, các vấn đề bao gồm:1. Hiệu suất không nhất quán của LLM với các câu paraphrase cùng nghĩa: Các nghiên cứu trước đây chỉ ra rằng các câu lệnh (prompt) khác nhau nhưng có cùng ý nghĩa có thể tạo ra kết quả rất khác nhau từ LLM, nhưng không có kết luận rõ ràng về các yếu tố liên quan đến hiện tượng này.2. Tối ưu hóa tài nguyên hạn chế: Với tài nguyên tính toán hạn chế cho fine-tuning và prompting, việc lựa chọn dữ liệu (đặc biệt là các câu paraphrase) nào là hữu ích nhất vẫn còn bỏ ngỏ.3. Thiếu phương pháp hiệu quả để tận dụng tần suất văn bản: Chưa có khuôn khổ rõ ràng để khai thác quy luật tần suất văn bản nhằm cải thiện hiệu suất của LLM trong cả giai đoạn prompting và fine-tuning.

II. Main Idea:​

Bài báo đề xuất một khuôn khổ gồm ba đơn vị chính để tận dụng tần suất văn bản nhằm cải thiện hiệu suất của LLM:1. Quy luật Tần suất Văn bản (Textual Frequency Law - TFL): Đề xuất rằng dữ liệu văn bản có tần suất cao hơn nên được ưu tiên cho LLM trong cả việc tạo câu lệnh (prompting) và fine-tuning, với điều kiện ý nghĩa của dữ liệu được giữ nguyên (ví dụ: các câu paraphrase). Giả thuyết cơ bản là dữ liệu có tần suất cao thường xuất hiện nhiều hơn trong giai đoạn tiền huấn luyện, do đó LLM dễ hiểu hơn. Tần suất cấp câu được ước tính bằng cách sử dụng phép nhân tần suất cấp từ không quan tâm vị trí từ các tài nguyên trực tuyến.2. Chưng cất Tần suất Văn bản (Textual Frequency Distillation - TFD): Một phương pháp để nâng cao ước tính tần suất ban đầu (thu thập từ các tài nguyên trực tuyến). TFD yêu cầu LLM thực hiện "hoàn thành câu chuyện" (story completion) bằng cách mở rộng các câu trong tập dữ liệu. Các ngữ liệu được tạo ra sau đó được sử dụng để điều chỉnh và tăng cường ước tính tần suất ban đầu, đặc biệt hữu ích khi không có quyền truy cập trực tiếp vào dữ liệu huấn luyện của các LLM mã nguồn đóng.3. Huấn luyện Tần suất Văn bản theo Chương trình (Curriculum Textual Frequency Training - CTFT): Một phương pháp fine-tuning LLM theo thứ tự tăng dần của tần suất cấp câu. Điều này có nghĩa là LLM được fine-tune với dữ liệu tần suất thấp trước, sau đó dần dần chuyển sang dữ liệu tần suất cao hơn trong mỗi epoch huấn luyện, giúp mô hình học một cách có cấu trúc hơn.Ngoài ra, nhóm tác giả đã xây dựng một tập dữ liệu mới là TextualFrequencyPaired Dataset (TFPD), bao gồm các cặp câu có cùng ý nghĩa nhưng khác nhau về tần suất (cao và thấp), được tạo ra bằng GPT-4o-mini và được kiểm duyệt bởi con người.

III. Main Results:​

Các thử nghiệm trên tập dữ liệu TFPD và nhiều tác vụ (lý luận toán học, dịch máy, lý luận thông thường, gọi công cụ) với các LLM mã nguồn đóng và mở đã cho thấy hiệu quả của khuôn khổ được đề xuất:1. Trong Prompting: * Lý luận Toán học: Sử dụng các câu lệnh tần suất cao đã cải thiện đáng kể độ chính xác trên DeepSeek-V3 (từ 63.55% lên 71.54%), GPT-4o-mini (từ 60.70% lên 68.70%) và LLaMA3.3-70B-Instruct (từ 80.49% lên 88.75%). Sự cải thiện chủ yếu đến từ các mẫu mà mô hình ban đầu trả lời sai với câu lệnh tần suất thấp. * Dịch máy: Các paraphrase tần suất cao mang lại kết quả tốt nhất trên tất cả các chỉ số (BLEU, chrF, COMET) và các mô hình cơ sở (DeepSeek-V3, GPT-4o-mini). Ví dụ, 99 trên 100 cặp ngôn ngữ được cải thiện về BLEU trên DeepSeek-V3, với phần lớn cải thiện đáng kể (hơn 1 điểm, 3 điểm hoặc 5 điểm). Sự suy giảm hiệu suất (nếu có) là rất nhỏ (<1 điểm). * Lý luận Thông thường: Phần dữ liệu tần suất cao cũng vượt trội hơn phần tần suất thấp.2. Trong Fine-tuning: * Sử dụng phần dữ liệu tần suất cao của TFPD để fine-tune thậm chí còn tốt hơn việc fine-tune trên dữ liệu gốc FLORES-200. * Phần dữ liệu tần suất cao mang lại kết quả tốt hơn so với phần dữ liệu tần suất thấp. * CTFT rất hữu ích, mang lại kết quả tốt nhất trong tất cả các thử nghiệm fine-tuning, ví dụ, cải thiện 29.96% BLEU trên pag_Latn.3. Phân tích TFD: Loại bỏ TFD gây ra sự sụt giảm hiệu suất, và việc sử dụng nhiều dữ liệu hơn cho TFD dẫn đến hiệu suất tốt hơn.4. Tương quan với Tần suất: Có mối tương quan mạnh mẽ giữa tần suất văn bản và hiệu suất dịch cuối cùng, ngay cả khi các ví dụ không phải là paraphrase của nhau. Mối tương quan giữa tần suất văn bản và độ phức tạp văn bản (như độ sâu cây phụ thuộc hay cấp độ Flesch-Kincaid) là rất yếu, cho thấy TFL khác biệt với học chương trình truyền thống.

IV. Conclusion & Future Works:​

Bài báo đã đề xuất một khuôn khổ toàn diện cho quy luật tần suất văn bản trên LLM, bao gồm TFL, TFD và CTFT. Các kết quả thực nghiệm và phân tích sâu rộng cho thấy hiệu quả của khuôn khổ này, khẳng định rằng việc ưu tiên các đầu vào tần suất cao trong cả prompting và fine-tuning, cùng với việc sắp xếp dữ liệu huấn luyện theo tần suất tăng dần, có thể cải thiện đáng kể hiệu suất của LLM. Mối quan hệ tích cực giữa đầu ra của LLM và tần suất văn bản được chứng minh ngay cả với các đầu vào khác nhau.Hạn chế: Việc sử dụng "hoàn thành câu chuyện" để ước tính tần suất có thể tốn kém về mặt tính toán, nhưng nó là một giải pháp thay thế hiệu quả cho việc không thể tiếp cận dữ liệu huấn luyện của các LLM mã nguồn đóng.Các hướng phát triển trong tương lai có thể bao gồm:1. Nghiên cứu các phương pháp hiệu quả hơn về mặt tính toán cho TFD.2. Mở rộng và áp dụng TFL, TFD, CTFT cho nhiều tác vụ và ngôn ngữ khác, đặc biệt là các ngôn ngữ có tài nguyên thấp.3. Tìm hiểu sâu hơn về cơ chế nội tại của LLM liên quan đến tần suất văn bản để giải thích rõ hơn lý do TFL hoạt động hiệu quả.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa Huấn luyện Mô hình Ngôn ngữ Lớn thông qua Phương pháp Chưng cất Tần suất Văn bản Hiệu quả về Chi phí Nghiên cứu các kỹ thuật tiên tiến để giảm chi phí tính toán của Textual Frequency Distillation (TFD), có thể bao gồm việc sử dụng các mô hình nhỏ hơn, kỹ thuật lấy mẫu thông minh, hoặc các phương pháp học bán giám sát để ước tính tần suất hiệu quả hơn mà không cần truy cập trực tiếp vào dữ liệu huấn luyện của LLM mã nguồn đóng.
  2. Nghiên cứu Tác động của Tần suất Văn bản đến Hiệu suất của Mô hình Ngôn ngữ Lớn trong Các Ngôn ngữ Tài nguyên Thấp và Đa ngôn ngữ Mở rộng khuôn khổ TFL, TFD, CTFT để đánh giá và cải thiện hiệu suất của LLM trong các ngôn ngữ có tài nguyên thấp (low-resource languages). Điều này có thể bao gồm việc phát triển các phương pháp ước tính tần suất đặc biệt cho các ngôn ngữ này, hoặc điều chỉnh chiến lược huấn luyện để phù hợp với đặc điểm dữ liệu đa dạng của chúng.
  3. Khám phá và Định lượng Tương quan giữa Tần suất Văn bản và Hiệu suất Suy luận của Mô hình Ngôn ngữ Lớn trong Các Tác vụ Phức tạp Đi sâu vào việc phân tích mối quan hệ giữa tần suất văn bản và khả năng suy luận của LLM trong các tác vụ phức tạp hơn như suy luận đa bước, lập kế hoạch, hoặc giải quyết vấn đề. Nghiên cứu này có thể tìm cách định lượng mức độ ảnh hưởng của tần suất đến các bước suy luận khác nhau và đề xuất cách tối ưu hóa đầu vào để nâng cao khả năng suy luận.

2. Patent:​

  1. Hệ thống Tối ưu hóa Câu lệnh Thông minh trên Điện thoại Di động: Một ứng dụng di động hoặc tính năng tích hợp trong bàn phím ảo điện thoại, sử dụng một mô hình ngôn ngữ nhỏ gọn để phân tích tần suất của các câu lệnh người dùng nhập vào (hoặc ý định của câu lệnh). Dựa trên "Quy luật Tần suất Văn bản", hệ thống sẽ tự động đề xuất hoặc sửa đổi câu lệnh thành một phiên bản có tần suất cao hơn (dễ hiểu hơn đối với LLM nền tảng) trước khi gửi đi, giúp cải thiện độ chính xác và hiệu quả của các trợ lý ảo, chatbot hoặc các ứng dụng AI khác trên điện thoại.
  2. Phương pháp Điều chỉnh Dữ liệu Huấn luyện Động cho AI trên Thiết bị Cạnh dựa trên Tần suất Văn bản: Một phương pháp cho phép các thiết bị di động hoặc thiết bị biên (edge devices) tự động điều chỉnh và ưu tiên dữ liệu để huấn luyện hoặc fine-tune các mô hình AI cục bộ. Dựa trên việc ước tính tần suất văn bản của dữ liệu có sẵn trên thiết bị hoặc dữ liệu được thu thập, hệ thống sẽ ưu tiên các mẫu dữ liệu có tần suất cao hơn hoặc sắp xếp thứ tự huấn luyện theo tần suất tăng dần (như Curriculum Textual Frequency Training), giúp tối ưu hóa việc sử dụng tài nguyên hạn chế của thiết bị và cải thiện hiệu suất của các chức năng AI cục bộ như nhận dạng giọng nói, dịch thuật offline, hoặc gợi ý văn bản.
  3. Công cụ Tạo và Đánh giá Paraphrase Tần suất Cao cho Nội dung Số: Một công cụ (ví dụ: plugin trình duyệt, ứng dụng viết lách) cho phép người dùng nhập một đoạn văn bản và tự động tạo ra các phiên bản paraphrase có tần suất cao hơn, được tối ưu hóa để tương tác với các hệ thống AI (như công cụ tìm kiếm, chatbot, hoặc trình tạo nội dung). Công cụ này cũng có thể cung cấp điểm số tần suất và đánh giá hiệu quả tiềm năng của paraphrase đối với AI, giúp người dùng tạo nội dung dễ được AI hiểu và xử lý hơn, đặc biệt hữu ích cho việc tối ưu hóa SEO, viết prompt cho AI tạo sinh, hoặc cải thiện khả năng giao tiếp với trợ lý ảo.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.02176
ArXiv Abstracthttps://arxiv.org/abs/2604.02176
PDF Downloadhttps://arxiv.org/pdf/2604.02176.pdf
Github Repositoryhttps://github.com/HongyuanLuke/frequencylaw

6. AURA: Always-On Understanding and Real-Time Assistance via Video Streams (39 votes)​

Tác giả: Xudong Lu, Yang Bo, Jinpeng Chen, Shuhan Li, Xintong Guo, Huankang Guan, Fang Liu, Dunyuan Xu, Peiwen Sun, Heyang Sun, Rui Liu, Hongsheng Li

Xuất bản lúc: 2026-04-05

Tag: VideoLLMs, Streaming, Real-time AI, Multimodal AI, Context Management, Data Augmentation, ASR, TTS

I. Main Problem:​

Các mô hình ngôn ngữ lớn dựa trên video (VideoLLMs) hiện có chủ yếu được thiết kế cho các tác vụ ngoại tuyến, không phù hợp cho việc xử lý luồng video trực tiếp yêu cầu quan sát liên tục và phản hồi kịp thời. Các cách tiếp cận hiện tại cho VideoLLMs trực tuyến thường dựa vào kiến trúc tách rời (dẫn đến hành vi không ổn định) hoặc bị giới hạn trong việc tường thuật kiểu phụ đề, làm giảm hiệu quả cho việc hỏi đáp mở và tương tác dài hạn. Ngoài ra, việc xử lý đầu vào video-văn bản không giới hạn trong các luồng liên tục đặt ra thách thức về quản lý ngữ cảnh và hiệu suất suy luận.

II. Main Idea:​

AURA (Always-On Understanding and Real-Time Assistance) là một khuôn khổ tương tác trực quan luồng đầu cuối, cho phép một VideoLLM thống nhất liên tục xử lý luồng video và hỗ trợ cả hỏi đáp theo thời gian thực lẫn phản hồi chủ động. AURA tích hợp việc quản lý ngữ cảnh, xây dựng dữ liệu, mục tiêu huấn luyện và tối ưu hóa triển khai để tương tác luồng ổn định trong thời gian dài.

Các thành phần chính:

  • Quản lý ngữ cảnh luồng video tương tác: Sử dụng chiến lược cửa sổ trượt kép để quản lý luồng video không giới hạn (N giây gần nhất) và lịch sử tương tác QA (M nhóm QA gần nhất), định nghĩa ba loại QA luồng: Real-Time QA, Proactive QA và Multi-Response QA.
  • Công cụ dữ liệu luồng từ thô đến tinh (Coarse-to-Fine Data Engine): Một quy trình gồm 5 giai đoạn (Chuẩn bị video, Tổng hợp QA, Tinh chỉnh QA, Cấu trúc luồng, Xác minh chất lượng) để xây dựng dữ liệu huấn luyện cho các loại QA luồng, bao gồm các kỹ thuật tổng hợp, tinh chỉnh độ khó/cách diễn đạt và kiểm tra chất lượng để giảm ảo giác.
  • Hàm mất cân bằng im lặng-nói (Silent-Speech Balanced Loss): Một mục tiêu huấn luyện áp dụng mất mát chỉ cho các tin nhắn trợ lý im lặng và tin nhắn trợ lý không im lặng cuối cùng trong mỗi mẫu, đồng thời sử dụng chiến lược cân bằng lớp để xử lý sự mất cân bằng giữa các lượt im lặng và nói.
  • Khuôn khổ suy luận luồng thời gian thực: Một hệ thống đầu cuối tích hợp AURA với các mô-đun Nhận dạng giọng nói tự động (ASR) và Chuyển văn bản thành giọng nói (TTS), cùng với các tối ưu hóa hiệu quả (như tái sử dụng KV-cache) để suy luận thời gian thực hiệu quả trên các luồng video không giới hạn.

III. Main Results:​

AURA đạt hiệu suất tiên tiến trên các điểm chuẩn luồng và duy trì hiệu suất cạnh tranh so với các mô hình hàng đầu trên các điểm chuẩn ngoại tuyến. Hệ thống demo thời gian thực của AURA, tích hợp ASR và TTS, chạy ở tốc độ 2 khung hình/giây (FPS) trên hai bộ tăng tốc 80G.

IV. Conclusion & Future Works:​

AURA cung cấp một khuôn khổ mạnh mẽ cho tương tác trực quan luồng đầu cuối, cho phép các VideoLLM thống nhất liên tục xử lý video và hỗ trợ hỏi đáp thời gian thực cũng như phản hồi chủ động. Việc phát hành mô hình AURA cùng với khuôn khổ suy luận thời gian thực được kỳ vọng sẽ thúc đẩy nghiên cứu trong tương lai về các hệ thống trực quan thông minh thế hệ tiếp theo. Các hướng nghiên cứu tiếp theo có thể tập trung vào việc cải thiện hiệu quả triển khai trên các thiết bị tài nguyên hạn chế, mở rộng khả năng tương tác chủ động phức tạp hơn, và tăng cường tính mạnh mẽ của hệ thống trong các điều kiện luồng đa dạng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa VideoLLMs luồng cho thiết bị biên: Nghiên cứu các phương pháp nén mô hình và lượng tử hóa để triển khai AURA hiệu quả trên các thiết bị di động hoặc thiết bị biên với tài nguyên tính toán và bộ nhớ hạn chế, đồng thời duy trì hiệu suất tương tác thời gian thực.
  2. Tăng cường khả năng chủ động và đa phản hồi: Phát triển các chiến lược huấn luyện và kiến trúc mới để AURA có thể đưa ra các dự đoán hành động hoặc tham gia vào các nhiệm vụ giải quyết vấn đề hợp tác phức tạp hơn, vượt ra ngoài việc chỉ trả lời câu hỏi đơn lẻ.
  3. Huấn luyện mạnh mẽ với dữ liệu luồng không hoàn chỉnh/nhiễu: Khám phá các kỹ thuật tăng cường dữ liệu tổng hợp và huấn luyện đối kháng để làm cho AURA mạnh mẽ hơn trước các điều kiện luồng thực tế (ví dụ: chất lượng video thay đổi, lỗi ASR, độ trễ mạng).
  4. Tích hợp AURA với các cảm biến đa phương thức: Mở rộng AURA để kết hợp dữ liệu từ các cảm biến khác (ví dụ: âm thanh môi trường, cảm biến xúc giác) ngoài video và giọng nói, nhằm cung cấp sự hiểu biết toàn diện hơn về môi trường và hỗ trợ người dùng.

2. Patent:​

  1. Hệ thống trợ lý di động chủ động dựa trên camera: Một bằng sáng chế cho một hệ thống trên điện thoại di động liên tục sử dụng camera để phân tích môi trường xung quanh người dùng. Hệ thống sẽ tự động nhận diện các đối tượng, hoạt động hoặc tình huống (ví dụ: đang nấu ăn, đang mua sắm) và chủ động đưa ra các gợi ý hữu ích hoặc thông tin liên quan thông qua giọng nói hoặc hiển thị trên màn hình mà không cần người dùng phải hỏi.
  2. Tính năng phụ đề và dịch thuật trực tiếp thông minh theo ngữ cảnh: Một bằng sáng chế cho một tính năng trên điện thoại di động cung cấp phụ đề và dịch thuật theo thời gian thực cho các cuộc gọi video hoặc luồng phát trực tiếp. Tính năng này sẽ sử dụng một 'bộ nhớ' ngữ cảnh dài hạn (dựa trên cơ chế cửa sổ trượt kép) để ghi nhớ các đoạn hội thoại và hình ảnh đã qua, giúp dịch chính xác hơn các từ ngữ mơ hồ hoặc các câu nói có tính chất liên kết ngữ cảnh.
  3. Ứng dụng trợ lý an toàn và hỗ trợ tiếp cận thời gian thực: Một bằng sáng chế cho một ứng dụng trên điện thoại di động sử dụng camera để liên tục phân tích môi trường xung quanh, phát hiện các mối nguy hiểm tiềm ẩn (ví dụ: vật cản trên đường cho người khiếm thị, tình huống nguy hiểm) hoặc cung cấp hỗ trợ tiếp cận (ví dụ: đọc nhãn sản phẩm, nhận diện người quen) trong thời gian thực, đồng thời cung cấp phản hồi bằng giọng nói để cảnh báo hoặc hướng dẫn người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.04184
ArXiv Abstracthttps://arxiv.org/abs/2604.04184
PDF Downloadhttps://arxiv.org/pdf/2604.04184.pdf
Github Repositoryhttps://github.com/aurateam2026/AURA

7. ClawArena: Benchmarking AI Agents in Evolving Information Environments (27 votes)​

Tác giả: Haonian Ji, Kaiwen Xiong, Siwei Han, Peng Xia, Shi Qiu, Yiyang Zhou, Jiaqi Liu, Jinlong Li, Bingzhou Li, Zeyu Zheng, Cihang Xie, Huaxiu Yao

Xuất bản lúc: 2026-04-05

Tag: AI Agents, Benchmarking, LLMs, Multi-source Reasoning, Belief Revision, Personalization

I. Main Problem:​

Các benchmark hiện có cho tác nhân AI chủ yếu giả định môi trường thông tin tĩnh, có một nguồn đáng tin cậy duy nhất và không đánh giá liệu tác nhân có thể duy trì niềm tin chính xác trong môi trường thông tin phức tạp, liên tục thay đổi trong thế giới thực hay không. Những môi trường này đặc trưng bởi thông tin phân tán từ nhiều nguồn không đồng nhất, thường mâu thuẫn lẫn nhau; thông tin mới đến có thể làm mất hiệu lực các kết luận trước đó; và sở thích của người dùng chỉ bộc lộ qua các chỉnh sửa chứ không phải hướng dẫn rõ ràng.

II. Main Idea:​

Chúng tôi giới thiệu CLAWARENA, một benchmark mới được thiết kế để đánh giá tác nhân AI trong các môi trường thông tin đang phát triển. Mỗi kịch bản trong CLAWARENA duy trì một 'sự thật ngầm định' hoàn chỉnh nhưng chỉ hiển thị cho tác nhân các dấu vết nhiễu, không đầy đủ và đôi khi mâu thuẫn từ nhiều kênh, tệp không gian làm việc và các bản cập nhật theo giai đoạn. Đánh giá được tổ chức xoay quanh ba thách thức chính liên kết với nhau: suy luận mâu thuẫn đa nguồn (multi-source conflict reasoning), sửa đổi niềm tin động (dynamic belief revision) và cá nhân hóa ngầm định (implicit personalization), tạo ra một phân loại câu hỏi gồm 14 danh mục. Benchmark sử dụng hai định dạng câu hỏi: trắc nghiệm (chọn tập hợp) và kiểm tra thực thi dựa trên shell, để kiểm tra cả khả năng suy luận và tiếp đất trong không gian làm việc. Phiên bản hiện tại bao gồm 64 kịch bản trên 8 lĩnh vực chuyên môn, tổng cộng 1.879 vòng đánh giá và 365 bản cập nhật động. CLAWARENA được xây dựng dựa trên các phân phối thực tế để đảm bảo tính xác thực.

III. Main Results:​

  • Khả năng của mô hình (phạm vi 15,4%) có tác động lớn hơn đáng kể đến hiệu suất so với thiết kế framework (9,2%).
  • Các framework kỹ năng tự tiến hóa (ví dụ: MetaClaw) có thể bù đắp một phần khoảng cách về khả năng của mô hình cơ sở và dẫn đầu trong so sánh giữa các framework.
  • Độ khó của việc sửa đổi niềm tin được xác định bởi chiến lược thiết kế cập nhật chứ không phải chỉ đơn thuần là sự hiện diện hay số lượng cập nhật (các bản cập nhật tập trung, có mục tiêu khó hơn nhiều so với các bản phân tán).
  • Điểm tổng hợp có thể che giấu các chế độ lỗi khác nhau về chất lượng; chẩn đoán từng tùy chọn là rất quan trọng.
  • Các lựa chọn thiết kế ở cấp độ framework có thể giảm thiểu các chế độ lỗi ở cấp độ mô hình (ví dụ: phương pháp trích dẫn nguyên văn của Claude Code).
  • Kiểm tra thực thi bộc lộ các nút thắt cổ chai trong chuỗi công cụ, cho thấy khả năng tiếp đất trong không gian làm việc và chất lượng suy luận là những khả năng độc lập một phần.
  • Hiệu suất thay đổi đáng kể (>60%) giữa các lĩnh vực và dữ liệu đào tạo ngôn ngữ cụ thể đóng một vai trò quan trọng (ví dụ: GPT-5.2 vượt trội hơn Haiku trong các kịch bản tiếng Trung).

IV. Conclusion & Future Works:​

Kết luận: CLAWARENA là một benchmark quan trọng để đánh giá tác nhân AI trong các môi trường thông tin đang phát triển. Các thí nghiệm cho thấy khả năng mô hình vượt trội hơn thiết kế framework, các framework kỹ năng tự tiến hóa có thể cải thiện hiệu suất, độ khó của việc sửa đổi niềm tin phụ thuộc vào chiến lược thiết kế cập nhật, và điểm tổng hợp có thể che giấu các lỗi khác nhau. Công việc tương lai: Mở rộng benchmark vượt ra ngoài các tệp tĩnh và cập nhật theo giai đoạn, hướng tới các môi trường trực tiếp, không giới hạn, nơi tác nhân phải tự mình xây dựng các truy vấn và tương tác với các nguồn thông tin thời gian thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các phương pháp thu thập và tổng hợp thông tin chủ động cho tác nhân AI trong môi trường thông tin thời gian thực, đa nguồn.
  2. Đánh giá tác động của các chiến lược thiết kế cập nhật thông tin đến khả năng sửa đổi niềm tin của tác nhân AI, với trọng tâm vào các kịch bản cập nhật tập trung và phân tán.
  3. Phát triển một framework đánh giá toàn diện cho tác nhân AI, tập trung vào khả năng tiếp đất trong không gian làm việc và suy luận mâu thuẫn đa nguồn trong các lĩnh vực chuyên môn đa dạng.

2. Patent:​

  1. Hệ thống trợ lý cá nhân thông minh trên thiết bị di động có khả năng tổng hợp thông tin từ nhiều ứng dụng và nguồn dữ liệu khác nhau (ví dụ: email, lịch, tin nhắn, ghi chú, trình duyệt web) để duy trì một cái nhìn nhất quán về các tác vụ và dự án của người dùng. Hệ thống tự động cập nhật hiểu biết của mình khi có thông tin mới hoặc thay đổi tệp trên các ứng dụng này, đồng thời giải quyết các mâu thuẫn thông tin tiềm ẩn để đưa ra thông tin chính xác và cập nhật nhất cho người dùng.
  2. Ứng dụng ghi chú thông minh trên điện thoại di động sử dụng công nghệ AI để học và tự động điều chỉnh các ưu tiên cá nhân hóa của người dùng (ví dụ: định dạng đầu ra, cấu trúc tài liệu, phong cách phân tích) mà không cần hướng dẫn rõ ràng. Ứng dụng quan sát các chỉnh sửa và tương tác của người dùng để ngầm định điều chỉnh cách trình bày và tổ chức thông tin, giúp người dùng ghi chú và quản lý thông tin hiệu quả và cá nhân hóa hơn.
  3. Trợ lý quản lý công việc và dự án trên thiết bị di động tích hợp dữ liệu từ nhiều nguồn liên quan (ví dụ: tài liệu chia sẻ, cuộc trò chuyện nhóm, danh sách việc cần làm). Khi phát hiện thông tin mâu thuẫn (ví dụ: thời hạn khác nhau, trạng thái công việc không khớp), trợ lý sẽ tự động xác định, làm nổi bật các mâu thuẫn, đề xuất các giải pháp khả thi dựa trên độ tin cậy của nguồn và gợi ý các hành động cho người dùng để duy trì sự nhất quán và chính xác của thông tin dự án.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.04202
ArXiv Abstracthttps://arxiv.org/abs/2604.04202
PDF Downloadhttps://arxiv.org/pdf/2604.04202.pdf
Github Repositoryhttps://github.com/aiming-lab/ClawArena

8. FileGram: Grounding Agent Personalization in File-System Behavioral Traces (26 votes)​

Tác giả: Shuai Liu, Shulin Tian, Kairui Hu, Yuhao Dong, Zhe Yang, Bo Li, Jingkang Yang, Chen Change Loy, Ziwei Liu

Xuất bản lúc: 2026-04-06

Tag: AI Agents, Personalization, Memory Systems, Multimodality, Behavioral Analytics, LLMs, Benchmarking

I. Main Problem:​

Việc cá nhân hóa hiệu quả cho các tác nhân AI làm việc cùng trong hệ thống tệp bị hạn chế nghiêm trọng bởi các rào cản dữ liệu (khó thu thập dữ liệu đa phương thức, theo dõi hành vi dài hạn do vấn đề quyền riêng tư và thiếu khả năng mở rộng), các hạn chế về đánh giá (các benchmark hiện có tập trung vào hội thoại hoặc tỷ lệ thành công GUI, bỏ qua hành vi cá nhân hóa dựa trên bộ nhớ), và các hạn chế về phương pháp luận (kiến trúc bộ nhớ hiện tại tập trung vào tương tác và tóm tắt hội thoại từ trên xuống, thiếu cách tiếp cận từ dưới lên để chắt lọc các mẫu hành vi từ hoạt động hệ thống tệp).

II. Main Idea:​

FileGram là một khuôn khổ toàn diện nhằm xây dựng bộ nhớ và cá nhân hóa tác nhân dựa trên các dấu vết hành vi trong hệ thống tệp. FileGram bao gồm ba thành phần chính:

  1. FileGramEngine: Một công cụ dữ liệu có khả năng mở rộng, định hướng theo persona, mô phỏng các quy trình làm việc thực tế để tạo ra các chuỗi hành động đa phương thức, chi tiết ở quy mô lớn.
  2. FileGramBench: Một benchmark chẩn đoán dựa trên các dấu vết hành vi hệ thống tệp, đánh giá hệ thống bộ nhớ trên các khía cạnh như tái tạo hồ sơ, phân tách dấu vết, phát hiện sự thay đổi persona và căn chỉnh đa phương thức.
  3. FileGramOS: Một kiến trúc bộ nhớ từ dưới lên, xây dựng hồ sơ người dùng trực tiếp từ các hành động nguyên tử và các thay đổi nội dung (content deltas) thay vì các bản tóm tắt hội thoại. Nó mã hóa các dấu vết này thành các kênh thủ tục, ngữ nghĩa và theo từng sự kiện với khả năng trừu tượng hóa tại thời điểm truy vấn.

III. Main Results:​

FileGramBench vẫn là một thách thức đối với các hệ thống bộ nhớ hiện đại, với các phương pháp dựa trên ngữ cảnh và kể chuyện chỉ đạt độ chính xác 48–50%, và các phương pháp đa phương thức thậm chí còn kém hơn ở mức 44.7%. FileGramOS đạt 59.6% độ chính xác bằng cách bảo toàn các hành động nguyên tử và content deltas trong kiến trúc từ dưới lên. Kết quả cũng cho thấy FileGramEngine và FileGramOS hiệu quả. Các phương pháp hiện tại có năng lực một phần trong việc hiểu hành vi nhưng thất bại trong việc gán nguyên nhân thay đổi và căn chỉnh đa phương thức. Cấu trúc vi mô hoạt động chi tiết là tín hiệu quyết định cho việc cá nhân hóa hệ thống tệp.

IV. Conclusion & Future Works:​

FileGram cung cấp dữ liệu, đánh giá và nền tảng cấu trúc cần thiết để thúc đẩy sự phát triển của các tác nhân AI cộng tác thực sự thích ứng và cá nhân hóa. Bằng cách công khai mã nguồn, nhóm nghiên cứu mong muốn mở đường cho các nghiên cứu trong tương lai về các tác nhân hệ thống tệp tập trung vào bộ nhớ và cá nhân hóa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các kiến trúc bộ nhớ mới tập trung vào việc xử lý các thay đổi hành vi (persona drift) và giải thích nguyên nhân của chúng, đặc biệt là trong môi trường đa phương tiện, để cải thiện hiệu suất trên Track 3 (Detection) của FileGramBench.
  2. Phát triển các phương pháp tạo dữ liệu hành vi người dùng trong hệ thống tệp phức tạp hơn, có khả năng mô phỏng các tương tác đa tác vụ và đa phiên kéo dài, vượt ra ngoài các kịch bản hiện tại của FileGramEngine.
  3. Khám phá cách tích hợp sâu hơn các tín hiệu đa phương thức (hình ảnh, âm thanh, video) trực tiếp từ các hoạt động hệ thống tệp vào các kênh bộ nhớ của tác nhân AI, thay vì chỉ sử dụng chú thích hoặc mô tả, để cải thiện khả năng hiểu và cá nhân hóa hành vi người dùng.

2. Patent:​

  1. Hệ thống trợ lý tệp thông minh trên điện thoại di động: Một ứng dụng trên điện thoại tự động học cách người dùng sắp xếp, đặt tên và quản lý tệp tin (ảnh, tài liệu, video). Dựa trên thói quen này, ứng dụng có thể đề xuất vị trí lưu trữ tệp mới, tự động đổi tên tệp theo quy tắc của người dùng, hoặc thậm chí gợi ý xóa các tệp tạm thời không cần thiết, giúp người dùng tiết kiệm thời gian và giữ cho bộ nhớ điện thoại luôn gọn gàng.
  2. Công cụ dự đoán hành vi và hỗ trợ công việc trên máy tính/điện thoại: Một phần mềm chạy ẩn trên thiết bị, theo dõi các hành động của người dùng như mở ứng dụng, tạo tài liệu, chỉnh sửa ảnh. Khi người dùng bắt đầu một tác vụ tương tự với những gì đã làm trước đây, hệ thống sẽ tự động gợi ý các tệp liên quan, mở sẵn các ứng dụng cần thiết hoặc cung cấp các tài liệu mẫu dựa trên thói quen làm việc của người dùng, giúp tăng tốc độ hoàn thành công việc.
  3. Tính năng phát hiện thay đổi hành vi người dùng bất thường: Một hệ thống bảo mật trên điện thoại hoặc máy tính, liên tục giám sát cách người dùng tương tác với các tệp tin và ứng dụng. Nếu phát hiện các hành vi bất thường, ví dụ như một lượng lớn tệp bị xóa hoặc di chuyển đột ngột không theo thói quen, hoặc truy cập vào các thư mục nhạy cảm vào thời điểm không điển hình, hệ thống sẽ gửi cảnh báo cho người dùng hoặc tạm thời khóa một số chức năng để ngăn chặn các truy cập trái phép hoặc hành động sai lầm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.04901
ArXiv Abstracthttps://arxiv.org/abs/2604.04901
PDF Downloadhttps://arxiv.org/pdf/2604.04901.pdf
Github Repositoryhttps://github.com/synvo-ai/FileGram

9. SpatialEdit: Benchmarking Fine-Grained Image Spatial Editing (26 votes)​

Tác giả: Yicheng Xiao, Wenhu Zhang, Lin Song, Yukang Chen, Wenbo Li, Nan Jiang, Tianhe Ren, Haokun Lin, Wei Huang, Haoyang Huang, Xiu Li, Nan Duan, Xiaojuan Qi

Xuất bản lúc: 2026-04-06

Tag: Fine-Grained Spatial Editing, Geometry-Aware Benchmark, Synthetic Dataset, Diffusion Models, Vision-Language Models, Image Editing

I. Main Problem:​

Các mô hình chỉnh sửa hình ảnh hiện tại không đủ khả năng thực hiện các thao tác không gian tinh chỉnh, đặc biệt là trong việc kiểm soát bố cục đối tượng và góc nhìn camera. Các hệ thống hiện có thường gặp ba vấn đề chính: (i) đòi hỏi đầu vào chuyên sâu như quỹ đạo camera 6-DoF đầy đủ, gây khó khăn cho người dùng phổ thông; (ii) xuất sắc trong chỉnh sửa ngữ nghĩa nhưng lại bỏ sót ý định về chỉ số hoặc góc nhìn (ví dụ: 'xoay camera 90 độ sang phải'); và (iii) chỉ hỗ trợ các thao tác hẹp và không tổng quát hóa được. Ngoài ra, việc đánh giá khả năng chỉnh sửa không gian còn kém phát triển, với các chỉ số hiện tại không thể phân biệt đáng tin cậy giữa 'trông có vẻ đúng' và 'thực sự đúng'. Cuối cùng, có một nút thắt cổ chai về dữ liệu huấn luyện quy mô lớn, do khó khăn trong việc thu thập các cặp hình ảnh với biến đổi hình học đã biết, nhận dạng đối tượng nhất quán và hướng dẫn rõ ràng.

II. Main Idea:​

Để giải quyết các vấn đề trên, nghiên cứu này giới thiệu SpatialEdit-Bench, một bộ tiêu chuẩn toàn diện đánh giá chỉnh sửa không gian bằng cách đo lường đồng thời tính hợp lý về mặt nhận thức và độ chính xác hình học thông qua tái tạo góc nhìn và phân tích khung hình. Để khắc phục nút thắt cổ chai về dữ liệu, nhóm tác giả đã xây dựng SpatialEdit-500k, một bộ dữ liệu tổng hợp quy mô lớn được tạo ra bằng quy trình Blender có kiểm soát, kết xuất các đối tượng trên nhiều nền đa dạng và quỹ đạo camera có hệ thống, cung cấp các biến đổi ground-truth chính xác cho cả thao tác cấp đối tượng và cấp camera. Dựa trên bộ dữ liệu này, nhóm tác giả đã phát triển SpatialEdit-16B, một mô hình cơ sở cho chỉnh sửa không gian tinh chỉnh. Mô hình này kết hợp bộ mã hóa đa phương thức được huấn luyện trước với bộ giải mã MM-DiT, được tinh chỉnh bằng LoRA trên SpatialEdit-500k để đảm bảo hiệu suất mạnh mẽ trong chỉnh sửa tổng quát và vượt trội trong các tác vụ thao tác không gian.

III. Main Results:​

Mô hình SpatialEdit-16B đạt hiệu suất cạnh tranh trong các tác vụ chỉnh sửa tổng quát (7.52 trên GEdit-Bench). Quan trọng hơn, nó vượt trội đáng kể so với các phương pháp trước đây trong các tác vụ thao tác không gian: vượt qua LongCatImage-Edit 0.300 điểm về điểm di chuyển và 0.127 điểm về điểm xoay, đồng thời đạt được lỗi thấp nhất trong kiểm soát camera. Nghiên cứu cũng chỉ ra rằng các mô hình thế giới dựa trên video vẫn kém hơn đáng kể so với các mô hình chỉnh sửa không gian dựa trên hình ảnh trong việc thực hiện thao tác không gian tinh chỉnh được hướng dẫn bằng văn bản. Ngoài ra, mô hình này có thể hoạt động như một công cụ nâng cao thực tế cho tái tạo từ một góc nhìn duy nhất.

IV. Conclusion & Future Works:​

Nghiên cứu này đã giới thiệu SpatialEdit-Bench, một bộ tiêu chuẩn mới, cùng với SpatialEdit-500k, một bộ dữ liệu tổng hợp có kiểm soát, và SpatialEdit-16B, một mô hình cơ sở hiệu suất cao cho chỉnh sửa hình ảnh không gian tinh chỉnh. Các đóng góp này nhấn mạnh sự cần thiết của việc đánh giá nhạy cảm với hình học để chẩn đoán khả năng không gian thực sự của các mô hình. Tất cả các tài nguyên (bộ tiêu chuẩn, bộ dữ liệu và mô hình) sẽ được công khai để thúc đẩy nghiên cứu trong lĩnh vực này. Hướng phát triển trong tương lai có thể tập trung vào việc cải thiện hơn nữa khả năng kiểm soát hình học, mở rộng tính đa dạng và độ phức tạp của dữ liệu huấn luyện tổng hợp, cũng như phát triển các phương pháp đánh giá hình học và ngữ nghĩa hợp nhất để nâng cao hiệu suất và tính ứng dụng của các hệ thống chỉnh sửa không gian.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu kiến trúc mô hình mới cho chỉnh sửa không gian đa phương thức: Khám phá các kiến trúc mô hình học sâu có khả năng xử lý đồng thời thông tin hình ảnh và ngôn ngữ để thực hiện các biến đổi hình học phức tạp, đặc biệt tập trung vào việc duy trì tính nhất quán 3D và độ chính xác về mặt vật lý của các đối tượng và cảnh.
  2. Phát triển phương pháp tạo dữ liệu tổng hợp dựa trên vật lý cho các tương tác không gian phức tạp: Mở rộng quy trình tạo dữ liệu tổng hợp để bao gồm các tương tác vật lý (ví dụ: va chạm, ma sát) và biến dạng đối tượng, cung cấp ground-truth chính xác cho các tác vụ chỉnh sửa không gian nâng cao hơn và các ứng dụng robot.
  3. Đánh giá định lượng tính trung thực hình học và tính hợp lý nhận thức trong chỉnh sửa ảnh: Thiết kế các chỉ số đánh giá mới kết hợp các phép đo dựa trên thị giác máy tính truyền thống (ví dụ: IoU, lỗi pose 3D) với các đánh giá dựa trên mô hình ngôn ngữ thị giác để định lượng một cách toàn diện chất lượng của các bản chỉnh sửa không gian, cân bằng giữa độ chính xác hình học và tính thẩm mỹ.

2. Patent:​

  1. Ứng dụng chỉnh sửa ảnh 3D thông minh trên điện thoại: Một tính năng cho phép người dùng di chuyển, xoay hoặc thay đổi kích thước các đối tượng trong ảnh bằng cách kéo thả hoặc nhập lệnh văn bản đơn giản. Hệ thống sẽ tự động điều chỉnh phối cảnh và ánh sáng để đối tượng được chỉnh sửa trông tự nhiên trong khung cảnh 3D của ảnh, thích hợp cho việc tạo ảnh sản phẩm hoặc ảnh nghệ thuật.
  2. Chỉnh sửa góc nhìn camera ảo cho video/ảnh trên điện thoại: Một công cụ cho phép người dùng thay đổi góc nhìn của camera trong một bức ảnh hoặc đoạn video đã quay, ví dụ như 'xoay camera 45 độ sang trái' hoặc 'phóng to vào đối tượng chính'. Ứng dụng sẽ tái tạo lại khung cảnh như thể được quay từ một góc khác, hữu ích cho việc chỉnh sửa video du lịch hoặc cải thiện bố cục ảnh sau khi chụp.
  3. Công cụ tạo cảnh thực tế tăng cường (AR) với vị trí đối tượng chính xác: Một tính năng trong ứng dụng AR trên điện thoại cho phép người dùng đặt các vật thể ảo vào môi trường thực tế với độ chính xác cao về vị trí và hướng. Ví dụ, người dùng có thể đặt một chiếc ghế ảo vào phòng và xoay nó để xem phù hợp với không gian, hoặc di chuyển nó đến một vị trí cụ thể, với khả năng điều khiển thông qua cử chỉ hoặc lệnh giọng nói.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.04911
ArXiv Abstracthttps://arxiv.org/abs/2604.04911
PDF Downloadhttps://arxiv.org/pdf/2604.04911.pdf
Github Repositoryhttps://github.com/EasonXiao-888/SpatialEdit

10. LightThinker++: From Reasoning Compression to Memory Management (24 votes)​

Tác giả: Yuqi Zhu, Jintian Zhang, Zhenjie Wan, Yujie Luo, Shuofei Qiao, Zhengke Gui, Da Zheng, Lei Liang, Huajun Chen, Ningyu Zhang

Xuất bản lúc: 2026-04-04

Tag: LLMs, Reasoning, Memory Management, Compression, Agentic Tasks, Inference Acceleration, Transformer

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) vượt trội trong suy luận phức tạp, nhưng hiệu quả của chúng bị hạn chế bởi chi phí nhận thức tăng vọt từ các chuỗi suy nghĩ dài. Độ phức tạp tính toán của cơ chế attention trong kiến trúc Transformer tăng theo hàm bậc hai với độ dài ngữ cảnh, và chi phí lưu trữ của KV Cache tăng tuyến tính. Điều này dẫn đến sự gia tăng đáng kể về chi phí bộ nhớ và tính toán, hạn chế nghiêm trọng hiệu quả thực tế của LLMs trong việc tạo văn bản dài và các tác vụ suy luận phức tạp. Ngoài ra, các phương pháp nén tĩnh thường gặp khó khăn với suy luận phức tạp do mất mát không thể đảo ngược các chi tiết trung gian, dẫn đến các nút thắt logic.

II. Main Idea:​

Để giải quyết vấn đề này, bài báo giới thiệu LightThinker, một phương pháp cho phép LLM nén động các suy nghĩ trung gian thành các biểu diễn ngữ nghĩa nhỏ gọn. LightThinker hoạt động ở cấp độ biểu diễn, loại bỏ chuỗi suy nghĩ gốc và tiếp tục suy luận dựa trên nội dung đã nén bằng cách sử dụng các mặt nạ attention được thiết kế đặc biệt.

Sau đó, để khắc phục hạn chế của việc mất thông tin không thể đảo ngược trong nén ẩn, khung LightThinker được phát triển thành LightThinker++. LightThinker++ giới thiệu Quản lý Bộ nhớ Thích ứng Tường minh (Explicit Adaptive Memory Management) ở cấp độ hành vi, tích hợp các nguyên thủy bộ nhớ tường minh như commit, expand và fold. Điều này cho phép mô hình tự động lưu trữ các suy nghĩ thành tóm tắt ngữ nghĩa hoặc truy xuất chi tiết thô khi cần thiết về mặt logic. Một quy trình tổng hợp quỹ đạo chuyên biệt được phát triển để huấn luyện lịch trình bộ nhớ có mục đích, tạo ra các quỹ đạo chuyên gia xen kẽ suy luận với các thao tác bộ nhớ có chủ đích.

III. Main Results:​

  • LightThinker: Giảm 70% mức sử dụng token cao nhất và giảm 26% thời gian suy luận với tổn thất độ chính xác tối thiểu (chỉ 1%). Đạt được tỷ lệ nén 4,5 lần trên Qwen và 3,9 lần trên Llama. Phân đoạn cấp độ suy nghĩ (thought-level) vượt trội hơn phân đoạn cấp độ token (token-level), cải thiện độ chính xác 6,2% trên Qwen và 5,6% trên Llama. Tạo ra ít token hơn 15% trên Qwen và 13% trên Llama so với Vanilla. Dưới cùng một ngân sách bộ nhớ, giảm thời gian suy luận trung bình 2,5 lần so với Vanilla (mô hình Qwen).
  • LightThinker++: Trong suy luận tiêu chuẩn (cài đặt Budget), giảm 45,0% mức sử dụng token cao nhất và tăng độ chính xác trung bình +2,42% dưới cùng một ngân sách ngữ cảnh. Trong suy luận tiêu chuẩn (cài đặt Throughput), giảm 69,9% bộ nhớ cao nhất trong khi duy trì độ chính xác cơ sở. Đáng chú ý nhất, trong các tác vụ đại lý dài hạn (hơn 80 vòng), nó duy trì dấu chân ổn định (30k–40k token, giảm 60%–70% so với 100k token của Vanilla ở 60 vòng), đạt được mức tăng hiệu suất trung bình 14,8% trên các kịch bản phức tạp khác nhau. Cung cấp mức tăng Pass@1 trung bình +4,4% trên ba điểm chuẩn, với mức tăng hiệu suất 2,51 lần trên tập con khó đầy thách thức.

IV. Conclusion & Future Works:​

Công trình này cung cấp một hướng đi có thể mở rộng để duy trì khả năng suy luận sâu của LLM trong thời gian dài với chi phí tối thiểu. Gia đình LightThinker đạt được sự cân bằng tốt giữa hiệu quả suy luận và độ chính xác, mang lại những hiểu biết mới cho việc tăng tốc suy luận LLM trong tương lai. Sự chuyển đổi từ nén ẩn (LightThinker) sang quản lý bộ nhớ tường minh (LightThinker++) phản ánh sự thay đổi từ tối ưu hóa cấu trúc sang quản lý hành vi, giải quyết các hạn chế vốn có của các nút thắt thông tin cứng nhắc. LightThinker++ cung cấp khả năng kiểm soát ngữ cảnh thích ứng, độ trung thực suy luận được cải thiện và khả năng diễn giải so với nén tĩnh và có thể mất mát của LightThinker.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế nén suy luận thích ứng đa cấp độ, kết hợp cả nén ẩn (hidden-state) và nén tường minh (semantic summary), để tối ưu hóa hiệu quả và độ chính xác trên các loại tác vụ khác nhau, từ đó tạo ra một mô hình quản lý bộ nhớ linh hoạt hơn cho LLMs.
  2. Phát triển phương pháp huấn luyện mô hình ngôn ngữ lớn để tự động học các chiến lược quản lý bộ nhớ hiệu quả trong các tác vụ đại lý dài hạn, không chỉ dựa trên các hành động thủ công mà còn thông qua học tăng cường hoặc học từ phản hồi của môi trường.
  3. Khám phá việc tích hợp các mô hình nén suy luận như LightThinker++ với các kiến trúc Transformer mới hoặc các kỹ thuật tối ưu hóa KV Cache tiên tiến khác để đạt được hiệu suất vượt trội hơn nữa trong việc xử lý ngữ cảnh dài và giảm chi phí tính toán.

2. Patent:​

  1. Hệ thống hỗ trợ ghi chú thông minh trên di động: Một ứng dụng trên điện thoại di động sử dụng công nghệ nén suy luận để tự động tóm tắt các cuộc họp, bài giảng hoặc cuộc trò chuyện dài. Thay vì lưu trữ toàn bộ văn bản, nó sẽ lưu trữ các điểm chính và cho phép người dùng "mở rộng" chi tiết khi cần, giúp tiết kiệm bộ nhớ, dễ dàng xem lại thông tin quan trọng và cải thiện hiệu suất của ứng dụng trên thiết bị di động.
  2. Trợ lý cá nhân ảo hiệu quả cao: Một trợ lý ảo trên điện thoại có khả năng ghi nhớ và xử lý các chuỗi yêu cầu phức tạp, dài hơi mà không bị quá tải bộ nhớ. Ví dụ, người dùng có thể yêu cầu lên kế hoạch du lịch chi tiết qua nhiều bước tương tác, và trợ lý sẽ chỉ giữ lại các thông tin cốt lõi, mở rộng chi tiết khi cần để đưa ra các gợi ý phù hợp mà vẫn duy trì tốc độ phản hồi nhanh, mang lại trải nghiệm mượt mà trên điện thoại.
  3. Tối ưu hóa trình duyệt web di động với ngữ cảnh dài: Một tính năng tích hợp vào trình duyệt web trên điện thoại, tự động nén và quản lý ngữ cảnh của các trang web hoặc chuỗi tìm kiếm dài. Khi người dùng duyệt nhiều trang hoặc thực hiện nhiều truy vấn liên quan, hệ thống sẽ tóm tắt các thông tin đã xem, giúp trình duyệt duy trì hiệu suất mượt mà, giảm tải bộ nhớ và cho phép quay lại các ngữ cảnh trước đó một cách hiệu quả mà không làm chậm thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.03679
ArXiv Abstracthttps://arxiv.org/abs/2604.03679
PDF Downloadhttps://arxiv.org/pdf/2604.03679.pdf
Github RepositoryN/A

11. Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing (23 votes)​

Tác giả: Gengsheng Li, Tianyu Yang, Junfeng Fang, Mingyang Song, Mao Zheng, Haiyun Guo, Dan Zhang, Jinqiao Wang, Tat-Seng Chua

Xuất bản lúc: 2026-04-02

Tag: Reinforcement Learning, LLMs, Policy Optimization, Self-Distillation, GRPO, SDPO, Sample Routing, Entropy-aware weighting

I. Main Problem:​

Các phương pháp tối ưu hóa chính sách hiện có cho việc hậu huấn luyện các mô hình ngôn ngữ lớn (LLMs) gặp phải những hạn chế đáng kể. Cụ thể, Group Relative Policy Optimization (GRPO) ổn định nhưng phân bổ tín dụng thô, phạt đồng nhất các lần chạy thử (rollouts) thất bại mà không tập trung vào cấp độ token, làm giảm hiệu quả mẫu và làm chậm quá trình hội tụ. Ngược lại, Self-Distillation Policy Optimization (SDPO) cung cấp giám sát cấp độ logit dày đặc, có mục tiêu để cải thiện nhanh chóng giai đoạn đầu, nhưng thường bị sụp đổ trong quá trình huấn luyện kéo dài. Sự mất ổn định ở giai đoạn cuối này được cho là do hai lỗi nội tại: tự chưng cất trên các mẫu đã đúng gây ra sự mơ hồ trong tối ưu hóa, và độ tin cậy của tín hiệu từ giáo viên tự động giảm dần theo thời gian.

II. Main Idea:​

Để giải quyết các vấn đề trên, chúng tôi đề xuất Sample-Routed Policy Optimization (SRPO), một khung on-policy thống nhất định tuyến các mẫu đúng đến nhánh GRPO để tăng cường dựa trên phần thưởng, và các mẫu thất bại (có thông tin giáo viên) đến nhánh SDPO để sửa lỗi cấp độ logit có mục tiêu. SRPO còn tích hợp một cơ chế trọng số động nhận biết entropy để loại bỏ các mục tiêu chưng cất có entropy cao, không đáng tin cậy, đồng thời nhấn mạnh các mục tiêu đáng tin cậy hơn. Thiết kế này cho phép sửa lỗi nhanh chóng ở giai đoạn đầu huấn luyện, đồng thời tăng cường sự phụ thuộc vào củng cố dựa trên phần thưởng khi ngày càng nhiều lần chạy thử trở nên đúng, từ đó ổn định quá trình tối ưu hóa ở giai đoạn cuối.

III. Main Results:​

SRPO đã được đánh giá trên năm bộ tiêu chuẩn và hai quy mô mô hình Qwen3, đạt được cả sự cải thiện nhanh chóng ban đầu của SDPO và sự ổn định dài hạn của GRPO. Nó liên tục vượt qua hiệu suất cao nhất của cả hai phương pháp cơ sở, nâng mức trung bình trên năm bộ tiêu chuẩn của Qwen3-8B lên 3.4% so với GRPO và 6.3% so với SDPO. SRPO đồng thời tạo ra độ dài phản hồi vừa phải và giảm chi phí tính toán trên mỗi bước lên tới 17.2% trong các đường huấn luyện dài hạn. Các nghiên cứu loại bỏ cho thấy định tuyến mẫu mạnh mẽ hơn so với trộn cấp độ lợi thế và trọng số động cung cấp thêm lợi ích ở giai đoạn cuối.

IV. Conclusion & Future Works:​

SRPO là một khung on-policy thống nhất giải quyết sự đánh đổi giữa củng cố dựa trên phần thưởng và tự chưng cất trong hậu huấn luyện LLM. Bằng cách định tuyến các mẫu thành công đến GRPO và các mẫu thất bại đến SDPO (với trọng số động nhận biết entropy), SRPO duy trì hiệu quả ban đầu của tự chưng cất và sự ổn định dài hạn của củng cố dựa trên phần thưởng, đồng thời cải thiện độ chính xác, độ dài phản hồi và thời gian tính toán. Một hướng nghiên cứu quan trọng trong tương lai là mở rộng khung này sang các môi trường có phản hồi phong phú hơn, để nhánh tự chưng cất có thể tận dụng tốt hơn thông tin môi trường.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cơ chế định tuyến mẫu thích ứng dựa trên độ tin cậy: Nghiên cứu và phát triển các cơ chế định tuyến mẫu không chỉ dựa trên kết quả đúng/sai mà còn tích hợp các chỉ số độ tin cậy hoặc sự không chắc chắn của mô hình. Điều này có thể bao gồm việc sử dụng các ngưỡng động hoặc phân phối xác suất để quyết định xem một mẫu nên được định tuyến đến GRPO hay SDPO, nhằm tối ưu hóa việc học liên tục.
  2. SRPO đa nhiệm và đa ngôn ngữ: Khám phá cách mở rộng SRPO để xử lý các tác vụ đa nhiệm (ví dụ: kết hợp lập luận khoa học với sử dụng công cụ) hoặc các mô hình đa ngôn ngữ. Điều này sẽ yêu cầu điều chỉnh cách xác định "đúng"/"sai" và cách thu thập thông tin giáo viên trong các ngữ cảnh đa dạng, cũng như đảm bảo tính ổn định trên nhiều bộ dữ liệu và ngôn ngữ.
  3. Tối ưu hóa tự chưng cất với phản hồi bên ngoài phong phú: Phát triển các phương pháp để tích hợp hiệu quả hơn thông tin phản hồi bên ngoài (ví dụ: từ người dùng, môi trường mô phỏng phức tạp, hoặc các mô hình chuyên gia khác) vào nhánh SDPO. Điều này có thể bao gồm việc thiết kế các "giáo viên" lai hoặc các chiến lược kết hợp tín hiệu để tăng cường độ chính xác và tính ổn định của quá trình tự chưng cất, đặc biệt trong các kịch bản có phản hồi không rõ ràng hoặc không đầy đủ.

2. Patent:​

  1. Hệ thống trợ lý viết thông minh trên điện thoại di động: Một ứng dụng trợ lý viết hoặc bàn phím thông minh tích hợp công nghệ SRPO. Khi người dùng soạn thảo văn bản, hệ thống sẽ liên tục đánh giá các câu hoặc đoạn văn. Nếu nội dung đúng ngữ pháp và logic, nó sẽ được củng cố để duy trì phong cách và chất lượng. Nếu có lỗi (chính tả, ngữ pháp, hoặc logic) hoặc sự mơ hồ, hệ thống sẽ tự động đưa ra các gợi ý sửa lỗi chi tiết ở cấp độ từ/cụm từ, đồng thời sử dụng cơ chế trọng số động để ưu tiên các gợi ý đáng tin cậy. Điều này giúp người dùng cải thiện kỹ năng viết và giảm thiểu lỗi một cách hiệu quả.
  2. Công cụ tối ưu hóa phản hồi cho chatbot dịch vụ khách hàng trên thiết bị di động: Một nền tảng chatbot dành cho dịch vụ khách hàng trên điện thoại, sử dụng SRPO để cải thiện chất lượng và tính nhất quán của các phản hồi. Các phản hồi chính xác và hữu ích sẽ được hệ thống học cách củng cố. Những phản hồi không chính xác, mơ hồ hoặc dẫn đến sự nhầm lẫn của người dùng sẽ được điều chỉnh ở cấp độ chi tiết (token-level) dựa trên phản hồi của người dùng hoặc dữ liệu từ các chuyên viên hỗ trợ. Cơ chế trọng số động sẽ đảm bảo rằng các điều chỉnh chỉ được áp dụng khi có độ tin cậy cao, giúp chatbot liên tục học hỏi và cung cấp dịch vụ tốt hơn mà không bị suy giảm chất lượng theo thời gian.
  3. Hệ thống học tập cá nhân hóa trên thiết bị di động: Một ứng dụng học tập trên điện thoại hoặc máy tính bảng sử dụng SRPO để cung cấp các bài tập và phản hồi tùy chỉnh. Khi người dùng làm bài tập, hệ thống sẽ đánh giá câu trả lời. Nếu câu trả lời đúng, nó sẽ củng cố kiến thức đó. Nếu sai, hệ thống sẽ cung cấp hướng dẫn chi tiết từng bước (logit-level correction) để sửa lỗi, dựa trên thông tin "giáo viên" (ví dụ: lời giải đúng hoặc kiến thức nền tảng) và độ tin cậy của các gợi ý. Điều này giúp học sinh hiểu rõ nguyên nhân sai và học hiệu quả hơn, với khả năng điều chỉnh liên tục mà không bị "quên" các kiến thức đã học đúng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.02288
ArXiv Abstracthttps://arxiv.org/abs/2604.02288
PDF Downloadhttps://arxiv.org/pdf/2604.02288.pdf
Github RepositoryN/A

12. Self-Execution Simulation Improves Coding Models (22 votes)​

Tác giả: Gallil Maimon, Ori Yoran, Felix Kreuk, Michael Hassid, Gal Cohen, Pierre Chambon, Yossi Adi

Xuất bản lúc: 2026-03-11

Tag: LLMs, Code Generation, Reinforcement Learning, Supervised Fine-tuning, Program Execution Simulation, Self-Verification, Self-Correction, Competitive Programming

I. Main Problem:​

Large Language Models (LLMs) gặp khó khăn trong việc ước tính chính xác quá trình thực thi chương trình, đặc biệt là đối với mã mà chúng tự tạo ra. Điều này dẫn đến việc tạo ra mã không nhất quán và thường xuyên sai sót. Ngoài ra, việc thực thi mã thực tế trong quá trình huấn luyện và suy luận trên quy mô lớn đặt ra nhiều thách thức thực tế như thiết lập môi trường, quản lý các phụ thuộc, xử lý mã không thể thực thi và chi phí tính toán cao.

II. Main Idea:​

Các tác giả đề xuất một phương pháp huấn luyện các mô hình ngôn ngữ lớn (LLMs) để mô phỏng quá trình thực thi chương trình từng bước, sau đó sử dụng khả năng này để cải thiện hiệu suất trong các bài toán lập trình cạnh tranh. Phương pháp này kết hợp:1. Huấn luyện tinh chỉnh có giám sát (SFT) trên các dấu vết thực thi bằng ngôn ngữ tự nhiên (Natural Language Execution Tracing - NLEX), là các giải thích văn bản dựa trên quá trình thực thi thực tế.2. Học tăng cường (RL) sử dụng các phần thưởng có thể kiểm chứng được.Các mục tiêu chính bao gồm: dự đoán đầu ra của mã khi có đầu vào, và giải quyết các bài toán lập trình cạnh tranh với phản hồi thực thi (từ dữ liệu thực hoặc tự dự đoán). Điều này cho phép các mô hình thực hiện tự xác minh (self-verification) trên nhiều giải pháp ứng cử viên và tự sửa lỗi lặp đi lặp lại (iterative self-fixing) bằng cách mô phỏng quá trình thực thi thử nghiệm.

III. Main Results:​

  • Phương pháp đề xuất mang lại cải thiện đáng kể trong dự đoán đầu ra trên CruxEval (lên tới 43%) và giải pháp lập trình cạnh tranh (lên tới 39%) so với các phương pháp lập luận tiêu chuẩn.- Trong cài đặt best@k (tự xác minh), việc sử dụng dự đoán đầu ra của mô hình để xác minh các giải pháp ứng cử viên của chính nó đã cải thiện độ chính xác của mã lên tới 5.5% điểm tuyệt đối trên các bài toán lập trình cạnh tranh.- Trong cài đặt đa lượt Self-RLEF (tự sửa lỗi), phương pháp này liên tục vượt trội so với các mô hình CWM (Code World Model) chính thức và CWM được huấn luyện bằng RL, cải thiện tỷ lệ vượt qua trên cả các bài kiểm tra công khai và riêng tư.- So với việc thực thi thực tế, cả hai biến thể best@k và đa lượt đều cho thấy mức suy giảm tương đối nhỏ (simulation gap), chứng tỏ tính khả dụng của phương pháp đề xuất.- Các mô hình được huấn luyện đặc biệt cho việc mô phỏng thực thi có thể đáng tin cậy thực hiện tự thực thi (self-execution), ngay cả trên mã do chính chúng tạo ra, điều này đi ngược lại một số phát hiện trước đây.

IV. Conclusion & Future Works:​

Tóm lại, công trình này đã chứng minh rằng LLM có thể được huấn luyện để mô phỏng quá trình thực thi mã và khả năng này có thể được sử dụng để cải thiện việc tạo mã. Bằng cách kết hợp SFT trên NLEX với RLVR, các mô hình đã có được khả năng dự đoán kết quả thực thi cho các chương trình nói chung cũng như mã do chính chúng tạo ra. Tận dụng khả năng này, các chiến lược tự xác minh và tự sửa lỗi lặp lại đã được giới thiệu, sử dụng tín hiệu thực thi dự đoán để chọn hoặc tinh chỉnh các giải pháp ứng cử viên mà không cần dựa vào thực thi bên ngoài. Các kết quả thực nghiệm cho thấy sự cải thiện nhất quán so với các đường cơ sở tiêu chuẩn và một 'khoảng cách mô phỏng' tương đối nhỏ so với thực thi thực tế.Trong tương lai, hướng nghiên cứu thú vị nhất là sử dụng toàn bộ thông tin mô phỏng thực thi phong phú (không chỉ đầu ra cuối cùng) làm phản hồi cho việc sửa mã lặp đi lặp lại. Phản hồi này có thể truyền tải thông tin phong phú hơn (ví dụ: tại sao đầu ra lại như vậy, nguyên nhân gốc rễ của lỗi) so với chỉ đầu ra, cung cấp cái nhìn sâu sắc về các nguyên nhân cơ bản của lỗi. Tuy nhiên, việc huấn luyện với phản hồi văn bản phong phú hiện đang gặp thách thức về tính ổn định của quá trình huấn luyện và định nghĩa phần thưởng có thể kiểm chứng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mô phỏng thực thi mã đa ngôn ngữ và đa tác vụ: Mở rộng phương pháp mô phỏng thực thi tự động sang nhiều ngôn ngữ lập trình (ví dụ: Java, C++, JavaScript) và các tác vụ kỹ thuật phần mềm phức tạp hơn ngoài lập trình cạnh tranh đơn tệp, như gỡ lỗi các dự án đa tệp hoặc xử lý các vấn đề trên GitHub.
  2. Tối ưu hóa phản hồi mô phỏng thực thi phong phú cho RL: Nghiên cứu các kỹ thuật mới để ổn định quá trình huấn luyện học tăng cường khi sử dụng phản hồi mô phỏng thực thi phong phú (ví dụ: giải thích từng bước, trạng thái biến trung gian) thay vì chỉ đầu ra cuối cùng. Điều này bao gồm việc định nghĩa phần thưởng có thể kiểm chứng và các chiến lược lấy mẫu hiệu quả.
  3. Mô hình hóa thế giới mã (Code World Model) với khả năng dự đoán lỗi chi tiết: Phát triển các kiến trúc LLM chuyên biệt có khả năng không chỉ dự đoán đầu ra mà còn dự đoán loại lỗi cụ thể, vị trí lỗi và đề xuất sửa lỗi chi tiết trong quá trình mô phỏng thực thi, giúp cải thiện đáng kể khả năng tự sửa lỗi.

2. Patent:​

  1. Hệ thống trợ lý lập trình di động với tính năng tự xác minh mã: Một ứng dụng trên điện thoại di động tích hợp mô hình mô phỏng quá trình chạy mã. Người dùng có thể viết hoặc dán đoạn mã, và ứng dụng sẽ tự động mô phỏng quá trình chạy mã với các đầu vào mẫu, sau đó đưa ra dự đoán về kết quả hoặc lỗi mà không cần thực sự chạy mã trên thiết bị. Điều này giúp kiểm tra nhanh tính đúng đắn của mã trên điện thoại mà không cần môi trường phát triển phức tạp.
  2. Công cụ gỡ lỗi mã thông minh dựa trên mô phỏng thực thi cho thiết bị di động: Phát triển một công cụ gỡ lỗi tích hợp vào môi trường phát triển (IDE) trên máy tính hoặc ứng dụng lập trình trên máy tính bảng/điện thoại, sử dụng mô phỏng thực thi để xác định lỗi trong mã. Thay vì chạy mã thật, công cụ này sẽ dự đoán trạng thái của các biến và luồng thực thi, sau đó đề xuất các điểm sửa lỗi tiềm năng hoặc giải thích nguyên nhân lỗi bằng ngôn ngữ tự nhiên, giúp lập trình viên gỡ lỗi hiệu quả hơn và tiết kiệm tài nguyên.
  3. Tối ưu hóa tài nguyên ứng dụng di động bằng cách dự đoán hiệu suất mã: Một hệ thống tích hợp vào quá trình phát triển ứng dụng di động, sử dụng mô hình mô phỏng thực thi để dự đoán hiệu suất (ví dụ: thời gian chạy, mức tiêu thụ bộ nhớ) của các đoạn mã quan trọng. Dựa trên dự đoán này, hệ thống có thể đề xuất các tối ưu hóa trước khi triển khai, giúp các nhà phát triển tạo ra ứng dụng di động nhanh hơn và tiết kiệm pin hơn mà không cần chạy thử nghiệm tốn kém trên nhiều thiết bị vật lý.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.03253
ArXiv Abstracthttps://arxiv.org/abs/2604.03253
PDF Downloadhttps://arxiv.org/pdf/2604.03253.pdf
Github RepositoryN/A

13. SkillX: Automatically Constructing Skill Knowledge Bases for Agents (21 votes)​

Tác giả: Chenxi Wang, Zhuoyun Yu, Xin Xie, Wuguannan Yao, Runnan Fang, Shuofei Qiao, Kexin Cao, Guozhou Zheng, Xiang Qi, Peng Zhang, Shumin Deng

Xuất bản lúc: 2026-04-06

Tag: LLMs, Agents, Knowledge Base, Skill Learning, Transfer Learning, Automated System, Tool Use

I. Main Problem:​

Các mô hình tác nhân dựa trên mô hình ngôn ngữ lớn (LLM agents) hiện tại học hỏi kinh nghiệm một cách không hiệu quả, dẫn đến khám phá dư thừa và khả năng khái quát hóa kém. Cụ thể, chúng thường bắt đầu lại từ đầu với mỗi tác vụ mới, dựa vào suy luận trực tiếp hoặc các ví dụ hạn chế, điều này tốn kém và không bền vững. Việc học hỏi kinh nghiệm bị giới hạn bởi ba yếu tố: (1) Học tập biệt lập (Isolated Learning), trong đó các tác nhân lặp lại việc khám phá kinh nghiệm tương tự; (2) Khả năng khái quát hóa kinh nghiệm yếu (Weak Generalization of Experience) do dữ liệu đào tạo chất lượng cao khan hiếm; và (3) Nút cổ chai về năng lực mô hình (Model Capability Bottleneck), vì kinh nghiệm được trích xuất bị giới hạn bởi khả năng hiện tại của tác nhân. Các phương pháp biểu diễn kinh nghiệm hiện có (như insights, workflows, trajectories) không đồng thời cung cấp khả năng chuyển giao mạnh mẽ, truy xuất hiệu quả và khả năng thực thi trực tiếp.

II. Main Idea:​

SkillX là một framework hoàn toàn tự động để xây dựng một cơ sở tri thức kỹ năng "plug-and-play" có thể tái sử dụng trên nhiều tác nhân và môi trường. Ý tưởng cốt lõi là tổ chức kinh nghiệm một cách có phân cấp thay vì các hành vi nguyên khối. SkillX biểu diễn kinh nghiệm ở ba cấp độ bổ trợ: (i) Kỹ năng Lập kế hoạch (Planning Skills) nắm bắt tổ chức tác vụ cấp cao; (ii) Kỹ năng Chức năng (Functional Skills) triển khai các chương trình con dựa trên công cụ có thể tái sử dụng; và (iii) Kỹ năng Nguyên tử (Atomic Skills) mã hóa các mẫu sử dụng và ràng buộc định hướng thực thi. SkillX xây dựng thư viện kỹ năng này thông qua một quy trình tự động gồm ba đổi mới: 1. Thiết kế Kỹ năng Đa cấp (Multi-Level Skills Design): Chưng cất các quỹ đạo thô thành ba cấp độ kỹ năng: kế hoạch chiến lược, kỹ năng chức năng và kỹ năng nguyên tử. 2. Tinh chỉnh Kỹ năng Lặp lại (Iterative Skills Refinement): Tự động sửa đổi kỹ năng dựa trên phản hồi thực thi để liên tục cải thiện chất lượng thư viện, bao gồm hợp nhất và lọc kỹ năng. 3. Mở rộng Kỹ năng Khám phá (Exploratory Skills Expansion): Chủ động tạo và xác thực các kỹ năng mới để mở rộng phạm vi bao phủ vượt ra ngoài dữ liệu đào tạo ban đầu, được hướng dẫn bởi kinh nghiệm để ưu tiên các công cụ ít được sử dụng hoặc dễ thất bại.

III. Main Results:​

SkillX đã cải thiện đáng kể hiệu suất của các mô hình tác nhân cơ sở yếu hơn, ví dụ, Qwen3-32B tăng khoảng 10 điểm trên nhiều benchmark. Thiết kế kỹ năng đa cấp của SkillX vượt trội so với các hình thức biểu diễn kinh nghiệm khác, đặc biệt khi mô hình trích xuất kinh nghiệm phù hợp với mô hình thực thi. Việc chưng cất kinh nghiệm từ một mô hình mạnh là hiệu quả, nhưng hình thức biểu diễn kinh nghiệm thậm chí còn quan trọng hơn để chuyển giao hiệu quả. SkillX có khả năng mở rộng ranh giới năng lực của các mô hình cơ sở yếu hơn, dẫn đến cải thiện đáng kể Pass@4. Kỹ năng lập kế hoạch (Planning skills) nhất quán giảm số bước thực thi, đặc biệt đối với các mô hình yếu hơn. Kỹ năng chức năng (Functional skills) đóng góp nhiều nhất vào cải thiện hiệu suất tổng thể. Kỹ năng nguyên tử (Atomic skills) cung cấp các làm rõ quan trọng cho các API chính. Các chiến lược tinh chỉnh lặp lại (Iterative Refinement) và mở rộng kỹ năng (Skill Expansion) tiếp tục nâng cao hiệu suất và khả năng khái quát hóa của SkillX. SkillX cũng nâng cao hiệu quả thực thi của tác nhân, giảm số bước thực thi và số lượng token đầu vào. SkillX cung cấp lợi ích hiệu suất nhất quán trên các mô hình cơ sở mạnh hơn như DeepSeek-V3.2 và GPT-4.1.

IV. Conclusion & Future Works:​

SkillX là một framework tự động để xây dựng thư viện kỹ năng "plug-and-play" cho các tác nhân LLM, sử dụng thiết kế kỹ năng đa cấp (kế hoạch, chức năng, nguyên tử) để chuyển giao kinh nghiệm hiệu quả. Framework này tinh chỉnh và mở rộng thư viện thông qua trích xuất kỹ năng, tinh chỉnh lặp lại và mở rộng kỹ năng khám phá. Các thử nghiệm chứng minh SkillX chuyển giao hiệu quả sang các mô hình khác và mang lại lợi thế trong biểu diễn kinh nghiệm, giảm khám phá dư thừa và cải thiện hiệu quả lấy mẫu. Thư viện kỹ năng tối ưu hóa sẽ được công bố. Các hướng nghiên cứu trong tương lai bao gồm: * Chuyển giao đa môi trường (Cross-environment transfer): Mở rộng khả năng của SkillX để tái sử dụng kỹ năng trực tiếp trên các miền hoặc hệ sinh thái công cụ khác biệt đáng kể, nơi các lược đồ công cụ không ổn định. * Thiết lập tương tác người dùng (User-interactive settings): Tập trung vào các kịch bản tương tác người dùng phức tạp hơn, đặc biệt là các kịch bản đối thoại không có lệnh gọi hàm, vượt ra ngoài môi trường tác nhân sử dụng công cụ hiện tại.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nâng cao khả năng chuyển giao kỹ năng đa miền cho tác nhân LLM thông qua biểu diễn trừu tượng hóa công cụ: Nghiên cứu cách tạo ra các kỹ năng ít phụ thuộc vào lược đồ công cụ cụ thể, cho phép chúng được tái sử dụng hiệu quả hơn trên các miền ứng dụng khác nhau hoặc khi các công cụ cơ bản thay đổi.
  2. SkillX cho tác nhân đối thoại: Xây dựng cơ sở tri thức kỹ năng hội thoại không dựa trên lệnh gọi hàm: Khám phá việc áp dụng và điều chỉnh SkillX để học và tổ chức các kỹ năng giao tiếp, suy luận và phản hồi trong các kịch bản đối thoại tự nhiên, nơi không có các lệnh gọi API rõ ràng.
  3. Học tập kỹ năng liên tục và thích ứng cho tác nhân LLM trong môi trường động: Phát triển các cơ chế để tác nhân LLM tự động cập nhật, sửa đổi hoặc tạo ra các kỹ năng mới để phản ứng với những thay đổi thường xuyên trong môi trường, bộ công cụ hoặc yêu cầu của người dùng, đảm bảo thư viện kỹ năng luôn phù hợp và hiệu quả.

2. Patent:​

  1. Hệ thống "Kho Kỹ Năng Thông Minh" cho Trợ lý Ảo trên Điện thoại Di động: Một ứng dụng di động cho phép người dùng hoặc nhà phát triển tải xuống và tích hợp các bộ kỹ năng đã được xây dựng sẵn cho trợ lý ảo trên điện thoại. Các bộ kỹ năng này có thể chuyên biệt cho các ứng dụng cụ thể (ví dụ: "Kỹ năng Chuyên gia Đặt vé Máy bay" hoặc "Kỹ năng Quản lý Lịch") và sẽ tự động nâng cao khả năng của trợ lý ảo trong việc thực hiện các tác vụ phức tạp, đa bước bên trong các ứng dụng đó mà không cần người dùng phải thiết lập. Hệ thống sẽ tự động cập nhật và tinh chỉnh các kỹ năng này trong nền.
  2. Công cụ Tự động hóa Tác vụ Di động Thích ứng dựa trên Quan sát Người dùng: Một công nghệ trên điện thoại di động có khả năng quan sát và học hỏi từ các tương tác của người dùng với nhiều ứng dụng khác nhau (ví dụ: các bước đặt món ăn, quản lý cuộc hẹn, gửi email theo mẫu). Hệ thống sẽ tự động trích xuất và tinh chỉnh các "kỹ năng chức năng" đa bước từ những hành vi này. Ví dụ, nếu người dùng thường xuyên đặt cà phê từ một ứng dụng cụ thể, hệ thống sẽ học và cung cấp một kỹ năng "Đặt Cà phê Yêu thích của tôi" có thể thực hiện chỉ với một lệnh thoại hoặc chạm, thích ứng với các thay đổi nhỏ.
  3. Trình tạo Kỹ năng Khắc phục Sự cố Cá nhân hóa cho Thiết bị Di động: Một tác nhân AI trên thiết bị di động tự động tạo và tinh chỉnh các "kỹ năng nguyên tử" để khắc phục các sự cố phổ biến của thiết bị. Ví dụ, nếu một người dùng thường xuyên giải quyết vấn đề Wi-Fi bằng cách khởi động lại bộ định tuyến và sau đó là điện thoại, tác nhân sẽ học trình tự này như một kỹ năng nguyên tử. Khi một sự cố Wi-Fi mới phát sinh, nó có thể đề xuất kỹ năng cụ thể, đã được tinh chỉnh này. Hệ thống cũng có thể chủ động khám phá các giải pháp ít phổ biến hơn dựa trên dữ liệu người dùng được tổng hợp ẩn danh hoặc chẩn đoán thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.04804
ArXiv Abstracthttps://arxiv.org/abs/2604.04804
PDF Downloadhttps://arxiv.org/pdf/2604.04804.pdf
Github Repositoryhttps://github.com/zjunlp/SkillX

14. Vero: An Open RL Recipe for General Visual Reasoning (18 votes)​

Tác giả: Gabriel Sarch, Linrong Cai, Qunzhong Wang, Haoyang Wu, Danqi Chen, Zhuang Liu

Xuất bản lúc: 2026-04-06

Tag: Reinforcement Learning, Vision-Language Models, Visual Reasoning, Multi-task Learning, Open-source

I. Main Problem:​

Các mô hình thị giác-ngôn ngữ (VLM) mạnh nhất cho thấy khả năng suy luận thị giác rộng rãi nhưng công thức huấn luyện đằng sau chúng vẫn chưa rõ ràng, bị khóa trong các quy trình học tăng cường (RL) độc quyền với dữ liệu không công khai. Các nỗ lực mã nguồn mở hiện có chỉ tập trung vào một phạm vi hẹp các tác vụ thị giác, và việc huấn luyện trên một loại tác vụ duy nhất không thể khái quát hóa tốt. Việc áp dụng RL trên các tác vụ suy luận thị giác không đồng nhất là một thách thức do nhiễu, khả năng chuyển giao kém và sự mất cân bằng tối ưu hóa.

II. Main Idea:​

Các tác giả giới thiệu Vero, một họ các VLM hoàn toàn mã nguồn mở, đạt hoặc vượt trội các mô hình mã nguồn mở hiện có trên nhiều tác vụ suy luận thị giác đa dạng. Công thức của Vero tập trung vào việc lựa chọn tập dữ liệu cẩn thận, lọc mẫu và trộn dữ liệu cân bằng theo tác vụ. Cụ thể, họ xây dựng Vero-600K, một tập huấn luyện gồm 600K mẫu từ 59 tập dữ liệu trải rộng sáu loại tác vụ cốt lõi (Biểu đồ & OCR; STEM; Không gian & Hành động; Kiến thức & Nhận dạng; Định vị, Đếm & Tìm kiếm; và Chú thích & Tuân thủ Hướng dẫn), đồng thời thiết kế các hàm thưởng định tuyến theo tác vụ để xử lý các định dạng câu trả lời không đồng nhất. Vero cũng bao gồm VeroEval, một bộ đánh giá toàn diện gồm 30 điểm chuẩn. Quá trình này không sử dụng khởi động nóng bổ sung, không RL theo giai đoạn và không dữ liệu độc quyền.

III. Main Results:​

Vero đạt hiệu suất hiện đại trên sáu loại tác vụ bằng công thức RL hoàn toàn mở. Các mô hình Vero cải thiện trung bình từ 3.6 đến 5.3 điểm trên VeroEval so với bốn mô hình cơ sở. Cụ thể, Vero-Qwen3I-8B vượt trội Qwen3-VL-8B-Thinking trên 23 trong số 30 điểm chuẩn mà không cần dữ liệu suy luận độc quyền bổ sung. Khi được huấn luyện từ cùng một mô hình cơ sở, Vero-600K vượt trội các tập dữ liệu RL hiện có trên các loại tác vụ. Các phân tích loại bỏ có hệ thống cho thấy sự đa dạng của dữ liệu là yếu tố chính thúc đẩy khả năng mở rộng RL mạnh mẽ, và các loại tác vụ khác nhau gợi ra các kiểu suy luận khác biệt về mặt định tính mà khó chuyển giao khi cô lập. Ngoài ra, việc sử dụng trọng số trộn đồng đều trên các loại tác vụ, thiết kế phần thưởng định tuyến theo tác vụ, và bao gồm các tác vụ mở là cần thiết để duy trì khả năng trò chuyện thị giác trong quá trình RL.

IV. Conclusion & Future Works:​

Vero cung cấp một công thức RL hoàn toàn mở cho suy luận thị giác tổng quát, chứng minh rằng một công thức RL một giai đoạn với dữ liệu đa dạng và chất lượng cao, cùng với các hàm thưởng được thiết kế cẩn thận, là đủ để xây dựng một mô hình suy luận thị giác có khả năng rộng rãi. Tất cả dữ liệu, mã nguồn và mô hình đều được phát hành công khai để tạo điều kiện thuận lợi cho nghiên cứu trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các hàm thưởng nâng cao và thích ứng: Phát triển các hệ thống thưởng động, thích ứng hoặc phân cấp có thể học cách gán phần thưởng hiệu quả hơn trên các tác vụ đa dạng hoặc thậm chí tự động tạo ra các mục tiêu phụ.
  2. Nghiên cứu chiến lược học chuyển giao cho các kiểu suy luận khác biệt: Tập trung vào việc sửa đổi kiến trúc hoặc phương pháp huấn luyện (ví dụ: meta-learning, kỹ thuật thích ứng miền) để cải thiện khả năng chuyển giao của các kỹ năng suy luận khác biệt giữa các loại tác vụ.
  3. Mở rộng Vero-600K sang các tập dữ liệu lớn hơn và đa dạng hơn: Khám phá giới hạn của việc mở rộng bằng cách tạo ra các tập dữ liệu đa phương thức lớn hơn và chi tiết hơn, có thể kết hợp dữ liệu thời gian hoặc các yếu tố tương tác phong phú hơn để thúc đẩy khả năng suy luận tổng quát.

2. Patent:​

  1. Hệ thống trợ lý học tập thị giác đa năng trên điện thoại di động: Một ứng dụng di động cho phép người dùng chụp ảnh các biểu đồ, công thức toán học, hoặc sơ đồ khoa học. Ứng dụng sẽ sử dụng công nghệ suy luận thị giác của Vero để phân tích hình ảnh, giải thích các khái niệm, cung cấp các bước giải chi tiết và đưa ra câu trả lời chính xác, hỗ trợ học sinh và sinh viên trong nhiều môn học.
  2. Công cụ định vị và hướng dẫn hành động thông minh cho thiết bị di động: Phát triển một tính năng trên điện thoại di động sử dụng camera và khả năng 'Spatial & Action' của Vero để nhận diện các vật thể và cung cấp hướng dẫn từng bước cho người dùng trong các tác vụ thực tế. Ví dụ, trong một cửa hàng, người dùng có thể hướng camera vào các kệ hàng và nhận được chỉ dẫn về vị trí sản phẩm, hoặc hướng dẫn lắp ráp một món đồ bằng cách nhận diện các bộ phận.
  3. Ứng dụng tạo chú thích và tuân thủ hướng dẫn tự động cho mạng xã hội: Một ứng dụng di động cho phép người dùng tải ảnh lên và tự động tạo ra các chú thích (caption) sáng tạo, phù hợp với ngữ cảnh, hoặc tuân thủ các yêu cầu cụ thể (ví dụ: 'viết chú thích dài hai đoạn, bao gồm từ khóa 'du lịch''). Ứng dụng này sẽ tận dụng khả năng 'Captioning & Instruction Following' của Vero để tạo nội dung hấp dẫn và chính xác cho các bài đăng trên mạng xã hội.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.04917
ArXiv Abstracthttps://arxiv.org/abs/2604.04917
PDF Downloadhttps://arxiv.org/pdf/2604.04917.pdf
Github RepositoryN/A

15. Your Agent, Their Asset: A Real-World Safety Analysis of OpenClaw (15 votes)​

Tác giả: Zijun Wang, Haoqin Tu, Letian Zhang, Hardy Chen, Juncheng Wu, Xiangyan Liu, Zhenlong Yuan, Tianyu Pang, Michael Qizhe Shieh, Fengze Liu, Zeyu Zheng, Huaxiu Yao, Yuyin Zhou, Cihang Xie

Xuất bản lúc: 2026-04-06

Tag: AI agents, Security, Vulnerability, Poisoning attack, LLMs, Safety evaluation, Persistent state

I. Main Problem:​

Các tác nhân AI cá nhân như OpenClaw được triển khai rộng rãi với quyền truy cập hệ thống đầy đủ và tích hợp với các dịch vụ nhạy cảm (Gmail, Stripe, hệ thống tệp). Điều này tạo ra một bề mặt tấn công đáng kể mà các phương pháp đánh giá trong môi trường hộp cát (sandboxed) hiện có không thể nắm bắt được. Kẻ tấn công có thể thao túng trạng thái bền vững (persistent state) của tác nhân, dẫn đến các hành vi độc hại và lâu dài, gây ra các rủi ro về quyền riêng tư và tài chính.

II. Main Idea:​

Nghiên cứu này trình bày đánh giá an toàn thực tế đầu tiên của OpenClaw và giới thiệu phân loại CIK (Capability, Identity, Knowledge) để thống nhất trạng thái bền vững của tác nhân AI thành ba chiều cho mục đích phân tích an toàn. Các tác giả thực hiện đánh giá trên 12 kịch bản tấn công trên một phiên bản OpenClaw trực tiếp với bốn mô hình nền tảng (Claude Sonnet 4.5, Opus 4.6, Gemini 3.1 Pro, GPT-5.4) bằng cách sử dụng giao thức tấn công hai pha. Đồng thời, họ đánh giá ba chiến lược phòng thủ phù hợp với CIK và một cơ chế bảo vệ tệp để làm nổi bật sự đánh đổi giữa khả năng tiến hóa và an toàn của tác nhân.

III. Main Results:​

Các kết quả cho thấy việc "đầu độc" bất kỳ chiều CIK nào cũng làm tăng tỷ lệ thành công tấn công trung bình từ 24.6% lên 64–74%. Ngay cả mô hình mạnh mẽ nhất cũng cho thấy mức độ dễ bị tổn thương tăng hơn ba lần so với mức cơ sở. Các cuộc tấn công dựa trên "Capability" tỏ ra khó chống lại nhất, với hệ thống phòng thủ mạnh nhất vẫn đạt tỷ lệ thành công 63.8%. Cơ chế bảo vệ tệp chặn 97% các cuộc tấn công nhưng cũng ngăn chặn các cập nhật hợp pháp, cho thấy sự đánh đổi cơ bản giữa khả năng tiến hóa và an toàn. Điều này khẳng định rằng các lỗ hổng là cố hữu trong kiến trúc tác nhân chứ không phải do mô hình cụ thể.

IV. Conclusion & Future Works:​

Phân loại CIK cung cấp một khuôn khổ thống nhất để phân loại bề mặt tấn công của trạng thái bền vững trong các tác nhân AI cá nhân. Các lỗ hổng là cấu trúc và không phụ thuộc vào mô hình, đòi hỏi các biện pháp bảo vệ có hệ thống hơn. Công trình trong tương lai nên bao gồm việc nghiên cứu chuỗi tấn công đa chiều (cross-dimension attack chaining), tạo tấn công tự động, đánh giá trên các nền tảng và môi trường sản xuất bổ sung, cũng như các nghiên cứu người dùng dài hạn. Đặc biệt, các cuộc tấn công dựa trên "Capability" cho thấy cần có các biện pháp bảo vệ kiến trúc như ký mã, thực thi trong hộp cát (sandboxed execution) và giám sát thời gian chạy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về chuỗi tấn công đa chiều CIK: Nghiên cứu sâu hơn về cách kết hợp các phương pháp đầu độc khác nhau trong các chiều Capability, Identity và Knowledge có thể khuếch đại hiệu quả của các cuộc tấn công và vượt qua các biện pháp phòng thủ hiện có.
  2. Tạo tấn công tự động và đánh giá trên nền tảng tác nhân AI đa dạng: Phát triển các công cụ tự động để tạo ra các cuộc tấn công dựa trên CIK và áp dụng chúng để đánh giá an toàn trên nhiều nền tảng tác nhân AI khác nhau ngoài OpenClaw, bao gồm cả các hệ thống đang hoạt động trong môi trường sản xuất.
  3. Phát triển kiến trúc bảo mật cho các tác nhân AI để chống lại tấn công Capability: Thiết kế và triển khai các biện pháp bảo vệ kiến trúc như ký mã (code signing), thực thi trong môi trường hộp cát (sandboxed execution), và giám sát thời gian chạy (runtime monitoring) để giải quyết các thách thức đặc biệt do các cuộc tấn công dựa trên Capability gây ra, nơi các tải trọng thực thi bỏ qua vòng lặp lý luận của LLM.

2. Patent:​

  1. Hệ thống giám sát và phê duyệt thay đổi hành vi tác nhân AI trên điện thoại di động: Một ứng dụng di động có khả năng theo dõi liên tục các thay đổi đối với cài đặt danh tính, kiến thức đã học và các kỹ năng thực thi của trợ lý AI cá nhân trên điện thoại. Khi phát hiện một thay đổi đáng ngờ (ví dụ: một thói quen mới cho phép giao dịch tài chính lớn mà không xác nhận, hoặc một kỹ năng mới có thể xóa tệp), hệ thống sẽ ngay lập tức thông báo cho người dùng và yêu cầu sự chấp thuận rõ ràng trước khi thay đổi đó có hiệu lực, ngăn chặn các hành vi độc hại lâu dài.
  2. Giải pháp bảo vệ quyền riêng tư thích ứng cho trợ lý AI dựa trên ngữ cảnh thiết bị di động: Một công nghệ trên điện thoại di động tự động điều chỉnh mức độ truy cập của trợ lý AI vào thông tin hoặc dịch vụ nhạy cảm (như email, ví điện tử) dựa trên ngữ cảnh hiện tại của thiết bị (ví dụ: vị trí, thời gian, ứng dụng đang sử dụng, nhận diện người dùng). Chẳng hạn, nếu điện thoại được mở khóa bằng khuôn mặt không nhận diện được hoặc ở một địa điểm lạ, khả năng thực hiện giao dịch tài chính hoặc chia sẻ dữ liệu cá nhân của tác nhân sẽ bị hạn chế tạm thời, yêu cầu xác minh sinh trắc học rõ ràng từ chủ sở hữu. Điều này bảo vệ chống lại việc lạm dụng dựa trên danh tính hoặc kiến thức nếu tác nhân bị xâm phạm.
  3. Môi trường thực thi kỹ năng AI an toàn và cửa hàng kỹ năng được kiểm duyệt cho thiết bị di động: Một tính năng của hệ điều hành di động cung cấp một thị trường được kiểm duyệt cho các "kỹ năng" (skill) của tác nhân AI (giống như các ứng dụng nhỏ). Mỗi kỹ năng sẽ trải qua quá trình đánh giá bảo mật nghiêm ngặt. Sau khi cài đặt, kỹ năng sẽ chạy trong một môi trường cô lập (hộp cát an toàn). Bất kỳ nỗ lực nào của một kỹ năng muốn truy cập tài nguyên ngoài quyền được chỉ định (ví dụ: một kỹ năng "thông tin thời tiết" cố gắng truy cập danh bạ hoặc xóa tệp) sẽ tự động bị chặn và báo cáo cho người dùng, ngăn chặn hiệu quả các tải trọng độc hại ẩn trong các kỹ năng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.04759
ArXiv Abstracthttps://arxiv.org/abs/2604.04759
PDF Downloadhttps://arxiv.org/pdf/2604.04759.pdf
Github Repositoryhttps://github.com/UCSC-VLAA/CIK-Bench