Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-04-03

Báo cáo được tạo tự động vào lúc 2026-04-06 09:51:11 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models (172 votes)​

Tác giả: Hao Liang, Zhengyang Zhao, Meiyi Qiang, Mingrui Chen, Lu Ma, Rongyi Yu, Hengyi Feng, Shixuan Sun, Zimo Meng, Xiaochen Ma, Xuanlin Yang, Qifeng Cai, Ruichuan An, Bohan Zeng, Zhen Hao Wong, Chengyu Shen, Runming He, Zhaoyang Han, Yaowei Zheng, Fangcheng Fu, Conghui He, Bin Cui, Zhiyu Li, Weinan E, Wentao Zhang

Xuất bản lúc: 2026-03-27

Tag: LLMs, Data-centric AI, Dynamic Training, Data Selection, Data Mixture, Data Reweighting, Machine Learning Systems

I. Main Problem:​

Các phương pháp huấn luyện tập trung vào dữ liệu hiện có (chọn lọc dữ liệu, tối ưu hóa hỗn hợp dữ liệu, trọng số hóa dữ liệu) thường được phát triển trong các mã nguồn riêng biệt với giao diện không nhất quán. Điều này gây cản trở khả năng tái tạo, so sánh công bằng và tích hợp thực tế. Ngoài ra, chúng thường được thiết kế như các thành phần thuật toán riêng lẻ thay vì là một phần của hệ thống tương tác dữ liệu-mô hình tổng quát, khiến việc tích hợp các thuật toán đa dạng vào các quy trình làm việc có khả năng mở rộng trở nên thách thức, đặc biệt trong các thiết lập quy mô lớn.

II. Main Idea:​

Giới thiệu DataFlex, một framework huấn luyện động tập trung vào dữ liệu thống nhất được xây dựng dựa trên LLaMA-Factory. DataFlex hỗ trợ ba mô hình chính của tối ưu hóa dữ liệu động: chọn mẫu động, điều chỉnh hỗn hợp miền và trọng số hóa mẫu, đồng thời vẫn tương thích hoàn toàn với quy trình huấn luyện LLaMA-Factory gốc. Thay vì giới thiệu một pipeline bên ngoài, DataFlex cung cấp các trừu tượng huấn luyện viên mở rộng và các thành phần thuật toán mô-đun, cho phép nó thay thế trực tiếp cho việc huấn luyện LLM tiêu chuẩn. Framework này cũng thống nhất các hoạt động phụ thuộc vào mô hình cần thiết cho các phương pháp tập trung vào dữ liệu, bao gồm trích xuất embedding, suy luận mô hình và tính toán gradient, đồng thời hỗ trợ các thiết lập huấn luyện quy mô lớn như DeepSpeed ZeRO-3.

III. Main Results:​

Các phương pháp chọn lọc dữ liệu động trong DataFlex vượt trội hơn đáng kể so với việc huấn luyện toàn bộ dữ liệu tĩnh trên MMLU cho cả kiến trúc Mistral-7B và Llama-3.2-3B. Đối với hỗn hợp dữ liệu, DoReMi và ODM cải thiện cả độ chính xác MMLU và perplexity cấp độ corpus so với tỷ lệ dữ liệu mặc định khi huấn luyện trước Qwen2.5-1.5B trên SlimPajama ở các quy mô 6B và 30B token. Ngoài ra, DataFlex đạt được những cải thiện nhất quán về thời gian chạy so với các triển khai gốc. Những kết quả này chứng minh rằng DataFlex cung cấp một cơ sở hạ tầng hiệu quả, hiệu suất cao và có thể tái tạo để nghiên cứu và triển khai các phương pháp huấn luyện động tập trung vào dữ liệu cho LLM.

IV. Conclusion & Future Works:​

DataFlex là một framework thống nhất và có khả năng tái tạo để nghiên cứu và triển khai các thuật toán huấn luyện tập trung vào dữ liệu động cho LLM. Nó đóng vai trò là cơ sở hạ tầng nghiên cứu có khả năng tái tạo và một hệ thống thực tế để cải thiện huấn luyện mô hình thông qua kiểm soát linh hoạt việc sử dụng dữ liệu. Trong tương lai, DataFlex có thể được mở rộng để tích hợp thêm các chiến lược tối ưu hóa dữ liệu mới và khám phá các phương pháp tự động điều chỉnh siêu tham số cho các kỹ thuật động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng DataFlex để tích hợp các phương pháp tối ưu hóa dữ liệu mới, chẳng hạn như tối ưu hóa dữ liệu cho học tăng cường từ phản hồi của con người (RLHF) hoặc các chiến lược chọn lọc dữ liệu đa mục tiêu.
  2. Phân tích hiệu suất và khả năng mở rộng của DataFlex trên các kiến trúc LLM mới nổi và bộ dữ liệu lớn hơn, đặc biệt tập trung vào việc tối ưu hóa hiệu quả tính toán và giảm thiểu chi phí tài nguyên.
  3. Khám phá các phương pháp tự động điều chỉnh siêu tham số (hyperparameter) cho các chiến lược tối ưu hóa dữ liệu động trong DataFlex, nhằm giảm công sức thủ công và tối đa hóa hiệu suất mô hình.

2. Patent:​

  1. Hệ thống tối ưu hóa dữ liệu học máy trên thiết bị di động: Một ứng dụng di động sử dụng công nghệ chọn lọc dữ liệu động tương tự DataFlex để tối ưu hóa quá trình học máy cục bộ (on-device learning) cho các mô hình ngôn ngữ nhỏ hoặc các tác vụ cụ thể (ví dụ: nhận dạng giọng nói, gợi ý văn bản). Hệ thống này sẽ chọn lọc dữ liệu người dùng có giá trị nhất để cập nhật mô hình mà không cần gửi dữ liệu nhạy cảm lên đám mây, cải thiện quyền riêng tư và hiệu quả.
  2. Công cụ điều chỉnh trải nghiệm người dùng thông minh: Một tính năng trên điện thoại di động tự động điều chỉnh cài đặt ứng dụng hoặc giao diện người dùng dựa trên hành vi sử dụng. Nó sẽ 'trọng số hóa' các tương tác của người dùng với các ứng dụng khác nhau, ưu tiên những tương tác có giá trị cao hoặc những thay đổi mang lại lợi ích rõ rệt, để liên tục cải thiện trải nghiệm mà không cần người dùng can thiệp thủ công.
  3. Hệ thống quản lý pin thông minh dựa trên dữ liệu: Một ứng dụng quản lý pin trên điện thoại di động sử dụng các nguyên tắc tối ưu hóa dữ liệu để học hỏi và dự đoán các mô hình sử dụng năng lượng của người dùng. Nó sẽ điều chỉnh động các cài đặt tiết kiệm pin (ví dụ: độ sáng màn hình, tần suất đồng bộ hóa ứng dụng) bằng cách 'chọn lọc' các kịch bản sử dụng pin hiệu quả nhất hoặc 'trọng số hóa' các tác vụ quan trọng, từ đó kéo dài thời lượng pin một cách thông minh và cá nhân hóa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.26164
ArXiv Abstracthttps://arxiv.org/abs/2603.26164
PDF Downloadhttps://arxiv.org/pdf/2603.26164.pdf
Github Repositoryhttps://github.com/OpenDCAI/DataFlex

2. The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook (124 votes)​

Tác giả: Xinlei Yu, Zhangquan Chen, Yongbo He, Tianyu Fu, Cheng Yang, Chengming Xu, Yue Ma, Xiaobin Hu, Zhe Cao, Jie Xu, Guibin Zhang, Jiale Tao, Jiayi Zhang, Siyuan Ma, Kaituo Feng, Haojie Huang, Youxing Li, Ronghao Chen, Huacan Wang, Chenglin Wu, Zikun Su, Xiaogang Xu, Kelu Yao, Kun Wang, Chen Gao, Yue Liao, Ruqi Huang, Tao Jin, Cheng Tan, Jiangning Zhang, Wenqi Ren, Yanwei Fu, Yong Liu, Yu Wang, Xiangyu Yue, Yu-Gang Jiang, Shuicheng Yan

Xuất bản lúc: 2026-04-02

Tag: Latent Space, LLMs, Vision-Language Models, VLAs, AI, Survey, Representation Learning, Reasoning, Planning, Perception, Memory, Collaboration, Embodiment

I. Main Problem:​

Các hệ thống dựa trên ngôn ngữ hiện đại thường được hiểu thông qua việc tạo token rõ ràng (explicit token-level generation), nhưng nhiều quy trình nội bộ quan trọng lại diễn ra tự nhiên hơn trong không gian tiềm ẩn (latent space) liên tục. Việc tính toán trong không gian rõ ràng có những hạn chế như dư thừa ngôn ngữ, tắc nghẽn rời rạc hóa, kém hiệu quả tuần tự và mất mát ngữ nghĩa. Hơn nữa, tài liệu về không gian tiềm ẩn còn rời rạc, thiếu một quan điểm thống nhất về cách định nghĩa, phân loại và nghiên cứu.

II. Main Idea:​

Bài khảo sát này nhằm mục đích cung cấp một cái nhìn tổng quan thống nhất và cập nhật về không gian tiềm ẩn trong các mô hình dựa trên ngôn ngữ. Tác giả tổ chức bài viết theo năm quan điểm tuần tự: Nền tảng (Foundation), Tiến hóa (Evolution), Cơ chế (Mechanism), Khả năng (Ability), và Triển vọng (Outlook). Bài viết làm rõ khái niệm không gian tiềm ẩn, phân biệt nó với không gian rõ ràng và không gian tiềm ẩn trong các mô hình thị giác tạo sinh. Nó theo dõi sự phát triển của lĩnh vực và phân tích các công trình hiện có thông qua lăng kính cơ chế (Architecture, Representation, Computation, Optimization) và khả năng (Reasoning, Planning, Modeling, Perception, Memory, Collaboration, Embodiment). Bài viết cũng thảo luận các thách thức chính và phác thảo các hướng nghiên cứu đầy hứa hẹn trong tương lai.

III. Main Results:​

Bài khảo sát đã làm rõ phạm vi khái niệm của không gian tiềm ẩn trong các mô hình dựa trên ngôn ngữ, phân biệt nó với không gian rõ ràng hoặc không gian ngôn ngữ và không gian tiềm ẩn thường được nghiên cứu trong các mô hình thị giác tạo sinh. Nó cung cấp một đánh giá thống nhất về cách không gian tiềm ẩn đã phát triển từ suy luận tiềm ẩn ban đầu thành một mô hình nghiên cứu đa phương thức và cấp hệ thống rộng lớn hơn. Bài viết giới thiệu một hệ thống phân loại hai chiều theo Cơ chế (Mechanism) và Khả năng (Ability), cung cấp một khung chung để tổ chức các phương pháp và ứng dụng hiện đang rời rạc. Cuối cùng, nó cung cấp một bộ sưu tập tài nguyên toàn diện bao gồm hình minh họa, bảng cấu trúc, liên kết truy cập và kho lưu trữ để tạo điều kiện nghiên cứu sâu hơn và sự tham gia của cộng đồng.

IV. Conclusion & Future Works:​

Không gian tiềm ẩn đang nhanh chóng nổi lên như một nền tảng tính toán bản địa cho các mô hình dựa trên ngôn ngữ và là một mô hình hệ thống tổng quát cho trí tuệ thế hệ tiếp theo. Mặc dù nó mang lại những lợi thế đáng kể về tính liên tục, nhỏ gọn và biểu cảm, thách thức chính nằm ở việc đánh giá, kiểm soát và diễn giải trực tiếp các biểu diễn không gian tiềm ẩn do tính chất "machine-native" của chúng, gây khó khăn cho con người trong việc hiểu sâu. Các hướng nghiên cứu tương lai nên tập trung vào việc giải quyết những thách thức này và tiếp tục khám phá tiềm năng của không gian tiềm ẩn trên các phương thức, kịch bản tương tác và lựa chọn thiết kế mới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các phương pháp mới để cải thiện khả năng diễn giải (interpretability) và kiểm soát (controllability) của các biểu diễn trong không gian tiềm ẩn, đặc biệt trong các mô hình ngôn ngữ lớn (LLMs).
  2. Phát triển các kiến trúc và thuật toán tối ưu hóa không gian tiềm ẩn cho các tác vụ đa phương thức phức tạp (ví dụ: Vision-Language-Action), tập trung vào hiệu quả tính toán và khả năng khái quát hóa.
  3. Khám phá ứng dụng của không gian tiềm ẩn trong việc nâng cao khả năng cộng tác (collaboration) giữa các tác nhân AI hoặc giữa AI và con người, thông qua việc truyền tải và xử lý thông tin hiệu quả hơn.

2. Patent:​

  1. Một công nghệ cho phép điện thoại di động thực hiện suy luận phức tạp và lập kế hoạch hành động trong các ứng dụng trợ lý ảo hoặc điều khiển thiết bị thông minh. Thay vì xử lý các chuỗi văn bản dài dòng, hệ thống sử dụng một không gian dữ liệu tiềm ẩn, liên tục và hiệu quả để nội bộ hóa quá trình suy nghĩ, giúp giảm tải tính toán, tăng tốc độ phản hồi và tiết kiệm pin trên thiết bị di động.
  2. Một hệ thống tối ưu hóa bộ nhớ và giao tiếp đa phương thức cho các ứng dụng AI trên điện thoại di động. Công nghệ này cho phép các mô hình AI lưu trữ thông tin ngữ cảnh, lịch sử tương tác và sở thích người dùng trong một không gian tiềm ẩn nhỏ gọn, đồng thời xử lý và kết hợp dữ liệu từ nhiều nguồn (ví dụ: giọng nói, hình ảnh, văn bản) một cách liền mạch. Điều này giúp trợ lý ảo trên điện thoại hiểu ngữ cảnh tốt hơn và phản hồi linh hoạt, cá nhân hóa hơn mà không cần kết nối internet liên tục.
  3. Một phương pháp tạo nội dung đa phương tiện cá nhân hóa hiệu suất cao trực tiếp trên điện thoại. Hệ thống sử dụng không gian tiềm ẩn để chuyển đổi ý tưởng hoặc mô tả của người dùng thành các biểu diễn liên tục, cho phép tạo ra hình ảnh, video ngắn hoặc âm nhạc một cách nhanh chóng và sáng tạo. Bằng cách thao tác trực tiếp trong không gian tiềm ẩn, công nghệ này tránh được các hạn chế của quá trình tạo token rời rạc, mang lại khả năng tùy chỉnh cao và hiệu suất vượt trội cho các ứng dụng chỉnh sửa ảnh/video hoặc tạo nội dung mạng xã hội trên di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.02029
ArXiv Abstracthttps://arxiv.org/abs/2604.02029
PDF Downloadhttps://arxiv.org/pdf/2604.02029.pdf
Github Repositoryhttps://github.com/YU-deep/Awesome-Latent-Space

3. Generative World Renderer (87 votes)​

Tác giả: Zheng-Hui Huang, Zhixiang Wang, Jiaming Tan, Ruihan Yu, Yidan Zhang, Bo Zheng, Yu-Lun Liu, Yung-Yu Chuang, Kaipeng Zhang

Xuất bản lúc: 2026-04-02

Tag: Generative Models, Inverse Rendering, Forward Rendering, Diffusion Models, G-buffers, Datasets, VLM, AAA Games, Video Generation, Temporal Consistency

I. Main Problem:​

Nút thắt chính trong việc mở rộng khả năng render ngược và render xuôi tạo sinh (generative inverse and forward rendering) sang các kịch bản thế giới thực là tính chân thực và sự nhất quán theo thời gian hạn chế của các bộ dữ liệu tổng hợp hiện có. Điều này tạo ra một khoảng cách miền dai dẳng, khiến các mô hình gặp khó khăn trong việc xử lý sự phức tạp của video thế giới thực, như "delighting" không hoàn hảo trong môi trường lộn xộn, hình học thực vật chi tiết, hoặc hiện tượng nhấp nháy theo thời gian dưới chuyển động nhanh. Các bộ dữ liệu tổng hợp hiện tại thường thiếu quy mô lớn, đa dạng và các chuỗi video liên tục theo thời gian được đồng bộ hóa với G-buffer ground-truth chất lượng cao, hạn chế độ phức tạp của cảnh, mô hình vật liệu và điều kiện thời tiết khắc nghiệt. Ngoài ra, việc đánh giá hiệu suất của render ngược trong thế giới thực mà không có ground truth là một thách thức lớn.

II. Main Idea:​

Để giải quyết vấn đề thiếu dữ liệu, nghiên cứu này giới thiệu một bộ dữ liệu quy mô lớn, động, được tuyển chọn từ các trò chơi AAA phức tạp về mặt hình ảnh (Cyberpunk 2077 và Black Myth: Wukong). Bộ dữ liệu bao gồm 4 triệu khung hình liên tục (720p/30 FPS) của RGB được đồng bộ hóa và năm kênh G-buffer (độ sâu, pháp tuyến, albedo, metallic, roughness) trên nhiều cảnh, hiệu ứng hình ảnh và môi trường đa dạng, bao gồm cả biến thể thời tiết bất lợi và làm mờ chuyển động. Nhóm nghiên cứu đã phát triển một phương pháp thu thập mới sử dụng cách ghép hai màn hình và một quy trình không xâm lấn (dựa trên ReShade và RenderDoc) để trích xuất G-buffer ở cấp độ API đồ họa. Hơn nữa, để đánh giá hiệu suất thực tế của render ngược mà không có ground truth, nhóm đề xuất một giao thức đánh giá mới dựa trên VLM (sử dụng Gemini 3 Pro), đo lường tính nhất quán về ngữ nghĩa, không gian và thời gian. Các mô hình render ngược được tinh chỉnh trên dữ liệu này cho thấy khả năng tổng quát hóa vượt trội và tạo sinh có thể kiểm soát được. Ngoài ra, một công cụ render xuôi được cung cấp, cho phép người dùng chỉnh sửa phong cách của các trò chơi AAA từ G-buffer bằng các câu lệnh văn bản.

III. Main Results:​

Các mô hình render ngược được tinh chỉnh trên bộ dữ liệu của chúng tôi đạt được khả năng tổng quát hóa vượt trội trên các bộ dữ liệu khác nhau và khả năng tạo sinh có thể kiểm soát. Đánh giá dựa trên VLM của chúng tôi tương quan chặt chẽ với đánh giá của con người (ví dụ: tỷ lệ đồng thuận 85% cho Metallic và 75% cho Roughness trong nhóm ưu tiên mô hình của chúng tôi). Về mặt định lượng, trên benchmark Black Myth: Wukong, mô hình tinh chỉnh của chúng tôi đạt hiệu suất tốt nhất trong ước tính độ sâu và pháp tuyến, cũng như điểm albedo bất biến tỷ lệ mạnh nhất và cải thiện đáng kể độ chính xác của metallic và roughness (Bảng 1). Trên bộ dữ liệu Sintel, mô hình tinh chỉnh của chúng tôi đạt hiệu suất tổng thể tốt nhất cho cả độ sâu và albedo (Bảng 2). Các so sánh định tính cho thấy phương pháp của chúng tôi vượt trội trong việc phân tách các thuộc tính cảnh nội tại, tạo ra bản đồ albedo sạch hơn, độ sâu và pháp tuyến chính xác hơn, và các dự đoán metallic và roughness chính xác về mặt ngữ nghĩa, ngay cả khi có nhiễu loạn khí quyển. Việc bổ sung hiệu ứng chuyển động trong dữ liệu cải thiện hầu hết các chỉ số tổng hợp và mang lại khả năng tổng quát hóa video thực tế tốt hơn với độ ổn định thời gian cao hơn. Bộ dữ liệu cũng chứng minh tính hiệu quả trong việc chỉnh sửa game, với mô hình được điều kiện bằng G-buffer vượt trội so với các phương pháp ControlNet và SDEdit trong việc cân bằng khả năng chỉnh sửa và độ chân thực hình ảnh.

IV. Conclusion & Future Works:​

Nghiên cứu này đã giải quyết thành công nút thắt về dữ liệu trong render thế giới tạo sinh bằng cách giới thiệu một bộ dữ liệu quy mô lớn, chất lượng cao từ các trò chơi AAA. Bộ dữ liệu này đã cải thiện đáng kể hiệu suất của các mô hình render ngược và render xuôi hiện đại, nâng cao khả năng tổng quát hóa và tổng hợp có thể kiểm soát trong các kịch bản thế giới thực. Giao thức đánh giá dựa trên VLM được đề xuất cung cấp một phương pháp có thể mở rộng và đáng tin cậy để đánh giá hiệu suất trong thế giới thực mà không cần ground truth. Kết quả nhấn mạnh rằng việc mở rộng và cải thiện dữ liệu huấn luyện là một con đường trực tiếp và đầy hứa hẹn để vượt qua những sự mơ hồ cố hữu của render ngược trong môi trường tự nhiên. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc khám phá các ứng dụng sâu hơn của bộ dữ liệu trong các tình huống thế giới thực phức tạp hơn hoặc các loại tác vụ tạo sinh khác, tiếp tục phát triển các kỹ thuật thu thập dữ liệu hiệu quả và tích hợp đánh giá VLM vào các vòng lặp huấn luyện mô hình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển mô hình render ngược đa phương thức thời gian thực: Nghiên cứu các kiến trúc mô hình mới có khả năng tận dụng dữ liệu G-buffer liên tục và động để thực hiện render ngược (inverse rendering) theo thời gian thực trên các thiết bị di động hoặc biên, tập trung vào việc duy trì độ chính xác và tính nhất quán theo thời gian trong các cảnh phức tạp.
  2. Mở rộng bộ dữ liệu G-buffer từ nhiều nguồn game và ứng dụng: Xây dựng một phương pháp tự động hóa hoặc bán tự động để thu thập G-buffer từ nhiều tựa game AAA hoặc các ứng dụng 3D khác, nhằm tạo ra một bộ dữ liệu lớn hơn và đa dạng hơn nữa, bao gồm các loại môi trường, vật liệu và hiệu ứng thời tiết chưa được khám phá.
  3. Tích hợp đánh giá VLM vào vòng lặp huấn luyện để tối ưu hóa mô hình: Phát triển một khung huấn luyện end-to-end sử dụng phản hồi từ mô hình VLM làm tín hiệu giám sát yếu (weak supervision) hoặc hàm mất mát (loss function) để cải thiện chất lượng của các mô hình render ngược và render xuôi trong các kịch bản thực tế khi không có ground truth rõ ràng.

2. Patent:​

  1. Hệ thống chỉnh sửa video trên điện thoại thông minh dựa trên G-buffer: Một ứng dụng di động cho phép người dùng chỉnh sửa các thuộc tính vật liệu (như độ bóng, độ nhám) hoặc điều kiện ánh sáng (như thay đổi thời gian trong ngày, thêm hiệu ứng mưa/sương mù) trong các video được quay bằng điện thoại, bằng cách ước tính các thành phần cảnh ẩn từ video và áp dụng các thay đổi dựa trên một mô hình tạo hình ảnh được huấn luyện.
  2. Công cụ tạo hiệu ứng hình ảnh game di động thời gian thực có thể tùy chỉnh: Một công nghệ cho phép các nhà phát triển game di động dễ dàng tích hợp và tùy chỉnh các hiệu ứng hình ảnh phức tạp (như ánh sáng toàn cục, hiệu ứng thời tiết động) trong game của họ bằng cách sử dụng các thành phần cảnh đã được phân tách và các mô hình tạo hình ảnh được huấn luyện trên dữ liệu game chất lượng cao, giúp nâng cao chất lượng đồ họa mà không cần tài nguyên tính toán quá lớn.
  3. Cải thiện chất lượng ảnh và video trong điều kiện ánh sáng yếu bằng cách phân tách yếu tố cảnh: Một tính năng của camera điện thoại thông minh sử dụng các nguyên lý phân tách hình ảnh để tách các yếu tố như hình dạng, vật liệu và ánh sáng từ ảnh/video chụp trong điều kiện ánh sáng yếu, sau đó tái tạo lại hình ảnh với độ chi tiết và độ sáng được cải thiện, giảm nhiễu và tăng cường độ chân thực của vật liệu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.02329
ArXiv Abstracthttps://arxiv.org/abs/2604.02329
PDF Downloadhttps://arxiv.org/pdf/2604.02329.pdf
Github Repositoryhttps://github.com/ShandaAI/AlayaRenderer

4. Steerable Visual Representations (43 votes)​

Tác giả: Jona Ruthardt, Manu Gaur, Deva Ramanan, Makarand Tapaswi, Yuki M. Asano

Xuất bản lúc: 2026-04-02

Tag: Vision Transformers, Multimodal LLMs, Vision-Language Models, Steerable Visual Representations, Early Fusion, Cross-Attention, Zero-shot generalization, Anomaly Detection, Object Discrimination, Image Retrieval, Semantic Segmentation

I. Main Problem:​

Các mô hình Vision Transformers (ViTs) được huấn luyện trước như DINOv2 và MAE cung cấp các đặc trưng hình ảnh chung nhưng có xu hướng tập trung vào các tín hiệu thị giác nổi bật nhất, không có cách nào để định hướng chúng đến các khái niệm ít nổi bật hơn mà người dùng quan tâm. Ngược lại, các mô hình Multimodal LLMs (MLLMs) có thể được điều khiển bằng các câu lệnh văn bản nhưng các biểu diễn tạo ra có xu hướng tập trung vào ngôn ngữ và giảm hiệu quả cho các tác vụ thị giác chung. Hơn nữa, hầu hết các mô hình thị giác-ngôn ngữ hiện có sử dụng phương pháp 'late fusion' (kết hợp muộn), nơi văn bản không ảnh hưởng đến quá trình mã hóa thị giác trong thời gian suy luận. Không có phương pháp hiện có nào đồng thời thỏa mãn ba tiêu chí: khả năng điều khiển (steerability), chất lượng biểu diễn và kết hợp thị giác-ngôn ngữ sớm (early fusion).

II. Main Idea:​

Để giải quyết vấn đề này, chúng tôi giới thiệu Steerable Visual Representations (SteerViT), một lớp biểu diễn thị giác mới có các đặc trưng toàn cục và cục bộ có thể được điều khiển bằng ngôn ngữ tự nhiên. Thay vì kết hợp văn bản với các đặc trưng thị giác sau khi mã hóa (late fusion) như hầu hết các mô hình thị giác-ngôn ngữ (ví dụ: CLIP), SteerViT tiêm văn bản trực tiếp vào các lớp của bộ mã hóa thị giác (early fusion) thông qua cơ chế cross-attention nhẹ. SteerViT giữ đóng băng các bộ mã hóa thị giác và văn bản, chỉ thêm 21 triệu tham số có thể huấn luyện thông qua cross-attention. Phương pháp này sử dụng mục tiêu huấn luyện phân đoạn hình ảnh tham chiếu để khuyến khích sự căn chỉnh thị giác-ngôn ngữ, cho phép các đặc trưng thị giác tập trung vào bất kỳ đối tượng mong muốn nào trong hình ảnh mà vẫn bảo toàn chất lượng biểu diễn cơ bản.

III. Main Results:​

SteerViT đạt được sự cải thiện Pareto so với các phương pháp trước đây, tạo ra các đặc trưng thị giác có thể điều khiển bằng văn bản mà vẫn giữ được chất lượng biểu diễn cơ bản. Trên benchmark CORE (COnditional REtrieval) mới, SteerViT đạt độ chính xác truy xuất 96%, vượt trội đáng kể so với DINOv2 (44%) và các bộ mã hóa cross-modal như CLIP và SigLIP. Nó cũng vượt trội hơn các MLLM như InternVL3-1B và InternVL3-2B với 49 và 20 điểm phần trăm tương ứng, trong khi chỉ thêm 21 triệu tham số so với hàng tỷ tham số của MLLM. SteerViT thể hiện khả năng tổng quát hóa zero-shot sang các tác vụ ngoài phân phối như phát hiện bất thường công nghiệp và phân biệt đối tượng cá nhân hóa, ngang bằng hoặc vượt trội các phương pháp chuyên biệt mà không cần huấn luyện cụ thể cho từng tác vụ. Trên benchmark GeneCIS 'Focus Object', SteerViT đạt R@1 là 25.4%, so với 9.6% của DINOv2. Trên MOSAIC Localization, SteerViT đạt PR-AUC 50.2%, cho thấy khả năng điều hướng sự chú ý mục tiêu bằng văn bản.

IV. Conclusion & Future Works:​

SteerViT giới thiệu một khuôn khổ cho phép bất kỳ bộ mã hóa thị giác được huấn luyện trước nào có các biểu diễn có thể điều khiển bằng văn bản thông qua một tác vụ tiền huấn luyện đơn giản, chỉ thêm 21 triệu tham số. Nó đạt được sự cải thiện Pareto, điều khiển các đặc trưng thị giác bằng văn bản trong khi vẫn duy trì chất lượng đặc trưng. Các câu lệnh văn bản cho phép tổng quát hóa zero-shot, cho phép SteerViT chuyển giao sang các miền mới mà không cần huấn luyện cụ thể cho tác vụ. Điều kiện hóa thị giác dựa trên ngôn ngữ (thay vì ngôn ngữ dựa trên thị giác) có thể là một mô hình mới để hiểu thị giác đa phương thức hiệu quả. Các hướng nghiên cứu tương lai có thể bao gồm việc khám phá thêm mô hình này trong các tác vụ đa dạng hơn và với các kiến trúc backbone khác nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế điều khiển biểu diễn thị giác bằng ngôn ngữ tự nhiên trong các kiến trúc ViT khác nhau (ví dụ: ViT-L, ViT-H) và tác động của chúng đến hiệu suất trên các tác vụ đa dạng, đặc biệt là trong các kịch bản đòi hỏi độ chính xác cao.
  2. Phát triển các phương pháp huấn luyện SteerViT hiệu quả hơn trên các tập dữ liệu tổng hợp lớn hơn hoặc các kỹ thuật tăng cường dữ liệu để cải thiện khả năng tổng quát hóa zero-shot trên các miền thị giác mới, bao gồm cả các đối tượng ít gặp hoặc các môi trường phức tạp.
  3. Khám phá việc tích hợp SteerViT vào các hệ thống thị giác phức tạp hơn, chẳng hạn như robot hoặc xe tự hành, để điều khiển sự chú ý thị giác dựa trên lệnh ngôn ngữ theo thời gian thực và cải thiện khả năng tương tác giữa người-máy.

2. Patent:​

  1. Ứng dụng tìm kiếm ảnh thông minh trên điện thoại: Một hệ thống cho phép người dùng tìm kiếm các vật thể cụ thể trong ảnh đã chụp (ví dụ: "tìm tất cả ảnh có chiếc điều khiển từ xa trên bàn") bằng cách nhập mô tả văn bản. Ngay cả khi vật thể đó không phải là đối tượng chính hoặc nổi bật trong ảnh, công nghệ này sẽ sử dụng khả năng điều hướng sự chú ý của mô hình thị giác bằng văn bản để xác định và truy xuất các ảnh phù hợp, mang lại trải nghiệm tìm kiếm cá nhân hóa và chính xác hơn.
  2. Hỗ trợ chụp ảnh và quay video có hướng dẫn trên điện thoại: Một tính năng camera trên điện thoại thông minh cho phép người dùng chỉ định đối tượng quan tâm bằng văn bản (ví dụ: "tập trung vào chậu cây phía sau"). Hệ thống sẽ điều chỉnh tiêu điểm, độ phơi sáng và các cài đặt camera khác để làm nổi bật đối tượng đó, ngay cả khi nó nhỏ hoặc không nổi bật, giúp người dùng dễ dàng chụp được những bức ảnh hoặc quay video chính xác theo ý muốn mà không cần thao tác thủ công phức tạp.
  3. Phân tích hình ảnh sản phẩm nâng cao trong ứng dụng mua sắm di động: Một công cụ tích hợp vào các ứng dụng mua sắm trực tuyến trên điện thoại, cho phép người dùng chỉ vào một phần cụ thể của hình ảnh sản phẩm (ví dụ: "kiểm tra chất liệu của chiếc cúc áo này") và nhận được thông tin chi tiết về nó. Người dùng cũng có thể đặt câu hỏi về các đặc điểm không nổi bật của sản phẩm (ví dụ: "có ngăn ẩn nào không?"), và hệ thống sẽ phân tích hình ảnh để cung cấp câu trả lời, cải thiện đáng kể trải nghiệm mua sắm trực tuyến bằng cách cung cấp thông tin chi tiết và tương tác hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.02327
ArXiv Abstracthttps://arxiv.org/abs/2604.02327
PDF Downloadhttps://arxiv.org/pdf/2604.02327.pdf
Github Repositoryhttps://github.com/manugaurdl/SteerViT

5. CORAL: Towards Autonomous Multi-Agent Evolution for Open-Ended Discovery (41 votes)​

Tác giả: Ao Qu, Han Zheng, Zijian Zhou, Yihao Yan, Yihong Tang, Shao Yong Ong, Fenglu Hong, Kaichen Zhou, Chonghe Jiang, Minwei Kong, Jiacheng Zhu, Xuan Jiang, Sirui Li, Cathy Wu, Bryan Kian Hsiang Low, Jinhua Zhao, Paul Pu Liang

Xuất bản lúc: 2026-04-02

Tag: LLMs, Multi-Agent Systems, Evolutionary Algorithms, Open-Ended Discovery, Autonomous Agents, Optimization, Kernel Engineering

I. Main Problem:​

Các phương pháp tiến hóa dựa trên Mô hình ngôn ngữ lớn (LLM) hiện tại để khám phá không giới hạn (open-ended discovery) vẫn phụ thuộc nhiều vào các heuristic cố định và quy tắc khám phá được mã hóa cứng. Điều này hạn chế quyền tự chủ của các tác nhân LLM, khiến chúng không thể tự đưa ra các quyết định tìm kiếm quan trọng như chọn giải pháp nào để phát triển, khi nào chạy thử nghiệm trung gian, hoặc kiến thức nào cần lưu trữ và tái sử dụng. Sự cứng nhắc này càng trở nên trầm trọng trong các hệ thống đa tác nhân hiện có, thường dựa vào phân công vai trò cố định và cấu trúc giao tiếp được xác định trước, điều này không phù hợp cho các vấn đề khám phá không giới hạn.

II. Main Idea:​

CORAL là một framework đầu tiên cho phép tiến hóa đa tác nhân tự chủ trong các vấn đề không giới hạn. Thay vì kiểm soát cứng nhắc, CORAL sử dụng các tác nhân hoạt động liên tục, có khả năng khám phá, phản tư và cộng tác thông qua:

  1. Bộ nhớ chia sẻ bền vững (Shared Persistent Memory): Được cấu trúc như một hệ thống tệp, cho phép các tác nhân truy xuất, đóng góp và chắt lọc kiến thức (các nỗ lực, ghi chú, kỹ năng) vào một kho lưu trữ chung.
  2. Thực thi đa tác nhân bất đồng bộ (Asynchronous Multi-Agent Execution): Nhiều tác nhân hoạt động song song trong các không gian làm việc riêng biệt nhưng phối hợp gián tiếp thông qua bộ nhớ chia sẻ, tăng cường sự đa dạng khám phá.
  3. Can thiệp dựa trên "nhịp tim" (Heartbeat-based Interventions): Các cơ chế định kỳ khuyến khích tác nhân tự phản tư, củng cố kiến thức và điều chỉnh hướng tìm kiếm khi gặp bế tắc, tránh rơi vào các cực tiểu cục bộ. CORAL cũng cung cấp các biện pháp bảo vệ thực tế như không gian làm việc cách ly, tách biệt bộ đánh giá, quản lý tài nguyên và quản lý phiên/tình trạng tác nhân.

III. Main Results:​

CORAL đạt kết quả tốt nhất trên tất cả 11 nhiệm vụ và thiết lập trạng thái nghệ thuật (SOTA) mới trên 8 nhiệm vụ tối ưu hóa toán học và hệ thống. Đạt tỷ lệ cải thiện cao hơn 3-10 lần và số lần đánh giá ít hơn 5-20 lần so với các phương pháp tìm kiếm tiến hóa cố định. Trên nhiệm vụ kỹ thuật kernel của Anthropic, bốn tác nhân cùng tiến hóa đã cải thiện điểm số tốt nhất được biết đến từ 1363 chu kỳ xuống 1103 chu kỳ, giảm 18.3% (tăng 20% điểm số), thiết lập SOTA mới mà không cần tìm kiếm trên web. Phân tích cơ chế cho thấy những cải tiến này đến từ việc tái sử dụng kiến thức, khám phá đa tác nhân và giao tiếp hiệu quả giữa các tác nhân. Nghiên cứu loại bỏ (ablation studies) xác nhận rằng cả quyền tự chủ của tác nhân và tiến hóa đa tác nhân đều đóng góp vào những cải tiến này, và các lợi ích không chỉ đơn thuần đến từ việc tăng cường sức mạnh tính toán. Khả năng tích lũy kiến thức qua ghi chú và kỹ năng rất quan trọng, đặc biệt trong các nhiệm vụ phức tạp, giúp tác nhân ghi lại những hiểu biết có thể tái sử dụng và tránh các hướng đi không hiệu quả.

IV. Conclusion & Future Works:​

CORAL chứng minh rằng việc thay thế các heuristic tìm kiếm tiến hóa cứng nhắc bằng các tác nhân tự chủ, kiểm soát việc truy xuất, đề xuất, đánh giá và tích lũy kiến thức, đồng thời phối hợp thông qua bộ nhớ chia sẻ, có thể mang lại hiệu suất mạnh mẽ hơn đáng kể. Một tác nhân tự chủ duy nhất đã vượt trội so với các phương pháp tìm kiếm tiến hóa cố định, và tiến hóa đa tác nhân còn đẩy giới hạn xa hơn nữa, tìm ra các giải pháp mà một tác nhân đơn lẻ không thể. Kết quả này cho thấy các tác nhân tự chủ đang trở thành một mô hình đầy hứa hẹn cho khám phá không giới hạn. Trong tương lai, CORAL có thể phục vụ như một nghiên cứu thăm dò có hệ thống, một framework cơ sở mạnh mẽ và một cơ sở hạ tầng có thể mở rộng để hỗ trợ các công trình trong tương lai về hệ thống khám phá tự chủ, đồng thời giải quyết các thách thức quan trọng mà sự tiến bộ này đặt ra cho cộng đồng nghiên cứu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khám phá tự chủ các thuật toán nén dữ liệu tối ưu cho thiết bị di động: Nghiên cứu phát triển một hệ thống CORAL để tự động khám phá và tối ưu hóa các thuật toán nén dữ liệu mới hoặc cải tiến các thuật toán hiện có. Các tác nhân sẽ được giao nhiệm vụ tạo ra các chiến lược nén khác nhau, đánh giá hiệu suất (tỷ lệ nén, tốc độ giải nén, mức tiêu thụ năng lượng) trên các tập dữ liệu di động đa dạng (ảnh, video, văn bản) và chia sẻ các kỹ thuật nén hiệu quả thông qua bộ nhớ chung.
  2. Tiến hóa đa tác nhân cho tối ưu hóa quản lý năng lượng trên chip di động: Tập trung vào việc sử dụng CORAL để tự động thiết kế và tinh chỉnh các chính sách quản lý năng lượng cấp thấp (ví dụ: điều chỉnh tần số CPU/GPU, quản lý bộ nhớ) cho các bộ xử lý di động. Các tác nhân sẽ cùng khám phá các chiến lược tối ưu để cân bằng hiệu suất và tiết kiệm pin, học hỏi từ các thử nghiệm thất bại và thành công được ghi lại trong bộ nhớ chia sẻ.
  3. Phát triển hệ thống CORAL để tự động tạo và tối ưu hóa các mô hình AI nhỏ gọn cho biên (Edge AI): Nghiên cứu này sẽ khám phá cách các tác nhân CORAL có thể tự động tạo ra kiến trúc mạng nơ-ron, các kỹ thuật lượng tử hóa (quantization) và cắt tỉa (pruning) để tạo ra các mô hình AI hiệu quả, nhỏ gọn và nhanh chóng cho việc triển khai trên các thiết bị di động, đồng thời vẫn duy trì độ chính xác cao. Các tác nhân sẽ cộng tác để khám phá không gian thiết kế rộng lớn của các mô hình AI biên.

2. Patent:​

  1. Hệ thống "Nhịp tim phản tư" cho ứng dụng tối ưu hóa tài nguyên điện thoại thông minh: Một hệ thống phần mềm trên điện thoại thông minh sử dụng cơ chế "nhịp tim" của CORAL để định kỳ phân tích hiệu suất và mức tiêu thụ pin của các ứng dụng đang chạy. Khi phát hiện một ứng dụng hoặc quy trình tiêu thụ quá nhiều tài nguyên hoặc không hoạt động hiệu quả, hệ thống sẽ tự động đề xuất hoặc áp dụng các điều chỉnh (ví dụ: tối ưu hóa cài đặt ứng dụng, gợi ý đóng ứng dụng nền, điều chỉnh cài đặt hệ thống) dựa trên các "ghi chú" và "kỹ năng" đã được học từ các lần tối ưu hóa trước, nhằm kéo dài thời lượng pin và cải thiện trải nghiệm người dùng.
  2. Nền tảng "Bộ nhớ kiến thức cộng tác" cho việc cải thiện camera điện thoại: Một nền tảng tích hợp vào ứng dụng camera của điện thoại, cho phép người dùng đóng góp "ghi chú" và "kỹ năng" về cách chụp ảnh đẹp trong các điều kiện khác nhau (ví dụ: "cách chụp ảnh ngược sáng hiệu quả", "kỹ thuật chụp macro sắc nét"). Các tác nhân AI của hệ thống sẽ tự động học hỏi từ những kiến thức này, chắt lọc thành các "kỹ năng" nhiếp ảnh có thể tái sử dụng, và tự động áp dụng các cài đặt camera tối ưu hoặc gợi ý cho người dùng dựa trên môi trường chụp hiện tại, từ đó liên tục cải thiện chất lượng ảnh chụp của điện thoại theo thời gian.
  3. Công cụ "Tự động sửa lỗi và tối ưu hóa mã nguồn ứng dụng di động" thông minh: Một công cụ phát triển tích hợp trong môi trường lập trình di động, sử dụng các tác nhân tự chủ và bộ nhớ chia sẻ của CORAL để liên tục phân tích mã nguồn ứng dụng. Các tác nhân sẽ tự động tìm kiếm các lỗi tiềm ẩn, các đoạn mã kém hiệu quả, và đề xuất các cải tiến về hiệu suất hoặc bảo mật. Khi một giải pháp tối ưu được tìm thấy và xác nhận, nó sẽ được lưu vào "bộ nhớ kỹ năng" để các tác nhân khác có thể học hỏi và áp dụng cho các phần mã tương tự hoặc các dự án khác, giúp các nhà phát triển tạo ra ứng dụng di động chất lượng cao hơn một cách nhanh chóng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.01658
ArXiv Abstracthttps://arxiv.org/abs/2604.01658
PDF Downloadhttps://arxiv.org/pdf/2604.01658.pdf
Github Repositoryhttps://github.com/Human-Agent-Society/CORAL

6. EgoSim: Egocentric World Simulator for Embodied Interaction Generation (34 votes)​

Tác giả: Jinkun Hao, Mingda Jia, Ruiyan Wang, Xihui Liu, Ran Yi, Lizhuang Ma, Jiangmiao Pang, Xudong Xu

Xuất bản lúc: 2026-04-01

Tag: Egocentric World Simulator, World Models, Generative Models, Video Diffusion, Embodied AI, 3D Scene Reconstruction, Interaction Generation

I. Main Problem:​

Các trình mô phỏng thế giới góc nhìn thứ nhất (egocentric) hiện tại gặp phải nhiều hạn chế. Chúng thiếu nền tảng 3D rõ ràng, dẫn đến sự "trôi dạt" cấu trúc khi góc nhìn thay đổi, hoặc coi cảnh vật là tĩnh, không thể cập nhật trạng thái thế giới sau các tương tác đa giai đoạn. Ngoài ra, việc thiếu dữ liệu huấn luyện được căn chỉnh dày đặc giữa cảnh và tương tác làm hạn chế khả năng mở rộng và tổng quát hóa của các mô hình hiện có, đặc biệt là với các hành động điều khiển phức tạp như chuyển động tay tinh vi.

II. Main Idea:​

EgoSim giới thiệu một trình mô phỏng thế giới góc nhìn thứ nhất theo vòng lặp kín, tạo ra các video tương tác nhất quán về mặt không gian và liên tục cập nhật trạng thái cảnh 3D cơ bản. Nó giải quyết các hạn chế bằng cách mô hình hóa cảnh 3D dưới dạng các trạng thái thế giới có thể cập nhật. EgoSim tạo ra các tương tác thể hiện thông qua mô hình Mô phỏng Quan sát nhận biết hành động-hình học (Geometry-action-aware Observation Simulation) và đảm bảo tính nhất quán không gian từ mô-đun Cập nhật Trạng thái nhận biết tương tác (Interaction-aware State Updating). Để khắc phục vấn đề thiếu dữ liệu, EgoSim thiết kế một quy trình mở rộng để trích xuất đám mây điểm tĩnh, quỹ đạo camera và hành động thể hiện từ các video góc nhìn thứ nhất đơn sắc quy mô lớn "trong tự nhiên". EgoSim cũng sử dụng các điểm khóa tay làm biểu diễn hành động phổ quát, xuyên cơ thể.

III. Main Results:​

EgoSim vượt trội đáng kể so với các phương pháp hiện có về chất lượng hình ảnh, tính nhất quán không gian và khả năng tổng quát hóa đối với các cảnh phức tạp và tương tác khéo léo "trong tự nhiên". Nó cũng hỗ trợ chuyển giao hành động giữa các cơ thể (cross-embodiment transfer) sang thao tác robot. EgoSim có khả năng tổng quát hóa mạnh mẽ, thực hiện tốt trong các cảnh phức tạp với nhiều đối tượng tương tác và có thể tạo ra các thao tác đa dạng, tinh vi như xử lý vật thể biến dạng và lắp ráp vật thể nhỏ, điều mà các phương pháp hiện có không thể đạt được. Ngoài ra, EgoSim thể hiện khả năng thích ứng mạnh mẽ, có thể nhanh chóng thích nghi với các video tương tác trong thế giới thực.

IV. Conclusion & Future Works:​

EgoSim cung cấp một giải pháp tiên tiến cho các trình mô phỏng thế giới góc nhìn thứ nhất bằng cách mô hình hóa các trạng thái 3D có thể cập nhật và sử dụng một quy trình dữ liệu có thể mở rộng. Điều này cho phép tạo ra các tương tác nhất quán về mặt không gian và thời gian, đồng thời hỗ trợ khả năng tổng quát hóa cao. Công việc này mở ra hướng phát triển cho các trình mô phỏng thế giới tương tác có khả năng xử lý các kịch bản phức tạp hơn, tương tác vật lý chi tiết hơn và tích hợp sâu hơn với các ứng dụng AI thể hiện và robot.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc tích hợp EgoSim với các tác nhân học tăng cường để tự động học các kỹ năng thao tác phức tạp trong môi trường góc nhìn thứ nhất.
  2. Khám phá các phương pháp cải thiện mô-đun Cập nhật Trạng thái nhận biết tương tác để xử lý các thuộc tính vật lý đối tượng phức tạp hơn (ví dụ: vật thể mềm, biến dạng liên tục) và tương tác đa vật thể đồng thời.
  3. Phát triển một quy trình thu thập và chú thích dữ liệu tự động cho các tương tác đa giác quan (ví dụ: xúc giác, âm thanh) trong bối cảnh góc nhìn thứ nhất để nâng cao tính chân thực của trình mô phỏng.

2. Patent:​

  1. Ứng dụng thực tế tăng cường (AR) tương tác trên điện thoại di động: Một hệ thống trên điện thoại cho phép người dùng tương tác thực tế với các vật thể ảo trong môi trường AR bằng cách sử dụng cử chỉ tay được camera điện thoại ghi lại. Hệ thống sẽ sử dụng nguyên lý cập nhật trạng thái 3D của EgoSim để đảm bảo các vật thể ảo duy trì trạng thái và vị trí đã thay đổi trong môi trường thực, ví dụ: người dùng đẩy một cuốn sách ảo trên bàn và cuốn sách đó vẫn ở vị trí mới ngay cả khi người dùng di chuyển điện thoại.
  2. Hệ thống huấn luyện robot di động thông qua cử chỉ tay: Một ứng dụng điện thoại thông minh cho phép người dùng điều khiển và huấn luyện robot bằng cử chỉ tay của họ. Camera điện thoại ghi lại các cử chỉ, sau đó được chuyển đổi thành lệnh điều khiển robot (sử dụng khả năng cross-embodiment của EgoSim) và hiển thị mô phỏng tương tác của robot với vật thể ảo trên màn hình điện thoại, giúp người dùng dễ dàng hình dung và điều chỉnh hành động của robot trong thời gian thực.
  3. Trải nghiệm kể chuyện/trò chơi tương tác cá nhân hóa trên điện thoại: Một nền tảng trò chơi hoặc kể chuyện trên điện thoại di động nơi cử chỉ tay của người dùng (ghi lại bằng camera điện thoại) trực tiếp ảnh hưởng và cập nhật một thế giới ảo hiển thị trên màn hình. Trạng thái của thế giới ảo này được EgoSim duy trì liên tục, tạo ra những trải nghiệm tương tác độc đáo và kéo dài, ví dụ: người dùng "mở" một cánh cửa ảo trên màn hình và cánh cửa đó vẫn "mở" trong các cảnh tiếp theo của câu chuyện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.01001
ArXiv Abstracthttps://arxiv.org/abs/2604.01001
PDF Downloadhttps://arxiv.org/pdf/2604.01001.pdf
Github Repositoryhttps://github.com/jinkun-hao/EgoSim

7. LatentUM: Unleashing the Potential of Interleaved Cross-Modal Reasoning via a Latent-Space Unified Model (27 votes)​

Tác giả: Jiachun Jin, Zetong Zhou, Xiao Yang, Hao Zhang, Pengfei Liu, Jun Zhu, Zhijie Deng

Xuất bản lúc: 2026-04-02

Tag: Unified Models, Multimodal AI, Latent Space, Cross-Modal Reasoning, Visual Spatial Planning, Self-Reflection, World Modeling, Autoregressive Models, Transformers, Quantization, Vision-Language Models, Generative Models

I. Main Problem:​

Các mô hình hợp nhất (UMs) hiện có chủ yếu tập trung vào các tác vụ tạo hình ảnh/video, không phản ánh hết giá trị thực sự của chúng. Hiệu suất của chúng thường kém hơn các mô hình chuyên biệt. Đặc biệt, các UMs gặp khó khăn trong suy luận đa phương thức xen kẽ (interleaved cross-modal reasoning) vì chúng sử dụng các biểu diễn hình ảnh rời rạc cho việc hiểu và tạo, đòi hỏi phải giải mã pixel làm cầu nối. Điều này gây ra sự không hiệu quả, tốn kém, và dẫn đến sai lệch mã hóa (codec bias) cùng sự lệch lạc giữa các phương thức (cross-modal misalignment), làm giảm khả năng tuân thủ hướng dẫn trên các tác vụ suy luận.

II. Main Idea:​

Bài báo giới thiệu LatentUM, một mô hình hợp nhất mới đại diện cho tất cả các phương thức trong một không gian ẩn ngữ nghĩa chung, loại bỏ nhu cầu giải mã pixel giữa việc hiểu và tạo hình ảnh. Thiết kế này cho phép suy luận và tạo đa phương thức xen kẽ linh hoạt. Để đạt được điều này, LatentUM đề xuất lượng tử hóa theo hành vi mô hình (Model Behavior Aligned Quantization - MBAQ) để chuyển đổi các đặc trưng CLIP liên tục thành các token ngữ nghĩa hình ảnh rời rạc, bảo toàn khả năng dự đoán thị giác-ngôn ngữ thay vì độ trung thực pixel. Mô hình sử dụng kiến trúc Transformer tự hồi quy (AR Transformer) với mục tiêu dự đoán token tiếp theo đơn giản và kiến trúc Mixture-of-Modal Experts (MoME) để giảm thiểu nhiễu xuyên phương thức. Một bộ giải mã pixel Diffusion Transformer (DiT) riêng biệt được đào tạo tùy chọn để hiển thị hình ảnh khi cần, đảm bảo mô hình cốt lõi không tối ưu hóa cho độ trung thực pixel. LatentUM cũng sử dụng hậu đào tạo (post-training) thông qua fine-tuning có giám sát và học tăng cường với tự phản chiếu để kích hoạt khả năng suy luận đa phương thức xen kẽ.

III. Main Results:​

LatentUM đạt hiệu suất vượt trội (state-of-the-art) trên benchmark Visual Spatial Planning, đẩy giới hạn của việc tạo hình ảnh thông qua tự phản chiếu và hỗ trợ mô hình hóa thế giới (world modeling) bằng cách dự đoán các trạng thái hình ảnh tương lai trong không gian ẩn ngữ nghĩa chung. LatentUM Base cho thấy hiệu suất cạnh tranh trên các benchmark hiểu hình ảnh tiêu chuẩn (MME, POPE, SEED-Bench, MM-Bench, MMMU), với sự suy giảm nhỏ khi sử dụng các đặc trưng đã lượng tử hóa, chứng tỏ MBAQ tạo ra các biểu diễn có ý nghĩa ngữ nghĩa. Trên GenEval, LatentUM Base đạt tổng điểm 0.85. Phiên bản LatentUM Vis-Gen (được hậu đào tạo với tự phản chiếu) đạt 0.87 trên GenEval và 0.92 khi sử dụng phần thưởng pixel bên ngoài, thiết lập kết quả SOTA trong số các mô hình hợp nhất. LatentUM Vis-Gen cũng vượt trội đáng kể so với các mô hình cơ sở trên GenEval2.

IV. Conclusion & Future Works:​

LatentUM đã thành công trong việc thống nhất khả năng hiểu và tạo hình ảnh trong một không gian ẩn ngữ nghĩa chung, mở ra tiềm năng cho suy luận đa phương thức xen kẽ hiệu quả và linh hoạt. Việc loại bỏ sự cần thiết của giải mã pixel giúp cải thiện hiệu suất tính toán, giảm thiểu sai lệch mã hóa và tăng cường sự liên kết giữa các phương thức. Các hướng nghiên cứu trong tương lai có thể bao gồm việc khám phá sâu hơn khả năng của không gian ẩn chung này cho các tác vụ suy luận phức tạp hơn, tích hợp các loại dữ liệu đa phương thức khác, và ứng dụng vào các hệ thống tương tác thực tế đòi hỏi khả năng hiểu và tạo nội dung liên tục.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng LatentUM cho các tác vụ lập kế hoạch dài hạn và phức tạp hơn trong môi trường động, tích hợp dữ liệu cảm biến thời gian thực để nâng cao khả năng tương tác với thế giới thực.
  2. Nghiên cứu ứng dụng của phương pháp lượng tử hóa theo hành vi mô hình (MBAQ) cho các thách thức học biểu diễn đa phương thức khác ngoài đặc trưng CLIP, khám phá các chiến lược lượng tử hóa khác nhau cho các loại dữ liệu đa dạng (ví dụ: âm thanh, 3D).
  3. Phát triển các cơ chế tự phản chiếu nâng cao cho việc tạo đa phương thức, cho phép các mô hình đánh giá và tinh chỉnh một cách phê phán nội dung được tạo ra trên các phương thức khác nhau (ví dụ: văn bản, hình ảnh, âm thanh) dựa trên tính nhất quán ngữ nghĩa nội bộ.

2. Patent:​

  1. Hệ thống trợ lý ảo đa phương thức thông minh: Một ứng dụng trên điện thoại di động sử dụng mô hình hợp nhất không gian ẩn để hiểu và phản hồi các yêu cầu phức tạp của người dùng liên quan đến cả văn bản và hình ảnh. Ví dụ, người dùng có thể chụp ảnh một căn phòng và hỏi "Làm thế nào để sắp xếp lại đồ đạc để căn phòng trông rộng rãi hơn?" và hệ thống sẽ đưa ra các gợi ý bằng văn bản kèm theo hình ảnh minh họa về cách bố trí mới.
  2. Công cụ chỉnh sửa ảnh và video bằng ngôn ngữ tự nhiên với khả năng tự phản chiếu: Một tính năng trong ứng dụng chỉnh sửa ảnh/video trên điện thoại cho phép người dùng mô tả thay đổi mong muốn bằng ngôn ngữ tự nhiên (ví dụ: "làm cho bầu trời xanh hơn và thêm một con chim nhỏ vào góc trên bên phải"). Hệ thống sử dụng khả năng tự phản chiếu để đánh giá và tinh chỉnh kết quả cho đến khi đạt được sự phù hợp ngữ nghĩa cao nhất với mô tả của người dùng, không chỉ dựa trên độ chính xác pixel.
  3. Hệ thống mô phỏng và lập kế hoạch hành động trong môi trường ảo cho di động: Một ứng dụng trò chơi hoặc mô phỏng trên điện thoại, nơi người dùng có thể điều khiển nhân vật hoặc đối tượng bằng các lệnh hành động đơn giản (ví dụ: "đi thẳng", "rẽ trái"). Hệ thống dự đoán các trạng thái hình ảnh tương lai của môi trường trong không gian ngữ nghĩa ẩn, giúp người dùng lập kế hoạch và thử nghiệm các hành động một cách hiệu quả mà không cần kết xuất pixel liên tục, tiết kiệm tài nguyên.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.02097
ArXiv Abstracthttps://arxiv.org/abs/2604.02097
PDF Downloadhttps://arxiv.org/pdf/2604.02097.pdf
Github Repositoryhttps://github.com/SJTU-DENG-Lab/LatentUM

8. NearID: Identity Representation Learning via Near-identity Distractors (26 votes)​

Tác giả: Aleksandar Cvejic, Rameen Abdal, Abdelrahman Eldesokey, Bernard Ghanem, Peter Wonka

Xuất bản lúc: 2026-04-02

Tag: Representation Learning, Identity Representation, Generative Models, Contrastive Learning, Vision-Language Models, Image Editing, Personalized Generation

I. Main Problem:​

Các bộ mã hóa thị giác hiện có (như CLIP, DINOv2, SigLIP2 và các mô hình ngôn ngữ-thị giác lớn như Qwen3-VL) thường vướng mắc nhận dạng đối tượng với ngữ cảnh nền. Điều này dẫn đến các biểu diễn và số liệu không đáng tin cậy, đặc biệt trong các tác vụ tập trung vào nhận dạng như tạo ảnh cá nhân hóa và chỉnh sửa hình ảnh. Các mô hình này dễ bị đánh lừa bởi một bài kiểm tra đơn giản: thay thế đối tượng bằng một thể hiện gần giống nhưng khác biệt (NearID) trong khi giữ nguyên nền. Trong điều kiện này, ngữ cảnh chung sẽ chi phối embedding, khiến đối tượng giả mạo có điểm số cao hơn so với đối tượng thật được nhìn từ một phông nền khác. Thất bại này làm suy yếu độ tin cậy của các điểm CLIP-I và DINO được sử dụng rộng rãi để đánh giá bảo toàn nhận dạng tự động.

II. Main Idea:​

Bài nghiên cứu giới thiệu NearID, một khuôn khổ nguyên tắc đầu tiên để giải quyết vấn đề này bằng cách sử dụng các đối tượng gây nhiễu Near-identity (NearID). Các đối tượng gây nhiễu này là những thể hiện có ngữ nghĩa tương tự nhưng khác biệt, được đặt trên cùng một nền với hình ảnh tham chiếu, loại bỏ các "lối tắt" ngữ cảnh và cô lập nhận dạng như tín hiệu phân biệt duy nhất. Dựa trên nguyên tắc này, NearID đóng góp ba điểm chính:

  1. Tập dữ liệu NearID: Một tập dữ liệu quy mô lớn gồm 19.000 nhận dạng đối tượng với các hình ảnh dương tính đa góc nhìn và hơn 316.000 đối tượng gây nhiễu NearID được tổng hợp từ bốn mô hình tạo sinh khác nhau.
  2. Mục tiêu tương phản hai tầng: Áp dụng một mục tiêu tương phản hai tầng để học các biểu diễn nhận dạng, củng cố thứ bậc rõ ràng: "cùng nhận dạng > đối tượng gây nhiễu NearID > âm tính ngẫu nhiên".
  3. Phương pháp huấn luyện nhẹ: Giữ nguyên bộ mã hóa nền tảng (ví dụ: SigLIP2) và chỉ huấn luyện một đầu chiếu Multi-head Attention Pooling (MAP) nhẹ (khoảng 3.6% tổng số tham số) để định hình lại không gian tương đồng cho nhận dạng.

III. Main Results:​

NearID đã giải quyết hiệu quả vấn đề nhận dạng ở cấp độ đối tượng, nâng cao Tỷ lệ Thành công Mẫu (SSR) trên tập dữ liệu NearID từ 30.74% (mô hình SigLIP2 đóng băng) lên 99.17%. Cải thiện khả năng phân biệt cấp độ bộ phận trên tập dữ liệu Mind-the-Glitch (MTG), tăng SSR từ 0.0% lên 35.0%. Đạt được sự liên kết đáng kể hơn với các đánh giá của con người trên DreamBench++, cải thiện độ tương quan Pearson với oracle trên MTG từ 0.180 lên 0.465 (đánh giá đầy đủ) và từ 0.366 lên 0.486 (giao thức nền theo cặp). Mặc dù chỉ được huấn luyện trên các đối tượng gây nhiễu gần giống, NearID vẫn cải thiện sự liên kết tổng thể với các đánh giá của con người về bảo toàn khái niệm, đồng thời tổng quát hóa tốt cho động vật (+0.105) và con người (+0.065), cho thấy các biểu diễn học được nắm bắt được các tín hiệu nhận dạng thực sự chứ không phải chỉ overfitting vào các tạo tác tổng hợp.

IV. Conclusion & Future Works:​

Bài nghiên cứu đã chính thức hóa khái niệm đối tượng gây nhiễu Near-identity và giới thiệu NearID-bench, một giao thức đánh giá ngữ cảnh phù hợp để định lượng sự vướng mắc giữa nhận dạng và ngữ cảnh trong các bộ mã hóa thị giác hiện đại. Cùng với đó, tập dữ liệu NearID quy mô lớn được phát hành để hỗ trợ nghiên cứu trong lĩnh vực này. Bằng cách huấn luyện một bộ điều hợp nhận dạng nhẹ trên nền tảng SigLIP2 đóng băng sử dụng mục tiêu tương phản hai tầng, phương pháp này đã tạo ra các embedding cải thiện đáng kể khả năng từ chối đối tượng gây nhiễu NearID trong ngữ cảnh phù hợp, tăng độ nhạy cảm với các chỉnh sửa nhận dạng cục bộ và tăng sự đồng thuận giữa số liệu và con người trong đánh giá cá nhân hóa. Điều này chỉ ra rằng việc giảm thiểu sự kết nối giữa nhận dạng và ngữ cảnh dẫn đến đánh giá cá nhân hóa đáng tin cậy hơn. Hướng nghiên cứu trong tương lai có thể tập trung vào việc mở rộng khuôn khổ này để xử lý các loại biến thể đối tượng và ngữ cảnh phức tạp hơn, cũng như tích hợp nó vào các mô hình tạo sinh để cải thiện độ trung thực nhận dạng một cách bền vững.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Học biểu diễn nhận dạng đa phương thức sử dụng đối tượng gây nhiễu NearID: Nghiên cứu cách áp dụng nguyên tắc đối tượng gây nhiễu NearID để học biểu diễn nhận dạng mạnh mẽ không chỉ từ hình ảnh mà còn từ video hoặc dữ liệu 3D, giải quyết các thách thức về tính nhất quán nhận dạng trong các ngữ cảnh động và đa dạng.
  2. NearID cho học nhận dạng xuyên miền và ít dữ liệu (Few-shot/Zero-shot): Khám phá cách tận dụng các nguyên tắc NearID để cải thiện khả năng học nhận dạng đối tượng trong các kịch bản ít dữ liệu hoặc chưa từng thấy trước đây, đặc biệt là khi chuyển giao kiến thức giữa các miền hình ảnh khác nhau (ví dụ: từ ảnh chụp thực tế sang minh họa hoặc ảnh y tế).
  3. Đánh giá và cải thiện độ trung thực nhận dạng trong mô hình tạo sinh: Phát triển các phương pháp mới để đánh giá và cải thiện mức độ trung thực của nhận dạng đối tượng trong các mô hình tạo sinh (ví dụ: mô hình diffusion), sử dụng các đối tượng gây nhiễu NearID để kiểm tra khả năng của mô hình trong việc duy trì nhận dạng cốt lõi trong khi thay đổi các thuộc tính khác như phong cách hoặc tư thế.

2. Patent:​

  1. Hệ thống bảo toàn nhận dạng đối tượng cho chỉnh sửa ảnh di động: Một công nghệ trên điện thoại di động giúp người dùng chỉnh sửa ảnh (ví dụ: thay đổi nền, thêm hiệu ứng) mà vẫn đảm bảo đối tượng chính (như thú cưng, người thân, đồ vật yêu thích) giữ nguyên nhận dạng độc đáo của nó, ngay cả khi có các đối tượng tương tự xuất hiện hoặc nền bị thay đổi hoàn toàn. Công nghệ này sẽ sử dụng các nguyên tắc phân biệt đối tượng NearID để ngăn chặn sự "trôi dạt" nhận dạng.
  2. Ứng dụng nhận diện sản phẩm chính xác cho mua sắm và AR di động: Một ứng dụng di động sử dụng camera để nhận diện chính xác một sản phẩm cụ thể trong môi trường thực tế, ngay cả khi sản phẩm đó bị bao quanh bởi các vật phẩm tương tự hoặc có nhiều phiên bản khác nhau. Công nghệ này sẽ giúp người dùng tìm thông tin chi tiết, so sánh giá hoặc xem trước sản phẩm trong thực tế tăng cường (AR) với độ chính xác cao về nhận dạng vật phẩm.
  3. Công cụ tạo avatar/emoji cá nhân hóa với độ trung thực nhận dạng cao: Một tính năng trên điện thoại di động cho phép người dùng tạo avatar hoặc emoji từ ảnh của họ, đảm bảo rằng các đặc điểm nhận dạng độc đáo (như khuôn mặt, kiểu tóc, phụ kiện) được bảo toàn nhất quán trên nhiều phong cách, biểu cảm hoặc ngữ cảnh khác nhau. Điều này sẽ sử dụng các kỹ thuật NearID để phân biệt các chi tiết nhận dạng cốt lõi khỏi các yếu tố ngữ cảnh hoặc phong cách.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.01973
ArXiv Abstracthttps://arxiv.org/abs/2604.01973
PDF Downloadhttps://arxiv.org/pdf/2604.01973.pdf
Github Repositoryhttps://github.com/Gorluxor/NearID

9. Therefore I am. I Think (21 votes)​

Tác giả: Esakkivel Esakkiraja, Sai Rajeswar, Denis Akhiyarov, Rajagopal Venkatesaramani

Xuất bản lúc: 2026-04-02

Tag: Large Language Models, LLMs, Chain-of-Thought, CoT, Activation Steering, Probing, Tool-use, Reasoning, Explainability

I. Main Problem:​

Vấn đề chính là xác định thời điểm một mô hình suy luận ngôn ngữ lớn (LLM) đưa ra lựa chọn hành động (ví dụ: gọi công cụ): liệu mô hình có suy nghĩ cẩn thận trước rồi mới quyết định, hay quyết định đã được mã hóa sớm trước khi quá trình suy luận hiển thị bắt đầu? Điều này đặt ra câu hỏi về tính trung thực của quá trình suy luận, hiệu quả và độ tin cậy của các mô hình này.

II. Main Idea:​

Các tác giả đề xuất rằng các lựa chọn hành động trong các mô hình suy luận được mã hóa sớm, thậm chí trước khi quá trình suy luận hiển thị (Chain-of-Thought - CoT) bắt đầu. Họ sử dụng ba ý tưởng chính:

  1. Các trạng thái ẩn (hidden states) mã hóa các quyết định tiềm ẩn trước khi chúng được diễn đạt bằng lời.
  2. Các quyết định này có thể được dò tìm (probed) từ các kích hoạt (activations) nội bộ.
  3. Hành vi của mô hình có thể được điều khiển (steerable) trong quá trình suy luận mà không cần tinh chỉnh thêm. Họ chứng minh điều này bằng cách:
  • Sử dụng một probe tuyến tính đơn giản để giải mã các quyết định gọi công cụ từ các kích hoạt trước khi tạo ra (pre-generation activations) với độ tin cậy rất cao.
  • Áp dụng kỹ thuật điều khiển kích hoạt để gây ảnh hưởng một cách nhân quả đến hướng quyết định, cho thấy điều này dẫn đến sự suy nghĩ mở rộng (inflated deliberation) và thay đổi hành vi.
  • Phân tích hành vi để chứng minh rằng khi việc điều khiển thay đổi quyết định, quá trình CoT thường hợp lý hóa (rationalize) sự thay đổi đó thay vì chống lại nó.

III. Main Results:​

Các kết quả chính cho thấy:

  • Các quyết định gọi công cụ có thể dự đoán được với độ tin cậy rất cao (hơn 90-95%) từ các kích hoạt trước khi bất kỳ token suy luận nào được tạo ra, cung cấp bằng chứng cho việc mã hóa sớm các lựa chọn hành động.
  • Kỹ thuật điều khiển kích hoạt thành công trong việc thay đổi hành vi ra quyết định của mô hình, dẫn đến tỷ lệ thay đổi hành vi đáng kể (từ 7% đến 79% tùy thuộc vào mô hình và bộ dữ liệu).
  • Khi quyết định bị thay đổi bởi điều khiển kích hoạt, quá trình Chain-of-Thought (CoT) thường lý giải quyết định mới thay vì chống lại nó. Các phân tích hành vi sử dụng LLM làm trọng tài cho thấy các mô hình có thể tạo ra các giải thích hợp lý hóa (như Confabulated Support, Constraint Override, Inflated Deliberation, Decision Instability).
  • Việc điều khiển kích hoạt thường dẫn đến sự gia tăng đáng kể về số lượng token được tạo ra trong quá trình suy luận, cho thấy mô hình đang cố gắng thích ứng hoặc biện minh cho quyết định bị tác động.

IV. Conclusion & Future Works:​

Nghiên cứu kết luận rằng các mô hình suy luận có khả năng mã hóa các lựa chọn hành động trước khi chúng bắt đầu quá trình suy nghĩ rõ ràng bằng văn bản. Những quyết định này có thể được phát hiện với độ tin cậy cao và có thể bị điều khiển một cách nhân quả. Quá trình Chain-of-Thought (CoT) thường đóng vai trò là sự biện minh sau khi quyết định đã được đưa ra, làm dấy lên mối lo ngại nghiêm trọng về độ tin cậy của CoT như một phương tiện giải thích và tiềm năng bị lạm dụng cho mục đích tấn công. Hướng nghiên cứu trong tương lai bao gồm việc tích hợp độ tin cậy của probe trước khi tạo ra (pre-generation probe confidence) như một hình phạt bổ trợ trong quá trình huấn luyện dựa trên học tăng cường (RL training) để thúc đẩy các mô hình có quá trình suy luận trung thực và đáng tin cậy hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của việc áp dụng hình phạt dựa trên độ tin cậy của probe tiền tạo sinh (pre-generation probe confidence) trong huấn luyện học tăng cường (RL) nhằm tăng cường tính trung thực và khả năng giải thích của Chain-of-Thought.
  2. Khám phá các kỹ thuật điều khiển kích hoạt (activation steering) nâng cao để kiểm soát các loại quyết định hành động phức tạp hơn, chẳng hạn như chuỗi hành động hoặc lựa chọn công cụ ưu tiên, trong các mô hình suy luận.
  3. Phân tích sâu hơn các cơ chế nội bộ mà LLM sử dụng để 'lý giải' (rationalize) các quyết định đã bị tác động, từ đó phát triển các phương pháp phát hiện và giảm thiểu hành vi này nhằm cải thiện độ tin cậy của mô hình.

2. Patent:​

  1. Một hệ thống gợi ý hành động thông minh cho trợ lý ảo trên điện thoại di động, có khả năng dự đoán ý định của người dùng (ví dụ: gọi điện, gửi tin nhắn, mở ứng dụng) ngay cả trước khi họ hoàn thành câu lệnh. Hệ thống sẽ phân tích các tín hiệu đầu vào sớm (như các từ khóa ban đầu hoặc ngữ cảnh hiện tại) để nhanh chóng đưa ra các gợi ý hành động chính xác, giúp người dùng tương tác với điện thoại nhanh hơn và hiệu quả hơn.
  2. Một công cụ phát hiện và cảnh báo 'suy nghĩ quá mức' tích hợp trong các ứng dụng AI trên điện thoại. Công cụ này sẽ giám sát các mô hình AI (ví dụ: trợ lý viết văn bản, công cụ tóm tắt) để nhận biết khi chúng tạo ra các giải thích dài dòng hoặc không cần thiết cho một quyết định đơn giản. Khi phát hiện, nó sẽ cảnh báo người dùng hoặc tự động điều chỉnh AI để đưa ra câu trả lời trực tiếp hơn, giúp tiết kiệm thời gian và tài nguyên pin của điện thoại.
  3. Một chế độ 'chắc chắn' cho tính năng tự động hoàn thành văn bản trên bàn phím điện thoại. Thay vì chỉ đưa ra gợi ý, khi hệ thống phân tích và 'chắc chắn' về từ hoặc cụm từ tiếp theo mà người dùng muốn nhập (dựa trên phân tích nội bộ sâu về ngữ cảnh và ý định), nó sẽ cho phép người dùng hoàn thành toàn bộ câu hoặc đoạn văn bản chỉ bằng một thao tác chạm, tăng tốc độ gõ phím đáng kể mà vẫn đảm bảo độ chính xác cao.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.01202
ArXiv Abstracthttps://arxiv.org/abs/2604.01202
PDF Downloadhttps://arxiv.org/pdf/2604.01202.pdf
Github RepositoryN/A

10. Omni-SimpleMem: Autoresearch-Guided Discovery of Lifelong Multimodal Agent Memory (21 votes)​

Tác giả: Jiaqi Liu, Zipeng Ling, Shi Qiu, Yanqing Liu, Siwei Han, Peng Xia, Haoqin Tu, Zeyu Zheng, Cihang Xie, Charles Fleming, Mingyu Ding, Huaxiu Yao

Xuất bản lúc: 2026-04-02

Tag: AI Agents, Multimodal Memory, Lifelong Learning, Autonomous Research, AutoML, LLMs, RAG, Knowledge Graph

I. Main Problem:​

Các tác nhân AI (AI agents) ngày càng hoạt động trong các khoảng thời gian dài hơn, nhưng khả năng duy trì, tổ chức và gợi nhớ các trải nghiệm đa phương thức của chúng vẫn là một nút thắt quan trọng. Việc xây dựng một hệ thống bộ nhớ đa phương thức hiệu quả cho tác nhân AI đòi hỏi phải điều hướng một không gian thiết kế rộng lớn bao gồm kiến trúc, chiến lược truy xuất, kỹ thuật prompt và các quy trình dữ liệu. Không gian này quá lớn và phức tạp để con người hoặc các phương pháp AutoML truyền thống có thể khám phá hiệu quả. Các phương pháp hiện có gặp phải các hạn chế như phình to dung lượng lưu trữ, nhiễu khi truy xuất hoặc chỉ hoạt động trên văn bản, bỏ qua các tín hiệu hình ảnh và âm thanh phong phú.

II. Main Idea:​

Các tác giả đã triển khai một quy trình nghiên cứu tự động (AUTORESEARCHCLAW) để khám phá OMNI-SIMPLEMEM, một khung bộ nhớ đa phương thức thống nhất cho các tác nhân AI hoạt động suốt đời. Quy trình này tự động thực hiện các thử nghiệm, chẩn đoán các chế độ lỗi, đề xuất sửa đổi kiến trúc và sửa lỗi quy trình dữ liệu mà không cần sự can thiệp của con người. OMNI-SIMPLEMEM được xây dựng dựa trên ba nguyên tắc chính:

  • Tiếp nhận có chọn lọc (Selective Ingestion): Các bộ mã hóa nhận thức nhẹ đánh giá tính mới của từng tín hiệu đến và loại bỏ nội dung dư thừa trước khi lưu trữ, đồng thời đóng gói các tín hiệu được giữ lại thành các Đơn vị Nguyên tử Đa phương thức (MAUs) thống nhất. MAUs phân tách siêu dữ liệu nhỏ gọn có thể tìm kiếm khỏi dữ liệu thô lớn.
  • Truy xuất lũy tiến với tìm kiếm lai (Progressive Retrieval with Hybrid Search): Kết hợp truy xuất dày đặc (dense retrieval) bằng FAISS và khớp từ khóa thưa thớt (sparse keyword matching) bằng BM25 thông qua phương pháp hợp nhất tập hợp (set-union merging). Một cơ chế kim tự tháp mở rộng thông tin theo ba giai đoạn (tóm tắt, chi tiết, bằng chứng thô) dưới ngân sách token rõ ràng.
  • Truy xuất tăng cường biểu đồ tri thức (Knowledge Graph-Augmented Retrieval): Duy trì một biểu đồ tri thức (knowledge graph) các thực thể và mối quan hệ được trích xuất từ các MAU, với khả năng phân giải thực thể để tránh phân mảnh nút. Điều này cho phép truy vấn các sự kiện liên quan trên nhiều MAU.

III. Main Results:​

OMNI-SIMPLEMEM đã đạt được kết quả vượt trội trên hai bộ dữ liệu đánh giá:

  • LoCoMo: Cải thiện F1 thêm +411% (từ 0.117 lên 0.598) so với cấu hình ban đầu, đạt trạng thái nghệ thuật (state-of-the-art) trên tất cả các backbones LLM.
  • Mem-Gallery: Cải thiện F1 thêm +214% (từ 0.254 lên 0.797) so với cấu hình ban đầu, liên tục vượt trội hơn tất cả các phương pháp bộ nhớ cơ sở. Các khám phá có tác động lớn nhất không phải là điều chỉnh siêu tham số: sửa lỗi (+175%), thay đổi kiến trúc (+44%) và kỹ thuật prompt (+188% trên các danh mục cụ thể) đều vượt quá đóng góp tích lũy của tất cả các điều chỉnh siêu tham số. OMNI-SIMPLEMEM với 8 worker song song đạt 5.81 truy vấn/giây, nhanh hơn 3.5 lần so với baseline tốt nhất, nhờ khả năng song song hóa quy trình truy xuất-tạo sinh.

IV. Conclusion & Future Works:​

OMNI-SIMPLEMEM, một khung bộ nhớ đa phương thức thống nhất với kiến trúc và cấu hình được khám phá thông qua AUTORESEARCHCLAW, đã đạt được kết quả vượt trội. Các khám phá có tác động cao nhất, bao gồm sửa lỗi, thay đổi kiến trúc và kỹ thuật prompt, đòi hỏi khả năng hiểu mã và suy luận đa thành phần vượt xa khả năng của AutoML truyền thống. Phân loại sáu loại khám phá, cùng với nhận định rằng bộ nhớ đa phương thức rất phù hợp cho nghiên cứu tự động do có các số liệu đánh giá vô hướng, kiến trúc mô-đun và chu kỳ lặp nhanh, cung cấp lộ trình để áp dụng các quy trình nghiên cứu tự động cho các lĩnh vực hệ thống AI phức tạp khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc mở rộng quy trình nghiên cứu tự động (autoresearch) để tự động phát hiện và sửa lỗi trong các hệ thống AI phức tạp ngoài lĩnh vực bộ nhớ đa phương thức, ví dụ như hệ thống thị giác máy tính hoặc xử lý ngôn ngữ tự nhiên.
  2. Phát triển các phương pháp đánh giá định lượng mới cho các hệ thống bộ nhớ đa phương thức nhằm tối ưu hóa vòng lặp phản hồi cho các quy trình nghiên cứu tự động, tập trung vào các kịch bản dài hạn và đa dạng hóa ngữ cảnh.
  3. Khám phá việc tích hợp sâu hơn các mô hình ngôn ngữ lớn (LLMs) vào các giai đoạn khác nhau của quy trình autoresearch, không chỉ để tạo ra giả thuyết mà còn để thực hiện các thay đổi mã phức tạp, phân tích kết quả một cách sâu sắc hơn và tự động học hỏi từ các thử nghiệm thất bại.

2. Patent:​

  1. Hệ thống bộ nhớ thông minh cho trợ lý ảo di động: Một công nghệ cho phép trợ lý ảo trên điện thoại di động ghi nhớ và tổ chức các trải nghiệm đa phương thức của người dùng (tin nhắn, hình ảnh, âm thanh từ cuộc gọi, video) một cách tự động và hiệu quả. Khi người dùng đặt câu hỏi hoặc yêu cầu, hệ thống sẽ nhanh chóng truy xuất thông tin liên quan từ các loại dữ liệu khác nhau, ngay cả khi thông tin đó đã cũ, giúp trợ lý ảo đưa ra phản hồi chính xác và cá nhân hóa hơn. Ví dụ, người dùng có thể hỏi "Tôi đã tặng gì cho John vào tháng trước?" và điện thoại sẽ tìm trong ảnh, tin nhắn để trả lời.
  2. Công nghệ lọc dữ liệu đa phương thức để tiết kiệm bộ nhớ điện thoại: Một ứng dụng hoặc tính năng tích hợp trên điện thoại di động sử dụng thuật toán thông minh để tự động nhận diện và loại bỏ các dữ liệu đa phương thức (ảnh, video, ghi âm) trùng lặp hoặc ít thông tin trước khi lưu trữ. Ví dụ, khi người dùng quay nhiều video tương tự hoặc chụp hàng loạt ảnh liên tiếp, hệ thống sẽ chỉ giữ lại những khoảnh khắc độc đáo và có giá trị nhất, giúp giải phóng đáng kể dung lượng lưu trữ trên điện thoại mà không làm mất đi nội dung quan trọng.
  3. Chức năng tìm kiếm và truy xuất thông tin đa phương thức nâng cao: Một hệ thống tìm kiếm tích hợp trên điện thoại di động cho phép người dùng tìm kiếm thông tin không chỉ bằng văn bản mà còn kết hợp hình ảnh, âm thanh, và dữ liệu vị trí. Hệ thống này có thể truy xuất thông tin theo từng cấp độ chi tiết (ví dụ: từ tóm tắt nhanh đến nội dung đầy đủ hoặc thậm chí là dữ liệu gốc) dựa trên ngữ cảnh và ngân sách thời gian của người dùng. Ví dụ, người dùng có thể tìm kiếm "bức ảnh tôi chụp ở công viên có con chó màu vàng" và hệ thống sẽ nhanh chóng hiển thị các bức ảnh phù hợp, kèm theo thông tin liên quan từ các tin nhắn hoặc ghi chú.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.01007
ArXiv Abstracthttps://arxiv.org/abs/2604.01007
PDF Downloadhttps://arxiv.org/pdf/2604.01007.pdf
Github RepositoryN/A

11. ASI-Evolve: AI Accelerates AI (19 votes)​

Tác giả: Weixian Xu, Tiantian Mi, Yixiu Liu, Yang Nan, Zhimeng Zhou, Lyumanshan Ye, Lin Zhang, Yu Qiao, Pengfei Liu

Xuất bản lúc: 2026-03-31

Tag: AI-for-AI, Autonomous AI, LLMs, Neural Architecture Search, Data Curation, Reinforcement Learning, Evolutionary Algorithms

I. Main Problem:​

Nghiên cứu này giải quyết vấn đề cốt lõi về việc liệu AI có thể tự tăng tốc quá trình phát triển của chính nó hay không. Các hệ thống tác nhân hiện tại hoạt động tốt với các tác vụ có phạm vi rõ ràng và phản hồi nhanh, nhưng gặp khó khăn với các vòng lặp nghiên cứu tốn kém, dài hạn và được giám sát yếu, vốn là động lực thúc đẩy sự tiến bộ thực sự của AI. Cụ thể, các hạn chế do con người gây ra (như không gian giả thuyết hạn chế, nỗ lực thủ công đáng kể, và khó khăn trong việc tích lũy và chuyển giao kiến thức) làm chậm tốc độ phát triển AI. Các khuôn khổ hiện có chưa thể tự động hóa hiệu quả việc cải thiện kiến trúc, quy trình dữ liệu hoặc thuật toán đào tạo một cách thống nhất trên ba trụ cột nền tảng của phát triển AI (dữ liệu, kiến trúc và thuật toán học).

II. Main Idea:​

ASI-EVOLVE là một khuôn khổ tác nhân (agentic framework) cho nghiên cứu AI-for-AI, đóng vòng lặp phát triển thông qua chu trình học hỏi–thiết kế–thử nghiệm–phân tích. Nó tăng cường các tác nhân tiến hóa tiêu chuẩn với hai thành phần chính:

  1. Cơ sở nhận thức (cognition base): Chứa đựng các tri thức tiên nghiệm tích lũy từ con người (nghiên cứu trước đây, kinh nghiệm, cạm bẫy, nguyên tắc thiết kế) để định hướng quá trình khám phá ngay từ đầu, giúp hệ thống xây dựng dựa trên kiến thức hiện có thay vì tìm kiếm từ đầu.
  2. Bộ phân tích chuyên dụng (dedicated analyzer): Chuyển đổi các kết quả thí nghiệm phức tạp, đa chiều thành những hiểu biết có cấu trúc, có thể hành động được, và lưu trữ chúng vào cơ sở dữ liệu kinh nghiệm để sử dụng trong các lần lặp sau.

Các thành phần này cho phép ASI-EVOLVE duy trì sự cải thiện trong các nhiệm vụ nghiên cứu AI dài hạn, nơi phản hồi đắt đỏ, gián tiếp, nhiễu loạn và khó diễn giải. Chu trình này bao gồm các bước: học hỏi kiến thức liên quan và kinh nghiệm lịch sử, thiết kế chương trình ứng viên, thực hiện thí nghiệm để thu tín hiệu đánh giá, và phân tích kết quả thành các bài học có thể tái sử dụng.

III. Main Results:​

ASI-EVOLVE đã chứng minh khả năng khám phá do AI điều khiển trên ba thành phần cốt lõi của phát triển AI và các lĩnh vực khoa học khác:

  • Thiết kế kiến trúc mạng nơ-ron: Đã khám phá 105 kiến trúc attention tuyến tính vượt trội (SOTA), với mô hình tốt nhất vượt qua DeltaNet +0.97 điểm, gần gấp 3 lần mức cải thiện của các thiết kế thủ công gần đây. Các kiến trúc hàng đầu tập trung vào định tuyến thích ứng, đa tỉ lệ.
  • Tuyển chọn dữ liệu tiền huấn luyện: Quy trình được tiến hóa cải thiện hiệu suất điểm chuẩn trung bình +3.96 điểm, với mức tăng vượt quá 18 điểm trên MMLU, tạo ra các bộ dữ liệu sạch hơn và hiệu quả hơn.
  • Thiết kế thuật toán học tăng cường (RL): Các thuật toán được khám phá vượt trội hơn GRPO tới +12.5 điểm trên AMC32, +11.67 điểm trên AIME24 và +5.04 điểm trên OlympiadBench, thể hiện khả năng tối ưu hóa các yếu tố toán học tinh tế trong thiết kế hàm mất mát.
  • Khả năng tổng quát hóa: Mô hình này có thể áp dụng ngoài lĩnh vực AI/ML, đạt được cải thiện AUROC 6.94 điểm trong dự đoán tương tác thuốc-mục tiêu (drug-target interaction prediction) trong kịch bản tổng quát hóa lạnh (cold-start generalization).
  • Hiệu quả: Tìm thấy kết quả cấp SOTA trong bài toán đóng gói hình tròn (circle packing) chỉ trong 17 vòng lặp, vượt xa các khuôn khổ trước đây.

IV. Conclusion & Future Works:​

ASI-EVOLVE đại diện cho một bước tiến đầy hứa hẹn trong việc cho phép AI tăng tốc sự phát triển của chính nó trên các giai đoạn nền tảng, cung cấp bằng chứng ban đầu về tính khả thi của nghiên cứu AI vòng kín. Nó cho thấy AI có thể tăng tốc các phần chính của quá trình phát triển AI—từ thiết kế kiến trúc mô hình đến chuẩn bị dữ liệu và phát triển thuật toán học—tạo thành một vòng lặp khép kín, đầu cuối, mạch lạc cho sự tự cải thiện của AI. Một hạn chế đáng chú ý là hiệu quả tính toán: hệ thống hoạt động ở cấp độ thiết kế cơ chế attention chứ không phải triển khai kernel cấp thấp, do đó không thể trực tiếp tạo ra các kernel CUDA được tối ưu hóa phần cứng. Điều này mở ra hướng phát triển trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa Kernel cấp thấp do AI điều khiển cho kiến trúc AI tự thiết kế: Nghiên cứu việc tích hợp các tác nhân AI có khả năng thiết kế và tối ưu hóa các kernel tính toán cấp thấp (ví dụ: CUDA kernels) để cải thiện hiệu suất phần cứng thực tế của các kiến trúc AI được ASI-EVOLVE tạo ra, vượt qua hạn chế hiện tại là chỉ tập trung vào cơ chế attention mà không tối ưu hóa mã nguồn cấp thấp.
  2. Mở rộng khuôn khổ AI-for-AI để khám phá khoa học đa lĩnh vực: Khám phá việc áp dụng ASI-EVOLVE cho các lĩnh vực khoa học mới ngoài AI/ML, toán học và y sinh, chẳng hạn như khoa học vật liệu, hóa học hoặc vật lý. Điều này đòi hỏi phát triển các cơ sở nhận thức và bộ phân tích chuyên biệt cho từng lĩnh vực, đồng thời giải quyết các thách thức độc đáo về dữ liệu và phản hồi trong các miền đó.
  3. Chiến lược lấy mẫu thích ứng và phân tích phản hồi thông minh cho khám phá AI dài hạn: Nghiên cứu các thuật toán lấy mẫu tiên tiến và các kỹ thuật phân tích phản hồi đa chiều thông minh hơn, có khả năng tổng hợp sâu sắc hơn các kết quả thí nghiệm phức tạp để định hướng hiệu quả quá trình khám phá. Mục tiêu là cải thiện khả năng của hệ thống trong việc điều chỉnh các chiến lược tìm kiếm và rút ra những hiểu biết có giá trị từ dữ liệu nhiễu, gián tiếp trong các nhiệm vụ nghiên cứu dài hạn.

2. Patent:​

  1. Hệ thống tối ưu hóa hiệu suất ứng dụng di động tự động (Mobile App Performance Self-Optimizer): Một bằng sáng chế cho một công nghệ trên điện thoại di động, nơi một tác nhân AI liên tục theo dõi hiệu suất của các ứng dụng đã cài đặt (ví dụ: mức tiêu thụ pin, tốc độ khởi chạy, độ trễ). Dựa trên dữ liệu này và các tri thức tiên nghiệm về tối ưu hóa ứng dụng, AI sẽ tự động đề xuất và thực hiện các điều chỉnh nhỏ trong cấu hình ứng dụng, cách quản lý bộ nhớ hoặc các quy trình nền để cải thiện trải nghiệm người dùng mà không cần cập nhật thủ công từ nhà phát triển.
  2. Cơ chế cá nhân hóa thuật toán AI trên thiết bị thông minh (On-Device Intelligent AI Algorithm Personalization): Một bằng sáng chế cho một hệ thống AI tích hợp trên điện thoại di động, cho phép các mô hình AI cục bộ (ví dụ: nhận diện giọng nói, xử lý hình ảnh, gợi ý bàn phím) tự động điều chỉnh và tối ưu hóa các thuật toán cơ bản của chúng dựa trên hành vi và sở thích cá nhân của người dùng. Hệ thống sẽ học từ phản hồi trực tiếp (ví dụ: sửa lỗi chính tả, xác nhận nhận diện) và điều chỉnh các tham số thuật toán để đạt được độ chính xác và hiệu quả cao nhất cho từng cá nhân, giảm thiểu nhu cầu xử lý dữ liệu trên đám mây.
  3. Công cụ làm sạch và tối ưu hóa dữ liệu đa phương tiện tự động trên điện thoại (Automated Mobile Media Data Cleaner & Optimizer): Một bằng sáng chế cho một tính năng trên điện thoại di động sử dụng AI để tự động phân tích và làm sạch thư viện ảnh và video của người dùng. Hệ thống sẽ xác định và loại bỏ các bản sao, ảnh mờ, video chất lượng thấp hoặc các đối tượng không mong muốn trong ảnh/video. Nó sẽ liên tục học hỏi và cải thiện các "chiến lược làm sạch" dựa trên phản hồi của người dùng và các tiêu chí chất lượng, giúp tối ưu hóa không gian lưu trữ và đảm bảo chỉ giữ lại nội dung có giá trị cao nhất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.29640
ArXiv Abstracthttps://arxiv.org/abs/2603.29640
PDF Downloadhttps://arxiv.org/pdf/2603.29640.pdf
Github Repositoryhttps://github.com/GAIR-NLP/ASI-Evolve

12. UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving (18 votes)​

Tác giả: Yongkang Li, Lijun Zhou, Sixu Yan, Bencheng Liao, Tianyi Yan, Kaixin Xiong, Long Chen, Hongwei Xie, Bing Wang, Guang Chen, Hangjun Ye, Wenyu Liu, Haiyang Sun, Xinggang Wang

Xuất bản lúc: 2026-04-02

Tag: Vision-Language-Action, Autonomous Driving, Mixture-of-Transformers, Expert Decoupling, Sparse Perception, Multi-task Learning, Semantic Reasoning, Spatial Perception, Trajectory Planning

I. Main Problem:​

Vấn đề cốt lõi mà các mô hình Vision-Language-Action (VLA) hiện tại trong lái xe tự hành phải đối mặt là sự đánh đổi giữa khả năng nhận thức không gian (spatial perception) và năng lực suy luận ngữ nghĩa (semantic reasoning). Các hệ thống VLA hiện có thường bị hạn chế: hoặc là sử dụng các mô hình Vision-Language (VLM) 2D dẫn đến nhận thức không gian kém, hoặc là tăng cường biểu diễn không gian 3D nhưng lại làm suy giảm khả năng suy luận ngữ nghĩa vốn có của VLM. Tình trạng này phát sinh chủ yếu từ việc tối ưu hóa đồng thời nhận thức không gian và suy luận ngữ nghĩa trong cùng một bộ tham số mô hình, gây ra nhiễu loạn biểu diễn.

II. Main Idea:​

UniDriveVLA đề xuất một mô hình Vision-Language-Action thống nhất cho lái xe tự hành, giải quyết xung đột nhận thức-suy luận thông qua chiến lược phân tách chuyên gia (expert decoupling) dựa trên kiến trúc Mixture-of-Transformers (MoT). Mô hình bao gồm ba chuyên gia riêng biệt: hiểu biết lái xe (driving understanding), nhận thức cảnh quan (scene perception), và lập kế hoạch hành động (action planning), được phối hợp thông qua cơ chế chú ý chung có mặt nạ (masked joint attention). Ngoài ra, UniDriveVLA kết hợp một mô hình nhận thức thưa thớt (sparse perception paradigm) để trích xuất các thông tin không gian quan trọng trực tiếp từ các token VLM 2D, đồng thời áp dụng chiến lược huấn luyện ba giai đoạn lũy tiến để cải thiện nhận thức không gian mà vẫn duy trì khả năng suy luận ngữ nghĩa.

III. Main Results:​

UniDriveVLA đạt hiệu suất vượt trội so với các phương pháp hiện có trong đánh giá vòng lặp mở (open-loop evaluation) trên bộ dữ liệu nuScenes và đánh giá vòng lặp đóng (closed-loop evaluation) trên Bench2Drive. Cụ thể, trên Bench2Drive, mô hình đạt điểm Lái xe (Driving Score) tốt nhất là 78.37 và hiệu quả (Efficiency) tốt nhất là 198.86. Trên nuScenes, phiên bản UniDriveVLA-Large đạt lỗi L2 trung bình thấp nhất trong kịch bản không có đầu vào trạng thái ego. Mô hình cũng thể hiện khả năng mạnh mẽ trên nhiều nhiệm vụ nhận thức, dự đoán và hiểu biết khác nhau, bao gồm phát hiện 3D, lập bản đồ trực tuyến, dự đoán chuyển động và VQA định hướng lái xe, nhấn mạnh tính ứng dụng rộng rãi của nó như một mô hình thống nhất cho lái xe tự hành. Các thử nghiệm cũng chứng minh rằng việc phân tách chuyên gia của MoT cải thiện đáng kể hiệu suất suy luận, nhận thức và lập kế hoạch.

IV. Conclusion & Future Works:​

UniDriveVLA là một mô hình Vision-Language-Action thống nhất tiên phong, giải quyết hiệu quả xung đột giữa nhận thức không gian và suy luận ngữ nghĩa trong lái xe tự hành thông qua kiến trúc phân tách chuyên gia Mixture-of-Transformers, kết hợp với nhận thức thưa thớt và chiến lược huấn luyện ba giai đoạn. Kết quả thực nghiệm cho thấy UniDriveVLA đạt hiệu suất hàng đầu và có khả năng ứng dụng rộng rãi trong nhiều nhiệm vụ liên quan đến lái xe tự hành. Mặc dù bài báo không nêu rõ các hướng nghiên cứu trong tương lai, công trình này mở ra tiềm năng cho việc phát triển các mô hình lái xe tự hành mạnh mẽ và đáng tin cậy hơn bằng cách giải quyết các xung đột cốt lõi trong việc tích hợp thông tin đa phương thức.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cách cải thiện hơn nữa khả năng đa phương thức tổng quát của các mô hình VLA thích ứng với lái xe mà không làm giảm hiệu suất chuyên biệt cho nhiệm vụ lái xe.
  2. Khám phá các cơ chế phân bổ chuyên gia động (dynamic expert allocation) hoặc định tuyến thích ứng (adaptive routing) trong khuôn khổ kiến trúc Mixture-of-Transformers để tối ưu hóa tài nguyên tính toán dựa trên độ phức tạp của tình huống lái xe theo thời gian thực.
  3. Mở rộng mô hình nhận thức thưa thớt (sparse perception paradigm) để tích hợp các loại cảm biến đa dạng hơn (ví dụ: LiDAR, radar) vào một biểu diễn thưa thớt thống nhất, nhằm tăng cường độ bền vững trong các điều kiện môi trường bất lợi.

2. Patent:​

  1. Hệ thống Hỗ trợ Lái xe Cá nhân trên Điện thoại: Một ứng dụng di động sử dụng camera của điện thoại để nhận diện các vật thể xung quanh xe (như xe khác, người đi bộ, biển báo giao thông) và cung cấp cảnh báo bằng giọng nói hoặc hình ảnh cho người lái. Ứng dụng này sẽ sử dụng các thuật toán tương tự như "phân tách chuyên gia" để vừa hiểu ngữ cảnh đường phố (ví dụ: "đang ở giao lộ") vừa nhận diện vật thể cụ thể, giúp người lái xe an toàn hơn trong các tình huống phức tạp.
  2. Trợ lý Điều hướng Thông minh theo Ngữ cảnh: Một tính năng trên điện thoại di động tích hợp vào ứng dụng bản đồ, không chỉ đưa ra chỉ dẫn đường đi mà còn phân tích môi trường xung quanh (qua camera hoặc dữ liệu cảm biến) để đưa ra lời khuyên lái xe theo thời gian thực. Ví dụ, nếu phát hiện có công trình đang thi công hoặc tình trạng giao thông bất thường, nó có thể gợi ý làn đường tốt hơn hoặc cảnh báo về các mối nguy hiểm tiềm ẩn, sử dụng khả năng "hiểu, nhận thức và lập kế hoạch hành động" của mô hình.
  3. Tối ưu hóa Pin Điện thoại cho Ứng dụng AI Nặng: Một công nghệ quản lý năng lượng trên điện thoại, tự động điều chỉnh hiệu suất của các mô hình AI xử lý hình ảnh và ngôn ngữ (như trong các ứng dụng hỗ trợ lái xe hoặc dịch thuật trực tiếp) dựa trên tình trạng pin và mức độ ưu tiên của tác vụ. Công nghệ này sẽ dựa trên nguyên lý "phân tách chuyên gia" để chỉ kích hoạt các thành phần AI cần thiết nhất, giúp kéo dài thời lượng pin khi chạy các tác vụ AI yêu cầu cao mà không làm giảm đáng kể trải nghiệm người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.02190
ArXiv Abstracthttps://arxiv.org/abs/2604.02190
PDF Downloadhttps://arxiv.org/pdf/2604.02190.pdf
Github Repositoryhttps://github.com/xiaomi-research/unidrivevla

13. Gated Condition Injection without Multimodal Attention: Towards Controllable Linear-Attention Transformers (14 votes)​

Tác giả: Yuhe Liu, Zhenxiong Tan, Yujia Hu, Songhua Liu, Xinchao Wang

Xuất bản lúc: 2026-03-29

Tag: Diffusion Models, Controllable Generation, Linear Attention, Transformers, Gated Mechanisms, On-device AI

I. Main Problem:​

Các mô hình tạo ảnh có thể kiểm soát dựa trên diffusion hiện tại, mặc dù có chất lượng cao, thường yêu cầu tài nguyên tính toán lớn và phải triển khai trên máy chủ đám mây, gây ra lo ngại về quyền riêng tư dữ liệu người dùng. Khi áp dụng các khung tạo ảnh có thể kiểm soát hiện có như ControlNet và OminiControl lên các mô hình diffusion dựa trên kiến trúc linear attention (vốn hiệu quả hơn cho thiết bị biên), chúng bộc lộ những hạn chế: hoặc thiếu linh hoạt để hỗ trợ nhiều loại điều kiện đầu vào khác nhau, hoặc hội tụ chậm, đặc biệt đối với các tác vụ căn chỉnh không gian.

II. Main Idea:​

Bài báo đề xuất GateControl, một khung tạo ảnh diffusion có thể kiểm soát mới được thiết kế riêng cho các kiến trúc linear attention như SANA. Ý tưởng cốt lõi là một mô-đun điều kiện hóa có cổng (gated conditioning module) thống nhất, hoạt động trong một đường dẫn kép. Mô-đun này tích hợp hiệu quả các loại đầu vào điều kiện đa dạng, bao gồm cả các tín hiệu căn chỉnh không gian và không căn chỉnh không gian. Cụ thể, cơ chế cổng học được sẽ chọn lọc hợp nhất thông tin token mà lẽ ra sẽ bị nén bởi linear attention, giúp tăng tốc quá trình huấn luyện và tăng cường trích xuất đặc trưng có điều kiện. Phương pháp này cũng sử dụng chiến lược chia sẻ mô-đun (shared-module encoding) và tinh chỉnh LoRA để giảm thiểu đáng kể số lượng tham số bổ sung.

III. Main Results:​

Phương pháp GateControl đạt hiệu suất tạo ảnh có thể kiểm soát vượt trội trên các mô hình linear attention, vượt qua các phương pháp hiện có về độ trung thực và khả năng kiểm soát. Nó cho thấy sự hội tụ nhanh hơn đáng kể (ví dụ: trong tác vụ Canny-to-image, mô hình đạt hiệu suất tốt hơn baseline 10k bước chỉ với 1k bước huấn luyện) và duy trì hoặc cải thiện chất lượng đầu ra. Đặc biệt, nó chỉ thêm 0.09M tham số bổ sung, tương đương 0.006% so với mô hình SANA gốc, làm cho nó cực kỳ hiệu quả. Trong các tác vụ căn chỉnh không gian (như làm mờ, tô màu, Canny, độ sâu, HED), GateControl giảm đáng kể FID (ví dụ: từ 24.95 xuống 10.28 cho tô màu) và MSE (ví dụ: từ 2320 xuống 1168 cho HED), đồng thời cải thiện các chỉ số chất lượng hình ảnh và căn chỉnh khác. Đối với tạo ảnh theo chủ thể (subject-driven generation), phương pháp này cũng thể hiện khả năng tổng quát hóa mạnh mẽ, duy trì nhận dạng chủ thể nhất quán trong khi cho phép sửa đổi linh hoạt và chi tiết.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng khung GateControl thống nhất là một giải pháp hiệu quả cho việc tạo ảnh diffusion có thể kiểm soát trên các kiến trúc linear attention. Nó giải quyết các hạn chế của ControlNet và OminiControl bằng cách cung cấp khả năng điều kiện hóa đa loại ổn định và biểu cảm, đạt được khả năng kiểm soát vượt trội và hội tụ nhanh hơn với chi phí tham số tối thiểu. Các thí nghiệm rộng rãi trên các tác vụ căn chỉnh không gian và theo chủ thể đã chứng minh khả năng tạo ra hình ảnh chất lượng cao và kiểm soát mạnh mẽ trong nhiều điều kiện khác nhau, mở ra tiềm năng cho diffusion có thể kiểm soát hiệu quả trên thiết bị. Hướng phát triển trong tương lai bao gồm khám phá các ứng dụng trong tạo nhân vật cá nhân hóa và tạo video, nơi việc duy trì nhận dạng chủ thể trong khi nhúng nó một cách tự nhiên vào các môi trường đa dạng là rất quan trọng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng GateControl cho tạo video có thể kiểm soát trên thiết bị: Nghiên cứu phát triển một phiên bản GateControl được tối ưu hóa cho việc tạo và chỉnh sửa video trực tiếp trên các thiết bị di động, tập trung vào việc duy trì tính nhất quán của chủ thể và cảnh quay trong khi cho phép kiểm soát linh hoạt các yếu tố như phong cách, hành động hoặc môi trường.
  2. Khám phá cơ chế cổng thích ứng cho các kiến trúc Transformer hiệu quả khác: Điều tra cách cơ chế cổng tương tự có thể được áp dụng và tối ưu hóa cho các kiến trúc Transformer hiệu quả khác (ngoài linear attention) để cải thiện khả năng kiểm soát và tốc độ hội tụ trong các tác vụ tạo sinh thị giác, đặc biệt là trong bối cảnh AI trên thiết bị.
  3. Tạo sinh nhân vật cá nhân hóa với khả năng chỉnh sửa chi tiết: Phát triển một khung làm việc cho phép người dùng tạo ra các nhân vật kỹ thuật số cá nhân hóa (ví dụ: cho trò chơi, metaverse) từ một vài hình ảnh đầu vào, với khả năng điều khiển chi tiết về trang phục, biểu cảm, tư thế và các đặc điểm khác, đảm bảo tính nhất quán nhận dạng và chất lượng cao.

2. Patent:​

  1. Hệ thống chỉnh sửa ảnh trên điện thoại thông minh bảo mật dữ liệu: Một ứng dụng di động sử dụng mô hình AI tạo sinh có cổng điều khiển hiệu quả để cho phép người dùng thực hiện các chỉnh sửa phức tạp (ví dụ: thay đổi nền, thêm hoặc xóa vật thể, làm mờ/làm nét) trực tiếp trên thiết bị mà không cần tải ảnh lên đám mây, đảm bảo quyền riêng tư tối đa cho dữ liệu cá nhân.
  2. Chức năng camera tăng cường thực tế (AR) động trên thiết bị: Một tính năng tích hợp vào ứng dụng camera điện thoại cho phép người dùng thêm hoặc sửa đổi các vật thể ảo trong khung hình trực tiếp (ví dụ: đặt mũ lên đầu người, thay đổi màu sắc của quần áo) một cách mượt mà và theo thời gian thực, sử dụng một mô hình tạo sinh có thể kiểm soát, trọng lượng nhẹ chạy hoàn toàn trên điện thoại.
  3. Công cụ tạo và tùy chỉnh avatar/nhân vật di động hiệu quả: Một công cụ trên điện thoại thông minh cho phép người dùng tạo ra các avatar hoặc nhân vật kỹ thuật số từ ảnh của họ hoặc mô tả văn bản, sau đó tùy chỉnh các chi tiết như trang phục, phụ kiện, kiểu tóc, hoặc thậm chí thay đổi phong cách nghệ thuật (ví dụ: thành hoạt hình, hình khối) một cách nhanh chóng và hiệu quả, với toàn bộ quá trình xử lý diễn ra trên thiết bị để đảm bảo tính riêng tư và trải nghiệm tức thì.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.27666
ArXiv Abstracthttps://arxiv.org/abs/2603.27666
PDF Downloadhttps://arxiv.org/pdf/2603.27666.pdf
Github Repositoryhttps://github.com/Carol-lyh/GateControl

14. Investigating Autonomous Agent Contributions in the Wild: Activity Patterns and Code Change over Time (13 votes)​

Tác giả: Razvan Mihai Popescu, David Gros, Andrei Botocan, Rahul Pandita, Prem Devanbu, Maliheh Izadi

Xuất bản lúc: 2026-04-01

Tag: Autonomous Coding Agents, Large Language Models, Software Engineering, Code Churn, Pull Requests, Human-AI Collaboration, Empirical Software Engineering, Mining Software Repositories

I. Main Problem:​

Nghiên cứu này nhằm giải quyết vấn đề hiểu rõ tác động của các tác nhân mã hóa tự động (autonomous coding agents) đối với quá trình phát triển phần mềm thực tế. Cụ thể, nó tập trung vào việc đánh giá cách thức các đóng góp của AI ảnh hưởng đến chất lượng mã, động lực nhóm và khả năng bảo trì phần mềm theo thời gian. Các nghiên cứu trước đây còn hạn chế trong việc nắm bắt tương tác thực tế và sự tiến hóa lâu dài của mã do AI tạo ra, thường chỉ tập trung vào một tập hợp con nhỏ các Pull Request (PR) hoặc các kho lưu trữ phổ biến cao.

II. Main Idea:​

Các tác giả đã xây dựng một bộ dữ liệu lớn và mới lạ gồm khoảng 110.000 Pull Request mã nguồn mở, bao gồm các commit, comment, review, issue và thay đổi tệp liên quan. Họ so sánh hoạt động của năm tác nhân mã hóa phổ biến (OpenAI Codex, Claude Code, GitHub Copilot, Google Jules và Devin) với các đóng góp của con người. Nghiên cứu kiểm tra sự khác biệt trong các khía cạnh phát triển như tần suất hợp nhất (merge frequency), loại tệp được chỉnh sửa và tín hiệu tương tác của nhà phát triển (như comment và review). Đặc biệt, nghiên cứu cung cấp các ước tính theo thời gian về tỷ lệ sống sót (survival rate) và tỷ lệ thay đổi mã (churn rate) cho mã do tác nhân tạo ra so với mã do con người viết để đánh giá khả năng bảo trì lâu dài.

III. Main Results:​

Các phát hiện chính cho thấy hoạt động của tác nhân đang gia tăng trong các dự án mã nguồn mở, đặc biệt là ở các kho lưu trữ ít sao hơn. Tuy nhiên, các đóng góp của tác nhân có liên quan đến sự thay đổi mã nhiều hơn theo thời gian so với mã do con người viết. Các tác nhân có xu hướng tạo ra các PR có kích thước lớn hơn và tập trung vào việc thêm mã nhiều hơn. Các PR của Claude và Codex được hợp nhất với tỷ lệ cao hơn so với PR của con người, trong khi Copilot và Devin thì thấp hơn. Các PR của Codex và Jules có thời gian hợp nhất nhanh hơn đáng kể (Codex trung bình 0,5 phút so với 0,4 giờ của con người), cho thấy có thể là do tác vụ đơn giản hoặc đã được xem xét ngoại tuyến. Các PR do tác nhân tạo ra thường nhận được ít bình luận và đánh giá từ người dùng hơn.

IV. Conclusion & Future Works:​

Nghiên cứu kết luận rằng các tác nhân mã hóa tự động đang đóng góp ngày càng nhiều vào các dự án mã nguồn mở. Tuy nhiên, các đóng góp của họ có liên quan đến tỷ lệ thay đổi mã (churn rate) cao hơn theo thời gian, điều này có thể gây lo ngại về khả năng bảo trì lâu dài. Công trình này cung cấp một cái nhìn rộng hơn và sâu hơn về bối cảnh tác nhân và sự tiến hóa của mã do tác nhân tạo ra. Các hướng nghiên cứu trong tương lai có thể bao gồm việc tìm hiểu sâu hơn về nguyên nhân của tỷ lệ thay đổi mã cao và phát triển các công cụ hoặc phương pháp mới để cải thiện chất lượng và khả năng bảo trì của mã do AI tạo ra.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu định lượng các yếu tố dẫn đến tỷ lệ thay đổi mã cao trong mã nguồn do AI tạo ra: Một phân tích chi tiết về loại thay đổi, độ phức tạp và ngữ cảnh dự án ảnh hưởng đến sự ổn định của mã nguồn từ các tác nhân tự động.
  2. Thiết kế và đánh giá các cơ chế phản hồi nâng cao cho tác nhân mã hóa tự động nhằm cải thiện khả năng bảo trì mã: Khám phá cách các vòng lặp phản hồi đa phương thức (ví dụ: từ con người, từ các tác nhân khác, hoặc từ phân tích mã tự động) có thể được tích hợp để hướng dẫn tác nhân tạo ra mã ổn định hơn.
  3. Ảnh hưởng của bối cảnh kho lưu trữ và chính sách cộng tác đến sự chấp nhận và chất lượng lâu dài của các Pull Request do tác nhân tạo ra: Một nghiên cứu so sánh về cách các yếu tố như kích thước dự án, mức độ phổ biến của kho lưu trữ và quy trình đánh giá ảnh hưởng đến việc tích hợp thành công mã AI.

2. Patent:​

  1. Hệ thống tự động đề xuất cải tiến mã nguồn trên thiết bị di động: Một ứng dụng di động tích hợp AI có khả năng phân tích mã nguồn được lưu trữ cục bộ hoặc trên đám mây (ví dụ: một đoạn mã viết trong IDE di động) và tự động tạo ra các đề xuất cải tiến về hiệu suất, bảo mật hoặc khả năng đọc. Hệ thống sẽ cung cấp các bản vá nhỏ hoặc đoạn mã thay thế và cho phép người dùng xem trước, chấp nhận hoặc từ chối trực tiếp trên điện thoại.
  2. Công cụ giám sát và cảnh báo chất lượng mã nguồn AI theo thời gian thực: Một tính năng trên ứng dụng phát triển phần mềm di động hoặc plugin cho IDE di động, sử dụng AI để giám sát các thay đổi mã nguồn do các tác nhân AI tạo ra. Nó sẽ cảnh báo nhà phát triển về các đoạn mã có khả năng gây ra churn cao hoặc khó bảo trì trong tương lai, dựa trên phân tích lịch sử thay đổi mã và các mẫu churn đã học. Cảnh báo này có thể hiển thị dưới dạng thông báo đẩy hoặc đánh dấu trực tiếp trong trình chỉnh sửa mã.
  3. Trợ lý lập trình di động thông minh tích hợp quản lý Pull Request: Một trợ lý lập trình AI trên điện thoại thông minh cho phép người dùng tương tác bằng giọng nói hoặc văn bản để tạo, xem xét và quản lý các pull request. Trợ lý này có thể tự động tạo các nhánh, cam kết mã, mở PR, và thậm chí tóm tắt các thay đổi trong PR do AI khác tạo ra, giúp nhà phát triển nhanh chóng phê duyệt hoặc yêu cầu chỉnh sửa thông qua giao diện di động trực quan.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.00917
ArXiv Abstracthttps://arxiv.org/abs/2604.00917
PDF Downloadhttps://arxiv.org/pdf/2604.00917.pdf
Github RepositoryN/A