Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-05-01

Báo cáo được tạo tự động vào lúc 2026-05-05 09:28:48 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. Heterogeneous Scientific Foundation Model Collaboration (197 votes)​

Tác giả: Zihao Li, Jiaru Zou, Feihao Fang, Xuying Ning, Mengting Ai, Tianxin Wei, Sirui Chen, Xiyuan Yang, Jingrui He

Xuất bản lúc: 2026-04-30

Tag: Agentic AI, Foundation Models, Multi-Agent Systems, LLMs, Scientific AI, Heterogeneous Models, Orchestration

I. Main Problem:​

Các hệ thống đại lý dựa trên ngôn ngữ lớn (LLM) hiện tại bị giới hạn khi xử lý các tác vụ khoa học chuyên sâu vì chúng chỉ sử dụng ngôn ngữ tự nhiên làm giao diện duy nhất. Trong khi đó, các mô hình nền tảng chuyên biệt cho từng lĩnh vực (domain-specific foundation models) có khả năng xử lý dữ liệu phi ngôn ngữ (ví dụ: chuỗi thời gian, dữ liệu bảng) lại thiếu giao diện ngôn ngữ, gây khó khăn cho việc tích hợp chúng vào các hệ thống đại lý thông minh.

II. Main Idea:​

Tác giả giới thiệu Eywa, một khung kiến trúc đại lý không đồng nhất (heterogeneous agentic framework) cho phép hợp tác giữa các mô hình nền tảng chuyên biệt và các đại lý ngôn ngữ. Ý tưởng chính là xây dựng một giao diện hai chiều (Tsaheylu) giữa LLM và mô hình chuyên biệt, trong đó LLM đóng vai trò lập kế hoạch và suy luận tổng quát, còn mô hình chuyên biệt thực hiện các tính toán chuyên sâu trên dữ liệu riêng của nó. Eywa có ba biến thể: (1) EywaAgent cho một đại lý duy nhất, (2) EywaMAS cho nhiều đại lý với cấu trúc cố định, và (3) EywaOrchestra cho phép điều phối động các chuyên gia không đồng nhất thông qua một bộ điều khiển trung tâm.

III. Main Results:​

Eywa được đánh giá trên bộ benchmark đa lĩnh vực EywaBench (bao gồm khoa học vật lý, đời sống và xã hội). Kết quả cho thấy EywaAgent cải thiện utility khoảng 7%, giảm 30% lượng token và 10% thời gian thực thi so với đại lý LLM đơn lẻ. EywaMAS và EywaOrchestra cũng vượt trội hơn các baseline đa đại lý khác (Refine, Debate, MoA, X-MAS) về utility, đồng thời tiết kiệm token và thời gian đáng kể.

IV. Conclusion & Future Works:​

Eywa chứng minh rằng việc hợp tác giữa các mô hình nền tảng không đồng nhất trong hệ thống đại lý là khả thi và mang lại hiệu quả vượt trội. Hướng phát triển trong tương lai bao gồm mở rộng Eywa sang các lĩnh vực và phương thức dữ liệu khác (ví dụ: thị giác máy tính, dữ liệu không gian địa lý), cũng như cải thiện khả năng điều phối động để xử lý các tác vụ phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Eywa sang lĩnh vực y tế: Kết hợp các mô hình nền tảng chuyên về hình ảnh y khoa (X-quang, MRI) với LLM để hỗ trợ chẩn đoán và đưa ra khuyến nghị điều trị dựa trên dữ liệu bệnh nhân đa phương thức.
  2. Nghiên cứu khả năng thích ứng của EywaOrchestra: Phát triển thuật toán học tăng cường để bộ điều khiển (conductor) tự động học cách lựa chọn cấu hình hệ thống tối ưu cho từng tác vụ, thay vì dựa vào một tập cấu hình cố định.
  3. Áp dụng Eywa cho các tác vụ phân tích tài chính: Tích hợp các mô hình dự báo chuỗi thời gian và mô hình xử lý dữ liệu bảng với LLM để tự động hóa việc phân tích thị trường chứng khoán, đánh giá rủi ro và đưa ra quyết định đầu tư.

2. Patent:​

  1. Phương pháp và hệ thống điều khiển thiết bị di động thông minh bằng giọng nói kết hợp dữ liệu cảm biến: Sử dụng giao diện Tsaheylu để kết nối LLM trên điện thoại với các mô hình chuyên biệt xử lý dữ liệu từ cảm biến (gia tốc kế, con quay hồi chuyển) nhằm dự đoán chính xác hành vi người dùng và đưa ra phản hồi phù hợp.
  2. Ứng dụng trên điện thoại thông minh để hỗ trợ học tập cá nhân hóa: Hệ thống sử dụng LLM để hiểu câu hỏi của học sinh, sau đó gọi các mô hình nền tảng chuyên biệt (ví dụ: mô hình giải toán, mô hình mô phỏng vật lý) để tính toán và trả về kết quả, giúp học sinh hiểu bài sâu hơn mà không cần nhập liệu phức tạp.
  3. Phương pháp tối ưu hóa thời lượng pin trên điện thoại thông minh dựa trên dự báo chuỗi thời gian: Sử dụng một mô hình nền tảng chuyên biệt dự báo mức tiêu thụ pin dựa trên lịch sử sử dụng, kết hợp với LLM để đưa ra các khuyến nghị tiết kiệm pin thông minh và cá nhân hóa cho từng người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.27351
ArXiv Abstracthttps://arxiv.org/abs/2604.27351
PDF Downloadhttps://arxiv.org/pdf/2604.27351.pdf
Github Repositoryhttps://github.com/Violet24K/Eywa

2. Visual Generation in the New Era: An Evolution from Atomic Mapping to Agentic World Modeling (84 votes)​

Tác giả: Keming Wu, Zuhao Yang, Kaichen Zhang, Shizun Wang, Haowei Zhu, Sicong Leng, Zhongyu Yang, Qijie Wang, Sudong Wang, Ziting Wang, Zili Wang, Hui Zhang, Haonan Wang, Hang Zhou, Yifan Pu, Xingxuan Li, Fangneng Zhan, Bo Li, Lidong Bing, Yuxin Song, Ziwei Liu, Wenhu Chen, Jingdong Wang, Xinchao Wang, Xiaojuan Qi, Shijian Lu, Bin Wang

Xuất bản lúc: 2026-04-30

Tag: Visual Generation, Diffusion Models, Flow Matching, Autoregressive Models, World Modeling, Agentic Generation, Multimodal Models, Post-training Alignment, Synthetic Data

I. Main Problem:​

Các hệ thống sinh ảnh hiện tại dù đã đạt được chất lượng thẩm mỹ cao và khả năng làm theo hướng dẫn phức tạp, nhưng vẫn thất bại trong các tác vụ đòi hỏi suy luận không gian, duy trì trạng thái nhất quán qua thời gian dài, và hiểu biết về quan hệ nhân quả. Vấn đề cốt lõi là các mô hình này chỉ giỏi về mặt hình thức (appearance synthesis) mà thiếu sự vững chắc về cấu trúc, động lực học, và kiến thức nhân quả. Bài báo đặt ra câu hỏi: làm thế nào để đo lường và cải thiện 'trí thông minh' của mô hình sinh, thay vì chỉ tập trung vào chất lượng điểm ảnh?

II. Main Idea:​

Bài báo đề xuất một hệ thống phân cấp 5 cấp độ cho trí thông minh thị giác (Visual Intelligence Taxonomy) để phân loại năng lực của các mô hình sinh: (1) Atomic Generation (sinh đơn lẻ từ prompt), (2) Conditional Generation (sinh có điều kiện với các ràng buộc như depth map, reference image), (3) In-Context Generation (sinh dựa trên ngữ cảnh phong phú như nhiều tham chiếu hoặc lịch sử chỉnh sửa trong một lần forward), (4) Agentic Generation (sinh như một hành động trong vòng lặp điều khiển, có khả năng lập kế hoạch và xác minh), và (5) World-Modeling Generation (sinh dựa trên mô hình thế giới vật lý và nhân quả). Các tác giả phân tích các động lực kỹ thuật thúc đẩy quá trình tiến hóa này, bao gồm sự chuyển đổi từ diffusion sang flow matching, sự trỗi dậy của các mô hình thống nhất hiểu và sinh, và tầm quan trọng của việc huấn luyện sau (post-training) với alignment và reward modeling.

III. Main Results:​

Bài báo là một roadmap tổng quan, không đưa ra kết quả thực nghiệm cụ thể từ một mô hình duy nhất. Thay vào đó, nó tổng hợp và phân tích các xu hướng phát triển chính trong lĩnh vực. Các kết quả chính bao gồm: (1) Xác định sự bùng nổ số lượng công bố từ năm 2022, với năm 2025 chiếm gần một nửa số công trình được trích dẫn. (2) Phân tích các hướng nghiên cứu mới nổi như Image Editing, Unified Multimodal Models, World Modeling và Agentic Generation. (3) Đưa ra các bài kiểm tra stress test 'in-the-wild' (ví dụ: ghép hình jigsaw, bản đồ tàu điện ngầm, suy luận vật lý chất lưu) cho thấy các mô hình hiện tại thường thiếu logic không gian, lý luận nhân quả và khả năng duy trì danh tính nhất quán, dù điểm số benchmark có vẻ cao.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng lĩnh vực sinh ảnh đang chuyển dịch từ một bài toán 'ghép ảnh' thụ động thành một hệ thống tương tác, thông minh và có khả năng mô phỏng thế giới. Các hướng nghiên cứu trong tương lai bao gồm: (1) Visual Chain-of-Thought (vCoT): suy nghĩ trước khi tạo hình. (2) Closed-Loop Visual Agents: sinh ảnh như một hành động trong vòng lặp tương tác. (3) Agentic Visual Generation: kết hợp sinh ảnh với các công cụ bên ngoài. (4) Training with Synthetic Data and Visual Self-Play: tự huấn luyện với dữ liệu tổng hợp. (5) Visual Generation as World Simulation: xem sinh ảnh như một công cụ mô phỏng thế giới. (6) Data-Centric Visual Intelligence: tập trung vào chất lượng dữ liệu. (7) Evaluating New Generative Capabilities: phát triển các phương pháp đánh giá mới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. 1. Kiến trúc mô hình sinh thế hệ mới cho thiết bị di động: Kết hợp Flow Matching và Autoregressive Model để sinh ảnh siêu nhanh và nhẹ, tối ưu cho NPU trên chip điện thoại. Hướng này giải quyết vấn đề về tốc độ và chi phí tính toán, mở ra khả năng chạy local real-time.
  2. 2. Phát triển một bộ benchmark mới tập trung vào 'Causal Visual Reasoning' cho các mô hình sinh: Đánh giá khả năng hiểu và tái tạo các mối quan hệ nhân quả trong không gian và thời gian (ví dụ: một quả bóng rơi xuống nước sẽ tạo ra sóng như thế nào), thay vì chỉ đo điểm FID hay CLIP score.
  3. 3. Nghiên cứu phương pháp 'Self-Play' cho sinh ảnh: Xây dựng một vòng lặp tự động, nơi mô hình sinh ra ảnh, sau đó một mô hình phê bình (critic) đánh giá và đưa ra phản hồi để mô hình sinh tự cải thiện, không cần dữ liệu con người. Hướng này giúp mô hình tiến hóa lên cấp độ Agentic Generation.

2. Patent:​

  1. 1. Phương pháp và hệ thống chỉnh sửa ảnh thông minh trên điện thoại thông minh dựa trên hội thoại nhiều bước: Hệ thống cho phép người dùng thực hiện các thay đổi tuần tự trên ảnh (ví dụ: 'thay nền thành bãi biển', 'thêm kính râm cho người trong ảnh') thông qua giao diện trò chuyện. Sáng chế này tập trung vào việc duy trì chất lượng và danh tính của đối tượng gốc sau nhiều lần chỉnh sửa, giải quyết vấn đề 'suy giảm chất lượng tích lũy' bằng cơ chế ghi nhớ trạng thái và khôi phục vùng ảnh không bị ảnh hưởng.
  2. 2. Ứng dụng tạo và tùy chỉnh sticker, avatar 3D động trên điện thoại từ một bức ảnh selfie duy nhất: Hệ thống sử dụng mô hình In-Context Generation (Cấp độ 3) để tạo ra một loạt các biến thể của khuôn mặt người dùng với các biểu cảm, trang phục và bối cảnh khác nhau từ một bức ảnh tham chiếu. Sáng chế này cho phép người dùng tạo sticker hoặc avatar cá nhân hóa một cách nhanh chóng, mà không cần kỹ năng thiết kế.
  3. 3. Phương pháp hỗ trợ thiết kế nội thất tương tác trên thiết bị di động dựa trên mô hình thế giới (World Model): Người dùng chụp ảnh căn phòng trống, sau đó hệ thống sử dụng mô hình World-Modeling Generation (Cấp độ 5) để không chỉ đặt đồ nội thất ảo vào ảnh mà còn mô phỏng các tương tác vật lý cơ bản (ví dụ: ánh sáng đổ bóng như thế nào khi di chuyển ghế, hoặc một chiếc bàn mới có vừa với không gian còn lại không). Sáng chế này cung cấp trải nghiệm thiết kế trực quan và thực tế hơn so với các ứng dụng AR thông thường.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.28185
ArXiv Abstracthttps://arxiv.org/abs/2604.28185
PDF Downloadhttps://arxiv.org/pdf/2604.28185.pdf
Github Repositoryhttps://github.com/EvolvingLMMs-Lab/Evolving-Visual-Generation

3. Co-Evolving Policy Distillation (53 votes)​

Tác giả: Naibin Gu, Chenxu Yang, Qingyi Si, Chuanyu Qin, Dingyu Yao, Peng Fu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

Xuất bản lúc: 2026-04-29

Tag: Reinforcement Learning with Verifiable Rewards, On-Policy Distillation, Multi-task Learning, Multimodal Reasoning, Policy Distillation, Large Language Models

I. Main Problem:​

Các phương pháp huấn luyện hậu kỳ hiện tại như RLVR (Reinforcement Learning with Verifiable Rewards) và OPD (On-Policy Distillation) gặp khó khăn khi tích hợp nhiều năng lực (ví dụ: suy luận văn bản, hình ảnh, video) vào một mô hình duy nhất. Cụ thể: (1) RLVR hỗn hợp (Mixed RLVR) gây ra xung đột gradient giữa các năng lực, dẫn đến sự suy giảm lẫn nhau (capability divergence). (2) Quy trình hai giai đoạn (huấn luyện chuyên gia riêng lẻ rồi mới chưng cất OPD) tuy tránh được xung đột, nhưng lại dẫn đến khoảng cách hành vi lớn giữa giáo viên (teacher) và học sinh (student), khiến cho kiến thức từ giáo viên khó được hấp thụ hiệu quả (absorption efficiency thấp).

II. Main Idea:​

Bài báo đề xuất Co-Evolving Policy Distillation (CoPD), một khung huấn luyện cho phép nhiều nhánh chuyên gia (expert branches) cùng tiến hóa song song. Ý tưởng chính là đan xen hai giai đoạn: (1) RLVR đặc thù cho từng nhánh để chuyên sâu hóa năng lực riêng và tạo ra khoảng cách kiến thức giữa các nhánh. (2) Mutual OPD (On-Policy Distillation hai chiều) giữa các nhánh, nơi mỗi nhánh vừa là giáo viên vừa là học sinh, để chuyển giao kiến thức mới học được. Sự đan xen này giúp duy trì khoảng cách hành vi vừa phải giữa các nhánh: đủ xa để việc chưng cất mang lại thông tin mới, nhưng đủ gần để thông tin đó có thể được hấp thụ hiệu quả. Cuối cùng, các nhánh được hợp nhất (merge) thành một mô hình thống nhất duy nhất.

III. Main Results:​

Thực nghiệm trên mô hình Qwen3-VL-4B-Instruct cho thấy CoPD vượt trội so với các baseline mạnh như Mixed RLVR, OPD tĩnh (Static OPD) và MOPD (Multi-teacher OPD) trên các benchmark suy luận văn bản, hình ảnh và video. Cụ thể: (1) Trong cấu hình hai nhánh (văn bản và hình ảnh), CoPD đạt Overall Avg. 57.71, cao hơn hẳn so với Image-Expert (55.65), Text-Expert (56.13), Mixed RLVR (55.60), OPD V→T (56.09) và OPD T→V (56.29). (2) Trong cấu hình ba nhánh (thêm video), CoPD tiếp tục đạt Overall Avg. cao nhất (58.12), vượt qua MOPD (56.99) và Mixed RLVR (56.79). (3) Phân tích sâu (pilot study) xác nhận mối tương quan thuận giữa độ tương đồng hành vi (top-k token overlap) giữa teacher và student với hiệu quả của OPD, đồng thời chỉ ra rằng RLVR riêng lẻ làm giảm độ tương đồng này.

IV. Conclusion & Future Works:​

CoPD là một khung huấn luyện hiệu quả để tích hợp nhiều năng lực vào một mô hình duy nhất, giải quyết được hạn chế của cả Mixed RLVR và Static OPD. Bằng cách cho phép các nhánh chuyên gia cùng tiến hóa, CoPD biến sự đánh đổi giữa các năng lực thành lợi ích chung. Hướng nghiên cứu tương lai có thể mở rộng CoPD cho số lượng nhánh lớn hơn, khám phá các cấu trúc liên kết (topology) khác ngoài hub-and-spoke, và áp dụng cho các lĩnh vực khác ngoài suy luận đa phương thức.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CoPD cho nhiều hơn 3 nhánh (N-branch CoPD): Nghiên cứu các chiến lược kết nối và lập lịch huấn luyện hiệu quả khi số lượng nhánh chuyên gia (ví dụ: ngôn ngữ, hình ảnh, video, âm thanh, code) tăng lên, nhằm giảm chi phí tính toán và duy trì hiệu quả chưng cất.
  2. CoPD với các kiến trúc kết nối khác (Adaptive Topology CoPD): Thay vì hub-and-spoke cố định, khám phá các cấu trúc động, nơi mối quan hệ teacher-student được điều chỉnh dựa trên độ tương đồng hành vi hoặc hiệu quả chưng cất ở từng thời điểm, nhằm tối ưu hóa luồng thông tin giữa các nhánh.
  3. Áp dụng CoPD cho các bài toán liên tục (Continual CoPD): Kết hợp CoPD với học liên tục, cho phép mô hình tích hợp thêm các năng lực mới theo thời gian mà không làm suy giảm các năng lực đã có, thông qua việc thêm dần các nhánh chuyên gia mới vào quá trình cùng tiến hóa.

2. Patent:​

  1. Phương pháp và hệ thống huấn luyện trợ lý ảo đa năng trên thiết bị di động: Hệ thống sử dụng CoPD để huấn luyện một mô hình AI duy nhất trên điện thoại có khả năng thực hiện đồng thời nhiều tác vụ như phân tích hình ảnh từ camera, trả lời câu hỏi dạng văn bản và hiểu ngữ cảnh video ngắn. Các nhánh chuyên gia được huấn luyện song song và liên tục trao đổi kiến thức, giúp mô hình tổng thể hoạt động mượt mà và chính xác hơn mà không cần đến kết nối mạng.
  2. Ứng dụng chụp ảnh và chỉnh sửa thông minh trên điện thoại: Một ứng dụng camera sử dụng mô hình được huấn luyện bởi CoPD để kết hợp năng lực suy luận hình ảnh (nhận diện vật thể, cảnh) và suy luận văn bản (hiểu mệnh lệnh thoại hoặc văn bản của người dùng). Ví dụ, người dùng có thể nói 'chụp ảnh và xóa phông nền, đồng thời thêm chú thích cho bức ảnh', và ứng dụng sẽ thực hiện tất cả các tác vụ này trong một lần xử lý duy nhất nhờ vào sự tích hợp năng lực từ quá trình cùng tiến hóa.
  3. Phương pháp cá nhân hóa gợi ý nội dung trên thiết bị di động: Hệ thống gợi ý trên điện thoại sử dụng CoPD để kết hợp năng lực phân tích văn bản (lịch sử tìm kiếm, tin nhắn) và phân tích hình ảnh (ảnh chụp, video đã xem) để đưa ra các gợi ý được cá nhân hóa cao. Các nhánh chuyên gia cho từng loại dữ liệu cùng tiến hóa và chia sẻ kiến thức, giúp hệ thống hiểu sâu hơn về sở thích người dùng mà không làm lộ thông tin riêng tư ra ngoài thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.27083
ArXiv Abstracthttps://arxiv.org/abs/2604.27083
PDF Downloadhttps://arxiv.org/pdf/2604.27083.pdf
Github RepositoryN/A

4. Intern-Atlas: A Methodological Evolution Graph as Research Infrastructure for AI Scientists (41 votes)​

Tác giả: Yujun Wu, Dongxu Zhang, Xinchen Li, Jinhang Xu, Yiling Duan, Yumou Liu, Jiabao Pan, Xuanhe Zhou, Jingxuan Wei, Siyuan Li, Jintao Chen, Conghui He, Cheng Tan

Xuất bản lúc: 2026-04-30

Tag: Knowledge Graph, Method Evolution Graph, AI Research Infrastructure, Scientific Discovery, Automated Ideation, Idea Evaluation, LLM Agents

I. Main Problem:​

Các cơ sở hạ tầng nghiên cứu hiện tại (Google Scholar, Semantic Scholar) tập trung vào tài liệu (paper) và liên kết trích dẫn, không thể hiện rõ ràng sự tiến hóa của các phương pháp khoa học. Điều này gây khó khăn cho các tác nhân nghiên cứu AI (AI research agents) vì chúng không thể tái tạo cấu trúc tiến hóa của phương pháp từ văn bản phi cấu trúc, dẫn đến hạn chế trong việc sinh ra ý tưởng mới và phân biệt giữa khoảng trống nghiên cứu thực sự và khoảng trống trong biểu diễn nội bộ của chúng.

II. Main Idea:​

Intern-Atlas xây dựng một đồ thị tiến hóa phương pháp luận (methodological evolution graph) từ 1,030,314 bài báo AI. Đồ thị này tự động xác định các thực thể phương pháp (method entities), suy luận mối quan hệ dòng dõi (lineage) giữa các phương pháp, và ghi lại các nút thắt (bottlenecks) thúc đẩy sự chuyển đổi giữa các đổi mới. Đồ thị có hơn 9.4 triệu cạnh được gán nhãn ngữ nghĩa, mỗi cạnh đều có trích dẫn nguồn. Ngoài ra, tác giả đề xuất thuật toán tìm kiếm cây Monte Carlo tự định hướng theo thời gian (SGT-MCTS) để xây dựng chuỗi tiến hóa, và ba toán tử ứng dụng: tái tạo dòng dõi (lineage reconstruction), đánh giá ý tưởng (idea evaluation), và sinh ý tưởng (idea generation) dựa trên đồ thị.

III. Main Results:​

Đồ thị đạt tỷ lệ khớp nút 91.0%, tỷ lệ truy cập cạnh 89.7% và độ chính xác ngữ nghĩa đường dẫn 92.0% khi so sánh với các chuỗi tiến hóa do chuyên gia xây dựng. Thuật toán SGT-MCTS cải thiện đáng kể so với tìm kiếm beam (Beam@10): độ thu hồi nút tăng 39.9 điểm, độ thu hồi cạnh tăng 55.8 điểm, và điểm căn chỉnh chuỗi tăng 39.9 điểm. Trong đánh giá ý tưởng, điểm tổng thể từ Intern-Atlas giảm dần theo chất lượng bài báo (hội nghị hàng đầu: 8.48, hội nghị cốt lõi: 7.83, workshop: 6.85, bị từ chối: 5.84) và tương quan với đánh giá của chuyên gia cao hơn (0.81) so với baseline LLM thuần (0.58).

IV. Conclusion & Future Works:​

Intern-Atlas chứng minh rằng đồ thị tiến hóa phương pháp luận có thể đóng vai trò là tầng dữ liệu nền tảng cho các hệ thống khám phá khoa học tự động. Các hướng phát triển trong tương lai bao gồm mở rộng đồ thị sang các lĩnh vực khoa học khác ngoài AI, cải thiện độ chính xác của việc trích xuất thực thể và phân loại cạnh, tích hợp thêm các loại bằng chứng khác (ví dụ: mã nguồn, dữ liệu thí nghiệm), và phát triển các toán tử phức tạp hơn trên đồ thị để hỗ trợ các tác vụ nghiên cứu nâng cao.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng đồ thị tiến hóa phương pháp luận cho các lĩnh vực khoa học khác (ví dụ: sinh học, hóa học, vật lý) bằng cách xây dựng một pipeline tự động trích xuất các thực thể phương pháp và mối quan hệ từ các bài báo trong các lĩnh vực này, đánh giá chất lượng đồ thị trên các bộ dữ liệu tham chiếu do chuyên gia xây dựng.
  2. Cải thiện độ chính xác của việc trích xuất thực thể và phân loại cạnh bằng cách kết hợp các mô hình ngôn ngữ lớn (LLMs) với các kỹ thuật học có giám sát từ một tập dữ liệu được gán nhãn thủ công, đồng thời phát triển các phương pháp giải quyết vấn đề đa nghĩa (alias resolution) phức tạp hơn.
  3. Phát triển các toán tử đồ thị mới để hỗ trợ các tác vụ nghiên cứu nâng cao, chẳng hạn như dự đoán hướng nghiên cứu tiếp theo (next research direction prediction), xác định các phương pháp có tiềm năng đột phá (breakthrough potential identification), và tổng hợp tự động các bài khảo sát (automated survey generation).

2. Patent:​

  1. Hệ thống đề xuất ý tưởng nghiên cứu cho ứng dụng di động: Hệ thống này sử dụng đồ thị tiến hóa phương pháp luận để phân tích các bài báo về AI trên thiết bị di động. Khi người dùng nhập một chủ đề quan tâm (ví dụ: 'tối ưu hóa thời lượng pin cho mô hình ngôn ngữ trên điện thoại'), hệ thống sẽ truy vấn đồ thị để xác định các nút thắt chưa được giải quyết và các hướng phát triển tiềm năng, sau đó tạo ra các đề xuất ý tưởng nghiên cứu cụ thể, khả thi, kèm theo bằng chứng trích dẫn từ các bài báo liên quan.
  2. Công cụ đánh giá ý tưởng nghiên cứu cho nhà phát triển ứng dụng di động: Một plugin hoặc ứng dụng cho phép các nhà phát triển nhập mô tả ý tưởng tính năng mới cho ứng dụng di động (ví dụ: 'sử dụng thị giác máy tính để nhận diện đồ vật trong ảnh chụp từ camera điện thoại'). Công cụ này sẽ sử dụng đồ thị tiến hóa phương pháp luận để đánh giá ý tưởng dựa trên năm tiêu chí (tính mới, tính khả thi, tầm quan trọng, tính hợp lệ, độ rõ ràng), giúp nhà phát triển ưu tiên các ý tưởng có tiềm năng cao nhất trước khi đầu tư phát triển.
  3. Hệ thống trợ lý nghiên cứu cá nhân trên điện thoại thông minh: Một trợ lý ảo được tích hợp trên điện thoại, có khả năng duy trì một bản sao cục bộ của đồ thị tiến hóa phương pháp luận (đã được nén và tối ưu hóa cho thiết bị di động). Khi người dùng (nhà nghiên cứu) đọc một bài báo hoặc viết một đoạn mô tả ý tưởng, trợ lý sẽ tự động truy vấn đồ thị để cung cấp thông tin về dòng dõi phương pháp, các nút thắt liên quan, và các ý tưởng chưa được khám phá, từ đó hỗ trợ quá trình suy nghĩ và sáng tạo của nhà nghiên cứu mọi lúc, mọi nơi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.28158
ArXiv Abstracthttps://arxiv.org/abs/2604.28158
PDF Downloadhttps://arxiv.org/pdf/2604.28158.pdf
Github RepositoryN/A

5. ExoActor: Exocentric Video Generation as Generalizable Interactive Humanoid Control (39 votes)​

Tác giả: Yanghao Zhou, Jingyu Ma, Yibo Peng, Zhenguo Sun, Yu Bai, Börje F. Karlsson

Xuất bản lúc: 2026-04-30

Tag: Video Generation, Humanoid Control, Motion Estimation, Embodied AI, Diffusion Models

I. Main Problem:​

Việc điều khiển robot hình người (humanoid) tương tác linh hoạt với môi trường và vật thể xung quanh vẫn là một thách thức lớn do khó khăn trong việc mô hình hóa đồng thời bối cảnh không gian, động lực học thời gian, hành động robot và ý định nhiệm vụ ở quy mô lớn. Các hệ thống hiện tại thường thất bại trong các bối cảnh mới và việc mở rộng sang các tác vụ khác đòi hỏi thu thập dữ liệu đắt đỏ hoặc tinh chỉnh theo từng miền cụ thể.

II. Main Idea:​

ExoActor đề xuất một khung làm việc mới sử dụng khả năng tổng quát hóa của các mô hình tạo video quy mô lớn. Ý tưởng chính là sử dụng việc tạo video góc nhìn thứ ba (exocentric video generation) như một giao diện thống nhất để mô hình hóa động lực tương tác. Quy trình gồm ba giai đoạn: (1) Tạo video mô tả quá trình thực thi nhiệm vụ từ hướng dẫn và quan sát ban đầu, (2) Ước lượng chuyển động 3D của con người từ video để thu được các tham số chuyển động, và (3) Sử dụng bộ điều khiển chuyển động tổng quát để chuyển đổi chuyển động ước lượng thành các hành vi robot khả thi về mặt động lực học.

III. Main Results:​

Hệ thống ExoActor đã được triển khai và chứng minh tính khả thi trên robot hình người thực tế (Unitree G1) qua nhiều nhiệm vụ có độ khó tăng dần (B, A, S). Kết quả cho thấy robot có thể thực hiện các hành vi tương tác đa dạng như điều hướng đến mục tiêu, tương tác thô với vật thể (ví dụ: quét chai sang một bên, ngồi ghế), và thao tác tinh vi nhiều bước (ví dụ: nhặt vật và đặt vào giỏ). Các thí nghiệm cho thấy Kling 3 là mô hình tạo video hiệu quả nhất và việc không sử dụng retargeting giúp duy trì độ chính xác về vị trí.

IV. Conclusion & Future Works:​

ExoActor chứng minh tiềm năng của việc tận dụng tạo video góc nhìn thứ ba để mô hình hóa và thực thi các hành vi tương tác phức tạp trên robot hình người. Tuy nhiên, hệ thống hiện tại còn nhiều hạn chế như chất lượng video chưa thực tế, độ chính xác ước lượng chuyển động chưa cao, và điều khiển vòng hở. Các hướng nghiên cứu tương lai bao gồm: phát triển điều khiển toàn thân nhận biết môi trường theo vòng kín, cải thiện tính thực tế vật lý của video tạo ra, và nâng cao độ chính xác của ước lượng chuyển động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cải thiện chất lượng video tạo ra bằng cách tích hợp các ràng buộc vật lý trực tiếp vào quá trình khuếch tán, đảm bảo chuyển động và tương tác với vật thể là khả thi về mặt động lực học.
  2. Phát triển một bộ điều khiển vòng kín mới cho robot hình người, sử dụng chuyển động ước lượng từ video làm tham chiếu cấp cao và liên tục điều chỉnh hành vi dựa trên phản hồi thị giác và cảm biến bản thể để thích ứng với môi trường động.
  3. Mở rộng khung làm việc ExoActor để xử lý các nhiệm vụ thao tác tinh vi hơn bằng cách kết hợp ước lượng chuyển động bàn tay chi tiết hơn (ví dụ: từng ngón tay) và ánh xạ chính xác đến các bộ truyền động của robot.

2. Patent:​

  1. Phương pháp và hệ thống điều khiển robot hình người trên điện thoại thông minh dựa trên tạo video: Hệ thống cho phép người dùng nhập mô tả nhiệm vụ bằng giọng nói hoặc văn bản trên điện thoại. Điện thoại sẽ tạo ra một video mô phỏng quá trình robot thực hiện nhiệm vụ đó. Video này sau đó được phân tích để trích xuất các chuyển động và gửi đến robot để thực thi, giúp việc lập trình robot trở nên trực quan hơn.
  2. Ứng dụng tạo video để huấn luyện robot hình người làm việc nhà thông qua điện thoại: Người dùng dùng điện thoại quay video cảnh nhà và chỉ dẫn bằng giọng nói. Hệ thống sẽ tạo ra video robot thực hiện các công việc như lau bàn, nhặt đồ, hoặc sắp xếp vật dụng. Các chuyển động từ video này được dùng để huấn luyện robot thực hiện các công việc tương tự trong ngôi nhà thực tế của người dùng.
  3. Phương pháp tương tác từ xa với robot hình người dựa trên tạo video trên thiết bị di động: Người dùng sử dụng điện thoại để xem hình ảnh từ camera của robot. Hệ thống trên điện thoại sẽ tạo ra các video ngắn mô phỏng các hành động tiềm năng mà robot có thể thực hiện (ví dụ: đi đến bàn, nhặt cốc). Người dùng chọn một video, và chuyển động tương ứng sẽ được gửi đến robot để thực thi, cho phép điều khiển robot từ xa một cách trực quan và an toàn hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.27711
ArXiv Abstracthttps://arxiv.org/abs/2604.27711
PDF Downloadhttps://arxiv.org/pdf/2604.27711.pdf
Github RepositoryN/A

6. Efficient Training on Multiple Consumer GPUs with RoundPipe (35 votes)​

Tác giả: Yibin Luo, Shiwei Gao, Huichuan Zheng, Youyou Lu, Jiwu Shu

Xuất bản lúc: 2026-04-29

Tag: Pipeline Parallelism, CPU Offloading, LLM Fine-tuning, Consumer GPU, Round-Robin Scheduling, Asynchronous Optimizer

I. Main Problem:​

Việc tinh chỉnh các mô hình ngôn ngữ lớn (LLMs) trên các GPU tiêu dùng (consumer-grade) gặp phải hai hạn chế phần cứng chính: bộ nhớ VRAM hạn chế (ví dụ: 24GB trên RTX 4090) và băng thông kết nối PCIe chậm. Các phương pháp hiện tại như pipeline parallelism kết hợp với CPU offloading giúp giảm tắc nghẽn nhưng lại gặp phải vấn đề 'ràng buộc trọng số' (weight binding issue): các tầng mô hình được gán cố định vào một GPU cụ thể, dẫn đến bong bóng pipeline (pipeline bubbles) nghiêm trọng do tải không đồng đều (ví dụ: tầng LM head lớn hơn các tầng khác), làm giảm thông lượng tổng thể.

II. Main Idea:​

Bài báo đề xuất RoundPipe, một lịch trình pipeline mới phá vỡ ràng buộc trọng số. Ý tưởng chính là coi các GPU như một nhóm worker không trạng thái (stateless execution workers) và phân phối động các tầng tính toán đến các GPU theo vòng tròn (round-robin). Điều này cho phép bất kỳ GPU nào cũng có thể thực thi bất kỳ tầng nào, giảm thiểu bong bóng pipeline. Để đảm bảo tính đúng đắn và hiệu quả, RoundPipe tích hợp: (1) cơ chế lập lịch truyền tải ưu tiên (priority-aware transfer scheduling) để che giấu độ trễ truyền dữ liệu, (2) giao thức đồng bộ dựa trên sự kiện phân tán (distributed event-based synchronization) để đảm bảo tính nhất quán dữ liệu khi cập nhật optimizer không đồng bộ, và (3) thuật toán phân hoạch tầng tự động (automated layer partitioning) để cân bằng tải.

III. Main Results:​

Trên máy chủ 8×RTX 4090, RoundPipe đạt tốc độ tăng từ 1.48x đến 2.16x so với các hệ thống tiên tiến nhất khi tinh chỉnh các mô hình từ 1.7B đến 32B tham số. Đáng chú ý, RoundPipe cho phép tinh chỉnh LoRA mô hình Qwen3-235B với độ dài chuỗi 31K trên một máy chủ duy nhất có GPU 24GB. Trên máy chủ A800, RoundPipe đạt hiệu suất tương đương hoặc cao hơn (lên đến 1.47x) và tăng độ dài chuỗi tối đa lên đến 5.6x. Thông lượng của RoundPipe trên RTX 4090 đạt ít nhất 76% so với các giải pháp trên A800.

IV. Conclusion & Future Works:​

RoundPipe là một giải phép pipeline parallelism hiệu quả cho việc tinh chỉnh LLMs trên các GPU tiêu dùng, giúp thu hẹp khoảng cách hiệu năng giữa phần cứng tiêu dùng và trung tâm dữ liệu. Các hướng nghiên cứu trong tương lai có thể bao gồm: mở rộng RoundPipe để hỗ trợ các kiến trúc mô hình khác, tối ưu hóa thêm cho các mô hình chuyên biệt, và khám phá các chiến lược phân phối tính toán linh hoạt hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RoundPipe để hỗ trợ các kiến trúc mô hình không phải Transformer (ví dụ: Mamba, State Space Models) trên GPU tiêu dùng.
  2. Nghiên cứu chiến lược phân phối tính toán dựa trên chi phí thực tế (cost-aware) thay vì round-robin để tối ưu hóa thông lượng trong môi trường GPU không đồng nhất.
  3. Tích hợp RoundPipe với các kỹ thuật lượng tử hóa (quantization) và nén mô hình (model compression) để giảm hơn nữa yêu cầu bộ nhớ và tăng tốc độ tinh chỉnh.

2. Patent:​

  1. Phương pháp tinh chỉnh mô hình ngôn ngữ lớn trên nhiều GPU tiêu dùng: Hệ thống phân phối các tầng tính toán của mô hình đến các GPU khác nhau theo vòng tròn, mỗi tầng chỉ được nạp vào GPU khi cần thực thi, giúp cân bằng tải và tăng tốc độ xử lý. Ứng dụng: tinh chỉnh chatbot hoặc trợ lý ảo trên điện thoại thông minh bằng cách sử dụng nhiều GPU nhúng trong thiết bị hoặc kết nối qua đám mây.
  2. Cơ chế đồng bộ dữ liệu ưu tiên cho pipeline phân tán: Hệ thống sử dụng bốn luồng truyền thông chuyên dụng (upload/download kích hoạt và tham số) trên mỗi GPU, kết hợp với lập lịch ưu tiên để đảm bảo dữ liệu kích hoạt (quan trọng) được truyền trước, còn dữ liệu tham số (ít quan trọng hơn) được chèn vào các khoảng trống, giúp che giấu độ trễ truyền tải. Ứng dụng: cải thiện hiệu suất của các ứng dụng AI trên điện thoại khi xử lý các tác vụ phức tạp như tạo video hoặc phân tích tài liệu.
  3. Phương pháp cập nhật trọng số không đồng bộ an toàn cho huấn luyện mô hình: Hệ thống sử dụng giao thức dựa trên sự kiện (event-based) ở cấp độ từng tầng để đảm bảo tính nhất quán dữ liệu khi CPU cập nhật trọng số trong khi GPU đang thực hiện các bước tính toán tiếp theo, loại bỏ thời gian chờ đồng bộ. Ứng dụng: cho phép điện thoại thông minh tiếp tục thực hiện các tác vụ AI khác (ví dụ: nhận diện giọng nói) trong khi mô hình đang được tinh chỉnh nền, mang lại trải nghiệm mượt mà hơn cho người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.27085
ArXiv Abstracthttps://arxiv.org/abs/2604.27085
PDF Downloadhttps://arxiv.org/pdf/2604.27085.pdf
Github Repositoryhttps://github.com/ITcarrot/RoundPipe

7. Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows (33 votes)​

Tác giả: Chenxin Li, Zhengyang Tang, Huangxin Lin, Yunlong Lin, Shijue Huang, Shengyuan Liu, Bowen Ye, Rang Li, Lei Li, Benyou Wang, Yixuan Yuan

Xuất bản lúc: 2026-04-30

Tag: LLM Agents, Workflow Automation, Benchmark, Multi-step Execution, Action-grounded Evaluation

I. Main Problem:​

Các benchmark agent hiện tại thường đóng băng tập nhiệm vụ tại thời điểm phát hành và chỉ chấm điểm dựa trên phản hồi cuối cùng, khiến việc đánh giá agent theo nhu cầu workflow đang thay đổi trở nên khó khăn. Đồng thời, chúng không thể xác minh liệu agent có thực sự thực thi các hành động cần thiết (truy xuất dữ liệu đúng, thay đổi trạng thái dịch vụ, sửa chữa artifact) hay chỉ tạo ra phản hồi có vẻ hợp lý.

II. Main Idea:​

Claw-Eval-Live giới thiệu một benchmark sống cho agent workflow, tách biệt lớp tín hiệu có thể làm mới (được cập nhật từ tín hiệu nhu cầu workflow công khai) khỏi bản chụp phát hành có thể tái tạo và đóng dấu thời gian. Các tác giả xây dựng pipeline 'tín hiệu đến nhiệm vụ' ánh xạ các tín hiệu phổ biến từ ClawHub Top-500 thành các nhiệm vụ benchmark thực thi, sử dụng phương pháp chấm điểm lai kết hợp kiểm tra tất định dựa trên dấu vết thực thi và phán đoán LLM có cấu trúc cho các khía cạnh ngữ nghĩa.

III. Main Results:​

Trên bản phát hành hiện tại gồm 105 nhiệm vụ, mô hình tốt nhất (Claude Opus 4.6) chỉ đạt tỷ lệ vượt qua 66.7% và không có mô hình nào vượt mốc 70%. Các workflow hỗ trợ dịch vụ (service-backed) khó hơn đáng kể so với sửa chữa workspace (workspace repair). Các tác vụ về HR, quản lý và workflow đa hệ thống là những nút thắt dai dẳng nhất. Thứ hạng trên leaderboard không đủ để đánh giá, vì các mô hình có tỷ lệ vượt qua tương tự có thể khác biệt về mức độ hoàn thành tổng thể.

IV. Conclusion & Future Works:​

Claw-Eval-Live cho thấy việc đánh giá agent workflow nên được 'neo' hai lần: vào nhu cầu bên ngoài luôn thay đổi (thông qua các bản phát hành được làm mới theo quý) và vào hành động có thể kiểm chứng của agent (thông qua chấm điểm dựa trên bằng chứng thực thi). Các hướng phát triển tương lai bao gồm mở rộng phạm vi tín hiệu nguồn, cải thiện pipeline xây dựng và thiết kế các phương pháp chấm điểm tinh vi hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Claw-Eval-Live với nguồn tín hiệu đa dạng hơn (ví dụ: từ diễn đàn hỗ trợ kỹ thuật, các repo mã nguồn mở) để tăng tính đại diện cho nhu cầu workflow thực tế.
  2. Nghiên cứu phương pháp tối ưu hóa việc lựa chọn tập nhiệm vụ con để tối đa hóa khả năng phân biệt giữa các mô hình, ví dụ: sử dụng các kỹ thuật active learning hoặc adversarial filtering.
  3. Phát triển các phương pháp chấm điểm tự động mới không chỉ dựa vào dấu vết thực thi mà còn đánh giá chất lượng quy trình, tính an toàn và độ tin cậy của các hành động agent.
  4. patent_ideas_placeholder
  5. patent_ideas_placeholder
  6. patent_ideas_placeholder

2. Patent:​

  1. Hệ thống đánh giá năng lực trợ lý ảo trên điện thoại thông minh dựa trên việc theo dõi và chấm điểm các hành động thực tế như đặt lịch hẹn, gửi email, hoặc tìm kiếm thông tin, thay vì chỉ dựa vào câu trả lời hội thoại.
  2. Phương pháp tự động cập nhật bộ kiểm tra năng lực cho trợ lý ảo trên thiết bị di động dựa trên phân tích các yêu cầu phổ biến từ người dùng, giúp bài kiểm tra luôn bám sát nhu cầu thực tế.
  3. Công cụ trên điện thoại thông minh cho phép người dùng tạo và ghi lại các quy trình làm việc nhiều bước (workflow) để kiểm tra khả năng tự động hóa của trợ lý ảo, bao gồm cả việc xác minh kết quả đầu ra của từng bước.
  4. patent_ideas_placeholder
  5. patent_ideas_placeholder
  6. patent_ideas_placeholder

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.28139
ArXiv Abstracthttps://arxiv.org/abs/2604.28139
PDF Downloadhttps://arxiv.org/pdf/2604.28139.pdf
Github Repositoryhttps://github.com/Claw-Eval-Live/Claw-Eval-Live

8. Leveraging Verifier-Based Reinforcement Learning in Image Editing (30 votes)​

Tác giả: Hanzhong Guo, Jie Wu, Jie Liu, Yu Gao, Zilyu Ye, Linxiao Yuan, Xionghui Wang, Yizhou Yu, Weilin Huang

Xuất bản lúc: 2026-04-30

Tag: RLHF, Image Editing, Reward Model, Chain-of-Thought, GRPO, Vision-Language Model

I. Main Problem:​

Việc áp dụng Reinforcement Learning from Human Feedback (RLHF) vào lĩnh vực chỉnh sửa ảnh còn hạn chế do thiếu một mô hình phần thưởng (reward model) tổng quát và mạnh mẽ. Các mô hình phần thưởng chỉnh sửa hiện tại thường đưa ra điểm số tổng thể mà không kiểm tra chi tiết, bỏ qua các yêu cầu khác nhau của từng hướng dẫn, dẫn đến phần thưởng bị thiên lệch.

II. Main Idea:​

Bài báo đề xuất Edit-R1, một khung làm việc xây dựng một mô hình phần thưởng lý luận (Reasoning Reward Model - RRM) dựa trên cơ chế xác minh (verifier) sử dụng chuỗi suy nghĩ (Chain-of-Thought - CoT). RRM chia nhỏ hướng dẫn chỉnh sửa thành các nguyên tắc riêng biệt, đánh giá ảnh đã chỉnh sửa dựa trên từng nguyên tắc, sau đó tổng hợp thành một phần thưởng chi tiết và có thể giải thích được. Để huấn luyện RRM, bài báo sử dụng hai giai đoạn: (1) 'khởi động nguội' (cold-start) với Supervised Fine-Tuning (SFT) để tạo ra các quỹ đạo phần thưởng CoT, và (2) một thuật toán học tăng cường mới có tên Group Contrastive Preference Optimization (GCPO) để tối ưu hóa RRM bằng dữ liệu so sánh cặp từ con người. Sau đó, RRM không khả vi này được sử dụng làm tín hiệu phần thưởng trong thuật toán GRPO để huấn luyện các mô hình chỉnh sửa ảnh.

III. Main Results:​

Mô hình RRM 7B đạt độ chính xác 82.22% trên benchmark nội bộ, vượt qua các mô hình mạnh như Seed-1.5-VL (79.3%). Khi được áp dụng xuôi dòng, Edit-R1 cải thiện đáng kể hiệu suất của các mô hình chỉnh sửa như FLUX.1-kontext, nâng điểm Overall Score từ 5.77 lên 6.24, và tăng 15.2% ở thể loại Motion Change trên mô hình Qwen-Edit.

IV. Conclusion & Future Works:​

Edit-R1 là một khung làm việc hiệu quả để tăng cường khả năng chỉnh sửa ảnh thông qua RLHF. Mô hình RRM dạng xác minh với thuật toán GCPO đạt độ chính xác vượt trội so với các mô hình độc quyền mạnh mẽ. Hướng nghiên cứu trong tương lai có thể mở rộng khung làm việc này sang các tác vụ sinh tạo đa phương thức khác và cải thiện khả năng mở rộng của mô hình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung làm việc RRM dạng xác minh cho các tác vụ sinh tạo video, nơi việc đánh giá tính nhất quán tạm thời và tuân thủ hướng dẫn phức tạp hơn nhiều.
  2. Nghiên cứu các phương pháp học tăng cường mới có thể tận dụng trực tiếp các quỹ đạo lý luận chi tiết từ RRM, thay vì chỉ sử dụng điểm số cuối cùng, để cải thiện hiệu quả huấn luyện.
  3. Phát triển các kỹ thuật để giảm chi phí tính toán của RRM dạng CoT, chẳng hạn như thông qua việc chắt lọc kiến thức (knowledge distillation) hoặc lượng tử hóa (quantization) để có thể triển khai trên các thiết bị biên.

2. Patent:​

  1. Phương pháp và hệ thống chỉnh sửa ảnh thông minh trên thiết bị di động dựa trên phản hồi của người dùng: Hệ thống cho phép người dùng chụp ảnh và đưa ra hướng dẫn chỉnh sửa bằng giọng nói hoặc văn bản. Mô hình AI trên điện thoại sẽ phân tích hướng dẫn, chia nhỏ thành các yêu cầu cụ thể (ví dụ: giữ nguyên khuôn mặt, thay đổi màu tóc, làm mờ hậu cảnh), thực hiện chỉnh sửa và cho phép người dùng đánh giá kết quả bằng cách chọn 'thích' hoặc 'không thích'. Hệ thống sẽ học từ các đánh giá này để cải thiện chất lượng chỉnh sửa trong tương lai, mang lại trải nghiệm cá nhân hóa.
  2. Ứng dụng chỉnh sửa ảnh có khả năng giải thích và kiểm soát chi tiết trên điện thoại thông minh: Ứng dụng này không chỉ chỉnh sửa ảnh mà còn hiển thị cho người dùng một báo cáo ngắn gọn giải thích từng bước chỉnh sửa đã được thực hiện, ví dụ: 'Đã thay đổi bầu trời từ màu xám sang màu xanh', 'Đã tăng độ sáng cho khuôn mặt', 'Đã giữ nguyên kết cấu của chiếc áo'. Điều này giúp người dùng hiểu rõ hơn về khả năng của AI và có thể điều chỉnh lại hướng dẫn một cách chính xác hơn.
  3. Hệ thống gợi ý chỉnh sửa ảnh thông minh dựa trên phân tích bối cảnh và sở thích người dùng trên thiết bị di động: Khi người dùng chụp một bức ảnh, hệ thống sẽ phân tích nội dung (ví dụ: ảnh chân dung, phong cảnh, đồ ăn) và đưa ra các gợi ý chỉnh sửa phù hợp (ví dụ: làm đẹp da cho ảnh chân dung, tăng cường màu sắc cho ảnh phong cảnh). Hệ thống học hỏi từ lịch sử chỉnh sửa và phản hồi của người dùng để ngày càng đưa ra các gợi ý chính xác và cá nhân hóa hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.27505
ArXiv Abstracthttps://arxiv.org/abs/2604.27505
PDF Downloadhttps://arxiv.org/pdf/2604.27505.pdf
Github RepositoryN/A

9. Representation Fréchet Loss for Visual Generation (21 votes)​

Tác giả: Jiawei Yang, Zhengyang Geng, Xuan Ju, Yonglong Tian, Yue Wang

Xuất bản lúc: 2026-04-30

Tag: Fréchet Distance, FID, Image Generation, Post-Training, Distribution Matching, One-Step Generator, Evaluation Metric

I. Main Problem:​

Bài báo giải quyết vấn đề Fréchet Distance (FD) từ lâu chỉ được dùng làm thước đo đánh giá mà không thể dùng trực tiếp làm hàm mục tiêu huấn luyện vì cần kích thước quần thể lớn (ví dụ 50k mẫu) để ước lượng thống kê, trong khi kích thước batch trong huấn luyện thường nhỏ (ví dụ 1024), dẫn đến ước lượng không ổn định và không khả thi về mặt tính toán.

II. Main Idea:​

Tác giả đề xuất FD-loss, một phương pháp tách rời kích thước quần thể dùng để ước lượng FD khỏi kích thước batch dùng để tính gradient. Cụ thể, FD-loss duy trì một hàng đợi (queue) các đặc trưng từ các mẫu sinh gần đây hoặc sử dụng trung bình động hàm mũ (EMA) của các moment đặc trưng để ước lượng thống kê trên một quần thể lớn (ví dụ 50k), trong khi chỉ lan truyền ngược gradient qua batch hiện tại. Phương pháp này cho phép tối ưu FD trực tiếp ở quy mô lớn, biến FD từ công cụ đánh giá thành hàm mất mát huấn luyện hiệu quả.

III. Main Results:​

FD-loss đạt được nhiều kết quả đáng ngạc nhiên: (1) Hậu huấn luyện một bộ sinh một bước (one-step generator) với FD-loss trong không gian đặc trưng Inception đạt FID 0.72 trên ImageNet 256×256. (2) FD-loss có thể biến bộ sinh đa bước (multi-step generator) thành bộ sinh một bước mạnh mà không cần giáo viên (teacher distillation), huấn luyện đối kháng (adversarial training) hay mục tiêu từng mẫu (per-sample targets). (3) Chỉ số FID có thể đánh giá sai chất lượng hình ảnh: các mô hình tối ưu với biểu diễn hiện đại cho chất lượng tốt hơn nhưng FID lại tệ hơn, dẫn đến đề xuất chỉ số FDr6 mới đa dạng hơn về không gian biểu diễn.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng FD-loss đã chứng minh khoảng cách phân phối (distributional distance) có thể được dùng trực tiếp làm mục tiêu huấn luyện ở quy mô lớn, mở ra hướng nghiên cứu mới: từ cách tối ưu khoảng cách chuyển sang chọn không gian biểu diễn nào để định nghĩa khoảng cách. Hướng phát triển tương lai bao gồm áp dụng cho các phương thức khác (modality khác), các bối cảnh hạn chế dữ liệu thật, và các mô hình sinh ngoài hình ảnh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng FD-loss cho các phương thức khác (video, âm thanh, 3D): Nghiên cứu cách áp dụng FD-loss cho mô hình sinh video, âm thanh hoặc đám mây điểm 3D. Cần xác định không gian đặc trưng phù hợp cho từng phương thức và thiết kế cơ chế queue/EMA hiệu quả.
  2. Tối ưu hóa FD-loss với kiến trúc biểu diễn tự học (self-supervised) mới: Khảo sát ảnh hưởng của các mô hình biểu diễn tiên tiến (ví dụ DINOv2, MAE, CLIP) lên hiệu quả của FD-loss, đặc biệt trong bối cảnh hậu huấn luyện cho mô hình sinh văn bản thành hình ảnh (text-to-image) hoặc mô hình ngôn ngữ-thị giác.
  3. Phát triển chỉ số đánh giá FDrK cho các lĩnh vực khác: Mở rộng ý tưởng FDr6 (trung bình tỷ lệ FD chuẩn hóa trên nhiều không gian biểu diễn) cho các bài toán khác như phát hiện ảnh giả, đánh giá chất lượng video, hoặc sinh ảnh y tế, nhằm có thước đo tự động toàn diện hơn.

2. Patent:​

  1. Phương pháp cải thiện chất lượng ảnh chụp trên điện thoại thông minh: Sử dụng FD-loss hậu huấn luyện mô hình sinh ảnh một bước (one-step) tích hợp sẵn trên điện thoại để nâng cao chất lượng ảnh chụp trong điều kiện thiếu sáng hoặc xóa nhiễu. Mô hình được tối ưu với thống kê đặc trưng từ ảnh mẫu chất lượng cao, giúp ảnh đầu ra tự nhiên hơn mà không làm tăng độ trễ xử lý.
  2. Hệ thống biến ảnh cũ thành ảnh chất lượng cao trên thiết bị di động: Ứng dụng FD-loss để biến một mô hình sinh đa bước (multi-step) thành mô hình một bước, cho phép thiết bị di động có thể nhanh chóng nâng cấp ảnh độ phân giải thấp hoặc ảnh cũ thành ảnh sắc nét, chi tiết hơn mà không cần kết nối mạng hoặc tài nguyên tính toán lớn.
  3. Ứng dụng chỉ số FDrK để đánh giá và tối ưu bộ lọc ảnh trên điện thoại: Tích hợp chỉ số FDrK (đa không gian biểu diễn) vào hệ thống đề xuất bộ lọc ảnh trên điện thoại thông minh. Thay vì chỉ dùng FID, hệ thống sẽ đánh giá bộ lọc dựa trên nhiều không gian đặc trưng khác nhau, giúp chọn ra bộ lọc cho chất lượng ảnh tự nhiên và thẩm mỹ nhất theo cảm nhận con người.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.28190
ArXiv Abstracthttps://arxiv.org/abs/2604.28190
PDF Downloadhttps://arxiv.org/pdf/2604.28190.pdf
Github Repositoryhttps://github.com/Jiawei-Yang/FD-Loss

10. Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling (20 votes)​

Tác giả: Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

Xuất bản lúc: 2026-04-29

Tag: LLMs, VLMs, Value Learning, Length Control, Token-Level Modeling, Reinforcement Learning

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) và mô hình ngôn ngữ - thị giác (VLMs) hiện tại thiếu khả năng kiểm soát độ dài sinh một cách chi tiết. Các phương pháp hiện có chỉ hoạt động ở mức toàn bộ chuỗi (sequence-level) như áp dụng phạt độ dài trong huấn luyện hoặc hướng dẫn bằng prompt, không thể kiểm soát động thái sinh từng token. Điều này dẫn đến việc không thể cân bằng hiệu quả giữa hiệu suất suy luận và chi phí tính toán một cách mịn.

II. Main Idea:​

Bài báo giới thiệu Length Value Model (LenVM), một khung làm việc ở mức token giúp dự đoán độ dài sinh còn lại tại mỗi bước giải mã. LenVM coi mỗi token được sinh ra là một phần thưởng âm không đổi, từ đó định nghĩa một giá trị chiết khấu (discounted return) làm đại diện cho độ dài còn lại. Mô hình được huấn luyện để dự đoán giá trị này thông qua hồi quy Monte Carlo, tạo ra tín hiệu giám sát dày đặc (dense), không cần gán nhãn, không thiên lệch và có khả năng mở rộng. LenVM có thể được gắn thêm vào các LLM/VLM có sẵn và sử dụng tại thời điểm suy luận để kiểm soát độ dài, dự đoán độ dài và cân bằng hiệu suất-chi phí.

III. Main Results:​

LenVM đã đạt được kết quả vượt trội trong nhiều tác vụ. Trên bộ dữ liệu LIFEBench, LenVM gắn trên mô hình 7B giúp cải thiện điểm số độ dài (Length Score) từ 30.9 lên 64.8, vượt qua các mô hình đóng (closed-source) hàng đầu. Trên GSM8K với ngân sách 200 token, LenVM duy trì độ chính xác 63% so với chỉ 6% của baseline cắt ngắn cứng. LenVM cũng có thể dự đoán độ dài sinh từ token đầu tiên với sai số tương đối thấp (MRE ~9.8% trên toán ở quy mô 32B).

IV. Conclusion & Future Works:​

LenVM là một khung làm việc có nguyên lý và khả năng mở rộng cho việc mô hình hóa độ dài ở mức token. Các tín hiệu giá trị này có thể được sử dụng cho kiểm soát suy luận và có tiềm năng làm đường cơ sở (baseline) cho huấn luyện tăng cường (RL) trong tương lai. Hướng phát triển tiếp theo bao gồm việc sử dụng LenVM trong huấn luyện PPO và mở rộng cho các mô hình đa phương thức khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ứng dụng LenVM để tối ưu hóa chi phí suy luận cho các mô hình AI trên thiết bị di động, nơi tài nguyên tính toán và pin có hạn. Bài báo sẽ tập trung vào việc cân bằng giữa độ chính xác và độ dài sinh ra để kéo dài thời gian sử dụng pin.
  2. Phát triển một phương pháp mới kết hợp LenVM với kỹ thuật Chain-of-Thought (CoT) để tự động điều chỉnh độ dài của chuỗi suy luận dựa trên độ phức tạp của câu hỏi, giúp cải thiện hiệu quả và độ chính xác cho các tác vụ suy luận phức tạp.
  3. Mở rộng LenVM cho các mô hình đa phương thức (ví dụ: văn bản-hình ảnh, văn bản-âm thanh) để kiểm soát độ dài sinh ra cho từng loại dữ liệu đầu ra, tạo ra các ứng dụng mới như tạo chú thích ảnh ngắn gọn hoặc mô tả video có độ dài phù hợp.

2. Patent:​

  1. Phương pháp và hệ thống tạo văn bản tiết kiệm năng lượng trên thiết bị di động: Sử dụng LenVM để dự đoán và giới hạn độ dài văn bản sinh ra từ mô hình ngôn ngữ trên điện thoại, giúp giảm thiểu thời gian xử lý và tiêu thụ pin. Người dùng có thể chọn chế độ 'tiết kiệm pin' để có câu trả lời ngắn hơn nhưng vẫn đảm bảo chất lượng.
  2. Ứng dụng trợ lý ảo thông minh với khả năng tóm tắt thích ứng: Trợ lý ảo trên điện thoại sử dụng LenVM để tự động điều chỉnh độ dài của câu trả lời hoặc bản tóm tắt dựa trên ngữ cảnh. Ví dụ, khi người dùng đang lái xe, trợ lý sẽ đưa ra câu trả lời cực kỳ ngắn gọn; khi rảnh rỗi, nó sẽ cung cấp thông tin chi tiết hơn.
  3. Công cụ hỗ trợ viết email và tin nhắn thông minh: Một ứng dụng nhắn tin hoặc email trên điện thoại tích hợp LenVM để giúp người dùng viết các tin nhắn có độ dài phù hợp. Người dùng chỉ cần nhập ý chính, ứng dụng sẽ tự động sinh ra một bản nháp với độ dài mong muốn (ngắn, vừa phải, hoặc dài) dựa trên dự đoán của LenVM về ngữ cảnh và mối quan hệ với người nhận.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.27039
ArXiv Abstracthttps://arxiv.org/abs/2604.27039
PDF Downloadhttps://arxiv.org/pdf/2604.27039.pdf
Github Repositoryhttps://github.com/eric-ai-lab/Length-Value-Model

11. Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence (17 votes)​

Tác giả: NVIDIA, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

Xuất bản lúc: 2026-04-27

Tag: Multimodal, MoE, Omni-model, Audio Understanding, Video Understanding, OCR, RL, SFT, Token Reduction

I. Main Problem:​

Các mô hình đa phương thức hiện tại thường gặp khó khăn trong việc xử lý đồng thời nhiều loại dữ liệu đầu vào (văn bản, hình ảnh, video, âm thanh) một cách hiệu quả. Chúng thường có độ trễ suy luận cao, thông lượng thấp, và khả năng suy luận trên các ngữ cảnh dài còn hạn chế. Ngoài ra, việc huấn luyện một mô hình đa phương thức với kiến trúc MoE (Mixture-of-Experts) đặt ra những thách thức về căn chỉnh phương thức, ổn định huấn luyện và cân bằng dữ liệu.

II. Main Idea:​

Bài báo giới thiệu Nemotron 3 Nano Omni, một mô hình đa phương thức hiệu quả và mã nguồn mở. Mô hình này dựa trên backbone ngôn ngữ Nemotron 3 Nano 30B-A3B MoE, kết hợp với bộ mã hóa hình ảnh C-RADIOv4-H và bộ mã hóa âm thanh Parakeet-TDT-0.6B-v2. Các cải tiến chính bao gồm: (1) hỗ trợ đầu vào âm thanh gốc, (2) xử lý độ phân giải động cho hình ảnh thay vì phương pháp chia lưới (tiling), (3) nén video dựa trên Conv3D giúp giảm 2 lần số lượng token thời gian, (4) tăng độ dài ngữ cảnh tối đa lên 256K token, và (5) áp dụng chiến lược huấn luyện đa giai đoạn (multi-stage training) kết hợp SFT và RL để căn chỉnh phương thức và mở rộng khả năng suy luận.

III. Main Results:​

Nemotron 3 Nano Omni đạt được những cải tiến đáng kể so với phiên bản tiền nhiệm Nemotron Nano V2 VL trên tất cả các phương thức. Mô hình đạt kết quả dẫn đầu trong các bài benchmark như OCRBench-V2, MMLongBench-DOC, VoiceBench, WorldSense, và DailyOmni. Về hiệu suất, trên NVIDIA B200, mô hình đạt thông lượng token đầu ra luồng đơn cao gấp 3 lần so với Qwen3-Omni và gấp 9 lần thông lượng token đầu ra trên mỗi GPU. So với Nemotron Nano V2 VL, mô hình cung cấp thông lượng cao gấp 3 lần và thông lượng token đầu ra luồng đơn cao gấp 2 lần.

IV. Conclusion & Future Works:​

Nemotron 3 Nano Omni là một bước tiến quan trọng trong lĩnh vực trí tuệ đa phương thức, chứng minh khả năng kết hợp hiệu quả nhiều loại dữ liệu đầu vào. Các hướng phát triển trong tương lai có thể bao gồm: mở rộng khả năng xử lý các tác vụ phức tạp hơn, tối ưu hóa thêm về hiệu suất, và phát triển các ứng dụng thực tế trên các thiết bị di động và nhúng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nén Token Đa Phương Thức Thích Ứng cho Thiết Bị Di Động: Nghiên cứu các kỹ thuật nén token động, có thể điều chỉnh dựa trên tài nguyên thiết bị và độ phức tạp của tác vụ, giúp giảm độ trễ và tiết kiệm năng lượng khi triển khai mô hình đa phương thức trên điện thoại thông minh.
  2. Huấn Luyện Củng Cố Đa Tác Vụ cho Suy Luận Đa Phương Thức: Phát triển một khung huấn luyện củng cố (RL) thống nhất có thể xử lý đồng thời nhiều tác vụ đa phương thức khác nhau (ví dụ: trả lời câu hỏi từ hình ảnh, tóm tắt video, nhận dạng giọng nói) để cải thiện khả năng suy luận tổng quát của mô hình.
  3. Mô Hình Ngôn Ngữ Lớn Đa Phương Thức với Khả Năng Hiểu Ngữ Cảnh Siêu Dài: Nghiên cứu các kiến trúc và phương pháp huấn luyện mới cho phép mô hình xử lý hiệu quả các ngữ cảnh đầu vào cực kỳ dài (hàng triệu token) bao gồm văn bản, hình ảnh, video và âm thanh, mở ra khả năng phân tích toàn bộ sách, phim hoặc bộ dữ liệu lớn.

2. Patent:​

  1. Phương Pháp và Hệ Thống Tóm Tắt Nội Dung Đa Phương Thức Thông Minh cho Điện Thoại Thông Minh: Một ứng dụng trên điện thoại có khả năng nhận đầu vào là văn bản, hình ảnh, video hoặc giọng nói từ người dùng, sau đó sử dụng mô hình trí tuệ nhân tạo đa phương thức để tự động tạo ra một bản tóm tắt ngắn gọn, súc tích. Ví dụ, người dùng có thể chụp ảnh một trang sách, quay video một bài giảng, hoặc ghi âm một cuộc họp, và ứng dụng sẽ tóm tắt nội dung chính một cách thông minh.
  2. Hệ Thống Tìm Kiếm và Gợi Ý Đa Phương Thức Cá Nhân Hóa trên Thiết Bị Di Động: Một hệ thống trên điện thoại cho phép người dùng tìm kiếm thông tin không chỉ bằng văn bản mà còn bằng hình ảnh, âm thanh hoặc video. Ví dụ, người dùng có thể hát một đoạn nhạc để tìm bài hát gốc, chụp ảnh một món ăn để tìm công thức nấu, hoặc quay video một địa điểm để tìm thông tin du lịch. Hệ thống sẽ phân tích tất cả các phương thức đầu vào để đưa ra kết quả tìm kiếm và gợi ý chính xác và cá nhân hóa.
  3. Trợ Lý Ảo Đa Phương Thức Hỗ Trợ Người Khiếm Thị trên Điện Thoại Thông Minh: Một ứng dụng trợ lý ảo sử dụng mô hình đa phương thức để mô tả thế giới xung quanh cho người khiếm thị thông qua giọng nói. Người dùng chỉ cần hướng camera điện thoại về phía trước, ứng dụng sẽ nhận diện và mô tả các vật thể, văn bản, con người, và cảnh vật xung quanh. Ngoài ra, ứng dụng còn có thể đọc to văn bản từ sách, báo, biển báo, và hỗ trợ nhận diện tiền mặt, màu sắc quần áo, v.v.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.24954
ArXiv Abstracthttps://arxiv.org/abs/2604.24954
PDF Downloadhttps://arxiv.org/pdf/2604.24954.pdf
Github RepositoryN/A

12. MoCapAnything V2: End-to-End Motion Capture for Arbitrary Skeletons (16 votes)​

Tác giả: Kehong Gong, Zhengyu Wen, Dao Thien Phong, Mingxi Xu, Weixia He, Qi Wang, Ning Zhang, Zhengyu Li, Guanli Hou, Dongze Lian, Xiaoyu He, Mingyuan Zhang, Hanwang Zhang

Xuất bản lúc: 2026-04-30

Tag: Motion Capture, Inverse Kinematics, Skeleton Generalization, End-to-End Learning, Transformer, Graph Neural Network, Character Animation

I. Main Problem:​

Các phương pháp capture chuyển động cho khung xương tùy ý hiện tại sử dụng pipeline phân tách: mạng học dự đoán vị trí khớp, sau đó dùng inverse kinematics (IK) giải tích để tính góc xoay. Thiết kế này có hạn chế cố hữu vì vị trí khớp không xác định hoàn toàn góc xoay, dẫn đến các bậc tự do như twist bị mơ hồ. Hơn nữa, IK không khả vi, ngăn cản tối ưu hóa chung toàn bộ hệ thống, khiến mạng dự đoán pose không thể thích nghi với mục tiêu góc xoay cuối cùng.

II. Main Idea:​

Bài báo đề xuất framework end-to-end đầu tiên cho motion capture với khung xương tùy ý từ video đơn, trong đó cả hai giai đoạn Video-to-Pose và Pose-to-Rotation đều có thể học và được tối ưu hóa chung. Để giải quyết tính ill-posed của việc ánh xạ pose-to-rotation, tác giả giới thiệu một cặp reference pose–rotation từ asset mục tiêu, cùng với rest pose, làm neo cho hệ tọa độ xoay, biến bài toán thành dự đoán có điều kiện. Mô hình dự đoán trực tiếp vị trí khớp từ video mà không cần mesh trung gian, và sử dụng cơ chế Global-Local Graph-guided Multi-Head Attention (GL-GMHA) để lý luận cấu trúc khung xương.

III. Main Results:​

Phương pháp đạt được kết quả vượt trội trên các benchmark Truebones Zoo và Objaverse: giảm lỗi góc xoay từ ~17° xuống ~10° trên các khung xương đã thấy, và đạt 6.54° trên khung xương chưa thấy. Đồng thời, tốc độ inference nhanh hơn ~20 lần so với các pipeline dùng mesh.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng pipeline end-to-end với học Pose-to-Rotation và tối ưu hóa chung mang lại chất lượng xoay vượt trội so với pipeline phân tách dùng IK giải tích. Việc loại bỏ mesh trung gian giúp tăng độ ổn định và hiệu quả. Hướng phát triển tương lai có thể bao gồm mở rộng sang các loại asset phức tạp hơn, cải thiện xử lý các chuyển động nhanh, và áp dụng cho các ứng dụng thời gian thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng GL-GMHA cho các tác vụ hình học khác: Cơ chế Global-Local Graph-guided Multi-Head Attention có thể được áp dụng cho các bài toán đồ họa máy tính khác như tái tạo bề mặt 3D, dự đoán chuyển động của tay, hoặc tạo hoạt ảnh cho các vật thể mềm. Hướng này có thể đánh giá tính tổng quát của kiến trúc.
  2. Giảm thiểu số lượng reference frames cần thiết: Nghiên cứu xem liệu có thể giảm số lượng cặp reference pose–rotation xuống còn 0 (zero-shot) bằng cách học một không gian tiềm ẩn chung cho các hệ tọa độ khung xương khác nhau, hoặc sử dụng thông tin từ video để suy ra hệ tọa độ.
  3. Tích hợp thông tin vật lý vào pipeline: Kết hợp các ràng buộc vật lý (ví dụ: trọng lực, va chạm) vào quá trình học Pose-to-Rotation để tạo ra các chuyển động tự nhiên và chân thực hơn, đặc biệt cho các khung xương phức tạp hoặc chuyển động tốc độ cao.

2. Patent:​

  1. Hệ thống tạo hoạt ảnh nhân vật 3D từ video người dùng trên điện thoại: Người dùng quay video bản thân hoặc thú cưng, ứng dụng trên điện thoại sẽ tự động capture chuyển động và áp lên một nhân vật 3D có sẵn (ví dụ: trong game, ứng dụng mạng xã hội) để tạo ra các điệu nhảy hoặc hành động hài hước. Giải pháp này sử dụng mô hình end-to-end, không cần thiết bị cảm biến đắt tiền, cho phép người dùng phổ thông dễ dàng tạo nội dung hoạt hình.
  2. Phương pháp hiệu chỉnh tư thế tập luyện thể thao từ video đơn trên điện thoại: Ứng dụng thể thao trên điện thoại sử dụng camera để quay người dùng tập luyện. Mô hình sẽ capture chuyển động của khung xương người dùng, sau đó so sánh với tư thế chuẩn của huấn luyện viên (đã được ghi lại từ trước) để đưa ra phản hồi bằng giọng nói hoặc hình ảnh về các lỗi sai, giúp người dùng điều chỉnh tư thế chính xác hơn, tránh chấn thương.
  3. Hệ thống điều khiển nhân vật ảo trong game bằng cử chỉ cơ thể qua camera điện thoại: Thay vì sử dụng tay cầm hoặc bàn phím, người chơi có thể điều khiển nhân vật trong game bằng các cử động cơ thể thực tế. Camera điện thoại sẽ quay người chơi, mô hình capture chuyển động sẽ trích xuất các hành động (chạy, nhảy, đấm, đá) và ánh xạ chúng thành các lệnh điều khiển tương ứng cho nhân vật trong game, mang lại trải nghiệm chơi game nhập vai và trực quan hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.28130
ArXiv Abstracthttps://arxiv.org/abs/2604.28130
PDF Downloadhttps://arxiv.org/pdf/2604.28130.pdf
Github Repositoryhttps://github.com/animotionlab26/MocapAnything

13. Synthetic Computers at Scale for Long-Horizon Productivity Simulation (15 votes)​

Tác giả: Tao Ge, Baolin Peng, Hao Cheng, Jianfeng Gao

Xuất bản lúc: 2026-04-30

Tag: LLMs, Agent, Synthetic Data, Long-Horizon Simulation, Productivity

I. Main Problem:​

Các tác vụ năng suất dài hạn trong thực tế phụ thuộc nhiều vào môi trường máy tính cụ thể của từng người dùng, nơi phần lớn ngữ cảnh công việc được lưu trữ và tổ chức thông qua cấu trúc thư mục và các tệp tin giàu nội dung. Việc thu thập dữ liệu huấn luyện từ các tương tác thực tế rất tốn kém và khó mở rộng quy mô vì chúng thường gắn với môi trường máy tính cá nhân chứa tài liệu riêng tư. Do đó, cần có dữ liệu tổng hợp, nhưng việc tạo ra các môi trường người dùng thực tế và phức tạp là một thách thức lớn.

II. Main Idea:​

Bài báo giới thiệu 'Synthetic Computers at Scale', một phương pháp luận có thể mở rộng để tạo ra các môi trường máy tính tổng hợp với hệ thống thư mục thực tế và các tệp tin giàu nội dung (ví dụ: tài liệu, bảng tính, bài thuyết trình). Dựa trên mỗi máy tính tổng hợp, một mô phỏng dài hạn được thực thi: một tác tử tạo ra các mục tiêu năng suất cụ thể cho người dùng của máy tính đó; một tác tử khác đóng vai người dùng và làm việc trên máy tính (điều hướng hệ thống tệp, phối hợp với cộng tác viên mô phỏng, tạo ra các sản phẩm chuyên nghiệp) cho đến khi hoàn thành các mục tiêu. Quá trình này tạo ra các tín hiệu học tập từ trải nghiệm phong phú.

III. Main Results:​

Trong các thí nghiệm sơ bộ, nhóm tác giả đã tạo ra 1.000 máy tính tổng hợp và chạy mô phỏng dài hạn trên mỗi máy. Mỗi lần chạy mô phỏng mất hơn 8 giờ thời gian chạy của tác tử và trung bình hơn 2.000 lượt tương tác. Các tín hiệu học tập từ những mô phỏng này đã được xác thực là có hiệu quả, thể hiện qua sự cải thiện đáng kể về hiệu suất của tác tử trong cả đánh giá năng suất trong miền và ngoài miền.

IV. Conclusion & Future Works:​

Phương pháp luận này có thể mở rộng lên hàng triệu hoặc hàng tỷ thế giới người dùng tổng hợp với đủ năng lực tính toán, cho phép bao phủ rộng rãi các ngành nghề, vai trò, bối cảnh, môi trường và nhu cầu năng suất khác nhau. Việc tạo máy tính tổng hợp có thể mở rộng, cùng với các mô phỏng quy mô lớn, được cho là một nền tảng đầy hứa hẹn cho việc tự cải thiện tác tử và học tăng cường theo hướng tác tử trong các kịch bản năng suất dài hạn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phương pháp tạo máy tính tổng hợp sang các lĩnh vực chuyên môn khác như y tế, luật, giáo dục: Nghiên cứu cách tinh chỉnh quy trình tạo hồ sơ người dùng, cấu trúc thư mục và tệp tin để phù hợp với các ngữ cảnh chuyên môn đặc thù, đánh giá hiệu quả của các tác tử năng suất trong các môi trường mới này.
  2. Nghiên cứu ảnh hưởng của các chiến lược phối hợp khác nhau giữa tác tử và cộng tác viên mô phỏng đến hiệu quả công việc: So sánh các phong cách giao tiếp, tần suất phản hồi và mức độ chia sẻ thông tin khác nhau của cộng tác viên để tìm ra cấu hình tối ưu cho việc huấn luyện tác tử.
  3. Phát triển các phương pháp học tăng cường mới dựa trên tín hiệu quá trình và kết quả từ mô phỏng dài hạn: Khám phá các kiến trúc phần thưởng và thuật toán học tập có thể tận dụng hiệu quả các quỹ đạo hành động phong phú (bao gồm cả thành công và thất bại) để cải thiện khả năng lập kế hoạch và ra quyết định của tác tử.

2. Patent:​

  1. Phương pháp và hệ thống tạo môi trường máy tính ảo cá nhân hóa để huấn luyện trợ lý ảo trên điện thoại thông minh: Hệ thống này sẽ tự động xây dựng một bản sao kỹ thuật số của điện thoại người dùng (bao gồm cấu trúc thư mục, tin nhắn, lịch sử cuộc gọi, ứng dụng, tài liệu) dựa trên dữ liệu sử dụng thực tế. Môi trường ảo này sau đó được dùng để mô phỏng các tác vụ hàng ngày (ví dụ: sắp xếp lịch họp, soạn email trả lời, tìm kiếm thông tin trong ghi chú) và huấn luyện trợ lý ảo trở nên thông minh và cá nhân hóa hơn.
  2. Ứng dụng trên thiết bị di động tạo ra các bài tập thực hành và mô phỏng công việc để nâng cao kỹ năng quản lý thời gian và năng suất cá nhân: Dựa trên hồ sơ người dùng (nghề nghiệp, thói quen làm việc), ứng dụng sẽ tạo ra một 'máy tính công việc ảo' với các dự án, tài liệu và đồng nghiệp giả định. Người dùng có thể thực hành các kỹ năng như lập kế hoạch, ưu tiên công việc, giao tiếp và giải quyết vấn đề trong một môi trường an toàn, không có rủi ro thực tế.
  3. Phương pháp tạo dữ liệu huấn luyện cho chatbot hỗ trợ khách hàng trên thiết bị di động bằng cách mô phỏng lịch sử tương tác phức tạp: Hệ thống tạo ra các cuộc hội thoại giả định giữa nhân viên hỗ trợ và khách hàng, dựa trên hồ sơ khách hàng (ví dụ: loại sản phẩm đã mua, lịch sử khiếu nại) và cơ sở kiến thức sản phẩm. Các cuộc hội thoại này có thể bao gồm việc tra cứu thông tin từ nhiều nguồn khác nhau (ví dụ: hướng dẫn sử dụng, chính sách bảo hành) để huấn luyện chatbot giải quyết các vấn đề phức tạp của khách hàng một cách hiệu quả.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.28181
ArXiv Abstracthttps://arxiv.org/abs/2604.28181
PDF Downloadhttps://arxiv.org/pdf/2604.28181.pdf
Github RepositoryN/A

14. The Last Human-Written Paper: Agent-Native Research Artifacts (15 votes)​

Tác giả: Jiachen Liu, Jiaxin Pei, Jintao Huang, Chenglei Si, Ao Qu, Xiangru Tang, Runyu Lu, Lichang Chen, Xiaoyan Bai, Haizhong Zheng, Carl Chen, Zhiyang Chen, Haojie Ye, Yujuan Fu, Zexue He, Zijian Jin, Zhenyu Zhang, Shangquan Sun, Maestro Harmon, John Dianzhuo Wang, Jianqiao Zeng, Jiachen Sun, Mingyuan Wu, Baoyu Zhou, Chenyu You, Shijian Lu, Yiming Qiu, Fan Lai, Yuan Yuan, Yao Li, Junyuan Hong, Ruihao Zhu, Beidi Chen, Alex Pentland, Ang Chen, Mosharaf Chowdhury, Zechen Zhang

Xuất bản lúc: 2026-04-29

Tag: AI Agents, Reproducibility, Research Artifacts, Knowledge Representation, Automated Review

I. Main Problem:​

Bài báo chỉ ra hai chi phí cấu trúc của việc nén quá trình nghiên cứu thành tường thuật tuyến tính: Thuế Kể chuyện (Storytelling Tax) – xóa bỏ các thí nghiệm thất bại, giả thuyết bị bác bỏ và quá trình khám phá phân nhánh; và Thuế Kỹ thuật (Engineering Tax) – khoảng cách giữa mô tả đủ thuyết phục người đánh giá và đặc tả đủ chi tiết để AI agent có thể hiểu, tái tạo và mở rộng công trình. Hai chi phí này trở nên nghiêm trọng khi AI agent là người tiêu thụ chính các bài báo khoa học.

II. Main Idea:​

Các tác giả giới thiệu Agent-Native Research Artifact (ARA), một giao thức thay thế bài báo tường thuật bằng một gói nghiên cứu có thể thực thi bởi agent. ARA được tổ chức thành bốn lớp: (1) Lớp Nhận thức (/logic) – logic khoa học có cấu trúc, các tuyên bố có thể truy vấn; (2) Lớp Vật lý (/src) – mã nguồn có thể thực thi với đặc tả vận hành đầy đủ; (3) Đồ thị Khám phá (/trace) – lưu giữ toàn bộ quá trình nghiên cứu phân nhánh, bao gồm cả thất bại; (4) Lớp Bằng chứng (/evidence) – căn cứ mọi tuyên bố vào kết quả thô. Hệ sinh thái được hỗ trợ bởi ba cơ chế: Live Research Manager (thu thập quyết định và ngõ cụt trong quá trình phát triển), ARA Compiler (dịch PDF/repo cũ sang ARA), và ARA-Native Review System (tự động hóa kiểm tra cấu trúc và tái tạo).

III. Main Results:​

Trên PaperBench và RE-Bench, ARA nâng độ chính xác trả lời câu hỏi từ 72.4% lên 93.7% và tỷ lệ tái tạo thành công từ 57.4% lên 64.4%. Trên các tác vụ mở rộng của RE-Bench, việc lưu giữ dấu vết thất bại trong ARA giúp tăng tốc tiến trình. Ngoài ra, phân tích trên 8,921 yêu cầu tái tạo của PaperBench cho thấy chỉ 45.4% được đặc tả đầy đủ trong PDF, và thiếu siêu tham số chiếm 26.2% khoảng trống.

IV. Conclusion & Future Works:​

ARA chuyển đổi đối tượng nghiên cứu chính từ tài liệu tường thuật thành gói kiến thức có thể thực thi bởi agent, giải quyết các chi phí cấu trúc của việc nén tường thuật. Các hướng phát triển trong tương lai bao gồm: (1) mở rộng giao thức ARA sang các lĩnh vực khoa học khác ngoài khoa học máy tính; (2) phát triển các công cụ trực quan hóa và tương tác cho ARA dành cho người đọc là con người; (3) xây dựng kho lưu trữ ARA có thể fork, diff và merge như mã nguồn phần mềm; (4) nghiên cứu các phương pháp đánh giá ngang hàng dựa trên so sánh ARA giữa các agent.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng giao thức ARA cho các lĩnh vực khoa học thực nghiệm khác (sinh học, hóa học, y học): Nghiên cứu cách ánh xạ các quy trình thí nghiệm phức tạp, dữ liệu cảm biến và các giao thức phòng thí nghiệm vào bốn lớp của ARA, đồng thời phát triển các công cụ biên dịch tự động từ nhật ký thí nghiệm điện tử (ELN) sang ARA.
  2. Xây dựng hệ thống đánh giá ngang hàng dựa trên ARA với sự tham gia của nhiều agent: Thiết kế một pipeline nơi nhiều AI agent chuyên biệt (agent kiểm tra cấu trúc, agent đánh giá chặt chẽ lập luận, agent tái tạo thí nghiệm) phối hợp với nhau để tạo ra báo cáo đánh giá toàn diện, sau đó con người chỉ tập trung vào đánh giá tính mới và tầm quan trọng.
  3. Phát triển các phương pháp trực quan hóa và tương tác cho ARA dành cho người đọc là con người: Nghiên cứu cách thiết kế giao diện người dùng cho phép người đọc duyệt qua đồ thị khám phá, truy vấn các tuyên bố khoa học, xem mã nguồn và bằng chứng một cách trực quan, biến ARA thành một 'bài báo tương tác' thay vì một tệp PDF tĩnh.

2. Patent:​

  1. Phương pháp và hệ thống tóm tắt quá trình phát triển ứng dụng di động thành tài liệu kỹ thuật có cấu trúc: Hệ thống này chạy nền trên điện thoại, ghi lại mọi quyết định thiết kế, lỗi gặp phải và các thử nghiệm thất bại trong quá trình phát triển ứng dụng (ví dụ: thay đổi giao diện, tối ưu hiệu năng). Sau đó, nó tự động tổng hợp thành một tài liệu ARA có cấu trúc, giúp lập trình viên khác dễ dàng hiểu và tái tạo lại quy trình phát triển mà không cần đọc mã nguồn.
  2. Hệ thống hỗ trợ học tập tương tác dựa trên ARA cho điện thoại thông minh: Ứng dụng giáo dục trên điện thoại sử dụng giao thức ARA để trình bày một khái niệm khoa học. Thay vì chỉ đọc văn bản, người dùng có thể 'chạy' các thí nghiệm ảo (thông qua mã nguồn được đóng gói), xem các giả thuyết sai bị bác bỏ như thế nào (thông qua đồ thị khám phá), và truy vấn trực tiếp các tuyên bố để xem bằng chứng. Điều này giúp việc học trở nên chủ động và sâu sắc hơn.
  3. Phương pháp kiểm tra tính khả thi của một tính năng mới trên điện thoại dựa trên ARA: Khi một nhà phát triển ứng dụng di động muốn thêm một tính năng mới (ví dụ: nhận dạng giọng nói ngoại tuyến), họ có thể tải xuống 'ARA' của một nghiên cứu liên quan. Hệ thống trên điện thoại sẽ tự động chạy các kiểm tra tái tạo quy mô nhỏ (dùng dữ liệu mẫu) để xác minh xem liệu các tuyên bố về hiệu năng của nghiên cứu đó có đúng trên phần cứng của điện thoại hay không, trước khi nhà phát triển quyết định đầu tư thời gian tích hợp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.24658
ArXiv Abstracthttps://arxiv.org/abs/2604.24658
PDF Downloadhttps://arxiv.org/pdf/2604.24658.pdf
Github Repositoryhttps://github.com/Orchestra-Research/Agent-Native-Research-Artifact

15. Step-level Optimization for Efficient Computer-use Agents (14 votes)​

Tác giả: Jinbiao Wei, Kangqi Ni, Yilun Zhao, Guo Gan, Arman Cohan

Xuất bản lúc: 2026-04-29

Tag: Computer-Use Agent, GUI Automation, LLM Cascading, Step-Level Optimization, Efficient Inference, Model Routing

I. Main Problem:​

Các tác nhân sử dụng máy tính (Computer-use agents) hiện tại rất đắt đỏ và chậm chạp trong thực tế vì hầu hết các hệ thống đều gọi các mô hình đa phương thức lớn (large multimodal models) ở hầu hết mọi bước tương tác. Việc phân bổ tài nguyên tính toán đồng đều này là không hiệu quả cho các tác vụ GUI kéo dài (long-horizon GUI tasks) vì các quỹ đạo (trajectories) rất không đồng nhất: nhiều bước là thông thường và có thể được xử lý đáng tin cậy bởi các chính sách nhỏ hơn, rẻ hơn, trong khi lỗi có xu hướng tập trung ở một số ít thời điểm có rủi ro cao. Các lỗi này thường xuất hiện dưới hai dạng: (i) tiến trình bị đình trệ (progress stalls), nơi tác nhân lặp lại các hành động không hiệu quả, và (ii) trôi dạt ngữ nghĩa thầm lặng (silent semantic drift), nơi tác nhân tiếp tục thực hiện các hành động có vẻ hợp lý nhưng đã đi lệch khỏi mục tiêu thực sự của người dùng.

II. Main Idea:​

Bài báo đề xuất một hệ thống phân tầng theo từng bước (step-level cascade) dựa trên sự kiện cho các tác nhân sử dụng máy tính. Hệ thống này chạy một chính sách nhỏ (small policy) theo mặc định và chỉ chuyển sang một mô hình mạnh hơn (stronger model) khi các bộ giám sát nhẹ (lightweight monitors) được học phát hiện ra nguy cơ cao. Khung này kết hợp hai tín hiệu bổ sung: (1) Bộ giám sát kẹt (Stuck Monitor) phát hiện tiến trình bị suy giảm từ lịch sử lý luận-hành động gần đây và kích hoạt phục hồi, và (2) Bộ giám sát mốc (Milestone Monitor) xác định các điểm kiểm tra có ý nghĩa về mặt ngữ nghĩa (semantically meaningful checkpoints) để xác minh thưa thớt (sparse verification), giúp phát hiện sự trôi dạt ngữ nghĩa. Thiết kế này biến việc suy luận mô hình lớn luôn bật (always-on frontier-model inference) thành việc phân bổ tài nguyên tính toán thích ứng, theo yêu cầu (adaptive, on-demand compute allocation) trong suốt quá trình tương tác. Khung này có tính mô-đun và hướng đến triển khai, có thể được thêm vào các tác nhân hiện có mà không cần thay đổi kiến trúc cơ bản hay huấn luyện lại mô hình lớn.

III. Main Results:​

Các thí nghiệm trên OSWorld và WebArena cho thấy hệ thống phân tầng được đề xuất cải thiện nhất quán ranh giới hiệu suất-hiệu quả (performance-efficiency frontier). Nó đạt được tỷ lệ thành công tương đương với các chính sách luôn dùng mô hình lớn (always-large policies) trong khi giảm đáng kể việc sử dụng mô hình lớn, độ trễ và chi phí tiền tệ. Ví dụ, trên OSWorld, cặp EvoCUA-8B + Kimi K2.5 đạt 58.2% thành công với chi phí chỉ 0.051 USD mỗi tác vụ, giảm 61.4% chi phí so với việc luôn dùng mô hình lớn. Trên WebArena, cặp gpt-oss-20b + GPT-5.2 đạt 57.8% thành công với chi phí 0.211 USD, giảm đáng kể so với luôn dùng GPT-5.2 (0.335 USD). Các phân tích cắt bỏ (ablation studies) cho thấy lợi ích đến từ việc kết hợp cả hai tín hiệu chuyển hướng bổ sung: phát hiện kẹt (stuck detection) giúp phục hồi từ các lỗi cục bộ, trong khi xác minh dựa trên mốc (milestone-triggered verification) giúp phát hiện sự trôi dạt ngữ nghĩa thầm lặng.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng suy luận của tác nhân sử dụng máy tính không nên được coi là khó đồng đều ở mọi bước; thay vào đó, hiệu quả đến từ việc xác định tập hợp nhỏ các thời điểm mà khả năng suy luận mạnh hơn là có giá trị nhất. Phân tầng theo bước (step-level cascading) là một hướng đi thực tế và có tính mô-đun để triển khai các tác nhân có năng lực trong các ràng buộc về chi phí và độ trễ thực tế. Hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng khung này sang các môi trường khác, phát triển các bộ giám sát tinh vi hơn, hoặc khám phá các chiến lược chuyển hướng thích ứng khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Khung Phân tầng Đa Tác nhân (Multi-Agent Cascade): Nghiên cứu cách phân tầng có thể được mở rộng cho các hệ thống đa tác nhân, nơi nhiều tác nhân chuyên biệt (ví dụ: duyệt web, xử lý văn bản) được điều phối. Bộ giám sát có thể quyết định không chỉ khi nào chuyển sang mô hình mạnh hơn mà còn khi nào chuyển sang một tác nhân chuyên biệt khác, dựa trên ngữ cảnh của tác vụ.
  2. Phân tầng Thích ứng với Chi phí và Ràng buộc Thời gian thực (Cost and Latency-Aware Adaptive Cascade): Phát triển một phiên bản khung phân tầng có thể thích ứng linh hoạt với các ràng buộc về chi phí và độ trễ khác nhau trong thời gian thực. Ví dụ, nếu một tác vụ có thời hạn chặt chẽ, hệ thống có thể ưu tiên sử dụng mô hình nhỏ hơn hoặc giảm tần suất xác minh mốc, ngay cả khi điều này làm giảm nhẹ độ chính xác.
  3. Phân tầng với Bộ nhớ Dài hạn và Học Từ Sai lầm (Cascade with Long-Term Memory and Learning from Mistakes): Tích hợp một bộ nhớ dài hạn cho các tác nhân phân tầng, nơi các lỗi trước đây (ví dụ: các lần bị kẹt hoặc trôi dạt) được lưu lại. Bộ giám sát có thể học từ những sai lầm này để dự đoán tốt hơn các tình huống rủi ro cao trong tương lai, tạo ra một hệ thống ngày càng thông minh và hiệu quả hơn theo thời gian.

2. Patent:​

  1. Phương pháp và Hệ thống Tối ưu hóa Năng lượng cho Trợ lý Ảo trên Điện thoại Di động: Một phương pháp giúp trợ lý ảo trên điện thoại thông minh thực hiện các tác vụ phức tạp (ví dụ: đặt vé, soạn email dài) một cách tiết kiệm pin và dữ liệu. Thay vì sử dụng mô hình AI mạnh mẽ, tốn nhiều năng lượng cho mọi bước, hệ thống sẽ sử dụng một mô hình nhỏ gọn, tiết kiệm năng lượng cho hầu hết các bước thông thường. Nó chỉ kích hoạt mô hình mạnh hơn trên các máy chủ đám mây khi phát hiện ra rằng trợ lý đang gặp khó khăn (ví dụ: lặp lại hành động) hoặc khi hoàn thành một bước quan trọng (ví dụ: vừa điền xong thông tin thanh toán) để kiểm tra lại cho chắc chắn. Điều này giúp kéo dài thời lượng pin và giảm lượng dữ liệu tiêu thụ.
  2. Ứng dụng Điều khiển Thiết bị Gia đình Thông minh Bằng Giọng nói Hiệu quả: Một hệ thống trên điện thoại cho phép người dùng ra lệnh bằng giọng nói để điều khiển các thiết bị trong nhà (ví dụ: 'bật đèn phòng khách, tắt quạt, và mở rèm'). Hệ thống sử dụng một mô hình nhỏ trên điện thoại để xử lý các lệnh đơn giản, quen thuộc một cách nhanh chóng và cục bộ. Tuy nhiên, nếu mô hình nhỏ gặp khó khăn (ví dụ: người dùng nói một lệnh phức tạp hoặc mơ hồ), nó sẽ gửi yêu cầu lên một mô hình AI mạnh hơn trên đám mây để phân tích và thực hiện. Cơ chế này đảm bảo phản hồi nhanh cho các lệnh thông thường và độ chính xác cao cho các lệnh phức tạp.
  3. Phương pháp Hỗ trợ Người dùng Khuyết tật Tương tác với Ứng dụng Di động Thông minh hơn: Một ứng dụng trên điện thoại giúp người dùng khiếm thị hoặc người cao tuổi tương tác với các ứng dụng phức tạp. Ứng dụng này sử dụng một mô hình AI nhỏ để mô tả và thực hiện các thao tác cơ bản như 'vuốt lên', 'chạm vào nút màu xanh'. Khi người dùng đưa ra một yêu cầu phức tạp hơn như 'tìm và gửi ảnh chụp màn hình gần đây nhất cho cuộc trò chuyện Zalo với Anh A', mô hình nhỏ có thể không làm được. Lúc này, hệ thống sẽ kích hoạt một mô hình AI mạnh hơn (có thể chạy trên đám mây) để phân tích toàn bộ màn hình, lập kế hoạch các bước và thực hiện chúng một cách chính xác, giúp người dùng hoàn thành tác vụ dễ dàng hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.27151
ArXiv Abstracthttps://arxiv.org/abs/2604.27151
PDF Downloadhttps://arxiv.org/pdf/2604.27151.pdf
Github Repositoryhttps://github.com/yale-nlp/StepWise

16. PhyCo: Learning Controllable Physical Priors for Generative Motion (12 votes)​

Tác giả: Sriram Narayanan, Ziyu Jiang, Srinivasa Narasimhan, Manmohan Chandraker

Xuất bản lúc: 2026-04-30

Tag: Video Generation, Diffusion Models, Physical Priors, ControlNet, VLM, Reward Optimization

I. Main Problem:​

Các mô hình sinh video hiện tại tạo ra video có hình ảnh chân thực nhưng thường vi phạm các quy luật vật lý cơ bản: vật thể trôi nổi, va chạm không có độ nảy, biến dạng không thực tế. Ngoài ra, khó có thể điều khiển một cách liên tục và trực quan các thuộc tính vật lý như ma sát, độ nảy, biến dạng và lực tác động.

II. Main Idea:​

PhyCo là một khung làm việc tích hợp các ưu tiên vật lý có thể điều khiển vào mô hình khuếch tán video thông qua ba thành phần chính: (i) một bộ dữ liệu mô phỏng quang học lớn (hơn 100K video) với các chú thích thuộc tính vật lý liên tục; (ii) tinh chỉnh có giám sát vật lý của một mô hình khuếch tán được huấn luyện trước bằng ControlNet, sử dụng các bản đồ thuộc tính vật lý liên kết pixel; và (iii) tối ưu hóa phần thưởng dựa trên VLM, nơi một mô hình ngôn ngữ-thị giác được tinh chỉnh đánh giá video và cung cấp phản hồi có thể vi phân để khuyến khích hành vi vật lý hợp lý.

III. Main Results:​

Trên benchmark Physics-IQ, PhyCo cải thiện đáng kể tính chân thực vật lý so với các baseline mạnh (ví dụ: đạt 36.3 IQ Score ở chế độ test-time so với 27.7 của Cosmos-Predict2). Nghiên cứu người dùng cho thấy người dùng ưa thích video của PhyCo hơn các phương pháp khác (ví dụ: 95.5% ưa thích PhyCo hơn CogVideoX về độ chân thực của ma sát). Phân tích ablation cho thấy việc thêm VLM loss giúp giảm đáng kể lỗi điều khiển (ví dụ: giảm độ lệch hướng lực từ 38.05° xuống 22.53°).

IV. Conclusion & Future Works:​

PhyCo chứng minh rằng việc kết hợp các ưu tiên vật lý có thể điều khiển vào mô hình khuếch tán video là một hướng đi khả thi để tạo ra các video nhất quán về mặt vật lý mà không cần đến bộ mô phỏng trong quá trình suy luận. Mô hình có khả năng tổng quát hóa tốt từ dữ liệu mô phỏng sang các kịch bản thực tế. Các hướng nghiên cứu trong tương lai có thể bao gồm mở rộng sang nhiều thuộc tính vật lý hơn, cải thiện khả năng tổng quát hóa và tối ưu hóa hiệu suất.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung làm việc PhyCo để điều khiển các thuộc tính vật lý phức tạp hơn như độ nhớt, độ đàn hồi phi tuyến và tương tác đa vật thể trong các cảnh phức tạp.
  2. Nghiên cứu khả năng tổng quát hóa của PhyCo trên các miền dữ liệu khác nhau, bao gồm video từ thế giới thực, video hoạt hình và video mô phỏng y tế.
  3. Tối ưu hóa kiến trúc ControlNet và quy trình huấn luyện VLM để giảm chi phí tính toán và tăng tốc độ sinh video, hướng tới ứng dụng thời gian thực.

2. Patent:​

  1. Phương pháp và hệ thống điều chỉnh độ nảy của vật thể trong video trên điện thoại thông minh: Người dùng có thể sử dụng một thanh trượt trên màn hình để tăng hoặc giảm độ nảy của một quả bóng trong video được tạo ra, giúp tạo ra các hiệu ứng thể thao hoặc giải trí thú vị.
  2. Ứng dụng chỉnh sửa video trên điện thoại cho phép thay đổi lực ma sát của bề mặt: Người dùng có thể chọn một bề mặt trong video (ví dụ: mặt băng, mặt cỏ) và điều chỉnh mức độ ma sát để thay đổi cách vật thể di chuyển, phục vụ cho việc tạo nội dung sáng tạo hoặc mô phỏng khoa học.
  3. Hệ thống tạo video quảng cáo trên điện thoại với khả năng kiểm soát biến dạng sản phẩm: Nhà thiết kế có thể điều chỉnh mức độ biến dạng của một sản phẩm (ví dụ: một chai nước, một quả bóng) khi va chạm để tạo ra các hiệu ứng thị giác ấn tượng và chân thực, phù hợp với các chiến dịch quảng cáo trên mạng xã hội.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.28169
ArXiv Abstracthttps://arxiv.org/abs/2604.28169
PDF Downloadhttps://arxiv.org/pdf/2604.28169.pdf
Github RepositoryN/A

17. InteractWeb-Bench: Can Multimodal Agent Escape Blind Execution in Interactive Website Generation? (11 votes)​

Tác giả: Qiyao Wang, Haoran Hu, Longze Chen, Hongbo Wang, Hamid Alinejad-Rokny, Yuan Lin, Min Yang

Xuất bản lúc: 2026-04-30

Tag: Multimodal Large Language Models, Website Generation, Interactive Agents, Benchmark, Blind Execution, User Simulation, Intent Recognition

I. Main Problem:​

Các mô hình ngôn ngữ lớn đa phương thức (MLLM) hiện tại khi được sử dụng để tạo website thường rơi vào trạng thái 'thực thi mù' (blind execution): chúng thụ động thích nghi với các yêu cầu mơ hồ, thiếu thông tin hoặc mâu thuẫn từ người dùng không chuyên, không có khả năng chủ động đặt câu hỏi làm rõ hoặc suy luận động để tìm ra ý định thực sự. Các benchmark hiện có chỉ đánh giá trong môi trường lý tưởng với hướng dẫn rõ ràng, chi tiết, không phản ánh đúng sự phức tạp và nhiễu loạn của thế giới thực.

II. Main Idea:​

Bài báo giới thiệu InteractWeb-Bench, benchmark tương tác đa phương thức đầu tiên để đánh giá khả năng của agent trong việc tạo website dưới điều kiện người dùng không chuyên. Benchmark này mô phỏng bốn loại tính cách người dùng (tối giản, lan man, trực quan, mâu thuẫn) để tạo ra các hướng dẫn có độ nhiễu và thiếu sót khác nhau. Agent được đặt trong một môi trường thực thi tương tác với không gian hành động thống nhất gồm bốn hành động: Làm rõ (Clarify), Triển khai (Implement), Xác minh (Verify) và Nộp bài (Submit). Điều này cho phép agent tự do chuyển đổi giữa việc đặt câu hỏi làm rõ yêu cầu, viết mã, kiểm tra giao diện trực quan và nộp kết quả cuối cùng. Hiệu suất được đo bằng Tỷ lệ hoàn thành nhiệm vụ (TCR) dựa trên các ràng buộc chi tiết (oracle slots).

III. Main Results:​

Kết quả thực nghiệm cho thấy tất cả các mô hình MLLM tiên tiến nhất (như Qwen3.6-Plus, Kimi-K2.5, GPT-4.1) đều đạt điểm TCR rất thấp, với mô hình tốt nhất chỉ đạt 38.78%. Các agent đặc biệt yếu khi đối mặt với hướng dẫn thiếu thông tin (P-MIN) và có xu hướng 'bù đắp' bằng cách tạo ra quá nhiều mã (hallucination) thay vì đặt câu hỏi làm rõ. Hầu hết các agent hầu như không sử dụng hành động 'Làm rõ' (Clarify) và không tận dụng hiệu quả phản hồi từ việc kiểm tra giao diện (Verify) để sửa lỗi một cách có hệ thống. Các agent cũng cho thấy sự khác biệt lớn trong chiến lược tương tác, cân bằng giữa khám phá và quyết tâm hoàn thành.

IV. Conclusion & Future Works:​

InteractWeb-Bench cho thấy các agent tạo website hiện tại vẫn mắc kẹt trong 'thực thi mù', tạo ra các website có vẻ hợp lý nhưng không đáp ứng đúng nhu cầu thực sự của người dùng. Để tiến bộ, các agent trong tương lai không chỉ cần khả năng lập trình mạnh mẽ hơn mà còn cần khả năng nhận biết thông tin thiếu hụt, chủ động yêu cầu làm rõ và cập nhật giả định dựa trên phản hồi. Hướng nghiên cứu tương lai có thể tập trung vào việc cải thiện khả năng suy luận ý định và tương tác chủ động của agent.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tăng cường khả năng suy luận ý định (Intent Reasoning) cho Agent tạo website: Nghiên cứu các kiến trúc agent mới có khả năng suy luận sâu về ý định người dùng từ các yêu cầu mơ hồ, sử dụng kỹ thuật Chain-of-Thought hoặc Tree-of-Thought để khám phá nhiều khả năng trước khi đặt câu hỏi làm rõ.
  2. Phát triển cơ chế tương tác đa vòng hiệu quả giữa Agent và người dùng: Tập trung vào việc tối ưu hóa chiến lược đặt câu hỏi của agent (ví dụ: hỏi câu hỏi nào, vào lúc nào) để thu thập thông tin cần thiết một cách hiệu quả nhất mà không gây khó chịu cho người dùng, đồng thời học cách từ chối các yêu cầu mâu thuẫn.
  3. Tích hợp phản hồi trực quan (Visual Feedback) vào quá trình tạo mã: Nghiên cứu cách agent có thể tận dụng hiệu quả hơn ảnh chụp màn hình và lỗi giao diện từ hành động 'Xác minh' để tự động chẩn đoán và sửa lỗi một cách thông minh, thay vì chỉ sửa lỗi cục bộ.

2. Patent:​

  1. Phương pháp và hệ thống tạo giao diện người dùng điện thoại thông minh dựa trên tương tác hội thoại đa phương thức: Hệ thống này cho phép người dùng mô tả giao diện ứng dụng họ muốn bằng giọng nói hoặc văn bản một cách tự nhiên (ví dụ: 'làm một màn hình đăng nhập màu xanh dương có nút đăng nhập to'). Agent AI sẽ chủ động đặt câu hỏi làm rõ nếu thấy mô tả còn thiếu chi tiết (ví dụ: 'Bạn muốn có thêm nút đăng ký không?'), sau đó tạo mã nguồn và hiển thị bản xem trước. Người dùng có thể yêu cầu chỉnh sửa trực tiếp trên bản xem trước đó.
  2. Ứng dụng trên điện thoại thông minh cho phép tạo và tùy chỉnh widget màn hình chính bằng ngôn ngữ tự nhiên: Người dùng có thể nói hoặc gõ 'tạo một widget thời tiết nhỏ ở góc trên bên phải, màu pastel, hiển thị nhiệt độ và biểu tượng mặt trời'. Ứng dụng sử dụng agent AI để phân tích yêu cầu, nếu phát hiện mâu thuẫn (ví dụ: 'màu pastel' và 'nền tối'), nó sẽ hỏi lại người dùng để làm rõ trước khi tạo widget.
  3. Phương pháp hỗ trợ người dùng không chuyên tạo trang web cá nhân trên thiết bị di động thông qua đối thoại làm rõ ý định: Người dùng bắt đầu bằng cách mô tả trang web họ muốn (ví dụ: 'trang web giới thiệu bản thân của tôi'). Agent AI không vội vàng tạo mã ngay, mà thay vào đó đặt một loạt câu hỏi thông minh để làm rõ các khía cạnh quan trọng như mục đích, đối tượng, màu sắc yêu thích, và các phần nội dung chính, đảm bảo kết quả cuối cùng khớp với ý định thực sự của người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.27419
ArXiv Abstracthttps://arxiv.org/abs/2604.27419
PDF Downloadhttps://arxiv.org/pdf/2604.27419.pdf
Github Repositoryhttps://github.com/AIforIP/InteractWeb-Bench