🤗 Daily Hugging Face Paper Digest - 2026-01-16

Báo cáo được tạo tự động vào lúc 2026-01-20 08:36:12 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. STEP3-VL-10B Technical Report (171 votes)

Tác giả: Ailin Huang, Chengyuan Yao, Chunrui Han, Fanqi Wan, Hangyu Guo, Haoran Lv, Hongyu Zhou, Jia Wang, Jian Zhou, Jianjian Sun, Jingcheng Hu, Kangheng Lin, Liang Zhao, Mitt Huang, Song Yuan, Wenwen Qu, Xiangfeng Wang, Yanlin Lai, Yingxiu Zhao, Yinmin Zhang, Yukang Shi, Yuyang Chen, Zejia Weng, Ziyang Meng, Ang Li, Aobo Kong, Bo Dong, Changyi Wan, David Wang, Di Qi, Dingming Li, En Yu, Guopeng Li, Haiquan Yin, Han Zhou, Hanshan Zhang, Haolong Yan, Hebin Zhou, Hongbo Peng, Jiaran Zhang, Jiashu Lv, Jiayi Fu, Jie Cheng, Jie Zhou, Jisheng Yin, Jingjing Xie, Jingwei Wu, Jun Zhang, Junfeng Liu, Kaijun Tan, Kaiwen Yan, Liangyu Chen, Lina Chen, Mingliang Li, Qian Zhao, Quan Sun, Shaoliang Pang, Shengjie Fan, Shijie Shang, Siyuan Zhang, Tianhao You, Wei Ji, Wuxun Xie, Xiaobo Yang, Xiaojie Hou, Xiaoran Jiao, Xiaoxiao Ren, Xiangwen Kong, Xin Huang, Xin Wu, Xing Chen, Xinran Wang, Xuelin Zhang, Yana Wei, Yang Li, Yanming Xu, Yeqing Shen, Yuang Peng, Yue Peng, Yu Zhou, Yusheng Li, Yuxiang Yang, Yuyang Zhang, Zhe Xie, Zhewei Huang, Zhenyi Lu, Zhimin Fan, Zihui Cheng, Daxin Jiang, Qi Han, Xiangyu Zhang, Yibo Zhu, Zheng Ge

Xuất bản lúc: 2026-01-14

Tag: Multimodal LLM, Foundation Model, Vision-Language Model, Reinforcement Learning, Parallel Coordinated Reasoning

I. Main Problem:

Vấn đề cốt lõi mà bài báo đề cập là sự đánh đổi giữa quy mô và hiệu suất của các mô hình ngôn ngữ lớn đa phương thức (MLLM) với yêu cầu tính toán lớn, gây khó khăn cho việc triển khai thực tế. Các mô hình nhẹ (dưới 10B tham số) thường bị hạn chế về khả năng suy luận phức tạp và nhận thức trong phạm vi ngân sách tham số giới hạn, khiến chúng bị coi là "hiệu quả nhưng hạn chế".

II. Main Idea:

Bài báo giới thiệu STEP3-VL-10B, một mô hình nền tảng mã nguồn mở, nhẹ với 10B tham số, được thiết kế để định nghĩa lại sự cân bằng giữa hiệu quả nhỏ gọn và trí tuệ đa phương thức tiên tiến. Giải pháp bao gồm hai thay đổi chiến lược chính:

Chiến lược tiền huấn luyện (pre-training) hợp nhất, hoàn toàn không đóng băng: Thực hiện trên 1.2T token đa phương thức, tích hợp bộ mã hóa nhận thức (Perception Encoder) căn chỉnh ngôn ngữ với bộ giải mã Qwen3-8B để thiết lập sự phối hợp thị giác-ngôn ngữ nội tại. Quá trình này tập trung vào các khả năng suy luận và nhận thức.
Quy trình hậu huấn luyện (post-training) mở rộng: Bao gồm hai giai đoạn tinh chỉnh có giám sát (SFT) và hơn 1.000 lần lặp học tăng cường (RL) với cả phần thưởng có thể kiểm chứng (RLVR) và phản hồi từ con người (RLHF). Đặc biệt, mô hình triển khai Lý luận phối hợp song song (Parallel Coordinated Reasoning - PaCoRe) để mở rộng tính toán thời gian thử nghiệm, phân bổ tài nguyên cho lý luận nhận thức có thể mở rộng nhằm khám phá và tổng hợp các giả thuyết thị giác đa dạng.

III. Main Results:

Mặc dù chỉ có 10B tham số, STEP3-VL-10B cạnh tranh hoặc vượt trội hơn các mô hình lớn hơn 10 đến 20 lần (ví dụ: GLM-4.6V-106B, Qwen3-VL-235B) và các mô hình hàng đầu độc quyền như Gemini 2.5 Pro và Seed-1.5-VL. Các chỉ số hiệu suất chính bao gồm:

92.2% trên MM-Bench
80.11% trên MMMU
94.43% trên AIME2025 (suy luận phức tạp)
75.95% trên MathVision (suy luận phức tạp) Với PaCoRe, STEP3-VL-10B mở rộng tính toán thời gian thử nghiệm để thu hẹp khoảng cách hiệu suất nhận thức và suy luận so với các mô hình có hơn 100B tham số.

IV. Conclusion & Future Works:

STEP3-VL-10B chứng minh rằng với thiết kế tập trung vào nhận thức và suy luận phù hợp, khoảng cách giữa "nhỏ gọn" và "tiên tiến" không còn là rào cản không thể vượt qua, cung cấp một nền tảng mạnh mẽ và hiệu quả cho cộng đồng. Hướng nghiên cứu trong tương lai sẽ tiếp tục khám phá cách các mô hình có thể ngày càng thu hẹp khoảng cách giữa trí tuệ và tương tác với thế giới vật lý, đồng thời cam kết giải quyết các khoảng trống kỹ thuật quan trọng trong hệ sinh thái mở.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu tác động của các kiến trúc bộ mã hóa nhận thức khác nhau đối với sự phối hợp thị giác-ngôn ngữ nội tại trong khung tiền huấn luyện hợp nhất.
Khám phá các hệ thống phần thưởng học tăng cường và thuật toán tối ưu hóa thay thế để mở rộng hơn nữa khả năng suy luận đa phương thức và tính bền vững.
Phát triển các cơ chế tổng hợp nâng cao cho PaCoRe để tối ưu hóa quá trình tổng hợp các giả thuyết thị giác đa dạng cho các tác vụ phức tạp.

2. Patent:

Hệ thống hỗ trợ thị giác thông minh cho người khiếm thị trên điện thoại thông minh, sử dụng PaCoRe để phân tích song song nhiều hình ảnh từ camera và cung cấp mô tả chi tiết, đa chiều về môi trường xung quanh.
Công nghệ nhận diện và giải toán học nâng cao tích hợp trên ứng dụng điện thoại, cho phép người dùng chụp ảnh đề bài toán từ cấp 1 đến đại học và nhận được lời giải chi tiết cùng các bước suy luận.
Hệ thống trợ lý học tập cá nhân hóa trên thiết bị di động, sử dụng mô hình để phân tích tài liệu học thuật như sách giáo khoa và bài giảng, trích xuất thông tin, giải thích biểu đồ và công thức phức tạp, đồng thời tạo ra các câu hỏi ôn tập.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.09668
ArXiv Abstract	https://arxiv.org/abs/2601.09668
PDF Download	https://arxiv.org/pdf/2601.09668.pdf
Github Repository	https://github.com/stepfun-ai/Step3-VL-10B

2. Urban Socio-Semantic Segmentation with Vision-Language Reasoning (150 votes)

Tác giả: Yu Wang, Yi Wang, Rui Dai, Yujie Wang, Kaikui Liu, Xiangxiang Chu, Yansheng Li

Xuất bản lúc: 2026-01-15

Tag: Vision-Language Models, Semantic Segmentation, Urban Analysis, Reinforcement Learning, Geospatial Data

I. Main Problem:

Các mô hình phân đoạn hiện tại có thể phân đoạn đáng tin cậy các thực thể vật lý (ví dụ: tòa nhà, mặt nước) từ ảnh vệ tinh, nhưng vẫn gặp khó khăn với các danh mục được định nghĩa theo khía cạnh xã hội (ví dụ: trường học, công viên). Ranh giới và danh tính của những thực thể xã hội này được định hình bởi ngữ nghĩa xã hội chứ không phải các đặc điểm hình ảnh riêng biệt, khiến việc trích xuất thông tin này từ ảnh vệ tinh đơn thuần trở nên khó khăn. Các phương pháp hiện có sử dụng dữ liệu địa không gian đa phương thức bổ trợ (ví dụ: Points of Interest) phải đối mặt với các vấn đề về khó khăn trong việc thu thập dữ liệu, yêu cầu xử lý và căn chỉnh phức tạp, cũng như khả năng xử lý giới hạn các loại danh mục đã định nghĩa trước.

II. Main Idea:

Bài báo giải quyết vấn đề phân đoạn ngữ nghĩa xã hội đô thị bằng cách sử dụng khả năng suy luận của các mô hình Thị giác-Ngôn ngữ (VLM). Để hỗ trợ điều này, họ giới thiệu:

Tập dữ liệu SocioSeg: Một tài nguyên mới bao gồm ảnh vệ tinh, bản đồ số và nhãn cấp pixel của các thực thể ngữ nghĩa xã hội được tổ chức theo cấu trúc phân cấp (tên, lớp và chức năng xã hội). SocioSeg đổi mới bằng cách hợp nhất thông tin địa không gian đa dạng thành một lớp bản đồ số duy nhất, loại bỏ các vấn đề về truy cập dữ liệu, căn chỉnh và tính không đồng nhất.
Khung SocioReasoner: Một khung suy luận thị giác-ngôn ngữ mô phỏng quá trình con người xác định và chú thích các thực thể ngữ nghĩa xã hội thông qua nhận dạng đa phương thức và suy luận đa giai đoạn. SocioReasoner sử dụng chiến lược suy luận hai giai đoạn với cơ chế "render-and-refine": đầu tiên tạo các hộp giới hạn từ cả ảnh vệ tinh và hình ảnh bản đồ để định vị vùng mục tiêu. Các gợi ý này sau đó được đưa vào mô hình Segment Anything (SAM) để tạo ra một phân đoạn thô ban đầu. Tiếp theo, SocioReasoner tạo các điểm gợi ý trên mặt nạ đã hiển thị để tinh chỉnh ranh giới, tạo ra kết quả phân đoạn có độ chính xác cao. Quy trình này được tối ưu hóa bằng thuật toán học tăng cường (GRPO) để phát huy khả năng suy luận của VLM.

III. Main Results:

Các thử nghiệm chứng minh phương pháp tiếp cận của họ mang lại những cải tiến đáng kể so với các mô hình tiên tiến hiện có và thể hiện khả năng khái quát hóa mạnh mẽ theo kiểu zero-shot. Các kết quả này nhấn mạnh tiềm năng của việc kết hợp ảnh vệ tinh với ngữ cảnh bản đồ được hiển thị để hiểu ngữ nghĩa xã hội.

IV. Conclusion & Future Works:

Bài báo đã thành công trong việc định nghĩa và giải quyết nhiệm vụ phân đoạn ngữ nghĩa xã hội đô thị, giới thiệu bộ dữ liệu SocioSeg và khung SocioReasoner đổi mới. Các đóng góp chính bao gồm việc thiết lập nhiệm vụ và bộ dữ liệu chuẩn mới, đề xuất một khung suy luận đa giai đoạn bắt chước quá trình chú thích của con người và được tối ưu hóa bằng học tăng cường, cùng với bằng chứng thực nghiệm về hiệu quả và khả năng khái quát hóa của phương pháp. Hướng nghiên cứu tiếp theo có thể tập trung vào việc mở rộng các kịch bản suy luận phức tạp hơn hoặc tích hợp các loại dữ liệu địa không gian khác thông qua định dạng bản đồ thống nhất để nâng cao hơn nữa khả năng hiểu biết ngữ nghĩa xã hội đô thị.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cách cải thiện hiệu suất phân đoạn ngữ nghĩa xã hội bằng cách tích hợp thông tin ngữ cảnh thời gian từ chuỗi ảnh vệ tinh vào khung SocioReasoner.
Khám phá việc sử dụng các mô hình VLM tự giám sát để tạo ra các nhãn ngữ nghĩa xã hội giả cho các khu vực đô thị chưa được chú thích, mở rộng quy mô bộ dữ liệu SocioSeg.
Phát triển một phương pháp suy luận đa cấp độ kết hợp phân đoạn ngữ nghĩa xã hội với phân tích chức năng đô thị để cung cấp cái nhìn toàn diện hơn về thành phố.

2. Patent:

Hệ thống bản đồ thông minh trên điện thoại di động có khả năng hiển thị các ranh giới và chức năng của các thực thể xã hội (ví dụ: trường học, bệnh viện, khu dân cư) dựa trên ảnh vệ tinh và bản đồ số đã hợp nhất, hỗ trợ người dùng tìm kiếm địa điểm chính xác.
Ứng dụng điều hướng trên điện thoại di động tích hợp công nghệ phân đoạn ngữ nghĩa xã hội để cung cấp các tuyến đường tối ưu dựa trên loại hình khu vực (ví dụ: tránh khu vực trường học vào giờ cao điểm, ưu tiên khu vực công viên cho giải trí).
Công nghệ tích hợp vào camera điện thoại thông minh cho phép người dùng trỏ camera vào một khu vực đô thị và nhận được thông tin tức thì về chức năng hoặc loại hình xã hội của khu vực đó (ví dụ: "Đây là một khu thương mại", "Đây là một sân vận động") thông qua suy luận thị giác-ngôn ngữ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10477
ArXiv Abstract	https://arxiv.org/abs/2601.10477
PDF Download	https://arxiv.org/pdf/2601.10477.pdf
Github Repository	https://github.com/AMAP-ML/SocioReasoner

3. Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs (131 votes)

Tác giả: Zhiyuan Hu, Yucheng Wang, Yufei He, Jiaying Wu, Yilun Zhao, See-Kiong Ng, Cynthia Breazeal, Anh Tuan Luu, Hae Won Park, Bryan Hooi

Xuất bản lúc: 2026-01-13

Tag: Reinforcement Learning (RL), Large Language Models (LLMs), Exploration Collapse, Diversity, Creative Problem Solving, Strategy-level diversity, Uniqueness-Aware RL.

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) được huấn luyện bằng học tăng cường (RL) cho các tác vụ suy luận phức tạp thường gặp vấn đề "khám phá bị sụp đổ" (exploration collapse). Điều này có nghĩa là các chính sách RL sớm tập trung vào một tập hợp nhỏ các mẫu suy luận chiếm ưu thế, dẫn đến việc cải thiện pass@1 nhưng hạn chế sự đa dạng ở cấp độ tạo ra giải pháp (rollout-level diversity) và các cải tiến tiềm năng cho pass@k. Vấn đề cốt lõi là việc điều chuẩn hành vi token cục bộ không khuyến khích sự đa dạng ở cấp độ chiến lược giải pháp, khiến các phương pháp hiện có chỉ tạo ra sự biến đổi bề mặt mà không phải các chiến lược thực sự khác biệt.

II. Main Idea:

Bài báo đề xuất phương pháp "Uniqueness-Aware Reinforcement Learning" (UARL), một mục tiêu cấp độ tạo ra giải pháp (rollout-level objective) nhằm giải quyết vấn đề khám phá bị sụp đổ. UARL hoạt động bằng cách thưởng rõ ràng cho các giải pháp đúng nhưng thể hiện các chiến lược cấp cao hiếm. Phương pháp này sử dụng một mô hình LLM làm trọng tài (judge) để phân loại các giải pháp được tạo ra (rollouts) cho cùng một vấn đề thành các cụm dựa trên các chiến lược giải pháp cấp cao, bỏ qua các biến thể bề ngoài. Sau đó, các ưu điểm (policy advantages) được điều chỉnh nghịch đảo với kích thước cụm; điều này có nghĩa là các chiến lược đúng nhưng mới lạ (thuộc cụm nhỏ hơn) nhận được phần thưởng cao hơn, trong khi các chiến lược đúng nhưng phổ biến bị giảm trọng số. Phương pháp này được tích hợp vào khung huấn luyện RL tiêu chuẩn như GRPO.

III. Main Results:

Phương pháp UARL đã được kiểm nghiệm trên các mô hình LLM như Qwen2.5-7B, Qwen3-8B và OLMo-3-7B trên các bộ dữ liệu suy luận đa dạng bao gồm toán học, vật lý và y học. Các kết quả chính cho thấy:

UARL liên tục cải thiện pass@k trên các ngân sách lấy mẫu lớn (lên đến k=256) và tăng diện tích dưới đường cong pass@k (AUC@K) mà không làm suy giảm pass@1.
Phương pháp này duy trì khả năng khám phá và phát hiện ra nhiều chiến lược giải pháp đa dạng hơn ở quy mô lớn, tránh được sự sụp đổ chiến lược mà các phương pháp cơ sở gặp phải.
Các phân tích sâu hơn xác nhận rằng những cải tiến đạt được phản ánh sự khám phá ở cấp độ chiến lược thực sự, không chỉ là sự biến đổi bề mặt, thông qua việc tăng cường phạm vi bao phủ của các chiến lược giải pháp được con người chú thích.

IV. Conclusion & Future Works:

Bài báo kết luận rằng việc khen thưởng các chiến lược giải pháp độc đáo ở cấp độ tổng thể là một cách hiệu quả để thúc đẩy sự đa dạng và sáng tạo trong các LLM được tinh chỉnh bằng RL, vượt qua giới hạn của việc chỉ tập trung vào hành vi token cục bộ. UARL giúp LLM khám phá và duy trì nhiều cách tiếp cận vấn đề hơn, cải thiện hiệu suất trên các tác vụ suy luận phức tạp. Hướng nghiên cứu trong tương lai có thể bao gồm việc tối ưu hóa hiệu quả tính toán của trọng tài LLM và khám phá ứng dụng của UARL trong các lĩnh vực khác đòi hỏi sự đa dạng và đổi mới giải pháp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu tác động của việc sử dụng các mô hình LLM khác nhau làm trọng tài (judge) và cách tối ưu hóa lời nhắc (prompt engineering) để nâng cao khả năng phân loại chiến lược với chi phí thấp hơn.
Khám phá việc mở rộng UARL sang các tác vụ sáng tạo ngôn ngữ không phải suy luận, chẳng hạn như viết thơ, kịch bản hoặc thiết kế trò chơi, nơi sự độc đáo chiến lược là yếu tố quan trọng.
Phát triển một phương pháp kết hợp UARL với các kỹ thuật học tăng cường khác để đồng thời tối ưu hóa tính độc đáo, độ chính xác và tính giải thích của các giải pháp.

2. Patent:

Một hệ thống trợ lý cá nhân trên điện thoại thông minh sử dụng UARL để tạo ra các đề xuất hành động hoặc giải pháp độc đáo cho các tình huống phức tạp của người dùng, ví dụ: đưa ra nhiều kịch bản khác nhau cho một cuộc họp hoặc sự kiện.
Ứng dụng học tập trên điện thoại di động tích hợp UARL để tự động tạo ra các bài tập thực hành với nhiều phương pháp giải khác nhau, khuyến khích tư duy phản biện và khám phá các chiến lược học tập cá nhân.
Công nghệ tích hợp vào camera điện thoại thông minh để phân tích một vấn đề thực tế (ví dụ: một vết bẩn trên quần áo) và sử dụng LLM được tinh chỉnh bằng UARL để đề xuất nhiều cách xử lý hoặc giải pháp độc đáo, từ các sản phẩm chuyên dụng đến các mẹo vặt tại nhà.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.08763
ArXiv Abstract	https://arxiv.org/abs/2601.08763
PDF Download	https://arxiv.org/pdf/2601.08763.pdf
Github Repository	https://github.com/zhiyuanhubj/Uniqueness-Aware-RL

4. Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning (76 votes)

Tác giả: Zhiyuan Hu, Yunhai Hu, Juncheng Liu, Shuyue Stella Li, Yucheng Wang, Zhen Xu, See-Kiong Ng, Anh Tuan Luu, Xinxing Xu, Bryan Hooi, Cynthia Breazeal, Hae Won Park

Xuất bản lúc: 2026-01-14

Tag: Multi-Agent, Reinforcement Learning, LLM, Test-Time Adaptation, Reasoning, Collaborative AI

I. Main Problem:

Các hệ thống học tăng cường đa tác nhân (MARL) hiện tại cho LLM gặp phải các thách thức như yêu cầu tài nguyên lớn, tính không ổn định do sự thích nghi lẫn nhau của các tác nhân gây ra tính không dừng, và phần thưởng thường thưa thớt và có độ biến thiên cao, làm suy yếu khả năng tổng quát khi thích ứng với một miền cụ thể.

II. Main Idea:

Bài nghiên cứu giới thiệu Multi-Agent Test-Time Reinforcement Learning (MATTRL), một khuôn khổ tiêm kinh nghiệm văn bản có cấu trúc vào quá trình thảo luận đa tác nhân ở thời điểm suy luận. MATTRL xây dựng một nhóm chuyên gia đa tác nhân cho các cuộc thảo luận nhiều lượt, truy xuất và tích hợp kinh nghiệm trong thời gian thử nghiệm, và đạt được sự đồng thuận để đưa ra quyết định cuối cùng. Các thành phần chính bao gồm: (1) các chiến lược phân bổ tín dụng từ nhóm đến tác nhân để chọn kinh nghiệm, (2) xây dựng một nhóm kinh nghiệm từ các ví dụ trong thời gian thử nghiệm, và (3) tích hợp nhóm kinh nghiệm này vào quá trình hợp tác đa tác nhân.

III. Main Results:

Trên các bộ dữ liệu thử thách trong y học, toán học và giáo dục, MATTRL cải thiện độ chính xác trung bình 3.67% so với mô hình đa tác nhân cơ sở, và 8.67% so với các mô hình đơn tác nhân tương đương. Các nghiên cứu loại bỏ đã kiểm tra các sơ đồ phân bổ tín dụng khác nhau và cung cấp so sánh chi tiết về cách chúng ảnh hưởng đến kết quả huấn luyện.

IV. Conclusion & Future Works:

Các đóng góp chính bao gồm việc đề xuất khuôn khổ Multi-agent Test-Time Reinforcement Learning (MATTRL) đầu tiên, sử dụng kinh nghiệm văn bản để nâng cao hệ thống đa tác nhân; xác thực ảnh hưởng của các phương pháp phân bổ tín dụng khác nhau lên việc xây dựng kinh nghiệm và quyết định cuối cùng; và đạt được hiệu suất SOTA mới trên các bộ dữ liệu y tế, toán học và giáo dục.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về các chiến lược phân bổ tín dụng mới, phức tạp hơn cho MATTRL, đặc biệt là trong các tình huống hợp tác phức tạp với vai trò tác nhân động.
Mở rộng MATTRL để hỗ trợ việc học liên tục từ kinh nghiệm test-time trong thời gian dài, giải quyết vấn đề quên lãng và duy trì tính tổng quát của LLM.
Ứng dụng MATTRL vào các lĩnh vực mới như thiết kế sáng tạo hoặc lập kế hoạch chiến lược, nơi yêu cầu suy luận đa chiều và hợp tác giữa các chuyên gia.

2. Patent:

Hệ thống trợ lý AI đa tác nhân tích hợp trên điện thoại di động, có khả năng học và sử dụng kinh nghiệm từ các tương tác trước đây để cải thiện độ chính xác trong các tác vụ suy luận phức tạp.
Phương pháp tối ưu hóa việc thu thập và phân bổ kinh nghiệm học được từ phản hồi người dùng trên thiết bị di động, cho phép các tác nhân AI cá nhân hóa và cải thiện liên tục.
Công nghệ cho phép các tác nhân AI trên điện thoại di động hợp tác và đạt được sự đồng thuận trong các quyết định, bằng cách sử dụng một pool kinh nghiệm chia sẻ được xây dựng từ các tình huống thực tế của người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.09667
ArXiv Abstract	https://arxiv.org/abs/2601.09667
PDF Download	https://arxiv.org/pdf/2601.09667.pdf
Github Repository	https://github.com/zhiyuanhubj/MATTRL

5. VIBE: Visual Instruction Based Editor (58 votes)

Tác giả: Grigorii Alekseenko, Aleksandr Gordeev, Irina Tolstykh, Bulat Suleimanov, Vladimir Dokholyan, Georgii Fedorov, Sergey Yakubson, Aleksandra Tsybina, Mikhail Chernyshov, Maksim Kuprashevich

Xuất bản lúc: 2026-01-05

Tag: Diffusion, Image Editing, VLM, Instruction-based Editing, Low-cost Inference, Compact Models, Source Consistency

I. Main Problem:

Thách thức trong chỉnh sửa ảnh dựa trên hướng dẫn là đạt được chất lượng thực tế với các mô hình mã nguồn mở, vì hầu hết các cách tiếp cận hiện tại đều có chất lượng hạn chế. Các backbone diffusion chiếm ưu thế thường rất lớn (6B đến 20B tham số) và tốn kém về mặt tính toán, gây khó khăn cho việc triển khai và nghiên cứu. Ngoài ra, việc duy trì tính nhất quán nghiêm ngặt với ảnh gốc trong khi thực hiện các chỉnh sửa phức tạp là một thách thức, đặc biệt khi các yêu cầu có thể dẫn đến các biến đổi toàn cục.

II. Main Idea:

Bài báo giới thiệu VIBE, một pipeline chỉnh sửa ảnh dựa trên hướng dẫn nhỏ gọn, thông lượng cao, sử dụng mô hình Qwen3-VL (2B tham số) để hướng dẫn và mô hình diffusion Sana1.5 (1.6B tham số) để tạo ảnh. Các quyết định thiết kế tập trung vào suy luận chi phí thấp và tính nhất quán nghiêm ngặt với ảnh nguồn, đạt được bằng cách kết hợp nối kênh hiệu quả về mặt tính toán với cơ chế meta-tokens có thể học được. Pipeline đào tạo gồm bốn giai đoạn: Alignment để kết nối VLM với không gian latent của diffusion, Pre-training để học các khả năng chỉnh sửa cốt lõi, Supervised Fine-Tuning trên dữ liệu sạch, và Direct Preference Optimization (DPO) để tinh chỉnh theo các hướng dẫn thực tế. VIBE sử dụng một VLM được điều chỉnh hướng dẫn để diễn giải cả hướng dẫn và ảnh nguồn, tạo ra tín hiệu điều kiện nhận biết hình ảnh rõ ràng hơn cho mô hình diffusion.

III. Main Results:

Phương pháp đề xuất đạt hoặc vượt trội hơn các baseline nặng hơn đáng kể (các mô hình có số lượng tham số lớn gấp nhiều lần và chi phí suy luận cao hơn) trên các benchmark ImgEdit và GEdit. VIBE đặc biệt mạnh mẽ trên các chỉnh sửa yêu cầu bảo toàn ảnh đầu vào, như điều chỉnh thuộc tính, xóa đối tượng, chỉnh sửa nền và thay thế có mục tiêu. Mô hình hoạt động trong bộ nhớ GPU 24 GB và tạo ra ảnh đã chỉnh sửa ở độ phân giải lên đến 2K trong khoảng 4 giây trên NVIDIA H100 (BF16), không cần tối ưu hóa suy luận hay chưng cất bổ sung. Hệ thống này là một giải pháp chỉnh sửa ảnh dựa trên hướng dẫn mã nguồn mở, cực nhanh, nhỏ gọn và được đào tạo trên khoảng 15 triệu bộ ba ảnh.

IV. Conclusion & Future Works:

VIBE cung cấp một hệ thống chỉnh sửa ảnh dựa trên hướng dẫn hiệu quả, nhỏ gọn và chất lượng cao, giải quyết các hạn chế về chi phí tính toán và chất lượng của các mô hình mã nguồn mở hiện có. Pipeline đào tạo bốn giai đoạn của nó rất linh hoạt và có thể được điều chỉnh cho các backbone diffusion và front-end LLM/VLM khác nhau. Hướng nghiên cứu tiếp theo có thể bao gồm việc khám phá các tối ưu hóa suy luận sâu hơn để cải thiện thời gian phản hồi, mở rộng khả năng chỉnh sửa sang các loại hình ảnh hoặc ngữ cảnh phức tạp hơn, hoặc điều chỉnh mô hình cho các thiết bị cạnh có tài nguyên hạn chế.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp kết hợp các mô hình VLM và Diffusion nhỏ gọn thành một kiến trúc thống nhất (single-stream) để cải thiện hiệu quả và chất lượng tương tác giữa văn bản và hình ảnh.
Phát triển các kỹ thuật tổng hợp dữ liệu chỉnh sửa ảnh dựa trên ưu tiên của người dùng để nâng cao khả năng mô hình đáp ứng các yêu cầu chỉnh sửa chủ quan và phức tạp.
Khám phá cách tích hợp các mô hình VIBE với các cơ chế điều khiển chi tiết (ví dụ: vẽ mask hoặc điểm ảnh) để cung cấp khả năng chỉnh sửa chính xác hơn theo hướng dẫn.

2. Patent:

Hệ thống chỉnh sửa ảnh tức thì trên điện thoại di động sử dụng VLM và mô hình diffusion tối ưu hóa, cho phép người dùng tạo các chỉnh sửa phức tạp bằng văn bản ngay trên thiết bị mà không cần kết nối mạng mạnh.
Phương pháp điều chỉnh mô hình chỉnh sửa ảnh để tự động phát hiện và bảo toàn các yếu tố quan trọng (ví dụ: khuôn mặt, thương hiệu) trong ảnh trên các ứng dụng di động, ngăn ngừa các thay đổi không mong muốn khi chỉnh sửa theo hướng dẫn.
Giao diện chỉnh sửa ảnh thông minh trên điện thoại di động, kết hợp lệnh văn bản, cử chỉ chạm và phản hồi hình ảnh tức thì, được cung cấp bởi một hệ thống VLM-Diffusion nhỏ gọn để tăng trải nghiệm người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.02242
ArXiv Abstract	https://arxiv.org/abs/2601.02242
PDF Download	https://arxiv.org/pdf/2601.02242.pdf
Github Repository	https://github.com/ai-forever/vibe

6. Beyond Static Tools: Test-Time Tool Evolution for Scientific Reasoning (42 votes)

Tác giả: Jiaxuan Lu, Ziyu Kong, Yemin Wang, Rong Fu, Haiyuan Wan, Cheng Yang, Wenjie Lou, Haoran Sun, Lilong Wang, Yankai Jiang, Xiaosong Wang, Xiao Sun, Dongzhan Zhou

Xuất bản lúc: 2026-01-12

Tag: LLM, AI for Science, Test-Time Tool Evolution, Scientific Reasoning, Dynamic Tool Synthesis, Code Generation

I. Main Problem:

Vấn đề cốt lõi mà bài báo đề cập là giới hạn của các tác nhân dựa trên Mô hình Ngôn ngữ Lớn (LLM) trong lĩnh vực AI cho Khoa học do sự phụ thuộc vào các thư viện công cụ tĩnh, đã được định nghĩa trước. Các công cụ này không đủ bao quát, rời rạc và không đầy đủ trong các miền khoa học mở, khiến LLM không thể tạo ra các phương pháp tính toán cần thiết cho lý luận khoa học chính xác và khám phá tri thức mới, đặc biệt là trong các tình huống yêu cầu các nguyên thủy tính toán tùy chỉnh.

II. Main Idea:

Bài báo đề xuất Test-Time Tool Evolution (TTE), một mô hình mới cho phép các tác nhân tự động tổng hợp, xác minh và phát triển các công cụ thực thi trong quá trình suy luận. TTE chuyển đổi các công cụ từ tài nguyên cố định thành các tạo phẩm dựa trên vấn đề, khắc phục tính cứng nhắc và hạn chế của các thư viện công cụ tĩnh. Framework này hoạt động theo một quy trình tiến hóa khép kín gồm năm module: phân tách tác vụ có cấu trúc, truy xuất công cụ động, tổng hợp công cụ tạo sinh, tinh chỉnh công cụ nguyên tử và công cụ thực thi thời gian chạy, cho phép tạo ra các công cụ mới theo yêu cầu hoặc thích nghi các công cụ hiện có.

III. Main Results:

Các thử nghiệm trên SciEvo, một bộ benchmark mới gồm 1.590 nhiệm vụ lý luận khoa học được hỗ trợ bởi 925 công cụ tự động phát triển, cho thấy TTE đạt được hiệu suất tiên tiến nhất (SOTA) về độ chính xác và hiệu quả sử dụng công cụ. Cụ thể, TTE-Zero (tổng hợp công cụ từ đầu) vượt trội đáng kể so với các phương pháp cơ sở hiện có về cả độ chính xác và hiệu quả sử dụng công cụ, và TTE-Adapt (thích nghi công cụ giữa các miền) cho phép thích ứng công cụ hiệu quả trên các lĩnh vực khoa học khác nhau, chứng minh khả năng chuyển giao các nguyên tắc tính toán.

IV. Conclusion & Future Works:

TTE là một framework đột phá mô phỏng bản chất lặp đi lặp lại của phương pháp khoa học, cho phép các công cụ được tạo, xác minh và phát triển trong thời gian suy luận, vượt qua tính cứng nhắc cố hữu của các mô hình tĩnh. Thông điệp cuối cùng là để một tác nhân trở thành một nhà khoa học thực thụ, nó phải phát triển các công cụ chứ không chỉ chọn chúng, mở ra khả năng cho các tác nhân AI thực hiện khám phá khoa học chủ động. Hướng nghiên cứu tiếp theo có thể tập trung vào việc hoàn thiện quá trình tổng hợp và tinh chỉnh công cụ để tối ưu hóa thư viện công cụ theo thời gian.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các chiến lược học tăng cường để tác nhân TTE tự động tối ưu hóa quy trình tổng hợp và tinh chỉnh công cụ dựa trên hiệu suất nhiệm vụ.
Khám phá việc tích hợp các mô hình đa phương thức vào TTE để phát triển các công cụ có khả năng xử lý thông tin từ nhiều dạng dữ liệu khoa học khác nhau.
Phát triển một kiến trúc TTE phân tán cho phép nhiều tác nhân cộng tác để cùng tiến hóa thư viện công cụ cho các vấn đề khoa học quy mô lớn.

2. Patent:

Hệ thống trợ lý khoa học thông minh trên điện thoại có khả năng tạo ra các công cụ tính toán tùy chỉnh để giải quyết các phương trình hóa học hoặc vật lý theo yêu cầu của người dùng.
Ứng dụng di động giúp học sinh và nhà nghiên cứu tự động tạo ra các công cụ phần mềm nhỏ để phân tích dữ liệu thí nghiệm hoặc mô phỏng khoa học trực tiếp trên thiết bị của họ.
Công nghệ phát triển công cụ tự động nhúng vào hệ điều hành điện thoại, cho phép thiết bị tạo ra các chức năng phần mềm mới dựa trên ngữ cảnh sử dụng hoặc yêu cầu của các ứng dụng khoa học.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.07641
ArXiv Abstract	https://arxiv.org/abs/2601.07641
PDF Download	https://arxiv.org/pdf/2601.07641.pdf
Github Repository	https://github.com/lujiaxuan0520/Test-Time-Tool-Evol

7. Toward Ultra-Long-Horizon Agentic Science: Cognitive Accumulation for Machine Learning Engineering (35 votes)

Tác giả: Xinyu Zhu, Yuzhu Cai, Zexi Liu, Bingyang Zheng, Cheng Wang, Rui Ye, Jiaao Chen, Hanrui Wang, Wei-Chen Wang, Yuzhi Zhang, Linfeng Zhang, Weinan E, Di Jin, Siheng Chen

Xuất bản lúc: 2026-01-15

Tag: Agentic AI, Ultra-Long-Horizon Autonomy, Cognitive Accumulation, Hierarchical Cognitive Caching, Machine Learning Engineering, LLMs

I. Main Problem:

Vấn đề cốt lõi mà bài báo đề cập là giới hạn của trí tuệ nhân tạo hiện tại trong việc đạt được quyền tự chủ ở phạm vi cực kỳ dài (ultra-long-horizon autonomy) cho khoa học tác nhân (agentic science). Cụ thể, các mô hình ngôn ngữ lớn (LLMs) gặp khó khăn trong việc duy trì sự gắn kết chiến lược và sửa lỗi lặp đi lặp lại qua các chu kỳ thử nghiệm kéo dài hàng ngày hoặc hàng tuần, dễ bị quá tải bởi các chi tiết thực thi trong môi trường phản hồi chậm và đa chiều của nghiên cứu thực tế, không thể củng cố thông tin phản hồi thưa thớt thành hướng dẫn dài hạn mạch lạc.

II. Main Idea:

Bài báo đề xuất ML-Master 2.0, một tác nhân tự trị được thiết kế để vượt qua thách thức về quyền tự chủ ở phạm vi cực kỳ dài trong kỹ thuật học máy (MLE). Ý tưởng chính là tái cấu trúc quản lý ngữ cảnh như một quá trình tích lũy nhận thức (cognitive accumulation). Để thực hiện điều này, ML-Master 2.0 giới thiệu kiến trúc Hierarchical Cognitive Caching (HCC), một hệ thống đa tầng lấy cảm hứng từ hệ thống máy tính. HCC cho phép phân biệt cấu trúc kinh nghiệm theo thời gian, động đắc chắt các dấu vết thực thi tạm thời thành kiến thức ổn định và trí tuệ đa nhiệm. Điều này giúp tác nhân tách biệt việc thực thi tức thì khỏi chiến lược thử nghiệm dài hạn, từ đó vượt qua giới hạn của cửa sổ ngữ cảnh tĩnh. HCC bao gồm hai thành phần: caching phân cấp để tổ chức ngữ cảnh theo tính ổn định và giá trị tái sử dụng, và di chuyển ngữ cảnh để điều chỉnh cách thông tin được thăng cấp, củng cố hoặc loại bỏ một cách linh hoạt.

III. Main Results:

ML-Master 2.0 đạt hiệu suất vượt trội trên bộ tiêu chuẩn MLE-Bench của OpenAI, với tỷ lệ giành huy chương là 56.44% trong ngân sách thực thi 24 giờ. Kết quả này thể hiện sự cải thiện tương đối 92.7% so với phiên bản ML-Master trước đó. Các cải tiến nhất quán trên tất cả các mức độ phức tạp của nhiệm vụ: từ 48.48% lên 75.76% đối với nhiệm vụ phức tạp thấp, từ 20.18% lên 50.88% đối với nhiệm vụ phức tạp trung bình, và từ 24.44% lên 42.22% đối với nhiệm vụ phức tạp cao. Những phát hiện này chứng minh rằng quyền tự chủ ở phạm vi cực kỳ dài thông qua tích lũy nhận thức có cấu trúc là yếu tố then chốt giúp AI làm chủ các vòng lặp thử và sai kéo dài trong nghiên cứu khoa học thực tế.

IV. Conclusion & Future Works:

Bài báo kết luận rằng quyền tự chủ ở phạm vi cực kỳ dài, không chỉ là mở rộng cửa sổ ngữ cảnh mà là một quá trình tiến hóa từ kinh nghiệm tạm thời đến kiến thức được xác nhận và trí tuệ trừu tượng, là một khuôn mẫu có thể mở rộng cho AI tự khám phá vượt ra ngoài sự phức tạp của con người. Tác giả đã thiết lập cơ sở lý thuyết cho khoa học tác nhân và cung cấp kiến trúc HCC trong ML-Master 2.0 để giải quyết vấn đề bão hòa ngữ cảnh. Các công trình liên quan cho thấy vẫn còn hạn chế trong việc tích hợp quản lý ngữ cảnh phân cấp và trừu tượng hóa kinh nghiệm. Hướng nghiên cứu tiếp theo có thể tập trung vào việc phát triển các khung làm việc thống nhất để điều chỉnh quá trình tích lũy, thăng cấp và loại bỏ dấu vết tương tác thô trong các hệ thống tác nhân, nhằm hỗ trợ thực thi có thể mở rộng và thích ứng liên tục.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cách áp dụng kiến trúc HCC để quản lý ngữ cảnh trong các tác nhân AI thực hiện các nhiệm vụ sáng tạo hoặc thiết kế sản phẩm đòi hỏi sự tích lũy kinh nghiệm dài hạn.
Phát triển một phương pháp đánh giá định lượng cho "trí tuệ trừu tượng" được tạo ra bởi các tác nhân AI và khám phá khả năng chuyển giao của nó sang các lĩnh vực khoa học khác.
Khám phá việc tích hợp HCC với các mô hình học tăng cường để cho phép tác nhân học hỏi và thích nghi hiệu quả hơn trong các môi trường có phản hồi chậm và thưa thớt.

2. Patent:

Một hệ thống quản lý ngữ cảnh phân cấp thông minh cho các ứng dụng AI trên điện thoại di động, tự động tối ưu hóa việc sử dụng bộ nhớ và tài nguyên xử lý bằng cách di chuyển thông tin giữa các cấp độ bộ nhớ dựa trên tần suất sử dụng và tính ổn định.
Phương pháp tích lũy kiến thức tự động cho trợ lý ảo trên điện thoại, cho phép trợ lý học hỏi từ các tương tác hàng ngày của người dùng, chắt lọc các mẫu hành vi thành "trí tuệ" có thể tái sử dụng để cải thiện phản hồi và đề xuất.
Công nghệ điều khiển tác nhân tự động cho ứng dụng phần mềm trên điện thoại, nơi tác nhân có thể tự động thực hiện các chuỗi tác vụ phức tạp và dài hạn (ví dụ: tối ưu hóa cài đặt pin, dọn dẹp bộ nhớ) bằng cách tích lũy và tinh chỉnh chiến lược qua thời gian mà không cần can thiệp thủ công.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10402
ArXiv Abstract	https://arxiv.org/abs/2601.10402
PDF Download	https://arxiv.org/pdf/2601.10402.pdf
Github Repository	https://github.com/sjtu-sai-agents/ML-Master

8. DanQing: An Up-to-Date Large-Scale Chinese Vision-Language Pre-training Dataset (33 votes)

Tác giả: Hengyu Shen, Tiancheng Gu, Bin Qin, Lan Wu, Yuling Wu, Shuo Tan, Zelong Sun, Jun Wang, Nan Wu, Xiang An, Weidong Cai, Ziyong Feng, Kaicheng Yang

Xuất bản lúc: 2026-01-15

Tag: Vision-Language Pre-training (VLP), Chinese, Dataset, DanQing, Image-Text Pairs

I. Main Problem:

Vấn đề cốt lõi mà bài báo đề cập là sự chậm trễ đáng kể trong tiến bộ của huấn luyện trước Vision-Language bằng tiếng Trung do thiếu dữ liệu hình ảnh-văn bản tiếng Trung chất lượng cao và quy mô lớn. Các tài nguyên hiện có hoặc đã lỗi thời, hoặc có tỷ lệ URL hình ảnh không hợp lệ cao, làm hạn chế hiệu suất mô hình và cản trở sự phát triển trong học biểu diễn đa phương thức tiếng Trung.

II. Main Idea:

Bài báo đề xuất DanQing, một tập dữ liệu đa phương thức tiếng Trung quy mô lớn, chất lượng cao, chứa 100 triệu cặp hình ảnh-văn bản được thu thập từ Common Crawl (2024–2025). Giải pháp này bao gồm việc phát triển một quy trình lọc dữ liệu toàn diện và nghiêm ngặt gồm nhiều giai đoạn (lọc thô, tinh chỉnh cấp độ văn bản, lọc cấp độ hình ảnh) để đảm bảo chất lượng và độ phù hợp theo thời gian của dữ liệu. Tập dữ liệu này được thiết kế để nâng cao khả năng nhúng tiếng Trung của các mô hình kiểu CLIP bằng cách sử dụng mục tiêu SigLIP.

III. Main Results:

DanQing là một tập dữ liệu quy mô lớn gồm 100 triệu cặp hình ảnh-văn bản tiếng Trung được thu thập từ dữ liệu web năm 2024–2025. Các thử nghiệm chỉ ra rằng DanQing liên tục đạt hiệu suất vượt trội trên một loạt các tác vụ hạ nguồn tiếng Trung, bao gồm phân loại zero-shot, truy xuất đa phương thức và đánh giá dựa trên LMM. Các mô hình dựa trên CLIP được huấn luyện trước trên DanQing đạt hiệu suất trạng thái-nghệ thuật và cải thiện đáng kể khả năng hiểu đa phương thức tiếng Trung của các MLLM kiểu LLaVA. Tập dữ liệu DanQing sẽ được công khai dưới giấy phép Creative Common CC-BY 4.0 để thúc đẩy nghiên cứu.

IV. Conclusion & Future Works:

Kết luận là DanQing thành công trong việc khắc phục sự thiếu hụt dữ liệu Vision-Language tiếng Trung chất lượng cao, quy mô lớn, thông qua một quy trình xây dựng và lọc nghiêm ngặt, dẫn đến hiệu suất vượt trội trên các tác vụ đa phương thức tiếng Trung. Hướng nghiên cứu tiếp theo được tạo điều kiện thông qua việc công khai tập dữ liệu DanQing, nhằm hỗ trợ và thúc đẩy nghiên cứu sâu hơn trong lĩnh vực huấn luyện trước Vision-Language tiếng Trung.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu so sánh hiệu suất của các kiến trúc mô hình Vision-Language Pre-training khác nhau khi được huấn luyện trên DanQing và các tập dữ liệu tiếng Trung khác.
Phát triển các phương pháp lọc dữ liệu đa phương thức mới sử dụng học tăng cường để tự động cải thiện chất lượng và tính đa dạng của tập dữ liệu DanQing.
Khám phá việc kết hợp DanQing với các tập dữ liệu đa ngôn ngữ để xây dựng mô hình Vision-Language đa ngôn ngữ có khả năng hiểu sâu tiếng Trung và các ngôn ngữ khác.

2. Patent:

Hệ thống nhận diện vật thể và mô tả hình ảnh bằng tiếng Trung trực tiếp trên điện thoại di động, hỗ trợ người dùng khi du lịch hoặc mua sắm bằng cách cung cấp thông tin chi tiết.
Ứng dụng trợ lý ảo trên điện thoại thông minh tích hợp khả năng hiểu ngữ cảnh hình ảnh và văn bản tiếng Trung, cho phép tương tác tự nhiên và hiệu quả hơn.
Công nghệ tìm kiếm hình ảnh thông minh trên điện thoại, cho phép người dùng tìm kiếm ảnh trong thư viện cá nhân hoặc trên web bằng cách nhập mô tả phức tạp bằng tiếng Trung kèm theo các thuộc tính hình ảnh mong muốn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10305
ArXiv Abstract	https://arxiv.org/abs/2601.10305
PDF Download	https://arxiv.org/pdf/2601.10305.pdf
Github Repository	https://github.com/deepglint/DanQing

9. CoF-T2I: Video Models as Pure Visual Reasoners for Text-to-Image Generation (28 votes)

Tác giả: Chengzhuo Tong, Mingkun Chang, Shenglong Zhang, Yuran Wang, Cheng Liang, Zhizheng Zhao, Ruichuan An, Bohan Zeng, Yang Shi, Yifan Dai, Ziming Zhao, Guanbin Li, Pengfei Wan, Yuanxing Zhang, Wentao Zhang

Xuất bản lúc: 2026-01-15

Summary generation failed.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10061
ArXiv Abstract	https://arxiv.org/abs/2601.10061
PDF Download	https://arxiv.org/pdf/2601.10061.pdf
Github Repository	https://github.com/VisionChengzhuo/CoF-T2I

10. Transition Matching Distillation for Fast Video Generation (28 votes)

Tác giả: Weili Nie, Julius Berner, Nanye Ma, Chao Liu, Saining Xie, Arash Vahdat

Xuất bản lúc: 2026-01-14

Tag: Diffusion, Video Generation, Distillation, Fast Generation, Conditional Flow

I. Main Problem:

Các mô hình khuếch tán và mô hình dòng chảy video lớn đã đạt được thành công đáng kể trong việc tạo video chất lượng cao, nhưng quá trình lấy mẫu đa bước kém hiệu quả của chúng làm giới hạn ứng dụng trong các ứng dụng tương tác thời gian thực do độ trễ và chi phí tính toán cao. Các phương pháp chưng cất hiện có gặp khó khăn khi mở rộng sang mô hình khuếch tán video do chiều không gian-thời gian cao, sự phụ thuộc phức tạp giữa các khung hình, và việc bỏ qua cấu trúc phân cấp nội tại của các backbone khuếch tán video.

II. Main Idea:

Bài báo giới thiệu Transition Matching Distillation (TMD), một khung làm việc mới để chưng cất các mô hình khuếch tán video thành các bộ tạo hiệu quả chỉ với vài bước. Ý tưởng trung tâm của TMD là khớp quỹ đạo khử nhiễu đa bước của mô hình khuếch tán với một quá trình chuyển đổi xác suất vài bước, trong đó mỗi chuyển đổi được mô hình hóa như một dòng chảy có điều kiện nhẹ. Để chưng cất hiệu quả, tác giả phân tách backbone khuếch tán ban đầu thành hai thành phần: (1) một backbone chính, bao gồm phần lớn các lớp đầu, trích xuất biểu diễn ngữ nghĩa ở mỗi bước chuyển đổi bên ngoài; và (2) một flow head, bao gồm vài lớp cuối cùng, sử dụng các biểu diễn này để thực hiện nhiều cập nhật dòng chảy bên trong. Quá trình đào tạo gồm hai giai đoạn: (1) tiền đào tạo khớp chuyển đổi để khởi tạo flow head; và (2) chưng cất khớp phân phối với flow head rollout ở mỗi bước chuyển đổi.

III. Main Results:

Các thử nghiệm rộng rãi trên việc chưng cất mô hình text-to-video Wan2.1 1.3B và 14B chứng minh rằng TMD cung cấp sự đánh đổi linh hoạt và mạnh mẽ giữa tốc độ tạo và chất lượng hình ảnh. TMD vượt trội hơn các mô hình chưng cất hiện có dưới cùng chi phí suy luận về độ chân thực hình ảnh và tuân thủ lời nhắc. Cụ thể, mô hình 14B được chưng cất đạt điểm tổng thể 84.24 trên VBench trong quá trình tạo video gần một bước (NFE=1.38).

IV. Conclusion & Future Works:

TMD là một khung chưng cất mới cho khuếch tán video, chuyển đổi quỹ đạo khử nhiễu dài thành quá trình chuyển đổi xác suất vài bước gọn nhẹ. Thiết kế backbone khuếch tán được phân tách thành backbone ngữ nghĩa và flow head đệ quy cho phép chưng cất phân cấp linh hoạt. Chiến lược đào tạo hai giai đoạn giúp chuyển đổi flow head thành bản đồ dòng chảy có điều kiện và thực hiện chưng cất khớp phân phối với flow head rollout. Các thử nghiệm chứng minh TMD đạt được sự cân bằng tối ưu giữa tốc độ và chất lượng trong tạo video vài bước. Phần trích dẫn không đề cập rõ ràng đến các hướng nghiên cứu trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu khả năng điều chỉnh động số bước chuyển đổi bên trong của flow head dựa trên độ phức tạp của nội dung video để tối ưu hóa hơn nữa hiệu quả và chất lượng.
Khám phá việc tích hợp TMD với các kỹ thuật tạo video có điều kiện khác, chẳng hạn như điều khiển tư thế hoặc bản đồ độ sâu, để tăng cường khả năng kiểm soát đầu ra.
Phát triển một phương pháp chưng cất phân cấp đa cấp độ, nơi không chỉ flow head mà cả backbone chính cũng trải qua quá trình chưng cất tuần tự để đạt được tốc độ nhanh hơn nữa.

2. Patent:

Hệ thống ứng dụng di động cho phép người dùng tạo video ngắn chất lượng cao từ văn bản hoặc hình ảnh trong thời gian thực trên điện thoại, sử dụng công nghệ TMD để tăng tốc độ xử lý.
Phương pháp tối ưu hóa hiệu suất tạo video AI trên chip di động, sử dụng kiến trúc phân tách và chưng cất TMD để giảm thiểu yêu cầu tài nguyên phần cứng.
Tính năng chỉnh sửa video thông minh trên điện thoại, cho phép người dùng thêm các hiệu ứng động, chuyển cảnh hoặc thay đổi phong cách video tức thì nhờ khả năng tạo video nhanh của TMD.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.09881
ArXiv Abstract	https://arxiv.org/abs/2601.09881
PDF Download	https://arxiv.org/pdf/2601.09881.pdf
Github Repository	N/A

11. Think-Then-Generate: Reasoning-Aware Text-to-Image Diffusion with LLM Encoders (26 votes)

Tác giả: Siqi Kou, Jiachun Jin, Zetong Zhou, Ye Ma, Yugang Wang, Quan Chen, Peng Jiang, Xiao Yang, Jun Zhu, Kai Yu, Zhijie Deng

Xuất bản lúc: 2026-01-15

Tag: Text-to-Image, Diffusion Models, Large Language Models, Reasoning, Think-Then-Generate, Dual-GRPO, Supervised Fine-Tuning, Semantic Alignment, Visual Realism

I. Main Problem:

Các mô hình Text-to-Image (T2I) khuếch tán hiện tại, ngay cả những mô hình sử dụng bộ mã hóa dựa trên Large Language Model (LLM), chỉ hoạt động như những "bộ ánh xạ văn bản-điểm ảnh". Chúng không khai thác khả năng suy luận vốn có của LLM để diễn giải sâu sắc các lời nhắc mang tính khái niệm hoặc phức tạp từ người dùng, dẫn đến việc tạo ra hình ảnh chỉ mang tính chất mô tả literal mà thiếu đi sự hiểu biết ngữ cảnh và kiến thức thế giới.

II. Main Idea:

Bài báo đề xuất mô hình "Think-Then-Generate (T2G)" để cho phép bộ mã hóa LLM suy luận và tạo ra hình ảnh có ngữ nghĩa. Ý tưởng chính là chuyển đổi bộ mã hóa LLM từ một bộ trích xuất đặc trưng thụ động thành một thành phần chủ động có khả năng suy nghĩ và viết lại lời nhắc ban đầu của người dùng. Điều này được thực hiện thông qua hai bước:

Kích hoạt hành vi suy nghĩ-sau đó-viết lại: Bộ mã hóa LLM được huấn luyện tinh chỉnh có giám sát (Supervised Fine-Tuning - SFT) bằng một tập dữ liệu được xây dựng để khuyến khích nó thực hiện suy luận chuỗi tư duy (Chain-of-Thought - CoT) và tạo ra các lời nhắc đã được tinh chỉnh.
Đồng tối ưu hóa LLM và Diffusion Backbone: Bộ mã hóa LLM và mô hình khuếch tán (DiT) được tối ưu hóa cùng lúc thông qua chiến lược Dual-GRPO. Bộ mã hóa văn bản được củng cố bằng các phần thưởng dựa trên hình ảnh để suy luận kiến thức thế giới, trong khi mô hình khuếch tán được khuyến khích tạo ra hình ảnh nhất quán về ngữ nghĩa và chân thực về mặt thị giác.

III. Main Results:

Phương pháp T2G đạt được những cải thiện đáng kể về tính nhất quán thực tế, sự căn chỉnh ngữ nghĩa và độ chân thực trực quan trên các điểm chuẩn tạo và chỉnh sửa hình ảnh dựa trên suy luận.
Mô hình đạt 0.79 điểm trên WISE benchmark, vượt trội 30% so với Qwen-Image được huấn luyện trước và có hiệu suất gần ngang bằng với GPT-4o.
Đạt 92.2 điểm trên T2I-ReasonBench, vượt qua mô hình đóng mã nguồn mạnh mẽ Gemini-2.0.
Khi được áp dụng cho chỉnh sửa hình ảnh, kết quả định tính cho thấy khả năng tạo ra các sửa đổi trung thực, chi tiết và phù hợp với hướng dẫn hơn.
Mô hình huấn luyện thể hiện khả năng hiểu biết sâu sắc, độ tin cậy trực quan và chất lượng thẩm mỹ vượt trội trong các kịch bản thực tế và thách thức, như tạo minh họa sơ đồ các hoạt động của con người.

IV. Conclusion & Future Works:

Mô hình "Think-Then-Generate" là một bước tiến đầy hứa hẹn hướng tới các mô hình thống nhất thế hệ tiếp theo có khả năng suy luận, diễn đạt và trình bày. Nó giải quyết hạn chế của các mô hình T2I hiện có trong việc xử lý các hướng dẫn mang tính khái niệm, mở ra tiềm năng cho việc tạo ra hình ảnh phức tạp và giàu ngữ nghĩa hơn trong các ứng dụng thực tế. Hướng nghiên cứu tiếp theo có thể bao gồm việc mở rộng khả năng suy luận cho các nhiệm vụ phức tạp hơn và tích hợp sâu hơn với các mô hình đa phương thức khác.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cách tích hợp các mô hình kiến thức biểu tượng (symbolic knowledge models) với LLM trong kiến trúc T2G để tăng cường khả năng suy luận thực tế và nhất quán.
Khám phá việc sử dụng các phương pháp học tăng cường không cần reward model cho Dual-GRPO để giảm thiểu chi phí và độ phức tạp trong việc thiết kế hàm phần thưởng.
Phân tích ảnh hưởng của các phương pháp huấn luyện tinh chỉnh khác nhau đối với sự bảo toàn không gian nhúng của LLM và chất lượng tạo ảnh sau khi kích hoạt hành vi suy luận.

2. Patent:

Hệ thống tạo hình ảnh động trên điện thoại di động, cho phép người dùng nhập các lời nhắc mang tính câu chuyện (story-driven prompts), và AI sẽ tự động suy luận trình tự sự kiện để tạo ra một đoạn video hoạt hình ngắn hoặc một chuỗi hình ảnh liên tiếp.
Ứng dụng trợ lý sáng tạo trên điện thoại, sử dụng công nghệ T2G để biến các mô tả ý tưởng trừu tượng của người dùng (ví dụ: "một thiết kế logo thể hiện sự đổi mới và thân thiện") thành nhiều bản phác thảo hình ảnh đa dạng, giúp người dùng nhanh chóng hình dung và lựa chọn.
Tính năng "thuyết minh hình ảnh thông minh" tích hợp trong camera điện thoại, khi người dùng chụp ảnh một đối tượng hoặc cảnh, AI sẽ không chỉ mô tả những gì thấy mà còn suy luận về ngữ cảnh, chức năng hoặc ý nghĩa của nó, sau đó tạo ra các chú thích ảnh phong phú và cá nhân hóa.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10332
ArXiv Abstract	https://arxiv.org/abs/2601.10332
PDF Download	https://arxiv.org/pdf/2601.10332.pdf
Github Repository	https://github.com/zhijie-group/Think-Then-Generate

12. Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding (24 votes)

Tác giả: Christopher Clark, Jieyu Zhang, Zixian Ma, Jae Sung Park, Mohammadreza Salehi, Rohun Tripathi, Sangho Lee, Zhongzheng Ren, Chris Dongjoo Kim, Yinuo Yang, Vincent Shao, Yue Yang, Weikai Huang, Ziqi Gao, Taira Anderson, Jianrui Zhang, Jitesh Jain, George Stoica, Winson Han, Ali Farhadi, Ranjay Krishna

Xuất bản lúc: 2026-01-15

Tag: Vision-Language Model, VLM, Video Understanding, Grounding, Open-source, Multimodal, Dataset, Object Tracking, Video Pointing

I. Main Problem:

Các mô hình ngôn ngữ thị giác (VLM) mạnh mẽ nhất hiện nay đều là độc quyền, thiếu khả năng truy cập vào trọng số, dữ liệu và công thức huấn luyện, khiến cộng đồng mã nguồn mở không có nền tảng vững chắc để phát triển. Các mô hình mã nguồn mở hiện có thường dựa vào dữ liệu tổng hợp từ các VLM độc quyền, gây ra sự phụ thuộc. Ngoài ra, một khả năng quan trọng còn thiếu trong hầu hết các VLM (kể cả độc quyền) là grounding (định vị) – khả năng chỉ điểm hoặc theo dõi đối tượng bằng pixel trong ảnh và đặc biệt là trong video.

II. Main Idea:

Bài báo giới thiệu Molmo2, một họ các mô hình ngôn ngữ thị giác hoàn toàn mở, tiên tiến, có khả năng hiểu video và grounding vượt trội. Giải pháp chính của Molmo2 bao gồm:

Phát triển dữ liệu mở mới: Đóng góp bộ sưu tập gồm 9 tập dữ liệu mới (7 tập dữ liệu video và 2 tập dữ liệu đa hình ảnh), được thu thập mà không sử dụng các VLM độc quyền. Các tập dữ liệu này bao gồm chú thích video chi tiết, hỏi đáp video dạng tự do, theo dõi đối tượng và chỉ điểm video sáng tạo.
Công thức huấn luyện hiệu quả: Đề xuất một công thức huấn luyện tận dụng kỹ thuật đóng gói chuỗi (sequence packing) và mã hóa cây thông điệp (message-tree encoding). Công thức này cũng sử dụng cơ chế chú ý hai chiều (bi-directional attention) trên các token thị giác và chiến lược trọng số token mới để tăng cường hiệu suất.
Khả năng Grounding tiên tiến: Molmo2 thể hiện khả năng chỉ điểm (point-driven grounding) xuất sắc trong ảnh đơn, đa ảnh và video, cho phép mô hình định vị chính xác các sự kiện và đối tượng trong không gian và thời gian.

III. Main Results:

Molmo2 đạt hiệu suất dẫn đầu trong số các mô hình mã nguồn mở và thể hiện khả năng vượt trội, thậm chí vượt qua một số mô hình độc quyền trên các tác vụ grounding video.
Mô hình 8B của Molmo2 vượt trội so với các mô hình mở khác về video ngắn, đếm và tạo phụ đề, đồng thời cạnh tranh trên video dài.
Về grounding video, Molmo2 vượt trội đáng kể so với các mô hình mở hiện có như Qwen3-VL (độ chính xác 35.5 so với 29.6 trên tác vụ đếm video).
Molmo2 vượt qua các mô hình độc quyền như Gemini 3 Pro trên một số tác vụ: 38.4 F1 so với 20.0 F1 trên tác vụ chỉ điểm video và 56.2 J&F so với 41.1 J&F trên tác vụ theo dõi video.
Một đánh giá ưu tiên của con người xếp Molmo2 ngang bằng hoặc tốt hơn các mô hình trọng số mở hiện có và vượt qua một số mô hình độc quyền bao gồm GPT-5 và Claude Sonnet 4.5, chứng tỏ khả năng đa dụng của nó.

IV. Conclusion & Future Works:

Molmo2 là một bước tiến quan trọng trong lĩnh vực mô hình ngôn ngữ thị giác mã nguồn mở, cung cấp một hệ thống hoàn toàn minh bạch với trọng số, dữ liệu và mã nguồn mở. Nó giải quyết vấn đề cốt lõi về sự thiếu hụt các mô hình mở và khả năng grounding trong video. Mặc dù bài báo không trực tiếp đề cập đến các hướng nghiên cứu trong tương lai, việc phát hành Molmo2 và các tập dữ liệu phong phú của nó tạo tiền đề vững chắc cho các nghiên cứu tiếp theo nhằm nâng cao khả năng hiểu và định vị trong các ngữ cảnh đa phương tiện phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc cải thiện độ bền của Molmo2 trong việc theo dõi đối tượng qua các thay đổi ánh sáng khắc nghiệt hoặc sự che khuất tạm thời.
Khám phá phương pháp tích hợp Molmo2 với các cảm biến vật lý để hỗ trợ các ứng dụng thực tế như giám sát an ninh hoặc tự động hóa công nghiệp.
Phát triển một khung đánh giá mới cho khả năng grounding video dựa trên các tiêu chí nhận thức của con người để phản ánh chính xác hơn hiệu suất của mô hình.

2. Patent:

Hệ thống trợ lý cá nhân trên điện thoại thông minh cho phép người dùng chụp hoặc quay video, sau đó hỏi về các chi tiết cụ thể trong nội dung (ví dụ: "chỉ cho tôi vị trí của cốc cà phê") và nhận phản hồi trực tiếp trên hình ảnh hoặc video.
Ứng dụng điện thoại thông minh hỗ trợ người khiếm thị bằng cách mô tả chi tiết môi trường xung quanh thông qua camera và cung cấp hướng dẫn định vị đối tượng cụ thể bằng giọng nói.
Công nghệ chỉnh sửa video tự động trên điện thoại di động, cho phép người dùng chọn một đối tượng và yêu cầu cắt hoặc làm nổi bật đối tượng đó trong suốt video, dựa trên khả năng theo dõi của Molmo2.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10611
ArXiv Abstract	https://arxiv.org/abs/2601.10611
PDF Download	https://arxiv.org/pdf/2601.10611.pdf
Github Repository	https://github.com/allenai/molmo2

13. Alterbute: Editing Intrinsic Attributes of Objects in Images (23 votes)

Tác giả: Tal Reiss, Daniel Winter, Matan Cohen, Alex Rav-Acha, Yael Pritch, Ariel Shamir, Yedid Hoshen

Xuất bản lúc: 2026-01-15

Tag: Diffusion, Image Editing, Intrinsic Attributes, Identity Preservation, Visual Named Entities (VNEs), Vision-Language Models (VLM)

I. Main Problem:

Vấn đề cốt lõi mà bài báo đề cập là khả năng chỉnh sửa các thuộc tính nội tại của một đối tượng trong hình ảnh (như màu sắc, kết cấu, vật liệu, hoặc hình dạng) trong khi vẫn trung thực duy trì định danh được cảm nhận của đối tượng đó và ngữ cảnh của cảnh quay. Các phương pháp hiện có thường thất bại trong việc bảo toàn định danh hoặc áp đặt các hạn chế quá mức ngăn cản sự biến đổi ý nghĩa của các thuộc tính nội tại.

II. Main Idea:

Bài báo giới thiệu Alterbute, một phương pháp dựa trên mô hình Diffusion để chỉnh sửa các thuộc tính nội tại của đối tượng trong ảnh. Giải pháp được đề xuất dựa trên hai đổi mới chính:

Mục tiêu huấn luyện nới lỏng: Thay vì chỉ học cách chỉnh sửa thuộc tính nội tại, mô hình được huấn luyện để thay đổi cả thuộc tính nội tại và ngoại tại. Mô hình được điều kiện hóa bởi ba yếu tố: một ảnh tham chiếu định danh, một câu lệnh văn bản mô tả các thuộc tính nội tại mục tiêu, và một ảnh nền cùng mặt nạ đối tượng để định nghĩa ngữ cảnh ngoại tại. Khi suy luận, các thay đổi ngoại tại bị hạn chế bằng cách tái sử dụng ảnh nền và mặt nạ đối tượng gốc, đảm bảo chỉ các thuộc tính nội tại mong muốn được sửa đổi. Cách tiếp cận này giúp khắc phục khó khăn trong việc thu thập dữ liệu huấn luyện chỉ có thay đổi nội tại.
Thực thể định danh trực quan (VNEs): Để định nghĩa định danh một cách phù hợp, Alterbute sử dụng VNEs – các danh mục định danh trực quan chi tiết (ví dụ: "Porsche 911 Carrera") phản ánh cách mọi người gọi tên các loại đối tượng cụ thể. VNEs nhóm các trường hợp trực quan tương tự nhau, cho phép biến đổi trong các thuộc tính nội tại nhưng vẫn giữ nguyên định danh được cảm nhận. Các nhãn VNE và mô tả thuộc tính nội tại được tự động trích xuất từ một tập dữ liệu hình ảnh công khai lớn bằng cách sử dụng mô hình Vision-Language Model (Gemini), giúp việc giám sát có thể mở rộng mà không cần gán nhãn thủ công.

III. Main Results:

Alterbute vượt trội hơn các phương pháp hiện có trong việc chỉnh sửa thuộc tính nội tại của đối tượng trong khi vẫn duy trì định danh. Phương pháp này hỗ trợ chỉnh sửa tất cả các thuộc tính nội tại (màu sắc, kết cấu, vật liệu, hình dạng) bằng cách sử dụng một mô hình thống nhất duy nhất, đạt được kết quả tiên tiến (state-of-the-art) trên các tác vụ chỉnh sửa thuộc tính nội tại đối tượng đầy thách thức.

IV. Conclusion & Future Works:

Alterbute cung cấp một phương pháp dựa trên Diffusion hiệu quả để chỉnh sửa các thuộc tính nội tại của đối tượng trong hình ảnh, giải quyết thành công thách thức về việc bảo toàn định danh và ngữ cảnh cảnh quay. Sự kết hợp giữa mục tiêu huấn luyện nới lỏng và việc sử dụng các VNE được trích xuất tự động đã cho phép huấn luyện có giám sát khả thi và đạt được hiệu suất vượt trội. Phần văn bản trích xuất không nêu rõ các hướng nghiên cứu tiếp theo.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu khả năng tích hợp phản hồi của người dùng vào quá trình huấn luyện hoặc suy luận để tinh chỉnh định nghĩa VNE hoặc các thay đổi thuộc tính nội tại.
Phát triển phương pháp để Alterbute có thể xử lý việc chỉnh sửa nhiều đối tượng trong một hình ảnh hoặc các đối tượng tương tác với nhau.
Khám phá việc áp dụng VNEs và phương pháp nới lỏng mục tiêu huấn luyện này cho các miền dữ liệu khác như video hoặc mô hình 3D để chỉnh sửa thuộc tính liên tục.

2. Patent:

Một tính năng chỉnh sửa ảnh tích hợp trên điện thoại thông minh, cho phép người dùng chọn một đối tượng trong ảnh và thay đổi các thuộc tính như màu sắc, chất liệu, hoặc họa tiết thông qua các lệnh văn bản, đảm bảo nhận dạng đối tượng được bảo toàn.
Một ứng dụng trên điện thoại di động sử dụng công nghệ Alterbute để người dùng chụp ảnh sản phẩm (ví dụ: quần áo, đồ nội thất) và ngay lập tức xem trước sản phẩm đó với các biến thể màu sắc, vật liệu hoặc kiểu dáng khác nhau thông qua giao diện văn bản.
Hệ thống thực tế tăng cường (AR) trên điện thoại cho phép người dùng hướng camera vào một vật thể trong thế giới thực và sử dụng các câu lệnh văn bản để thay đổi thuộc tính nội tại của vật thể đó trên màn hình (ví dụ: đổi màu tường, thay chất liệu ghế) trong thời gian thực, duy trì sự nhận diện của vật thể.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10714
ArXiv Abstract	https://arxiv.org/abs/2601.10714
PDF Download	https://arxiv.org/pdf/2601.10714.pdf
Github Repository	N/A

14. MatchTIR: Fine-Grained Supervision for Tool-Integrated Reasoning via Bipartite Matching (23 votes)

Tác giả: Changle Qu, Sunhao Dai, Hengyi Cai, Jun Xu, Shuaiqiang Wang, Dawei Yin

Xuất bản lúc: 2026-01-15

Tag: Tool-Integrated Reasoning, LLM, Reinforcement Learning, Fine-Grained Supervision, Bipartite Matching, Credit Assignment, Dual-Level Advantage

I. Main Problem:

Các phương pháp học tăng cường (RL) hiện có cho Tool-Integrated Reasoning (TIR) thường dựa vào phần thưởng cấp độ kết quả hoặc cấp độ quỹ đạo, gán lợi thế đồng nhất cho tất cả các bước trong một quỹ đạo. Cách gán tín dụng thô này không thể phân biệt được các lời gọi công cụ hiệu quả với những lời gọi dư thừa hoặc sai sót, đặc biệt trong các kịch bản đa lượt kéo dài, dẫn đến tối ưu hóa không hiệu quả và cản trở mô hình học các chiến lược sử dụng công cụ chính xác và hiệu quả.

II. Main Idea:

Bài báo đề xuất MatchTIR, một framework giới thiệu sự giám sát chi tiết thông qua gán phần thưởng cấp độ lượt dựa trên khớp nối hai phía và ước tính lợi thế hai cấp độ. Cụ thể:

Gán phần thưởng cấp độ lượt (Turn-Level Reward Assignment): Vấn đề gán tín dụng được công thức hóa thành một bài toán khớp nối hai phía giữa các lời gọi công cụ dự đoán và các dấu vết thực tế (ground-truth traces). Một ma trận khớp nối được xây dựng dựa trên điểm tương đồng về tên công cụ, tên tham số và nội dung tham số. Hai chiến lược gán được sử dụng để tạo ra phần thưởng cấp độ lượt dày đặc:
- Gán cứng (Hard Credit Assignment): Áp dụng khớp nối "một-một" nghiêm ngặt bằng thuật toán Hungarian, gán phần thưởng nếu khớp và một hình phạt cố định nếu không khớp.
- Gán mềm (Soft Credit Assignment): Cung cấp sự thư giãn mềm mại hơn cho bài toán gán dựa trên Optimal Transport để có phản hồi sắc thái hơn.
Ước tính lợi thế hai cấp độ (Dual-Level Advantage Estimation): Để cân bằng độ chính xác cục bộ của bước với thành công nhiệm vụ toàn cục, MatchTIR tích hợp phần thưởng cấp độ lượt với tín hiệu cấp độ quỹ đạo. Lợi thế cấp độ quỹ đạo tổng hợp tất cả phần thưởng trên toàn bộ đường dẫn để đánh giá chất lượng toàn cục, trong khi lợi thế cấp độ lượt nắm bắt đóng góp cụ thể của lượt thứ t thông qua tích lũy chiết khấu của tất cả phần thưởng tiếp theo. Chính sách cuối cùng được tối ưu hóa bằng mục tiêu GRPO với các lợi thế hai cấp độ tích hợp này.

III. Main Results:

Các thí nghiệm rộng rãi trên ba bộ dữ liệu benchmark đã chứng minh tính ưu việt của MatchTIR. Đáng chú ý, mô hình 4B của MatchTIR đã vượt trội hơn phần lớn các đối thủ 8B, đặc biệt trong các tác vụ kéo dài và đa lượt. Điều này khẳng định tính hiệu quả, mạnh mẽ và khả năng khái quát hóa của MatchTIR.

IV. Conclusion & Future Works:

MatchTIR giải quyết vấn đề gán tín dụng đồng nhất trong các phương pháp TIR hiện có bằng cách cung cấp sự giám sát chi tiết hơn, giúp các mô hình ngôn ngữ lớn (LLM) học các chiến lược sử dụng công cụ chính xác và hiệu quả hơn. Thông điệp cuối cùng là việc phân bổ tín dụng chi tiết theo từng lượt là rất quan trọng để tối ưu hóa hiệu suất của LLM trong TIR. Mặc dù văn bản không nêu rõ các hướng nghiên cứu tiếp theo, nhưng có thể suy luận rằng các nghiên cứu trong tương lai có thể tập trung vào việc mở rộng các chiến lược khớp nối phức tạp hơn hoặc áp dụng MatchTIR cho các loại công cụ và môi trường đa dạng hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cách tích hợp các mô hình hiểu ngữ cảnh sâu hơn vào quá trình khớp nối hai phía để cải thiện độ chính xác của việc đánh giá công cụ trong các tình huống đa nghĩa.
Thử nghiệm phương pháp tự động học trọng số cho các thành phần tính điểm khớp nối (tên công cụ, tham số) thay vì sử dụng trọng số cố định, thông qua một mạng nơ-ron hoặc học tăng cường để tối ưu hóa trực tiếp phần thưởng.
Khám phá việc ứng dụng MatchTIR trong việc tạo ra dữ liệu huấn luyện tổng hợp cho TIR, nơi phản hồi chi tiết có thể hướng dẫn việc tạo ra các ví dụ tương tác công cụ chất lượng cao hơn.

2. Patent:

Một hệ thống trợ lý ảo thông minh trên điện thoại di động sử dụng công nghệ gán phần thưởng hai phía của MatchTIR để tối ưu hóa chuỗi hành động khi tương tác với nhiều ứng dụng (ví dụ: đặt xe, kiểm tra thời tiết, gửi tin nhắn) dựa trên ngữ cảnh người dùng, giảm thiểu lỗi và thời gian thực hiện.
Một giải pháp tối ưu hóa năng lượng cho các ứng dụng di động, nơi MatchTIR được sử dụng để đánh giá và giảm thiểu các lời gọi công cụ (API, service) dư thừa hoặc không hiệu quả, qua đó kéo dài thời lượng pin của điện thoại.
Một công nghệ tự động sửa lỗi và gợi ý tối ưu cho nhà phát triển ứng dụng di động, sử dụng cơ chế gán tín dụng chi tiết của MatchTIR để phân tích các lời gọi công cụ trong mã nguồn và đề xuất các cải tiến về hiệu suất hoặc tính đúng đắn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10712
ArXiv Abstract	https://arxiv.org/abs/2601.10712
PDF Download	https://arxiv.org/pdf/2601.10712.pdf
Github Repository	https://github.com/quchangle1/MatchTIR

15. Action100M: A Large-scale Video Action Dataset (23 votes)

Tác giả: Delong Chen, Tejaswi Kasarla, Yejin Bang, Mustafa Shukor, Willy Chung, Jade Yu, Allen Bolourchi, Theo Moutakanni, Pascale Fung

Xuất bản lúc: 2026-01-15

Tag: Video Action Dataset, Large-scale Dataset, Video Understanding, Action Recognition, World Modeling, Automated Annotation Pipeline, Vision-Language Models, Zero-shot Learning, Temporal Segmentation, Tree-of-Captions

I. Main Problem:

Khả năng hiểu các hành động vật lý của trí tuệ nhân tạo còn hạn chế do thiếu các bộ dữ liệu hành động video quy mô lớn, từ vựng mở và đa dạng lĩnh vực. Các bộ dữ liệu hiện có thường có quy mô nhỏ, chuyên biệt cho từng lĩnh vực hẹp và bị hạn chế bởi quy trình chú thích thủ công.

II. Main Idea:

Bài nghiên cứu giới thiệu Action100M, một bộ dữ liệu quy mô lớn được xây dựng từ 1.2 triệu video hướng dẫn trên Internet (tương đương 14.6 năm thời lượng), tạo ra khoảng 100 triệu phân đoạn được định vị theo thời gian với chú thích hành động từ vựng mở và mô tả phong phú. Bộ dữ liệu này được tạo ra thông qua một quy trình hoàn toàn tự động bao gồm: (i) phân đoạn thời gian phân cấp bằng cách sử dụng các nhúng của V-JEPA 2, (ii) tạo chú thích đa cấp cho khung hình và phân đoạn được tổ chức thành một Tree-of-Captions, và (iii) tổng hợp bằng chứng với mô hình suy luận (GPT-OSS-120B) dưới quy trình Self-Refine đa vòng để xuất ra các chú thích có cấu trúc (hành động ngắn gọn/chi tiết, người thực hiện, chú thích ngắn gọn/chi tiết).

III. Main Results:

Việc đào tạo mô hình VL-JEPA trên Action100M cho thấy sự cải thiện nhất quán theo quy mô dữ liệu và hiệu suất zero-shot mạnh mẽ trên nhiều tiêu chuẩn nhận dạng hành động đa dạng (ví dụ: Something-something-v2, EPIC-KITCHENS-100, Kinetics-400). VL-JEPA được đào tạo trên Action100M vượt trội hơn các mô hình như CLIP, SigLIP2 và Perception Encoder về nhận dạng hành động zero-shot và đạt được độ chính xác truy xuất trung bình@1 cao hơn trong các tiêu chuẩn truy xuất văn bản-video (ví dụ: MSR-VTT, ActivityNet). Điều này chứng tỏ Action100M là một nền tảng mới cho nghiên cứu có khả năng mở rộng trong việc hiểu video và mô hình hóa thế giới.

IV. Conclusion & Future Works:

Action100M cung cấp một nền tảng dữ liệu chưa từng có về quy mô và chú thích phân cấp phong phú, giải quyết các hạn chế của các bộ dữ liệu hiện có. Nó mở đường cho những tiến bộ trong việc hiểu video và mô hình hóa thế giới, đặc biệt là trong các lĩnh vực nhận dạng hành động từ vựng mở và suy luận ngữ cảnh thời gian. Bộ dữ liệu này thúc đẩy nghiên cứu về các mô hình AI có khả năng hiểu trạng thái thế giới và nhận biết các hành động vật lý. Hướng nghiên cứu tiếp theo sẽ tập trung vào việc tận dụng quy mô và cấu trúc phân cấp của Action100M để phát triển các mô hình thế giới mạnh mẽ hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng pipeline tạo dữ liệu tự động của Action100M để tích hợp các loại dữ liệu đa phương thức khác như âm thanh hoặc cảm biến, nhằm tạo ra dataset hành động toàn diện hơn cho mô hình thế giới.
Phát triển một phương pháp học không giám sát mới dựa trên Action100M để cải thiện khả năng hiểu các hành động hiếm gặp hoặc chưa từng thấy trong các tình huống thế giới thực.
Khám phá việc ứng dụng Action100M trong việc đào tạo các mô hình trí tuệ nhân tạo có khả năng thực hiện nhiệm vụ phức tạp, nhiều bước trong môi trường mô phỏng hoặc robot vật lý.

2. Patent:

Hệ thống trợ lý AI trên điện thoại di động có khả năng nhận diện và hướng dẫn người dùng thực hiện các hành động thủ công phức tạp (ví dụ: lắp ráp đồ nội thất, sửa chữa nhỏ) bằng cách so sánh video trực tiếp với kho dữ liệu Action100M.
Ứng dụng điện thoại thông minh cho phép người dùng quay video và nhận phản hồi tự động về chất lượng hoặc độ chính xác của các hành động được thực hiện (ví dụ: tập thể dục, kỹ thuật nấu ăn), dựa trên phân tích từ mô hình được đào tạo trên Action100M.
Công nghệ tích hợp vào camera điện thoại để tự động tạo mô tả chi tiết và có cấu trúc về các hoạt động đang diễn ra trong video quay được, sử dụng mô hình hiểu hành động và chú thích được xây dựng từ Action100M.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10592
ArXiv Abstract	https://arxiv.org/abs/2601.10592
PDF Download	https://arxiv.org/pdf/2601.10592.pdf
Github Repository	https://github.com/facebookresearch/Action100M

16. ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback (21 votes)

Tác giả: Yutao Mou, Zhangchi Xue, Lijun Li, Peiyang Liu, Shikun Zhang, Wei Ye, Jing Shao

Xuất bản lúc: 2026-01-15

Tag: LLM-based agents, Tool Invocation Safety, Guardrail, Reinforcement Learning, Benchmark

I. Main Problem:

Các tác nhân dựa trên LLM (LLM-based agents) có khả năng tương tác với môi trường thông qua việc gọi các công cụ bên ngoài, nhưng khả năng mở rộng này cũng làm tăng đáng kể các rủi ro bảo mật. Việc giám sát hành vi gọi công cụ ở cấp độ bước theo thời gian thực và chủ động can thiệp trước khi thực thi không an toàn là rất quan trọng cho việc triển khai tác nhân, nhưng vẫn chưa được khám phá đầy đủ. Các mô hình guardrail hiện có thường chỉ được thiết kế để kiểm duyệt nội dung tĩnh hoặc hoạt động ở cấp độ toàn bộ quỹ đạo thực thi, thiếu khả năng lý luận chi tiết và độ trễ thấp ở cấp độ từng bước gọi công cụ. Điều này dẫn đến nguy cơ các tác nhân thực hiện các hành động không an toàn do yêu cầu độc hại từ người dùng hoặc các cuộc tấn công tiêm nhiễm lệnh (prompt injection).

II. Main Idea:

Nghiên cứu này đề xuất một khung bảo vệ và phản hồi chủ động ở cấp độ bước để tăng cường an toàn khi gọi công cụ cho các tác nhân dựa trên LLM. Các đóng góp chính bao gồm:

TS-Bench: Xây dựng một bộ dữ liệu chuẩn mới để phát hiện an toàn gọi công cụ ở cấp độ bước trong các tác nhân LLM, dựa trên phân tích bốn mẫu rủi ro phổ biến.
TS-Guard: Phát triển một mô hình guardrail sử dụng học tăng cường đa nhiệm (multi-task reinforcement learning) để chủ động phát hiện các hành động gọi công cụ không an toàn trước khi thực thi. TS-Guard lý luận dựa trên lịch sử tương tác, đánh giá mức độ độc hại của yêu cầu và mối tương quan giữa hành động-tấn công, từ đó đưa ra các phán đoán an toàn có thể giải thích được và phản hồi.
TS-Flow: Giới thiệu một khung lý luận điều khiển bởi phản hồi guardrail cho các tác nhân LLM kiểu ReAct. TS-Flow chủ động giám sát các lệnh gọi công cụ ở mỗi bước và cung cấp phản hồi trước khi thực thi, hướng dẫn các tác nhân thực hiện các hành động an toàn thay vì đơn thuần hủy bỏ tác vụ.

III. Main Results:

Các thử nghiệm rộng rãi đã chứng minh hiệu quả của phương pháp đề xuất:

TS-Flow giúp giảm các lệnh gọi công cụ có hại trung bình 65%.
TS-Flow cải thiện hiệu suất hoàn thành tác vụ lành tính khoảng 10% dưới các cuộc tấn công tiêm nhiễm lệnh (prompt injection).
Các tín hiệu có thể giải thích được từ TS-Guard (đa nhiệm) giúp điều chỉnh các sai lệch tác vụ lành tính do tiêm nhiễm lệnh gây ra và giảm hành vi có hại hiệu quả hơn.
Phản hồi từ guardrail làm tăng entropy đầu ra của tác nhân, khuyến khích khám phá các quỹ đạo an toàn và hữu ích.
TS-Bench được giới thiệu là bộ dữ liệu chuẩn đầu tiên để phát hiện an toàn gọi công cụ ở cấp độ bước.

IV. Conclusion & Future Works:

Nghiên cứu này đã thành công trong việc giải quyết vấn đề an toàn gọi công cụ cho các tác nhân dựa trên LLM bằng cách giới thiệu một khung bảo vệ và phản hồi chủ động ở cấp độ bước (TS-Guard và TS-Flow) cùng với một bộ dữ liệu chuẩn mới (TS-Bench). Hệ thống này không chỉ giảm thiểu rủi ro bảo mật một cách hiệu quả mà còn duy trì hoặc thậm chí cải thiện hiệu suất thực hiện tác vụ lành tính. Thông điệp cuối cùng là khả năng giám sát và can thiệp ở cấp độ bước là chìa khóa để triển khai an toàn các tác nhân LLM. Hướng nghiên cứu tiếp theo sẽ tập trung vào việc tận dụng các tín hiệu có thể giải thích được và phản hồi để tối ưu hóa hơn nữa hành vi an toàn của tác nhân.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các mô hình guardrail có khả năng học hỏi và thích nghi với các mẫu tấn công mới nổi mà không cần huấn luyện lại hoàn toàn.
Nghiên cứu tích hợp các cơ chế bảo vệ cấp độ bước vào các kiến trúc tác nhân LLM khác nhau (không chỉ ReAct-style) để đánh giá khả năng tổng quát hóa.
Khám phá các phương pháp sử dụng thông tin từ TS-Guard để chủ động điều chỉnh hoặc viết lại các lệnh gọi công cụ không an toàn thành phiên bản an toàn hơn thay vì chỉ đưa ra cảnh báo hoặc hủy bỏ.

2. Patent:

Một hệ thống bảo vệ thông minh tích hợp trực tiếp vào nhân hệ điều hành di động, tự động quét và phân tích các lệnh gọi API ứng dụng có nguồn gốc từ các tác nhân AI để ngăn chặn truy cập dữ liệu nhạy cảm trái phép.
Công nghệ "AI Safety Co-Pilot" trên điện thoại di động cung cấp phản hồi cảnh báo và đề xuất hành động thay thế an toàn cho người dùng khi tác nhân AI cố gắng thực hiện các thao tác tiềm ẩn rủi ro.
Một module phần mềm di động có khả năng phân tích ngữ cảnh người dùng và hành vi của tác nhân AI để điều chỉnh các quy tắc bảo mật động, đảm bảo an toàn tối ưu mà không cản trở trải nghiệm sử dụng điện thoại thông thường.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10156
ArXiv Abstract	https://arxiv.org/abs/2601.10156
PDF Download	https://arxiv.org/pdf/2601.10156.pdf
Github Repository	https://github.com/MurrayTom/ToolSafe

17. HeartMuLa: A Family of Open Sourced Music Foundation Models (20 votes)

Tác giả: Dongchao Yang, Yuxin Xie, Yuguo Yin, Zheyu Wang, Xiaoyu Yi, Gongxi Zhu, Xiaolong Weng, Zihan Xiong, Yingzhe Ma, Dading Cong, Jingliang Liu, Zihang Huang, Jinghan Ru, Rongjie Huang, Haoran Wan, Peixu Wang, Kuoxi Yu, Helin Wang, Liming Liang, Xianwei Zhuang, Yuanyuan Wang, Haohan Guo, Junjie Cao, Zeqian Ju, Songxiang Liu, Yuewen Cao, Heming Weng, Yuexian Zou

Xuất bản lúc: 2026-01-15

Tag: Music Foundation Models, Open Source, Music Generation, Audio-Text Alignment, Lyric Recognition, Music Codec, Large Language Models (LLM), Controllable Generation

I. Main Problem:

Các mô hình âm nhạc hiện có thường gặp phải các hạn chế như sử dụng bộ dữ liệu độc quyền hoặc quy trình đóng, làm hạn chế khả năng tái tạo và nghiên cứu tiếp theo. Chúng cũng chỉ cung cấp khả năng kiểm soát thuộc tính âm nhạc thô sơ, thiếu sự căn chỉnh mạnh mẽ giữa mô tả văn bản và hiện thực hóa âm thanh, hoặc khó duy trì sự gắn kết âm nhạc dài hạn vượt quá các đoạn ngắn. Ngoài ra, việc tạo ra bài hát có thể kiểm soát từ đầu đến cuối, được hướng dẫn đồng thời bởi mô tả phong cách, lời bài hát và âm thanh tham chiếu, vẫn là một thách thức mở.

II. Main Idea:

Bài báo giới thiệu HeartMuLa, một họ các mô hình nền tảng âm nhạc mã nguồn mở, được thiết kế để thống nhất việc hiểu, căn chỉnh và tạo âm nhạc có thể kiểm soát trong một hệ sinh thái mở rộng duy nhất. Khung giải pháp bao gồm bốn thành phần chính:

HeartCLAP: Một mô hình căn chỉnh âm thanh-văn bản học không gian nhúng chung cho ngữ nghĩa âm nhạc.
HeartTranscriptor: Một mô hình nhận diện lời bài hát mạnh mẽ, tối ưu hóa cho các kịch bản âm nhạc thực tế.
HeartCodec: Một bộ mã hóa/giải mã âm nhạc tốc độ khung hình thấp (12.5 Hz) nhưng độ trung thực cao, giúp nắm bắt cấu trúc âm nhạc dài hạn và chi tiết âm thanh, đồng thời cho phép mô hình hóa tự hồi quy hiệu quả.
HeartMuLa: Một mô hình tạo bài hát dựa trên LLM, có khả năng tổng hợp âm nhạc chất lượng cao dưới các điều kiện người dùng kiểm soát phong phú (mô tả phong cách văn bản, lời bài hát và âm thanh tham chiếu). Nó cung cấp hai chế độ chuyên biệt: kiểm soát thuộc tính âm nhạc chi tiết (cho phép chỉ định phong cách của các phần bài hát như intro, verse, chorus bằng lời nhắc tự nhiên) và tạo nhạc ngắn, phù hợp làm nhạc nền cho các video ngắn.

III. Main Results:

HeartMuLa-oss-3B thể hiện hiệu suất cạnh tranh hoặc vượt trội so với các mô hình nền tảng âm nhạc hiện có (như Suno v5, Udio v1.5) trên nhiều chỉ số quan trọng, bao gồm Tỷ lệ lỗi lời bài hát (PER), Chất lượng tổng thể, Tính nhất quán phong cách, Chất lượng âm thanh, Tính âm nhạc và Sự gắn kết cấu trúc.
Mô hình hỗ trợ tạo nhạc dài lên đến sáu phút, duy trì sự gắn kết cấu trúc và đa dạng biểu cảm trong suốt thời lượng kéo dài.
HeartMuLa cải thiện đáng kể khi mở rộng lên 7B tham số.
Lần đầu tiên, nghiên cứu này chứng minh rằng một hệ thống cấp thương mại, tương đương Suno, có thể được tái tạo bằng cách sử dụng dữ liệu và tài nguyên GPU quy mô học thuật.
HeartCodec đạt tốc độ khung hình siêu thấp 12.5 Hz trong khi vẫn duy trì độ trung thực cao và nắm bắt các biểu diễn ngữ nghĩa đa cấp từ nhiều bộ mã hóa âm thanh được huấn luyện trước (Whisper, WavLM, MuEncoder).

IV. Conclusion & Future Works:

Bài báo giới thiệu một bộ mô hình nền tảng âm nhạc mã nguồn mở, thống nhất các khả năng hiểu, căn chỉnh và tạo âm nhạc có thể kiểm soát. Các mô hình này dự kiến sẽ phục vụ như là các đường cơ sở vững chắc cho nghiên cứu tương lai và tạo điều kiện thuận lợi cho các ứng dụng thực tế trong sản xuất nội dung đa phương tiện, đặc biệt là trong việc tạo ra nhạc chất lượng cao, có thể kiểm soát chi tiết và hiệu quả.

V. Brainstorming Space:

1. Publish Papers:

Phát triển một framework học tăng cường để tối ưu hóa điều khiển các thuộc tính âm nhạc trong HeartMuLa dựa trên phản hồi của người dùng để cải thiện sự phù hợp của nhạc nền.
Nghiên cứu tích hợp các mô hình kiến thức âm nhạc chuyên sâu (ví dụ: lý thuyết hòa âm phức tạp) vào HeartMuLa để nâng cao tính sáng tạo và cấu trúc hài hòa của các bản nhạc được tạo ra.
Khám phá việc áp dụng HeartCodec trong việc nén và truyền tải âm thanh đa kênh (ví dụ: âm thanh vòm) cho các trải nghiệm âm nhạc nhập vai.

2. Patent:

Hệ thống tạo nhạc nền tự động cho video trên điện thoại di động, cho phép người dùng chỉ định thời lượng và tâm trạng thông qua văn bản hoặc giọng nói để tạo bản nhạc phù hợp.
Ứng dụng di động tích hợp HeartTranscriptor, cho phép người dùng hát hoặc nói lời và tự động tạo ra một bản nhạc đệm hoàn chỉnh với nhạc cụ và phong cách theo yêu cầu.
Phương pháp điều khiển phong cách âm nhạc dựa trên cử chỉ trên điện thoại thông minh, cho phép người dùng thay đổi thể loại hoặc nhịp điệu của các phần bài hát được tạo bằng các thao tác chạm hoặc vuốt.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10547
ArXiv Abstract	https://arxiv.org/abs/2601.10547
PDF Download	https://arxiv.org/pdf/2601.10547.pdf
Github Repository	https://github.com/HeartMuLa/heartlib

18. FlowAct-R1: Towards Interactive Humanoid Video Generation (20 votes)

Tác giả: Lizhen Wang, Yongming Zhu, Zhipeng Ge, Youwei Zheng, Longhao Zhang, Tianshu Hu, Shiyang Qin, Mingshuang Luo, Jiaxu Zhang, Xin Chen, Yulong Wang, Zerong Zheng, Jianwen Jiang, Chao Liang, Weifeng Chen, Xing Wang, Yuan Zhang, Mingyuan Gao

Xuất bản lúc: 2026-01-15

Tag: Diffusion, Video Generation, Humanoid, Real-time Interaction

I. Main Problem:

Việc tạo video hình người tương tác đặt ra thách thức trong việc tổng hợp các tác nhân hình ảnh sống động có thể tương tác liên tục và phản hồi với con người. Các phương pháp hiện có thường gặp khó khăn trong việc cân bằng giữa chất lượng tổng hợp cao và yêu cầu tương tác thời gian thực, đồng thời thiếu khả năng duy trì tính nhất quán theo thời gian dài, chuyển đổi mượt mà giữa các trạng thái hành vi, hoặc bị giới hạn về khả năng kiểm soát toàn thân và hiệu suất.

II. Main Idea:

FlowAct-R1 đề xuất một khung làm việc dựa trên kiến trúc MMDiT (Seedance) được thiết kế đặc biệt để tạo video hình người tương tác thời gian thực. Giải pháp này sử dụng chiến lược chunkwise diffusion forcing kết hợp với biến thể self-forcing và bộ nhớ có cấu trúc để đảm bảo tính nhất quán theo thời gian dài và giảm thiểu lỗi tích lũy. FlowAct-R1 tối ưu hóa hiệu suất bằng cách chưng cất hiệu quả (giảm xuống 3 NFEs) và tối ưu hóa cấp độ hệ thống, đồng thời cung cấp khả năng kiểm soát toàn thân chi tiết thông qua các đầu vào đa phương thức như âm thanh và văn bản.

III. Main Results:

FlowAct-R1 đạt được tốc độ ổn định 25 khung hình/giây ở độ phân giải 480p với thời gian xuất khung hình đầu tiên (TTFF) khoảng 1,5 giây. Phương pháp này thể hiện sự sống động trong hành vi và chủ nghĩa hiện thực trong nhận thức vượt trội, đồng thời duy trì khả năng khái quát hóa mạnh mẽ trên nhiều phong cách nhân vật khác nhau. Nó đồng thời đạt được khả năng tạo video theo luồng, thời gian thực, có thể kiểm soát hoàn toàn, khả năng khái quát hóa và sống động, vượt trội so với các phương pháp hiện có.

IV. Conclusion & Future Works:

FlowAct-R1 là một khung làm việc tiên phong cho phép tạo video hình người sống động, phản hồi nhanh và chất lượng cao cho tương tác thời gian thực liền mạch. Khung làm việc này mở đường cho các ứng dụng như phát trực tiếp, đồng hành ảo và hội nghị truyền hình.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu ảnh hưởng của các kiến trúc bộ nhớ khác nhau đối với tính nhất quán thời gian dài và hiệu quả trong việc tạo video theo luồng.
Khám phá các kỹ thuật chưng cất tiên tiến dành riêng cho các bộ biến đổi khuếch tán đa phương thức nhằm đạt được khả năng tăng tốc cao hơn với sự suy giảm chất lượng tối thiểu.
Phát triển các phương pháp tích hợp tương tác đối tượng và nhận thức môi trường theo thời gian thực vào việc tạo video hình người để tạo ra các kịch bản tương tác phong phú hơn.

2. Patent:

Một hệ thống tạo avatar ảo cá nhân hóa trên điện thoại, cho phép người dùng tương tác trực tiếp bằng giọng nói và cử chỉ để tạo ra video phản hồi sống động.
Công nghệ tích hợp vào các ứng dụng gọi video trên điện thoại, tự động chuyển đổi người dùng thành một avatar kỹ thuật số biểu cảm, hỗ trợ dịch thuật ngôn ngữ theo thời gian thực với cử chỉ môi chính xác.
Ứng dụng trợ lý ảo AI trên điện thoại có khả năng hiển thị dưới dạng hình ảnh người thực sống động, phản hồi các câu lệnh bằng lời nói và cử chỉ toàn thân tự nhiên, tăng cường trải nghiệm người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10103
ArXiv Abstract	https://arxiv.org/abs/2601.10103
PDF Download	https://arxiv.org/pdf/2601.10103.pdf
Github Repository	N/A

19. A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5 (19 votes)

Tác giả: Xingjun Ma, Yixu Wang, Hengyuan Xu, Yutao Wu, Yifan Ding, Yunhan Zhao, Zilong Wang, Jiabin Hua, Ming Wen, Jianan Liu, Ranjie Duan, Yifeng Gao, Yingshui Tan, Yunhao Chen, Hui Xue, Xin Wang, Wei Cheng, Jingjing Chen, Zuxuan Wu, Bo Li, Yu-Gang Jiang

Xuất bản lúc: 2026-01-15

Tag: LLM Safety, MLLM Safety, Multimodal AI, Adversarial Attacks, Model Evaluation, Regulatory Compliance, Multilingual AI

I. Main Problem:

Sự phát triển nhanh chóng của các Mô hình Ngôn ngữ Lớn (LLM) và Mô hình Ngôn ngữ Đa phương thức Lớn (MLLM) đã đạt được những tiến bộ đáng kể trong khả năng suy luận, nhận thức và tạo nội dung. Tuy nhiên, việc các tiến bộ này có đi kèm với những cải thiện tương ứng về độ an toàn hay không vẫn chưa rõ ràng. Điều này một phần là do các đánh giá hiện có còn rời rạc, chỉ tập trung vào các phương thức riêng lẻ hoặc các mô hình mối đe dọa hạn chế, cản trở việc hiểu rõ toàn diện về mức độ an toàn thực sự của mô hình trong điều kiện triển khai thực tế. Các mô hình vẫn tồn tại những lỗ hổng như tạo ra nội dung độc hại, hướng dẫn quy trình không an toàn và dễ bị tấn công jailbreak.

II. Main Idea:

Bài nghiên cứu trình bày một đánh giá an toàn toàn diện, đa phương thức, đa ngôn ngữ và định hướng chính sách đối với sáu mô hình tiên tiến gồm GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro và Seedream 4.5. Các mô hình này được đánh giá trên ba chế độ sử dụng chính: chỉ ngôn ngữ, thị giác-ngôn ngữ và tạo ảnh. Quy trình đánh giá thống nhất tích hợp bốn phương pháp: đánh giá dựa trên bộ dữ liệu chuẩn (benchmark evaluation), đánh giá đối kháng (adversarial evaluation) sử dụng các cuộc tấn công jailbreak đã được thiết lập, đánh giá đa ngôn ngữ (multilingual evaluation) trên 18 ngôn ngữ, và đánh giá tuân thủ quy định (compliance evaluation). Mục tiêu là cung cấp một cái nhìn rõ ràng, toàn diện và có thể tái tạo về các thuộc tính an toàn, từ đó hỗ trợ nghiên cứu, hoạch định chính sách và quyết định triển khai trong tương lai.

III. Main Results:

Các kết quả cho thấy một bức tranh an toàn không đồng đều giữa các mô hình.

GPT-5.2 thể hiện hiệu suất mạnh mẽ và cân bằng nhất quán trên tất cả bốn tiêu chí đánh giá về ngôn ngữ (Benchmark 91.59%, Adversarial Robustness 54.26%, Multilingual Safety 77.50%, Regulatory Compliance 90.22%), cho thấy các cơ chế an toàn tích hợp sâu rộng.
Gemini 3 Pro có hiệu suất an toàn mạnh nhưng không đồng đều, đứng thứ hai về Benchmark và Multilingual Safety, nhưng khả năng chống chịu đối kháng (adversarial robustness) giảm đáng kể xuống 41.17%.
Qwen3-VL có hồ sơ an toàn hỗn hợp, cạnh tranh về Benchmark và tuân thủ quy định mạnh mẽ, nhưng khả năng chống chịu đối kháng (33.42%) và an toàn đa ngôn ngữ (64.00%) yếu hơn đáng kể.
Grok 4.1 Fast xếp cuối hoặc gần cuối ở tất cả các khía cạnh đã được đánh giá.
Mặc dù đạt kết quả tốt dưới các đánh giá benchmark tiêu chuẩn, tất cả các mô hình vẫn rất dễ bị tổn thương dưới thử nghiệm đối kháng, với tỷ lệ an toàn trong trường hợp xấu nhất giảm xuống dưới 6%.
Các mô hình chuyển văn bản thành ảnh (text-to-image) cho thấy sự liên kết tốt hơn một chút trong các danh mục rủi ro thị giác được quy định, nhưng vẫn dễ bị phá vỡ khi đối mặt với các lời nhắc đối kháng hoặc mơ hồ về mặt ngữ nghĩa.
Nhìn chung, an toàn trong các mô hình tiên tiến là đa chiều, bị ảnh hưởng bởi phương thức, ngôn ngữ và thiết kế đánh giá.

IV. Conclusion & Future Works:

An toàn trong các mô hình tiên tiến vốn dĩ là đa chiều, được định hình bởi phương thức, ngôn ngữ và thiết kế đánh giá. Các kết quả nhấn mạnh sự cần thiết của các đánh giá an toàn tiêu chuẩn hóa, toàn diện để phản ánh tốt hơn rủi ro trong thế giới thực và hướng dẫn việc triển khai có trách nhiệm. Bài báo không nêu rõ các hướng nghiên cứu trong tương lai ngoài việc kêu gọi cần có các đánh giá an toàn toàn diện hơn.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các phương pháp tấn công đối kháng tiên tiến hơn nhắm vào các mô hình MLLM đa ngôn ngữ để khám phá thêm các lỗ hổng chưa biết.
Thiết kế một khung đánh giá an toàn tự động có khả năng phát hiện và phân loại các rủi ro tuân thủ quy định phức tạp trên nhiều phương thức.
Nghiên cứu tác động của các chiến lược tinh chỉnh liên tục (continual fine-tuning) lên khả năng chống chịu của MLLM trước các cuộc tấn công jailbreak và nội dung độc hại.

2. Patent:

Hệ thống bảo mật thông minh cho thiết bị di động sử dụng MLLM để chủ động phát hiện và ngăn chặn nội dung độc hại hoặc các cuộc tấn công jailbreak từ người dùng.
Công nghệ kiểm soát nội dung đa phương thức trên điện thoại thông minh, tự động điều chỉnh phản hồi của AI dựa trên ngôn ngữ và quy định pháp luật của từng quốc gia.
Phương pháp mã hóa và lọc đầu vào/đầu ra cho ứng dụng AI trên thiết bị di động, tăng cường khả năng chống chịu của mô hình trước các lời nhắc đối kháng để đảm bảo an toàn cho người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10527
ArXiv Abstract	https://arxiv.org/abs/2601.10527
PDF Download	https://arxiv.org/pdf/2601.10527.pdf
Github Repository	https://github.com/XSafeAI/AI-safety-report

20. PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution (18 votes)

Tác giả: Minghao Yan, Bo Peng, Benjamin Coleman, Ziqi Chen, Zhouhang Xie, Zhankui He, Noveen Sachdeva, Isabella Ye, Weili Wang, Chi Wang, Ed H. Chi, Wang-Cheng Kang, Derek Zhiyuan Cheng, Beidou Wang

Xuất bản lúc: 2026-01-15

Tag: Evolutionary Search, Large Language Models (LLMs), Optimization, Context Management, Exploration-Exploitation, Parallel Search

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) đã trở thành công cụ mạnh mẽ cho tìm kiếm tiến hóa, nhưng các hệ thống LLM-in-the-loop hiện tại còn thiếu một cách tiếp cận có hệ thống để quản lý quá trình tiến hóa. Bài báo xác định ba chế độ thất bại riêng biệt: Context Pollution (lịch sử thử nghiệm gây sai lệch việc tạo ứng viên trong tương lai), Mode Collapse (tác nhân đình trệ trong các cực tiểu cục bộ do mất cân bằng khám phá-khai thác), và Weak Collaboration (các chiến lược lai tạo cứng nhắc không tận dụng hiệu quả các quỹ đạo tìm kiếm song song). Những vấn đề này dẫn đến sự thiếu ổn định và phương sai cao, cản trở LLMs đạt được sự cải thiện đáng tin cậy.

II. Main Idea:

Bài báo giới thiệu PACEvolve (Progress-Aware Consistent Evolution), một framework được thiết kế để quản lý mạnh mẽ ngữ cảnh và động lực tìm kiếm của tác nhân, nhằm giải quyết các thách thức trên. PACEvolve kết hợp ba thành phần chính:

Hierarchical Context Management (HCM): Sử dụng quản lý ngữ cảnh phân cấp với tính năng cắt tỉa để giải quyết Context Pollution, bằng cách tách biệt việc tạo ý tưởng khỏi lựa chọn ý tưởng và duy trì một bộ nhớ ý tưởng phân cấp.
Momentum-Based Backtracking (MBB): Áp dụng cơ chế backtrack dựa trên động lượng để chống lại Mode Collapse, cung cấp một phương tiện để thoát khỏi các cực tiểu cục bộ.
Self-Adaptive Collaborative Evolution Sampling (CE): Một chính sách lấy mẫu tự điều chỉnh thống nhất quá trình backtrack và crossover để điều phối tìm kiếm động, cho phép các tác nhân cân bằng việc tinh chỉnh nội bộ với sự hợp tác giữa các quỹ đạo để giải quyết Weak Collaboration.

III. Main Results:

PACEvolve được chứng minh là cung cấp một con đường có hệ thống để tự cải thiện nhất quán, dài hạn. Hệ thống này đạt được kết quả dẫn đầu (state-of-the-art) trên các bộ dữ liệu LLM-SR và KernelBench, đồng thời vượt qua kỷ lục trước đó trên Modded NanoGPT. Các kết quả thực nghiệm cho thấy PACEvolve cải thiện đáng kể so với các phương pháp hiện có trên một loạt các điểm chuẩn đa dạng.

IV. Conclusion & Future Works:

PACEvolve cung cấp một framework hệ thống và dựa trên nguyên tắc để quản lý quá trình tiến hóa của LLM-in-the-loop, giải quyết hiệu quả các vấn đề về Context Pollution, Mode Collapse và Weak Collaboration. Bằng cách tích hợp HCM, MBB và CE, PACEvolve mang lại sự cải thiện nhất quán và hiệu suất vượt trội, cho phép các LLM khai thác tối đa khả năng suy luận của mình trong các tác vụ phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu việc áp dụng PACEvolve cho các vấn đề thiết kế vật liệu và hóa học phức tạp, nơi việc khám phá không gian giải pháp rộng lớn là rất quan trọng.
Phát triển một phiên bản PACEvolve có khả năng học hỏi và thích nghi tự động với các đặc điểm khác nhau của môi trường tìm kiếm mà không cần điều chỉnh thủ công.
Đánh giá tác động của các chiến lược cắt tỉa ngữ cảnh thay thế trong HCM, như cắt tỉa dựa trên sự đa dạng hoặc tính mới, đối với hiệu suất tìm kiếm.

2. Patent:

Hệ thống tối ưu hóa thuật toán quản lý năng lượng trên điện thoại thông minh, sử dụng PACEvolve để học hỏi từ các chu kỳ sạc-xả pin trước đó nhằm kéo dài tuổi thọ pin và tránh các trạng thái tối ưu cục bộ.
Một phương pháp tăng cường trải nghiệm người dùng cho ứng dụng tin tức trên điện thoại, trong đó PACEvolve cá nhân hóa luồng tin tức bằng cách khám phá các chủ đề mới nhưng vẫn duy trì sự liên quan dựa trên sở thích người dùng, tránh lặp lại các nội dung cũ.
Công nghệ tự động điều chỉnh hiệu suất chơi game trên điện thoại di động, nơi PACEvolve tối ưu hóa cài đặt đồ họa và hiệu suất để đạt được sự cân bằng tốt nhất giữa chất lượng hình ảnh và tốc độ khung hình, thích ứng với từng game và phần cứng cụ thể mà không bị sa lầy vào các cài đặt kém hiệu quả.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10657
ArXiv Abstract	https://arxiv.org/abs/2601.10657
PDF Download	https://arxiv.org/pdf/2601.10657.pdf
Github Repository	N/A

21. M^4olGen: Multi-Agent, Multi-Stage Molecular Generation under Precise Multi-Property Constraints (16 votes)

Tác giả: Yizhan Li, Florence Cloutier, Sifan Wu, Ali Parviz, Boris Knyazev, Yan Zhang, Glen Berseth, Bang Liu

Xuất bản lúc: 2026-01-15

Tag: Molecular Generation, Multi-Agent, Multi-Stage, Multi-Property Constraints, Fragment-level, RAG, Reinforcement Learning, GRPO, LLMs

I. Main Problem:

Vấn đề cốt lõi mà bài báo đề cập là việc tạo ra các phân tử thỏa mãn các ràng buộc số chính xác trên nhiều thuộc tính hóa lý đồng thời là một thách thức lớn, đặc biệt khi các mô hình ngôn ngữ lớn (LLMs) hiện tại gặp khó khăn trong việc kiểm soát đa mục tiêu chính xác và lý luận số mà không có cấu trúc và phản hồi bên ngoài.

II. Main Idea:

Bài báo giới thiệu M4olGen, một khuôn khổ tạo phân tử cấp độ mảnh ghép (fragment-level), tăng cường truy xuất (retrieval-augmented) và hai giai đoạn, được thiết kế để tạo ra các phân tử dưới ràng buộc đa thuộc tính chính xác. Giai đoạn I: "Prototype generation" (Tạo mẫu thử) sử dụng một bộ lý luận đa tác tử (multi-agent reasoner) thực hiện các chỉnh sửa cấp độ mảnh ghép được neo bằng truy xuất để tạo ra một ứng viên gần vùng khả thi. Giai đoạn II: "RL-based fine-grained optimization" (Tối ưu hóa chi tiết dựa trên RL) sử dụng một bộ tối ưu hóa cấp độ mảnh ghép được huấn luyện bằng Group Relative Policy Optimization (GRPO) để áp dụng các tinh chỉnh một hoặc nhiều bước nhằm giảm thiểu sai số thuộc tính về mục tiêu trong khi điều chỉnh độ phức tạp chỉnh sửa và độ lệch so với mẫu thử. Cả hai giai đoạn được hỗ trợ bởi một tập dữ liệu lớn, được tuyển chọn tự động với các chuỗi lý luận về chỉnh sửa mảnh ghép và độ chênh lệch thuộc tính đo được.

III. Main Results:

Các thí nghiệm trên việc tạo phân tử dưới hai bộ ràng buộc thuộc tính (QED, LogP, Molecular Weight và HOMO, LUMO) cho thấy những cải thiện nhất quán về tính hợp lệ và sự thỏa mãn chính xác các mục tiêu đa thuộc tính. M4olGen vượt trội hơn các LLMs mạnh mẽ và các thuật toán dựa trên đồ thị. Phương pháp này hỗ trợ tinh chỉnh có thể kiểm soát hướng tới các mục tiêu số và lý luận về các phân tử tốt hơn bằng cách tận dụng các mảnh ghép.

IV. Conclusion & Future Works:

M4olGen cung cấp một khuôn khổ tạo phân tử hiệu quả, kết hợp tạo mẫu tăng cường truy xuất với tối ưu hóa cấp độ mảnh ghép dựa trên GRPO để đạt được kiểm soát số chính xác trên nhiều thuộc tính. Cơ chế tinh chỉnh đa bước có thể mở rộng giúp nâng cao chất lượng đầu ra trong khi điều chỉnh rõ ràng độ phức tạp chỉnh sửa và độ lệch so với cấu trúc ban đầu. Bài báo cũng đóng góp một tập dữ liệu lớn các phân tử với chú thích mảnh ghép và các cặp chỉnh sửa đơn, cho phép học cấp độ mảnh ghép và lý luận có thể kiểm soát. Trong tương lai, phương pháp này có thể được mở rộng sang các công cụ tiên đoán (oracles) phong phú hơn trong các thiết lập khám phá thực tế.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc mở rộng M4olGen để xử lý các ràng buộc phức tạp hơn như tính tương thích sinh học hoặc các ràng buộc không gian ba chiều của phân tử.
Khám phá việc tích hợp các mô hình dự đoán thuộc tính tiên tiến hơn hoặc các LLMs lớn hơn vào giai đoạn lý luận của M4olGen để tăng cường độ chính xác và khả năng khám phá.
Áp dụng khuôn khổ multi-agent, multi-stage tương tự của M4olGen vào các lĩnh vực thiết kế vật liệu hoặc dược phẩm khác, nơi cần kiểm soát chính xác các thuộc tính đa mục tiêu.

2. Patent:

Một ứng dụng di động cho phép người dùng nhập các thuộc tính hóa học mong muốn, sau đó sử dụng thuật toán M4olGen để gợi ý cấu trúc phân tử mới, hiển thị kết quả trực quan 3D trên màn hình điện thoại thông minh.
Một hệ thống AI tích hợp vào thiết bị di động (ví dụ: chip AI chuyên dụng trên điện thoại) có khả năng thực hiện các bước tính toán nhẹ của M4olGen, như phân tích mảnh ghép và đề xuất chỉnh sửa ban đầu, giúp các nhà nghiên cứu truy cập nhanh thông tin hóa học cơ bản mà không cần kết nối đám mây.
Một công cụ thiết kế hóa học tương tác trên điện thoại, sử dụng giao diện kéo thả các "mảnh ghép" hóa học, với thuật toán tối ưu hóa của M4olGen chạy ngầm để liên tục đánh giá và điều chỉnh cấu trúc được tạo ra theo các ràng buộc thuộc tính do người dùng đặt ra, cung cấp phản hồi tức thì.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10131
ArXiv Abstract	https://arxiv.org/abs/2601.10131
PDF Download	https://arxiv.org/pdf/2601.10131.pdf
Github Repository	N/A

22. Inference-time Physics Alignment of Video Generative Models with Latent World Models (11 votes)

Tác giả: Jianhao Yuan, Xiaofeng Zhang, Felix Friedrich, Nicolas Beltran-Velez, Melissa Hall, Reyhane Askari-Hemmat, Xiaochuang Han, Nicolas Ballas, Michal Drozdzal, Adriana Romero-Soriano

Xuất bản lúc: 2026-01-15

Tag: Video Generative Models, Physics Alignment, Latent World Models, Inference-time, Reward Models, Diffusion Models

I. Main Problem:

Các mô hình tạo video hiện đại tạo ra nội dung hình ảnh ấn tượng nhưng thường vi phạm các nguyên tắc vật lý cơ bản, hạn chế tính hữu ích và độ tin cậy của chúng trong các ứng dụng thực tế như robot và xe tự hành. Vấn đề này không chỉ do thiếu hiểu biết vật lý từ giai đoạn huấn luyện trước mà còn do các chiến lược suy luận chưa tối ưu.

II. Main Idea:

Bài báo giới thiệu WMReward, một phương pháp căn chỉnh vật lý trong thời gian suy luận (inference-time alignment) cho các mô hình tạo video. Giải pháp này tận dụng hiểu biết vật lý mạnh mẽ của một mô hình thế giới tiềm ẩn (latent world model, cụ thể là VJEPA-2) làm tín hiệu thưởng. Tín hiệu thưởng này được sử dụng để tìm kiếm và định hướng các quỹ đạo khử nhiễu ứng cử viên, nhằm tạo ra các video có tính vật lý đáng tin cậy hơn. WMReward định lượng sự "ngạc nhiên" của VJEPA-2 (surprise score) khi dự đoán tương lai của video được tạo, với giả định rằng video càng ít ngạc nhiên đối với mô hình thế giới thì càng có tính vật lý cao.

III. Main Results:

Phương pháp đề xuất đã cải thiện đáng kể tính hợp lý về vật lý trong việc tạo video, bao gồm các cài đặt tạo video điều kiện bằng ảnh, điều kiện bằng đa khung hình và điều kiện bằng văn bản. Cụ thể, nó đạt được 62.64% điểm cuối cùng trong Thử thách PhysicsIQ của ICCV 2025 Perception Test, giành vị trí thứ nhất và vượt trội hơn so với phương pháp hiện tại (state-of-the-art) 7.42%. Nghiên cứu về sở thích của con người cũng xác nhận sự cải thiện 11.4% so với các phương pháp cơ bản. WMReward cũng cho thấy hiệu ứng mở rộng mạnh mẽ với kích thước không gian tìm kiếm và vượt trội hơn các bộ chọn dựa trên mô hình ngôn ngữ thị giác (VLM-based selectors).

IV. Conclusion & Future Works:

Công trình chứng minh tính khả thi của việc sử dụng các mô hình thế giới tiềm ẩn để cải thiện tính hợp lý về vật lý trong việc tạo video. Điều này mở đường cho việc phát triển các mô hình thưởng đáng tin cậy để căn chỉnh các mô hình tạo video trong thời gian suy luận.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu ảnh hưởng của việc kết hợp nhiều mô hình thế giới tiềm ẩn, mỗi mô hình chuyên về một loại vật lý khác nhau (ví dụ: chất lỏng, vật rắn), để tạo ra một hệ thống thưởng đa chiều hiệu quả hơn.
Phát triển một phương pháp tự động điều chỉnh trọng số của WMReward dựa trên loại cảnh hoặc yêu cầu vật lý cụ thể của video được tạo, thay vì áp dụng một cách thức cố định.
Khám phá việc sử dụng WMReward để cải thiện không chỉ tính vật lý mà còn các khía cạnh khác của chất lượng video, như độ mượt mà của chuyển động hoặc sự liên tục của đối tượng.

2. Patent:

Một hệ thống AI trên điện thoại thông minh tích hợp chức năng kiểm tra vật lý thời gian thực cho video được quay, cảnh báo người dùng về các bất thường vật lý và gợi ý điều chỉnh để cải thiện chất lượng.
Ứng dụng chỉnh sửa video di động cho phép người dùng nhập các ràng buộc vật lý (ví dụ: "quả bóng phải nảy") và AI sẽ tự động điều chỉnh các khung hình để tuân thủ, sử dụng mô hình thế giới tiềm ẩn làm phần thưởng để tối ưu hóa.
Tính năng tạo video cá nhân hóa trên điện thoại, nơi người dùng có thể tạo video từ ảnh hoặc mô tả văn bản, với một thuật toán được cấp bằng sáng chế sử dụng WMReward để đảm bảo các yếu tố chuyển động và tương tác vật lý trong video được tạo ra là chân thực và hấp dẫn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.10553
ArXiv Abstract	https://arxiv.org/abs/2601.10553
PDF Download	https://arxiv.org/pdf/2601.10553.pdf
Github Repository	N/A

23. TAG-MoE: Task-Aware Gating for Unified Generative Mixture-of-Experts (11 votes)

Tác giả: Yu Xu, Hongbin Yan, Juan Cao, Yiji Cheng, Tiankai Hang, Runze He, Zijin Yin, Shiyi Zhang, Yuxin Zhang, Jintao Li, Chunyu Wang, Qinglin Lu, Tong-Yee Lee, Fan Tang

Xuất bản lúc: 2026-01-12

Tag: Generative AI, Diffusion Models, Mixture-of-Experts (MoE), Image Editing, Multimodal Transformers, Task-Aware Learning.

I. Main Problem:

Các mô hình tạo và chỉnh sửa ảnh hợp nhất (unified image generation and editing models) gặp phải sự can thiệp nhiệm vụ nghiêm trọng (severe task interference) trong kiến trúc Diffusion Transformers (DiT) dày đặc. Không gian tham số chung phải thỏa hiệp giữa các mục tiêu mâu thuẫn (ví dụ: chỉnh sửa cục bộ so với tạo ảnh theo chủ đề), dẫn đến hiệu suất kém. Mặc dù mô hình Mixture-of-Experts (MoE) thưa thớt là một giải pháp tiềm năng để mở rộng dung lượng, các mạng cổng (gating networks) của nó vẫn không nhận biết nhiệm vụ (task-agnostic), chỉ dựa vào các đặc trưng cục bộ mà không hiểu ý định nhiệm vụ tổng thể, ngăn cản sự chuyên môn hóa có ý nghĩa và không giải quyết được xung đột nhiệm vụ cơ bản.

II. Main Idea:

Bài báo đề xuất TAG-MoE, một khung công tác mới để đưa ý định ngữ nghĩa cấp cao vào cơ chế định tuyến MoE, cho phép mô hình transformer khuếch tán xử lý các tác vụ tạo ảnh đa dạng. Các giải pháp chính bao gồm:

Hệ thống chú thích ngữ nghĩa nhiệm vụ phân cấp (Hierarchical Task Semantic Annotation): Tạo các mô tả nhiệm vụ có cấu trúc ba cấp độ (phạm vi, loại và yếu tố cần bảo toàn) để cung cấp tín hiệu giám sát phong phú, chi tiết hơn cho mô hình.
Chuẩn hóa căn chỉnh dự đoán (Predictive Alignment Regularization): Thiết kế để điều chỉnh các quyết định định tuyến nội bộ của MoE với ngữ nghĩa cấp cao của nhiệm vụ, chuyển mạng cổng từ một bộ thực thi không nhận biết nhiệm vụ thành một trung tâm điều phối thông minh. Điều này buộc chiến lược định tuyến nội bộ của mô hình trở nên dự đoán được đối với ngữ nghĩa vĩ mô của nhiệm vụ.
Kiến trúc MM-DiT dựa trên MoE: Thay thế các mạng truyền thẳng (FFNs) trong các khối transformer bằng các lớp MoE, đặc biệt là ở các khối transformer sâu hơn, để tăng đáng kể dung lượng mô hình với chi phí suy luận quản lý được.

III. Main Results:

TAG-MoE đã giảm thiểu hiệu quả sự can thiệp nhiệm vụ, vượt trội so với các mô hình nền tảng dày đặc (dense baselines) về độ trung thực và chất lượng.
Phân tích cho thấy các chuyên gia (experts) trong mô hình tự nhiên phát triển các chuyên môn rõ ràng và tương quan về mặt ngữ nghĩa.
Mô hình đạt được hiệu suất tổng thể hàng đầu (SOTA - State-of-the-Art) so với các mô hình nền tảng mã nguồn mở trên năm bộ dữ liệu đánh giá toàn diện: ICE-Bench (tạo ảnh hợp nhất), EmuEdit và GEdit (chỉnh sửa ảnh), DreamBench++ và OmniContext (tạo ảnh theo chủ đề).

IV. Conclusion & Future Works:

TAG-MoE giải quyết thách thức về sự can thiệp nhiệm vụ trong các mô hình tạo và chỉnh sửa ảnh hợp nhất bằng cách đưa ý định ngữ nghĩa cấp cao vào mạng cổng MoE. Điều này cho phép các chuyên gia phát triển chuyên môn hóa có ý nghĩa và hiệu quả, dẫn đến hiệu suất vượt trội trên nhiều tác vụ. Hướng nghiên cứu tiếp theo có thể khám phá việc mở rộng hệ thống chú thích nhiệm vụ để xử lý các sắc thái phức tạp hơn hoặc phát triển các phương pháp tự động hóa để tạo ra các chú thích này mà không cần MLLM bên ngoài.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu việc áp dụng TAG-MoE cho các tác vụ tổng hợp video và chỉnh sửa video hợp nhất, giải quyết vấn đề nhất quán theo thời gian và sự can thiệp nhiệm vụ trong chuỗi khung hình.
Khám phá việc tích hợp TAG-MoE với các phương pháp học tăng cường để tối ưu hóa quyết định định tuyến của cổng MoE dựa trên phản hồi chất lượng hình ảnh và hiệu suất nhiệm vụ.
Phân tích sâu hơn về sự hình thành chuyên môn hóa của chuyên gia và khả năng hiểu được của các quyết định định tuyến trong TAG-MoE, đặc biệt là cách chúng tương quan với các thuộc tính ngữ nghĩa cấp cao.

2. Patent:

Hệ thống chỉnh sửa ảnh trên điện thoại thông minh sử dụng TAG-MoE để cung cấp các tính năng chỉnh sửa đa dạng (ví dụ: thay đổi đối tượng, phong cách hoặc bối cảnh) một cách thông minh, nhận biết ý định người dùng từ câu lệnh văn bản hoặc cử chỉ, tối ưu hóa hiệu suất trên chip di động.
Ứng dụng camera điện thoại có khả năng tạo ảnh theo yêu cầu (generative photography) tích hợp TAG-MoE, cho phép người dùng mô tả bức ảnh mong muốn (ví dụ: "thêm một con mèo đang chơi trong vườn") và mô hình sẽ tổng hợp hình ảnh phù hợp trong thời gian thực.
Công nghệ tối ưu hóa tài nguyên cho các tác vụ AI tổng hợp trên thiết bị di động bằng cách sử dụng MoE nhận biết nhiệm vụ, chỉ kích hoạt các chuyên gia cần thiết, giảm đáng kể mức tiêu thụ pin và tăng tốc độ xử lý cho các ứng dụng chỉnh sửa ảnh và tạo nội dung trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.08881
ArXiv Abstract	https://arxiv.org/abs/2601.08881
PDF Download	https://arxiv.org/pdf/2601.08881.pdf
Github Repository	https://github.com/ICTMCG/TAG-MoE

📰 Summary of Papers
1. STEP3-VL-10B Technical Report (171 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. Urban Socio-Semantic Segmentation with Vision-Language Reasoning (150 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs (131 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning (76 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. VIBE: Visual Instruction Based Editor (58 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. Beyond Static Tools: Test-Time Tool Evolution for Scientific Reasoning (42 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. Toward Ultra-Long-Horizon Agentic Science: Cognitive Accumulation for Machine Learning Engineering (35 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. DanQing: An Up-to-Date Large-Scale Chinese Vision-Language Pre-training Dataset (33 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. CoF-T2I: Video Models as Pure Visual Reasoners for Text-to-Image Generation (28 votes)
- Các đường dẫn liên quan
10. Transition Matching Distillation for Fast Video Generation (28 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. Think-Then-Generate: Reasoning-Aware Text-to-Image Diffusion with LLM Encoders (26 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. Alterbute: Editing Intrinsic Attributes of Objects in Images (23 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. MatchTIR: Fine-Grained Supervision for Tool-Integrated Reasoning via Bipartite Matching (23 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. Action100M: A Large-scale Video Action Dataset (23 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. HeartMuLa: A Family of Open Sourced Music Foundation Models (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. FlowAct-R1: Towards Interactive Humanoid Video Generation (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5 (19 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. M^4olGen: Multi-Agent, Multi-Stage Molecular Generation under Precise Multi-Property Constraints (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. Inference-time Physics Alignment of Video Generative Models with Latent World Models (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. TAG-MoE: Task-Aware Gating for Unified Generative Mixture-of-Experts (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. STEP3-VL-10B Technical Report (171 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Urban Socio-Semantic Segmentation with Vision-Language Reasoning (150 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs (131 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning (76 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. VIBE: Visual Instruction Based Editor (58 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Beyond Static Tools: Test-Time Tool Evolution for Scientific Reasoning (42 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Toward Ultra-Long-Horizon Agentic Science: Cognitive Accumulation for Machine Learning Engineering (35 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. DanQing: An Up-to-Date Large-Scale Chinese Vision-Language Pre-training Dataset (33 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. CoF-T2I: Video Models as Pure Visual Reasoners for Text-to-Image Generation (28 votes)​

Các đường dẫn liên quan​

10. Transition Matching Distillation for Fast Video Generation (28 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

📰 Summary of Papers

1. STEP3-VL-10B Technical Report (171 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Urban Socio-Semantic Segmentation with Vision-Language Reasoning (150 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs (131 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning (76 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. VIBE: Visual Instruction Based Editor (58 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Beyond Static Tools: Test-Time Tool Evolution for Scientific Reasoning (42 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Toward Ultra-Long-Horizon Agentic Science: Cognitive Accumulation for Machine Learning Engineering (35 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. DanQing: An Up-to-Date Large-Scale Chinese Vision-Language Pre-training Dataset (33 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. CoF-T2I: Video Models as Pure Visual Reasoners for Text-to-Image Generation (28 votes)

Các đường dẫn liên quan

10. Transition Matching Distillation for Fast Video Generation (28 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works: