Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-05-12

Báo cáo được tạo tự động vào lúc 2026-05-14 10:08:29 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. Qwen-Image-2.0 Technical Report (94 votes)​

Tác giả: Bing Zhao, Chenfei Wu, Deqing Li, Hao Meng, Jiahao Li, Jie Zhang, Jingren Zhou, Junyang Lin, Kaiyuan Gao, Kuan Cao, Kun Yan, Liang Peng, Lihan Jiang, Niantong Li, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiao Xu, Xiaoyue Chen, Xihua Wang, Yan Shu, Yanran Zhang, Yi Wang, Yilei Chen, Ying Ba, Yixian Xu, Yujia Wu, Yuxiang Chen, Zecheng Tang, Zekai Zhang, Zhendong Wang, Zihao Liu, Zikai Zhou, An Yang, Chen Cheng, Chenxu Lv, Dayiheng Liu, Fan Zhou, Hantian Xiong, Hongzhu Shi, Hu Wei, Huihong Zhao, Ivy Liu, Jianwei Zhang, Jiawei Zhang, Kai Chen, Kang He, Levon Xue, Lin Qu, Linhan Tang, Luwen Feng, Minggang Wu, Minmin Sun, Na Ni, Rui Men, Shuai Bai, Sishou Zheng, Tao Lan, Tianqi Zhang, Tingkun Wen, Wei Wang, Weixu Qiao, Weiyi Lu, Wenmeng Zhou, Xiaodong Deng, Xiaoxiao Xu, Xinlei Fang, Xionghui Chen, Yanan Wang, Yang Fan, Yichang Zhang, Yixuan Xu, Yu Wu, Zhiyuan Ma, Zhizhi Cai

Xuất bản lúc: 2026-05-11

Tag: Diffusion Transformer, Multimodal Generation, Text-to-Image, Image Editing, Vision-Language Model, High-Resolution Generation, Text Rendering, RLHF

I. Main Problem:​

Các mô hình sinh ảnh hiện tại gặp nhiều hạn chế khi ứng dụng vào quy trình sáng tạo thực tế, bao gồm: (1) khả năng hiển thị văn bản siêu dài (ultra-long text) kém, dễ bị méo chữ, thiếu ký tự và sập bố cục; (2) khả năng hiển thị đa ngôn ngữ yếu, đặc biệt với các ngôn ngữ không phải tiếng Anh/Trung; (3) chất lượng ảnh photorealistic ở độ phân giải cao (2K trở lên) bị suy giảm, xuất hiện họa tiết lặp, ánh sáng không nhất quán; (4) khả năng làm theo hướng dẫn phức tạp kém, dẫn đến thiếu đối tượng hoặc ảo giác thị giác; và (5) quan trọng nhất, hiếm có hệ thống nào tích hợp đồng thời cả sinh ảnh (text-to-image) và chỉnh sửa ảnh (image editing) trong một mô hình thống nhất mà không cần chuyển đổi pipeline.

II. Main Idea:​

Tác giả đề xuất Qwen-Image-2.0, một mô hình nền tảng sinh ảnh đa năng, thống nhất cả hai tác vụ sinh ảnh từ văn bản và chỉnh sửa ảnh dựa trên hướng dẫn trong một khung kiến trúc duy nhất. Kiến trúc mô hình gồm ba thành phần chính: (1) Bộ mã hóa điều kiện Qwen3-VL (MLLM) để trích xuất đặc trưng ngữ nghĩa từ đầu vào của người dùng; (2) Bộ VAE nén cao với tỷ lệ 16x giúp giảm chi phí tính toán cho Diffusion Transformer (DiT); (3) Bộ khử nhiễu Multimodal Diffusion Transformer (MMDiT) thực hiện quá trình sinh ảnh trong không gian tiềm ẩn. Để giải quyết bài toán văn bản siêu dài, mô hình hỗ trợ prompt lên tới 1K token. Khả năng đa ngôn ngữ được cải thiện nhờ dữ liệu huấn luyện đa dạng. Chất lượng cao ở độ phân giải 2K đạt được nhờ VAE nén cao, curriculum training đa độ phân giải và dữ liệu được lọc kỹ lưỡng. Khả năng làm theo hướng dẫn phức tạp và thống nhất hai tác vụ sinh/chỉnh sửa ảnh được đảm bảo nhờ kiến trúc MMDiT và quy trình huấn luyện đa giai đoạn (từ tiền huấn luyện, tinh chỉnh có giám sát đến RLHF với GRPO).

III. Main Results:​

Kết quả đánh giá trên LMArena cho thấy Qwen-Image-2.0 cải thiện đáng kể so với phiên bản trước (Qwen-Image) trên tất cả các khía cạnh: Điểm ELO tổng thể tăng từ ~1057 lên ~1133. Các cải thiện cụ thể bao gồm: (1) Chất lượng ảnh photorealistic và chân dung vượt trội; (2) Khả năng hiển thị văn bản phức tạp chuyên nghiệp (slide, poster, comics); (3) Chỉnh sửa ảnh chính xác theo hướng dẫn; (4) Chất lượng ổn định trên nhiều phong cách nghệ thuật; (5) Tốc độ suy luận nhanh hơn nhờ VAE nén 16x.

IV. Conclusion & Future Works:​

Qwen-Image-2.0 đánh dấu một bước tiến quan trọng hướng tới các mô hình sinh ảnh nền tảng tổng quát, đáng tin cậy và thực tế hơn. Mô hình đặt nền móng cho một khung sinh tổng hợp thống nhất cho các ứng dụng hạ nguồn như tạo nội dung trực quan, chỉnh sửa và đa phương thức. Hướng phát triển tương lai có thể bao gồm: cải thiện thêm khả năng hiểu ngữ cảnh phức tạp, mở rộng hỗ trợ thêm nhiều ngôn ngữ và loại hình nội dung, tối ưu hóa hiệu suất cho các thiết bị có tài nguyên hạn chế, và tích hợp sâu hơn với các hệ thống đa phương thức khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu 1: Mô hình sinh ảnh đa độ phân giải thích ứng với chất lượng văn bản. Mở rộng ý tưởng về curriculum training đa độ phân giải của Qwen-Image-2.0, nghiên cứu này đề xuất một cơ chế học tự động điều chỉnh độ phân giải đầu ra dựa trên độ phức tạp của prompt. Ví dụ, prompt chứa nhiều văn bản sẽ được xử lý ở độ phân giải cao hơn để đảm bảo độ chính xác của ký tự, trong khi prompt về cảnh quan đơn giản có thể được sinh ở độ phân giải thấp hơn để tiết kiệm tài nguyên. Mục tiêu là xây dựng một mô hình duy nhất có thể tự động cân bằng giữa chất lượng và hiệu suất.
  2. Nghiên cứu 2: Tăng cường khả năng làm theo hướng dẫn phức tạp cho mô hình sinh ảnh bằng kỹ thuật phản hồi từ người dùng dạng chuỗi (Sequential RLHF). Dựa trên kỹ thuật RLHF của Qwen-Image-2.0, nghiên cứu này đề xuất một khung RLHF tuần tự, nơi mô hình được huấn luyện để tối ưu hóa không chỉ chất lượng ảnh cuối cùng mà còn cả quá trình chỉnh sửa từng bước. Người dùng có thể cung cấp phản hồi cho từng bước chỉnh sửa (ví dụ: 'bước 1 tốt, bước 2 làm hỏng khuôn mặt'), giúp mô hình học cách lập kế hoạch và thực hiện các chỉnh sửa phức tạp một cách chính xác hơn.
  3. Nghiên cứu 3: Kiến trúc Diffusion Transformer với bộ giải mã đa năng cho sinh ảnh và video thống nhất. Mở rộng kiến trúc MMDiT của Qwen-Image-2.0, nghiên cứu này đề xuất một kiến trúc thống nhất có thể xử lý cả sinh ảnh tĩnh và video ngắn. Bộ giải mã đa năng (Multimodal Decoder) sẽ được thiết kế để chuyển đổi linh hoạt giữa không gian tiềm ẩn của ảnh và video, cho phép mô hình tận dụng kiến thức từ ảnh để sinh video mượt mà hơn và ngược lại.

2. Patent:​

  1. Sáng chế 1: Phương pháp và hệ thống tạo nội dung quảng cáo đa ngôn ngữ trên thiết bị di động. Sáng chế mô tả một ứng dụng trên điện thoại cho phép người dùng nhập một mô tả ngắn (ví dụ: 'bánh mì kẹp thịt, giá ưu đãi') và chọn một danh sách ngôn ngữ (tiếng Việt, tiếng Anh, tiếng Nhật). Ứng dụng sẽ sử dụng mô hình Qwen-Image-2.0 đã được tinh chỉnh để tự động tạo ra các poster quảng cáo hoàn chỉnh với văn bản chính xác và bố cục đẹp mắt cho từng ngôn ngữ, giúp người dùng cá nhân hoặc doanh nghiệp nhỏ dễ dàng tạo nội dung tiếp thị đa ngôn ngữ ngay trên điện thoại.
  2. Sáng chế 2: Hệ thống chỉnh sửa ảnh chân dung thông minh trên thiết bị di động sử dụng hướng dẫn bằng văn bản và cử chỉ. Sáng chế mô tả một ứng dụng chỉnh sửa ảnh trên điện thoại, nơi người dùng có thể vừa chạm vào một vùng trên ảnh (ví dụ: khuôn mặt) vừa nói hoặc gõ lệnh bằng văn bản (ví dụ: 'làm cho cô ấy cười' hoặc 'thay nền thành bãi biển'). Hệ thống sẽ kết hợp thông tin về vùng được chọn (từ cử chỉ) và hướng dẫn bằng văn bản để gọi mô hình Qwen-Image-2.0 thực hiện chỉnh sửa chính xác, mang lại trải nghiệm chỉnh sửa trực quan và nhanh chóng.
  3. Sáng chế 3: Phương pháp tạo ảnh đại diện (avatar) cá nhân hóa với văn bản phức tạp trên thiết bị di động. Sáng chế mô tả một ứng dụng tạo ảnh đại diện, nơi người dùng có thể nhập tên, chức danh, một câu trích dẫn yêu thích và chọn phong cách thiết kế (ví dụ: 'phong cách tối giản', 'phong cách hoạt hình'). Ứng dụng sẽ sử dụng mô hình Qwen-Image-2.0 để tạo ra một ảnh đại diện chuyên nghiệp, kết hợp hài hòa giữa hình ảnh (có thể là ảnh chụp hoặc hình vẽ) và văn bản với kiểu chữ đẹp, bố cục cân đối, phù hợp để sử dụng trên các nền tảng mạng xã hội, email công việc hoặc danh thiếp điện tử.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.10730
ArXiv Abstracthttps://arxiv.org/abs/2605.10730
PDF Downloadhttps://arxiv.org/pdf/2605.10730.pdf
Github RepositoryN/A

2. Soohak: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs (71 votes)​

Tác giả: Guijin Son, Seungone Kim, Catherine Arnett, Hyunwoo Ko, Hyein Lee, Hyeonah Kang, Jiang Longxi, Jin Yun, JungYup Lee, Kyungmin Lee, Sam Yoosuk Kim, Sang Park, Seunghyeok Hong, SeungJae Lee, Seungyeop Yi, Shinae Shin, SunHye Bok, Sunyoung Shin, Yonghoon Ji, Youngtaek Kim, Hanearl Jung, Akari Asai, Graham Neubig, Sean Welleck, Youngjae Yu, Akshelin R, Alexander B. Ivanov, Boboev Muhammadjon, Chaeyoung Han, Christian Stump, Dmitrii Karp, Dohyun Kwon, DoYong Kwon, Duk-Soon Oh, Giovanni Resta, Greta Panova, Huiyun Noh, Hyungryul Baik, Hyungsun Bae, Inomov Mashrafdzhon, Jeewon Kim, Ji Eun Lee, Jiaqi Liu, Jieui Kang, Jimin Kim, Jon-Lark Kim, Junseo Yoon, Junwoo Jo, Kibeom Kim, Kiwoon Kwon, Mario Kummer, Max Mercer, Minjun Kim, Nahyun Lee, Ng Ze-An, Rafał Marcin Łochowski, Raphaël Lachièze-Rey, Ruichen Zhang, Sejin Park, Seonguk Seo, Shin Jaehoon, Sunatullo, Taewoong Eom, Yeachan Park, Yongseok Jang, Youchan Oh, Zhaoyang Wang, Zoltán Kovács

Xuất bản lúc: 2026-05-09

Tag: LLMs, Mathematical Reasoning, Benchmark, Refusal, Research-level Math

I. Main Problem:​

Các benchmark toán học hiện tại gặp phải ba vấn đề chính: (1) Các bài toán dạng olympiad đã bão hòa do các mô hình tiên tiến đạt điểm cao, không còn đủ sức phân biệt; (2) Các benchmark toán học cấp độ nghiên cứu rất khan hiếm (ví dụ: Riemann Bench và FrontierMath-Tier 4 chỉ có lần lượt 25 và 50 bài toán), do khó thu thập và xây dựng; (3) Nhiều benchmark được thu thập từ các nguồn công khai dễ bị nhiễm vào dữ liệu huấn luyện, làm sai lệch đánh giá năng lực thực sự của mô hình. Ngoài ra, chưa có benchmark nào đánh giá khả năng từ chối trả lời các bài toán sai, một năng lực quan trọng trong toán học nghiên cứu.

II. Main Idea:​

Bài báo giới thiệu SOOHAK, một benchmark toán học mới với 439 bài toán được 64 nhà toán học viết hoàn toàn mới từ đầu. SOOHAK gồm hai tập con: (1) Challenge subset (340 bài) chứa các bài toán cấp độ sau đại học và nghiên cứu, được sàng lọc qua ba cổng mô hình (yêu cầu các mô hình lớn phải thất bại); (2) Refusal subset (99 bài) đánh giá khả năng mô hình nhận diện các bài toán sai (ill-posed) và từ chối trả lời thay vì đưa ra câu trả lời sai một cách tự tin. Quy trình thu thập dữ liệu gồm năm giai đoạn: nộp bài, sàng lọc tự động bằng LLM, đánh giá thủ công bởi hai người, kiểm soát chất lượng, và đăng ký tham gia của người đóng góp. Dữ liệu sẽ được công bố vào cuối năm 2026 để tránh nhiễm.

III. Main Results:​

Trên SOOHAK Challenge, các mô hình tiên tiến nhất đạt kết quả thấp: Gemini-3-Pro đạt 30.4% Avg@3, GPT-5 đạt 26.4%, và Claude-Opus-4.5 chỉ đạt 10.4%. Các mô hình mã nguồn mở như Qwen3-235B, GPT-OSS-120B, và Kimi-2.5 đều dưới 15%. Trên SOOHAK Refusal, không mô hình nào vượt quá 50% (GLM-5 đạt cao nhất 49.49%), cho thấy từ chối trả lời là một mục tiêu tối ưu mới mà các mô hình hiện tại chưa giải quyết tốt. Trên SOOHAK-Mini (702 bài), GPT-5 đạt 72.22% và Kimi-K2.5 là mô hình mã nguồn mở tốt nhất với 66.07%. Kết quả con người trên 79 bài cho thấy tổ hợp các đội đạt 50.6%, chỉ có Gemini-3-Pro vượt qua mức này (60.8%).

IV. Conclusion & Future Works:​

SOOHAK là benchmark quan trọng để đánh giá năng lực toán học cấp độ nghiên cứu của LLM, với khoảng trống lớn cho các mô hình tương lai. Các hướng phát triển bao gồm: (1) Mở rộng phạm vi chuyên ngành toán học thông qua tuyển dụng toàn cầu; (2) Cải thiện cơ chế đánh giá khả năng từ chối (refusal) như một mục tiêu tối ưu riêng biệt; (3) Phát triển các định dạng đánh giá vượt ra ngoài câu trả lời số nguyên duy nhất; (4) Xây dựng cơ sở hạ tầng đánh giá sớm với tiêu chí rõ ràng và cơ chế khuyến khích phù hợp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển phương pháp học tăng cường (RL) để cải thiện khả năng từ chối trả lời của LLM trên các bài toán sai (ill-posed): Nghiên cứu này sẽ tập trung vào việc huấn luyện mô hình nhận diện các bài toán thiếu giả thiết, mâu thuẫn hoặc không có đáp án duy nhất, thay vì cố gắng đưa ra câu trả lời sai. Có thể sử dụng kỹ thuật RLHF với phần thưởng cho hành vi từ chối đúng.
  2. Xây dựng benchmark đa ngôn ngữ cho toán học nghiên cứu: Mở rộng SOOHAK sang các ngôn ngữ khác (ví dụ: tiếng Trung, tiếng Ả Rập) để đánh giá khả năng suy luận toán học của LLM đa ngữ, đồng thời nghiên cứu ảnh hưởng của ngôn ngữ đến hiệu suất suy luận.
  3. Phân tích tính chất scaling của khả năng suy luận toán học cấp độ nghiên cứu: Nghiên cứu chi tiết mối quan hệ giữa kích thước mô hình, thời gian suy luận (test-time compute) và hiệu suất trên các bài toán SOOHAK Challenge, nhằm xác định các yếu tố quyết định năng lực suy luận toán học nâng cao.

2. Patent:​

  1. Hệ thống hỗ trợ giải toán trên điện thoại thông minh với khả năng phát hiện bài toán sai: Một ứng dụng di động cho phép người dùng nhập bài toán bằng văn bản hoặc hình ảnh. Hệ thống sử dụng mô hình ngôn ngữ lớn được huấn luyện đặc biệt để không chỉ giải bài toán mà còn phát hiện các bài toán sai (thiếu giả thiết, mâu thuẫn) và thông báo cho người dùng lý do tại sao bài toán không thể giải được, thay vì đưa ra câu trả lời sai.
  2. Phương pháp cá nhân hóa bài tập toán trên thiết bị di động dựa trên năng lực người dùng: Ứng dụng học toán trên điện thoại sử dụng một tập benchmark toán học có độ khó tăng dần (từ olympiad đến nghiên cứu) để đánh giá năng lực người dùng. Dựa trên kết quả, hệ thống tự động đề xuất các bài tập phù hợp và theo dõi sự tiến bộ theo thời gian, giúp người dùng luyện tập hiệu quả.
  3. Công cụ hỗ trợ nghiên cứu toán học trên điện thoại thông minh với khả năng tra cứu và tổng hợp kiến thức: Một ứng dụng cho phép nhà nghiên cứu toán học nhập một bài toán hoặc khái niệm phức tạp. Hệ thống sử dụng mô hình ngôn ngữ lớn để tra cứu các kết quả liên quan từ nhiều bài báo chuyên ngành, tổng hợp và trình bày dưới dạng dễ hiểu, giúp tiết kiệm thời gian tìm kiếm tài liệu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.09063
ArXiv Abstracthttps://arxiv.org/abs/2605.09063
PDF Downloadhttps://arxiv.org/pdf/2605.09063.pdf
Github RepositoryN/A

3. CollabVR: Collaborative Video Reasoning with Vision-Language and Video Generation Models (60 votes)​

Tác giả: Joowon Kim, Seungho Shin, Joonhyung Park, Eunho Yang

Xuất bản lúc: 2026-05-09

Tag: Vision-Language Model, Video Generation Model, Visual Reasoning, Chain-of-Frames, Test-Time Scaling, Closed-Loop Framework

I. Main Problem:​

Các mô hình sinh video (VGM) dù mạnh trong mô phỏng ngắn hạn nhưng yếu trong lập kế hoạch dài hạn và suy luận trừu tượng, dẫn đến hai lỗi phổ biến: (1) trôi dạt tầm xa khi thực hiện các tác vụ nhiều bước và (2) lỗi mô phỏng trong một clip ngắn tích tụ và lan rộng. Thiếu một quá trình suy luận rõ ràng có thể sửa lỗi trên nền tảng tri thức thị giác ngắn hạn của VGM.

II. Main Idea:​

CollabVR là một khung làm việc vòng kín kết hợp Mô hình Ngôn ngữ-Thị giác (VLM) và Mô hình Sinh Video (VGM) ở cấp độ từng bước. VLM đóng vai trò lập kế hoạch và xác minh: nó lập kế hoạch cho hành động tiếp theo, kiểm tra clip do VGM tạo ra và sử dụng chẩn đoán thất bại để sửa lỗi ngay lập tức trước khi chúng lan rộng. Khung này có hai mô-đun chính: (1) Lập kế hoạch tiến bộ do VLM điều khiển để tránh trôi dạt tầm xa và (2) Suy luận hợp tác VLM-VGM để sửa lỗi thực thi.

III. Main Results:​

CollabVR cải thiện nhất quán cả VGM nguồn mở (VBVR-Wan2.2) và nguồn đóng (Veo 3.1) so với các đường cơ sở như Single Inference, Pass@k và VideoTPO trên các benchmark Gen-ViRe và VBVR-Bench, với mức tăng lớn nhất trên các tác vụ khó nhất. Nó cũng mang lại cải thiện thêm trên VGM đã được tinh chỉnh về suy luận. Một benchmark do con người chú thích xác nhận rằng các quyết định của VLM về độ sâu kế hoạch, xác minh và tiến hóa phù hợp với đánh giá của chuyên gia.

IV. Conclusion & Future Works:​

CollabVR chứng minh rằng việc ghép nối VLM và VGM ở cấp độ bước là một hướng hiệu quả để tăng cường suy luận video. Hạn chế bao gồm việc không thể khắc phục các thiếu hụt năng lực cốt lõi của VGM và bộ xác minh không hoàn hảo. Hướng phát triển trong tương lai bao gồm huấn luyện VGM theo hướng suy luận và xác định lỗi chi tiết hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CollabVR cho các tác vụ tương tác phức tạp hơn: Nghiên cứu cách áp dụng khung vòng kín này vào các tác vụ suy luận video yêu cầu nhiều bước tương tác với môi trường, chẳng hạn như mô phỏng vật lý hoặc trò chơi điện tử, nơi VLM có thể đưa ra các quyết định chiến lược dựa trên phản hồi từ VGM.
  2. Tích hợp VLM mạnh hơn cho lập kế hoạch và xác minh: Khám phá việc sử dụng các VLM tiên tiến hơn (ví dụ: Gemini 2.5 Pro, GPT-4V) để cải thiện độ chính xác của việc lập kế hoạch, xác minh và sửa lỗi, đặc biệt là trên các tác vụ yêu cầu suy luận trừu tượng hoặc biểu tượng.
  3. Giảm chi phí tính toán của CollabVR: Nghiên cứu các phương pháp để giảm chi phí tính toán của khung làm việc, chẳng hạn như sử dụng các mô hình VLM nhỏ hơn cho các bước xác minh đơn giản hoặc chỉ áp dụng vòng lặp sửa lỗi khi cần thiết, để làm cho CollabVR khả thi hơn cho các ứng dụng thời gian thực.

2. Patent:​

  1. Hệ thống chỉnh sửa video thông minh trên điện thoại: Một ứng dụng điện thoại cho phép người dùng mô tả một chuỗi hành động mong muốn (ví dụ: 'di chuyển quả bóng đỏ đến ô vuông xanh') và ứng dụng sẽ tự động tạo ra một video hoàn chỉnh. Hệ thống sử dụng một mô hình ngôn ngữ để chia nhỏ yêu cầu thành các bước nhỏ, sau đó sử dụng mô hình sinh video để tạo từng bước một. Nếu một bước bị lỗi (ví dụ: quả bóng đi sai hướng), hệ thống sẽ tự động phát hiện và sửa lỗi trước khi tạo bước tiếp theo, đảm bảo video cuối cùng chính xác với mô tả của người dùng.
  2. Trợ lý tạo nội dung quảng cáo động: Một công cụ trên điện thoại giúp người dùng tạo video quảng cáo ngắn bằng cách nhập văn bản mô tả sản phẩm và các hành động mong muốn. Công cụ này sẽ tự động lập kế hoạch các cảnh quay, tạo ra từng cảnh bằng mô hình sinh video và kiểm tra xem cảnh đó có khớp với kịch bản không. Nếu có lỗi (ví dụ: sản phẩm bị biến dạng), công cụ sẽ tự động sửa và tạo lại cảnh đó, giúp người dùng có được video quảng cáo chất lượng cao mà không cần kỹ năng chỉnh sửa chuyên nghiệp.
  3. Ứng dụng hỗ trợ học tập và mô phỏng khoa học: Một ứng dụng giáo dục trên điện thoại cho phép học sinh mô tả một hiện tượng khoa học (ví dụ: 'nước sôi và bốc hơi') và ứng dụng sẽ tạo ra một video mô phỏng trực quan. Hệ thống sử dụng mô hình ngôn ngữ để phân tích yêu cầu và chia nhỏ thành các giai đoạn (ví dụ: nước nóng lên, sủi bọt, bốc hơi). Mô hình sinh video sẽ tạo ra từng giai đoạn, và hệ thống sẽ kiểm tra tính chính xác của từng giai đoạn, tự động sửa lỗi nếu cần, giúp học sinh hiểu rõ hơn về các quá trình phức tạp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.08735
ArXiv Abstracthttps://arxiv.org/abs/2605.08735
PDF Downloadhttps://arxiv.org/pdf/2605.08735.pdf
Github Repositoryhttps://github.com/Joow0n-Kim/CollabVR

4. TMAS: Scaling Test-Time Compute via Multi-Agent Synergy (46 votes)​

Tác giả: George Wu, Nan Jing, Qing Yi, Chuan Hao, Ming Yang, Feng Chang, Yuan Wei, Jian Yang, Ran Tao, Bryan Dai

Xuất bản lúc: 2026-05-11

Tag: Test-Time Scaling, Multi-Agent Systems, Reinforcement Learning, Large Language Models, Mathematical Reasoning

I. Main Problem:​

Các phương pháp mở rộng tính toán tại thời điểm kiểm tra (test-time scaling) hiện tại gặp hạn chế trong việc phối hợp các quỹ đạo suy luận song song, dẫn đến khai thác thông tin lịch sử không hiệu quả và mất cân bằng giữa khám phá (exploration) và khai thác (exploitation). Cụ thể, các phương pháp dạng 'verify-refine' có sự liên kết yếu giữa các quỹ đạo, trong khi các phương pháp tổng hợp quỹ đạo không có cơ chế chọn lọc thông tin cần giữ lại, dễ bị nhiễu.

II. Main Idea:​

TMAS là một khung làm việc mới tổ chức suy luận tại thời điểm kiểm tra thành quy trình cộng tác giữa các tác tử chuyên biệt (specialized agents). Khung này giới thiệu hai bộ nhớ phân cấp: (1) Experience Bank lưu trữ các kết luận trung gian đáng tin cậy và phản hồi cục bộ, (2) Guideline Bank ghi lại các chiến lược cấp cao đã được khám phá để tránh lặp lại các mẫu suy luận dư thừa. Ngoài ra, TMAS còn thiết kế một hệ thống phần thưởng kết hợp (hybrid reward) cho học tăng cường, bao gồm ba mục tiêu: duy trì khả năng suy luận cơ bản, tăng cường sử dụng kinh nghiệm, và khuyến khích khám phá các hướng giải quyết mới.

III. Main Results:​

TMAS đạt được hiệu suất vượt trội so với các baseline về mở rộng tính toán tại thời điểm kiểm tra trên hai bộ dữ liệu suy luận toán học khó: IMO-AnswerBench-50 và HLE-Math-100. Với mô hình Qwen3-30B-Thinking-2507, TMAS đạt 40.50% trên IMO-AnswerBench-50 và 35.38% trên HLE-Math-100 ở vòng lặp thứ 19. Khi kết hợp với học tăng cường lai (Hybrid-RL) trên mô hình 4B, TMAS thu hẹp đáng kể khoảng cách với mô hình 30B, giảm chênh lệch từ 23.44 xuống còn 9.62 điểm trên IMO-AnswerBench-50 (giảm 59.0%) và từ 17.97 xuống 7.22 điểm trên HLE-Math-100 (giảm 59.8%).

IV. Conclusion & Future Works:​

TMAS chứng minh rằng việc tổ chức suy luận như một quá trình cộng tác đa tác tử với bộ nhớ phân cấp và hệ thống phần thưởng lai có thể cải thiện đáng kể khả năng mở rộng tính toán tại thời điểm kiểm tra. Hướng nghiên cứu tương lai có thể bao gồm: mở rộng khung làm việc cho các tác vụ suy luận đa phương thức, tích hợp với các mô hình ngôn ngữ lớn hơn, và phát triển các cơ chế bộ nhớ linh hoạt hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng TMAS cho các tác vụ suy luận đa phương thức (Multimodal Reasoning): Nghiên cứu cách áp dụng kiến trúc đa tác tử và bộ nhớ phân cấp của TMAS cho các bài toán kết hợp văn bản và hình ảnh, như giải thích biểu đồ hoặc phân tích hình ảnh y tế.
  2. Tối ưu hóa chiến lược khám phá-khai thác động (Dynamic Exploration-Exploitation): Phát triển thuật toán điều chỉnh hệ số khám phá (epsilon) một cách thích ứng dựa trên độ khó của bài toán và lịch sử suy luận, thay vì sử dụng giá trị cố định.
  3. Tích hợp TMAS với các mô hình ngôn ngữ lớn hơn và kiến trúc chuyên biệt: Nghiên cứu hiệu quả của TMAS khi kết hợp với các mô hình như GPT-4 hoặc các kiến trúc chuyên biệt cho suy luận toán học, đồng thời đánh giá khả năng mở rộng của khung làm việc.

2. Patent:​

  1. Hệ thống trợ lý giải toán trên điện thoại thông minh sử dụng bộ nhớ kinh nghiệm: Một ứng dụng di động giúp học sinh giải các bài toán khó. Ứng dụng này ghi nhớ các bước giải và lỗi sai thường gặp của người dùng (Experience Bank) và các chiến lược giải đã sử dụng (Guideline Bank) để đưa ra gợi ý thông minh, tránh lặp lại các cách giải không hiệu quả, giúp quá trình học tập hiệu quả hơn.
  2. Phương pháp tối ưu hóa tìm kiếm trên thiết bị di động bằng suy luận đa tác tử: Một phương pháp cải thiện kết quả tìm kiếm trên điện thoại bằng cách sử dụng nhiều 'tác tử' ảo (giải pháp, xác minh, tóm tắt) làm việc cùng nhau. Các tác tử này khám phá nhiều hướng tìm kiếm khác nhau, xác minh độ chính xác của thông tin và tổng hợp kết quả, giúp người dùng tìm được câu trả lời chính xác và toàn diện hơn.
  3. Hệ thống gợi ý nội dung cá nhân hóa trên điện thoại sử dụng bộ nhớ chiến lược: Một ứng dụng đề xuất nội dung (tin tức, video, sản phẩm) học hỏi từ các lựa chọn trước đây của người dùng. Hệ thống lưu trữ các 'chiến lược' khám phá nội dung (Guideline Bank) và các phản hồi cụ thể (Experience Bank) để cân bằng giữa việc đề xuất nội dung quen thuộc và khám phá nội dung mới, tránh gây nhàm chán hoặc bỏ lỡ sở thích tiềm ẩn của người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.10344
ArXiv Abstracthttps://arxiv.org/abs/2605.10344
PDF Downloadhttps://arxiv.org/pdf/2605.10344.pdf
Github Repositoryhttps://github.com/george-QF/TMAS-code

5. Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training (42 votes)​

Tác giả: Yuanyi Wang, Yifan Yang, Su Lu, Yanggan Gu, Pengkai Wang, Wenjun Wang, Zhaoyi Yan, Congkai Xie, Jianmin Wu, Jialun Cao, Shing-Chi Cheung, Hongxia Yang

Xuất bản lúc: 2026-05-10

Tag: Continual Learning, Catastrophic Forgetting, Large Language Models, Model Merging, Wasserstein Distance, Task Geometry

I. Main Problem:​

Bài báo giải quyết vấn đề quên thảm khốc (catastrophic forgetting) trong quá trình huấn luyện liên tục (continual post-training) cho các mô hình ngôn ngữ lớn (LLMs). Các phương pháp hiện tại như tinh chỉnh tuần tự, phát lại dữ liệu hay hợp nhất mô hình tuy có hiệu quả nhưng thiếu một nguyên lý rõ ràng để xác định khi nào việc tích hợp một bản cập nhật mới là có lợi hay có hại. Cụ thể, chúng không trả lời được ba câu hỏi cốt lõi: (1) Điều gì thực sự gây ra sự quên? (2) Khi nào các năng lực học tuần tự sẽ chuyển giao (transfer) và khi nào chúng can thiệp (interfere) lẫn nhau? (3) Làm thế nào để sử dụng tính tương thích như một tín hiệu kiểm soát quá trình tích hợp cập nhật?

II. Main Idea:​

Nhóm tác giả đề xuất một góc nhìn mới dựa trên hình học nhiệm vụ (task geometry) để giải thích và kiểm soát sự quên. Ý tưởng chính là biểu diễn mỗi nhiệm vụ huấn luyện bằng ma trận hiệp phương sai (covariance geometry) của các bản cập nhật tham số của nó. Từ đó, họ định nghĩa xung đột hình học (geometry conflict) dựa trên khoảng cách Bures–Wasserstein giữa các hình học này. Phát hiện trung tâm là: sự quên xảy ra khi hình học hiệp phương sai của nhiệm vụ mới không còn tương thích với hình học của trạng thái mô hình đang tiến hóa. Dựa trên phát hiện này, họ đề xuất GCWM (Geometry-Conflict Wasserstein Merging), một phương pháp hợp nhất không cần dữ liệu. GCWM xây dựng một metric Wasserstein chung từ các hình học nhiệm vụ, sau đó sử dụng xung đột hình học để làm tín hiệu 'cổng' (gate) điều khiển mức độ hiệu chỉnh, cho phép tích hợp cập nhật một cách có kiểm soát.

III. Main Results:​

Phương pháp GCWM được đánh giá trên các mô hình Qwen3 từ 0.6B đến 14B trong hai bối cảnh: huấn luyện liên tục theo miền (domain-continual) và theo năng lực (capability-continual). Kết quả chính bao gồm:

  • Huấn luyện theo miền (MMLU-Pro): GCWM vượt trội so với tất cả các phương pháp baseline không dùng dữ liệu (data-free) trên cả ba kích thước mô hình 1.7B, 8B và 14B, cải thiện điểm trung bình tổng thể lần lượt +1.61, +0.74 và +1.23 điểm.
  • Huấn luyện theo năng lực (Toán & Code): Trên Qwen3-1.7B, GCWM đạt điểm trung bình tốt nhất (62.6), cải thiện +5.78 so với baseline mạnh nhất. Trên Qwen3-14B, GCWM cũng là phương pháp data-free mạnh nhất, dẫn đầu ở 4/6 benchmark.
  • Phân tích: Kết quả cho thấy xung đột hình học (geometry conflict) là một tín hiệu giải thích và kiểm soát hiệu quả, vượt trội so với các tín hiệu truyền thống như chuẩn của bản cập nhật (update norm) hay độ tương đồng không gian con (subspace alignment ratio).

IV. Conclusion & Future Works:​

Nghiên cứu này kết luận rằng sự quên thảm khốc trong huấn luyện liên tục LLM có thể được hiểu là một sự thất bại trong việc tích hợp cập nhật so với trạng thái hiện tại của mô hình, và tín hiệu xung đột hình học là một công cụ mạnh mẽ để giải thích cũng như kiểm soát quá trình này. Phương pháp GCWM đã chứng minh tính hiệu quả trong việc cải thiện khả năng ghi nhớ và hiệu suất cuối cùng mà không cần dữ liệu phát lại.

Hướng phát triển trong tương lai có thể bao gồm: mở rộng phân tích hình học nhiệm vụ cho các kiến trúc mô hình khác, kết hợp GCWM với các phương pháp phát lại dữ liệu để đạt hiệu quả cao hơn nữa, và khám phá việc sử dụng tín hiệu xung đột hình học trong các bài toán học liên tục khác ngoài LLM.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về tín hiệu xung đột hình học cho bài toán học liên tục trên mô hình đa phương thức (Multimodal Continual Learning): Mở rộng khái niệm 'task geometry conflict' từ LLM thuần văn bản sang các mô hình đa phương thức như Vision-Language Models (VLMs). Nghiên cứu cách các bản cập nhật tham số từ các modality khác nhau (thị giác, ngôn ngữ) tương tác và gây ra xung đột hình học, từ đó đề xuất một phương pháp điều khiển việc tích hợp kiến thức đa phương thức.
  2. Phát triển khung lý thuyết cho Continual Pre-training: Áp dụng phân tích hình học nhiệm vụ cho giai đoạn tiền huấn luyện liên tục (continual pre-training) của các mô hình nền tảng. Mục tiêu là hiểu rõ cơ chế quên và chuyển giao kiến thức khi mô hình được huấn luyện trên các luồng dữ liệu khổng lồ và không đồng nhất, từ đó thiết kế các chiến lược cập nhật tham số hiệu quả hơn.
  3. Kết hợp xung đột hình học và xung đột gradient để kiểm soát quá trình học: Nghiên cứu sâu hơn về mối quan hệ bổ sung giữa 'geometry conflict' (phát hiện trong bài báo này) và 'gradient conflict' (xung đột gradient truyền thống). Đề xuất một khung kiểm soát lai (hybrid control framework) sử dụng cả hai tín hiệu để đưa ra quyết định tinh chỉnh (ví dụ: điều chỉnh tốc độ học, trọng số mất mát) trong quá trình huấn luyện liên tục, nhằm đạt được sự cân bằng tối ưu giữa việc học cái mới và giữ lại cái cũ.

2. Patent:​

  1. Phương pháp và hệ thống cập nhật kiến thức cho trợ lý ảo trên điện thoại thông minh: Một hệ thống cho phép trợ lý ảo trên điện thoại học liên tục các kỹ năng và kiến thức mới (ví dụ: hiểu một lĩnh vực chuyên môn mới, nhận dạng một loại lệnh giọng nói mới) mà không làm giảm khả năng thực hiện các tác vụ cũ. Hệ thống sử dụng phương pháp 'xung đột hình học' để tự động đánh giá mức độ tương thích của mỗi bản cập nhật và quyết định có nên tích hợp nó hoàn toàn, một phần, hay trì hoãn việc tích hợp để tránh làm hỏng các kỹ năng đã có.
  2. Phương pháp cá nhân hóa mô hình ngôn ngữ trên thiết bị di động dựa trên dữ liệu người dùng: Một giải pháp cho phép điện thoại thông minh cá nhân hóa mô hình ngôn ngữ dựa trên lịch sử trò chuyện, thói quen gõ chữ và sở thích của người dùng. Giải pháp này sử dụng kỹ thuật hợp nhất có kiểm soát (dựa trên 'geometry conflict') để kết hợp các bản cập nhật từ dữ liệu cá nhân với mô hình gốc, đảm bảo việc học các thói quen mới không làm mất đi khả năng hiểu ngôn ngữ tổng quát của mô hình, đồng thời giảm thiểu rủi ro về quyền riêng tư vì quá trình học diễn ra ngay trên thiết bị.
  3. Phương pháp cập nhật tính năng cho ứng dụng nhắn tin và mạng xã hội: Một hệ thống cho phép các ứng dụng nhắn tin hoặc mạng xã hội trên điện thoại cập nhật các tính năng mới dựa trên trí tuệ nhân tạo (ví dụ: tính năng tạo sticker động, gợi ý câu trả lời thông minh, dịch thuật theo ngữ cảnh) một cách mượt mà. Hệ thống này sử dụng tín hiệu 'xung đột hình học' để đảm bảo rằng mô hình AI cho tính năng mới không làm giảm chất lượng của các tính năng hiện có, mang lại trải nghiệm người dùng ổn định và nhất quán.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.09608
ArXiv Abstracthttps://arxiv.org/abs/2605.09608
PDF Downloadhttps://arxiv.org/pdf/2605.09608.pdf
Github Repositoryhttps://github.com/wyy-code/GCWM

6. Model Merging Scaling Laws in Large Language Models (39 votes)​

Tác giả: Yuanyi Wang, Yanggan Gu, Yiming Zhang, Qi Zhou, Zhaoyi Yan, Congkai Xie, Xinyao Wang, Jianbo Yuan, Hongxia Yang

Xuất bản lúc: 2026-05-11

Tag: Model Merging, Scaling Laws, Large Language Models, Cross-Entropy, Task Arithmetic, TIES, DARE

I. Main Problem:​

Việc kết hợp (merging) nhiều mô hình ngôn ngữ lớn (LLM) đã được huấn luyện chuyên biệt trên các lĩnh vực khác nhau thành một mô hình duy nhất mà không cần huấn luyện lại là một kỹ thuật phổ biến nhưng chưa có một quy tắc định lượng nào để dự đoán hiệu suất khi tăng số lượng chuyên gia (k) hoặc kích thước mô hình (N).

II. Main Idea:​

Bài báo đề xuất một định luật scaling (scaling law) dạng lũy thừa nhỏ gọn, kết nối kích thước mô hình (N) và số lượng chuyên gia được kết hợp (k). Công thức có dạng: E[L|N,k] = L∞(N) + A(N)/(k+b), trong đó L∞(N) là mất mát (loss) nền phụ thuộc vào kích thước mô hình, và A(N)/(k+b) là phần đuôi giảm dần. Định luật này giải thích tại sao lợi ích chính đến từ những chuyên gia đầu tiên và sự biến thiên giảm khi có nhiều chuyên gia hơn.

III. Main Results:​

Định luật scaling được xác nhận trên 10,866 mô hình với các kích thước từ 0.5B đến 72B, 9 lĩnh vực, và 4 phương pháp kết hợp (Average, TA, TIES, DARE). Kết quả cho thấy: mô hình lớn hơn dễ kết hợp hơn (giảm cả nền và đuôi), hầu hết lợi ích đạt được với k=5-6, sự khác biệt giữa các phương pháp thu hẹp khi quy mô tăng, và định luật này có thể dự đoán được toàn bộ đường cong mất mát chỉ từ 3 điểm dữ liệu đầu tiên (k=1, 2, 4).

IV. Conclusion & Future Works:​

Bài báo kết luận rằng định luật scaling này giúp việc kết hợp mô hình trở nên có thể dự đoán và tối ưu ngân sách, trở thành một giải pháp thay thế hiệu quả cho việc tinh chỉnh đa nhiệm. Hướng phát triển trong tương lai bao gồm việc mô hình hóa năng lực của chuyên gia (ví dụ: rank của LoRA) như một trục scaling thứ ba.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu định luật scaling cho việc kết hợp các mô hình thị giác (Vision Transformers) được huấn luyện trên các tập dữ liệu khác nhau, xem xét sự phụ thuộc vào kích thước ảnh đầu vào và số lượng lớp.
  2. Mở rộng định luật scaling cho việc kết hợp các mô hình đa phương thức (Vision-Language Models), khám phá xem số lượng chuyên gia và kích thước mô hình ảnh hưởng thế nào đến hiệu suất trên các tác vụ như mô tả ảnh và trả lời câu hỏi trực quan.
  3. Phát triển một phương pháp chọn chuyên gia thông minh dựa trên định luật scaling, nhằm tối ưu hóa hiệu suất của mô hình kết hợp với một số lượng chuyên gia cố định, thay vì chọn ngẫu nhiên.

2. Patent:​

  1. Phương pháp và hệ thống kết hợp mô hình ngôn ngữ trên thiết bị di động: Phương pháp này cho phép người dùng chọn các chuyên gia (ví dụ: chuyên gia viết email, chuyên gia viết code, chuyên gia dịch thuật) từ một kho lưu trữ trên đám mây. Dựa trên lựa chọn của người dùng và kích thước mô hình nền trên điện thoại, hệ thống sẽ tự động tính toán số lượng chuyên gia tối ưu cần tải về để đạt được hiệu suất mong muốn mà không làm quá tải bộ nhớ hoặc pin.
  2. Ứng dụng kết hợp mô hình để cá nhân hóa trợ lý ảo trên điện thoại: Người dùng có thể tải về các 'gói kỹ năng' (chuyên gia) cho trợ lý ảo, ví dụ như gói 'nấu ăn', 'sửa ống nước', 'du lịch'. Hệ thống sẽ kết hợp các gói này với mô hình nền trên điện thoại để tạo ra một trợ lý ảo đa năng và chuyên biệt cho nhu cầu cá nhân, với hiệu suất được dự đoán trước dựa trên số lượng gói kỹ năng đã cài đặt.
  3. Phương pháp tiết kiệm năng lượng cho việc cập nhật mô hình trên điện thoại thông minh: Khi có một phiên bản mới của chuyên gia (ví dụ: chuyên gia nhận dạng giọng nói), thay vì tải lại toàn bộ mô hình kết hợp, điện thoại chỉ cần tải về bản cập nhật của chuyên gia đó và thực hiện kết hợp lại. Định luật scaling được sử dụng để ước tính mức độ cải thiện hiệu suất từ bản cập nhật này, giúp người dùng quyết định có nên tải về hay không dựa trên lợi ích so với chi phí dữ liệu và pin.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2509.24244
ArXiv Abstracthttps://arxiv.org/abs/2509.24244
PDF Downloadhttps://arxiv.org/pdf/2509.24244.pdf
Github Repositoryhttps://github.com/InfiXAI/Merging-Scaling-Law

7. PaperFit: Vision-in-the-Loop Typesetting Optimization for Scientific Documents (30 votes)​

Tác giả: Bihui Yu, Xinglong Xu, Junjie Jiang, Jiabei Cheng, Caijun Jia, Siyuan Li, Conghui He, Jingxuan Wei, Cheng Tan

Xuất bản lúc: 2026-05-11

Tag: Vision-Language Models, Document Automation, LaTeX, Typesetting Optimization, Multi-modal Agents, Layout Analysis

I. Main Problem:​

Các tài liệu LaTeX dù biên dịch thành công vẫn thường mắc các lỗi trực quan như float đặt sai vị trí, công thức tràn, bảng co giãn không nhất quán, dòng mồ côi/góa phụ, và mất cân bằng trang. Quy trình thủ công biên dịch-kiểm tra-chỉnh sửa hiện tại rất tốn thời gian và không được tự động hóa. Các công cụ dựa trên luật bị mù trực quan, chỉ hoạt động trên mã nguồn và tệp log. Các LLM chỉ văn bản thực hiện chỉnh sửa vòng hở, không thể dự đoán hoặc xác minh hậu quả bố cục hai chiều.

II. Main Idea:​

Bài báo chính thức hóa bài toán Tối ưu hóa Kiểu chữ Trực quan (Visual Typesetting Optimization - VTO) và đề xuất PaperFit, một tác tử vòng kín có thị giác. PaperFit mô phỏng quy trình thủ công của con người bằng cách lặp lại các bước: kết xuất trang, chẩn đoán lỗi trực quan từ bốn nguồn bằng chứng (mã nguồn, log, PDF, ảnh trang), áp dụng các sửa chữa có ràng buộc (ưu tiên các thao tác bố cục tự nhiên, cấm các sửa chữa giả như resizebox), và xác thực toàn bộ tài liệu sau mỗi lần chỉnh sửa thông qua một danh sách kiểm tra chất lượng.

III. Main Results:​

PaperFit vượt trội so với tất cả các baseline (bao gồm cả tác tử trực quan đa vòng không có cấu trúc) trên PaperFit-Bench, một benchmark mới với 200 bài báo, 10 mẫu hội nghị, 13 loại lỗi. PaperFit đạt tỷ lệ biên dịch và kết xuất hoàn hảo, chất lượng trực quan và tuân thủ ngân sách trang cao nhất. Kết quả xác nhận rằng phản hồi trực quan là cần thiết nhưng chưa đủ; cần có cấu trúc chẩn đoán, sửa chữa có ràng buộc và xác thực có kiểm soát để đạt được kết quả tối ưu.

IV. Conclusion & Future Works:​

PaperFit thiết lập VTO như một giai đoạn còn thiếu quan trọng trong quy trình tự động hóa tài liệu, chứng minh rằng việc thu hẹp khoảng cách từ mã nguồn có thể biên dịch đến PDF sẵn sàng xuất bản đòi hỏi tối ưu hóa vòng kín có thị giác. Các hướng nghiên cứu tương lai có thể bao gồm: mở rộng sang các loại tài liệu khác (slide, poster), tích hợp các mô hình ngôn ngữ-thị giác tiên tiến hơn để chẩn đoán lỗi tinh vi, và phát triển các chính sách sửa chữa thích ứng học từ phản hồi của con người.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng VTO cho các loại tài liệu đa dạng: Không chỉ giới hạn ở bài báo khoa học, nghiên cứu khả năng áp dụng VTO cho slide thuyết trình, poster hội nghị, và báo cáo kỹ thuật, xây dựng các benchmark và taxonomy lỗi tương ứng.
  2. Tích hợp học tăng cường từ phản hồi trực quan: Phát triển một hệ thống VTO có thể học chính sách sửa chữa tối ưu thông qua học tăng cường, sử dụng điểm chất lượng trực quan từ VLM hoặc người đánh giá làm phần thưởng, thay vì dựa trên các quy tắc cố định.
  3. Chẩn đoán lỗi trực quan chi tiết hơn với VLM tiên tiến: Nghiên cứu việc sử dụng các VLM mạnh mẽ hơn (ví dụ: GPT-4V, Gemini) để phát hiện và phân loại các lỗi kiểu chữ tinh vi hơn, như sự không nhất quán về khoảng cách dòng, lựa chọn phông chữ không phù hợp, hoặc căn chỉnh hình ảnh kém.

2. Patent:​

  1. Phương pháp tự động tối ưu bố cục tài liệu trên thiết bị di động: Một ứng dụng di động cho phép người dùng nhập tài liệu văn bản (ví dụ: từ Google Docs, Microsoft Word) và tự động điều chỉnh bố cục để hiển thị đẹp mắt trên màn hình nhỏ. Ứng dụng sử dụng trí tuệ nhân tạo để phát hiện và sửa các lỗi như chữ tràn màn hình, khoảng trắng lớn, hoặc hình ảnh bị che khuất, sau đó điều chỉnh kích thước phông chữ, khoảng cách dòng và vị trí hình ảnh cho phù hợp.
  2. Hệ thống hỗ trợ soạn thảo bài báo khoa học với kiểm tra bố cục thời gian thực: Một plugin cho trình soạn thảo LaTeX (ví dụ: Overleaf) hoạt động như một trợ lý ảo. Plugin này liên tục biên dịch tài liệu trong nền, hiển thị bản xem trước PDF và tự động đánh dấu các lỗi bố cục tiềm ẩn (ví dụ: bảng bị tràn, float ở xa vị trí tham chiếu). Người dùng có thể nhấp vào lỗi được đánh dấu và plugin sẽ đề xuất các cách sửa chữa thông minh, an toàn.
  3. Phương pháp tự động chuyển đổi định dạng tài liệu có bảo toàn bố cục cho thiết bị di động: Một dịch vụ cho phép người dùng tải lên một tài liệu PDF (ví dụ: một bài báo khoa học) và nhận lại một phiên bản đã được định dạng lại tối ưu cho việc đọc trên điện thoại thông minh. Dịch vụ này không chỉ đơn giản là phóng to/thu nhỏ, mà còn phân tích cấu trúc tài liệu (tiêu đề, đoạn văn, hình ảnh, công thức) và sắp xếp lại chúng theo một bố cục cuộn dọc phù hợp, đảm bảo không có nội dung nào bị cắt xén hoặc hiển thị quá nhỏ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.10341
ArXiv Abstracthttps://arxiv.org/abs/2605.10341
PDF Downloadhttps://arxiv.org/pdf/2605.10341.pdf
Github Repositoryhttps://github.com/OpenRaiser/PaperFit

8. WorldReasonBench: Human-Aligned Stress Testing of Video Generators as Future World-State Predictors (26 votes)​

Tác giả: Keming Wu, Yijing Cui, Wenhan Xue, Qijie Wang, Xuan Luo, Zhiyuan Feng, Zuhao Yang, Sudong Wang, Sicong Jiang, Haowei Zhu, Zihan Wang, Ping Nie, Wenhu Chen, Bin Wang

Xuất bản lúc: 2026-05-11

Tag: Video Generation, World Model, Benchmark, Reasoning, Evaluation, Reward Model

I. Main Problem:​

Các mô hình sinh video hiện tại (như Sora, Veo, Seedance) được quảng bá như 'world simulators', nhưng các benchmark hiện có chưa kiểm tra trực tiếp khả năng suy luận về sự tiến hóa trạng thái thế giới (world-state prediction) của chúng. Các benchmark hiện tại chỉ tập trung vào chất lượng hình ảnh, độ mượt chuyển động hoặc độ phù hợp với prompt, dẫn đến tình trạng video trông 'đẹp' nhưng vi phạm các quy tắc vật lý, nhân quả, hoặc thông tin cơ bản (ví dụ: quả táo rơi lên trời thay vì xuống đất). Thiếu một bộ tiêu chuẩn chung để đo lường khả năng suy luận thế giới thực của các mô hình, đặc biệt là cho cộng đồng mã nguồn mở.

II. Main Idea:​

Bài báo giới thiệu WorldReasonBench, một benchmark đánh giá các mô hình sinh video dựa trên khả năng dự đoán trạng thái thế giới trong tương lai (world-state prediction). Cụ thể, với một trạng thái ban đầu (hình ảnh) và một hành động/hướng dẫn, mô hình phải sinh ra video mà sự tiến hóa trạng thái của nó phải nhất quán về mặt vật lý, xã hội, logic và thông tin. Benchmark gồm 436 test case với 22 phân lớp con và 4 chiều suy luận. Để đánh giá, bài báo đề xuất phương pháp hai phần: (1) Process-aware Reasoning Verification: dùng các câu hỏi QA có cấu trúc để phát hiện lỗi về thời gian và nhân quả; (2) Multi-dimensional Quality Assessment: chấm điểm video dựa trên chất lượng suy luận, tính nhất quán thời gian và tính thẩm mỹ. Ngoài ra, bài báo còn giới thiệu WorldRewardBench với khoảng 6K cặp ưu tiên được chuyên gia gán nhãn để đánh giá các reward model.

III. Main Results:​

Kết quả cho thấy một khoảng cách lớn giữa vẻ ngoài trực quan và khả năng suy luận thế giới: các mô hình đóng (closed-source) vượt trội hơn mô hình mở (open-source) với điểm số gấp đôi trên cả hai thang đo (ScorePR và S(v)). Cụ thể, Seedance2.0 đạt điểm ScorePR cao nhất (39.8) nhưng vẫn còn xa mức bão hòa. Suy luận logic (Logic Reasoning) và suy luận dựa trên thông tin (Information-Based) là những chiều khó nhất. Các mô hình mở phụ thuộc nhiều hơn vào hướng dẫn chi tiết trong prompt (hint gain lớn hơn). Phương pháp đánh giá đề xuất (ScorePR) đạt độ tương quan Spearman ρ=0.955 với đánh giá của chuyên gia, vượt trội so với các VLM judge thông thường.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng các mô hình sinh video hiện tại, dù có tiến bộ vượt bậc về chất lượng hình ảnh, vẫn chưa phải là 'world simulators' thực sự do thiếu khả năng suy luận về cơ chế và bảo toàn thông tin. Hướng phát triển trong tương lai bao gồm: cải thiện khả năng suy luận cơ chế và bảo toàn thông tin cho các mô hình sinh video; mở rộng taxonomy suy luận; và sử dụng WorldReasonBench và WorldRewardBench như một công cụ chuẩn để đánh giá và phát triển các reward model mới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. 1. VideoGenReasoning: Nâng cao khả năng suy luận vật lý cho mô hình sinh video mã nguồn mở. Nghiên cứu các kỹ thuật fine-tuning hoặc kiến trúc mới để cải thiện điểm số trên các chiều Logic Reasoning và Information-Based của WorldReasonBench, tập trung vào các mô hình nhẹ có thể chạy trên thiết bị di động.
  2. 2. WorldRewardBench-VN: Mở rộng WorldRewardBench cho các ngữ cảnh văn hóa và ngôn ngữ Việt Nam. Xây dựng một phiên bản benchmark với các tình huống suy luận đặc thù (ví dụ: trò chơi dân gian, hiện tượng thiên nhiên ở Việt Nam) để đánh giá khả năng thích ứng văn hóa của các mô hình.
  3. 3. EfficientWorldJudge: Phát triển một VLM judge nhẹ, hiệu quả để đánh giá video trên thiết bị biên. Nghiên cứu các phương pháp giảm số lượng frame, lượng tử hóa mô hình, hoặc sử dụng kiến trúc chuyên biệt để đạt độ chính xác tương đương Qwen3.5-27B nhưng với chi phí tính toán thấp hơn nhiều, phù hợp cho ứng dụng real-time trên điện thoại.

2. Patent:​

  1. 1. Phương pháp kiểm tra an toàn nội dung video trên điện thoại dựa trên suy luận trạng thái thế giới. Hệ thống trên điện thoại sẽ sử dụng một mô hình nhẹ (lightweight world model) để dự đoán các khung hình tiếp theo từ một khung hình hiện tại. Nếu dự đoán vi phạm các quy tắc vật lý cơ bản (ví dụ: một người đang đi bộ đột nhiên bay lên), hệ thống sẽ cảnh báo người dùng rằng video có thể chứa nội dung không thực tế hoặc được chỉnh sửa, giúp chống tin giả và bảo vệ người xem.
  2. 2. Ứng dụng chỉnh sửa video thông minh trên điện thoại dựa trên suy luận nhân quả. Người dùng có thể chọn một đối tượng trong video và yêu cầu thay đổi hành động của nó (ví dụ: 'làm cho quả bóng nảy lên thay vì lăn'). Hệ thống sẽ sử dụng một mô hình suy luận trạng thái thế giới để dự đoán các khung hình tiếp theo một cách nhất quán, tự động tạo ra video mới mà không cần người dùng phải chỉnh sửa thủ công từng khung hình.
  3. 3. Hệ thống gợi ý hành động tiếp theo trong game di động dựa trên mô hình thế giới. Khi người chơi đang ở một trạng thái nhất định trong game, hệ thống sẽ sử dụng một mô hình dự đoán trạng thái tương lai (lightweight world model) để mô phỏng các kết quả có thể xảy ra cho mỗi hành động tiềm năng. Sau đó, hệ thống sẽ gợi ý hành động tối ưu dựa trên các kết quả mô phỏng này (ví dụ: 'nếu bạn nhảy sang trái, nhân vật có thể rơi xuống hố'), giúp người chơi mới làm quen với game nhanh hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.10434
ArXiv Abstracthttps://arxiv.org/abs/2605.10434
PDF Downloadhttps://arxiv.org/pdf/2605.10434.pdf
Github Repositoryhttps://github.com/UniX-AI-Lab/WorldReasonBench

9. SEIF: Self-Evolving Reinforcement Learning for Instruction Following (25 votes)​

Tác giả: Qingyu Ren, Qianyu He, Jiajie Zhu, Xingzhou Chen, Jingwen Chang, Zeye Sun, Han Xia, Fei Yu, Jiaqing Liang, Yanghua Xiao

Xuất bản lúc: 2026-05-08

Tag: LLMs, Instruction Following, Reinforcement Learning, Self-Evolution, GRPO, Self-Play

I. Main Problem:​

Các phương pháp hiện tại nhằm cải thiện khả năng tuân theo chỉ dẫn (instruction following) của mô hình ngôn ngữ lớn (LLMs) gặp phải hai hạn chế chính: (1) Các phương pháp dựa trên giám sát từ bên ngoài (con người hoặc mô hình giáo viên mạnh) có chi phí cao và khó mở rộng. (2) Các phương pháp tự chơi (self-play) sử dụng tập chỉ dẫn có độ khó cố định, không thể tiến hóa cùng với năng lực của mô hình, dẫn đến sự bão hòa về hiệu suất. Do đó, việc liên tục và hiệu quả nâng cao khả năng tuân theo chỉ dẫn của LLMs vẫn là một thách thức lớn.

II. Main Idea:​

Tác giả đề xuất SEIF (Self-Evolving Reinforcement Learning for Instruction Following), một khung tự tiến hóa khép kín giúp cải thiện khả năng tuân theo chỉ dẫn của LLMs. SEIF bao gồm bốn vai trò: (1) Instructor (Người hướng dẫn): tạo ra các chỉ dẫn ngày càng thách thức hơn, phù hợp với năng lực hiện tại của mô hình. (2) Filter (Bộ lọc): loại bỏ các chỉ dẫn xung đột hoặc không hợp lệ để đảm bảo chất lượng dữ liệu. (3) Follower (Người theo dõi): học cách tuân theo các chỉ dẫn đã tiến hóa. (4) Judger (Người đánh giá): cung cấp tín hiệu thưởng dựa trên mức độ đáp ứng các ràng buộc trong chỉ dẫn. Các vai trò Instructor và Follower được huấn luyện luân phiên và cùng tiến hóa. Quá trình này sử dụng thuật toán tối ưu hóa GRPO (Group Relative Policy Optimization) để cập nhật tham số, cho phép phân phối chỉ dẫn thích ứng với ranh giới năng lực của Follower, từ đó thúc đẩy sự cải thiện liên tục.

III. Main Results:​

SEIF được đánh giá trên nhiều mô hình với quy mô tham số từ 1.5B đến 14B và nhiều kiến trúc khác nhau. Kết quả thực nghiệm cho thấy: (1) SEIF cải thiện nhất quán hiệu suất tuân theo chỉ dẫn trên sáu benchmark (IFEval, CFBench, FollowBench, WritingBench, AgentIF, Multi-IF). Ví dụ, trên Qwen2.5-7B-Instruct, SEIF đạt +4.7 trên IFEval, +4.0 trên CFBench, và +6.6 trên WritingBench. (2) Ngay cả mô hình nhỏ (Qwen2.5-1.5B-Instruct) cũng có lợi từ quá trình tự tiến hóa. (3) Việc tiến hóa độ khó chỉ dẫn là yếu tố then chốt: so với các phương pháp tự chơi với độ khó tĩnh, SEIF vượt trội hơn hẳn (+2.0 trên IFEval so với Meta-Rewarding). (4) SEIF duy trì hoặc cải thiện nhẹ các năng lực tổng quát của mô hình trên các benchmark như GPQA-Diamond, MMLU-Pro, BBEH, AIME.

IV. Conclusion & Future Works:​

SEIF là một khung tự tiến hóa hiệu quả cho các tác vụ mở (open-ended tasks) như tuân theo chỉ dẫn, không cần sự giám sát từ bên ngoài. Các phân tích chỉ ra rằng chiến lược huấn luyện 'đào tạo giai đoạn đầu đủ mạnh, sau đó giảm cường độ ở giai đoạn cuối' là tối ưu. Kết quả này mở ra hướng nghiên cứu đầy hứa hẹn cho việc áp dụng huấn luyện tự tiến hóa cho các tác vụ mở khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SEIF cho các tác vụ đa phương thức (Multimodal): Nghiên cứu việc áp dụng khung tự tiến hóa SEIF cho các mô hình ngôn ngữ lớn đa phương thức (ví dụ: LMMs). Thách thức chính là định nghĩa và đánh giá các ràng buộc phức tạp trên nhiều modality (văn bản, hình ảnh, âm thanh) và thiết kế cơ chế thưởng phù hợp cho các tác vụ như Visual Question Answering (VQA) hoặc Image Captioning.
  2. SEIF với cơ chế thưởng đa dạng và thích ứng (Adaptive Multi-Reward): Đề xuất cải tiến SEIF bằng cách tích hợp nhiều nguồn thưởng khác nhau (ví dụ: từ mô hình ngôn ngữ khác, từ phản hồi của người dùng) và xây dựng cơ chế tự động điều chỉnh trọng số của các nguồn thưởng này dựa trên giai đoạn huấn luyện và độ khó của chỉ dẫn, nhằm tăng tính ổn định và hiệu quả của quá trình tự tiến hóa.
  3. Phân tích lý thuyết về sự hội tụ và ổn định của Self-Evolution: Xây dựng một khung lý thuyết để phân tích điều kiện hội tụ và tính ổn định của quá trình huấn luyện tự tiến hóa như SEIF. Nghiên cứu ảnh hưởng của các siêu tham số (ví dụ: số vòng lặp, cường độ huấn luyện ở mỗi giai đoạn) đến sự cân bằng giữa khai thác (exploitation) và thăm dò (exploration) trong không gian chỉ dẫn.

2. Patent:​

  1. Phương pháp và hệ thống tự động tạo và tinh chỉnh chỉ dẫn cho trợ lý ảo trên điện thoại: Hệ thống trên điện thoại thông minh sử dụng một mô hình ngôn ngữ nhỏ (Instructor) để tự động tạo ra các câu lệnh phức tạp hơn dựa trên các câu lệnh mẫu ban đầu. Một mô hình khác (Follower) sẽ học cách thực hiện các câu lệnh này. Quá trình này lặp lại, giúp trợ lý ảo ngày càng hiểu và thực hiện tốt các yêu cầu phức tạp của người dùng mà không cần can thiệp thủ công.
  2. Ứng dụng trên điện thoại để cá nhân hóa trải nghiệm người dùng thông qua tự tiến hóa: Ứng dụng di động có khả năng tự động điều chỉnh giao diện và chức năng dựa trên hành vi và sở thích của người dùng. Hệ thống sử dụng một mô hình 'Người hướng dẫn' để tạo ra các 'thử thách' (ví dụ: đề xuất sử dụng một tính năng mới theo một cách cụ thể), và một mô hình 'Người theo dõi' học cách đáp ứng. Qua thời gian, ứng dụng sẽ tự tiến hóa để phù hợp hơn với từng người dùng.
  3. Phương pháp kiểm soát chất lượng nội dung do AI tạo ra trên thiết bị di động: Hệ thống trên điện thoại sử dụng một bộ lọc (Filter) thông minh để kiểm tra các chỉ dẫn hoặc yêu cầu phức tạp do người dùng hoặc AI tạo ra, nhằm phát hiện và loại bỏ các yêu cầu mâu thuẫn, không khả thi hoặc có thể dẫn đến kết quả không mong muốn. Điều này đảm bảo chất lượng đầu ra của các tác vụ như soạn thảo văn bản, tạo hình ảnh, hoặc lập kế hoạch.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.07465
ArXiv Abstracthttps://arxiv.org/abs/2605.07465
PDF Downloadhttps://arxiv.org/pdf/2605.07465.pdf
Github Repositoryhttps://github.com/Rainier-rq1/SEIF

10. Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models (23 votes)​

Tác giả: Victor Conchello Vendrell, Arnau Padres Masdemont, Niccolò Grillo, Jordi Ros-Giralt, Arash Behboodi, Fabio Valerio Massoli

Xuất bản lúc: 2026-05-08

Tag: Looped Transformers, KV Cache, Memory Efficiency, Latent Reasoning, Knowledge Distillation, Gating Mechanism

I. Main Problem:​

Các mô hình ngôn ngữ dạng vòng lặp (Looped LM) như Ouro thực hiện suy luận bằng cách cập nhật biểu diễn nội bộ qua nhiều vòng lặp, nhưng bộ nhớ đệm Khóa-Giá trị (KV cache) tăng tuyến tính theo số vòng lặp suy luận, dẫn đến chi phí bộ nhớ rất lớn và hạn chế khả năng mở rộng thực tế.

II. Main Idea:​

Bài báo đề xuất kiến trúc MELT (Memory-Efficient Looped Transformer) nhằm tách biệt độ sâu suy luận khỏi mức tiêu thụ bộ nhớ. Thay vì lưu trữ KV cache riêng cho mỗi lớp và mỗi vòng lặp, MELT duy trì một KV cache duy nhất cho mỗi lớp, được chia sẻ qua tất cả các vòng lặp suy luận. Cache này được cập nhật theo thời gian thông qua một cơ chế cổng (gating mechanism) có thể học được. Để huấn luyện ổn định và hiệu quả, MELT được huấn luyện theo từng khối (chunk-wise training) trong quy trình hai giai đoạn: chuyển đổi nội suy (interpolated transition) và chưng cất có căn chỉnh attention (attention-aligned distillation) từ mô hình LoopLM ban đầu.

III. Main Results:​

Mô hình MELT-1.6B, được khởi tạo từ tham số của Ouro-1.4B, vượt trội hơn các mô hình LLM tiêu chuẩn cùng kích thước (như Qwen3-1.7B, Gemma4-E2B) trên các benchmark suy luận toán học và tổng quát. MELT đạt hiệu suất tương đương Ouro trong khi giảm đáng kể bộ nhớ KV cache (giảm ~3-4 lần so với Ouro), giữ mức bộ nhớ tương đương với các mô hình không có vòng lặp.

IV. Conclusion & Future Works:​

MELT là kiến trúc đầu tiên vượt quá hiệu suất của các mô hình tiêu chuẩn với cùng mức bộ nhớ, cho thấy tính hiệu quả của suy luận lặp trong điều kiện bộ nhớ hạn chế. Hướng phát triển tương lai bao gồm: (1) mở rộng với độ sâu vòng lặp thích ứng (adaptive loop depth), (2) kết hợp với Multi-Query Attention (MQA) để giảm thêm bộ nhớ, và (3) phát triển các chiến lược huấn luyện song song hóa hơn để mở rộng quy mô.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng MELT với cơ chế độ sâu vòng lặp thích ứng: Nghiên cứu phương pháp cho phép mô hình tự động quyết định số vòng lặp suy luận dựa trên độ phức tạp của từng đầu vào, tối ưu hóa cân bằng giữa hiệu suất và chi phí tính toán.
  2. Kết hợp MELT với Multi-Query Attention (MQA): Phân tích lợi ích của việc tích hợp MQA vào kiến trúc MELT để giảm băng thông bộ nhớ và chi phí KV cache, hướng tới hiệu quả suy luận cao hơn trên các thiết bị biên.
  3. Phát triển chiến lược huấn luyện song song cho MELT: Đề xuất các phương pháp huấn luyện mới khắc phục hạn chế về sự phụ thuộc tuần tự trong KV cache của MELT, cho phép huấn luyện nhanh hơn và mở rộng quy mô lên các mô hình lớn hơn.

2. Patent:​

  1. Phương pháp và hệ thống suy luận tiết kiệm bộ nhớ cho trợ lý ảo trên điện thoại di động: Sử dụng kiến trúc MELT để duy trì một bộ nhớ đệm trạng thái ẩn có kích thước cố định qua các bước suy luận, giúp trợ lý ảo thực hiện các cuộc hội thoại phức tạp, nhiều bước mà không làm tăng đột biến dung lượng bộ nhớ sử dụng, giảm độ trễ và tiết kiệm pin.
  2. Ứng dụng MELT trong tính năng gợi ý thông minh trên bàn phím điện thoại: Cải thiện khả năng dự đoán từ và câu tiếp theo bằng cách cho phép mô hình suy luận lặp nhiều lần trong bộ nhớ ẩn, giúp các gợi ý chính xác hơn và hiểu được ngữ cảnh xa hơn mà không làm chậm tốc độ gõ.
  3. Hệ thống tóm tắt văn bản thích ứng trên thiết bị di động: Sử dụng MELT với cơ chế cổng học được để cập nhật thông tin tóm tắt qua nhiều bước, cho phép tạo ra các bản tóm tắt chất lượng cao cho các tài liệu dài (ví dụ: email, bài báo) ngay trên điện thoại, với mức tiêu thụ bộ nhớ ổn định và thấp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.07721
ArXiv Abstracthttps://arxiv.org/abs/2605.07721
PDF Downloadhttps://arxiv.org/pdf/2605.07721.pdf
Github RepositoryN/A

11. Pixal3D: Pixel-Aligned 3D Generation from Images (21 votes)​

Tác giả: Dong-Yang Li, Wang Zhao, Yuxin Chen, Wenbo Hu, Meng-Hao Guo, Fang-Lue Zhang, Ying Shan, Shi-Min Hu

Xuất bản lúc: 2026-05-11

Tag: 3D Generation, Image-to-3D, Diffusion Models, Pixel-Aligned Generation, 3D Reconstruction, Multi-View Generation, Scene Generation

I. Main Problem:​

Các phương pháp sinh 3D hiện tại từ ảnh thường gặp vấn đề về độ trung thực (fidelity): sản phẩm không khớp chính xác với ảnh đầu vào, thiếu chi tiết tinh tế và có sự lệch lạc. Nguyên nhân chính là do sự tương ứng 2D-3D không rõ ràng: các mô hình sinh 3D thường tạo hình trong không gian chuẩn (canonical space) và dùng cơ chế cross-attention để tiêm thông tin ảnh, dẫn đến sự mơ hồ trong việc ánh xạ từng điểm ảnh lên không gian 3D.

II. Main Idea:​

Bài báo đề xuất Pixal3D, một mô hình sinh 3D mới theo hướng căn chỉnh điểm ảnh (pixel-aligned). Thay vì sinh trong không gian chuẩn, Pixal3D trực tiếp tạo đối tượng 3D trong hệ tọa độ camera, đảm bảo mỗi điểm ảnh tương ứng với một tia trong không gian 3D. Để làm được điều này, nhóm tác giả giới thiệu cơ chế back-projection conditioning: chiếu ngược các đặc trưng 2D đa tỷ lệ (từ DINOv2 và bộ nội suy NAF) vào một khối đặc trưng 3D, thiết lập mối tương quan 2D-3D trực tiếp và rõ ràng, thay thế cho cross-attention. Khối đặc trưng này được thêm trực tiếp vào khối noise trong quá trình khuếch tán (diffusion). Phương pháp này cũng dễ dàng mở rộng cho đầu vào đa góc nhìn bằng cách tổng hợp các khối đặc trưng từ nhiều ảnh, và cho sinh cảnh 3D bằng cách ghép các đối tượng riêng lẻ lại với nhau.

III. Main Results:​

Pixal3D vượt trội so với các phương pháp hiện đại (TRELLIS, TripoSG, Hunyuan3D-2.1, Direct3D-S2) trên bộ dữ liệu Toys4K và ảnh thực tế. Cụ thể: (1) Độ chính xác cao hơn: IoU đạt 93.57% (so với 83.33% của Hunyuan3D-2.1), PSNR đạt 24.21 (so với 21.96), LPIPS giảm còn 0.108 (so với 0.179). (2) Sai số góc thấp hơn: Sai số góc trung bình chỉ 16.63° (so với 21.19°). (3) Đa góc nhìn: Vượt trội so với VGGT và TRELLIS ở tất cả các chỉ số CD, EMD, F-Score. (4) Người dùng đánh giá cao: Điểm fidelity trung bình 4.91/5 và quality 4.74/5 trong khảo sát người dùng.

IV. Conclusion & Future Works:​

Pixal3D chứng minh rằng sinh 3D căn chỉnh điểm ảnh là khả thi và hiệu quả, mang lại độ trung thực gần như bằng các phương pháp tái tạo (reconstruction). Hướng phát triển tương lai bao gồm: (1) Mở rộng nền tảng hình học hiện tại để tích hợp tổng hợp kết cấu và vật liệu, tận dụng khả năng căn chỉnh điểm ảnh để cải thiện độ trung thực về hình thức. (2) Khai thác sinh căn chỉnh điểm ảnh cho các ứng dụng chỉnh sửa và tương tác 3D thông qua thao tác trên điểm ảnh 2D. (3) Mở rộng sang sinh cảnh 3D từ video, kết nối tạo tài sản độ trung thực cao với xây dựng thế giới có thể kiểm soát.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Pixal3D cho sinh kết cấu và vật liệu: Tích hợp thêm nhánh sinh texture và PBR material dựa trên đặc trưng điểm ảnh đã có, tận dụng sự tương ứng 2D-3D rõ ràng để tạo ra các mô hình 3D hoàn chỉnh với bề mặt chi tiết và vật liệu chân thực.
  2. Sinh cảnh 3D tương tác từ video: Mở rộng Pixal3D để xử lý đầu vào là video, cho phép sinh và cập nhật cảnh 3D động theo thời gian thực, mở ra hướng ứng dụng trong thực tế ảo và trò chơi điện tử.
  3. Chỉnh sửa 3D dựa trên thao tác điểm ảnh 2D: Nghiên cứu khả năng chỉnh sửa mô hình 3D (thay đổi hình dạng, màu sắc, kết cấu) bằng cách tương tác trực tiếp trên ảnh 2D, nhờ vào sự tương ứng 1-1 giữa điểm ảnh và điểm 3D trong Pixal3D.

2. Patent:​

  1. Phương pháp và hệ thống tạo mô hình 3D sản phẩm từ ảnh chụp đơn giản trên điện thoại thông minh: Ứng dụng Pixal3D để người dùng chụp một vài bức ảnh sản phẩm (ví dụ: giày dép, đồ nội thất nhỏ) bằng điện thoại, và hệ thống sẽ tự động tạo ra mô hình 3D chính xác, có thể xoay và xem từ mọi góc độ. Điều này giúp ích cho việc mua sắm trực tuyến, cho phép khách hàng xem sản phẩm dưới dạng 3D trước khi quyết định mua.
  2. Ứng dụng tạo mô hình 3D khuôn mặt và đầu người để cá nhân hóa avatar trong ứng dụng di động: Sử dụng Pixal3D để tạo ra mô hình 3D khuôn mặt chính xác từ một bức ảnh selfie. Mô hình này có thể được dùng để tạo avatar 3D cá nhân hóa cho các ứng dụng mạng xã hội, trò chơi hoặc hội nghị ảo, mang lại trải nghiệm chân thực và hấp dẫn hơn.
  3. Hệ thống tạo cảnh 3D từ ảnh chụp nội thất cho ứng dụng thiết kế nhà trên di động: Người dùng chụp ảnh một căn phòng, hệ thống sẽ phân tích các đối tượng trong ảnh (bàn, ghế, đèn) và tạo ra một mô hình 3D hoàn chỉnh của căn phòng, nơi từng đồ vật có thể được chọn, di chuyển hoặc thay thế. Ứng dụng này hỗ trợ người dùng thiết kế lại không gian sống một cách trực quan và dễ dàng ngay trên điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.10922
ArXiv Abstracthttps://arxiv.org/abs/2605.10922
PDF Downloadhttps://arxiv.org/pdf/2605.10922.pdf
Github Repositoryhttps://github.com/TencentARC/Pixal3D

12. Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria (21 votes)​

Tác giả: Juanxi Tian, Fengyuan Liu, Jiaming Han, Yilei Jiang, Yongliang Wu, Yesheng Liu, Haodong Li, Furong Xu, Wanhua Li

Xuất bản lúc: 2026-05-08

Tag: Reinforcement Learning from Human Feedback, Vision-Language Models, Text-to-Image Generation, Image Editing, Reward Modeling, Multimodal Alignment

I. Main Problem:​

Các phương pháp RLHF hiện tại sử dụng tín hiệu thưởng vô hướng hoặc so sánh cặp, làm mất cấu trúc đa chiều của sở thích con người, gây ra các vấn đề như thiên vị vị trí (positional bias) và nhiễu loạn thưởng (reward hacking). Việc thiếu một giao diện có cấu trúc, rõ ràng để thể hiện và áp dụng kiến thức về sở thích là rào cản chính, chứ không phải là thiếu kiến thức đó.

II. Main Idea:​

Bài báo giới thiệu Auto-Rubric as Reward (ARR), một khung làm việc không cần huấn luyện giúp ngoại hóa kiến thức sở thích tiềm ẩn của một VLM thành các tiêu chí (rubric) rõ ràng, có thể kiểm chứng và phụ thuộc vào từng prompt. Các rubric này được tạo qua quy trình tạo-xác minh-tinh chỉnh, sau đó được cấu trúc thành một bộ tiêu chí phân cấp. Khung làm việc này được sử dụng trong Rubric Policy Optimization (RPO), nơi các quyết định ưu tiên nhị phân dựa trên rubric được dùng làm tín hiệu thưởng để tối ưu hóa chính sách sinh, thay thế các phần thưởng vô hướng mờ đục.

III. Main Results:​

ARR cải thiện độ chính xác ưu tiên từ 1.7 đến 6.3 điểm so với các mô hình thưởng đã được huấn luyện và VLM judge trực tiếp, đồng thời giảm thiên vị vị trí. Khi được sử dụng để huấn luyện với RPO, mô hình đạt được kết quả vượt trội trên các benchmark sinh ảnh từ văn bản (GenEval: 0.66 lên 0.80; DPG-Bench: 83.84 lên 85.76) và chỉnh sửa ảnh (GEdit-Bench: 7.54 lên 7.85) mà không cần tinh chỉnh judge hay dữ liệu chú thích quy mô lớn.

IV. Conclusion & Future Works:​

Khung làm việc ARR và RPO chứng minh rằng việc ngoại hóa cấu trúc sở thích thành các tiêu chí rõ ràng là một phương pháp hiệu quả, có khả năng mở rộng để căn chỉnh các mô hình sinh đa phương thức. Nó thay thế các phần thưởng vô hướng mờ đục bằng các tiêu chí rõ ràng, có thể kết hợp, dẫn đến cải thiện cả độ tin cậy đánh giá và chất lượng sinh. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng khung làm việc này sang các nhiệm vụ và lĩnh vực khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu việc áp dụng ARR-RPO để căn chỉnh các mô hình ngôn ngữ lớn (LLMs) trong các tác vụ sinh văn bản phức tạp như viết truyện hoặc tạo mã nguồn, nơi sở thích của con người có nhiều khía cạnh như tính sáng tạo, độ chính xác và phong cách.
  2. Phát triển một phương pháp tự động tinh chỉnh các rubric dựa trên phản hồi của người dùng theo thời gian thực trên điện thoại di động, giúp cải thiện dần dần chất lượng đánh giá và sinh nội dung.
  3. Mở rộng ARR để xử lý các đầu vào đa phương thức phức tạp hơn, chẳng hạn như kết hợp văn bản, hình ảnh và âm thanh, để tạo ra các đánh giá toàn diện hơn cho các ứng dụng thực tế.

2. Patent:​

  1. Phương pháp và hệ thống đánh giá chất lượng ảnh trên điện thoại di động dựa trên tiêu chí tự động: Hệ thống này sử dụng một mô hình ngôn ngữ lớn có khả năng hiểu hình ảnh (VLM) để tự động tạo ra một bộ tiêu chí đánh giá (ví dụ: độ sắc nét, màu sắc, bố cục) dựa trên ảnh gốc và ảnh đã được chỉnh sửa. Sau đó, hệ thống so sánh ảnh kết quả với các tiêu chí này để đưa ra điểm số chất lượng một cách khách quan, thay vì chỉ dựa trên đánh giá chủ quan của người dùng.
  2. Ứng dụng trên điện thoại thông minh giúp cải thiện ảnh chụp bằng cách sử dụng phần thưởng từ tiêu chí đánh giá: Ứng dụng này cho phép người dùng chụp ảnh và sau đó sử dụng một mô hình AI trên thiết bị để tự động điều chỉnh các thông số như độ sáng, độ tương phản và cân bằng trắng. Mô hình AI được huấn luyện để tối ưu hóa ảnh dựa trên một bộ tiêu chí về chất lượng ảnh (ví dụ: không bị mờ, màu sắc tự nhiên) mà nó tự tạo ra, giúp người dùng có được bức ảnh đẹp nhất mà không cần chỉnh sửa thủ công.
  3. Hệ thống gợi ý chỉnh sửa ảnh thông minh dựa trên tiêu chí rõ ràng: Khi người dùng muốn chỉnh sửa một bức ảnh, hệ thống sẽ phân tích ảnh và tạo ra một danh sách các tiêu chí cần cải thiện (ví dụ: 'tăng độ sáng cho khuôn mặt', 'làm mờ hậu cảnh'). Dựa trên các tiêu chí này, hệ thống sẽ đề xuất các công cụ chỉnh sửa phù hợp hoặc tự động thực hiện các điều chỉnh đó, giúp người dùng dễ dàng đạt được kết quả mong muốn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.08354
ArXiv Abstracthttps://arxiv.org/abs/2605.08354
PDF Downloadhttps://arxiv.org/pdf/2605.08354.pdf
Github Repositoryhttps://github.com/OpenEnvision/AutoRubric-as-Reward

13. X-OmniClaw Technical Report: A Unified Mobile Agent for Multimodal Understanding and Interaction (20 votes)​

Tác giả: Xiaoming Ren, Ru Zhen, Chao Li, Yang Song, Qiuxia Hou, Yanhao Zhang, Peng Liu, Qi Qi, Quanlong Zheng, Qi Wu, Zhenyi Liao, Binqiang Pan, Haobo Ji, Haonan Lu

Xuất bản lúc: 2026-05-07

Tag: Mobile Agent, Multimodal Perception, Edge Computing, Behavior Cloning, Memory Systems, Android Automation

I. Main Problem:​

Các giải pháp hiện tại cho tác tử di động (mobile agent) thường dựa trên kiến trúc tập trung vào đám mây (cloud-centric), vận hành trên các phiên bản Android ảo hóa từ xa, dẫn đến thiếu khả năng truy cập vào phần cứng thực tế của thiết bị (cảm biến, camera), dữ liệu cá nhân cục bộ và bối cảnh tương tác động. Đồng thời, các framework mã nguồn mở như OpenClaw chủ yếu tập trung vào PC, không phù hợp với môi trường di động linh hoạt. Ngoài ra, các tác tử dựa trên GUI thuần túy hoặc mô phỏng gặp khó khăn trong việc đảm bảo tính kiểm soát, minh bạch và khả năng tùy chỉnh cho người dùng cuối trong triển khai thực tế.

II. Main Idea:​

Bài báo giới thiệu X-OmniClaw, một tác tử di động thống nhất (unified mobile agent) cho hệ sinh thái Android, hoạt động theo kiến trúc edge-native (chạy trực tiếp trên thiết bị người dùng). Kiến trúc này tích hợp ba mô-đun cốt lõi: (1) Omni Perception - hợp nhất các luồng đầu vào đa phương thức (trạng thái UI, ngữ cảnh thị giác thế giới thực, giọng nói) thành các biểu diễn ý định có cấu trúc; (2) Omni Memory - kết hợp bộ nhớ làm việc (working memory) để duy trì liên tục tác vụ với bộ nhớ cá nhân dài hạn (long-term personal memory) được chưng cất từ dữ liệu cục bộ; (3) Omni Action - sử dụng chiến lược kết hợp cấu trúc XML và nhận thức thị giác để tương tác chính xác, cùng với cơ chế sao chép hành vi (Behavior Cloning) và phát lại quỹ đạo (Trajectory Replay) để biến các thao tác người dùng thành kỹ năng tái sử dụng.

III. Main Results:​

Hệ thống được trình diễn qua ba kịch bản sử dụng thực tế: (A) Trợ lý điều khiển thế giới thực (Real-world Copilot Assistant) - thực thi lệnh dựa trên camera và màn hình, như kiểm tra giá sản phẩm hoặc tự động giải bài tập; (B) Dịch vụ cá nhân hóa chủ động (Proactive Personalized Services) - tự động tạo video chủ đề từ ảnh trong thư viện thông qua bộ nhớ đa phương thức; (C) Sao chép hành vi và phát lại quỹ đạo (Behavior Cloning and Trajectory Replay) - cho phép người dùng ghi lại đường dẫn điều hướng phức tạp (ví dụ: vào trang flash-sale của Meituan) và triệu hồi lại bằng một câu lệnh duy nhất. Kết quả cho thấy X-OmniClaw cải thiện hiệu quả tương tác và độ tin cậy của tác vụ.

IV. Conclusion & Future Works:​

X-OmniClaw chứng minh rằng điện thoại thông minh có thể hoạt động như một giao diện tính toán góc nhìn thứ nhất (first-person computational interface), tích hợp liên tục trạng thái UI, bối cảnh thế giới thực, giọng nói và lịch sử cá nhân vào một vòng lặp thực thi duy nhất. Hướng phát triển tương lai tập trung vào ba trụ cột chiến lược: (1) Cơ chế tự tiến hóa (self-evolving mechanism) - tinh chỉnh lặp các quỹ đạo thực thi để giảm tiêu thụ token và độ trễ; (2) Tiến hóa bộ nhớ động (dynamic memory evolution) - thực hiện hợp nhất ngữ nghĩa và quên có chọn lọc để duy trì hồ sơ người dùng chất lượng cao; (3) Cộng tác thiết bị-đám mây (device-cloud synergy) - ưu tiên bảo vệ quyền riêng tư bằng cách xử lý cục bộ các dữ liệu nhạy cảm.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về cơ chế tự tiến hóa (self-evolving) cho tác tử di động: Làm thế nào để tác tử có thể tự động tinh chỉnh và tối ưu hóa các quỹ đạo thực thi của mình dựa trên phản hồi từ người dùng và kết quả thực thi, nhằm giảm thiểu độ trễ và tiêu thụ tài nguyên?
  2. Phát triển hệ thống bộ nhớ động (dynamic memory) cho trợ lý cá nhân: Nghiên cứu các phương pháp hợp nhất ngữ nghĩa (semantic consolidation) và quên có chọn lọc (selective forgetting) để duy trì hồ sơ người dùng luôn phù hợp, chất lượng cao và tôn trọng quyền riêng tư theo thời gian.
  3. Kiến trúc cộng tác thiết bị-đám mây (device-cloud synergy) cho tác tử đa phương thức: Thiết kế một pipeline xử lý thông minh, trong đó các tác vụ nhạy cảm (xử lý ảnh, dữ liệu cá nhân) được thực hiện hoàn toàn trên thiết bị, trong khi các suy luận phức tạp (reasoning) được hỗ trợ bởi đám mây, nhằm tối ưu hóa cả hiệu năng và quyền riêng tư.

2. Patent:​

  1. Phương pháp và hệ thống tạo video tự động từ ảnh cá nhân trên thiết bị di động: Hệ thống cho phép điện thoại thông minh tự động quét ảnh trong thư viện, phân tích nội dung (ví dụ: chủ đề, con vật, sự kiện) và lưu trữ dưới dạng bộ nhớ ngữ nghĩa. Khi người dùng ra lệnh bằng giọng nói (ví dụ: 'Tạo video về những chú vẹt'), hệ thống sẽ tự động truy xuất ảnh phù hợp, mở ứng dụng chỉnh sửa video (như CapCut) và thực hiện các thao tác chọn ảnh, ghép video chỉ với một chạm, giúp tiết kiệm thời gian và thao tác thủ công.
  2. Cơ chế sao chép và phát lại hành vi điều hướng ứng dụng trên điện thoại thông minh: Phương pháp cho phép người dùng ghi lại một chuỗi thao tác phức tạp trong ứng dụng (ví dụ: vào một trang khuyến mãi ẩn sâu trong ứng dụng mua sắm) thông qua một nút ghi lại. Hệ thống sẽ phân tích và lưu trữ đường dẫn dưới dạng một 'kỹ năng' có thể gọi lại bằng giọng nói hoặc văn bản. Lần sau, người dùng chỉ cần nói 'Mở trang flash-sale của Shopee' là hệ thống sẽ tự động mở đúng trang đó mà không cần phải điều hướng lại từng bước.
  3. Trợ lý ảo tương tác đa phương thức dựa trên camera và màn hình điện thoại: Hệ thống cho phép người dùng hướng camera điện thoại vào một vật thể trong thế giới thực (ví dụ: một chai nước hoa) và đặt câu hỏi (ví dụ: 'Món này giá bao nhiêu trên Shopee?'). Hệ thống sẽ kết hợp hình ảnh từ camera, giọng nói của người dùng và trạng thái màn hình để hiểu ý định, sau đó tự động mở ứng dụng mua sắm, tìm kiếm sản phẩm và hiển thị kết quả (giá cả, đánh giá) mà không cần người dùng gõ chữ hay thao tác thủ công.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.05765
ArXiv Abstracthttps://arxiv.org/abs/2605.05765
PDF Downloadhttps://arxiv.org/pdf/2605.05765.pdf
Github Repositoryhttps://github.com/OPPO-Mente-Lab/X-OmniClaw

14. Key-Value Means (19 votes)​

Tác giả: Daniel Goldstein, Eugene Cheah

Xuất bản lúc: 2026-05-11

Tag: Block-Recurrent Transformer, Linear RNN, Long-Context, Attention Mechanism, Memory Compression

I. Main Problem:​

Mô hình Transformer truyền thống gặp phải vấn đề về chi phí bộ nhớ và thời gian tính toán tuyến tính khi xử lý các ngữ cảnh dài. Trong khi đó, các mô hình RNN tuyến tính (LRNN) có bộ nhớ và thời gian tính toán hằng số cho mỗi token nhưng lại bị hạn chế về khả năng ghi nhớ ngữ cảnh dài. Bài báo này muốn giải quyết bài toán làm sao để có một kiến trúc vừa hiệu quả về chi phí tính toán, vừa có khả năng mở rộng và ghi nhớ tốt trên các ngữ cảnh dài.

II. Main Idea:​

Tác giả giới thiệu Key-Value Means (KVM), một cơ chế chú ý (attention) mới kết hợp giữa block-recurrent và softmax attention. KVM sử dụng một trạng thái nén (compressed state) có thể mở rộng linh hoạt. Nó hoạt động như một mạng hồi quy theo khối (chunked RNN) với chi phí O(N) khi cố định kích thước trạng thái, hoặc có chi phí tiền xử lý (prefill) dưới bậc hai (subquadratic) và tốc độ tăng trưởng trạng thái dưới tuyến tính (sublinear) khi cho phép trạng thái lớn dần. KVM được triển khai bằng các phép toán tiêu chuẩn, không cần kernel tùy chỉnh và hỗ trợ huấn luyện song song theo khối.

III. Main Results:​

Các thử nghiệm trên mô hình 120M và 350M tham số cho thấy KVM với trạng thái cố định (256 token) vượt trội so với các mô hình RNN tuyến tính khác như RWKV-7 trên các bài kiểm tra ngữ cảnh dài. Phiên bản KVM với trạng thái tăng trưởng theo hàm căn bậc hai (sqrt) cho kết quả tốt nhất trong số các mô hình không phải full-attention, thậm chí còn cạnh tranh được với mô hình GPTAlpha trên các ngữ cảnh vượt quá độ dài huấn luyện (8k). Các thử nghiệm trên RULER và LongBench cũng cho thấy KVM có khả năng truy xuất ngữ cảnh xa mạnh mẽ, đặc biệt là khi kích thước trạng thái được phép tăng lên.

IV. Conclusion & Future Works:​

KVM là một cơ chế chú ý mới, cho phép kết hợp linh hoạt giữa ưu điểm của RNN (chi phí thấp) và Transformer (khả năng ghi nhớ ngữ cảnh dài). Nó cung cấp một giải pháp đơn giản và hiệu quả để cân bằng giữa hiệu suất và chi phí tính toán. Hướng phát triển trong tương lai bao gồm việc tối ưu hóa lịch trình tăng trưởng trạng thái (state schedule) một cách linh hoạt dựa trên dữ liệu, áp dụng các kỹ thuật nâng cao hiệu suất như GQA và MLA, và nghiên cứu khả năng chưng cất (distill) các mô hình Transformer lớn thành các mô hình sử dụng KVM.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa lịch trình tăng trưởng trạng thái (State Schedule) cho KVM: Nghiên cứu các chiến lược lập lịch thông minh hơn, như lịch trình phụ thuộc vào nội dung dữ liệu (data-dependent scheduling) hoặc sử dụng học tăng cường (reinforcement learning) để quyết định khi nào nên mở rộng trạng thái nhằm tối ưu hóa hiệu suất trên các tác vụ cụ thể.
  2. KVM kết hợp với các kỹ thuật nén KV-cache tiên tiến (GQA, MLA): Khám phá sự kết hợp giữa KVM với các phương pháp như Grouped Query Attention (GQA) hay Multi-head Latent Attention (MLA) để giảm hơn nữa bộ nhớ và tăng tốc độ suy luận, đồng thời vẫn duy trì được chất lượng mô hình trên các ngữ cảnh dài.
  3. Chưng cất (Distillation) mô hình Transformer sang KVM: Phát triển một phương pháp hiệu quả để chưng cất kiến thức từ một mô hình Transformer lớn (teacher) sang một mô hình nhỏ hơn sử dụng KVM (student) trên một hoặc nhiều tầng, nhằm giảm chi phí tính toán và bộ nhớ trong khi vẫn giữ được phần lớn chất lượng của mô hình gốc.

2. Patent:​

  1. Phương pháp nén bộ nhớ đệm cho trợ lý ảo trên điện thoại: Một hệ thống cho phép trợ lý ảo trên điện thoại thông minh 'nhớ' và hiểu ngữ cảnh của một cuộc hội thoại dài mà không cần lưu trữ toàn bộ lịch sử. Hệ thống này sử dụng một kỹ thuật nén đặc biệt (tương tự KVM) để tóm tắt các phần hội thoại cũ thành các 'mảnh ký ức' nhỏ gọn, giúp trợ lý phản hồi nhanh chóng và chính xác hơn, đồng thời tiết kiệm bộ nhớ và pin.
  2. Ứng dụng đọc và tóm tắt tài liệu dài trên thiết bị di động: Một ứng dụng cho phép người dùng tải lên các tài liệu dài (ví dụ: sách, báo cáo) và nhận được bản tóm tắt hoặc câu trả lời cho các câu hỏi cụ thể. Ứng dụng này sử dụng một mô hình AI nhẹ (dựa trên KVM) có khả năng xử lý tài liệu theo từng khối (chunk), nén thông tin quan trọng và trả lời câu hỏi một cách nhanh chóng ngay trên điện thoại mà không cần kết nối Internet.
  3. Tính năng gợi ý nội dung cá nhân hóa dựa trên lịch sử duyệt web dài hạn: Một hệ thống trên trình duyệt điện thoại có thể theo dõi và 'ghi nhớ' sở thích của người dùng qua một khoảng thời gian dài (ví dụ: hàng tuần) bằng cách nén lịch sử duyệt web thành một 'hồ sơ sở thích' nhỏ gọn. Hệ thống này sẽ sử dụng hồ sơ này để đưa ra các gợi ý về bài viết, quảng cáo hoặc sản phẩm phù hợp, mà không cần lưu trữ toàn bộ lịch sử duyệt web riêng tư của người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.09877
ArXiv Abstracthttps://arxiv.org/abs/2605.09877
PDF Downloadhttps://arxiv.org/pdf/2605.09877.pdf
Github Repositoryhttps://github.com/recursal/KVM-paper

15. LLaVA-UHD v4: What Makes Efficient Visual Encoding in MLLMs? (16 votes)​

Tác giả: Kechen Fang, Yihua Qin, Chongyi Wang, Wenshuo Ma, Tianyu Yu, Yuan Yao

Xuất bản lúc: 2026-05-09

Tag: MLLM, Visual Encoding, Efficiency, High-Resolution, ViT, Slice-based Encoding, Token Compression

I. Main Problem:​

Bài toán chính mà nghiên cứu này giải quyết là chi phí tính toán khổng lồ trong quá trình mã hóa hình ảnh (visual encoding) của các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs), đặc biệt là với đầu vào hình ảnh có độ phân giải cao. Các phương pháp phổ biến hiện tại (mã hóa toàn cục - global encoding) tạo ra một chuỗi token rất lớn và chỉ thực hiện nén token sau khi đã qua toàn bộ ViT, dẫn đến chi phí attention bậc hai cao trong ViT, gây ra tắc nghẽn tính toán lớn.

II. Main Idea:​

Tác giả đề xuất LLaVA-UHD v4, một kiến trúc mã hóa hình ảnh hiệu quả, dựa trên hai ý tưởng chính: (1) Mã hóa dựa trên lát cắt (slice-based encoding) thay vì mã hóa toàn cục, giúp bảo toàn chi tiết cục bộ và tránh chi phí bậc hai. (2) Kỹ thuật nén sớm trong ViT (intra-ViT early compression), sử dụng một bộ nén được khởi tạo bằng cách tái sử dụng trọng số từ các lớp trước đó của ViT, giúp giảm số lượng token ngay từ các lớp nông của bộ mã hóa, từ đó giảm đáng kể chi phí tính toán cho các lớp ViT phía sau.

III. Main Results:​

Kết quả chính cho thấy LLaVA-UHD v4 giảm 55.75% FLOPs mã hóa hình ảnh so với baseline nén sau ViT (post-ViT), trong khi vẫn duy trì hoặc thậm chí vượt trội hiệu suất trên nhiều benchmark khác nhau (như MMMU, MathVista, OCRBench) ở tỷ lệ nén 16x. Mô hình hoạt động ổn định khi tăng quy mô dữ liệu huấn luyện và các thí nghiệm ablation cho thấy sự kết hợp giữa window attention và khởi tạo lại trọng số là yếu tố then chốt để đạt được hiệu quả này.

IV. Conclusion & Future Works:​

Kết luận của bài báo khẳng định LLaVA-UHD v4 là một kiến trúc mã hóa hình ảnh hiệu quả, có khả năng giảm mạnh chi phí tính toán mà không làm giảm chất lượng nhận thức chi tiết. Hướng nghiên cứu trong tương lai được đề cập là khám phá các cơ chế giảm token động, dựa trên nội dung (content-aware token reduction) bên trong bộ mã hóa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu sâu hơn về các cơ chế nén token động, có ý thức về nội dung bên trong bộ mã hóa thị giác (ViT), cho phép mô hình tự động quyết định nén bao nhiêu token ở mỗi vùng dựa trên độ phức tạp của hình ảnh.
  2. Mở rộng kiến trúc nén sớm trong ViT cho các tác vụ đa phương thức khác như video understanding, nơi chi phí tính toán cho chuỗi khung hình là rất lớn.
  3. Kết hợp kỹ thuật nén sớm trong ViT với các kiến trúc LLM khác nhau (ví dụ: mô hình ngôn ngữ dạng MoE) để tối ưu hóa hiệu suất tổng thể của hệ thống MLLM.

2. Patent:​

  1. Phương pháp và hệ thống xử lý ảnh trên thiết bị di động: Một phương pháp giúp điện thoại thông minh xử lý ảnh chụp màn hình hoặc tài liệu có độ phân giải cao. Thay vì phải phân tích toàn bộ bức ảnh cùng lúc gây tốn pin và chậm, hệ thống sẽ tự động cắt ảnh thành nhiều phần nhỏ hơn, xử lý từng phần một cách nhanh chóng, sau đó ghép lại để đưa ra kết quả cuối cùng. Điều này giúp các tính năng như nhận dạng văn bản từ ảnh chụp màn hình hoặc tra cứu thông tin từ hóa đơn diễn ra mượt mà hơn.
  2. Bộ lọc thông minh cho ứng dụng máy ảnh: Một hệ thống nén thông tin hình ảnh ngay từ những bước xử lý đầu tiên trong ứng dụng máy ảnh của điện thoại. Khi người dùng chụp ảnh một vật thể, thay vì phải gửi toàn bộ dữ liệu ảnh độ phân giải cao đi xử lý, hệ thống sẽ nén bớt các thông tin không quan trọng ngay từ đầu, giúp giảm tải cho bộ xử lý và tiết kiệm pin, trong khi vẫn giữ được các chi tiết quan trọng để nhận diện vật thể hoặc cải thiện chất lượng ảnh.
  3. Tính năng tóm tắt và tra cứu tài liệu nhanh trên điện thoại: Một ứng dụng cho phép người dùng chụp ảnh một trang sách, tài liệu hoặc slide thuyết trình và nhận được bản tóm tắt ngay lập tức. Ứng dụng sẽ sử dụng phương pháp xử lý ảnh hiệu quả để phân tích nhanh các chi tiết nhỏ (như chữ, số, biểu đồ) mà không làm chậm điện thoại, sau đó đưa ra câu trả lời hoặc bản tóm tắt ngắn gọn, giúp người dùng tiết kiệm thời gian đọc.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.08985
ArXiv Abstracthttps://arxiv.org/abs/2605.08985
PDF Downloadhttps://arxiv.org/pdf/2605.08985.pdf
Github Repositoryhttps://github.com/THUMAI-Lab/LLaVA-UHD-v4

16. G-Zero: Self-Play for Open-Ended Generation from Zero Data (15 votes)​

Tác giả: Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

Xuất bản lúc: 2026-05-11

Tag: Self-Play, Self-Evolution, LLMs, DPO, GRPO, Verifier-Free RL, Hint-δ, Co-Evolution

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) tự tiến hóa gặp khó khăn trong các tác vụ mở (open-ended) như viết sáng tạo hoặc hội thoại đa lượt, vì các phương pháp hiện tại phụ thuộc vào các bộ đánh giá bên ngoài (LLM-as-a-judge). Điều này tạo ra hai vấn đề chính: (1) năng lực của mô hình bị giới hạn bởi năng lực của bộ đánh giá, và (2) quá trình tối ưu dễ bị khai thác phần thưởng (reward hacking), khi mô hình học cách lợi dụng điểm yếu của bộ đánh giá thay vì cải thiện chất lượng thực sự.

II. Main Idea:​

Bài báo giới thiệu G-Zero, một khung làm việc đồng tiến hóa không cần bộ xác minh (verifier-free), sử dụng tín hiệu nội tại gọi là Hint-δ. Hint-δ đo lường sự thay đổi trong phân phối dự đoán của mô hình Generator khi có một gợi ý (hint) so với khi không có. G-Zero vận hành qua hai mô hình tương tác: (1) Proposer được huấn luyện bằng GRPO để tạo ra các câu hỏi khó và gợi ý hữu ích nhằm tối đa hóa Hint-δ, và (2) Generator được huấn luyện bằng DPO để nội hóa các cải thiện từ gợi ý, ưu tiên phản hồi có gợi ý hơn phản hồi không có. Quá trình này lặp lại qua nhiều vòng, cho phép cả hai mô hình cùng tiến hóa mà không cần dữ liệu bên ngoài.

III. Main Results:​

G-Zero đạt được cải thiện đáng kể trên cả tác vụ mở và có thể xác minh. Trên AlpacaEval (đo chất lượng hội thoại), mô hình Llama-3.1-8B-Instruct tăng +3.74 điểm. Trên AIME 25 (toán học), mô hình Qwen3-8B-Base tăng +5.21 điểm. Kết quả cho thấy G-Zero không chỉ cải thiện các tác vụ mở mà còn chuyển giao khả năng suy luận logic sang các lĩnh vực nghiêm ngặt như toán học.

IV. Conclusion & Future Works:​

G-Zero chứng minh rằng các mô hình ngôn ngữ có thể tự cải thiện chỉ dựa trên phản hồi nội tại, mở đường cho các hệ thống tự căn chỉnh hoàn toàn độc lập với sự can thiệp của con người. Hướng phát triển tương lai có thể bao gồm mở rộng khung làm việc cho các mô hình đa phương thức hoặc các tác vụ phức tạp hơn, đồng thời tối ưu hóa cơ chế lọc dữ liệu để giảm nhiễu nhãn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng G-Zero cho mô hình đa phương thức (Vision-Language): Phát triển phiên bản G-Zero cho các mô hình kết hợp thị giác và ngôn ngữ, nơi gợi ý (hint) có thể là hình ảnh hoặc mô tả trực quan. Tín hiệu Hint-δ sẽ đo lường sự thay đổi trong phân phối dự đoán khi có thêm thông tin hình ảnh, giúp mô hình tự cải thiện trong các tác vụ như mô tả ảnh hoặc trả lời câu hỏi trực quan mà không cần bộ đánh giá bên ngoài.
  2. G-Zero với cơ chế đa tác nhân (Multi-Agent G-Zero): Mở rộng khung làm việc để có nhiều hơn hai mô hình (Proposer và Generator), tạo thành một hệ sinh thái đa tác nhân. Các Proposer khác nhau có thể chuyên về các loại gợi ý khác nhau (ví dụ: logic, sáng tạo, kỹ thuật), trong khi Generator học cách tích hợp các cải thiện từ nhiều nguồn, dẫn đến sự tiến hóa toàn diện hơn.
  3. Tối ưu hóa hiệu quả tính toán của G-Zero: Nghiên cứu các phương pháp giảm chi phí tính toán trong quá trình đồng tiến hóa, chẳng hạn như sử dụng kỹ thuật nén mô hình hoặc huấn luyện theo từng giai đoạn. Bài báo có thể đề xuất một phiên bản G-Zero nhẹ hơn, phù hợp cho các thiết bị có tài nguyên hạn chế như điện thoại di động, mà vẫn duy trì được khả năng tự cải thiện.

2. Patent:​

  1. Phương pháp cải thiện chất lượng phản hồi của trợ lý ảo trên điện thoại thông minh: Sử dụng G-Zero để tự động tạo ra các câu hỏi khó và gợi ý hữu ích, giúp trợ lý ảo học cách đưa ra câu trả lời chính xác và tự nhiên hơn mà không cần dữ liệu huấn luyện từ con người. Qua mỗi lần tương tác, trợ lý ảo sẽ tự cải thiện dựa trên phản hồi nội tại từ chính nó.
  2. Hệ thống gợi ý nội dung cá nhân hóa cho ứng dụng đọc tin tức: Áp dụng G-Zero để tạo ra các gợi ý (hint) về chủ đề hoặc góc nhìn mới, giúp hệ thống hiểu rõ hơn về sở thích của người dùng. Generator sẽ học cách đề xuất các bài báo phù hợp hơn, dựa trên sự thay đổi trong phân phối dự đoán khi có gợi ý, mang lại trải nghiệm cá nhân hóa mà không cần thu thập quá nhiều dữ liệu người dùng.
  3. Công cụ hỗ trợ viết thông minh trên thiết bị di động: Phát triển một ứng dụng soạn thảo văn bản sử dụng G-Zero để tự động đưa ra các gợi ý cải thiện câu từ, cấu trúc hoặc nội dung. Người dùng có thể viết một đoạn văn bản, và hệ thống sẽ tạo ra các gợi ý (hint) để giúp hoàn thiện bài viết. Qua thời gian, ứng dụng sẽ học cách đưa ra các gợi ý ngày càng phù hợp với phong cách viết của từng người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.09959
ArXiv Abstracthttps://arxiv.org/abs/2605.09959
PDF Downloadhttps://arxiv.org/pdf/2605.09959.pdf
Github Repositoryhttps://github.com/Chengsong-Huang/G-Zero

17. Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning (12 votes)​

Tác giả: Junhao Shen, Teng Zhang, Xiaoyan Zhao, Hong Cheng

Xuất bản lúc: 2026-05-11

Tag: Reinforcement Learning, LLM Agents, Skill Management, Agentic RL, GRPO

I. Main Problem:​

Các phương pháp hiện tại cho rằng các kỹ năng bên ngoài (external skills) trong học tăng cường (RL) cho tác tử ngôn ngữ lớn (LLM agents) hoặc là tích lũy mãi mãi hoặc là bị loại bỏ hoàn toàn. Giả định này là quá hạn chế vì dung lượng tham số có hạn và đóng góp biên của các kỹ năng không đồng đều, dẫn đến tập kỹ năng hoạt động tối ưu không đơn điệu mà phụ thuộc vào từng nhiệm vụ và giai đoạn học.

II. Main Idea:​

Bài báo đề xuất SLIM, một khung quản lý vòng đời kỹ năng động (Dynamic Skill Lifecycle Management) cho agentic RL. SLIM coi tập kỹ năng hoạt động (active skill set) như một biến tối ưu động, được cập nhật đồng thời với quá trình học chính sách (policy learning). Cụ thể, SLIM ước tính đóng góp biên bên ngoài của mỗi kỹ năng thông qua phương pháp 'leave-one-skill-out validation', sau đó áp dụng ba thao tác vòng đời: giữ lại (retain) các kỹ năng có giá trị cao, loại bỏ (retire) các kỹ năng có đóng góp không đáng kể, và mở rộng (expand) ngân hàng kỹ năng khi phát hiện thiếu hụt khả năng bao phủ.

III. Main Results:​

SLIM vượt trội hơn các baseline tốt nhất trung bình 7.1% điểm trên hai benchmark ALFWorld và SearchQA. Trên ALFWorld, SLIM đạt 87.5% so với 75.0% của SkillRL. Trên SearchQA, SLIM đạt 41.0% so với 39.3% của Skill0. Kết quả cho thấy việc học chính sách và duy trì kỹ năng bên ngoài không loại trừ lẫn nhau: một số kỹ năng được hấp thụ vào chính sách, trong khi những kỹ năng khác tiếp tục cung cấp giá trị bên ngoài.

IV. Conclusion & Future Works:​

SLIM là một khung quản lý vòng đời kỹ năng động cho agentic RL. Ý tưởng chính là các kỹ năng bên ngoài không nên được giả định là tích lũy vô hạn hay bị loại bỏ hoàn toàn. Thay vào đó, tập kỹ năng hoạt động nên được coi là một biến tối ưu động và được cập nhật cùng với quá trình học chính sách. Kết quả cho thấy sự phân công lao động giữa tham số mô hình và bộ nhớ thủ tục bên ngoài. Các công việc trong tương lai có thể mở rộng góc nhìn này sang các môi trường đa phương thức phong phú hơn, các đơn vị vòng đời chi tiết hơn và các phương pháp kiểm toán có khả năng mở rộng hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SLIM sang môi trường đa phương thức (ví dụ: robot, điều khiển máy tính), nơi các kỹ năng có thể bao gồm các quy trình thị giác-ngôn ngữ-hành động (Vision-Language-Action) và vòng đời của chúng cần được quản lý dựa trên đóng góp vào hiệu suất tổng thể.
  2. Nghiên cứu các đơn vị vòng đời chi tiết hơn, chẳng hạn như quản lý vòng đời ở cấp độ các bước con (sub-step) hoặc các quy tắc (rule) trong một kỹ năng, thay vì toàn bộ kỹ năng, để tối ưu hóa hiệu quả hơn.
  3. Phát triển các phương pháp kiểm toán có khả năng mở rộng hơn, ví dụ như sử dụng học tăng cường để tự động học cách ước tính đóng góp biên của kỹ năng, thay vì phải thực hiện 'leave-one-skill-out validation' tốn kém.

2. Patent:​

  1. Phương pháp quản lý bộ kỹ năng động cho trợ lý ảo trên điện thoại di động: Hệ thống tự động đánh giá và giữ lại các 'thủ thuật' (kỹ năng) hữu ích cho người dùng, loại bỏ các thủ thuật không cần thiết và tự động đề xuất thủ thuật mới dựa trên các tác vụ mà người dùng thường xuyên thất bại.
  2. Hệ thống tối ưu hóa ứng dụng trên điện thoại thông minh dựa trên vòng đời kỹ năng: Ứng dụng học cách sử dụng các tính năng ngoài (ví dụ: gọi API, mở ứng dụng khác) một cách thông minh. Ban đầu, ứng dụng dựa vào hướng dẫn bên ngoài, sau đó tự động hóa các thao tác thường xuyên và chỉ giữ lại hướng dẫn cho các tác vụ phức tạp, hiếm gặp.
  3. Phương pháp cá nhân hóa trải nghiệm người dùng trên thiết bị di động: Hệ thống tự động xây dựng và quản lý một kho 'mẹo vặt' (kỹ năng) cho từng người dùng. Hệ thống sẽ học cách thực hiện các tác vụ lặp đi lặp lại, loại bỏ các mẹo không còn hữu ích và tạo mẹo mới khi người dùng gặp khó khăn với một tác vụ mới.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.10923
ArXiv Abstracthttps://arxiv.org/abs/2605.10923
PDF Downloadhttps://arxiv.org/pdf/2605.10923.pdf
Github Repositoryhttps://github.com/ejhshen/SLIM

18. Rebellious Student: Reversing Teacher Signals for Reasoning Exploration with Self-Distilled RLVR (12 votes)​

Tác giả: Jeonghye Kim, Jiwon Jeon, Dongsheng Li, Yuqing Yang

Xuất bản lúc: 2026-05-11

Tag: Self-Distillation, RLVR, GRPO, Reasoning Exploration, LLMs, Information Asymmetry

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) khi được huấn luyện với Reinforcement Learning from Verifiable Rewards (RLVR) gặp phải 'nút thắt cổ chai' trong việc gán tín hiệu học tập (credit assignment) vì chỉ có phần thưởng scalar thưa thớt ở cuối mỗi quỹ đạo. Phương pháp tự chưng cất (self-distillation) giải quyết vấn đề này bằng cách sử dụng một 'giáo viên' có thông tin bổ sung để hướng dẫn 'học sinh', nhưng trên các quỹ đạo đã đúng, cơ chế này lại ghi đè lên lựa chọn của học sinh, triệt tiêu khả năng suy luận độc lập và dẫn đến 'sự mơ hồ trong tối ưu hóa' (optimization ambiguity). Đồng thời, RLVR cũng bị mất đa dạng suy luận (reasoning diversity collapse), tập trung vào một tập hẹp các chiến lược có phần thưởng cao.

II. Main Idea:​

Bài báo đề xuất RLRT (RLVR with Reversed Teacher), một phương pháp đảo ngược tín hiệu của self-distillation trên các quỹ đạo đúng. Thay vì kéo học sinh bắt chước giáo viên, RLRT khuếch đại các token mà học sinh đã chọn khác với dự đoán của giáo viên nhưng vẫn dẫn đến kết quả đúng. Các token này được coi là dấu hiệu của 'suy luận tự định hướng' (self-driven reasoning) và 'khám phá có giá trị' (valuable exploration). Phương pháp này tận dụng sự bất đối xứng thông tin (information asymmetry) giữa giáo viên và học sinh để xác định và củng cố các quyết định suy luận độc lập, thay vì chỉ khuyến khích sự đa dạng một cách đồng đều.

III. Main Results:​

Trên các checkpoint Qwen3 (base, instruction-tuned, thinking-tuned), RLRT vượt trội so với GRPO, self-distillation (SDPO, RLSD, SRPO) và các phương pháp khám phá khác (GRPO+EB, DIVER) với mức cải thiện điểm benchmark trung bình lần lượt là 18.0%, 12.0%, 3.4% và 2.2% trên sáu bài kiểm tra toán. Các thí nghiệm can thiệp nhân quả (causal intervention) xác nhận rằng RLRT tập trung tín hiệu khám phá vào các vị trí quan trọng, và phân tích phân phối cho thấy RLRT tái tổ chức lại tập hợp ứng viên token, kéo các token từ vùng xác suất thấp của mô hình gốc lên vị trí hàng đầu, tạo ra hành vi mới thay vì chỉ làm sắc nét các dự đoán có sẵn.

IV. Conclusion & Future Works:​

RLRT thiết lập sự bất đối xứng thông tin như một trục thiết kế mới, có nguyên tắc cho RLVR, biến nó thành nguồn khám phá có giá trị. Hướng phát triển trong tương lai bao gồm mở rộng RLRT cho các phần thưởng nhiễu hơn (noisier rewards), các dạng bất đối xứng khác, và chưng cất on-policy rộng hơn ngoài self-distillation, nơi phân phối giáo viên có thể đến từ nhiều nguồn khác nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RLRT cho các tác vụ suy luận đa phương thức (Multimodal Reasoning): Nghiên cứu cách áp dụng tín hiệu 'giáo viên đảo ngược' cho các mô hình đa phương thức, nơi giáo viên có thể được điều kiện hóa bởi thông tin hình ảnh hoặc âm thanh bổ sung. Liệu việc khuếch đại các token mà học sinh chọn khác với dự đoán của giáo viên (dựa trên ngữ cảnh giàu thông tin hơn) có thúc đẩy khả năng suy luận đa phương thức độc lập và đa dạng hơn không?
  2. RLRT với phần thưởng không nhị phân (Non-binary Rewards): Phát triển một biến thể của RLRT hoạt động hiệu quả với các phần thưởng liên tục hoặc có cấu trúc phức tạp hơn (ví dụ: điểm số từ mô hình đánh giá). Cần nghiên cứu cách điều chỉnh cơ chế 'reward gating' và trọng số đảo ngược để xử lý các tín hiệu phần thưởng nhiễu và không chắc chắn, mở rộng khả năng áp dụng cho các tác vụ như viết sáng tạo hoặc tóm tắt.
  3. Phân tích lý thuyết về sự hội tụ của RLRT: Xây dựng một khung lý thuyết chặt chẽ hơn để giải thích tại sao và khi nào việc khuếch đại các token 'nổi loạn' (rebellious tokens) dẫn đến sự hội tụ nhanh hơn và kết quả tốt hơn. Nghiên cứu mối quan hệ giữa cường độ của tín hiệu đảo ngược (ε_w) và sự đánh đổi giữa khám phá (exploration) và khai thác (exploitation), cũng như tác động của nó đến cấu trúc không gian suy luận.

2. Patent:​

  1. Phương pháp cải thiện khả năng giải thích của trợ lý ảo trên điện thoại: Hệ thống trợ lý ảo trên điện thoại thông minh sử dụng kỹ thuật 'học sinh nổi loạn' để tự cải thiện khả năng trả lời các câu hỏi phức tạp. Khi người dùng đặt một câu hỏi, hệ thống sẽ tạo ra nhiều câu trả lời khác nhau. Thay vì chỉ học theo câu trả lời 'an toàn' và phổ biến nhất, hệ thống sẽ xác định những câu trả lời đúng nhưng đi theo một hướng suy luận độc đáo, khác biệt so với lối suy nghĩ thông thường. Những câu trả lời 'sáng tạo' và chính xác này sẽ được ưu tiên để huấn luyện trợ lý, giúp nó đưa ra những giải thích chi tiết, mới mẻ và hữu ích hơn cho người dùng.
  2. Ứng dụng cá nhân hóa đề xuất nội dung trên thiết bị di động: Một ứng dụng đọc báo hoặc xem video trên điện thoại sử dụng phương pháp 'giáo viên đảo ngược' để cá nhân hóa các đề xuất. 'Giáo viên' là một mô hình được huấn luyện trên dữ liệu của tất cả người dùng, đưa ra các đề xuất phổ biến. 'Học sinh' là mô hình cá nhân của từng người dùng. Khi học sinh đề xuất một nội dung mà giáo viên không dự đoán (tức là nội dung không phổ biến với số đông) nhưng người dùng đó lại thích và tương tác tích cực, hệ thống sẽ coi đó là một 'khám phá có giá trị'. Nó sẽ tăng cường huấn luyện để khuyến khích những đề xuất cá nhân, độc đáo như vậy trong tương lai.
  3. Hệ thống gợi ý từ ngữ thông minh trên bàn phím điện thoại: Bàn phím ảo trên điện thoại thông minh được trang bị một mô hình ngôn ngữ sử dụng kỹ thuật RLRT. 'Giáo viên' là mô hình dự đoán từ tiếp theo dựa trên ngữ cảnh chung và phổ biến. 'Học sinh' là mô hình dự đoán từ dựa trên thói quen gõ và phong cách viết riêng của người dùng. Khi người dùng chọn một từ mà 'học sinh' đề xuất, khác với từ mà 'giáo viên' cho là phổ biến nhất, và từ đó được người dùng sử dụng trong ngữ cảnh thành công (ví dụ: câu văn hoàn chỉnh và có nghĩa), hệ thống sẽ ghi nhận đó là một lựa chọn 'tự định hướng' tốt. Qua thời gian, bàn phím sẽ học được những từ ngữ và cách diễn đạt độc đáo, cá nhân của người dùng, cải thiện độ chính xác và tốc độ gõ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.10781
ArXiv Abstracthttps://arxiv.org/abs/2605.10781
PDF Downloadhttps://arxiv.org/pdf/2605.10781.pdf
Github RepositoryN/A

19. RigidFormer: Learning Rigid Dynamics using Transformers (12 votes)​

Tác giả: Zhiyang Dou, Minghao Guo, Haixu Wu, Doug Roble, Tuur Stuyck, Wojciech Matusik

Xuất bản lúc: 2026-05-09

Tag: Neural Simulation, Rigid-Body Dynamics, Transformer, Point Cloud, Mesh-Free, Object-Centric, SE(3), RoPE, Contact Dynamics

I. Main Problem:​

Mô phỏng động lực học vật rắn đa vật thể từ đầu vào dạng đám mây điểm (point cloud) mà không có kết nối lưới (mesh) vẫn là một thách thức lớn. Các phương pháp học hiện tại thường phụ thuộc vào kết nối lưới và tương tác ở cấp độ đỉnh (vertex-level), dẫn đến chi phí tính toán cao, khả năng mở rộng kém và khó áp dụng cho các đầu vào không có lưới như đám mây điểm. Ngoài ra, việc mô hình hóa các va chạm gián đoạn và lỗi tích lũy theo thời gian trong các mô phỏng đường dài cũng là một vấn đề lớn.

II. Main Idea:​

RigidFormer là một mô hình Transformer hướng đối tượng (object-centric) học động lực học vật rắn từ đám mây điểm mà không cần lưới. Mô hình này lý luận ở cấp độ đối tượng thay vì cấp độ đỉnh, sử dụng một tập nhỏ các 'mỏ neo' (anchors) để biểu diễn trạng thái của mỗi đối tượng. Các đóng góp chính bao gồm: (1) Cơ chế tương tác cấp đối tượng giúp giảm độ phức tạp từ O(Nv^2) xuống O(No^2). (2) Phương pháp 'Anchor-based Rotary Positional Embedding (ARoPE)' mã hóa hình học của đối tượng vào cơ chế attention, đảm bảo tính bất biến với thứ tự của các đối tượng và các mỏ neo. (3) Kỹ thuật 'Anchor-Vertex Pooling' làm giàu thông tin cho các mỏ neo với các đặc trưng cục bộ từ các đỉnh. (4) Cơ chế chiếu cứng nhắc (differentiable rigid projection) sử dụng thuật toán Kabsch để đảm bảo tính cứng nhắc của vật thể và tăng độ ổn định cho các mô phỏng đường dài. (5) Mô hình có thể điều khiển kích thước bước tích phân (step-size conditioning), cho phép một mô hình duy nhất hoạt động với nhiều Δt khác nhau.

III. Main Results:​

RigidFormer vượt trội hoặc tương đương với các baseline dựa trên lưới (mesh-based) trên các bộ dữ liệu MOVi-A, MOVi-B, MOVi-Sphere, mặc dù chỉ sử dụng đầu vào là đám mây điểm. Cụ thể, trên MOVi-B ở 100 frame, RigidFormer đạt sai số vị trí 0.161m và sai số góc quay 15.33°, cải thiện đáng kể so với HopNet (0.176m / 17.91°). Mô hình có tốc độ suy luận nhanh hơn 8 lần so với FIGNet và 101 lần so với HopNet (23.9 FPS so với 3.0 FPS và 0.2 FPS). RigidFormer cũng thể hiện khả năng tổng quát hóa tốt khi thử nghiệm trên các bộ dữ liệu khác nhau, với các độ phân giải điểm khác nhau, và có thể mở rộng lên hơn 200 đối tượng.

IV. Conclusion & Future Works:​

RigidFormer là một mô phỏng mới, hiệu quả và có khả năng mở rộng cho động lực học vật rắn đa vật thể từ dữ liệu đám mây điểm. Tuy nhiên, mô hình hiện tại chủ yếu nhắm vào động lực học va chạm vật rắn ở cấp độ đối tượng và phụ thuộc vào nhãn đối tượng để xác định điểm nào thuộc về đối tượng nào. Các hướng phát triển trong tương lai bao gồm: (1) Làm việc với các cảm biến nhiễu hơn. (2) Mở rộng sang các kịch bản hỗn hợp vật rắn – vật mềm. (3) Phát triển các bước thích ứng thời gian chi tiết hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mô phỏng động lực học vật rắn từ ảnh đơn hoặc video ngắn: Nghiên cứu khả năng kết hợp RigidFormer với các mô hình thị giác máy tính (ví dụ: các mô hình ước lượng tư thế, tái tạo 3D) để cho phép mô phỏng động lực học vật rắn trực tiếp từ đầu vào là ảnh RGB hoặc video ngắn, không cần đến dữ liệu đám mây điểm hoàn chỉnh.
  2. Kết hợp RigidFormer với các mô hình ngôn ngữ lớn (LLMs) để điều khiển mô phỏng bằng ngôn ngữ tự nhiên: Nghiên cứu việc tích hợp các hướng dẫn bằng ngôn ngữ tự nhiên (ví dụ: 'đẩy khối lập phương màu đỏ về phía quả cầu màu xanh') vào RigidFormer, cho phép người dùng điều khiển các kịch bản mô phỏng phức tạp một cách trực quan.
  3. Mô phỏng tương tác giữa vật rắn và chất lỏng dựa trên điểm: Mở rộng kiến trúc hướng đối tượng của RigidFormer để mô hình hóa các tương tác phức tạp giữa các vật thể rắn và chất lỏng (ví dụ: một vật thể rơi vào nước). Nghiên cứu cách biểu diễn chất lỏng dưới dạng các 'đối tượng điểm' và xây dựng cơ chế tương tác giữa chúng với các vật rắn.

2. Patent:​

  1. Phương pháp mô phỏng vật lý cho trò chơi điện tử trên thiết bị di động: Sử dụng RigidFormer để mô phỏng động lực học của các vật thể trong trò chơi (ví dụ: các khối xây dựng, xe cộ) từ dữ liệu đầu vào đơn giản như cảm biến gia tốc hoặc chạm màn hình. Điều này cho phép tạo ra các hiệu ứng vật lý chân thực và tương tác mượt mà trên điện thoại di động mà không cần sức mạnh tính toán lớn.
  2. Ứng dụng thực tế ảo tăng cường (AR) cho mua sắm nội thất: Một ứng dụng di động cho phép người dùng đặt các mô hình nội thất 3D vào không gian thực qua camera. RigidFormer có thể mô phỏng tương tác vật lý giữa các món đồ nội thất (ví dụ: khi người dùng kéo một chiếc ghế, nó sẽ va chạm và đẩy chiếc bàn một cách thực tế) dựa trên đám mây điểm từ camera của điện thoại, giúp trải nghiệm mua sắm trực quan hơn.
  3. Hệ thống hỗ trợ đỗ xe thông minh trên điện thoại: Sử dụng camera điện thoại để thu thập đám mây điểm của môi trường xung quanh xe. RigidFormer có thể mô phỏng nhanh các kịch bản đỗ xe khác nhau, dự đoán quỹ đạo di chuyển của xe và các vật cản xung quanh, từ đó đưa ra các cảnh báo hoặc hướng dẫn đỗ xe an toàn và chính xác cho người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.09196
ArXiv Abstracthttps://arxiv.org/abs/2605.09196
PDF Downloadhttps://arxiv.org/pdf/2605.09196.pdf
Github Repositoryhttps://github.com/Frank-ZY-Dou/Dynamics-Modeling

20. Addressing Performance Saturation for LLM RL via Precise Entropy Curve Control (11 votes)​

Tác giả: Bolian Li, Yifan Wang, Yi Ding, Anamika Lochab, Ananth Grama, Ruqi Zhang

Xuất bản lúc: 2026-05-10

Tag: Reinforcement Learning, Large Language Models, Entropy Control, Performance Saturation, Rejection Sampling

I. Main Problem:​

Các thuật toán RL cho LLM thường gặp hiện tượng bão hòa hiệu suất khi huấn luyện kéo dài. Nguyên nhân chính là sự sụp đổ entropy, làm giảm khả năng khám phá của mô hình, khiến mô hình chỉ tập trung vào một vùng giải pháp hẹp và không thể cải thiện thêm.

II. Main Idea:​

Bài báo giới thiệu Entrocraft, một phương pháp điều khiển chính xác đường cong entropy trong RL cho LLM. Entrocraft sử dụng rejection sampling để lọc các rollout dựa trên entropy hiện tại, làm lệch phân phối advantage theo hướng mong muốn (tăng hoặc giảm entropy). Phương pháp này không yêu cầu điều chỉnh hàm mục tiêu, có thể áp dụng cho mọi thuật toán policy-gradient và cho phép tùy chỉnh lịch trình entropy (ví dụ: giảm tuyến tính) để duy trì sự ổn định và cải thiện hiệu suất lâu dài.

III. Main Results:​

Entrocraft vượt trội hơn tất cả các baseline về hiệu suất trên các benchmark toán học (MATH-500, AMC-23, AIME-25). Cụ thể: mô hình 4B sử dụng Entrocraft vượt qua mô hình 8B baseline; pass@K trên AIME-25 tăng 50% so với baseline; Entrocraft duy trì cải thiện hiệu suất lâu hơn gấp 4 lần so với GRPO tiêu chuẩn trước khi bão hòa.

IV. Conclusion & Future Works:​

Entrocraft giải quyết hiệu quả vấn đề bão hòa hiệu suất bằng cách điều khiển chính xác đường cong entropy thông qua rejection sampling. Phương pháp này có thể tích hợp dễ dàng vào bất kỳ thuật toán policy-gradient nào, cho phép cải thiện liên tục trên nhiều dữ liệu hơn mà không bị bão hòa. Hướng nghiên cứu tương lai có thể mở rộng Entrocraft sang các lĩnh vực khác ngoài suy luận toán học.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Entrocraft sang các tác vụ đa dạng hơn như sinh mã, trả lời câu hỏi tổng quát, và hội thoại nhiều bước.
  2. Nghiên cứu sâu hơn về các lịch trình entropy tối ưu, kết hợp với các kỹ thuật điều chỉnh learning rate động.
  3. Kết hợp Entrocraft với các phương pháp RL mới như GRPO và GSPO để đánh giá hiệu quả trên các mô hình lớn hơn (ví dụ: 70B tham số).

2. Patent:​

  1. Phương pháp điều khiển entropy cho trợ lý ảo trên điện thoại thông minh: Sử dụng kỹ thuật rejection sampling để duy trì sự đa dạng trong câu trả lời của trợ lý ảo, tránh tình trạng lặp lại các câu trả lời giống nhau khi người dùng hỏi các câu hỏi tương tự.
  2. Hệ thống gợi ý nội dung trên thiết bị di động: Áp dụng Entrocraft để điều chỉnh mức độ khám phá của thuật toán gợi ý, giúp hệ thống không chỉ tập trung vào các nội dung phổ biến mà còn giới thiệu các nội dung mới lạ, tăng trải nghiệm người dùng.
  3. Ứng dụng cải thiện chất lượng dịch thuật trên điện thoại: Sử dụng Entrocraft để kiểm soát entropy trong quá trình huấn luyện mô hình dịch, giúp mô hình dịch thuật không bị 'bão hòa' và luôn có khả năng đưa ra các bản dịch sáng tạo và chính xác hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.26326
ArXiv Abstracthttps://arxiv.org/abs/2604.26326
PDF Downloadhttps://arxiv.org/pdf/2604.26326.pdf
Github Repositoryhttps://github.com/lblaoke/entrocraft

21. Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction (10 votes)​

Tác giả: Ngoc Bui, Hieu Trung Nguyen, Arman Cohan, Rex Ying

Xuất bản lúc: 2026-05-10

Tag: KV Cache Eviction, Long-Context Inference, Attention Dilution, Token Retention, Vision-Language Models

I. Main Problem:​

Bộ nhớ đệm KV là nút thắt cổ chai chính trong suy luận ngữ cảnh dài, khi bộ nhớ và tính toán tăng theo độ dài chuỗi. Các phương pháp loại bỏ KV hiện tại thường làm giảm hiệu suất so với suy luận đầy đủ bộ nhớ đệm. Quan trọng hơn, suy luận đầy đủ bộ nhớ đệm đôi khi không tối ưu: trong ngữ cảnh dài, các token không liên quan có thể pha loãng sự chú ý khỏi các bằng chứng hữu ích, dẫn đến hiệu suất kém.

II. Main Idea:​

Bài báo giới thiệu một phương pháp loại bỏ KV dựa trên khả năng giữ lại toàn cục (global retention), học cách đánh giá tiện ích tương lai của mỗi token dưới một ngân sách bộ nhớ thống nhất. Các cổng giữ lại (retention gates) nhẹ gán điểm số tiện ích cho các mục nhập KV đã lưu trong bộ nhớ đệm, và một phép chiếu điểm số cuối cùng được chia sẻ (shared final scoring projection) hiệu chỉnh các điểm số này trên tất cả các lớp và đầu. Điều này cho phép một chính sách loại bỏ toàn cục duy nhất, nơi các token từ các lớp, đầu và phương thức khác nhau cạnh tranh trực tiếp để giành dung lượng bộ nhớ đệm. Bài báo cũng cung cấp phân tích lý thuyết cho thấy việc giữ lại một cách ưu tiên các token hữu ích làm giảm sự pha loãng sự chú ý và biện minh cho việc giữ lại hình học (geometric retention) như một proxy độc lập với truy vấn cho tiện ích tương lai.

III. Main Results:​

Phương pháp này vượt trội hơn các phương pháp loại bỏ KV hiện có và thường đạt hoặc vượt hiệu suất suy luận đầy đủ bộ nhớ đệm trên nhiều điểm chuẩn khác nhau, bao gồm lý luận ngữ cảnh dài, hội thoại nhiều lượt và hiểu biết đa phương thức. Ví dụ, trên các điểm chuẩn lý luận hình ảnh và video, DBTrimKV đạt hiệu suất trung bình 103.73% so với vanilla ở ngân sách 512 token, trong khi các phương pháp khác chỉ đạt khoảng 55-60%. Trong các tác vụ hỏi đáp ngắn, DBTrimKV và TrimKV duy trì hiệu suất gần như vanilla (99.9%) ngay cả khi giảm đáng kể số lượng token hình ảnh.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng việc loại bỏ KV có thể học được, được hiệu chỉnh toàn cục không chỉ là một kỹ thuật nén, mà còn là một cơ chế để cải thiện lý luận ngữ cảnh dài. Hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng phương pháp này sang các kiến trúc khác, tối ưu hóa việc huấn luyện các cổng giữ lại, và khám phá các ứng dụng trong các tác vụ đa phương thức phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các cơ chế chú ý có thể học để ưu tiên các token hữu ích trong các tác vụ suy luận đa bước, nơi thông tin không liên quan có thể tích lũy và gây nhiễu.
  2. Phát triển các phương pháp loại bỏ KV thích ứng cho các mô hình ngôn ngữ lớn trong các tình huống thời gian thực, nơi ngân sách bộ nhớ có thể thay đổi linh hoạt.
  3. Mở rộng khái niệm 'giữ lại toàn cục' sang các kiến trúc mô hình khác ngoài Transformer, chẳng hạn như các mô hình dựa trên trạng thái không gian (state-space models).

2. Patent:​

  1. Một phương pháp trên điện thoại di động để quản lý bộ nhớ đệm trong các ứng dụng trợ lý ảo, nơi các token hội thoại trước đó được tự động đánh giá mức độ quan trọng và loại bỏ để tiết kiệm bộ nhớ, đồng thời vẫn duy trì khả năng hiểu ngữ cảnh của cuộc trò chuyện.
  2. Một hệ thống trên điện thoại thông minh giúp tóm tắt các tài liệu dài hoặc trang web một cách thông minh bằng cách chỉ giữ lại các token quan trọng nhất, giúp giảm thời gian xử lý và tiết kiệm pin.
  3. Một ứng dụng chỉnh sửa ảnh và video trên điện thoại sử dụng kỹ thuật loại bỏ token để tối ưu hóa hiệu suất khi xử lý các tệp phương tiện lớn, bằng cách ưu tiên các vùng quan trọng trong khung hình và loại bỏ thông tin dư thừa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.09649
ArXiv Abstracthttps://arxiv.org/abs/2605.09649
PDF Downloadhttps://arxiv.org/pdf/2605.09649.pdf
Github Repositoryhttps://github.com/ngocbh/trimkv