🤗 Daily Hugging Face Paper Digest - 2026-02-16

Báo cáo được tạo tự động vào lúc 2026-02-23 08:37:58 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs (222 votes)

Tác giả: Zhongzhi Li, Xuansheng Wu, Yijiang Li, Lijie Hu, Ninghao Liu

Xuất bản lúc: 2026-02-11

Tag: LLMs, Data Diversity, Data Synthesis, Feature Space, Sparse Autoencoder, Post-training, Fine-tuning, Feature Activation Coverage

I. Main Problem:

Sự đa dạng của dữ liệu hậu huấn luyện (post-training data) là yếu tố then chốt để đạt được hiệu suất hiệu quả trên các tác vụ xuôi dòng (downstream performance) của các mô hình ngôn ngữ lớn (LLMs). Nhiều phương pháp hiện có để xây dựng dữ liệu hậu huấn luyện định lượng sự đa dạng bằng cách sử dụng các chỉ số dựa trên văn bản (text-based metrics) hoặc không gian nhúng chung (generic embedding spaces). Những chỉ số này chỉ cung cấp tín hiệu yếu cho các đặc trưng liên quan đến tác vụ (task-relevant features) quyết định hiệu suất xuôi dòng và thường không nhận biết được mô hình (model-agnostic). Các chỉ số nhận biết mô hình (model-aware metrics) hiện có (ví dụ: dựa trên gradient) khó chuyển giao sang các kiến trúc hoặc quy mô mô hình khác. Việc thu thập một bộ dữ liệu đủ đa dạng và toàn diện trong thực tế thường khó khăn, và các chiến lược lấy mẫu truyền thống đòi hỏi nhiều nỗ lực để đảm bảo các mẫu đuôi dài (long-tailed samples) được thu thập. Câu hỏi đặt ra là: Làm thế nào để xây dựng các bộ dữ liệu hậu huấn luyện đa dạng một cách có nguyên tắc và hiệu quả? Việc nhắc nhở một trình tạo để tạo ra các mẫu tổng hợp một cách ngây thơ thường không hiệu quả, dẫn đến sự biến đổi cao và không chắc chắn trong bộ dữ liệu tổng hợp.

II. Main Idea:

Công trình này giới thiệu Feature Activation Coverage (FAC), một chỉ số đa dạng nhận biết mô hình (model-aware diversity metric) để định lượng sự đa dạng dữ liệu trong một không gian đặc trưng nội bộ có thể diễn giải được (interpretable internal feature space) của LLM. Dựa trên chỉ số này, các tác giả đề xuất FAC Synthesis, một khuôn khổ tổng hợp dữ liệu dựa trên sự đa dạng. FAC Synthesis đầu tiên sử dụng một Sparse Autoencoder (SAE) để xác định các đặc trưng bị thiếu từ một bộ dữ liệu ban đầu (seed dataset) bằng cách trích xuất các đặc trưng tiềm ẩn có thể diễn giải được từ các kích hoạt nội bộ của LLM. Sau đó, nó tạo ra các mẫu tổng hợp phản ánh rõ ràng các đặc trưng bị thiếu này. Khuôn khổ này nhằm mục đích giảm thiểu hai loại lỗi chính trong dữ liệu tổng hợp: 1) Distribution Gap, bằng cách tổng hợp dữ liệu trong không gian đặc trưng SAE, nơi mã hóa ngữ nghĩa và các thuộc tính chức năng phù hợp với tác vụ mục tiêu, và 2) Sampling Error, bằng một chiến lược tổng hợp hai bước. Bước 1 là Xây dựng cặp đối lập (Contrastive Pair Construction), tạo ra các cặp mẫu (x+, x-) cho mỗi đặc trưng bị thiếu, trong đó x+ kích hoạt mạnh đặc trưng và x- kích hoạt yếu. Bước 2 là Tổng hợp mẫu bao phủ đặc trưng (Feature-Covered Sample Synthesis), sử dụng các cặp đối lập này làm ví dụ vài lần học (few-shot demonstrations) để hướng dẫn trình tạo tạo ra các mẫu kích hoạt đủ đặc trưng mục tiêu bị thiếu. Nghiên cứu cũng xác định một không gian đặc trưng chung, có thể diễn giải được trên các họ mô hình (LLaMA, Mistral, và Qwen), cho phép chuyển giao kiến thức giữa các mô hình.

III. Main Results:

Phương pháp FAC Synthesis cải thiện nhất quán cả sự đa dạng dữ liệu và hiệu suất xuôi dòng trên các tác vụ khác nhau, bao gồm tuân thủ hướng dẫn, phát hiện độc hại, mô hình hóa phần thưởng và điều hướng hành vi. FAC đóng vai trò là một chỉ số đa dạng hiệu quả, thể hiện mối tương quan dương mạnh mẽ với hiệu suất tác vụ xuôi dòng (Pearson r = 0.95, Spearman ρ = 0.90 đối với tác vụ phát hiện độc hại). FAC Synthesis đạt hiệu suất tương đương với phương pháp SOTA MAGPIE chỉ với 2.000 mẫu tổng hợp (MAGPIE yêu cầu số lượng dữ liệu gấp 150 lần). Phương pháp được đề xuất vượt trội so với các phương pháp tổng hợp dữ liệu dựa trên LLM cơ sở trên cả bốn tác vụ, ví dụ, đạt AUPRC 62.60% cho Phát hiện độc hại và Tỷ lệ thắng (WR) 20.27% cho Tuân thủ hướng dẫn. Việc tăng tỷ lệ các đặc trưng bị thiếu được bao phủ dẫn đến cải thiện hiệu suất đơn điệu. Chiến lược tổng hợp hai bước đạt được FAC cao hơn một cách nhất quán so với phương pháp cơ sở một bước. Các đặc trưng bị thiếu được xác định bởi SAE có thể chuyển giao giữa các họ mô hình khác nhau, dẫn đến tăng hiệu suất, bao gồm cả một "hiệu ứng chuyển giao yếu sang mạnh" (weak-to-strong transfer effect). Các LLM có thể diễn giải đáng tin cậy các đặc trưng SAE và tạo ra các mẫu tổng hợp mục tiêu tương ứng. Hiệu suất của khuôn khổ này nhạy cảm với cấu hình tạo (ví dụ: nhiệt độ giải mã, lựa chọn trình tạo) và ngưỡng kích hoạt đặc trưng, với việc sử dụng trình tạo phù hợp với kiến trúc nền và nhiệt độ giải mã trung bình mang lại kết quả tốt hơn.

IV. Conclusion & Future Works:

Công trình này cung cấp một phương pháp luận vững chắc và thực tế để khám phá việc tối ưu hóa LLMs theo hướng dữ liệu (data-centric optimization). Các hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng phương pháp này sang nhiều tác vụ hơn, khám phá các kiến trúc Sparse Autoencoder (SAE) khác nhau, hoặc tối ưu hóa quy trình xác định đặc trưng để tăng cường hiệu quả và khả năng ứng dụng của khuôn khổ.

V. Brainstorming Space:

1. Publish Papers:

Exploration of Advanced Sparse Autoencoder Architectures for Feature Extraction: Nghiên cứu các kiến trúc Sparse Autoencoder (SAE) tiên tiến hơn hoặc các phương pháp khác để trích xuất các đặc trưng nội bộ, có thể diễn giải được từ LLM, nhằm cải thiện độ chính xác và khả năng diễn giải của các đặc trưng liên quan đến tác vụ. Điều này có thể bao gồm việc khám phá các kỹ thuật huấn luyện SAE mới hoặc kết hợp các ràng buộc bổ sung để tăng cường chất lượng đặc trưng.
Cross-Modal Feature Transferability and Adaptation for Data Synthesis: Mở rộng nghiên cứu về khả năng chuyển giao đặc trưng giữa các mô hình và chế độ khác nhau (ví dụ: từ LLM sang các mô hình thị giác hoặc đa phương thức). Điều này sẽ tập trung vào việc phát triển các phương pháp để thích ứng và sử dụng các đặc trưng được xác định từ một mô hình hoặc chế độ để hướng dẫn tổng hợp dữ liệu cho các mô hình hoặc tác vụ khác, đặc biệt là trong các kịch bản chuyển giao yếu-sang-mạnh.
Dynamic and Adaptive Data Synthesis for Continuous LLM Improvement: Phát triển một khuôn khổ tổng hợp dữ liệu động, nơi các đặc trưng bị thiếu được xác định và dữ liệu tổng hợp được tạo ra liên tục trong quá trình hậu huấn luyện hoặc điều chỉnh thích ứng. Mục tiêu là tạo ra một hệ thống tự động có thể thích nghi với sự thay đổi của phân phối dữ liệu và nhu cầu của tác vụ theo thời gian, tối ưu hóa hiệu suất LLM liên tục.

2. Patent:

Hệ thống tối ưu hóa phản hồi chatbot cá nhân trên điện thoại di động: Một công nghệ cho phép các chatbot trên điện thoại di động tự động cải thiện khả năng trả lời các câu hỏi hoặc yêu cầu của người dùng bằng cách phân tích các kiểu tương tác của người dùng. Hệ thống sẽ xác định những loại câu hỏi hoặc ngữ cảnh mà chatbot đang phản hồi chưa tốt, sau đó tạo ra các ví dụ huấn luyện mới, đa dạng hơn để lấp đầy những "lỗ hổng" này. Điều này giúp chatbot trở nên thông minh và hữu ích hơn mà không cần phải thu thập lượng lớn dữ liệu thực tế mới, mang lại trải nghiệm cá nhân hóa và hiệu quả hơn cho người dùng điện thoại.
Công cụ tạo nội dung thông minh cho ứng dụng di động: Một công cụ tích hợp vào các ứng dụng chỉnh sửa văn bản, mạng xã hội hoặc thiết kế trên điện thoại di động, giúp người dùng tạo ra nội dung đa dạng và sáng tạo hơn. Dựa trên một đoạn văn bản hoặc ý tưởng ban đầu, công cụ sẽ phân tích "ý nghĩa sâu sắc" (đặc trưng ngữ nghĩa) mà người dùng muốn truyền tải và đề xuất các cách diễn đạt hoặc mở rộng nội dung theo những khía cạnh chưa được khám phá, giúp bài viết, tin nhắn hoặc quảng cáo trở nên phong phú và thu hút hơn.
Chế độ huấn luyện ngôn ngữ tùy chỉnh trên thiết bị di động: Một tính năng trên điện thoại cho phép người dùng huấn luyện các mô hình ngôn ngữ nhỏ hoặc bàn phím thông minh để hiểu và tạo văn bản theo phong cách cá nhân hoặc chuyên ngành cụ thể. Thay vì chỉ học từ dữ liệu chung, hệ thống sẽ xác định những "lỗ hổng" trong việc hiểu các thuật ngữ, cách diễn đạt hoặc phong cách riêng của người dùng, sau đó tạo ra các bài tập hoặc ví dụ thực hành được tùy chỉnh để cải thiện khả năng của mô hình, giúp bàn phím dự đoán chính xác hơn hoặc trợ lý viết văn bản hiệu quả hơn trong ngữ cảnh cá nhân của người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.10388
ArXiv Abstract	https://arxiv.org/abs/2602.10388
PDF Download	https://arxiv.org/pdf/2602.10388.pdf
Github Repository	https://github.com/Zhongzhi660/FAC-Synthesis

2. SQuTR: A Robustness Benchmark for Spoken Query to Text Retrieval under Acoustic Noise (140 votes)

Tác giả: Yuejie Li, Ke Yang, Yueying Hua, Berlin Chen, Jianhao Nie, Yueping He, Caixin Kang

Xuất bản lúc: 2026-02-13

Tag: Spoken Query Retrieval, Noise Robustness, Information Retrieval, ASR, Benchmarking, End-to-End, Cascaded Systems, LLMs

I. Main Problem:

Các bộ dữ liệu đánh giá hiện có cho truy xuất truy vấn bằng giọng nói còn hạn chế, chủ yếu tập trung vào các truy vấn đơn giản trong điều kiện tiếng ồn có kiểm soát hoặc chỉ đánh giá hiệu suất của ASR (Nhận dạng giọng nói tự động) một cách riêng biệt, hoặc chỉ đánh giá truy xuất văn bản mà không tính đến nhiễu âm thanh. Điều này khiến việc đánh giá toàn diện khả năng chịu nhiễu (robustness) của các hệ thống truy xuất truy vấn bằng giọng nói trong môi trường âm thanh phức tạp trở nên khó khăn và thiếu tính so sánh thống nhất.

II. Main Idea:

Để giải quyết những hạn chế trên, nghiên cứu giới thiệu SQuTR, một bộ chuẩn (benchmark) về khả năng chịu nhiễu cho truy xuất truy vấn bằng giọng nói sang văn bản, bao gồm:

Bộ dữ liệu truy vấn bằng giọng nói quy mô lớn: SQuTR tổng hợp 37.317 truy vấn độc đáo từ sáu bộ dữ liệu truy xuất văn bản phổ biến (tiếng Anh và tiếng Trung) trên nhiều lĩnh vực và loại truy vấn đa dạng, giữ nguyên độ phức tạp ngữ nghĩa của truy vấn gốc.
Tạo giọng nói tổng hợp và nhiễu âm thanh có kiểm soát: Sử dụng hồ sơ giọng nói từ 200 người nói thực để tổng hợp giọng nói, sau đó trộn với 17 loại nhiễu môi trường thực tế ở bốn mức tỷ lệ tín hiệu trên nhiễu (SNR) có kiểm soát (Sạch, Nhiễu thấp (20dB), Nhiễu trung bình (10dB), Nhiễu cao (0dB)), cho phép đánh giá khả năng chịu nhiễu một cách có thể tái tạo.
Giao thức đánh giá thống nhất: SQuTR cung cấp một khuôn khổ đánh giá thống nhất để so sánh các hệ thống truy xuất truy vấn bằng giọng nói, bao gồm cả hệ thống phân tầng (ASR + truy xuất văn bản) và hệ thống đầu cuối (end-to-end), sử dụng các chỉ số truy xuất thông tin tiêu chuẩn như nDCG@10.

III. Main Results:

Các thí nghiệm trên SQuTR cho thấy:

Hiệu suất truy xuất giảm nhất quán khi mức độ nhiễu âm thanh tăng lên trên tất cả các hệ thống được đánh giá.
Mức độ suy giảm hiệu suất khác nhau đáng kể giữa các hệ thống: các mô hình truy xuất dense truyền thống cho thấy sự sụt giảm đơn điệu rõ rệt hơn, trong khi các mô hình generative lớn (ví dụ: Qwen3-Embedding-8B) duy trì hiệu suất tương đối ổn định hơn ở mức nhiễu cao.
Ngay cả các mô hình mạnh nhất cũng không đạt được hiệu suất truy xuất văn bản lý tưởng trong điều kiện nhiễu (ví dụ: Qwen3-Embedding-8B giảm từ 0.8033 trên văn bản xuống 0.7302 ở nhiễu cao). Các mô hình end-to-end vẫn còn kém hơn so với các hệ thống phân tầng mạnh mẽ.
Có sự khác biệt rõ rệt về độ ổn định giữa các kiến trúc: BM25 (sparse) ổn định hơn (độ lệch chuẩn thấp hơn) so với các bộ truy xuất dense dựa trên BERT (độ lệch chuẩn cao hơn).
Việc mở rộng quy mô mô hình (ví dụ: Qwen3 từ 0.6B lên 8B) giúp giảm phương sai và cải thiện hiệu quả. Mô hình end-to-end Omni-Embed-Nemotron-3B cũng cho thấy độ ổn định tốt hơn.
Việc lựa chọn backend truy xuất (dense hay lexical) quan trọng hơn kích thước mô hình ASR. Ví dụ, Whisper-Tiny nhỏ nhất kết hợp với truy xuất dense (Qwen3-Embedding-8B) vẫn vượt trội đáng kể so với Whisper-Large-v3 lớn nhất kết hợp với BM25, nhấn mạnh rằng khả năng chống nhiễu ngữ nghĩa có thể bù đắp hiệu quả các lỗi của ASR.

IV. Conclusion & Future Works:

SQuTR là một bộ chuẩn có thể kiểm soát và tái tạo để đánh giá khả năng chịu nhiễu của hệ thống truy xuất truy vấn bằng giọng nói sang văn bản trong các điều kiện nhiễu âm thanh khác nhau. Các thí nghiệm cho thấy hiệu suất giảm dần khi nhiễu tăng lên, đồng thời làm nổi bật sự khác biệt về khả năng chịu nhiễu giữa các kiến trúc và quy mô mô hình. Những phát hiện này chỉ ra rằng truy xuất bằng giọng nói chịu nhiễu vẫn là một thách thức lớn chưa được giải quyết hoàn toàn. SQuTR hy vọng sẽ thúc đẩy nghiên cứu có hệ thống và khả năng so sánh tốt hơn về khả năng chịu nhiễu trong lĩnh vực này, mở đường cho các hệ thống truy xuất bằng giọng nói mạnh mẽ hơn trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện khả năng chịu nhiễu ngữ nghĩa cho truy xuất truy vấn bằng giọng nói bằng cách kết hợp học đa phương thức và tăng cường dữ liệu âm thanh. Nghiên cứu này sẽ khám phá việc tích hợp các tín hiệu thị giác hoặc ngữ cảnh khác để bổ sung cho thông tin âm thanh bị nhiễu, cũng như các kỹ thuật tăng cường dữ liệu âm thanh tiên tiến để nâng cao độ bền của mô hình truy xuất.
Đánh giá định lượng tác động của các chiến lược xử lý lỗi ASR khác nhau lên hiệu suất truy xuất thông tin trong môi trường nhiễu. Tập trung vào việc phát triển và so sánh các phương pháp mới để giảm thiểu sự lan truyền lỗi từ ASR đến các mô hình truy xuất downstream, bao gồm các kỹ thuật sửa lỗi ngữ cảnh hoặc dự đoán từ bị thiếu.
Nghiên cứu kiến trúc truy xuất end-to-end hiệu quả cho truy vấn bằng giọng nói, tập trung vào khả năng thích ứng với các loại nhiễu âm thanh đa dạng và ngôn ngữ ít tài nguyên. Phát triển các mô hình trực tiếp ánh xạ tín hiệu giọng nói sang biểu diễn truy xuất mà không cần phiên mã tường minh, đồng thời kiểm tra khả năng khái quát hóa của chúng trên các môi trường nhiễu chưa từng thấy và các ngôn ngữ có ít dữ liệu huấn luyện.

2. Patent:

Hệ thống trợ lý giọng nói di động chống nhiễu thông minh: Một công nghệ cho phép điện thoại di động tự động phát hiện và phân loại loại nhiễu môi trường xung quanh (ví dụ: tiếng ồn giao thông, tiếng nói chuyện, tiếng quạt) và điều chỉnh thuật toán nhận dạng giọng nói hoặc truy xuất thông tin theo thời gian thực để cải thiện độ chính xác của các lệnh thoại hoặc truy vấn tìm kiếm, ngay cả khi người dùng đang ở trong môi trường ồn ào.
Công cụ tìm kiếm giọng nói cá nhân hóa và chịu nhiễu trên thiết bị di động: Một ứng dụng trên điện thoại di động sử dụng công nghệ tạo giọng nói tổng hợp và mô hình nhiễu để tạo ra các biến thể nhiễu của truy vấn giọng nói của người dùng. Các biến thể này sau đó được sử dụng để huấn luyện hoặc tinh chỉnh cục bộ một mô hình truy xuất trên thiết bị, giúp tìm kiếm thông tin chính xác hơn từ các ứng dụng hoặc tài liệu cá nhân trên điện thoại, bất kể chất lượng âm thanh đầu vào.
Hệ thống đánh giá chất lượng trải nghiệm người dùng dựa trên môi trường âm thanh cho ứng dụng thoại: Một tính năng tích hợp trong các ứng dụng trợ lý giọng nói hoặc tìm kiếm bằng giọng nói trên điện thoại di động, tự động thu thập thông tin về mức độ nhiễu âm thanh và hiệu suất nhận dạng giọng nói. Dữ liệu này được sử dụng để cung cấp phản hồi thông minh cho người dùng về khả năng thành công của truy vấn và đề xuất các biện pháp cải thiện (ví dụ: nói to hơn, di chuyển đến nơi yên tĩnh hơn), đồng thời giúp nhà phát triển ứng dụng tối ưu hóa trải nghiệm người dùng trong điều kiện thực tế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.12783
ArXiv Abstract	https://arxiv.org/abs/2602.12783
PDF Download	https://arxiv.org/pdf/2602.12783.pdf
Github Repository	https://github.com/ttoyekk1a/SQuTR-Spoken-Query-to-Text-Retrieval

3. MedXIAOHE: A Comprehensive Recipe for Building Medical MLLMs (59 votes)

Tác giả: Baorong Shi, Bo Cui, Boyuan Jiang, Deli Yu, Fang Qian, Haihua Yang, Huichao Wang, Jiale Chen, Jianfei Pan, Jieqiong Cao, Jinghao Lin, Kai Wu, Lin Yang, Shengsheng Yao, Tao Chen, Xiaojun Xiao, Xiaozhong Ji, Xu Wang, Yijun He, Zhixiong Yang

Xuất bản lúc: 2026-02-13

Tag: Medical MLLMs, VLM, Reinforcement Learning, Agentic AI, Continual Learning, Knowledge Graph, RAG, Medical AI

I. Main Problem:

Việc xây dựng các mô hình nền tảng y tế thực sự ứng dụng được trong thế giới thực vẫn còn khó khăn. Các tác vụ lâm sàng đòi hỏi không chỉ độ chính xác mà còn cả việc sử dụng bằng chứng có kỷ luật, hành vi ổn định trên các cài đặt đa dạng và khả năng tạo ra nội dung dài đáng tin cậy. Nhiều kịch bản có giá trị cao nằm trong phân khúc bệnh hiếm (long-tail) hoặc biểu hiện không điển hình, nơi các khoảng trống kiến thức có thể dẫn đến các câu trả lời tự tin nhưng không chính xác. Dữ liệu y tế cũng rất đa dạng, từ các giao thức hình ảnh khác nhau đến các báo cáo có chi tiết tinh tế. Ngoài ra, việc đánh giá tiến bộ của VLM y tế thường dựa trên một "mớ" các benchmark không nhất quán về cách nhắc lệnh, tính điểm và kiểm soát ô nhiễm, gây khó khăn cho việc tái tạo và so sánh kết quả.

II. Main Idea:

MedXIAOHE đề xuất một mô hình nền tảng thị giác-ngôn ngữ y tế toàn diện được thiết kế để nâng cao hiểu biết và lý luận y tế tổng quát trong các ứng dụng lâm sàng thực tế. Để đạt được điều này, mô hình áp dụng: (1) Khung tiền huấn luyện liên tục nhận biết thực thể (entity-aware continual pretraining): Tổ chức các tập dữ liệu y tế không đồng nhất xung quanh một hệ thống phân loại tập trung vào thực thể để mở rộng phạm vi kiến thức và giảm khoảng trống kiến thức về các trường hợp hiếm gặp. (2) Lý luận và tương tác cấp chuyên gia y tế: Tích hợp các mẫu lý luận y tế đa dạng thông qua học tăng cường (reinforcement learning) và huấn luyện tác tử tăng cường công cụ (tool-augmented agentic training), cho phép lý luận chẩn đoán đa bước với các dấu vết quyết định có thể kiểm chứng. (3) Độ tin cậy cao trong sử dụng thực tế: Tích hợp các tiêu chí ưu tiên người dùng, lý luận dựa trên bằng chứng và tạo báo cáo ít bị "ảo giác" (hallucination), đồng thời cải thiện khả năng tuân thủ các hướng dẫn y tế. (4) Khung đánh giá thống nhất: Giới thiệu "Unified Med-VLM Benchmark" tổng hợp hơn 30 benchmark công khai dưới một giao thức chuẩn hóa để đo lường và so sánh mô hình một cách có ý nghĩa hơn.

III. Main Results:

MedXIAOHE đạt hiệu suất dẫn đầu (state-of-the-art) trên nhiều benchmark y tế đa dạng và vượt trội so với các hệ thống đa phương thức mã nguồn đóng hàng đầu trên nhiều khả năng. Cụ thể:

Đạt điểm trung bình cao nhất trên hơn 30 benchmark tổng thể.
Chẩn đoán hình ảnh & nhận dạng hình ảnh: Vượt trội so với các mô hình SOTA trên Inhouse VQA/Caption/OCR và chuỗi MMMU y tế (MMMU_val-Med, MMMU_Pro-Med).
Hình ảnh y tế: Thể hiện thế mạnh rõ ràng trên các tác vụ VQA về X-quang/bệnh lý không đồng nhất như SLAKE, PATH_VQA và OmniMedVQA.
Chẩn đoán: Đạt hiệu suất lý luận chẩn đoán cạnh tranh trên RareBench và MedBrowseComp, duy trì kết quả mạnh mẽ trên DiagnosisArena và HLE-Med.
Văn bản y tế: Thể hiện kiến thức và lý luận y tế mạnh mẽ trên PubMedQA, MedQA (MCMLE/USMLE), MedBullets, CMExam, MedMCQA và HealthBench.
Tạo báo cáo y tế: Hoạt động tốt trên MIMIC-CXR và CheXpert Plus, cho thấy khả năng tạo báo cáo X-quang đáng tin cậy.
Tuân thủ hướng dẫn (Instruction Following): Hiệu quả trên các benchmark hướng dẫn đa ràng buộc và định hướng y tế (MulDimIF, MedMTbench), và vẫn cạnh tranh trên MultiChallenge.
Cây thực thể y tế (Medical Entity Tree - MET) đạt độ bao phủ tiến (Forward Coverage AMCS) trên 0.95 và độ bao phủ lùi (Backward Coverage AMCS) thấp hơn đáng kể, cho thấy phạm vi kiến thức toàn diện hơn so với các tập dữ liệu hiện có.

IV. Conclusion & Future Works:

Báo cáo này tài liệu hóa các lựa chọn thiết kế thực tế, những hiểu biết sâu sắc về khả năng mở rộng và khung đánh giá của MedXIAOHE, với hy vọng truyền cảm hứng cho các nghiên cứu sâu hơn. Mặc dù MedXIAOHE đã đạt được những thành tựu đáng kể, vẫn còn "khoảng trống" để cải thiện trong việc tạo ra các báo cáo y tế tường thuật ở một số chế độ nhất định (ví dụ: kết quả IU-Xray thấp hơn). Điều này cho thấy tiềm năng nghiên cứu tiếp theo để nâng cao khả năng tạo văn bản dài và phức tạp trong lĩnh vực y tế.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc cải thiện khả năng nhận dạng bệnh hiếm gặp bằng cách tích hợp biểu đồ tri thức y tế động và cơ chế tạo sinh tăng cường truy xuất (RAG) vào các mô hình MLLM, tập trung vào việc xử lý các trường hợp "long-tail" và tối ưu hóa quy trình cập nhật kiến thức.
Phát triển các phương pháp học tăng cường (Reinforcement Learning) mới cho lý luận y tế đa phương thức có khả năng giải thích, tạo ra các chuỗi lý luận chi tiết, minh bạch mà các chuyên gia y tế có thể kiểm tra và tin cậy, đồng thời tích hợp phản hồi từ người dùng vào quy trình huấn luyện.
Khám phá các chiến lược tiền huấn luyện liên tục và hài hòa dữ liệu đa phương thức từ nhiều nguồn y tế khác nhau (ví dụ: các bệnh viện với giao thức hình ảnh và định dạng báo cáo khác nhau) để nâng cao tính mạnh mẽ và khả năng thích ứng của MLLM y tế, trong khi vẫn đảm bảo quyền riêng tư và chất lượng dữ liệu.

2. Patent:

Một ứng dụng "Chẩn đoán Y tế Sơ bộ" trên điện thoại di động, cho phép người dùng chụp hoặc tải lên hình ảnh các triệu chứng bên ngoài (ví dụ: phát ban, vết bầm) hoặc ảnh chụp kết quả xét nghiệm/X-quang. Ứng dụng sẽ sử dụng trí tuệ nhân tạo để phân tích cả hình ảnh và văn bản, cung cấp thông tin ban đầu về tình trạng sức khỏe, các bệnh lý tiềm ẩn có thể liên quan (bao gồm cả các bệnh hiếm nhờ khả năng xử lý dữ liệu ít gặp), và đưa ra gợi ý về các bước tiếp theo như cần đi khám chuyên khoa nào, với lời nhắc rõ ràng rằng đây không phải là chẩn đoán y tế chính thức.
Hệ thống "Trợ lý Y tế Cá nhân" tích hợp sâu vào điện thoại thông minh, cho phép người dùng nhập câu hỏi về sức khỏe bằng giọng nói hoặc văn bản, kèm theo hình ảnh y tế (ví dụ: ảnh vết thương, ảnh chụp báo cáo y tế). Trợ lý sẽ sử dụng kiến thức y tế rộng lớn để trả lời câu hỏi, giải thích các thuật ngữ chuyên ngành phức tạp, và cung cấp các bước lý luận chi tiết, có cơ sở bằng chứng rõ ràng, giúp người dùng hoặc người chăm sóc hiểu rõ hơn về tình trạng sức khỏe hoặc phác đồ điều trị. Hệ thống cũng có thể tự động đọc và trích xuất thông tin từ các báo cáo y tế dạng hình ảnh (OCR) để hỗ trợ phân tích.
Công cụ "Kiểm Tra Báo Cáo Y Tế Thông Minh" cho điện thoại, cho phép người dùng tải lên hoặc chụp ảnh các báo cáo y tế (do bác sĩ viết hoặc do AI tạo ra). Ứng dụng sẽ sử dụng công nghệ ngôn ngữ lớn để phân tích nội dung, kiểm tra tính nhất quán, phát hiện các thông tin có vẻ không chính xác hoặc "ảo giác" trong mô tả lâm sàng, và đề xuất các điểm cần làm rõ hoặc chỉnh sửa. Nó cũng có thể so sánh báo cáo với các hướng dẫn y tế tiêu chuẩn để đảm bảo độ tin cậy và tuân thủ, đặc biệt hữu ích cho việc kiểm tra lại thông tin y tế quan trọng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.12705
ArXiv Abstract	https://arxiv.org/abs/2602.12705
PDF Download	https://arxiv.org/pdf/2602.12705.pdf
Github Repository	N/A

4. Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception (58 votes)

Tác giả: Lai Wei, Liangbo He, Jun Lan, Lingzhong Dong, Yutong Cai, Siyuan Li, Huijia Zhu, Weiqiang Wang, Linghe Kong, Yue Wang, Zhuosheng Zhang, Weiran Huang

Xuất bản lúc: 2026-02-12

Tag: MLLMs, Fine-grained perception, Distillation, Vision-Language, VQA, Benchmarking, Reinforcement Learning

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) xuất sắc trong việc hiểu hình ảnh tổng thể nhưng gặp khó khăn với nhận thức chi tiết, nơi các bằng chứng quyết định thường nhỏ và dễ bị 'áp đảo' bởi ngữ cảnh toàn cục. Các phương pháp "Thinking-with-Images" hiện tại giải quyết vấn đề này bằng cách lặp lại thao tác phóng to/thu nhỏ các vùng quan tâm trong quá trình suy luận, nhưng lại gây ra độ trễ cao do gọi công cụ và mã hóa lại hình ảnh nhiều lần, hạn chế ứng dụng trong thời gian thực.

II. Main Idea:

Để giải quyết vấn đề trên, chúng tôi đề xuất phương pháp "Region-to-Image Distillation" (R2I), biến việc phóng to từ một công cụ trong thời gian suy luận thành một nguyên tắc cơ bản trong thời gian huấn luyện. Cụ thể, chúng tôi sử dụng các mô hình giáo viên mạnh để tạo dữ liệu VQA chất lượng cao trên các vùng ảnh được cắt nhỏ (micro-cropped regions), nơi các chi tiết nhỏ rõ ràng và ít bị "ảo giác". Sau đó, kiến thức giám sát dựa trên vùng này được chưng cất trở lại toàn bộ hình ảnh, với việc "grounding" hình ảnh rõ ràng thông qua việc phủ các hộp giới hạn (bounding-box overlays) để tránh sự mơ hồ. Huấn luyện trên dữ liệu đã chưng cất này giúp mô hình học sinh nhỏ hơn cải thiện khả năng nhận thức chi tiết "chỉ trong một cái nhìn" (single-glance) mà không cần sử dụng công cụ. Chúng tôi cũng giới thiệu ZoomBench, một bộ dữ liệu đánh giá mới gồm 845 dữ liệu VQA được chú thích lai, bao gồm sáu khía cạnh nhận thức chi tiết, cùng với một giao thức đánh giá "dual-view" để định lượng "khoảng cách phóng to" (zooming gap) giữa ngữ cảnh toàn cục và khu vực.

III. Main Results:

Các mô hình ZwZ (ZwZ-4B/7B/8B) của chúng tôi đạt hiệu suất hàng đầu trên nhiều bộ dữ liệu đánh giá nhận thức chi tiết (ví dụ: ZwZ-8B cải thiện điểm trung bình của Qwen3-VL-8B từ 62.86 lên 68.12, với mức tăng lớn trên ZoomBench từ 37.87 lên 58.11). Chúng cạnh tranh hoặc thậm chí vượt trội so với các MLLMs tiên tiến có kích thước lớn hơn đáng kể (ví dụ: Kimi-K2.5, Qwen3-VL-235B, Gemini-3-Flash) mặc dù sử dụng kiến trúc xương sống nhỏ hơn. ZwZ cũng liên tục vượt qua nhiều mô hình tác tử "Thinking-with-Images" (ví dụ: DeepEyes, Thyme) mà không gặp phải độ trễ cao do gọi công cụ lặp đi lặp lại (nhanh hơn khoảng 10 lần). Hơn nữa, phương pháp của chúng tôi còn nâng cao khả năng nhận thức đa phương thức tổng thể, cải thiện khả năng khái quát hóa ngoài phân phối trên các bộ dữ liệu suy luận hình ảnh, phát hiện AIGC và tác tử GUI.

IV. Conclusion & Future Works:

Region-to-Image Distillation của chúng tôi thành công trong việc nội hóa lợi ích của việc "phóng to" dựa trên công cụ vào một lần chuyển tiếp duy nhất, giúp các MLLM đạt được khả năng nhận thức chi tiết tốt hơn với độ trễ thấp hơn đáng kể. Chúng tôi cũng giới thiệu ZoomBench, một bộ dữ liệu đánh giá mới, đa dạng và nghiêm ngặt cho nhận thức đa phương thức chi tiết. Trong tương lai, khung R2I có thể được khái quát hóa để chưng cất các hành động công cụ khác ngoài "phóng to", chẳng hạn như lật hình ảnh, định vị 3D và gọi các mô hình chuyên gia, mở rộng phạm vi ứng dụng của MLLM mà vẫn duy trì hiệu quả suy luận.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng khung "Region-to-Image Distillation" để chưng cất các hành động công cụ phức tạp hơn (ví dụ: định vị 3D, gọi các mô hình chuyên gia) vào một lần chuyển tiếp duy nhất của MLLM, đánh giá hiệu quả và độ trễ trên các tác vụ đa phương thức mới.
Nghiên cứu các phương pháp tự động để lựa chọn ngưỡng "sparsity" tối ưu (τ) cho việc tổng hợp các vùng cắt nhỏ dựa trên nội dung hình ảnh hoặc yêu cầu của tác vụ, thay vì sử dụng một giá trị cố định, nhằm tối ưu hóa chất lượng dữ liệu huấn luyện.
Phát triển một phương pháp tự giám sát để tạo dữ liệu VQA dựa trên vùng (region-grounded VQA data), giảm sự phụ thuộc vào các mô hình giáo viên mạnh và quá trình xác minh thủ công, đồng thời duy trì độ tin cậy cao của dữ liệu.

2. Patent:

Hệ thống Camera Điện thoại Thông minh với Khả năng Nhận diện Chi tiết Nâng cao: Một hệ thống camera trên điện thoại di động sử dụng trí tuệ nhân tạo để "phân tích trước" cảnh vật khi người dùng hướng camera. Nếu phát hiện các chi tiết nhỏ (như chữ viết nhỏ hoặc vật thể ở xa), hệ thống sẽ tự động áp dụng một quy trình tương tự "chưng cất vùng thành ảnh" để nâng cao độ rõ nét và chi tiết trong hình ảnh hiển thị, ngay cả trước khi người dùng thực hiện thao tác phóng to thủ công. Điều này giúp hiển thị rõ ràng hơn các chi tiết nhỏ mà không cần zoom quang học thực tế, làm cho chữ viết nhỏ dễ đọc hoặc vật thể ở xa dễ nhận biết hơn trên màn hình trong thời gian thực.
Trợ lý Mua sắm Di động Thông minh: Một ứng dụng trên điện thoại cho phép người dùng hướng camera vào một sản phẩm (ví dụ: áo có logo nhỏ, thực phẩm có danh sách thành phần nhỏ). Ứng dụng sử dụng mô hình AI được huấn luyện bằng phương pháp "chưng cất vùng thành ảnh" để ngay lập tức xác định các chi tiết nhỏ như logo thương hiệu, các biến thể sản phẩm cụ thể hoặc văn bản nhỏ trên nhãn, sau đó cung cấp thông tin liên quan (ví dụ: giá, đánh giá, thành phần) mà không yêu cầu người dùng phải phóng to hoặc cắt thủ công.
Ứng dụng Quét Tài liệu/Hóa đơn Di động với Tính năng Nâng cao Chi tiết: Một ứng dụng quét trên điện thoại di động tự động nâng cao các bản in nhỏ và chi tiết trên tài liệu hoặc hóa đơn. Khi người dùng quét một tài liệu, AI tích hợp (được huấn luyện bằng phương pháp chưng cất) sẽ tự động xác định và làm rõ các văn bản nhỏ, hình mờ hoặc các chi tiết mờ nhạt, đảm bảo rằng ngay cả những ký tự nhỏ nhất cũng dễ đọc trong bản quét đầu ra mà không yêu cầu nhiều lần quét hoặc điều chỉnh phóng to thủ công từ người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.11858
ArXiv Abstract	https://arxiv.org/abs/2602.11858
PDF Download	https://arxiv.org/pdf/2602.11858.pdf
Github Repository	https://github.com/inclusionAI/Zooming-without-Zooming

5. OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence (46 votes)

Tác giả: Feilong Tang, Xiang An, Yunyao Yan, Yin Xie, Bin Qin, Kaicheng Yang, Yifei Shen, Yuanhan Zhang, Chunyuan Li, Shikun Feng, Changrui Chen, Huajie Tan, Ming Hu, Manyuan Zhang, Bo Li, Ziyong Feng, Ziwei Liu, Zongyuan Ge, Jiankang Deng

Xuất bản lúc: 2026-02-09

Tag: Vision Transformer, Multimodal Learning, Video Understanding, Image Understanding, Codec Compression, Sparse Representation, Self-supervised Learning, Cluster Discrimination, Positional Embedding

I. Main Problem:

Các kiến trúc thị giác hiện đại xử lý các lưới pixel dày đặc một cách đồng nhất, lãng phí tài nguyên tính toán vào các thông tin dư thừa (như nền tĩnh) thay vì tập trung vào các phần dự đoán còn lại định nghĩa chuyển động và ý nghĩa. Điều này dẫn đến sự kém hiệu quả và hạn chế khả năng mở rộng của các mô hình hiểu biết thị giác, đặc biệt đối với video. Vấn đề cốt lõi là sự không phù hợp giữa kiến trúc mô hình và các nguyên tắc lý thuyết thông tin của dữ liệu thị giác, đặc biệt là các Codec video, vốn đã khai thác tính thưa thớt và dư thừa.

II. Main Idea:

Bài nghiên cứu đề xuất OneVision-Encoder (OV-Encoder), một kiến trúc Vision Transformer lấy cảm hứng từ codec (cụ thể là HEVC) nhằm giải quyết vấn đề hiểu biết thị giác bằng cách nén cấu trúc thị giác mang tính dự đoán thành ý nghĩa ngữ nghĩa. Ý tưởng chính là áp dụng "Codec Patchification", một phương pháp mã hóa đầu vào mới, để chỉ tập trung vào các vùng chứa nhiều thông tin (3.1%-25% các vùng có entropy tín hiệu cao) thay vì xử lý đồng nhất các lưới pixel dày đặc. OV-Encoder sử dụng 3D RoPE chung để thống nhất suy luận không gian và thời gian trên các bố cục token không đều, đồng thời được huấn luyện với mục tiêu phân biệt cụm quy mô lớn trên hơn một triệu khái niệm ngữ nghĩa, cùng lúc nắm bắt sự tồn tại của đối tượng và động lực chuyển động. Phương pháp này tận dụng các tín hiệu codec (vector chuyển động và tín hiệu dư) để xác định và chọn lọc các mảng (patch) quan trọng, từ đó đạt được hiệu quả và độ chính xác cao hơn.

III. Main Results:

Các kết quả đã xác nhận giả thuyết chính: hiệu quả và độ chính xác có tương quan thuận. Khi tích hợp vào các mô hình đa phương thức lớn (LMMs), OV-Encoder liên tục vượt trội hơn các backbone thị giác mạnh như Qwen3-ViT và SigLIP2 trên 16 điểm chuẩn về hiểu biết hình ảnh, video và tài liệu, mặc dù sử dụng ít token thị giác và dữ liệu tiền huấn luyện hơn đáng kể. Cụ thể, trong các tác vụ hiểu biết video, OV-Encoder đạt mức cải thiện trung bình 4.1% so với Qwen3-ViT. Khi được kiểm tra chuyên sâu, nó đạt chất lượng biểu diễn hiện đại, với cải thiện độ chính xác Top-1 là 17.1% so với SigLIP2 và 8.1% so với DINOv3 trên bộ dữ liệu Diving-48 với cùng ngân sách patch. Điều này cho thấy tính thưa thớt cấp độ patch được căn chỉnh theo codec không chỉ là một thủ thuật tối ưu hóa mà là một nguyên tắc nền tảng cho các mô hình thị giác đa năng thế hệ tiếp theo.

IV. Conclusion & Future Works:

Kết luận chính của nghiên cứu là tính thưa thớt ở cấp độ patch được căn chỉnh theo codec là một nguyên tắc nền tảng quan trọng cho các hệ thống thị giác tổng quát thế hệ tiếp theo. OneVision-Encoder được định vị như một công cụ có thể mở rộng cho trí tuệ đa phương thức phổ quát. Nhóm nghiên cứu đã công bố dữ liệu, giao thức huấn luyện và tham số mô hình để hỗ trợ nghiên cứu thị giác-ngôn ngữ minh bạch, có thể tái tạo và tiết kiệm chi phí.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về khả năng mở rộng của Codec Patchification trên dữ liệu video dài hạn: Khám phá giới hạn và hiệu quả của Codec Patchification khi áp dụng cho các video có thời lượng rất dài (ví dụ: hàng giờ hoặc ngày), đặc biệt trong các kịch bản giám sát hoặc phân tích sự kiện liên tục, để xem liệu nguyên tắc thưa thớt có tiếp tục mang lại lợi ích đáng kể về hiệu suất và tính toán hay không.
Tích hợp OneVision-Encoder với các mô hình ngôn ngữ lớn (LLMs) cho suy luận đa phương thức nâng cao: Nghiên cứu cách OneVision-Encoder có thể được tinh chỉnh hoặc kết hợp với các kiến trúc LLM tiên tiến để cải thiện khả năng suy luận, lập kế hoạch và tương tác trong các tác vụ đa phương thức phức tạp hơn, ví dụ như mô tả hành động chi tiết hoặc trả lời câu hỏi chuyên sâu dựa trên video.
Phát triển phương pháp Codec Patchification thích ứng với nhiều loại dữ liệu thị giác khác nhau: Mở rộng và điều chỉnh nguyên tắc Codec Patchification không chỉ cho video mà còn cho các dạng dữ liệu thị giác khác như ảnh y tế (MRI, CT scans) hoặc dữ liệu từ cảm biến (Lidar), nơi thông tin quan trọng có thể cũng xuất hiện một cách thưa thớt và mang tính dự đoán.

2. Patent:

Hệ thống tiết kiệm pin cho camera điện thoại thông minh dựa trên Codec Patchification: Một công nghệ tích hợp vào camera điện thoại thông minh, sử dụng các nguyên tắc của Codec Patchification để chỉ xử lý và lưu trữ các vùng ảnh/video có sự thay đổi đáng kể (chuyển động, đối tượng mới). Điều này giúp giảm đáng kể lượng dữ liệu cần xử lý và lưu trữ, từ đó kéo dài thời lượng pin cho điện thoại khi quay video hoặc chụp liên tục.
Chức năng "Tóm tắt sự kiện thông minh" trên điện thoại di động: Một ứng dụng di động sử dụng OV-Encoder để tự động phân tích các video đã quay. Thay vì lưu trữ toàn bộ video, ứng dụng sẽ xác định và trích xuất các khoảnh khắc quan trọng (ví dụ: chuyển động của người, thay đổi cảnh quan, sự xuất hiện của đối tượng mới) dựa trên tín hiệu codec, sau đó tạo ra một bản tóm tắt video ngắn gọn hoặc cảnh báo người dùng về các sự kiện đáng chú ý, tiết kiệm không gian lưu trữ và thời gian xem lại.
Cải thiện cuộc gọi video và phát trực tiếp trên thiết bị di động với băng thông thấp: Một tính năng trong ứng dụng gọi video hoặc phát trực tiếp trên điện thoại, sử dụng nguyên tắc thưa thớt của Codec Patchification để chỉ truyền tải những phần thay đổi của khung hình (ví dụ: khuôn mặt người nói, chuyển động chính) thay vì toàn bộ khung hình dày đặc. Điều này giúp giảm đáng kể yêu cầu về băng thông, cho phép trải nghiệm cuộc gọi video mượt mà hơn và phát trực tiếp chất lượng cao hơn ngay cả trong điều kiện mạng yếu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.08683
ArXiv Abstract	https://arxiv.org/abs/2602.08683
PDF Download	https://arxiv.org/pdf/2602.08683.pdf
Github Repository	https://github.com/EvolvingLMMs-Lab/OneVision-Encoder

6. CoPE-VideoLM: Codec Primitives For Efficient Video Language Models (29 votes)

Tác giả: Sayan Deb Sarkar, Rémi Pautrat, Ondrej Miksik, Marc Pollefeys, Iro Armeni, Mahdi Rad, Mihai Dusmanu

Xuất bản lúc: 2026-02-13

Tag: Video Language Models, Codec Primitives, Efficient AI, Token Compression, Multimodal AI, Temporal Reasoning

I. Main Problem:

Các mô hình ngôn ngữ video (VideoLMs) hiện tại sử dụng phương pháp lấy mẫu keyframe, bỏ sót các sự kiện cấp độ vĩ mô và chi tiết cấp độ vi mô do phạm vi bao phủ thời gian thưa thớt. Hơn nữa, việc xử lý toàn bộ hình ảnh và các token của chúng cho mỗi khung hình gây ra chi phí tính toán đáng kể và tiêu tốn nhiều token. Các phương pháp hiện có cũng bị giới hạn bởi cửa sổ ngữ cảnh tối đa và xử lý video dưới dạng bộ sưu tập khung hình RGB dày đặc, bỏ qua sự dư thừa có cấu trúc vốn có trong các codec video tiêu chuẩn.

II. Main Idea:

CoPE-VideoLM đề xuất tận dụng các primitive của codec video (cụ thể là motion vectors và residuals) để mã hóa sự dư thừa và thưa thớt của video mà không yêu cầu mã hóa toàn bộ hình ảnh tốn kém cho hầu hết các khung hình. Phương pháp này giới thiệu các bộ mã hóa dựa trên transformer nhẹ (Δ-Encoder) để tổng hợp các primitive codec và điều chỉnh biểu diễn của chúng với các embedding của bộ mã hóa hình ảnh thông qua chiến lược tiền huấn luyện. Các khung hình I (I-frames) được xử lý bằng bộ mã hóa thị giác tiêu chuẩn, trong khi các khung hình P (P-frames) được chuyển đổi thành các token nhỏ gọn (Δ-tokens) bằng cách sử dụng motion vectors và residuals của chúng. Luồng token cuối cùng là một chuỗi xen kẽ các token I-frame và Δ-token, cho phép bao phủ thời gian dày đặc với số lượng token và thời gian chạy giảm đáng kể.

III. Main Results:

CoPE-VideoLM giảm thời gian đến token đầu tiên (TTFT) lên đến 86% và mức sử dụng token lên đến 93% so với các VideoLMs tiêu chuẩn. Mô hình duy trì hoặc vượt trội về hiệu suất trên 14 tiêu chuẩn hiểu video đa dạng, bao gồm trả lời câu hỏi chung, lý luận thời gian, hiểu nội dung dài và hiểu cảnh không gian. Cụ thể, mô hình đạt độ chính xác cao nhất trong số các mô hình mã nguồn mở trên PerceptionTest, ActivityNet-QA, TempCompass, TOMATO, CVRR-ES, Video-TT, Video-MMMU và LVBench. Cấu hình nhỏ gọn nhất (1 keyframe mỗi GOP) giảm 86.2% TTFT và nhanh hơn 56.01% thời gian trễ đầu cuối (E2EL).

IV. Conclusion & Future Works:

CoPE-VideoLM là một cách tiếp cận thực tế và hiệu quả để mở rộng quy mô VideoLMs, cho phép lý luận thời gian chi tiết và sử dụng hiệu quả cửa sổ ngữ cảnh. Khung token hóa nhận biết codec này nắm bắt hiệu quả ngữ nghĩa video cho các tác vụ hiểu đa dạng và mang lại lợi ích hiệu quả quan trọng trong quá trình suy luận. Trong tương lai, phương pháp này có thể được mở rộng để đạt được khả năng mở rộng mượt mà cho các video dài hơn bằng cách điều chỉnh mật độ I-frame, nhóm P-frame và phân bổ token, đồng thời có tiềm năng ứng dụng cho các tác vụ khác như truy xuất video hoặc nhận dạng hành động.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng CoPE sang các định dạng codec video tiên tiến hơn: Nghiên cứu tích hợp các codec video mới hơn (ví dụ: AV1, HEVC với B-frames) để khai thác hiệu quả nén cao hơn nữa và cải thiện chất lượng biểu diễn, đặc biệt cho các ứng dụng yêu cầu độ trễ cực thấp hoặc chất lượng hình ảnh cao.
Tối ưu hóa chiến lược lựa chọn keyframe và nhóm P-frame động: Phát triển các thuật toán học máy để tự động điều chỉnh mật độ keyframe và kích thước nhóm P-frame dựa trên nội dung video và yêu cầu của tác vụ, thay vì các cấu hình cố định, nhằm tối đa hóa hiệu quả token mà vẫn duy trì độ chính xác.
Áp dụng biểu diễn codec-aware cho các tác vụ Vision-Language khác: Khám phá việc sử dụng các primitive codec (motion vectors, residuals) cho các tác vụ AI video khác ngoài VideoLMs, chẳng hạn như nhận dạng hành động thời gian thực, tóm tắt video tự động hoặc tìm kiếm video dựa trên nội dung, để đạt được hiệu quả tính toán tương tự.

2. Patent:

Hệ thống tóm tắt video thông minh trên điện thoại: Một ứng dụng di động sử dụng công nghệ codec primitive để phân tích nhanh chóng các video dài (ví dụ: video quay từ camera điện thoại) và tự động tạo ra các đoạn tóm tắt ngắn gọn hoặc điểm nổi bật mà không cần xử lý toàn bộ khung hình RGB, giúp tiết kiệm pin và dung lượng lưu trữ. Người dùng có thể yêu cầu tóm tắt bằng ngôn ngữ tự nhiên.
Chức năng tìm kiếm và hỏi đáp video hiệu quả trên thiết bị di động: Tích hợp công nghệ này vào thư viện ảnh/video của điện thoại để người dùng có thể đặt câu hỏi về nội dung cụ thể trong video ("Khi nào quả bóng gần va chạm với cây bút chì?") hoặc tìm kiếm các khoảnh khắc dựa trên mô tả, với tốc độ phản hồi nhanh hơn đáng kể nhờ việc chỉ xử lý dữ liệu thay đổi giữa các khung hình, tối ưu hóa trải nghiệm người dùng trên các thiết bị có tài nguyên hạn chế.
Ghi chú video và gắn thẻ thông minh thời gian thực: Cho phép điện thoại phân tích các thay đổi trong video (qua motion vectors và residuals) ngay trong quá trình quay hoặc xem lại, tự động gắn thẻ các sự kiện, đối tượng di chuyển hoặc hành động quan trọng. Ví dụ, khi một người bắt đầu chạy hoặc một vật thể di chuyển nhanh, hệ thống sẽ tự động tạo ghi chú hoặc cho phép người dùng thêm ghi chú bằng giọng nói vào những khoảnh khắc chính xác đó, cải thiện khả năng tổ chức và truy xuất video.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.13191
ArXiv Abstract	https://arxiv.org/abs/2602.13191
PDF Download	https://arxiv.org/pdf/2602.13191.pdf
Github Repository	N/A

7. SemanticMoments: Training-Free Motion Similarity via Third Moment Features (21 votes)

Tác giả: Saar Huberman, Kfir Goldberg, Or Patashnik, Sagie Benaim, Ron Mokady

Xuất bản lúc: 2026-02-09

Tag: Video Retrieval, Motion Similarity, Computer Vision, Self-supervised Learning, Temporal Statistics, Feature Representation

I. Main Problem:

Các phương pháp biểu diễn video hiện có quá phụ thuộc vào sự xuất hiện tĩnh và ngữ cảnh cảnh quay, bỏ qua động lực chuyển động theo thời gian, dẫn đến việc tìm kiếm video dựa trên chuyển động ngữ nghĩa là một vấn đề cơ bản nhưng chưa được giải quyết. Các mô hình hiện tại thường thất bại trong việc tách biệt chuyển động khỏi hình thức bên ngoài, ngay cả các phương pháp dựa trên optical flow cũng thiếu ngữ nghĩa để hiểu chuyển động cấp cao. Các bộ dữ liệu hiện hành và mục tiêu huấn luyện thường thiên về hình thức, khiến các mô hình học các tín hiệu tĩnh thay vì cấu trúc thời gian thực sự, và việc thu thập dữ liệu chú thích quy mô lớn cho huấn luyện là cực kỳ tốn kém.

II. Main Idea:

SemanticMoments đề xuất một phương pháp đơn giản, không cần huấn luyện, tính toán các thống kê thời gian (cụ thể là các momen bậc cao hơn như phương sai và độ xiên) trên các đặc trưng từ các mô hình ngữ nghĩa đã được tiền huấn luyện (ví dụ: DINO). Thay vì chỉ sử dụng momen bậc nhất (trung bình cộng) để nắm bắt hình thức chung, phương pháp này bổ sung momen bậc hai (năng lượng chuyển động) và bậc ba (tính bất đối xứng của sự thay đổi) trên các embedding cấp patch để nắm bắt động lực học thời gian phong phú. Đồng thời, nghiên cứu giới thiệu bộ benchmark SimMotion (gồm SimMotion-Synthetic được kiểm soát và SimMotion-Real được chú thích bởi con người) để đánh giá chính xác khả năng tương đồng chuyển động, giúp phân tích các hạn chế của các phương pháp hiện có và cung cấp một nền tảng đánh giá thực tế hơn.

III. Main Results:

SemanticMoments liên tục vượt trội so với các phương pháp RGB, flow và được giám sát bằng văn bản hiện có trên các bộ benchmark SimMotion. Cụ thể, trên SimMotion-Synthetic, SemanticMomentsDINO đạt điểm trung bình tổng thể tốt nhất là 86.40, với những cải thiện đáng kể trong các danh mục Dynamic Object và View. Trên SimMotion-Real, SemanticMomentsDINO đạt độ chính xác truy xuất 42.50, cao hơn đáng kể so với các phương pháp khác, cho thấy tính mạnh mẽ đối với sự biến đổi trong thế giới thực. Ngoài ra, việc áp dụng SemanticMoments nhất quán cải thiện các chỉ số trên bộ benchmark cử chỉ Jester (ví dụ: SemanticMomentsDINO đạt 25.0 Acc@1w-kNN so với 7.8 của DINOv2). Các nghiên cứu loại bỏ cho thấy việc kết hợp các momen bậc cao hơn và hoạt động ở mức độ chi tiết cấp patch giúp cải thiện đáng kể khả năng căn chỉnh chuyển động.

IV. Conclusion & Future Works:

Nghiên cứu này đã xác định và giải quyết vấn đề tương đồng video tập trung vào chuyển động, một lĩnh vực mà các benchmark và phương pháp hiện có còn hạn chế do sự thiên vị về hình thức tĩnh. SemanticMoments, một biểu diễn không cần huấn luyện dựa trên thống kê thời gian của các đặc trưng ngữ nghĩa tiền huấn luyện, đã chứng minh hiệu quả vượt trội so với các phương pháp trước đây. Tuy nhiên, kết quả trên dữ liệu thực tế cho thấy các mô hình vẫn còn xa mới đạt được khả năng nhận thức chuyển động ở cấp độ con người. Các hướng nghiên cứu trong tương lai bao gồm tinh chỉnh phương pháp cho các trường hợp góc cạnh (như cử chỉ tay tinh vi hoặc tương tác đa tác nhân), phát triển các backbone video-native mạnh mẽ hơn để khắc phục giới hạn của các backbone ảnh hiện tại, và giải quyết các động lực cực kỳ tinh tế hoặc chuyển động được định nghĩa bởi sự vắng mặt của chuyển động.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về ảnh hưởng của các bậc thống kê momen cao hơn đến khả năng biểu diễn chuyển động trong các mô hình thị giác-ngôn ngữ (Vision-Language Models): Khám phá cách tích hợp các momen bậc 4 trở lên (ví dụ: kurtosis) có thể cải thiện khả năng phân biệt các chuyển động tinh vi hơn hoặc các kiểu chuyển động phức tạp mà momen bậc 2 và 3 chưa nắm bắt được hoàn toàn, đặc biệt trong các tác vụ yêu cầu hiểu sâu về ngữ nghĩa chuyển động.
Phát triển phương pháp huấn luyện có giám sát (supervised training) hoặc tinh chỉnh (finetuning) SemanticMoments cho các tác vụ chuyển động chuyên biệt: Mặc dù SemanticMoments hiện tại là training-free, nhưng việc tinh chỉnh nó trên các bộ dữ liệu chuyên biệt (ví dụ: cử chỉ tay, chuyển động y tế, tương tác đa tác nhân) có thể cải thiện đáng kể hiệu suất cho các trường hợp góc cạnh (corner cases) và chuyển động tinh tế, đồng thời so sánh hiệu quả với các phương pháp huấn luyện từ đầu.
Tích hợp SemanticMoments với các kiến trúc backbone video-native mới để tạo ra biểu diễn chuyển động mạnh mẽ hơn: Nghiên cứu cách kết hợp hiệu quả các đặc trưng momen với các mô hình backbone được thiết kế riêng cho video (thay vì dựa vào các mô hình tiền huấn luyện từ hình ảnh như DINO) để nâng cao chất lượng biểu diễn và vượt qua giới hạn hiện tại của các backbone ảnh, đặc biệt tập trung vào khả năng khái quát hóa trong các môi trường không kiểm soát.

2. Patent:

Hệ thống tìm kiếm video theo chuyển động trên điện thoại thông minh: Một ứng dụng di động cho phép người dùng tìm kiếm video trong thư viện ảnh hoặc trên mạng dựa trên mô tả chuyển động mà họ muốn tìm (ví dụ: "người đang nhảy múa", "con mèo đang vươn vai"). Hệ thống này sẽ phân tích chuyển động trong các video bằng cách sử dụng các đặc điểm thống kê về cách các đối tượng thay đổi theo thời gian, thay vì chỉ dựa vào hình ảnh tĩnh, giúp tìm kiếm chính xác hơn các video có chuyển động tương tự ngay cả khi hình thức bên ngoài khác nhau.
Tính năng chỉnh sửa video tự động dựa trên chuyển động tương tự: Một công cụ tích hợp trong ứng dụng chỉnh sửa video trên điện thoại, cho phép người dùng tự động thay đổi hoặc điều chỉnh chuyển động của một đối tượng trong video bằng cách sao chép chuyển động từ một video khác. Ví dụ, người dùng có thể quay một người đang đi bộ và sau đó áp dụng chính xác kiểu đi bộ đó cho một nhân vật hoạt hình hoặc một người khác trong video của họ, bằng cách so sánh và khớp các đặc điểm chuyển động chính mà không cần các bước chỉnh sửa phức tạp.
Cải thiện trải nghiệm xem video thể thao với phân tích chuyển động tức thì: Một ứng dụng di động hoặc tính năng trong ứng dụng xem thể thao cho phép người dùng tua nhanh hoặc tìm kiếm các khoảnh khắc quan trọng (ví dụ: "cú sút bóng", "pha ghi bàn", "cú nhảy cao") trong các video trận đấu. Hệ thống sẽ nhận diện các chuyển động đặc trưng của từng môn thể thao bằng cách phân tích sự thay đổi vị trí và hình dạng của các cầu thủ/vật thể theo thời gian, giúp người dùng dễ dàng xem lại các pha hành động nổi bật mà không cần tua thủ công và bỏ lỡ các khoảnh khắc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.09146
ArXiv Abstract	https://arxiv.org/abs/2602.09146
PDF Download	https://arxiv.org/pdf/2602.09146.pdf
Github Repository	N/A

8. GeoAgent: Learning to Geolocate Everywhere with Reinforced Geographic Characteristics (20 votes)

Tác giả: Modi Jin, Yiming Zhang, Boyuan Sun, Dingwen Zhang, MingMing Cheng, Qibin Hou

Xuất bản lúc: 2026-02-13

Tag: Geolocation, VLLMs, Reinforcement Learning, Chain-of-Thought, Datasets, Reward Functions, Spatial Similarity, Semantic Similarity

I. Main Problem:

Các phương pháp định vị địa lý dựa trên học tăng cường (RL) trước đây gặp phải vấn đề phụ thuộc vào dữ liệu chuỗi suy luận (CoT) do AI tạo ra, điều này có thể không phù hợp với tư duy của con người và làm tăng sai lệch của các mô hình ngôn ngữ lớn thị giác (VLLMs). Các tập dữ liệu hiện có thiếu chú thích chi tiết và các quá trình suy luận giống con người. Hơn nữa, các hàm phần thưởng hiện tại chỉ đánh giá độ chính xác dựa trên sự bằng nhau của văn bản, bỏ qua đặc điểm địa lý là nhiều mô tả ngôn ngữ tự nhiên có thể chỉ cùng một vị trí. Việc duy trì tính toàn vẹn và nhất quán của quá trình suy luận CoT cũng là một thách thức.

II. Main Idea:

Bài báo giới thiệu GeoAgent, một mô hình có khả năng suy luận gần giống con người để đưa ra kết luận địa chỉ chi tiết. Để giải quyết các vấn đề đã nêu, nhóm nghiên cứu đề xuất: 1) GeoSeek, một tập dữ liệu định vị địa lý mới bao gồm dữ liệu CoT được chú thích bởi các chuyên gia địa lý và người chơi chuyên nghiệp, với ba cấp độ chi tiết (quốc gia, thành phố, vị trí chính xác) và chiến lược lấy mẫu hợp lý. 2) Một phương pháp huấn luyện dựa trên RL mới bao gồm phần thưởng tương đồng địa lý (geo-similarity reward), đánh giá cả sự tương đồng về không gian (dựa trên khoảng cách thực tế) và ngữ nghĩa (dựa trên sự tương đồng văn bản), nhằm khuyến khích mô hình hội tụ về các câu trả lời chính xác về mặt vật lý và ngữ nghĩa. 3) Một phần thưởng nhất quán (consistency reward) được đánh giá bởi một tác nhân nhất quán (consistency agent) chuyên biệt, nhằm đảm bảo tính toàn vẹn và nhất quán của quá trình suy luận CoT của mô hình. GeoAgent được huấn luyện qua hai giai đoạn: tinh chỉnh giám sát (SFT) bằng GeoSeek-CoT và học tăng cường GRPO bằng GeoSeek-Loc.

III. Main Results:

GeoAgent vượt trội so với các phương pháp hiện có và một loạt các VLLMs tổng quát trên các cấp độ hạt khác nhau (thành phố, khu vực, quốc gia, lục địa) trên các bộ dữ liệu IM2GPS3K và GeoSeek-Val. Cụ thể, GeoAgent đạt được cải thiện đáng kể về độ chính xác (ví dụ: 76.21% độ chính xác cấp quốc gia trên IM2GPS3K, vượt qua nhiều phương pháp tinh chỉnh toàn bộ chỉ với LoRA). Trên GeoSeek-Val, GeoAgent cũng vượt trội hơn các mô hình khác trên tất cả các phân loại về khả năng định vị và các yếu tố địa lý. Phiên bản GeoAgent-SFT (chỉ tinh chỉnh giám sát) cũng đã vượt qua các phương pháp chỉ SFT khác mặc dù sử dụng ít dữ liệu hơn đáng kể, chứng tỏ chất lượng cao của dữ liệu GeoSeek-CoT. Các nghiên cứu loại bỏ thành phần cho thấy mỗi phần thưởng (tương đồng không gian, tương đồng ngữ nghĩa, nhất quán) đều đóng góp vào việc cải thiện hiệu suất, và chiến lược khởi động lạnh (cold start) là rất quan trọng.

IV. Conclusion & Future Works:

Bài báo đã đề xuất GeoAgent, một mô hình có khả năng suy nghĩ giống con người và cung cấp vị trí địa lý. GeoSeek, một tập dữ liệu mới với dữ liệu CoT được chú thích bởi các chuyên gia và người chơi, cùng với phương pháp huấn luyện hai giai đoạn kết hợp SFT và tinh chỉnh GRPO với phần thưởng tương đồng địa lý và phần thưởng nhất quán đã được chứng minh hiệu quả. Kết quả thực nghiệm cho thấy GeoAgent đạt hiệu suất vượt trội trên nhiều điểm chuẩn. Các hướng phát triển trong tương lai có thể tập trung vào việc tăng cường độ chi tiết của đầu ra vị trí địa lý và nâng cao chất lượng CoT trong các môi trường mở rộng hơn.

V. Brainstorming Space:

1. Publish Papers:

Phân tích sự ảnh hưởng của các đặc điểm địa lý đa dạng lên quá trình suy luận định vị: Nghiên cứu sâu hơn về cách các yếu tố địa lý khác nhau (ví dụ: khí hậu, thảm thực vật, địa hình) ảnh hưởng đến khả năng suy luận của mô hình và phát triển các cơ chế để GeoAgent có thể thích nghi tốt hơn với các đặc điểm này, đặc biệt là trong các khu vực ít dữ liệu.
Nghiên cứu về khả năng giải thích và độ tin cậy của chuỗi suy luận trong các nhiệm vụ thị giác-ngôn ngữ phức tạp: Mở rộng phương pháp đánh giá CoT của GeoAgent sang các nhiệm vụ VLLMs khác, tập trung vào việc định lượng tính nhất quán, tính hợp lý và sự phù hợp với suy nghĩ của con người trong các chuỗi suy luận phức tạp.
Phát triển phương pháp học tăng cường tự thích ứng cho định vị địa lý trong môi trường động: Khám phá các chiến lược phần thưởng tự thích ứng, nơi trọng số của các thành phần phần thưởng (không gian, ngữ nghĩa, nhất quán) có thể được điều chỉnh động dựa trên độ khó của hình ảnh, cấp độ chi tiết yêu cầu, hoặc phản hồi của người dùng, nhằm tối ưu hóa quá trình học của mô hình.

2. Patent:

Hệ thống định vị thông minh dựa trên hình ảnh có giải thích cho điện thoại di động: Một ứng dụng trên điện thoại di động cho phép người dùng chụp ảnh bất kỳ cảnh quan nào và nhận được vị trí địa lý chính xác (quốc gia, thành phố, địa chỉ) cùng với một lời giải thích chi tiết, dễ hiểu về cách hệ thống suy luận ra vị trí đó (ví dụ: "kiến trúc tương tự ở Pháp", "biển báo giao thông kiểu Mỹ"). Điều này giúp du khách hoặc người dùng khám phá địa điểm mới mà không cần GPS hoặc bản đồ truyền thống, đồng thời hiểu rõ hơn về môi trường xung quanh.
Công cụ xác minh vị trí ảnh chống giả mạo với bằng chứng suy luận cho thiết bị di động: Một tính năng tích hợp vào camera của điện thoại thông minh, cho phép người dùng chụp ảnh và tự động tạo ra một "chứng chỉ vị trí" đáng tin cậy. Chứng chỉ này không chỉ ghi lại tọa độ GPS mà còn bao gồm một bản tóm tắt các manh mối hình ảnh (ví dụ: loại cây, kiến trúc, biển số xe) đã được sử dụng để xác định vị trí. Điều này hữu ích cho các ứng dụng yêu cầu bằng chứng vị trí đáng tin cậy, như báo cáo sự cố, yêu cầu bảo hiểm hoặc xác thực thông tin trực tuyến.
Hệ thống phản hồi vị trí địa lý hỗ trợ cải thiện mô hình trên điện thoại thông minh: Một chức năng trên ứng dụng bản đồ hoặc định vị di động cho phép người dùng đóng góp vào việc cải thiện độ chính xác của định vị địa lý. Khi hệ thống đưa ra một dự đoán vị trí, người dùng có thể cung cấp phản hồi về sự chính xác và thêm vào các "manh mối suy luận" của riêng họ (ví dụ: "những cây này chỉ mọc ở vùng nhiệt đới", "đây là kiểu cột đèn đường đặc trưng của Nhật Bản"). Dữ liệu này sau đó sẽ được sử dụng để huấn luyện và tinh chỉnh mô hình, giúp cải thiện khả năng định vị cho cộng đồng người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.12617
ArXiv Abstract	https://arxiv.org/abs/2602.12617
PDF Download	https://arxiv.org/pdf/2602.12617.pdf
Github Repository	https://github.com/HVision-NKU/GeoAgent

9. What does RL improve for Visual Reasoning? A Frankenstein-Style Analysis (14 votes)

Tác giả: Xirui Li, Ming Li, Tianyi Zhou

Xuất bản lúc: 2026-02-12

Tag: Reinforcement Learning, Vision-Language Models, Visual Reasoning, Supervised Fine-tuning, Causal Probing, Model Analysis

I. Main Problem:

Vấn đề chính là sự không rõ ràng về việc học tăng cường (RL) thực sự cải thiện những khả năng nào trong suy luận thị giác cho các mô hình thị giác-ngôn ngữ (VLMs) so với việc tinh chỉnh có giám sát (SFT) thông thường. Các cải tiến trên các điểm chuẩn đầu cuối thường tổng hợp nhiều yếu tố, khiến việc phân bổ lợi ích cho các kỹ năng cụ thể (nhận thức thị giác, suy luận thuần túy, hoặc căn chỉnh thị giác-suy luận) trở nên khó khăn.

II. Main Idea:

Các tác giả đề xuất một khuôn khổ phân tích kiểu "Frankenstein" để theo dõi nơi RL thay đổi các VLM và điều gì được thay đổi qua các công thức huấn luyện khác nhau. Khung khổ này bao gồm: (i) định vị chức năng thông qua thăm dò nhân quả để xác định các vùng lớp transformer (sớm, giữa, muộn) cho thị giác và suy luận; (ii) mô tả đặc điểm cập nhật thông qua so sánh tham số để phân tích độ lớn và cấu trúc cập nhật; (iii) kiểm tra khả năng chuyển giao thông qua hợp nhất mô hình để đánh giá liệu các thay đổi do RL tạo ra có thể bảo toàn được hay không; và (iv) xác nhận tính cần thiết thông qua đóng băng tham số trong quá trình huấn luyện RL.

III. Main Results:

Các cải tiến trên điểm chuẩn suy luận thị giác đầu cuối không đồng nhất trên các khả năng chi tiết (nhận thức thị giác, suy luận thuần túy, căn chỉnh thị giác-suy luận).
RL liên tục gây ra sự thay đổi trong hành vi suy luận, đặc trưng bởi sự gia tăng chú ý từ các token suy luận đến các token thị giác, chủ yếu ở các lớp transformer giữa đến muộn.
Ở cấp độ tham số, các tinh chỉnh của RL tập trung vào các lớp giữa đến muộn, cho thấy các cập nhật ít đa dạng và tập trung hơn so với SFT.
Những tinh chỉnh ở các lớp giữa đến muộn này có khả năng chuyển giao (thông qua hợp nhất mô hình) và cần thiết (thông qua đóng băng tham số) cho các cải tiến của RL, đóng góp chủ yếu vào việc cải thiện căn chỉnh thị giác-suy luận và hiệu suất suy luận.
Đóng băng các tham số ở vùng lớp giữa hoặc muộn trong quá trình huấn luyện RL làm giảm đáng kể lợi ích của RL, trong khi đóng băng các lớp sớm hơn có ít tác động hơn.

IV. Conclusion & Future Works:

Tóm lại, đóng góp đáng tin cậy của học tăng cường (RL) trong suy luận thị giác không phải là sự tăng cường đồng đều của nhận thức thị giác hay suy luận độc lập. Thay vào đó, RL liên tục liên quan đến các tinh chỉnh có cấu trúc ở các lớp transformer giữa và muộn, thể hiện rõ rệt qua việc cải thiện khả năng căn chỉnh thị giác-suy luận và hiệu suất suy luận. Quan điểm này làm rõ cách RL thay đổi hành vi của VLM vượt ra ngoài những gì độ chính xác tổng hợp tiết lộ và cung cấp một khuôn khổ có nguyên tắc để chẩn đoán các cải tiến trong suy luận thị giác trên các công thức huấn luyện khác nhau. Công việc trong tương lai có thể tập trung vào việc áp dụng khuôn khổ này để hiểu rõ hơn về các cơ chế cải tiến trong các mô hình đa phương thức khác.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu về cơ chế căn chỉnh thị giác-suy luận: Phân tích chi tiết cách các tinh chỉnh ở lớp giữa-muộn của RL cải thiện khả năng căn chỉnh thị giác-suy luận ở cấp độ biểu diễn và tương tác token, khám phá các loại hình căn chỉnh cụ thể được tăng cường và cách chúng góp phần vào hiệu suất tổng thể.
Mở rộng phân tích kiểu Frankenstein cho các nhiệm vụ đa phương thức khác: Áp dụng khuôn khổ phân tích tương tự để hiểu rõ hơn về tác động của RL trong các lĩnh vực đa phương thức khác như hiểu video, tương tác âm thanh-hình ảnh, hoặc robot, xác định các vùng lớp và loại tinh chỉnh đặc trưng cho từng nhiệm vụ.
Phát triển các chỉ số đánh giá chi tiết theo chức năng lớp: Thiết kế một bộ các chỉ số đánh giá mới, có khả năng phân biệt và đo lường các cải tiến ở từng vùng chức năng (sớm, giữa, muộn) của transformer, nhằm vượt qua hạn chế của các điểm chuẩn đầu cuối và cung cấp cái nhìn sâu sắc hơn về sự tiến hóa của mô hình.

2. Patent:

Hệ thống hỗ trợ thị giác thông minh cho điện thoại di động: Một ứng dụng di động sử dụng công nghệ AI để cung cấp hỗ trợ thị giác thông minh, nơi người dùng chụp ảnh một đối tượng và đặt câu hỏi phức tạp. Hệ thống sẽ sử dụng các cải tiến của AI trong việc liên kết thông tin thị giác và suy luận (tập trung vào các lớp xử lý giữa và muộn) để đưa ra câu trả lời chính xác và chi tiết, ví dụ như giải thích cách sửa chữa một thiết bị dựa trên hình ảnh hoặc mô tả chức năng của từng bộ phận trong một sơ đồ phức tạp.
Công cụ chỉnh sửa ảnh và tạo nội dung thông minh trên điện thoại: Một ứng dụng di động cho phép người dùng chỉnh sửa ảnh hoặc tạo nội dung mới dựa trên các hướng dẫn ngôn ngữ kết hợp với suy luận thị giác sâu. Ví dụ, người dùng có thể yêu cầu "làm cho căn phòng này trông gọn gàng hơn và thêm một chậu cây xanh", và AI sẽ sử dụng khả năng căn chỉnh thị giác-suy luận được cải thiện để hiểu ngữ cảnh, xác định các đối tượng cần thay đổi hoặc thêm vào một cách tự nhiên và hợp lý, thay vì chỉ áp dụng các bộ lọc đơn giản.
Trợ lý học tập cá nhân hóa với khả năng hiểu hình ảnh cho thiết bị di động: Một ứng dụng giáo dục trên điện thoại hoặc máy tính bảng giúp học sinh học tập bằng cách trả lời các câu hỏi về sơ đồ, biểu đồ hoặc hình ảnh thực tế. Khi học sinh chụp ảnh một bài toán hình học hoặc một hình minh họa khoa học, AI sẽ không chỉ nhận dạng các thành phần mà còn giải thích các mối quan hệ, chức năng và quy trình liên quan, trả lời các câu hỏi "tại sao" và "như thế nào" bằng cách kết nối thông tin thị giác với khả năng suy luận sâu sắc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.12395
ArXiv Abstract	https://arxiv.org/abs/2602.12395
PDF Download	https://arxiv.org/pdf/2602.12395.pdf
Github Repository	https://github.com/tianyi-lab/Frankenstein

10. Intelligent AI Delegation (12 votes)

Tác giả: Nenad Tomašev, Matija Franklin, Simon Osindero

Xuất bản lúc: 2026-02-12

Tag: AI, agents, LLM, delegation, multi-agent, safety

I. Main Problem:

Các phương pháp phân tách và ủy quyền tác vụ hiện có dựa trên các quy tắc heuristic đơn giản, không thể thích ứng linh hoạt với thay đổi môi trường và xử lý mạnh mẽ các lỗi không mong muốn. Điều này dẫn đến các triển khai AI trong thế giới thực dễ hỏng, không đáng tin cậy và thiếu khả năng thích ứng trong các môi trường có rủi ro cao. Ngoài ra, việc thực thi tác vụ con trong ủy quyền AI-AI hiện tại quá thiếu minh bạch để hỗ trợ giám sát mạnh mẽ, làm tăng rủi ro thông đồng và lỗi dây chuyền, đồng thời thiếu các cơ chế trách nhiệm thỏa đáng. Sự vắng mặt của các giao thức ủy quyền tác vụ AI thông minh, an toàn cũng gây ra những rủi ro xã hội đáng kể.

II. Main Idea:

Bài báo đề xuất một khuôn khổ thích ứng cho ủy quyền AI thông minh, là một chuỗi các quyết định liên quan đến phân bổ tác vụ, kết hợp chuyển giao quyền hạn, trách nhiệm, nghĩa vụ giải trình, các quy định rõ ràng về vai trò và ranh giới, sự rõ ràng về ý định, và các cơ chế thiết lập lòng tin giữa các bên. Khuôn khổ này được xây dựng dựa trên năm yêu cầu cốt lõi: đánh giá động (dynamic assessment), thực thi thích ứng (adaptive execution), minh bạch cấu trúc (structural transparency), phối hợp thị trường có thể mở rộng (scalable market coordination), và khả năng phục hồi hệ thống (systemic resilience). Nó cũng tích hợp các hiểu biết sâu sắc từ các tổ chức của con người (ví dụ: vấn đề người ủy quyền-người được ủy quyền, phạm vi kiểm soát, độ dốc quyền hạn, vùng thờ ơ, hiệu chỉnh lòng tin) để thông báo việc phát triển các giao thức trong mạng lưới tác nhân mới nổi.

III. Main Results:

Bài báo giới thiệu một khuôn khổ toàn diện cho ủy quyền AI thông minh, giải quyết các hạn chế của các phương pháp hiện có. Nó định nghĩa rõ ràng các khía cạnh của ủy quyền (người ủy quyền, người được ủy quyền, đặc điểm tác vụ, mức độ chi tiết, quyền tự chủ, giám sát, tính đối ứng) và đưa ra các trụ cột kỹ thuật để thực hiện (phân tách tác vụ, phân công tác vụ, tối ưu hóa đa mục tiêu, phối hợp thích ứng, giám sát, lòng tin & danh tiếng, xử lý quyền hạn, hoàn thành tác vụ có thể xác minh, bảo mật). Khuôn khổ này nhằm mục đích thông báo việc phát triển các giao thức trong mạng lưới tác nhân mới nổi, cho phép ủy quyền mạnh mẽ và an toàn hơn giữa các tác nhân AI và con người.

IV. Conclusion & Future Works:

Khuôn khổ ủy quyền AI thông minh được đề xuất nhằm thông tin cho việc phát triển các giao thức trong mạng lưới tác nhân (agentic web) mới nổi, nơi các tác nhân AI cần có khả năng phân tách vấn đề, ủy quyền và phối hợp một cách an toàn và hiệu quả. Các hướng công việc trong tương lai bao gồm việc triển khai các giải pháp có thể định cấu hình lại và điều chỉnh động theo nhu cầu thay đổi, đặc biệt trong các môi trường không chắc chắn, và cải thiện việc thực hiện các phương pháp tiếp cận có sự tham gia của con người (human-in-the-loop) để giải quyết các nút thắt về khả năng mở rộng do tải nhận thức của con người gây ra. Việc phát triển các cơ chế rõ ràng cho trách nhiệm, lòng tin, tính minh bạch và khả năng phục hồi hệ thống là rất quan trọng cho các nền kinh tế tác nhân trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Hiệu chỉnh lòng tin động trong hệ thống đa tác nhân AI: Nghiên cứu các phương pháp để các tác nhân AI có thể đánh giá và hiệu chỉnh lòng tin một cách tự động và liên tục đối với các tác nhân AI và con người khác, dựa trên khả năng, độ tin cậy và ý định thay đổi theo thời gian thực trong các môi trường mở và quy mô web. Mục tiêu là vượt qua các hệ thống đánh giá danh tiếng tĩnh và xây dựng các mô hình lòng tin thích ứng.
Phân tách tác vụ theo nguyên tắc 'hợp đồng trước' với xác minh lai người-AI: Phát triển các chiến lược phân tách tác vụ mới, nơi việc ủy quyền chỉ diễn ra khi có cơ chế xác minh chính xác kết quả đầu ra. Đặc biệt tập trung vào việc tối ưu hóa cho các thị trường lai giữa con người và AI, cân bằng tốc độ và chi phí của AI với sự cần thiết của phán đoán con người cho các tác vụ quan trọng hoặc chủ quan.
Giao thức ủy quyền thích ứng cho khả năng phục hồi hệ thống trong nền kinh tế tác nhân: Khám phá các giao thức phối hợp và chiến lược thực thi thích ứng cho phép người ủy quyền AI điều chỉnh linh hoạt các quyết định ủy quyền, thay đổi người được ủy quyền trong quá trình thực hiện, và đảm bảo khả năng phục hồi hệ thống chống lại các lỗi dây chuyền và hành vi bất lợi trong các mạng lưới tác nhân phức tạp, liên kết.

2. Patent:

Ứng dụng Trợ lý AI Phân công Thông minh cho Lịch trình Cá nhân trên Điện thoại: Một ứng dụng di động cho phép người dùng giao các tác vụ phức tạp (ví dụ: lên kế hoạch chuyến đi, quản lý dự án nhỏ, tổ chức sự kiện) cho một trợ lý AI. Hệ thống sẽ tự động chia nhỏ tác vụ, tìm kiếm và phân công các tác vụ con cho các AI chuyên biệt khác (ví dụ: AI đặt vé, AI tìm khách sạn, AI tạo lịch trình) hoặc thậm chí gợi ý sự can thiệp của con người (ví dụ: xác nhận cuối cùng). Nó sẽ theo dõi tiến độ, thích ứng với thay đổi, và báo cáo lại cho người dùng, đảm bảo tính minh bạch và khả năng phục hồi.
Hệ thống Quản lý Nhiệm vụ Động cho Doanh nghiệp Nhỏ trên Di động: Một nền tảng di động cho phép các doanh nghiệp nhỏ tự động phân công và giám sát các tác vụ nội bộ. Người quản lý có thể giao một dự án lớn cho hệ thống AI, hệ thống sẽ tự động chia nhỏ thành các tác vụ con, phân công cho nhân viên hoặc các AI chuyên dụng (ví dụ: AI tạo báo cáo, AI trả lời email khách hàng). Nền tảng này sẽ có cơ chế giám sát liên tục, điều chỉnh phân công nếu có vấn đề, và cung cấp báo cáo minh bạch về trách nhiệm và tiến độ, giúp tối ưu hóa hiệu quả công việc và giảm rủi ro.
Công cụ Đàm phán và Lập hợp đồng AI cho Dịch vụ Freelance trên Điện thoại: Một ứng dụng trên điện thoại cho phép người dùng (freelancer hoặc khách hàng) sử dụng AI để đàm phán và lập hợp đồng thông minh cho các dịch vụ. Khi một tác vụ được đề xuất, AI sẽ phân tích các yêu cầu, đề xuất các điều khoản (thời gian, chi phí, tiêu chí hoàn thành, cơ chế xác minh), và thậm chí thương lượng với AI của bên đối tác hoặc trực tiếp với con người. Hợp đồng sẽ bao gồm các điều khoản bảo vệ cả hai bên, cơ chế giải quyết tranh chấp và phạt tự động nếu có vi phạm, đảm bảo sự tin cậy và minh bạch trong quá trình hợp tác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.11865
ArXiv Abstract	https://arxiv.org/abs/2602.11865
PDF Download	https://arxiv.org/pdf/2602.11865.pdf
Github Repository	N/A

11. RLinf-Co: Reinforcement Learning-Based Sim-Real Co-Training for VLA Models (11 votes)

Tác giả: Liangzhi Shi, Shuaihang Chen, Feng Gao, Yinuo Chen, Kang Chen, Tonghe Zhang, Hongzhi Zhang, Weinan Zhang, Chao Yu, Yu Wang

Xuất bản lúc: 2026-02-13

Tag: Reinforcement Learning, Sim-to-Real, VLA, Robotics, Supervised Learning, Deep Learning, Data Efficiency

I. Main Problem:

Các phương pháp đồng huấn luyện sim-real hiện tại chủ yếu dựa vào điều chỉnh giám sát (SFT), coi mô phỏng là nguồn dữ liệu tĩnh và không khai thác tương tác vòng lặp kín quy mô lớn. Điều này dẫn đến hiệu suất và khả năng tổng quát hóa trong thế giới thực bị hạn chế. Các mô hình Vision-Language-Action (VLA) được huấn luyện trên dữ liệu thực thường giảm hiệu suất đáng kể trong các cảnh và biến thể nhiệm vụ mới. Hơn nữa, việc thu thập dữ liệu robot thực quy mô lớn rất khó khăn và tốn kém, trong khi SFT dễ bị lỗi tích lũy do sự dịch chuyển phân phối. Huấn luyện VLA dựa trên RL trong mô phỏng thường phụ thuộc vào chuyển giao sim-to-real zero-shot, dẫn đến giảm đáng kể hiệu suất trên robot thực.

II. Main Idea:

Bài báo đề xuất khung đồng huấn luyện sim-real dựa trên Học tăng cường (RL-Co) cho các mô hình VLA, tận dụng khả năng tương tác của mô phỏng mà vẫn duy trì năng lực trong thế giới thực. Phương pháp này có thiết kế hai giai đoạn:

Khởi tạo chính sách bằng SFT: Điều chỉnh chính sách ban đầu bằng cách sử dụng kết hợp các minh họa thực tế và mô phỏng. Giai đoạn này giúp chuyển giao kiến thức thực tế liên quan đến nhiệm vụ và thiết lập một nền tảng vững chắc trong môi trường mô phỏng.
Điều chỉnh bằng Học tăng cường trong mô phỏng: Tiếp tục tối ưu hóa chính sách bằng RL trong mô phỏng, đồng thời thêm một hàm mất giám sát phụ trợ trên dữ liệu thế giới thực. Hàm mất này giúp "neo" chính sách và giảm thiểu việc quên thảm khốc (catastrophic forgetting) các hành vi trong thế giới thực trong quá trình điều chỉnh RL.

III. Main Results:

Khung RL-Co đã được đánh giá trên bốn nhiệm vụ thao tác trên bàn trong thế giới thực với hai kiến trúc VLA đại diện là OpenVLA và π0.5. Các kết quả chính bao gồm:

Cải thiện đáng kể tỷ lệ thành công trong thế giới thực: Tăng +24% trên OpenVLA và +20% trên π0.5 so với điều chỉnh chỉ bằng dữ liệu thực và đồng huấn luyện dựa trên SFT.
Khả năng tổng quát hóa mạnh mẽ hơn: RL-Co cho thấy khả năng tổng quát hóa tốt hơn đáng kể đối với các biến thể nhiệm vụ không nhìn thấy trước (ví dụ: vật thể chưa từng thấy, trạng thái ban đầu chưa từng thấy), với mức giảm hiệu suất thấp hơn đáng kể so với các phương pháp cơ sở.
Hiệu quả dữ liệu vượt trội: Phương pháp này giảm đáng kể lượng dữ liệu minh họa thực tế cần thiết; hiệu suất của RL-Co với chỉ 20 minh họa dữ liệu thực tế đã tương đương hoặc tốt hơn so với các phương pháp cơ sở sử dụng 200 minh họa.
Nghiên cứu cắt bỏ (Ablation study): Xác nhận sự cần thiết của cả khởi tạo SFT với dữ liệu mô phỏng và giai đoạn điều chỉnh RL được điều tiết bằng dữ liệu thực để đạt được hiệu suất tối ưu và ngăn ngừa quên thảm khốc.

IV. Conclusion & Future Works:

Bài báo giới thiệu RL-Co, một khung đồng huấn luyện sim-real dựa trên RL, giải quyết hạn chế của các phương pháp đồng huấn luyện trước đây chỉ dựa vào điều chỉnh giám sát. Bằng cách kết hợp tương tác trực tuyến và phản hồi phần thưởng, RL-Co vượt ra ngoài việc bắt chước tĩnh, giảm lỗi tích lũy và giảm thiểu việc quên thảm khốc. Phương pháp này mang lại những cải tiến đáng kể về tỷ lệ thành công trong thế giới thực, khả năng tổng quát hóa mạnh mẽ hơn và hiệu quả dữ liệu vượt trội, cho thấy RL có thể khai thác giá trị của mô phỏng tốt hơn.

Hạn chế và Hướng nghiên cứu tương lai:

Nghiên cứu chỉ đánh giá thao tác trên bàn với một loại robot duy nhất và chưa khám phá đồng huấn luyện trong các cài đặt sim-real không đồng nhất.
Hiệu suất vẫn chưa đạt 100% và chưa tích hợp RL trong thế giới thực.
Công việc trong tương lai sẽ mở rộng khung này sang các nhiệm vụ đa dạng hơn, thao tác tầm nhìn dài hơn, các loại robot khác và đồng huấn luyện RL sim-real hiệu quả hơn với sự điều chỉnh sim-to-real được cải thiện.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng RL-Co cho các nền tảng Robot đa dạng và Thao tác phức tạp: Nghiên cứu cách áp dụng và tối ưu hóa khung RL-Co cho các loại robot khác nhau (ví dụ: robot hình người, robot di động) và các nhiệm vụ thao tác phức tạp, dài hơi, vượt ra ngoài các nhiệm vụ trên bàn đơn giản. Điều này sẽ bao gồm việc phát triển các chiến lược mới để giải quyết khoảng cách sim-to-real trong các môi trường đa dạng hơn.
Tích hợp Học tăng cường trong Thế giới thực vào RL-Co: Khám phá các phương pháp kết hợp trực tiếp Học tăng cường trong thế giới thực (real-world RL) vào khung RL-Co để cải thiện hơn nữa sự mạnh mẽ và hiệu suất của chính sách. Điều này có thể bao gồm việc phát triển các cơ chế thu thập dữ liệu hiệu quả và an toàn trong thế giới thực, hoặc các kỹ thuật chuyển đổi liền mạch giữa học trong mô phỏng và học trong thế giới thực.
Cải thiện Sự điều chỉnh Sim-to-Real trong Đồng huấn luyện RL: Nghiên cứu các kỹ thuật tiên tiến để giảm thiểu khoảng cách sim-to-real trong bối cảnh đồng huấn luyện dựa trên RL, đặc biệt cho các cài đặt sim-real không đồng nhất. Điều này có thể liên quan đến việc sử dụng các mô hình tạo sinh để tăng cường tính chân thực của mô phỏng, học biểu diễn bất biến miền, hoặc các phương pháp thích ứng miền tiên tiến để đảm bảo tính chuyển giao hiệu quả của các kỹ năng học được.

2. Patent:

Hệ thống huấn luyện robot gia đình thông minh qua điện thoại di động: Một hệ thống cho phép người dùng huấn luyện và điều khiển robot gia đình thông minh của họ một cách hiệu quả hơn bằng ứng dụng trên điện thoại. Camera và micro của điện thoại sẽ ghi lại các tương tác trong thế giới thực và lệnh thoại của người dùng, sau đó được sử dụng để tinh chỉnh quá trình huấn luyện robot trong môi trường mô phỏng. Điều này giúp robot học các nhiệm vụ mới hoặc thích ứng với những thay đổi trong môi trường gia đình với dữ liệu thực tối thiểu, làm cho robot dễ thích nghi và thân thiện với người dùng hơn.
Ứng dụng di động hỗ trợ robot công nghiệp với thực tế tăng cường: Một ứng dụng di động cho phép sử dụng camera của điện thoại thông minh để ghi lại các minh họa thao tác của con người trong môi trường nhà máy. Dữ liệu thực tế này được kết hợp với dữ liệu huấn luyện mô phỏng để nhanh chóng dạy robot công nghiệp các kỹ năng mới. Hệ thống sẽ sử dụng phương pháp học tăng cường, được củng cố bởi dữ liệu thực tế thu thập qua điện thoại, để làm cho các hành động của robot chính xác và tổng quát hơn mà không cần lập trình thủ công hoặc thử nghiệm tốn kém trong thế giới thực.
Trợ lý thực tế tăng cường cá nhân hóa trên điện thoại cho các nhiệm vụ vật lý: Một ứng dụng thực tế tăng cường (AR) trên điện thoại thông minh hướng dẫn người dùng thực hiện các công việc thủ công phức tạp (ví dụ: lắp ráp đồ nội thất, sửa chữa xe đạp). Ứng dụng tận dụng một mô hình Vision-Language-Action, được huấn luyện bằng cả môi trường mô phỏng và tương tác thực tế của người dùng được ghi lại qua camera điện thoại. Điều này cho phép trợ lý AR cung cấp hướng dẫn bằng hình ảnh và âm thanh chính xác, từng bước, thích ứng với môi trường và hành động cụ thể của người dùng theo thời gian thực, cải thiện tỷ lệ thành công và trải nghiệm người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.12628
ArXiv Abstract	https://arxiv.org/abs/2602.12628
PDF Download	https://arxiv.org/pdf/2602.12628.pdf
Github Repository	N/A

12. ABot-M0: VLA Foundation Model for Robotic Manipulation with Action Manifold Learning (11 votes)

Tác giả: Yandan Yang, Shuang Zeng, Tong Lin, Xinyuan Chang, Dekang Qi, Junjin Xiao, Haoyun Liu, Ronghan Chen, Yuzhi Chen, Dongjie Huo, Feng Xiong, Xing Wei, Zhiheng Ma, Mu Xu

Xuất bản lúc: 2026-02-11

Tag: Robotics, Embodied AI, Foundation Models, VLA, Action Manifold Learning, Multi-modal Learning, Data Curation, Generalization

I. Main Problem:

Thách thức trung tâm trong lĩnh vực robot là xây dựng các tác nhân vật lý đa năng có thể hoạt động trên nhiều loại phần cứng khác nhau (mô hình "một bộ não, nhiều hình thức"). Tiến độ bị cản trở bởi dữ liệu phân mảnh, biểu diễn không nhất quán và mục tiêu huấn luyện không đồng bộ. Cụ thể, các rào cản bao gồm: \n1. Quy mô dữ liệu còn thấp: Dữ liệu hành động robot đòi hỏi nhãn chính xác, tốn kém và chậm để thu thập, thường chỉ giới hạn ở một loại robot, hạn chế khả năng tổng quát hóa. \n2. Chất lượng dữ liệu không đồng đều và thiếu chuẩn hóa: Biểu diễn hành động, hệ tọa độ và tần số điều khiển khác nhau giữa các bộ dữ liệu, gây khó khăn cho việc trích xuất các mẫu chung. \n3. Các mô hình tiền huấn luyện không phù hợp: Hầu hết các mô hình VLA (Vision-Language-Action) bắt đầu từ VLM (Vision-Language Models) tập trung vào nhận dạng ngữ nghĩa hơn là cấu trúc 3D hoặc động lực vật lý, vốn rất cần thiết cho hành vi vật lý chính xác.

II. Main Idea:

ABot-M0 là một framework tích hợp giúp tối ưu hóa quy trình quản lý dữ liệu, kiến trúc mô hình và chiến lược huấn luyện để chuyển đổi dữ liệu thô không đồng nhất thành các biểu diễn thống nhất, hiệu quả. \n1. Xây dựng UniACT-dataset: Thu thập, làm sạch, chuẩn hóa và cân bằng mẫu từ sáu bộ dữ liệu công khai để tạo ra một bộ dữ liệu lớn (hơn 6 triệu quỹ đạo, 9.500 giờ dữ liệu) bao gồm nhiều hình thái robot và kịch bản tác vụ đa dạng. Dữ liệu hành động được chuyển đổi thành hành động delta trong khung công cụ cuối (end-effector), các phép quay được mã hóa bằng vector quay, và áp dụng chiến lược "pad-to-dual" để hỗ trợ cả tác vụ một tay và hai tay. \n2. Học không gian hành động (Action Manifold Learning - AML): Dựa trên "Giả thuyết Không gian Hành động" (Action Manifold Hypothesis) rằng các hành động robot hiệu quả nằm trên một không gian chiều thấp, trơn tru. AML sử dụng kiến trúc DiT để dự đoán trực tiếp các chuỗi hành động sạch, liên tục, thay vì khử nhiễu. Điều này giúp cải thiện hiệu quả dự đoán hành động, tốc độ giải mã và độ ổn định chính sách. \n3. Cơ chế nhận thức mô-đun: Sử dụng cơ chế luồng kép (dual-stream) tích hợp ngữ nghĩa VLM với các tiên nghiệm hình học và đầu vào đa góc nhìn từ các mô-đun 3D plug-and-play (như VGGT và Qwen-Image-Edit). Điều này tăng cường hiểu biết về không gian mà không cần sửa đổi kiến trúc chính và giảm thiểu hạn chế của VLM trong suy luận 3D. \n4. Huấn luyện hai giai đoạn: Giai đoạn 1 tiền huấn luyện thống nhất trên dữ liệu quy mô lớn để học các chính sách thao tác tổng quát, chuyển giao được. Giai đoạn 2 tinh chỉnh (SFT) với các tiên nghiệm không gian chi tiết để tăng cường độ chính xác thực thi.

III. Main Results:

Các thành phần của ABot-M0 hoạt động độc lập với lợi ích cộng dồn. Mô hình đạt tỷ lệ thành công trung bình 98.6% trên LIBERO, 80.5% trên LIBERO-Plus, 58.3% trên RoboCasa GR1 Tabletop Tasks và 81.2% trên Robotwin2.0, vượt trội hơn các baseline mạnh như π0.5, UniVLA và OpenVLA-OFT. Những kết quả này xác nhận một quy trình hoàn chỉnh từ quản lý dữ liệu đến thiết kế kiến trúc và khả năng phát sinh, chứng minh rằng trí tuệ vật lý hiệu suất cao, có khả năng tổng quát hóa có thể đạt được thông qua kỹ thuật hệ thống mà không cần dựa vào dữ liệu độc quyền. Các lợi ích từ mỗi thành phần được chứng minh là nhất quán trên các nền tảng, cho thấy các biểu diễn đã học có thể chuyển giao vượt ra ngoài các sai lệch cụ thể của bộ dữ liệu.

IV. Conclusion & Future Works:

Nghiên cứu này kết luận rằng trí tuệ vật lý hiệu suất cao và có khả năng tổng quát hóa có thể đạt được thông qua kỹ thuật hệ thống, tích hợp dữ liệu không đồng nhất và xây dựng khả năng tăng dần, mà không cần dựa vào các hệ thống độc quyền. \nHướng phát triển trong tương lai: \n1. Các bộ dữ liệu VLA trong tương lai cần hướng tới tiêu chuẩn cao hơn về quy mô (bao gồm thời lượng tương tác hiệu quả), đa dạng hình thái (như robot bán người, robot hình người hoàn chỉnh) và chất lượng/độ phong phú của dữ liệu (bao gồm nhiều biểu diễn hành động, chú thích ngữ nghĩa chi tiết, thông tin cảm biến và động lực học, video đa góc nhìn độ nét cao, thông số camera để tính toán nhãn hình học 3D phụ trợ). \n2. Tiếp tục mở rộng và phát triển cơ sở hạ tầng chung để hỗ trợ tiến bộ hợp tác trong cộng đồng nghiên cứu robot, đồng thời phát hành toàn bộ mã nguồn và pipeline dữ liệu để đảm bảo khả năng tái lập và thúc đẩy nghiên cứu trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao khả năng tổng quát hóa của robot: Xây dựng bộ dữ liệu VLA quy mô lớn với hình thái robot hình người và dữ liệu cảm biến đa dạng cho các tác vụ phức tạp.
Tối ưu hóa học không gian hành động: Khám phá các phương pháp mới cho Action Manifold Learning để tăng cường sự ổn định và hiệu quả của việc dự đoán hành động trong môi trường không chắc chắn và tác vụ dài hạn.
Kiến trúc nhận thức mô-đun 3D: Thiết kế và tích hợp các mô-đun 3D plug-and-play tiên tiến để cải thiện suy luận không gian và hiểu biết vật lý cho các mô hình VLA.
Học tập chuyển giao hành vi xuyên robot: Nghiên cứu các chiến lược học tập hiệu quả để chuyển giao các kỹ năng thao tác từ robot này sang robot khác, bao gồm cả các loại hình thái khác nhau (ví dụ: từ cánh tay robot sang robot hình người).

2. Patent:

Hệ thống trợ lý AR di động cho lắp ráp và sửa chữa: Một ứng dụng di động sử dụng camera và công nghệ thực tế tăng cường (AR) để hướng dẫn người dùng lắp ráp hoặc sửa chữa các thiết bị. Ứng dụng sẽ hiển thị các bước hành động chính xác, vị trí các bộ phận và quỹ đạo thao tác lý tưởng trực tiếp trên khung hình thực tế thông qua việc tận dụng khả năng hiểu không gian 3D và học không gian hành động của mô hình nền tảng.
Ứng dụng học kỹ năng thao tác cá nhân hóa trên điện thoại: Một ứng dụng di động cho phép người dùng học các kỹ năng vận động tinh xảo (ví dụ: gấp giấy origami, chơi nhạc cụ) bằng cách cung cấp phản hồi theo thời gian thực về chất lượng chuyển động. Ứng dụng sẽ so sánh chuyển động của người dùng (ghi lại qua camera điện thoại) với một "không gian hành động" lý tưởng, chỉ ra các điểm cần cải thiện để đạt được sự chính xác và mượt mà.
Điều khiển robot gia đình thông minh bằng giọng nói và cử chỉ trên điện thoại: Một hệ thống tích hợp cho phép người dùng điều khiển các robot phục vụ trong nhà (ví dụ: robot dọn dẹp, robot hỗ trợ) thông qua các lệnh giọng nói tự nhiên và cử chỉ được ghi lại bằng điện thoại. Điện thoại đóng vai trò là giao diện nhận thức và ra lệnh, chuyển đổi ý định của người dùng thành các chuỗi hành động robot chính xác, tận dụng khả năng hiểu ngôn ngữ và hành động của mô hình VLA.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.11236
ArXiv Abstract	https://arxiv.org/abs/2602.11236
PDF Download	https://arxiv.org/pdf/2602.11236.pdf
Github Repository	https://github.com/amap-cvlab/ABot-Manipulation

📰 Summary of Papers​

1. Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs (222 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. SQuTR: A Robustness Benchmark for Spoken Query to Text Retrieval under Acoustic Noise (140 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. MedXIAOHE: A Comprehensive Recipe for Building Medical MLLMs (59 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception (58 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence (46 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. CoPE-VideoLM: Codec Primitives For Efficient Video Language Models (29 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. SemanticMoments: Training-Free Motion Similarity via Third Moment Features (21 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. GeoAgent: Learning to Geolocate Everywhere with Reinforced Geographic Characteristics (20 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. What does RL improve for Visual Reasoning? A Frankenstein-Style Analysis (14 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs (222 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. SQuTR: A Robustness Benchmark for Spoken Query to Text Retrieval under Acoustic Noise (140 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. MedXIAOHE: A Comprehensive Recipe for Building Medical MLLMs (59 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception (58 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence (46 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. CoPE-VideoLM: Codec Primitives For Efficient Video Language Models (29 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. SemanticMoments: Training-Free Motion Similarity via Third Moment Features (21 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. GeoAgent: Learning to Geolocate Everywhere with Reinforced Geographic Characteristics (20 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. What does RL improve for Visual Reasoning? A Frankenstein-Style Analysis (14 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: