🤗 Daily Hugging Face Paper Digest - 2026-03-24

Báo cáo được tạo tự động vào lúc 2026-03-25 10:32:46 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. Omni-WorldBench: Towards a Comprehensive Interaction-Centric Evaluation for World Models (110 votes)

Tác giả: Meiqi Wu, Zhixin Cai, Fufangchen Zhao, Xiaokun Feng, Rujing Dang, Bingze Song, Ruitian Tian, Jiashu Zhu, Jiachen Lei, Hao Dou, Jing Tang, Lei Sun, Jiahong Wu, Xiangxiang Chu, Zeming Liu, Kaiqi Huang

Xuất bản lúc: 2026-03-23

Tag: World Models, Video Generation, Evaluation Benchmark, 4D Generation, Interactive AI, MLLM

I. Main Problem:

Các benchmark đánh giá mô hình thế giới hiện có thường tập trung hẹp vào độ chân thực hình ảnh và sự phù hợp giữa văn bản-video cho các mô hình tạo sinh, hoặc dựa vào các chỉ số tái tạo 3D tĩnh, bỏ qua hoàn toàn động lực học thời gian. Đặc biệt, chưa có benchmark nào đánh giá một cách có hệ thống khả năng phản ứng tương tác—khả năng phản ánh trung thực cách các hành động tương tác thúc đẩy quá trình chuyển đổi trạng thái trong không gian và thời gian (mô hình hóa 4D). Điều này tạo ra một khoảng trống lớn trong việc đánh giá toàn diện các mô hình thế giới.

II. Main Idea:

Để giải quyết vấn đề trên, nghiên cứu đề xuất Omni-WorldBench, một benchmark toàn diện được thiết kế đặc biệt để đánh giá khả năng phản ứng tương tác của các mô hình thế giới trong môi trường 4D. Omni-WorldBench bao gồm hai thành phần chính:

Omni-WorldSuite: Một bộ lời nhắc (prompt suite) có hệ thống, bao gồm các cấp độ tương tác đa dạng (cấp độ 1: hành động chỉ tác động lên đối tượng thực hiện; cấp độ 2: một đối tượng tác động trực tiếp đến đối tượng khác; cấp độ 3: hành động ảnh hưởng đến nhiều đối tượng và gây ra thay đổi môi trường rộng hơn) và các loại cảnh (tổng quát, hướng nhiệm vụ như lái xe tự hành, robot, chơi game). Các lời nhắc được xây dựng dựa trên dữ liệu thực tế và theo định hướng khái niệm.
Omni-Metrics: Một khuôn khổ đánh giá dựa trên tác nhân (agent-based evaluation framework) để định lượng khả năng mô hình hóa thế giới bằng cách đo lường tác động nhân quả của các hành động tương tác lên cả kết quả cuối cùng và các quỹ đạo tiến hóa trạng thái trung gian. Omni-Metrics đánh giá ba khía cạnh bổ sung:
- Generated Video Quality: Chất lượng video được tạo (độ chân thực hình ảnh, nhấp nháy tạm thời, độ mượt chuyển động, sự phù hợp nội dung, mức độ động).
- Camera-Object Controllability: Khả năng điều khiển camera và đối tượng (tính nhất quán của các yếu tố tĩnh, kiểm soát camera, kiểm soát đối tượng, phát hiện chuyển đổi cảnh).
- Interaction Effect Fidelity: Độ chân thực của hiệu ứng tương tác (tính nhất quán nội dung dài hạn, trật tự logic nhân quả của các sự kiện, tuân thủ các định luật vật lý). Nó sử dụng các chỉ số như InterStab-L, InterStab-N, InterCov, InterOrder.

Các chỉ số này được tổng hợp thành một điểm số thống nhất là AgenticScore bằng cách sử dụng một MLLM để phân bổ trọng số thích ứng dựa trên ngữ nghĩa của lời nhắc.

III. Main Results:

Nghiên cứu đã thực hiện đánh giá rộng rãi trên 18 mô hình thế giới tiêu biểu thuộc nhiều mô hình khác nhau. Phân tích cho thấy những hạn chế nghiêm trọng của các mô hình thế giới hiện tại về khả năng phản ứng tương tác, cung cấp những hiểu biết có giá trị cho nghiên cứu trong tương lai. Các nghiên cứu về sự phù hợp với con người cũng chứng minh rằng Omni-Metric tương thích tốt với sở thích của con người, xác nhận hiệu quả của nó trong việc đánh giá hiệu suất của mô hình thế giới. Omni-WorldBench là benchmark đầu tiên tập trung đánh giá khả năng phản ứng tương tác của các mô hình thế giới, cung cấp một khuôn khổ đánh giá toàn diện và tổng thể. Bộ Omni-WorldSuite chứa 1.068 lời nhắc đánh giá, đa dạng về phân phối đa nhãn trên các nguyên tắc vật lý, ý thức chung, nhân quả, chuyển động camera, tính nhất quán vòng lặp và ràng buộc không gian, với cấp độ tương tác 2 có số lượng lời nhắc lớn nhất.

IV. Conclusion & Future Works:

Omni-WorldBench giải quyết sự thiếu hụt nghiêm trọng của các giao thức đánh giá tiêu chuẩn cho mô hình thế giới, đặc biệt là trong việc đánh giá khả năng phản ứng tương tác 4D. Các phát hiện đã làm rõ những hạn chế của các mô hình hiện tại, chỉ ra các lĩnh vực cần cải thiện. Omni-WorldBench sẽ được phát hành công khai để thúc đẩy sự tiến bộ trong mô hình hóa thế giới 4D tương tác. Hướng nghiên cứu tương lai nên tập trung vào việc khắc phục những hạn chế được chỉ ra, phát triển các mô hình có khả năng tương tác 4D tốt hơn, và cải thiện khả năng suy luận vật lý, nhân quả và ý thức chung.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện khả năng phản ứng tương tác 4D của mô hình thế giới: Phát triển các kiến trúc mô hình mới hoặc kỹ thuật huấn luyện để nâng cao khả năng mô hình hóa sự thay đổi trạng thái không gian và thời gian do tương tác gây ra, đặc biệt là ở các cấp độ tương tác phức tạp (Level 2, Level 3) được xác định bởi Omni-WorldBench. Nghiên cứu có thể tập trung vào việc tích hợp sâu hơn các cơ chế suy luận vật lý và nhân quả vào cấu trúc mô hình.
Phát triển mô hình thế giới chuyên biệt cho các miền ứng dụng cụ thể với đánh giá tương tác nâng cao: Mở rộng các mô hình thế giới tập trung vào các miền như lái xe tự hành, robot thông minh hoặc môi trường trò chơi. Nghiên cứu sẽ tích hợp sâu hơn các ràng buộc vật lý, logic nhân quả và kiến thức miền để đạt được hiệu suất tương tác tốt hơn trong các kịch bản thực tế, đồng thời sử dụng Omni-WorldBench để định lượng chính xác sự cải thiện này.
Nghiên cứu về cơ chế đánh giá tự động dựa trên VLM/MLLM cho các thuộc tính thế giới động: Khám phá các phương pháp tiên tiến hơn để sử dụng các Mô hình Ngôn ngữ Thị giác (VLM) hoặc Mô hình Ngôn ngữ Đa phương thức (MLLM) trong việc đánh giá tự động chất lượng và tính nhất quán của video được tạo. Đặc biệt, tập trung vào khả năng suy luận của chúng về các nguyên lý vật lý, logic nhân quả và ý nghĩa thông thường trong các cảnh động và tương tác, vượt ra ngoài các chỉ số dựa trên pixel truyền thống.

2. Patent:

Hệ thống dự đoán tương tác vật thể ảo trong AR trên điện thoại: Một ứng dụng di động sử dụng camera để quét môi trường thực và một mô hình thế giới tích hợp để dự đoán cách các vật thể ảo được đặt vào cảnh sẽ tương tác vật lý với các vật thể thực hoặc môi trường. Ví dụ, khi người dùng 'đặt' một quả bóng ảo trên mặt bàn, ứng dụng sẽ hiển thị quả bóng lăn, nảy hoặc bị ảnh hưởng bởi trọng lực và ma sát như thế nào nếu người dùng 'đẩy' nó bằng ngón tay trên màn hình, hoặc nếu bàn thực bị nghiêng. Công nghệ này có thể áp dụng cho việc lập kế hoạch trang trí nội thất, mô phỏng trò chơi hoặc huấn luyện kỹ năng trong thực tế tăng cường.
Công cụ tạo video tương tác thông minh cho mạng xã hội trên di động: Một ứng dụng chỉnh sửa video trên điện thoại cho phép người dùng quay một đoạn video ngắn, sau đó thêm vào các 'hành động' hoặc 'tương tác' thông qua lệnh văn bản hoặc cử chỉ. Ví dụ, người dùng quay cảnh một cái cây, sau đó ra lệnh "thổi một cơn gió làm lá cây rung rinh" hoặc "khi tôi vỗ tay, một con chim sẽ bay đi". Mô hình thế giới sẽ tạo ra các khung hình video bổ sung phản ánh chính xác sự thay đổi động lực học do tương tác đó, tạo ra nội dung độc đáo và chân thực hơn mà không cần kỹ năng chỉnh sửa phức tạp.
Ứng dụng huấn luyện thể chất và kỹ năng phản hồi vật lý trên di động: Một ứng dụng di động sử dụng camera để theo dõi chuyển động của người dùng trong các hoạt động thể chất hoặc học kỹ năng (ví dụ: tập gym, chơi golf). Dựa trên chuyển động của người dùng, một mô hình thế giới sẽ tạo ra một mô phỏng ảo phản ứng theo thời gian thực (ví dụ: hiển thị cách một quả tạ ảo di chuyển, hoặc đường đi của một quả bóng golf ảo). Ứng dụng sẽ cung cấp phản hồi về tư thế, lực tác động và kết quả dựa trên các nguyên lý vật lý và tương tác, giúp người dùng cải thiện kỹ thuật và hiệu quả luyện tập ngay trên điện thoại của họ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.22212
ArXiv Abstract	https://arxiv.org/abs/2603.22212
PDF Download	https://arxiv.org/pdf/2603.22212.pdf
Github Repository	https://github.com/AMAP-ML/Omni-WorldBench

2. Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model (90 votes)

Tác giả: SII-GAIR, Sand. ai, Ethan Chern, Hansi Teng, Hanwen Sun, Hao Wang, Hong Pan, Hongyu Jia, Jiadi Su, Jin Li, Junjie Yu, Lijie Liu, Lingzhi Li, Lyumanshan Ye, Min Hu, Qiangang Wang, Quanwei Qi, Steffi Chern, Tao Bu, Taoran Wang, Teren Xu, Tianning Zhang, Tiantian Mi, Weixian Xu, Wenqiang Zhang, Wentai Zhang, Xianping Yi, Xiaojie Cai, Xiaoyang Kang, Yan Ma, Yixiu Liu, Yunbo Zhang, Yunpeng Huang, Yutong Lin, Zewei Tao, Zhaoliang Liu, Zheng Zhang, Zhiyao Cen, Zhixuan Yu, Zhongshu Wang, Zhulin Hu, Zijin Zhou, Zinan Guo, Yue Cao, Pengfei Liu

Xuất bản lúc: 2026-03-23

Tag: Generative AI, Audio-Video Generation, Transformers, Multimodal AI, Model Distillation, Super-resolution, Human-centric Generation

I. Main Problem:

Việc tạo video đã phát triển nhanh chóng, nhưng biên giới hiện đang chuyển từ tổng hợp video tĩnh sang việc tạo đồng thời video và âm thanh được đồng bộ hóa. Các mô hình mã nguồn mở hiện tại còn hạn chế trong việc kết hợp chất lượng tạo mạnh mẽ, hỗ trợ đa ngôn ngữ và hiệu quả suy luận với kiến trúc đơn giản, có khả năng mở rộng. Nhiều mô hình hàng đầu dựa vào thiết kế đa luồng chuyên biệt, dẫn đến sự phức tạp và khó tối ưu hóa.

II. Main Idea:

Các tác giả giới thiệu daVinci-MagiHuman, một mô hình nền tảng tạo âm thanh-video mã nguồn mở, đặc biệt mạnh mẽ trong các kịch bản tập trung vào con người. Mô hình này sử dụng kiến trúc Transformer đơn luồng (single-stream Transformer) để xử lý văn bản, video và âm thanh trong một chuỗi token thống nhất chỉ bằng cơ chế self-attention, tránh sự phức tạp của các kiến trúc đa luồng hoặc cross-attention. Để tăng hiệu quả suy luận, daVinci-MagiHuman kết hợp backbone đơn luồng với chưng cất mô hình (model distillation), siêu phân giải không gian tiềm ẩn (latent-space super-resolution) và bộ giải mã Turbo VAE. Kiến trúc này bao gồm một bố cục "sandwich" với các lớp cụ thể theo phương thức ở đầu và cuối, và các lớp chia sẻ tham số ở giữa, cùng với tính năng khử nhiễu không theo bước thời gian (timestep-free denoising), gating trên mỗi head (per-head gating) và điều kiện hóa thống nhất (unified conditioning).

III. Main Results:

daVinci-MagiHuman đạt được chất lượng hình ảnh và độ căn chỉnh văn bản cao nhất trong số các mô hình mã nguồn mở hàng đầu, cùng với tỷ lệ lỗi từ (WER) thấp nhất (14.60%) về độ rõ ràng của giọng nói. Trong đánh giá của con người, nó đạt tỷ lệ thắng 80.0% so với Ovi 1.1 và 60.9% so với LTX 2.3. Về hiệu quả suy luận, mô hình chưng cất có thể tạo ra video 256p dài 5 giây chỉ trong 2 giây và video 1080p dài 5 giây trong 38.4 giây trên một GPU H100.

IV. Conclusion & Future Works:

daVinci-MagiHuman cung cấp một nền tảng mã nguồn mở mạnh mẽ cho việc tạo âm thanh-video bằng cách kết hợp sự đơn giản trong kiến trúc, chất lượng tạo ra tập trung vào con người mạnh mẽ, khả năng đa ngôn ngữ và suy luận nhanh chóng. Việc phát hành toàn bộ stack mô hình (bao gồm mô hình cơ sở, mô hình chưng cất, mô hình siêu phân giải và codebase suy luận) được kỳ vọng sẽ cung cấp cho cộng đồng một nền tảng thực tế và có thể mở rộng cho các công trình nghiên cứu trong tương lai về tạo âm thanh-video.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc mở rộng kiến trúc Transformer đơn luồng để tích hợp thêm các phương thức (ví dụ: dữ liệu cảm biến, dữ liệu sinh trắc học) nhằm nâng cao khả năng tạo nội dung đa phương thức phức tạp hơn, đồng thời duy trì sự đơn giản và hiệu quả.
Phát triển các phương pháp tối ưu hóa suy luận tiên tiến cho các mô hình tạo âm thanh-video trên các thiết bị biên (edge devices) và thiết bị di động, tập trung vào việc giảm thiểu yêu cầu về bộ nhớ và năng lượng mà vẫn giữ được chất lượng đầu ra cao.
Khám phá các kỹ thuật mới để nâng cao tính tương tác và khả năng điều khiển của các mô hình tạo nội dung tập trung vào con người, cho phép người dùng kiểm soát chi tiết hơn về cảm xúc, cử chỉ và phong cách nói của nhân vật được tạo ra trong thời gian thực.

2. Patent:

Hệ thống tạo Người thuyết trình AI cá nhân hóa trên điện thoại di động: Một ứng dụng di động cho phép người dùng nhập văn bản và tự động tạo ra một video của hình đại diện người (avatar) thực tế đang nói văn bản đó với chuyển động môi, biểu cảm tự nhiên và ngôn ngữ cơ thể được đồng bộ hóa. Ứng dụng này có thể được sử dụng để tạo nội dung cho mạng xã hội, thuyết trình hoặc tài liệu giáo dục trực tiếp trên điện thoại.
Trình dịch cuộc gọi video đa ngôn ngữ thời gian thực với đồng bộ cảm xúc: Một ứng dụng liên lạc di động dịch ngôn ngữ nói của người dùng sang một ngôn ngữ khác theo thời gian thực, đồng thời tạo ra một video khuôn mặt của người dùng với chuyển động môi được đồng bộ hóa và bảo toàn biểu cảm cảm xúc gốc, giúp các cuộc gọi video trở nên tự nhiên hơn qua rào cản ngôn ngữ.
Trợ lý kể chuyện tương tác được hỗ trợ bởi AI trên điện thoại: Một trò chơi hoặc ứng dụng giáo dục trên điện thoại di động, nơi người dùng gõ hoặc nói các câu lệnh, và ứng dụng tạo ra các đoạn video ngắn, động của các nhân vật phản hồi với lời nói, biểu cảm khuôn mặt và hành động phù hợp, mang lại trải nghiệm kể chuyện được cá nhân hóa và nhập vai cao.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.21986
ArXiv Abstract	https://arxiv.org/abs/2603.21986
PDF Download	https://arxiv.org/pdf/2603.21986.pdf
Github Repository	https://github.com/GAIR-NLP/daVinci-MagiHuman

3. Look Where It Matters: High-Resolution Crops Retrieval for Efficient VLMs (60 votes)

Tác giả: Nimrod Shabtay, Moshe Kimhi, Artem Spector, Sivan Haray, Ehud Rivlin, Chaim Baskin, Raja Giryes, Eli Schwartz

Xuất bản lúc: 2026-03-14

Tag: VLMs, Efficiency, High-Resolution, Tool-Calling, Reinforcement Learning, Supervised Fine-tuning, Multi-turn, Spatial-on-demand, Crop Retrieval, LLMs

I. Main Problem:

Các mô hình thị giác-ngôn ngữ (VLM) thường xử lý ảnh ở độ phân giải cao, dẫn đến sự đánh đổi giữa độ chính xác và hiệu quả tính toán. Đầu vào độ phân giải cao giúp nắm bắt chi tiết nhưng tốn kém tài nguyên, trong khi đầu vào độ phân giải thấp hiệu quả hơn nhưng có thể bỏ lỡ thông tin trực quan quan trọng, như văn bản nhỏ. Các phương pháp hiện có để giảm chi phí như cắt tỉa token thường tạo ra các mẫu token không đều, gây khó khăn cho việc tăng tốc độ phục vụ, hoặc các phương pháp tăng độ phân giải chỉ xử lý quyết định nhị phân (có/không cần độ phân giải cao) và thường lấy toàn bộ ảnh độ phân giải cao, lãng phí tính toán vào các vùng không liên quan.

II. Main Idea:

Bài báo đề xuất AwaRes, một framework nhận biết không gian theo yêu cầu, giải quyết sự đánh đổi giữa độ chính xác và hiệu quả bằng cách hoạt động trên chế độ xem toàn cầu độ phân giải thấp và sử dụng cơ chế gọi công cụ (tool-calling) để chỉ truy xuất các phân đoạn độ phân giải cao cần thiết cho một truy vấn cụ thể. AwaRes học một chính sách quyết định kết hợp (coupled-decision policy) để cùng lúc quyết định (i) liệu có cần thêm độ phân giải hay không và (ii) cần lấy ở đâu bằng cách chọn một tập hợp con các vùng ảnh (crops). Dữ liệu huấn luyện được tạo tự động: một "người đánh giá" (Judge) so sánh câu trả lời từ ảnh độ phân giải thấp và cao để gắn nhãn xem có cần cắt ảnh hay không. Một mô hình định vị "oracle" sau đó xác định bằng chứng cho câu trả lời đúng, được ánh xạ tới một tập hợp các vùng ảnh rời rạc để tạo thành các quỹ đạo sử dụng công cụ đa lượt (multi-turn tool-use trajectories). Framework được huấn luyện bằng cách kết hợp SFT (Supervised Fine-Tuning) khởi động lạnh với GRPO (Group Relative Policy Optimization) đa lượt, sử dụng phần thưởng tổng hợp kết hợp độ chính xác ngữ nghĩa của câu trả lời với các hình phạt chi phí cắt ảnh rõ ràng.

III. Main Results:

AwaRes đạt được độ chính xác trung bình 80.30% trên sáu bộ dữ liệu đánh giá, gần như tương đương với mô hình cơ sở ở độ phân giải đầy đủ (80.46%), nhưng chỉ sử dụng 36% số lượng token hình ảnh. Điều này cho thấy AwaRes hiệu quả hơn đáng kể về chi phí tính toán. Cụ thể, AwaRes vượt trội hơn tất cả các phương pháp thay thế hiệu quả hiện có, bao gồm các phương pháp cắt tỉa token theo ngân sách cố định (như VisionZip, SparseVLM, Holo-V) và các phương pháp tăng độ phân giải thích ứng (như VisionThink). Trên các bộ dữ liệu ChartQA, DocVQA và OCRBench, AwaRes thậm chí còn cải thiện nhẹ so với các đường cơ sở độ phân giải đầy đủ trong khi vẫn duy trì hiệu quả vượt trội.

IV. Conclusion & Future Works:

AwaRes giới thiệu một phương pháp hiệu quả để các VLM xử lý thông tin hình ảnh độ phân giải cao một cách chọn lọc, giải quyết vấn đề đánh đổi giữa độ chính xác và hiệu quả tính toán. Framework này sử dụng cơ chế gọi công cụ và học tập đa lượt để xác định động khi nào và ở đâu cần chi tiết bổ sung, giảm đáng kể số lượng token hình ảnh cần xử lý mà vẫn duy trì hiệu suất cao. Tương lai có thể mở rộng AwaRes để hỗ trợ các loại công cụ khác ngoài việc truy xuất vùng ảnh, hoặc khám phá các chiến lược tối ưu hóa phần thưởng phức tạp hơn để cân bằng hiệu quả và độ chính xác trong nhiều tác vụ VLM.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc tích hợp AwaRes với các loại công cụ (tools) đa dạng hơn, không chỉ giới hạn ở việc truy xuất vùng ảnh độ phân giải cao, mà còn bao gồm các công cụ phân tích biểu đồ, nhận dạng ký tự quang học (OCR) chuyên sâu, hoặc thậm chí các công cụ tương tác người dùng để thu thập thông tin bổ sung khi cần. Điều này sẽ mở rộng khả năng của VLM trong việc giải quyết các tác vụ phức tạp hơn.
Khám phá các phương pháp tối ưu hóa chính sách quyết định kết hợp (coupled-decision policy) của AwaRes để đạt được sự cân bằng động và linh hoạt hơn giữa độ chính xác và hiệu quả trong các môi trường có ràng buộc tài nguyên khác nhau (ví dụ: thiết bị di động với tài nguyên hạn chế so với máy chủ đám mây). Nghiên cứu về việc học các trọng số phạt (penalty weights) trong hàm thưởng GRPO một cách thích ứng thay vì cố định.
Phát triển một phương pháp tự động đánh giá và tinh chỉnh bộ vùng ảnh ứng cử viên (discrete crop candidate set) dựa trên đặc điểm của từng loại dữ liệu hoặc tác vụ, thay vì sử dụng một bộ cố định. Điều này có thể bao gồm việc học cách đề xuất các vùng ảnh có kích thước và hình dạng tùy chỉnh để tối đa hóa thông tin hữu ích và giảm thiểu token lãng phí.

2. Patent:

Hệ thống "Camera Thông Minh Theo Yêu Cầu" cho điện thoại di động: Một ứng dụng camera trên điện thoại di động có thể tự động nhận diện khi người dùng cần thông tin chi tiết từ một phần nhỏ của hình ảnh (ví dụ: đọc số seri nhỏ, xem chi tiết trên nhãn sản phẩm). Thay vì xử lý toàn bộ ảnh ở độ phân giải cao, hệ thống sẽ sử dụng một chế độ xem nhanh độ phân giải thấp, và nếu cần, sẽ tự động "phóng to" hoặc lấy một vùng ảnh chi tiết ở độ phân giải cao chỉ từ khu vực quan tâm, sau đó hiển thị thông tin hoặc thực hiện tác vụ (như tìm kiếm sản phẩm) dựa trên chi tiết đó, giúp tiết kiệm pin và tài nguyên xử lý.
Trợ lý đọc tài liệu "Thông Minh & Tiết Kiệm" trên thiết bị di động: Một tính năng trong ứng dụng đọc tài liệu hoặc trình duyệt web trên điện thoại di động. Khi người dùng xem một tài liệu có nhiều hình ảnh hoặc biểu đồ phức tạp, hệ thống sẽ tự động hiển thị phiên bản độ phân giải thấp để tải nhanh. Nếu người dùng đặt câu hỏi về một phần cụ thể của tài liệu (ví dụ: "giá trị X trong biểu đồ này là bao nhiêu?"), trợ lý sẽ chỉ tải và phân tích vùng ảnh độ phân giải cao chứa thông tin cần thiết đó, trả lời câu hỏi mà không cần tải toàn bộ tài liệu ở độ phân giải cao, giúp tiết kiệm dữ liệu di động và thời gian chờ.
Chế độ "Tiết Kiệm Năng Lượng AI" cho ứng dụng mua sắm/nhận diện vật thể: Trong các ứng dụng mua sắm hoặc nhận diện vật thể trên điện thoại, khi người dùng chụp ảnh một món đồ, hệ thống sẽ ưu tiên phân tích ảnh ở độ phân giải thấp để nhận diện các đặc điểm tổng thể. Chỉ khi cần xác định các chi tiết nhỏ hoặc văn bản trên sản phẩm (ví dụ: tên thương hiệu, số model) mà không thể nhìn rõ ở độ phân giải thấp, ứng dụng mới tự động gửi yêu cầu xử lý vùng ảnh chi tiết đó ở độ phân giải cao. Điều này giúp giảm đáng kể lượng dữ liệu gửi đi và tài nguyên xử lý trên máy chủ hoặc thiết bị, kéo dài thời lượng pin và tăng tốc độ phản hồi cho các tác vụ hàng ngày.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16932
ArXiv Abstract	https://arxiv.org/abs/2603.16932
PDF Download	https://arxiv.org/pdf/2603.16932.pdf
Github Repository	https://github.com/NimrodShabtay/AwaRes

4. OpenResearcher: A Fully Open Pipeline for Long-Horizon Deep Research Trajectory Synthesis (55 votes)

Tác giả: Zhuofeng Li, Dongfu Jiang, Xueguang Ma, Haoxiang Zhang, Ping Nie, Yuyu Zhang, Kai Zou, Jianwen Xie, Yu Zhang, Wenhu Chen

Xuất bản lúc: 2026-03-17

Tag: Deep Research Agents, Trajectory Synthesis, Supervised Fine-tuning (SFT), Offline Environment, LLMs, Information Retrieval, Tool Use

I. Main Problem:

Việc huấn luyện các tác nhân nghiên cứu sâu (deep research agents) đòi hỏi các quỹ đạo (trajectories) dài hạn, bao gồm tìm kiếm, tổng hợp bằng chứng và suy luận đa bước. Tuy nhiên, các quy trình thu thập dữ liệu hiện có thường dựa vào các API web độc quyền, khiến việc tổng hợp quỹ đạo quy mô lớn trở nên tốn kém, không ổn định và khó tái tạo. Các phương pháp này cũng thiếu khả năng tạo ra các quỹ đạo dài hạn (thường chỉ 2-5 lượt tương tác) và khó phân tích một cách có kiểm soát.

II. Main Idea:

OPENRESEARCHER giới thiệu một quy trình tái tạo được, tách rời việc xây dựng kho ngữ liệu ban đầu khỏi quá trình tổng hợp quỹ đạo đa lượt. Nó thực hiện vòng lặp tìm kiếm và duyệt hoàn toàn ngoại tuyến, sử dụng ba nguyên tắc trình duyệt rõ ràng: search (tìm kiếm), open (mở tài liệu) và find (tìm kiếm trong tài liệu), trên một kho ngữ liệu gồm 15 triệu tài liệu. Quy trình này bao gồm các bước chính:

Tách biệt xây dựng kho ngữ liệu và tạo quỹ đạo: Thực hiện một bước khởi tạo trực tuyến một lần để thu thập các tài liệu hỗ trợ câu trả lời, xây dựng một kho ngữ liệu và công cụ tìm kiếm ngoại tuyến. Sau đó, vòng lặp tổng hợp quỹ đạo đa lượt chạy hoàn toàn trong môi trường ngoại tuyến cục bộ.
Mô hình hóa hành vi duyệt web: Sử dụng ba công cụ trình duyệt tối thiểu (search, open, find) để tác nhân học không chỉ tìm kiếm gì mà còn cách kiểm tra tài liệu và định vị bằng chứng.
Tổng hợp quỹ đạo: Sử dụng GPT-OSS-120B làm mô hình giáo viên, tổng hợp hơn 97K quỹ đạo, bao gồm cả các quỹ đạo dài hạn với hơn 100 lượt gọi công cụ.
Huấn luyện tinh chỉnh có giám sát (SFT): Huấn luyện tinh chỉnh một mô hình nền tảng 30B-A3B trên các quỹ đạo đã tổng hợp (đặc biệt là các quỹ đạo đúng) để đạt được hiệu suất cao.

III. Main Results:

Hiệu suất vượt trội: Mô hình sinh viên 30B-A3B, được SFT trên các quỹ đạo của OPENRESEARCHER, đạt độ chính xác 54.8% trên BrowseComp-Plus, cải thiện 34.0 điểm so với mô hình cơ sở. Nó cũng cạnh tranh trên các điểm chuẩn web trực tiếp như BrowseComp (26.3%), GAIA (64.1%) và xbench-DeepSearch (65.0%), vượt trội so với các hệ thống nghiên cứu sâu mã nguồn mở hiện có và cạnh tranh với các mô hình độc quyền mạnh mẽ.
Hiệu quả chi phí: Thiết lập ngoại tuyến loại bỏ chi phí API (ước tính $0 so với$ 5,760 - $28,800 cho 5.76 triệu yêu cầu tìm kiếm), không có giới hạn tốc độ, đảm bảo khả năng tái tạo hoàn hảo và không phụ thuộc vào hạ tầng độc quyền.
Phân tích quỹ đạo: Các quỹ đạo thất bại yêu cầu số lượng lượt gọi công cụ gần gấp đôi (71.7 so với 38.4), chủ yếu do các thao tác search kém hiệu quả, cho thấy chiến lược tìm kiếm không hiệu quả chứ không phải do thiếu khám phá.
Nghiên cứu cắt bỏ (Ablation Studies):
- Việc huấn luyện trên các quỹ đạo đúng, sai hoặc kết hợp đều mang lại độ chính xác tương tự, cho thấy ngay cả các quỹ đạo thất bại cũng cung cấp tín hiệu giám sát hữu ích.
- Bước khởi tạo trực tuyến một lần để xây dựng kho ngữ liệu là cần thiết: loại bỏ các tài liệu vàng (gold documents) làm giảm đáng kể hiệu suất (độ chính xác BrowseComp-Plus giảm từ 54.81% xuống 6.35%).
- Các công cụ trình duyệt rõ ràng (search, open, find) là quan trọng: bộ ba công cụ này vượt trội đáng kể so với chỉ search hoặc search+open về độ chính xác, tỷ lệ tìm thấy tài liệu vàng và hiệu quả.
- Việc tìm thấy bằng chứng là cần thiết nhưng không đảm bảo câu trả lời đúng: P(đúng|tìm thấy tài liệu vàng) là 61.84%, trong khi P(đúng|mở tài liệu vàng) tăng lên 86.72%. P(tìm thấy tài liệu vàng|đúng) là 99.38% và P(mở tài liệu vàng|đúng) là 95.01%.

IV. Conclusion & Future Works:

OPENRESEARCHER cải thiện khả năng tái tạo và giảm chi phí tổng hợp quỹ đạo nghiên cứu sâu dài hạn bằng cách chuyển vòng lặp tìm kiếm và duyệt sang một môi trường ngoại tuyến có thể kiểm soát. Bằng cách thay thế các lượt gọi API web trực tiếp lặp đi lặp lại bằng thiết lập ngoại tuyến, nó giảm chi phí tạo quỹ đạo quy mô lớn và huấn luyện các mô hình cạnh tranh với các hệ thống độc quyền. Các tác giả hy vọng các công cụ, quỹ đạo và phân tích được trình bày sẽ giúp cộng đồng nghiên cứu giám sát tìm kiếm một cách có hệ thống hơn và định hướng công việc trong tương lai về xây dựng dữ liệu, thiết kế công cụ và phân tích lỗi cho các tác nhân nghiên cứu sâu.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược lọc và tinh chỉnh dữ liệu quỹ đạo (trajectory) để tối ưu hóa hiệu suất: Mặc dù bài báo chỉ ra rằng quỹ đạo sai cũng có giá trị, nhưng việc hiểu sâu hơn về loại thông tin nào từ quỹ đạo sai là hữu ích và cách kết hợp chúng một cách tối ưu với quỹ đạo đúng để huấn luyện mô hình vẫn là một lĩnh vực cần khám phá. Ví dụ, phân tích lỗi cụ thể trong quỹ đạo sai để tạo ra tín hiệu huấn luyện có mục tiêu.
Mở rộng bộ công cụ trình duyệt (browser primitives) và môi trường ngoại tuyến để hỗ trợ các tác vụ nghiên cứu phức tạp hơn: Hiện tại, search, open, find là các công cụ cơ bản. Nghiên cứu có thể tập trung vào việc thêm các công cụ như tóm tắt trang, trích xuất bảng, điều hướng đến các trang liên quan, hoặc tương tác với biểu mẫu để mô phỏng hành vi nghiên cứu của con người một cách toàn diện hơn, đồng thời tích hợp các loại tài liệu khác ngoài văn bản.
Khám phá các phương pháp huấn luyện mô hình sinh viên (student model) hiệu quả hơn từ quỹ đạo ngoại tuyến: Ngoài SFT, có thể nghiên cứu các kỹ thuật như học tăng cường (Reinforcement Learning) với phản hồi từ môi trường ngoại tuyến đã được kiểm soát, hoặc các phương pháp học đa nhiệm (multi-task learning) để cải thiện khả năng tổng quát hóa của các tác nhân nghiên cứu sâu sang các miền hoặc loại câu hỏi mới.

2. Patent:

Hệ thống trợ lý nghiên cứu thông minh trên điện thoại di động: Một ứng dụng trên điện thoại di động sử dụng công nghệ tương tự để giúp người dùng thực hiện các tác vụ nghiên cứu sâu. Khi người dùng nhập một câu hỏi hoặc chủ đề phức tạp, ứng dụng sẽ tự động "duyệt web" trong một môi trường ngoại tuyến được xây dựng sẵn (với dữ liệu được cập nhật định kỳ), tổng hợp thông tin từ nhiều nguồn và trình bày một bản tóm tắt có cấu trúc hoặc câu trả lời chi tiết. Điều này giảm thiểu việc sử dụng dữ liệu di động, tăng tốc độ phản hồi và đảm bảo tính nhất quán của kết quả.
Công cụ xác minh thông tin nhanh chóng và đáng tin cậy cho tin tức hoặc bài viết: Tích hợp một tính năng vào trình duyệt di động hoặc ứng dụng đọc tin tức cho phép người dùng kiểm tra độ tin cậy của thông tin. Khi người dùng chọn một đoạn văn bản hoặc tiêu đề, điện thoại sẽ sử dụng một tác nhân nghiên cứu ngoại tuyến để nhanh chóng tìm kiếm và đối chiếu thông tin từ cơ sở dữ liệu đã được xác thực, sau đó hiển thị một chỉ số độ tin cậy hoặc các nguồn tham khảo liên quan ngay trên màn hình mà không cần truy cập internet trực tiếp cho mỗi lần kiểm tra.
Trợ lý học tập cá nhân hóa với khả năng tìm kiếm sâu ngoại tuyến: Một ứng dụng di động dành cho học sinh, sinh viên có thể tải xuống các gói kiến thức chuyên biệt. Khi người dùng đặt câu hỏi trong lĩnh vực đó, ứng dụng sẽ sử dụng các chức năng tìm kiếm, mở tài liệu và định vị thông tin cụ thể trong tài liệu trên kho dữ liệu cục bộ để đưa ra các giải thích, ví dụ hoặc tài liệu tham khảo chi tiết. Điều này đặc biệt hữu ích ở những nơi có kết nối internet kém hoặc khi cần học tập tập trung mà không bị phân tâm bởi internet.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.20278
ArXiv Abstract	https://arxiv.org/abs/2603.20278
PDF Download	https://arxiv.org/pdf/2603.20278.pdf
Github Repository	https://github.com/TIGER-AI-Lab/OpenResearcher

5. VideoDetective: Clue Hunting via both Extrinsic Query and Intrinsic Relevance for Long Video Understanding (45 votes)

Tác giả: Ruoliu Yang, Chu Wu, Caifeng Shan, Ran He, Chaoyou Fu

Xuất bản lúc: 2026-03-23

Tag: Long Video Understanding, MLLMs, Graph Neural Networks, Active Learning, Question Answering, Information Retrieval

I. Main Problem:

Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) gặp khó khăn trong việc hiểu video dài do cửa sổ ngữ cảnh bị giới hạn, đòi hỏi phải xác định các phân đoạn video thưa thớt liên quan đến truy vấn. Tuy nhiên, các phương pháp hiện có chủ yếu chỉ định vị manh mối dựa trên truy vấn mà bỏ qua cấu trúc nội tại của video và mức độ liên quan khác nhau giữa các phân đoạn. Việc định vị manh mối một cách đáng tin cậy mà không cần hiểu toàn bộ video là rất khó khăn, đặc biệt đối với các câu hỏi đòi hỏi suy luận phức tạp.

II. Main Idea:

Chúng tôi đề xuất VideoDetective, một framework tích hợp cả mức độ liên quan từ truy vấn bên ngoài (extrinsic query) và mối quan hệ nội tại giữa các phân đoạn (intrinsic inter-segment affinity) để săn tìm manh mối hiệu quả trong việc trả lời câu hỏi về video dài. Cụ thể, chúng tôi chia video thành các phân đoạn và biểu diễn chúng dưới dạng một đồ thị liên kết hình ảnh-thời gian (visual-temporal affinity graph) được xây dựng từ sự tương đồng về hình ảnh và sự gần gũi về thời gian. Sau đó, chúng tôi thực hiện một vòng lặp "Giả thuyết – Xác minh – Tinh chỉnh" (Hypothesis–Verification–Refinement) để ước tính điểm liên quan của các phân đoạn đã quan sát đối với truy vấn và lan truyền chúng đến các phân đoạn chưa được nhìn thấy, tạo ra một phân bố mức độ liên quan toàn cục. Phân bố này hướng dẫn việc định vị các phân đoạn quan trọng nhất để trả lời cuối cùng với các quan sát thưa thớt.

III. Main Results:

Phương pháp của chúng tôi liên tục đạt được những cải thiện đáng kể trên nhiều MLLM chính thống trên các bộ dữ liệu tiêu biểu, với mức tăng độ chính xác lên tới 7.5% trên VideoMME-long.

Khả năng tương thích: VideoDetective hoạt động như một framework "plug-and-play", liên tục cải thiện hiệu suất trên các kiến trúc MLLM và quy mô tham số khác nhau, ví dụ: tăng 7.5% cho InternVL-2.5 (8B) và 7.0% cho Oryx-1.5 (7B).
Hiệu suất vượt trội: Khi được trang bị SeedVL-1.5 (20B), framework đạt độ chính xác 67.9% trên LongVideoBench (Val), vượt qua các mô hình lớn hơn đáng kể như LLaVA-Video-72B (63.9%) và các mô hình độc quyền hàng đầu như GPT-4o (66.7%) và Gemini-1.5-Pro (64.0%).
Hiệu quả tài nguyên: VideoDetective đạt hiệu quả token cao nhất, với độ chính xác cạnh tranh (65.6%) và mức tiêu thụ token vừa phải (khoảng 10k token mỗi video), cho thấy hiệu quả chi phí vượt trội so với các mô hình độc quyền yêu cầu lượng token gấp khoảng 10 lần.
Nghiên cứu cắt bỏ: Việc loại bỏ cơ chế lan truyền đồ thị làm giảm hiệu suất 4.2%; loại bỏ phân tách ngữ nghĩa truy vấn làm giảm xuống 47.8% (thậm chí tệ hơn baseline); và loại bỏ vòng lặp tinh chỉnh lặp đi lặp lại dẫn đến giảm 4.6%. Phân tích này khẳng định tầm quan trọng của từng thành phần.
Phân tích mở rộng mô hình: Nút thắt cổ chai về hiệu suất nằm ở mô hình thị giác (VLM), không phải mô hình ngôn ngữ lớn (LLM). Việc nâng cấp VLM mang lại mức tăng đáng kể (+9.5%), trong khi nâng cấp LLM chỉ tăng nhẹ (+0.2%).

IV. Conclusion & Future Works:

Chúng tôi đã giới thiệu VIDEODETECTIVE, một framework suy luận tích hợp cả mức độ liên quan từ truy vấn bên ngoài và các mối tương quan nội tại của video. Bằng cách mô hình hóa video dài dưới dạng đồ thị liên kết hình ảnh-thời gian và thực hiện vòng lặp suy luận "giả thuyết–xác minh–tinh chỉnh", chúng tôi lan truyền tín hiệu liên quan đến truy vấn từ các quan sát cục bộ thưa thớt đến toàn bộ video, từ đó định vị các manh mối quan trọng để trả lời câu hỏi về video dài. Các thí nghiệm rộng rãi trên bốn bộ dữ liệu thách thức đã chứng minh rằng phương pháp của chúng tôi đạt được hiệu suất cạnh tranh so với các MLLM mạnh mẽ và liên tục vượt trội so với các phương pháp baseline hiện có, đồng thời duy trì hiệu quả tính toán thông qua việc lấy mẫu thưa thớt.

Hạn chế và Hướng nghiên cứu tương lai: Phương pháp của chúng tôi dựa vào khả năng tự phản ánh của VLM để cung cấp tín hiệu phản hồi (ví dụ: "thiếu từ khóa"); công việc trong tương lai có thể khám phá các cơ chế đánh giá mức độ liên quan phức tạp hơn để cải thiện độ mạnh mẽ.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các cơ chế đánh giá mức độ liên quan nâng cao hơn, ít phụ thuộc vào khả năng tự phản ánh của VLM, để cải thiện độ mạnh mẽ trong việc xác định manh mối, đặc biệt trong các tình huống mơ hồ hoặc đòi hỏi suy luận ngầm.
Phát triển các mô hình thị giác (VLM) hiệu quả hơn cho việc hiểu video dài, đặc biệt tập trung vào khả năng trích xuất thông tin chất lượng cao từ các quan sát thưa thớt (sparse observations) và tích hợp chúng vào cấu trúc đồ thị để giải quyết nút thắt cổ chai về hiệu suất.
Khám phá các phương pháp tích hợp kiến thức bên ngoài hoặc suy luận logic vào quy trình "săn tìm manh mối" của VideoDetective để xử lý các câu hỏi phức tạp yêu cầu suy luận đa bước hoặc thông tin ngụ ý, vượt ra ngoài các manh mối trực tiếp trong video.

2. Patent:

Công nghệ tìm kiếm và tóm tắt video thông minh: Một ứng dụng di động cho phép người dùng đặt câu hỏi bằng ngôn ngữ tự nhiên về các video dài của họ (ví dụ: video gia đình, bài giảng). Ứng dụng sẽ nhanh chóng tìm và hiển thị các đoạn video liên quan nhất đến câu hỏi, mà không cần xem toàn bộ video. Nó hoạt động bằng cách phân tích cấu trúc bên trong của video và mức độ liên quan của từng phần với câu hỏi, sau đó lan truyền thông tin để tìm ra manh mối chính xác.
Hỗ trợ chỉnh sửa video theo ngữ cảnh: Một công cụ chỉnh sửa video trên điện thoại tự động đề xuất các phân đoạn quan trọng dựa trên yêu cầu văn bản của người dùng. Ví dụ, khi người dùng nhập "tạo video nổi bật về con chó của tôi chơi trong công viên", công cụ sẽ sử dụng phân tích hình ảnh và thời gian để xác định các cảnh liên quan, sau đó sử dụng một "bản đồ" nội bộ của video để lan truyền thông tin và tìm ra những khoảnh khắc tốt nhất để thêm vào bản chỉnh sửa.
Trợ lý hiểu video thời gian thực: Một trợ lý di động có khả năng trả lời các câu hỏi về nội dung video đang phát hoặc đã ghi. Ví dụ, khi bạn xem một video và hỏi "Người mặc áo xanh đang làm gì?", trợ lý sẽ phân tích các phần nhỏ của video, xây dựng một "mạng lưới" các mối liên hệ giữa các cảnh và lan truyền thông tin để đưa ra câu trả lời dựa trên sự hiểu biết tổng thể về video, ngay cả khi chỉ quan sát một phần nhỏ của nó.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.22285
ArXiv Abstract	https://arxiv.org/abs/2603.22285
PDF Download	https://arxiv.org/pdf/2603.22285.pdf
Github Repository	https://github.com/yangruoliu/VideoDetective

6. SpatialBoost: Enhancing Visual Representation through Language-Guided Reasoning (39 votes)

Tác giả: Byungwoo Jeon, Dongyoung Kim, Huiwon Jang, Insoo Kim, Jinwoo Shin

Xuất bản lúc: 2026-03-23

Tag: Multimodal Learning, Vision-Language Models, 3D Vision, Spatial Reasoning, Chain-of-Thought, Fine-tuning, LLMs, Vision Encoders

I. Main Problem:

Các mô hình biểu diễn hình ảnh được huấn luyện trước quy mô lớn (vision encoders) chủ yếu được đào tạo trên dữ liệu hình ảnh 2D, dẫn đến việc chúng thường thất bại trong việc nắm bắt các mối quan hệ không gian 3D giữa các đối tượng và hậu cảnh trong thế giới thực. Hạn chế này làm giảm hiệu quả của chúng trong nhiều ứng dụng hạ nguồn, bao gồm cả các tác vụ điều khiển robot yêu cầu hiểu biết sâu sắc về không gian 3D. Các phương pháp hiện có sử dụng hình ảnh đa góc nhìn gặp khó khăn về khả năng mở rộng do yêu cầu dữ liệu được chọn lọc kỹ lưỡng hoặc môi trường mô phỏng.

II. Main Idea:

SpatialBoost đề xuất một khung làm việc có thể mở rộng để nâng cao nhận thức không gian 3D của các bộ mã hóa thị giác (vision encoders) hiện có bằng cách tiêm kiến thức không gian 3D được diễn đạt bằng ngôn ngữ. Ý tưởng cốt lõi là chuyển đổi thông tin không gian 3D dày đặc từ hình ảnh 2D thành các biểu thức ngôn ngữ, sau đó sử dụng một Mô hình Ngôn ngữ Lớn (LLM) để tiêm kiến thức này vào vision encoders.

Quá trình này bao gồm:

Trích xuất kiến thức không gian: Sử dụng các mô hình chuyên biệt (ước tính độ sâu, phân đoạn, tái tạo 3D) để lấy thông tin không gian từ hình ảnh.
Chuyển đổi kiến thức thành mô tả ngôn ngữ: Áp dụng quy trình suy luận Chain-of-Thought (CoT) nhiều lượt để tạo ra các câu hỏi-trả lời (QA) về không gian ở ba cấp độ phân cấp: pixel-level, object-level và scene-level, cùng với các mô tả cảnh chung.
Tinh chỉnh vision encoder: Sử dụng một kiến trúc đa phương thức gồm vision encoder, mô-đun chiếu (projector) và LLM. Quá trình tinh chỉnh diễn ra qua ba giai đoạn: căn chỉnh đặc trưng, điều chỉnh hướng dẫn thị giác, và cuối cùng là tinh chỉnh vision encoder với cơ chế dual-channel attention để tiêm kiến thức không gian mới mà vẫn bảo toàn kiến thức đã học trước đó, tránh quên kiến thức cũ.

III. Main Results:

SpatialBoost đã cải thiện đáng kể hiệu suất trên nhiều tác vụ:

Ước tính độ sâu đơn sắc: Cải thiện RMSE của SigLIPv2 từ 0.51 xuống 0.39 trên NYUd (linear probing), và DINOv3 từ 0.31 xuống 0.25 trên NYUd.
Phân đoạn ngữ nghĩa: Cải thiện mIoU của DINOv3 từ 55.9 lên 59.7 trên ADE20K (linear probing), đạt hiệu suất state-of-the-art với mức tăng 3.8%.
Hiểu biết cảnh 3D: Cải thiện hiệu suất của DINOv3 trên tác vụ SQA3D của Lexicon3D từ 51.4% lên 54.9% (BLEU-1) và trên ScanRefer từ 56.2% lên 61.1% (accuracy).
Điều khiển robot dựa trên thị giác: Cải thiện điểm trung bình của DINOv3 từ 72.8 lên 80.8 trên CortexBench.
Phân loại và truy xuất hình ảnh: Nâng cao hiệu suất ImageNet linear probing của DINOv3 từ 88.4% lên 90.2%, cho thấy khả năng tổng quát hóa mà không bị quá khớp với kiến thức không gian.

IV. Conclusion & Future Works:

SpatialBoost là một framework hiệu quả để nâng cao nhận thức không gian 3D của các vision encoders hiện có bằng cách sử dụng suy luận ngôn ngữ. Nó thành công trong việc tiêm kiến thức không gian 3D dày đặc vào mô hình mà không làm mất đi khả năng tổng quát hóa hiện có. Các kết quả cho thấy việc sử dụng quy trình suy luận CoT nhiều lượt và cơ chế dual-channel attention là then chốt để đạt được hiệu suất vượt trội trên cả tác vụ 3D và các tác vụ thị giác tổng quát. Hướng nghiên cứu trong tương lai có thể tập trung vào việc mở rộng SpatialBoost sang các miền dữ liệu hoặc loại kiến thức không gian phức tạp hơn, cũng như tối ưu hóa hiệu quả tính toán của quá trình tạo và tiêm kiến thức.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao hiểu biết không gian 3D trong các mô hình thị giác-ngôn ngữ đa phương thức bằng cách tích hợp thông tin xúc giác: Nghiên cứu cách kết hợp dữ liệu xúc giác (ví dụ: từ cảm biến chạm) cùng với thông tin thị giác và ngôn ngữ để cải thiện khả năng suy luận không gian, đặc biệt cho các tác vụ đòi hỏi tương tác vật lý.
Khung suy luận không gian đa cấp độ cho robot tự hành sử dụng dữ liệu thị giác và ngôn ngữ: Phát triển một hệ thống cho phép robot không chỉ hiểu vị trí và mối quan hệ của các đối tượng trong không gian 3D mà còn có thể lập kế hoạch và thực hiện các hành động phức tạp dựa trên các câu lệnh ngôn ngữ tự nhiên, tích hợp suy luận từ pixel-level đến scene-level.
Tạo dữ liệu suy luận không gian 3D tự động và quy mô lớn cho việc đào tạo mô hình thị giác: Tập trung vào việc phát triển các phương pháp tiên tiến để tự động tạo ra các bộ dữ liệu QA suy luận không gian 3D chất lượng cao từ các nguồn dữ liệu 2D và 3D hiện có, giảm thiểu sự phụ thuộc vào dữ liệu được chú thích thủ công và mở rộng khả năng áp dụng cho các miền mới.

2. Patent:

Hệ thống nâng cao nhận thức không gian cho camera điện thoại thông minh: Một ứng dụng di động sử dụng công nghệ tương tự SpatialBoost để phân tích hình ảnh hoặc video từ camera điện thoại, chuyển đổi thông tin không gian 3D thành mô tả ngôn ngữ. Hệ thống này có thể giúp người dùng hiểu rõ hơn về bố cục không gian của một cảnh (ví dụ: "cốc ở phía trước máy tính", "khoảng cách giữa hai người là 1 mét"), hỗ trợ các ứng dụng như đo lường khoảng cách, sắp xếp nội thất ảo hoặc hỗ trợ người khiếm thị.
Chức năng hỗ trợ điều hướng trong nhà dựa trên hiểu biết không gian sâu: Phát triển một tính năng trên điện thoại thông minh cho phép người dùng điều hướng trong các môi trường phức tạp như trung tâm mua sắm hoặc sân bay. Bằng cách phân tích hình ảnh từ camera và chuyển đổi chúng thành mô tả không gian chi tiết ("cửa hàng quần áo ở bên trái của quầy thông tin, cách 5 mét"), ứng dụng có thể cung cấp chỉ dẫn chính xác hơn và cảnh báo về các vật cản, vượt xa khả năng của GPS thông thường.
Công cụ tạo mô tả 3D tự động cho vật thể trong ảnh để hỗ trợ mua sắm trực tuyến: Một ứng dụng di động cho phép người bán hàng chụp ảnh sản phẩm và tự động tạo ra các mô tả chi tiết về kích thước, vị trí tương đối và mối quan hệ không gian của sản phẩm với các vật thể khác trong ảnh. Điều này giúp người mua hàng trực tuyến có cái nhìn rõ ràng hơn về sản phẩm, cải thiện trải nghiệm mua sắm và giảm tỷ lệ trả hàng do sai lệch về kích thước hoặc không gian.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.22057
ArXiv Abstract	https://arxiv.org/abs/2603.22057
PDF Download	https://arxiv.org/pdf/2603.22057.pdf
Github Repository	https://github.com/rootyJeon/SpatialBoost

7. Manifold-Aware Exploration for Reinforcement Learning in Video Generation (31 votes)

Tác giả: Mingzhe Zheng, Weijie Kong, Yue Wu, Dengyang Jiang, Yue Ma, Xuanhua He, Bin Lin, Kaixiong Gong, Zhao Zhong, Liefeng Bo, Qifeng Chen, Harry Yang

Xuất bản lúc: 2026-03-23

Tag: Reinforcement Learning, Video Generation, Diffusion Models, Flow Matching, Policy Optimization, Manifold Learning, SDE, Trust Region Policy Optimization, Alignment, Generative AI

I. Main Problem:

Các phương pháp Tối ưu hóa Chính sách Tương đối Nhóm (GRPO) cho tạo video, như FlowGRPO, kém tin cậy hơn nhiều so với các phương pháp tương tự cho mô hình ngôn ngữ và hình ảnh. Khoảng cách này phát sinh do không gian giải pháp của tạo video rất phức tạp, và việc chuyển đổi từ phương trình vi phân thông thường (ODE) sang phương trình vi phân ngẫu nhiên (SDE) để khám phá có thể tiêm nhiễu quá mức, làm giảm chất lượng bản thử nghiệm (rollout) và khiến ước tính phần thưởng kém tin cậy, gây mất ổn định cho việc điều chỉnh sau huấn luyện. Cụ thể, các phương pháp hiện tại dựa vào xấp xỉ bậc nhất và gây ra lỗi làm tiêm năng lượng nhiễu dư thừa, đẩy các mẫu ra khỏi manifold dữ liệu và tạo ra rung giật cùng các tạo tác thời gian. Ngoài ra, quá trình khuếch tán có sự mất cân bằng tín hiệu-nhiễu cố hữu giữa các bước thời gian, dẫn đến gradient biến mất ở nhiễu cao và bùng nổ ở nhiễu thấp, làm sai lệch quá trình học. Cuối cùng, các khuôn khổ điều chỉnh hiện tại đối mặt với nghịch lý ổn định-linh hoạt: ràng buộc chặt chẽ hạn chế tính linh hoạt, trong khi ràng buộc lỏng lẻo dẫn đến "phần thưởng bị hack" (reward hacking) hoặc quên lãng thảm khốc.

II. Main Idea:

Để giải quyết các vấn đề trên, chúng tôi coi mô hình đã được huấn luyện trước định nghĩa một manifold dữ liệu video hợp lệ và xây dựng vấn đề cốt lõi là ràng buộc khám phá trong vùng lân cận của manifold này, đảm bảo chất lượng bản thử nghiệm được bảo toàn và ước tính phần thưởng vẫn đáng tin cậy. Chúng tôi đề xuất SAGE-GRPO (Stable Alignment via Exploration), áp dụng các ràng buộc ở cả cấp độ vi mô và vĩ mô. Ở cấp độ vi mô, chúng tôi:

Đạo hàm một SDE chính xác nhận biết manifold (precise manifold-aware SDE) với hiệu chỉnh độ cong logarit để loại bỏ năng lượng nhiễu không cần thiết, cho phép khám phá chính xác hơn và giữ các mẫu gần với manifold dữ liệu hơn, ngăn chặn các tạo tác thời gian.
Giới thiệu một bộ cân bằng chuẩn gradient (gradient norm equalizer) để ổn định việc lấy mẫu và cập nhật trên các bước thời gian bằng cách chuẩn hóa áp lực tối ưu hóa, giải quyết vấn đề gradient biến mất/bùng nổ. Ở cấp độ vĩ mô, chúng tôi sử dụng cơ chế vùng tin cậy kép (Dual Trust Region) với:
Một điểm neo di chuyển định kỳ (periodic moving anchor) cập nhật chính sách tham chiếu sau mỗi N bước, tạo ra một vùng tin cậy động theo dõi các điểm kiểm soát gần với manifold hơn và giới hạn sự trôi dạt dài hạn (kiểm soát vị trí).
Các ràng buộc từng bước (stepwise constraints) để kiểm soát tốc độ cập nhật tham số, đảm bảo chuyển đổi cục bộ mượt mà (kiểm soát vận tốc). Sự kết hợp này tạo thành một bộ điều khiển vị trí-vận tốc, cho phép duy trì tính linh hoạt.

III. Main Results:

Chúng tôi đã đánh giá SAGE-GRPO trên HunyuanVideo1.5 sử dụng VideoAlign làm mô hình phần thưởng và quan sát thấy những cải tiến nhất quán so với các phương pháp trước đây (DanceGRPO, FlowGRPO, CPS) về VQ (Chất lượng hình ảnh), MQ (Chất lượng chuyển động), TA (Căn chỉnh văn bản) và các chỉ số hình ảnh (CLIPScore, PickScore), thể hiện hiệu suất vượt trội cả về tối đa hóa phần thưởng và chất lượng video tổng thể. Các nghiên cứu loại bỏ thành phần đã xác nhận rằng cả thiết kế cấp độ vi mô (SDE chính xác nhận biết manifold với cân bằng gradient thời gian) và mục tiêu Vùng Tin cậy Kép cấp độ vĩ mô đều cần thiết để giảm khoảng cách ổn định-linh hoạt. Một nghiên cứu người dùng với 29 người đánh giá trên 32 lời nhắc đã chỉ ra sự ưu tiên mạnh mẽ của con người đối với phương pháp của chúng tôi, đặc biệt là về Chất lượng Chuyển động, xác nhận rằng các chỉ số tự động phù hợp với chất lượng cảm nhận. Cụ thể, SAGE-GRPO đạt tỷ lệ thắng 85.9% so với DanceGRPO về Chất lượng Hình ảnh, 79.2% so với FlowGRPO về Chất lượng Chuyển động và 67.9% so với CPS về Căn chỉnh Ngữ nghĩa. Chiến lược Dual Moving KL đạt phần thưởng cao nhất và ổn định nhất, đồng thời duy trì mức độ khám phá cao hơn và ổn định hơn trong suốt quá trình huấn luyện.

IV. Conclusion & Future Works:

Chúng tôi đã trình bày SAGE-GRPO, một khuôn khổ GRPO nhận biết manifold để học tăng cường ổn định trong tạo video. Thách thức cốt lõi là thiết kế các chiến lược khám phá tôn trọng cấu trúc manifold, nơi mỗi bước khám phá vẫn nằm trong vùng lân cận của manifold thay vì trôi dạt vào các vùng nhiễu cao. Ở cấp độ vi mô, chúng tôi đã đạo hàm một SDE chính xác nhận biết manifold và giới thiệu một bộ cân bằng chuẩn gradient. Ở cấp độ vĩ mô, chúng tôi đề xuất cơ chế Vùng Tin cậy Kép kết hợp kiểm soát vị trí và vận tốc để giảm thiểu các cực tiểu cục bộ ngoài manifold đồng thời cho phép tính linh hoạt bền vững. Các thí nghiệm trên HunyuanVideo1.5 với phần thưởng VideoAlign cho thấy những cải tiến nhất quán so với các phương pháp cơ sở mạnh mẽ và xác nhận đóng góp của từng thành phần thông qua các nghiên cứu loại bỏ. Hướng phát triển trong tương lai có thể tập trung vào việc áp dụng phương pháp này cho các miền dữ liệu phức tạp khác, cải thiện cơ chế cân bằng gradient động và tích hợp với các mô hình phần thưởng tự thích ứng để giải quyết vấn đề "reward hacking" một cách hiệu quả hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng SAGE-GRPO cho tạo sinh dữ liệu đa phương thức: Nghiên cứu cách áp dụng nguyên tắc khám phá nhận biết manifold và cơ chế vùng tin cậy kép của SAGE-GRPO để cải thiện tính ổn định và chất lượng trong việc tạo sinh dữ liệu đa phương thức, ví dụ như video có âm thanh đồng bộ, hoặc các mô hình tạo sinh 3D phức tạp, nơi sự nhất quán giữa các yếu tố là cực kỳ quan trọng.
Phát triển các chiến lược khám phá manifold thích ứng động: Thiết kế các phương pháp SDE nhận biết manifold và cân bằng gradient có khả năng thích ứng tự động với độ phức tạp và cấu trúc thay đổi của manifold dữ liệu trong suốt quá trình huấn luyện, cho phép mô hình khám phá hiệu quả hơn ở các giai đoạn khác nhau của quá trình khuếch tán mà không cần điều chỉnh thủ công các tham số khám phá.
Tích hợp học tăng cường dựa trên phản hồi con người (RLHF) với SAGE-GRPO để tạo video tương tác: Khám phá cách kết hợp hiệu quả SAGE-GRPO với các kỹ thuật học tăng cường từ phản hồi con người để tạo ra các mô hình video có thể phản hồi tốt hơn với các ưu tiên và hướng dẫn chi tiết của người dùng, đặc biệt trong các ứng dụng tạo video tương tác hoặc cá nhân hóa cao, đồng thời vẫn duy trì tính ổn định và chất lượng hình ảnh.

2. Patent:

Hệ thống ổn định video di động thông minh: Một hệ thống tích hợp vào camera hoặc ứng dụng chỉnh sửa video trên điện thoại thông minh, sử dụng thuật toán nhận biết manifold để phân tích và hiệu chỉnh chuyển động trong video. Nó tự động loại bỏ hiện tượng rung lắc, giật hình và tạo ra các đoạn video mượt mà, chuyên nghiệp hơn mà không làm mất đi chi tiết, đặc biệt hữu ích cho việc quay video khi đang di chuyển hoặc trong điều kiện ánh sáng yếu.
Trình tạo hiệu ứng chuyển cảnh video tự nhiên: Một tính năng trên ứng dụng chỉnh sửa video di động cho phép người dùng tạo ra các hiệu ứng chuyển cảnh giữa các clip video một cách liền mạch và tự nhiên. Dựa trên SDE nhận biết manifold, công cụ này sẽ phân tích nội dung của hai clip và tạo ra một quá trình chuyển đổi động, sáng tạo, mô phỏng các chuyển động và thay đổi ánh sáng thực tế, vượt trội so với các hiệu ứng chuyển cảnh tĩnh thông thường.
Công cụ tạo video quảng cáo ngắn dựa trên mô tả văn bản: Một ứng dụng di động cho phép các doanh nghiệp nhỏ hoặc người dùng cá nhân nhập mô tả văn bản về sản phẩm hoặc dịch vụ của họ (ví dụ: "quảng cáo cà phê buổi sáng, năng động, tươi mới"). Hệ thống sẽ tự động tạo ra một đoạn video quảng cáo ngắn, chất lượng cao, với các cảnh quay, chuyển động và hiệu ứng văn bản được căn chỉnh ngữ nghĩa, đảm bảo video có tính thẩm mỹ và thông điệp rõ ràng, tối ưu hóa cho nền tảng mạng xã hội.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.21872
ArXiv Abstract	https://arxiv.org/abs/2603.21872
PDF Download	https://arxiv.org/pdf/2603.21872.pdf
Github Repository	https://github.com/Tencent-Hunyuan/SAGE-GRPO

8. F4Splat: Feed-Forward Predictive Densification for Feed-Forward 3D Gaussian Splatting (31 votes)

Tác giả: Injae Kim, Chaehyeon Kim, Minseong Bae, Minseok Joo, Hyunwoo J. Kim

Xuất bản lúc: 2026-03-22

Tag: 3D Gaussian Splatting, Feed-Forward, Densification, Novel View Synthesis, Adaptive Allocation, Computer Vision, Deep Learning

I. Main Problem:

Các phương pháp 3D Gaussian Splatting (3DGS) feed-forward hiện có thường sử dụng các pipeline pixel-to-Gaussian hoặc voxel-to-Gaussian cứng nhắc, dẫn đến phân bổ Gaussian đồng nhất. Điều này gây ra sự dư thừa Gaussian ở các vùng đơn giản và thiếu chi tiết ở các vùng phức tạp, đồng thời thiếu cơ chế hiệu quả để kiểm soát tổng số lượng Gaussian mà không cần huấn luyện lại. Khung 3DGS truyền thống đòi hỏi tối ưu hóa lặp lại tốn kém cho mỗi cảnh và phụ thuộc vào các khung hình đầu vào dày đặc với các thông số camera đã biết, điều này không thực tế trong nhiều tình huống thực tế.

II. Main Idea:

F4Splat giới thiệu một chiến lược phân bổ Gaussian thích ứng, dựa trên điểm số densification (làm dày đặc), để phân phối Gaussian theo độ phức tạp không gian và sự chồng lấp đa góc nhìn. Mô hình dự đoán điểm số densification cho từng vùng để ước tính mật độ Gaussian cần thiết, cho phép kiểm soát rõ ràng ngân sách Gaussian cuối cùng mà không cần huấn luyện lại. Điểm số densification được học từ gradient vị trí không gian xem theo hướng đồng nhất của Gaussian, chỉ ra các vùng thiếu chi tiết. Chiến lược này cho phép phân bổ thích ứng không gian, giảm sự dư thừa ở các vùng đơn giản và giảm thiểu các Gaussian trùng lặp giữa các góc nhìn chồng lấp, tạo ra các biểu diễn 3D nhỏ gọn nhưng chất lượng cao. F4Splat cũng sử dụng phương pháp dự đoán đa tỷ lệ và huấn luyện bằng cách sử dụng các góc nhìn mới làm hình ảnh mục tiêu để cải thiện khả năng tổng quát hóa.

III. Main Results:

F4Splat đạt được hiệu suất tổng hợp góc nhìn mới vượt trội so với các phương pháp feed-forward không hiệu chỉnh trước đây, đồng thời sử dụng ít Gaussian hơn đáng kể. Mô hình tạo ra các biểu diễn 3D nhỏ gọn nhưng chất lượng cao. Các thử nghiệm rộng rãi chứng minh rằng F4Splat đạt được chất lượng tổng hợp góc nhìn mới ngang bằng hoặc vượt trội trong khi sử dụng ít Gaussian hơn đáng kể so với các phương pháp feed-forward không hiệu chỉnh trước đây chỉ dựa vào hình ảnh đầu vào. F4Splat cung cấp khả năng kiểm soát số lượng Gaussian một cách linh hoạt mà không cần huấn luyện lại.

IV. Conclusion & Future Works:

F4Splat đã giải quyết hiệu quả các hạn chế của các phương pháp 3D Gaussian Splatting feed-forward hiện có bằng cách giới thiệu cơ chế densification dự đoán và phân bổ Gaussian thích ứng không gian. Điều này cho phép kiểm soát linh hoạt ngân sách Gaussian mà không cần huấn luyện lại, đồng thời đạt được độ trung thực cao với số lượng Gaussian ít hơn. Hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng phương pháp này sang các cảnh động hoặc tích hợp thêm thông tin ngữ nghĩa để tối ưu hóa việc phân bổ Gaussian hơn nữa.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa phân bổ Gaussian dựa trên ngữ nghĩa cho 3DGS Feed-Forward: Nghiên cứu cách tích hợp thông tin ngữ nghĩa (ví dụ: nhận dạng đối tượng, phân đoạn ngữ nghĩa) vào quy trình dự đoán điểm số densification. Điều này cho phép mô hình ưu tiên độ chi tiết ở các vùng quan trọng về mặt ngữ nghĩa (ví dụ: khuôn mặt, vật thể cụ thể) và giảm mật độ ở các vùng nền ít quan trọng, tạo ra các biểu diễn 3D thậm chí còn nhỏ gọn và có ý nghĩa hơn.
F4Splat cho tái tạo cảnh 3D động và hiệu quả: Mở rộng F4Splat để xử lý các cảnh động, nơi các vật thể di chuyển theo thời gian. Phát triển một cơ chế densification dự đoán có thể thích ứng với sự thay đổi hình dạng và vị trí của vật thể, duy trì biểu diễn 3D chất lượng cao và nhỏ gọn trong môi trường động mà không cần tối ưu hóa lặp lại.
Phương pháp densification score đa phương thức cho 3DGS Feed-Forward: Khám phá việc sử dụng các tín hiệu bổ sung ngoài gradient hình ảnh (ví dụ: thông tin độ sâu từ cảm biến LiDAR, ước tính độ tin cậy từ nhiều góc nhìn) để tính toán điểm số densification. Kết hợp các tín hiệu đa phương thức này có thể dẫn đến việc phân bổ Gaussian chính xác hơn và mạnh mẽ hơn, đặc biệt trong các điều kiện ánh sáng khó khăn hoặc với dữ liệu đầu vào hạn chế.

2. Patent:

Hệ thống quét 3D vật thể thông minh cho điện thoại di động: Một ứng dụng trên điện thoại cho phép người dùng quét các vật thể trong môi trường thực. Công nghệ này sẽ tự động phân bổ các 'điểm ảnh 3D' (Gaussians) một cách thông minh, tập trung vào các chi tiết phức tạp và giảm bớt ở các vùng đơn giản. Điều này giúp tạo ra các mô hình 3D chất lượng cao nhưng dung lượng nhỏ, dễ dàng chia sẻ hoặc sử dụng trong các ứng dụng AR/VR trên điện thoại mà không làm quá tải bộ nhớ hay hiệu năng.
Chụp ảnh và hiển thị thực tế tăng cường (AR) tiết kiệm năng lượng trên di động: Hệ thống camera điện thoại có thể sử dụng công nghệ này để hiểu và tái tạo môi trường xung quanh một cách hiệu quả. Khi người dùng muốn đặt một vật thể ảo vào khung cảnh thực (AR), điện thoại sẽ nhanh chóng tạo ra một bản đồ 3D tối ưu hóa của môi trường. Bản đồ này sẽ chỉ sử dụng đủ 'điểm ảnh 3D' cần thiết để neo giữ vật thể ảo một cách chính xác, giảm thiểu sức mạnh xử lý và tiết kiệm pin, giúp trải nghiệm AR mượt mà và kéo dài hơn.
Tối ưu hóa video và cuộc gọi video 3D cho thiết bị di động: Khi quay video hoặc thực hiện cuộc gọi video 3D (ví dụ, cho các cuộc họp thực tế ảo), công nghệ này có thể phân tích cảnh quay và phân bổ 'điểm ảnh 3D' (Gaussians) một cách thông minh. Nó sẽ ưu tiên chi tiết cho khuôn mặt người và các vật thể quan trọng khác, trong khi giảm độ phân giải ở các vùng nền ít quan trọng. Điều này giúp nén dữ liệu 3D hiệu quả hơn, giảm băng thông mạng cần thiết và cải thiện chất lượng hình ảnh 3D cho người nhận trên thiết bị di động, ngay cả với kết nối mạng hạn chế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.21304
ArXiv Abstract	https://arxiv.org/abs/2603.21304
PDF Download	https://arxiv.org/pdf/2603.21304.pdf
Github Repository	https://github.com/mlvlab/F4Splat

9. mSFT: Addressing Dataset Mixtures Overfiting Heterogeneously in Multi-task SFT (27 votes)

Tác giả: Woosung Koh, Jeyoung Jeon, Youngjin Song, Yujin Cheon, Soowon Oh, Jaehyeong Choi, Se-Young Yun

Xuất bản lúc: 2026-03-23

Tag: SFT, Multi-task Learning, Overfitting, Early Stopping, Large Language Models, LLMs, Optimization, Data Mixing

I. Main Problem:

Vấn đề chính là trong quá trình tinh chỉnh có giám sát đa tác vụ (multi-task Supervised Fine-Tuning - SFT) cho các mô hình ngôn ngữ hiện tại, việc phân bổ ngân sách tính toán (compute budget) đồng nhất cho tất cả các tập dữ liệu con là không tối ưu. Điều này dẫn đến tình trạng các tác vụ học nhanh bị overfitting sớm trong khi các tác vụ học chậm hơn vẫn còn under-fitted, do động lực học tập không đồng nhất của các tập dữ liệu con.

II. Main Idea:

Bài báo đề xuất MSFT (multi-task mixture SFT), một thuật toán tìm kiếm lặp lại, nhận biết overfitting cho hỗn hợp dữ liệu đa tác vụ. MSFT hoạt động bằng cách: 1. Huấn luyện mô hình trên một hỗn hợp dữ liệu đang hoạt động. 2. Xác định và loại trừ tập dữ liệu con bị overfitting sớm nhất. 3. Quay trở lại điểm kiểm tra (checkpoint) tối ưu cụ thể đó trước khi tiếp tục huấn luyện. Cách tiếp cận lặp lại này giải quyết hạn chế của các giải pháp naive (như SRO SFT) bằng cách điều chỉnh động quỹ đạo tối ưu hóa khi các tập dữ liệu bị loại trừ, đảm bảo rằng giai đoạn tìm kiếm và huấn luyện được căn chỉnh.

III. Main Results:

Hiệu suất vượt trội: MSFT liên tục vượt trội hơn 4 phương pháp baseline (và 2 baseline ablative) trên 10 bộ benchmark và 6 mô hình cơ sở khác nhau.
Tăng cường độ bền vững: Đạt được mức tăng hiệu suất nhất quán trên tất cả ba lĩnh vực chính: Khoa học & Kiến thức (+0.7%), Kiến thức Chung & Ngôn ngữ (+2.4%), và Suy luận Toán học & Định lượng (+3.0%).
Ổn định và đồng đều: Duy trì độ lệch chuẩn thấp nhất trên các benchmark, cho thấy các cải tiến hiệu suất đến từ các lợi ích phân bố đồng đều chứ không phải từ các tác vụ ngoại lệ. MSFT đạt vị trí số 1 trên các benchmark cá nhân 26 lần, gấp đôi so với baseline tốt nhất tiếp theo (IES, 13 lần).
Hiệu quả tính toán: Ở ngân sách tính toán thấp (ví dụ: C=1), MSFT có thể cải thiện hiệu suất đồng thời giảm 120.3 PFLOPs chi phí huấn luyện.
Khả năng mở rộng và chi tiết: Các cải tiến hiệu suất của MSFT mạnh mẽ trên các quy mô tập dữ liệu và số lượng tác vụ khác nhau, đồng thời vẫn hiệu quả ở mức độ chi tiết cao (ví dụ: 21 danh mục con của MedMCQA).
Giảm tổn thất huấn luyện: MSFT thường đạt được tổn thất huấn luyện thấp hơn so với SFT tiêu chuẩn, với các bước giảm tổn thất rõ rệt sau khi các tập dữ liệu overfitting được loại trừ.

IV. Conclusion & Future Works:

MSFT thiết lập một thuật toán thực tế nhận biết overfitting cho SFT đa tác vụ, tối đa hóa tiềm năng của các mô hình trên các hỗn hợp dữ liệu đa dạng. Mặc dù việc loại trừ cứng nhắc có thể gây ra một số "quên" nhỏ, nhưng lợi ích từ việc tránh overfitting không đồng nhất đã vượt qua những hạn chế này, dẫn đến hiệu suất tổng thể vượt trội. Công việc trong tương lai có thể tập trung vào việc tối ưu hóa thêm quá trình quản lý đĩa để giảm hoàn toàn chi phí lưu trữ, mặc dù hiện tại nó được coi là một sự đánh đổi chấp nhận được.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa chiến lược loại trừ dữ liệu động trong SFT đa tác vụ: Nghiên cứu các phương pháp phức tạp hơn để xác định và loại trừ các tập dữ liệu overfitting, bao gồm việc sử dụng các tiêu chí động hoặc mô hình dự đoán để dự báo sớm hơn các điểm overfitting, thay vì chỉ dựa vào điểm hiệu suất cao nhất.
Khám phá các phương pháp tinh chỉnh mềm thay thế cho loại trừ cứng nhắc: Phát triển các kỹ thuật "loại trừ mềm" (soft exclusion) hoặc điều chỉnh trọng số động mà không loại bỏ hoàn toàn tập dữ liệu, nhằm giảm thiểu hiện tượng "quên thảm khốc" (catastrophic forgetting) và tối đa hóa khả năng chuyển giao kiến thức giữa các tác vụ.
Mở rộng MSFT cho các kiến trúc mô hình và chế độ học tập khác: Áp dụng và điều chỉnh thuật toán MSFT cho các loại mô hình nền tảng khác ngoài LLMs (ví dụ: mô hình thị giác, mô hình đa phương thức) hoặc trong các chế độ học tập khác như học tăng cường (Reinforcement Learning) hoặc học liên tục (Continual Learning).

2. Patent:

Hệ thống tinh chỉnh mô hình AI thông minh trên thiết bị di động: Một ứng dụng di động có khả năng tinh chỉnh cục bộ các mô hình AI nhỏ hơn (ví dụ: cho bàn phím thông minh, trợ lý cá nhân) bằng cách tự động nhận diện và ngừng huấn luyện trên các tập dữ liệu người dùng (ví dụ: lịch sử gõ phím, thói quen sử dụng ứng dụng) khi chúng bắt đầu gây overfitting, đảm bảo hiệu suất tối ưu và tránh lãng phí tài nguyên tính toán trên điện thoại.
Công cụ tối ưu hóa huấn luyện AI cho nhà phát triển ứng dụng di động: Một công cụ phần mềm cho phép các nhà phát triển ứng dụng di động tích hợp tính năng tối ưu hóa SFT đa tác vụ. Công cụ này sẽ tự động quản lý các tập dữ liệu huấn luyện khác nhau (ví dụ: dữ liệu từ các tính năng khác nhau của ứng dụng) và áp dụng chiến lược roll-out/roll-back của MSFT để đạt được hiệu suất tốt nhất cho mô hình AI tích hợp trong ứng dụng, giảm thời gian và chi phí phát triển.
Phần mềm quản lý tài nguyên AI đa tác vụ trên đám mây/thiết bị cạnh: Một hệ thống quản lý tài nguyên tính toán và dữ liệu cho các tác vụ AI đa nhiệm, có khả năng phân bổ động tài nguyên cho từng tập dữ liệu con và tự động ngừng huấn luyện hoặc điều chỉnh trọng số khi phát hiện overfitting, đặc biệt hữu ích cho các thiết bị cạnh (edge devices) có tài nguyên hạn chế hoặc các dịch vụ đám mây cung cấp các mô hình AI tùy chỉnh cho nhiều khách hàng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.21606
ArXiv Abstract	https://arxiv.org/abs/2603.21606
PDF Download	https://arxiv.org/pdf/2603.21606.pdf
Github Repository	https://github.com/reiss-koh/msft

10. Group3D: MLLM-Driven Semantic Grouping for Open-Vocabulary 3D Object Detection (25 votes)

Tác giả: Youbin Kim, Jinho Park, Hogun Park, Eunbyung Park

Xuất bản lúc: 2026-03-23

Tag: 3D Object Detection, Open-Vocabulary, MLLMs, Multi-view RGB, Semantic Grouping, Zero-shot Learning

I. Main Problem:

Các phương pháp phát hiện vật thể 3D từ vựng mở hiện tại trong cài đặt RGB đa góc nhìn thường tách rời quá trình xây dựng thực thể dựa trên hình học khỏi việc gán nhãn ngữ nghĩa. Điều này dẫn đến việc gộp các mảnh hình học chỉ dựa trên tính nhất quán hình học mà không có ràng buộc ngữ nghĩa, gây ra lỗi không thể đảo ngược như gộp quá mức các vật thể riêng biệt hoặc phân mảnh một thực thể duy nhất, đặc biệt khi bằng chứng hình học không đầy đủ hoặc phụ thuộc vào góc nhìn.

II. Main Idea:

Chúng tôi đề xuất Group3D, một khuôn khổ phát hiện 3D từ vựng mở đa góc nhìn tích hợp các ràng buộc ngữ nghĩa trực tiếp vào quá trình xây dựng thực thể. Group3D duy trì một từ vựng thích ứng với cảnh được lấy từ mô hình ngôn ngữ lớn đa phương thức (MLLM) và sắp xếp nó thành các nhóm tương thích ngữ nghĩa mã hóa sự tương đương danh mục khả thi qua các góc nhìn. Các nhóm này hoạt động như các ràng buộc tại thời điểm gộp: các mảnh 3D chỉ được liên kết khi chúng thỏa mãn cả tính tương thích ngữ nghĩa và tính nhất quán hình học. Việc gộp có cổng ngữ nghĩa này giúp giảm thiểu lỗi gộp quá mức do hình học trong khi vẫn hấp thụ sự biến đổi danh mục đa góc nhìn. Group3D hỗ trợ cả cài đặt biết và không biết tư thế camera, chỉ dựa vào quan sát RGB.

III. Main Results:

Group3D đạt được hiệu suất tiên tiến trong phát hiện vật thể 3D từ vựng mở đa góc nhìn trên cả ScanNet và ARKitScenes, đồng thời thể hiện khả năng khái quát hóa mạnh mẽ trong các kịch bản zero-shot. Cụ thể, trên ScanNet20, Group3D (với tư thế camera đã biết) đạt mAP25 là 51.1, vượt trội so với các phương pháp hiện có. Trong cài đặt ScanNet60, Group3D đạt mAP25 là 29.1, cũng vượt qua các mô hình khác. Điều này được thực hiện mà không yêu cầu dữ liệu chiều sâu mặt đất hay giám sát 3D.

IV. Conclusion & Future Works:

Group3D là một khuôn khổ phát hiện vật thể 3D từ vựng mở đa góc nhìn đột phá, giải quyết vấn đề gộp quá mức do sự mơ hồ về hình học bằng cách tích hợp các ràng buộc ngữ nghĩa thông qua cơ chế nhóm tương thích ngữ nghĩa do MLLM điều khiển. Phương pháp này tận dụng khả năng dự đoán danh mục từ vựng mở và các tiên nghiệm tương thích do ngôn ngữ tạo ra để điều chỉnh rõ ràng sự liên kết các mảnh 3D. Group3D đạt được hiệu suất phát hiện 3D từ vựng mở và zero-shot mạnh mẽ chỉ sử dụng đầu vào RGB đa góc nhìn, mà không yêu cầu dữ liệu chiều sâu thực tế hay giám sát 3D.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Group3D cho môi trường ngoài trời và động: Nghiên cứu về việc mở rộng khuôn khổ Group3D để xử lý các cảnh ngoài trời phức tạp, có vật thể động, ánh sáng thay đổi và quy mô lớn hơn, có thể cần các chiến lược gộp ngữ nghĩa và hình học mới phù hợp với đặc điểm của dữ liệu ngoài trời.
Tối ưu hóa và tăng tốc Group3D cho ứng dụng thời gian thực: Tập trung vào việc tối ưu hóa kiến trúc, quy trình truy vấn MLLM và thuật toán gộp mảnh để đạt được khả năng phát hiện vật thể 3D đa khung hình, từ vựng mở trong thời gian thực, phù hợp với các ứng dụng robot, thực tế tăng cường (AR) hoặc xe tự hành.
Tích hợp thông tin ngữ cảnh không gian cấp cao vào Group3D: Khám phá cách tích hợp thông tin ngữ cảnh không gian cấp cao hơn (ví dụ: "vật thể trên bàn", "vật thể cạnh cửa sổ") từ MLLM hoặc các mô hình khác vào quá trình gộp ngữ nghĩa. Điều này có thể cải thiện độ chính xác của việc gộp và giảm lỗi trong các cảnh phức tạp, nơi các vật thể có mối quan hệ không gian rõ ràng.

2. Patent:

Hệ thống tạo mô hình 3D vật thể thông minh cho điện thoại: Một ứng dụng di động cho phép người dùng quay video hoặc chụp nhiều ảnh từ các góc độ khác nhau của một vật thể bất kỳ (ví dụ: một chiếc ghế mới, một món đồ trang trí). Hệ thống sẽ sử dụng công nghệ tương tự Group3D để tự động nhận diện, tách biệt và tạo ra mô hình 3D cơ bản của vật thể đó cùng với nhãn ngữ nghĩa mở (ví dụ: "ghế bành", "bình hoa gốm"), mà không cần người dùng phải cung cấp bất kỳ thông tin nào về loại vật thể trước. Người dùng có thể sử dụng mô hình 3D này để xem trước trong không gian nhà mình qua AR hoặc chia sẻ.
Công cụ tìm kiếm và sắp xếp đồ vật bằng giọng nói qua camera điện thoại: Người dùng có thể mở camera điện thoại và nói tên vật thể mình muốn tìm (ví dụ: "điều khiển TV", "chìa khóa"). Hệ thống sẽ quét môi trường xung quanh qua camera, sử dụng khả năng nhận diện 3D từ vựng mở và gộp ngữ nghĩa để xác định vị trí của vật thể đó và hiển thị chỉ dẫn AR trên màn hình. Nó cũng có thể gợi ý vị trí sắp xếp tối ưu cho một vật thể mới dựa trên ngữ cảnh và các vật thể đã có.
Hệ thống kiểm kê tài sản gia đình tự động bằng camera điện thoại: Người dùng có thể dùng camera điện thoại để quét các phòng trong nhà. Hệ thống sẽ tự động nhận diện và lập danh sách các vật thể 3D có trong phòng với nhãn từ vựng mở (ví dụ: "tủ sách", "đèn bàn", "bức tranh"). Khả năng gộp ngữ nghĩa giúp hệ thống phân biệt chính xác các vật thể tương tự nhau và tránh trùng lặp, tạo ra một danh sách kiểm kê tài sản số hóa một cách hiệu quả và dễ dàng cho người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.21944
ArXiv Abstract	https://arxiv.org/abs/2603.21944
PDF Download	https://arxiv.org/pdf/2603.21944.pdf
Github Repository	https://github.com/Ubin108/Group3D

11. Repurposing Geometric Foundation Models for Multi-view Diffusion (24 votes)

Tác giả: Wooseok Jang, Seonghu Jeon, Jisang Han, Jinhyeok Choi, Minkyung Kwon, Seungryong Kim, Saining Xie, Sainan Liu

Xuất bản lúc: 2026-03-23

Tag: Diffusion Models, Novel View Synthesis, Geometric Foundation Models, Latent Space, 3D Consistency, Multi-view Diffusion

I. Main Problem:

Các phương pháp tổng hợp góc nhìn mới (NVS) hiện có thường hoạt động trong không gian tiềm ẩn VAE độc lập với góc nhìn, thiếu tính nhất quán hình học giữa các góc nhìn. Việc thiết kế không gian tiềm ẩn hiệu quả cho các tác vụ tạo hình học vẫn chưa được khám phá rộng rãi. Các phương pháp trước đây ưu tiên chất lượng hình ảnh hơn tính nhất quán hình học, dẫn đến kết quả không đồng nhất về mặt hình học.

II. Main Idea:

Đề xuất Geometric Latent Diffusion (GLD), một framework tái sử dụng không gian đặc trưng nhất quán về mặt hình học của các mô hình nền tảng hình học (ví dụ: Depth Anything 3, VGGT) làm không gian tiềm ẩn cho khuếch tán đa góc nhìn. GLD tận dụng các đặc trưng này để hỗ trợ tái tạo RGB độ trung thực cao và mã hóa các tương ứng hình học mạnh mẽ giữa các góc nhìn. Framework này hoạt động trực tiếp trên các biểu diễn nhận biết hình học, cho phép giải mã trực tiếp thành các dự đoán hình học (bản đồ độ sâu, tư thế camera) mà không cần huấn luyện bổ sung. Để tối ưu hiệu quả tính toán, GLD xác định một "lớp biên" tối ưu (cụ thể là cấp độ 1) để tổng hợp rõ ràng, trong khi các đặc trưng lớp sâu hơn được lan truyền qua bộ mã hóa đóng băng và các đặc trưng lớp nông hơn được tạo ra theo sơ đồ xếp tầng để đảm bảo căn chỉnh.

III. Main Results:

GLD vượt trội so với các mô hình VAE và RAE về chất lượng hình ảnh 2D và độ nhất quán 3D, đồng thời tăng tốc độ huấn luyện hơn 4.4 lần so với không gian tiềm ẩn VAE. Về chất lượng hình ảnh 2D, GLD vượt qua tất cả các phương pháp SOTA khác trên các bộ dữ liệu trong miền (Re10K, DL3DV) và đạt PSNR SOTA cùng kết quả cạnh tranh cao trên bộ dữ liệu ngoài miền (Mip-NeRF 360), mặc dù được huấn luyện từ đầu trên bộ dữ liệu nhỏ hơn và không sử dụng pretraining text-to-image quy mô lớn. Về độ nhất quán 3D, GLD vượt trội đáng kể so với các baseline VAE và DINO, đạt ATE thấp hơn tới 2.8 lần và RPE thấp hơn 2.6 lần. GLD cũng thể hiện độ nhất quán 3D vượt trội so với hầu hết các phương pháp SOTA được tinh chỉnh trên các benchmark trong miền.

IV. Conclusion & Future Works:

Nghiên cứu này chứng minh rằng việc tái sử dụng không gian đặc trưng của các mô hình nền tảng hình học làm không gian tiềm ẩn cho khuếch tán đa góc nhìn là một cách tiếp cận hiệu quả cao cho tổng hợp góc nhìn mới (NVS). GLD mang lại chất lượng hình ảnh 2D được cải thiện, độ nhất quán 3D mạnh mẽ hơn và tốc độ huấn luyện nhanh hơn. Điều này giải quyết một vấn đề quan trọng trong việc thiết kế không gian tiềm ẩn hiệu quả cho các tác vụ tạo hình học. Các hướng nghiên cứu trong tương lai có thể bao gồm việc khám phá các mô hình nền tảng hình học khác hoặc tích hợp thêm các loại thông tin hình học để nâng cao hơn nữa hiệu suất NVS.

V. Brainstorming Space:

1. Publish Papers:

Khám phá các Mô hình nền tảng hình học thay thế cho không gian tiềm ẩn: Nghiên cứu sâu hơn về việc sử dụng các mô hình nền tảng hình học khác ngoài DA3 và VGGT (ví dụ: các kiến trúc Transformer mới hoặc các mô hình học sâu khác) làm backbone cho GLD để đánh giá hiệu quả và khả năng mở rộng của chúng trong việc cung cấp các đặc trưng hình học nhất quán cho NVS.
Tích hợp thông tin ngữ nghĩa và hình học đa cấp: Phát triển một framework GLD mở rộng có khả năng tích hợp không chỉ các đặc trưng hình học mà còn cả các đặc trưng ngữ nghĩa từ các mô hình ngôn ngữ thị giác lớn (VLMs) để tạo ra các góc nhìn mới phong phú hơn, có thể kiểm soát được bằng văn bản hoặc các hướng dẫn ngữ nghĩa khác.
GLD cho tạo cảnh 3D động và tương tác: Mở rộng GLD để xử lý các cảnh 3D động thay vì cảnh tĩnh. Điều này đòi hỏi việc phát triển các cơ chế mới để mã hóa và khuếch tán các đặc trưng hình học thay đổi theo thời gian, cho phép tổng hợp các chuỗi video nhất quán về mặt hình học từ các góc nhìn mới.

2. Patent:

Hệ thống tạo ảnh 3D chân thực trên điện thoại thông minh: Một ứng dụng di động cho phép người dùng chụp một vài bức ảnh từ các góc độ khác nhau của một vật thể hoặc cảnh. Ứng dụng sẽ sử dụng công nghệ tương tự GLD để tạo ra các góc nhìn bổ sung của vật thể/cảnh đó, bao gồm cả các vùng bị che khuất, và thậm chí tạo ra bản đồ độ sâu hoặc mô hình 3D thô, cho phép người dùng xem hoặc chia sẻ vật thể/cảnh từ mọi góc độ. Điều này có thể được ứng dụng trong mua sắm trực tuyến (xem sản phẩm 3D), du lịch ảo hoặc tạo nội dung AR/VR.
Tối ưu hóa video call đa góc nhìn với độ nhất quán hình học: Một tính năng trên ứng dụng gọi video cho phép người dùng tạo ra các "gương mặt ảo" hoặc "môi trường ảo" có tính nhất quán hình học cao từ một vài ảnh đầu vào. Công nghệ GLD có thể được sử dụng để duy trì tính nhất quán của khuôn mặt hoặc môi trường ảo khi người dùng di chuyển đầu hoặc thay đổi góc nhìn, mang lại trải nghiệm thực tế hơn và ít bị biến dạng hình học hơn so với các phương pháp hiện tại, đặc biệt hữu ích cho các cuộc họp ảo hoặc game di động.
Công cụ tạo tài sản 3D nhanh chóng cho nhà phát triển di động: Một công cụ tích hợp sẵn trong các bộ công cụ phát triển ứng dụng di động (SDK) cho phép các nhà phát triển nhanh chóng tạo ra các tài sản 3D (ví dụ: vật thể, mô hình kiến trúc) từ một bộ ảnh 2D giới hạn. Bằng cách tận dụng các mô hình nền tảng hình học và khuếch tán trong không gian tiềm ẩn hình học, công cụ này có thể tự động tạo ra các mô hình 3D với độ chi tiết và tính nhất quán hình học cao, giảm đáng kể thời gian và chi phí phát triển nội dung 3D cho game, ứng dụng AR/VR trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.22275
ArXiv Abstract	https://arxiv.org/abs/2603.22275
PDF Download	https://arxiv.org/pdf/2603.22275.pdf
Github Repository	https://github.com/cvlab-kaist/GLD

12. RoboAlign: Learning Test-Time Reasoning for Language-Action Alignment in Vision-Language-Action Models (21 votes)

Tác giả: Dongyoung Kim, Sumin Park, Woomin Song, Seungku Kim, Taeyoung Kim, Huiwon Jang, Jinwoo Shin, Jaehyung Kim, Younggyo Seo

Xuất bản lúc: 2026-03-22

Tag: Vision-Language-Action Models, MLLMs, Reinforcement Learning, Supervised Fine-tuning, Embodied Reasoning, Robotics, Language-Action Alignment, Diffusion

I. Main Problem:

Các mô hình hành động-ngôn ngữ-thị giác (VLAs) hiện tại, được xây dựng trên các mô hình ngôn ngữ lớn đa phương thức (MLLMs), gặp khó khăn trong việc thực hiện các tác vụ suy luận có tính vật lý (embodied reasoning) như suy luận không gian và thời gian, vốn rất cần thiết cho việc tạo ra hành động cấp thấp. Việc cải thiện khả năng suy luận vật lý trong MLLMs thông qua các tác vụ hỏi-đáp thị giác thường không mang lại hiệu suất ổn định cho VLA, thậm chí đôi khi còn làm giảm hiệu suất. Sự khác biệt về phương thức (modality gap) giữa ngôn ngữ và các hành động cấp thấp khiến cho việc tối ưu hóa suy luận chỉ bằng ngôn ngữ không đảm bảo cải thiện khả năng tạo hành động thực tế.

II. Main Idea:

Chúng tôi đề xuất ROBOALIGN, một khuôn khổ huấn luyện MLLM có hệ thống nhằm cải thiện đáng tin cậy hiệu suất VLA. Ý tưởng chính là lấy mẫu các mã hành động thông qua suy luận ngôn ngữ tự nhiên zero-shot và tinh chỉnh suy luận này bằng học tăng cường (RL) để cải thiện độ chính xác của hành động. ROBOALIGN thu hẹp khoảng cách phương thức giữa ngôn ngữ và các hành động cấp thấp trong MLLMs, đồng thời tạo điều kiện chuyển giao kiến thức từ MLLM sang VLA. Quá trình huấn luyện gồm hai giai đoạn: (i) Giai đoạn 1: Áp dụng SFT để MLLM có khả năng dự đoán các mã hành động FAST thông qua suy luận zero-shot, đồng thời bảo toàn khả năng tổng quát và tăng cường suy luận vật lý. (ii) Giai đoạn 2: Áp dụng RL (sử dụng GRPO) trên mô hình SFT để tiếp tục củng cố suy luận vật lý và cải thiện độ chính xác dự đoán mã FAST, với phần thưởng dựa trên độ chính xác của hành động.

III. Main Results:

ROBOALIGN đạt được những cải thiện hiệu suất đáng kể so với các phương pháp SFT cơ sở, với mức tăng tương đối 17.5% trên LIBERO, 18.9% trên CALVIN và 106.6% trong môi trường thực tế, chỉ sử dụng dưới 1% dữ liệu bổ sung cho giai đoạn điều chỉnh dựa trên RL. Phương pháp này hiệu quả hơn các phương pháp điều chỉnh khác như dự đoán hành động cấp cao (13.1% so với 17.5%) hoặc dự đoán quỹ đạo điểm (15.2% so với 17.5%) trên LIBERO. ROBOALIGN cũng đạt hiệu suất vượt trội trên các tác vụ suy luận vật lý của MLLM, vượt qua cả các mô hình thương mại như GPT-4o và các MLLM chuyên biệt như RoboBrain2.0, đồng thời duy trì hiệu suất mạnh mẽ trên các tác vụ hiểu hình ảnh tổng quát. Phân tích cho thấy ROBOALIGN tạo ra các biểu diễn nội bộ MLLM có tính phân biệt cao hơn, cải thiện độ chính xác KNN từ 39.06% lên 69.79%.

IV. Conclusion & Future Works:

ROBOALIGN là một khuôn khổ huấn luyện hiệu quả và có khả năng khái quát hóa để nâng cao quá trình huấn luyện VLA. Nó liên tục mang lại những cải thiện đáng kể về hiệu suất suy luận vật lý trong các tác vụ MLLM cũng như trong lĩnh vực VLA, đối với cả các tác vụ có tầm nhìn ngắn và dài. Ngược lại, việc tinh chỉnh suy luận vật lý chỉ dựa trên ngôn ngữ mang lại hiệu suất hạn chế hoặc thậm chí suy giảm trong các kịch bản phức tạp. Một vấn đề cần quan tâm trong tương lai là nếu mô hình được điều chỉnh với các quỹ đạo hành động không an toàn, các VLA được huấn luyện bằng MLLM đó có thể có xu hướng tạo ra các hành động không an toàn; cần ngăn chặn các vấn đề này một cách chủ động trong giai đoạn huấn luyện.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về tính mạnh mẽ và an toàn của việc điều chỉnh hành động trong các mô hình VLA: Khám phá các phương pháp để đảm bảo rằng các mô hình ngôn ngữ-hành động-thị giác (VLA) không tạo ra các hành động không an toàn, đặc biệt khi được điều chỉnh với dữ liệu có thể chứa các quỹ đạo hành động rủi ro.
Khám phá khả năng chuyển giao của ROBOALIGN sang các nền tảng và tác vụ robot đa dạng: Nghiên cứu cách ROBOALIGN có thể được mở rộng và áp dụng cho các loại robot khác nhau (ví dụ: robot hình người, robot di động) và các tác vụ phức tạp hơn ngoài thao tác, chẳng hạn như tương tác người-robot hoặc tự điều hướng.
Phát triển các chiến lược điều chỉnh học tăng cường (RL) hiệu quả hơn về dữ liệu cho VLA: Điều tra các phương pháp RL mới yêu cầu ít dữ liệu hơn để điều chỉnh, có thể thông qua các kỹ thuật học tự giám sát hoặc bán giám sát để tạo ra phần thưởng, nhằm giảm thiểu chi phí thu thập dữ liệu trong các ứng dụng robot thực tế.

2. Patent:

Hệ thống hỗ trợ thông minh cho nhà ở tích hợp trên điện thoại di động: Một ứng dụng di động sử dụng nguyên lý học tăng cường để hiểu và dịch các lệnh ngôn ngữ tự nhiên phức tạp (ví dụ: "Hãy làm cho phòng khách ấm cúng để đọc sách") thành một chuỗi các hành động cấp thấp cho các thiết bị nhà thông minh (ví dụ: điều chỉnh đèn, rèm cửa, nhiệt độ). Điện thoại đóng vai trò là giao diện trung tâm, thực hiện suy luận và điều khiển.
Huấn luyện viên thể dục cá nhân trên điện thoại với phản hồi thời gian thực: Một ứng dụng di động sử dụng camera của điện thoại và khả năng suy luận ngôn ngữ-hành động để phân tích tư thế tập luyện của người dùng. Nó cung cấp phản hồi sửa lỗi cấp thấp, chính xác (ví dụ: "hạ hông thấp hơn," "giữ lưng thẳng hơn") bằng cách so sánh đầu vào hình ảnh với hành động mong muốn, giúp người dùng cải thiện kỹ thuật tập luyện.
Trợ lý thực tế tăng cường (AR) trên điện thoại cho các tác vụ phức tạp: Một ứng dụng AR trên điện thoại di động hướng dẫn người dùng thực hiện các tác vụ vật lý phức tạp (ví dụ: lắp ráp đồ nội thất, sửa chữa thiết bị). Ứng dụng sẽ chồng lớp các hướng dẫn hành động cấp thấp trực tiếp lên chế độ xem thế giới thực, diễn giải trạng thái hiện tại của người dùng qua camera và đưa ra các gợi ý trực quan, bằng giọng nói dựa trên hướng dẫn ngôn ngữ và suy luận vật lý.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.21341
ArXiv Abstract	https://arxiv.org/abs/2603.21341
PDF Download	https://arxiv.org/pdf/2603.21341.pdf
Github Repository	N/A

13. On the Direction of RLVR Updates for LLM Reasoning: Identification and Exploitation (18 votes)

Tác giả: Kexin Huang, Haoming Meng, Junkang Wu, Jinda Lu, Chiyu Ma, Ziqian Chen, Xue Wang, Bolin Ding, Jiancan Wu, Xiang Wang, Xiangnan He, Guoyin Wang, Jingren Zhou

Xuất bản lúc: 2026-03-23

Tag: RL, LLMs, Reasoning, Fine-tuning, Policy Gradient, NLP

I. Main Problem:

Các phân tích hiện có về học tăng cường với phần thưởng có thể kiểm chứng (RLVR) đã xác định rằng các thay đổi do RLVR tạo ra là thưa thớt, nhưng chúng chủ yếu tập trung vào mức độ của các cập nhật này mà bỏ qua hướng của chúng. Việc bỏ qua hướng cập nhật là một hạn chế lớn trong việc hiểu rõ cách RLVR tác động và cải thiện khả năng suy luận của các mô hình ngôn ngữ lớn (LLMs).

II. Main Idea:

Công trình này đề xuất rằng hướng của các cập nhật là một yếu tố quan trọng hơn để hiểu các tác động của RLVR, được thể hiện qua sự khác biệt log xác suất ∆logp ở cấp độ token (có dấu) giữa mô hình cơ sở và mô hình RLVR cuối cùng. Dựa trên phân tích này, các tác giả đề xuất hai ứng dụng thực tế:

Phương pháp ngoại suy tại thời điểm kiểm thử (test-time extrapolation): Khuếch đại chính sách theo hướng ∆logp đã học để cải thiện độ chính xác suy luận mà không cần huấn luyện thêm.
Phương pháp điều chỉnh trọng số tại thời điểm huấn luyện (training-time reweighting): Tập trung việc học vào các token có xác suất thấp (tương ứng với ∆logp cao hơn), giúp cải thiện hiệu suất suy luận trên các mô hình và bộ dữ liệu.

III. Main Results:

∆logp hiệu quả hơn: ∆logp xác định các cập nhật thưa thớt nhưng quan trọng đối với khả năng suy luận hiệu quả hơn so với các chỉ số dựa trên mức độ (ví dụ: độ phân kỳ hoặc entropy). Nó cho thấy một mô hình hai đỉnh rõ ràng, biểu thị một dấu hiệu hướng mà các chỉ số khác không có.
Ngoại suy tại thời điểm kiểm thử cải thiện hiệu suất: Phương pháp ngoại suy có chọn lọc tại thời điểm kiểm thử theo hướng ∆logp đã tạo ra hiệu suất Avg@32 cao hơn so với mô hình RLVR gốc trên các bộ dữ liệu AIME-24, chứng minh khả năng tăng cường độ chính xác suy luận.
Điều chỉnh trọng số tại thời điểm huấn luyện tăng cường hiệu suất: Phương pháp điều chỉnh trọng số dựa trên xác suất, tập trung vào các token có xác suất thấp, liên tục cải thiện độ chính xác suy luận (Avg@32) và khả năng khám phá (Pass@16) trên các bộ dữ liệu toán học AIME-24, AIME-25 và AMC, vượt qua các phương pháp DAPO và các chiến lược điều chỉnh trọng số khác.
Cập nhật thưa thớt do tập trung vào token xác suất thấp: Các cập nhật gradient của RLVR tập trung một cách nội tại vào các token hiếm, có xác suất thấp, giải thích lý do tại sao các thay đổi do RLVR tạo ra lại thưa thớt và tương quan với các token có ∆logp cao trong mô hình cuối cùng.

IV. Conclusion & Future Works:

Công trình này đã giới thiệu một phân tích định hướng của RLVR dựa trên sự khác biệt log xác suất ∆logp, chứng minh rằng nó hiệu quả hơn trong việc xác định các cập nhật thưa thớt nhưng quan trọng cho khả năng suy luận so với các chỉ số dựa trên mức độ. Dựa trên phát hiện này, các tác giả đã đề xuất một phương pháp ngoại suy tại thời điểm kiểm thử để khuếch đại các cập nhật định hướng này và một phương pháp điều chỉnh trọng số tại thời điểm huấn luyện để tập trung việc học vào các token có xác suất thấp. Cả hai phương pháp đều cải thiện hiệu suất suy luận trong các cài đặt khác nhau, xác nhận nguyên tắc cốt lõi: chẩn đoán và cải thiện RLVR bằng cách tập trung vào hướng cập nhật của nó. Công việc này mở ra một góc nhìn mới để phân tích và cải thiện RLVR thông qua lăng kính hướng cập nhật.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng phân tích hướng cập nhật (∆logp) cho các kỹ thuật học tăng cường khác ngoài RLVR, như RLHF (Reinforcement Learning from Human Feedback) hoặc các tác vụ tạo sinh văn bản khác, để hiểu rõ hơn cách các mô hình ngôn ngữ lớn học cách điều chỉnh hành vi.
Nghiên cứu các phương pháp điều chỉnh động tham số khuếch đại γ trong kỹ thuật ngoại suy tại thời điểm kiểm thử, có thể dựa trên ngữ cảnh hoặc độ phức tạp của câu hỏi, để tối ưu hóa hiệu suất suy luận mà không cần huấn luyện lại.
Phân tích sâu hơn mối liên hệ giữa các cập nhật có hướng và các cơ chế khác gây ra tính thưa thớt (sparsity) trong huấn luyện LLM, ví dụ như các kỹ thuật giảm nhiễu hoặc các phương pháp điều chỉnh thích nghi, nhằm phát triển các chiến lược huấn luyện hiệu quả hơn.

2. Patent:

Hệ thống gợi ý và sửa lỗi văn bản thông minh trên điện thoại di động: Một hệ thống bàn phím ảo có khả năng học và dự đoán 'hướng' chỉnh sửa mong muốn của người dùng (ví dụ: làm cho câu văn trang trọng hơn, thân mật hơn, súc tích hơn hoặc chi tiết hơn). Thay vì chỉ đưa ra các từ/cụm từ có xác suất cao nhất, hệ thống sẽ đề xuất các lựa chọn 'khuếch đại' theo hướng mong muốn của người dùng, giúp văn bản phù hợp hơn với ý định của họ một cách hiệu quả.
Trợ lý AI cá nhân hóa phong cách giải quyết vấn đề: Một trợ lý ảo trên điện thoại di động có khả năng phân tích và thích nghi với phong cách suy luận hoặc mức độ chi tiết mong muốn của người dùng khi giải quyết các vấn đề. Ví dụ, nếu người dùng thường yêu cầu giải thích từng bước, trợ lý sẽ 'khuếch đại' các câu trả lời theo hướng chi tiết hơn; nếu người dùng thích câu trả lời ngắn gọn, nó sẽ học cách cung cấp thông tin súc tích hơn, mang lại trải nghiệm cá nhân hóa sâu sắc.
Công cụ tạo nội dung với khả năng 'khuếch đại ý định': Một tính năng trong ứng dụng viết hoặc mạng xã hội trên điện thoại di động cho phép người dùng tạo nội dung (ví dụ: một bài đăng, một email nháp) và sau đó điều chỉnh một thanh trượt để làm cho nội dung đó trở nên 'thuyết phục hơn', 'hài hước hơn', 'đồng cảm hơn' hoặc 'chuyên nghiệp hơn'. Công cụ này sẽ sử dụng các cập nhật có hướng để điều chỉnh văn bản được tạo ra theo chiều hướng ngữ nghĩa đã chọn, giúp người dùng biểu đạt ý tưởng một cách tinh tế và mạnh mẽ hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.22117
ArXiv Abstract	https://arxiv.org/abs/2603.22117
PDF Download	https://arxiv.org/pdf/2603.22117.pdf
Github Repository	https://github.com/Hesse73/RLVR-Directions

14. BubbleRAG: Evidence-Driven Retrieval-Augmented Generation for Black-Box Knowledge Graphs (18 votes)

Tác giả: Duyi Pan, Tianao Lou, Xin Li, Haoze Song, Yiwen Wu, Mengyi Deng, Mingyu Yang, Wei Wang

Xuất bản lúc: 2026-03-19

Tag: LLMs, RAG, Knowledge Graphs, Black-Box KGs, Graph Neural Networks

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn (LLMs) thường xuyên gặp phải ảo giác và kiến thức lỗi thời trong các tác vụ đòi hỏi nhiều kiến thức. Các phương pháp Retrieval-Augmented Generation (RAG) dựa trên đồ thị tri thức (KG) hứa hẹn, nhưng các cách tiếp cận hiện có bị hạn chế về độ bao phủ (recall) và độ chính xác (precision) khi hoạt động trên các đồ thị tri thức "hộp đen" (black-box KGs) – những đồ thị mà lược đồ và cấu trúc của chúng không được biết trước. Cụ thể, có ba thách thức cốt lõi: (1) Sự không chắc chắn về thể hiện ngữ nghĩa (Semantic instantiation uncertainty) và (2) Sự không chắc chắn về đường dẫn cấu trúc (Structural path uncertainty) dẫn đến mất recall; (3) Sự không chắc chắn về so sánh bằng chứng (Evidential comparison uncertainty) dẫn đến mất precision.

II. Main Idea:

Các tác giả đề xuất BubbleRAG, một quy trình không cần huấn luyện, tối ưu hóa cả recall và precision một cách có hệ thống. Nhiệm vụ truy xuất được hình thức hóa thành bài toán Tối ưu Truy xuất Đồ thị con Thông tin (Optimal Informative Subgraph Retrieval - OISR), một biến thể của Group Steiner Tree, và được chứng minh là NP-hard và APX-hard. BubbleRAG giải quyết các thách thức thông qua: nhóm các điểm neo ngữ nghĩa (semantic anchor grouping) để xử lý sự không chắc chắn về thể hiện; thuật toán mở rộng bong bóng heuristic (heuristic bubble expansion) để khám phá các đồ thị bằng chứng ứng viên (Candidate Evidence Graphs - CEGs) nhằm giải quyết sự không chắc chắn về đường dẫn; và xếp hạng tổng hợp (composite ranking) cùng với mở rộng nhận biết lý do (reasoning-aware expansion) để cải thiện độ chính xác bằng cách lọc bỏ các ứng viên nhiễu hoặc không đầy đủ.

III. Main Results:

Các thử nghiệm toàn diện trên các bộ dữ liệu QA đa bước (multi-hop QA benchmarks) phức tạp (HotpotQA, MuSiQue, 2WikiMultiHopQA) cho thấy BubbleRAG đạt được kết quả hiện đại (state-of-the-art). Nó liên tục vượt trội hơn các phương pháp cơ sở mạnh mẽ, nhận biết cấu trúc về cả điểm F1 và độ chính xác, với mức tăng lớn nhất trên bộ dữ liệu thử thách nhất (MuSiQue). BubbleRAG cũng được chứng minh là hiệu quả, "plug-and-play" và có khả năng mở rộng cho các đồ thị tri thức lớn.

IV. Conclusion & Future Works:

BubbleRAG là một khung truy xuất dựa trên tìm kiếm, không cần huấn luyện, được thiết kế để giải quyết các hạn chế về recall và precision trong đồ thị tri thức hộp đen. Nó cung cấp một giải pháp hiệu quả và có khả năng mở rộng cho các tác vụ QA phức tạp bằng cách thống nhất việc xác định ngữ nghĩa, khám phá cấu trúc và xếp hạng bằng chứng. Văn bản được cung cấp không nêu rõ các hướng nghiên cứu tương lai cụ thể, nhưng những đóng góp của nó mở ra tiềm năng cho việc cải thiện hơn nữa trong việc xử lý các KG hộp đen và tích hợp RAG.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược mở rộng bong bóng thích ứng cho đồ thị tri thức có mật độ khác nhau: Phát triển các thuật toán mở rộng bong bóng heuristic có khả năng điều chỉnh chiến lược tìm kiếm dựa trên mật độ cục bộ của đồ thị hoặc độ phức tạp của truy vấn, đặc biệt là trong các khu vực đồ thị rất thưa thớt hoặc rất dày đặc.
Khám phá việc học không giám sát cho việc nhóm điểm neo ngữ nghĩa và gán trọng số: Nghiên cứu các phương pháp không giám sát hoặc tự giám sát để tự động thực hiện việc nhóm các điểm neo và gán trọng số quan trọng, giảm sự phụ thuộc vào LLM và cải thiện khả năng thích ứng với các miền hoặc ngôn ngữ mới mà không cần tinh chỉnh.
Mở rộng BubbleRAG để xử lý các truy vấn động và đồ thị tri thức thay đổi theo thời gian: Tích hợp khả năng xử lý các cập nhật đồ thị động hoặc các truy vấn nhạy cảm với thời gian vào khuôn khổ BubbleRAG, đảm bảo rằng thông tin được truy xuất luôn cập nhật và phù hợp với bối cảnh thời gian.

2. Patent:

Trợ lý di động "Chuyên gia" với khả năng suy luận sâu: Một hệ thống trên điện thoại di động cho phép người dùng đặt các câu hỏi phức tạp, đòi hỏi nhiều bước suy luận về bất kỳ chủ đề nào. Thay vì chỉ đưa ra câu trả lời trực tiếp, hệ thống sẽ tự động "thăm dò" một kho kiến thức ẩn để tìm ra các mảnh thông tin liên quan, kết nối chúng một cách logic và đưa ra câu trả lời chi tiết, có bằng chứng. Ví dụ, khi bạn hỏi "Ai là diễn viên đóng vai phản diện chính trong bộ phim có Keanu Reeves và Laurence Fishburne đóng chung?", điện thoại sẽ không chỉ trả lời mà còn giải thích cách nó tìm ra câu trả lời đó dựa trên các mối liên hệ giữa diễn viên, vai diễn và bộ phim.
Hệ thống chẩn đoán và sửa lỗi thông minh cho thiết bị gia dụng trên di động: Một ứng dụng trên điện thoại giúp người dùng tự chẩn đoán và khắc phục sự cố với các thiết bị thông minh trong nhà. Khi người dùng mô tả một vấn đề (ví dụ: "Đèn phòng khách không sáng khi tôi ra lệnh 'chào buổi sáng'"), ứng dụng sẽ sử dụng công nghệ này để truy tìm một "bản đồ" các mối quan hệ giữa thiết bị, các vấn đề phổ biến và các bước khắc phục. Nó sẽ thông minh kết nối các triệu chứng, lệnh điều khiển và trạng thái thiết bị để đưa ra các bước hướng dẫn cụ thể và cá nhân hóa, giúp người dùng tự giải quyết vấn đề mà không cần hiểu biết kỹ thuật sâu.
Công cụ lập kế hoạch và đề xuất sự kiện cá nhân hóa trên điện thoại: Một ứng dụng di động hỗ trợ người dùng lên kế hoạch cho các sự kiện hoặc tìm kiếm đề xuất phức tạp. Ví dụ, bạn có thể hỏi: "Tìm một nhà hàng Ý gần rạp chiếu phim có suất chiếu phim hành động vào tối thứ Bảy." Ứng dụng sẽ không chỉ tìm kiếm riêng lẻ mà còn "hiểu" các mối liên hệ ngầm giữa nhà hàng, địa điểm, thể loại phim, lịch chiếu và sở thích cá nhân. Nó sẽ tự động xây dựng các "đường dẫn" thông tin để đưa ra các đề xuất phù hợp nhất và cá nhân hóa, giúp bạn dễ dàng tìm được sự kết hợp hoàn hảo cho kế hoạch của mình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.20309
ArXiv Abstract	https://arxiv.org/abs/2603.20309
PDF Download	https://arxiv.org/pdf/2603.20309.pdf
Github Repository	https://github.com/limafang/BubbleRAG

15. SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language Models (15 votes)

Tác giả: Quentin Guimard, Federico Bartsch, Simone Caldarella, Rahaf Aljundi, Elisa Ricci, Massimiliano Mancini

Xuất bản lúc: 2026-03-19

Tag: Vision-Language Models, Debiasing, Sparse Autoencoder, Zero-shot Learning, Fairness, CLIP

I. Main Problem:

Các mô hình thị giác-ngôn ngữ (VLM) như CLIP, được huấn luyện trên dữ liệu lớn, không được tuyển chọn, kế thừa và khuếch đại các định kiến xã hội nghiêm trọng và các tương quan giả tạo. Các phương pháp khử sai lệch hậu kỳ hiện có thường hoạt động trực tiếp trong không gian nhúng dày đặc của CLIP, nơi thông tin về sai lệch và thông tin liên quan đến tác vụ bị vướng víu chặt chẽ. Sự vướng víu này hạn chế khả năng loại bỏ sai lệch mà không làm giảm độ trung thực ngữ nghĩa, dẫn đến các thất bại nghiêm trọng như liên kết 'bác sĩ' với 'nam giới' hoặc 'tội phạm' với các dân tộc cụ thể.

II. Main Idea:

Tác giả đề xuất SPARSE EMBEDDING MODULATION (SEM), một framework khử sai lệch hậu kỳ, zero-shot, hoạt động trong không gian tiềm ẩn của Sparse Autoencoder (SAE). Bằng cách phân tách các embedding văn bản của CLIP thành các đặc trưng không bị vướng víu, SEM xác định và điều chỉnh các neuron liên quan đến sai lệch trong khi vẫn bảo toàn các neuron liên quan đến truy vấn. Điều này cho phép các can thiệp phi tuyến tính, chính xác hơn ở cấp độ đặc trưng. SEM có ba biến thể: SEMi (không nhận biết sai lệch, sử dụng các câu diễn giải của LLM để xác định neuron liên quan đến nội dung), SEMb (nhận biết sai lệch, sử dụng các prompt sai lệch để xác định neuron cụ thể theo sai lệch), và SEMbi (kết hợp cả hai cách tiếp cận).

III. Main Results:

SEM đạt được những cải thiện đáng kể về công bằng trong các tác vụ truy xuất và phân loại zero-shot trên bốn bộ dữ liệu benchmark và hai kiến trúc backbone của CLIP. Cụ thể, SEM cải thiện đáng kể độ chính xác của nhóm tệ nhất (worst-group accuracy), giải quyết vấn đề đánh đổi giữa công bằng và hiệu suất ở cấp độ nhóm con mà các phương pháp trước đây thường gặp khó khăn. Ví dụ, trên Waterbirds (ViT-L/14), SEMbi cải thiện độ chính xác WG từ 0.396 lên 0.676 (tăng 28 điểm). SEM cũng đạt được độ công bằng SOTA trong truy xuất và cho thấy tính mô đun khi kết hợp với BENDVLM, cải thiện hiệu suất của BENDVLM trên 24/28 chỉ số.

IV. Conclusion & Future Works:

SEM là một framework linh hoạt, hậu kỳ và zero-shot để giảm thiểu sai lệch trong các mô hình thị giác-ngôn ngữ. Nó phân tách các embedding văn bản thành một không gian tiềm ẩn có chiều cao, không bị vướng víu bằng cách sử dụng Sparse Autoencoder, cho phép các can thiệp phi tuyến tính, chính xác. SEM cải thiện nhất quán độ công bằng và độ chính xác của nhóm tệ nhất, giải quyết một thất bại chính của các phương pháp trước đây. Hơn nữa, tính mô đun của nó cho phép kết hợp với các phương pháp khác để nâng cao kết quả.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về cơ chế phân tách đặc trưng của Sparse Autoencoder để hiểu rõ hơn cách nó cô lập các khái niệm và sai lệch, từ đó phát triển các phương pháp điều chỉnh neuron hiệu quả hơn và có thể diễn giải được cho các loại sai lệch phức tạp khác (ví dụ: sai lệch đa mô thức).
Mở rộng framework SEM để xử lý trực tiếp các embedding hình ảnh hoặc các embedding đa mô thức, không chỉ giới hạn ở embedding văn bản. Điều này có thể bao gồm việc phát triển các kiến trúc SAE chuyên biệt cho dữ liệu thị giác hoặc kết hợp thông tin thị giác-ngôn ngữ trong quá trình phân tách và điều chỉnh neuron.
Khám phá khả năng áp dụng SEM cho việc khử sai lệch trong các mô hình tạo sinh (Generative Models) như Text-to-Image models hoặc Text-to-Video models, nơi sai lệch có thể dẫn đến việc tạo ra nội dung phản ánh định kiến xã hội. Nghiên cứu cách các can thiệp ở cấp độ neuron có thể kiểm soát các thuộc tính tạo sinh mong muốn và loại bỏ các thuộc tính sai lệch.

2. Patent:

Hệ thống tìm kiếm ảnh không định kiến trên điện thoại: Một ứng dụng trên điện thoại di động sử dụng công nghệ tương tự SEM để khử sai lệch trong kết quả tìm kiếm hình ảnh. Khi người dùng nhập một truy vấn tìm kiếm (ví dụ: "một bác sĩ"), hệ thống sẽ điều chỉnh các từ khóa tìm kiếm ở cấp độ tính năng ẩn để tránh các định kiến giới tính hoặc chủng tộc, đảm bảo rằng kết quả hiển thị một sự đa dạng cân bằng về hình ảnh. Công nghệ này giúp người dùng nhận được thông tin khách quan và toàn diện hơn.
Công cụ kiểm duyệt nội dung tự động trên mạng xã hội: Phát triển một công cụ tích hợp vào ứng dụng mạng xã hội trên điện thoại di động để tự động phát hiện và giảm thiểu các định kiến trong nội dung do người dùng tạo hoặc chia sẻ. Công cụ này sẽ phân tích các bài đăng văn bản hoặc mô tả hình ảnh, sử dụng các kỹ thuật phân tách và điều chỉnh tính năng tương tự SEM để xác định và làm suy yếu các yếu tố có thể gây ra hoặc khuếch đại định kiến xã hội trước khi nội dung được hiển thị rộng rãi, từ đó tạo ra một môi trường trực tuyến công bằng hơn.
Trợ lý viết văn bản thông minh không định kiến: Một tính năng bàn phím hoặc ứng dụng soạn thảo văn bản trên điện thoại giúp người dùng viết email, tin nhắn hoặc báo cáo một cách khách quan hơn. Khi người dùng gõ, trợ lý sẽ phân tích các từ và cụm từ, sau đó đưa ra gợi ý thay thế hoặc cảnh báo nếu phát hiện có khả năng xuất hiện định kiến (ví dụ: khi mô tả một nghề nghiệp, nó có thể gợi ý các từ trung lập về giới tính hoặc đưa ra các ví dụ đa dạng hơn), giúp người dùng tạo ra nội dung chuyên nghiệp và không thiên vị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.19028
ArXiv Abstract	https://arxiv.org/abs/2603.19028
PDF Download	https://arxiv.org/pdf/2603.19028.pdf
Github Repository	https://github.com/mardgui/SEM

16. PivotRL: High Accuracy Agentic Post-Training at Low Compute Cost (12 votes)

Tác giả: Junkeun Yi, Damon Mosk-Aoyama, Baihe Huang, Ritu Gala, Charles Wang, Sugam Dipak Devare, Khushi Bhardwaj, Abhibha Gupta, Oleksii Kuchaiev, Jiantao Jiao, Jian Zhang, Venkat Srinivasan

Xuất bản lúc: 2026-03-22

Tag: LLMs, Reinforcement Learning, Fine-tuning, Agentic AI, OOD Generalization, Compute Efficiency

I. Main Problem:

Các tác vụ tác tử (agentic tasks) dài hạn đòi hỏi sự tương tác nhiều lượt của Mô hình Ngôn ngữ Lớn (LLM) với môi trường, đặt ra mâu thuẫn giữa hiệu quả tính toán và khả năng khái quát hóa trong quá trình huấn luyện hậu kỳ (post-training). Cụ thể, huấn luyện tinh chỉnh có giám sát (SFT) hiệu quả về mặt tính toán nhưng thường bị suy giảm hiệu suất ngoài phân phối (OOD). Ngược lại, học tăng cường đầu cuối (E2E RL) duy trì khả năng OOD nhưng tốn kém chi phí tính toán do yêu cầu nhiều lượt triển khai on-policy.

II. Main Idea:

PivotRL là một framework mới được đề xuất để kết hợp hiệu quả tính toán của SFT với độ chính xác OOD của E2E RL bằng cách hoạt động trên các quỹ đạo SFT hiện có. Framework này dựa trên hai cơ chế chính:

Chọn lọc 'điểm xoay' (pivots): Thực hiện các lượt triển khai on-policy cục bộ và lọc ra các "điểm xoay" – những lượt trung gian mang tính thông tin, nơi các hành động được lấy mẫu cho thấy sự biến động cao về kết quả (thành công và thất bại). Việc này giúp tập trung huấn luyện vào những trạng thái khó khăn và có tín hiệu học tập mạnh.
Phần thưởng dựa trên chức năng tương đương: Sử dụng phần thưởng cho các hành động có chức năng tương đương thay vì yêu cầu khớp chuỗi nghiêm ngặt với dữ liệu minh họa của SFT. Điều này tránh việc loại bỏ các hành động đúng về mặt chức năng nhưng khác về mặt cú pháp. Lý thuyết cho thấy các cơ chế này khuyến khích tín hiệu học tập mạnh với chuẩn gradient tự nhiên cao, đồng thời bảo toàn tối đa thứ tự xác suất chính sách trên các hành động không liên quan đến tác vụ huấn luyện.

III. Main Results:

PivotRL đạt được những cải thiện đáng kể so với SFT tiêu chuẩn và E2E RL:

Độ chính xác trong miền (in-domain): Đạt trung bình cao hơn +4.17% trên bốn miền tác tử so với SFT khi sử dụng dữ liệu huấn luyện tương tự. Cụ thể, cải thiện trung bình +14.11 điểm so với mô hình cơ sở, trong khi SFT chỉ đạt +9.94 điểm.
Khả năng giữ lại OOD: Duy trì hiệu suất OOD với mức thay đổi trung bình chỉ +0.21, trong khi SFT gây ra sự suy giảm nghiêm trọng -9.83% trên các tác vụ phi tác tử.
Hiệu quả tính toán: Trên các tác vụ mã hóa tác tử (agentic coding), PivotRL đạt độ chính xác cạnh tranh với E2E RL nhưng chỉ với số lượt triển khai ít hơn 4 lần (và ít hơn ~5.5 lần thời gian thực tế trên cùng số nút tính toán).
Nghiên cứu loại bỏ thành phần (Ablation Study): Xác nhận rằng cả việc lọc "điểm xoay" và phần thưởng dựa trên chức năng đều cần thiết để đạt được hiệu suất tối đa.
Triển khai thực tế: PivotRL đã được NVIDIA's Nemotron-3-Super-120B-A12B áp dụng làm công cụ chính trong quá trình huấn luyện hậu kỳ tác tử quy mô sản xuất.

IV. Conclusion & Future Works:

PivotRL giải quyết thành công mâu thuẫn giữa hiệu quả tính toán và khả năng khái quát hóa trong huấn luyện hậu kỳ cho các tác vụ tác tử dài hạn. Bằng cách kết hợp các lượt triển khai cục bộ có chọn lọc và phần thưởng dựa trên chức năng tương đương, PivotRL đạt được độ chính xác cao hơn cả trong miền và ngoài miền so với SFT, đồng thời hiệu quả hơn đáng kể về chi phí tính toán so với E2E RL. Thành công này được thể hiện qua việc PivotRL được tích hợp vào quy trình huấn luyện quy mô sản xuất của NVIDIA Nemotron-3-Super.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về phương pháp chọn lọc điểm xoay nâng cao: Khám phá các tiêu chí và thuật toán phức tạp hơn để xác định các "điểm xoay" mang tính thông tin trong các quỹ đạo tương tác dài hạn, vượt ra ngoài độ lệch chuẩn của phần thưởng. Có thể bao gồm việc sử dụng mô hình dự đoán độ khó của lượt, phân tích tác động nhân quả của hành động hoặc các phương pháp học tăng cường meta để tự động điều chỉnh tiêu chí chọn lọc.
Tự động hóa thiết kế bộ kiểm định chức năng: Phát triển các phương pháp để tự động tạo hoặc thích nghi các bộ kiểm định (verifier) dựa trên chức năng cho các miền tác vụ mới, giảm thiểu sự phụ thuộc vào thiết kế thủ công. Điều này có thể liên quan đến việc sử dụng các LLM mạnh mẽ làm bộ kiểm định, học từ các ví dụ hoặc sử dụng kỹ thuật suy luận ngữ nghĩa để xác định sự tương đương chức năng.
Mở rộng PivotRL cho tác vụ đa tác tử và hợp tác: Nghiên cứu cách áp dụng và điều chỉnh framework PivotRL cho các môi trường có nhiều tác tử hoặc các tác vụ đòi hỏi sự hợp tác. Điều này sẽ liên quan đến việc định nghĩa "điểm xoay" trong bối cảnh tương tác giữa các tác tử và thiết kế cơ chế phần thưởng phản ánh sự thành công chung hoặc sự phối hợp hiệu quả.
patent_ideas

2. Patent:

Hệ thống trợ lý di động thông minh học hỏi từ tương tác người dùng: Một hệ thống trên điện thoại di động sử dụng cơ chế học tập "dựa trên điểm xoay" để cải thiện khả năng thực hiện các tác vụ đa bước phức tạp (ví dụ: đặt vé máy bay, khắc phục sự cố thiết bị, nhập liệu phức tạp qua nhiều ứng dụng). Hệ thống này xác định các điểm quyết định quan trọng trong tương tác của người dùng, học hỏi từ các chỉnh sửa thành công hoặc các hành động thay thế có chức năng tương đương, và chủ động đề xuất các quy trình làm việc đa bước được cải thiện mà vẫn duy trì hiệu suất trên các tác vụ không liên quan.
Công cụ hỗ trợ viết mã di động thích ứng: Một trợ lý AI trên thiết bị dành cho các nhà phát triển di động sử dụng PivotRL để học hỏi và đề xuất các đoạn mã hoàn chỉnh, tái cấu trúc mã (refactoring) hoặc các bước gỡ lỗi theo thời gian thực. Nó xác định các "điểm xoay" trong quá trình viết mã (ví dụ: nơi có thể có nhiều giải pháp mã khác nhau đạt được cùng một kết quả chức năng) và học hỏi từ các lựa chọn thay thế được người dùng chấp nhận, cải thiện các đề xuất cho các tác vụ mã hóa phức tạp mà không làm suy giảm khả năng tạo mã chung của nó.
Hệ thống tự động hóa nhà thông minh nhận biết ngữ cảnh: Một ứng dụng di động để điều khiển nhà thông minh sử dụng PivotRL để học các quy trình tự động hóa phức tạp. Ứng dụng này quan sát các tương tác của người dùng (ví dụ: bật đèn, điều chỉnh nhiệt độ, phát nhạc) và xác định các khoảnh khắc "điểm xoay" nơi nhiều hành động khác nhau có thể dẫn đến một kết quả mong muốn. Sau đó, nó điều chỉnh các đề xuất cho chuỗi tự động hóa, cho phép các lệnh có chức năng tương đương nhưng khác nhau, đồng thời giữ lại khả năng quản lý chính xác các chức năng nhà thông minh khác. Ví dụ, nếu người dùng đôi khi nói "làm mờ đèn" và đôi khi "đặt độ sáng 30%", hệ thống sẽ học rằng cả hai đều có chức năng tương đương cho cảnh "đêm xem phim".

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.21383
ArXiv Abstract	https://arxiv.org/abs/2603.21383
PDF Download	https://arxiv.org/pdf/2603.21383.pdf
Github Repository	N/A

17. REVERE: Reflective Evolving Research Engineer for Scientific Workflows (11 votes)

Tác giả: Balaji Dinesh Gangireddi, Aniketh Garikaparthi, Manasi Patwardhan, Arman Cohan

Xuất bản lúc: 2026-03-21

Tag: LLMs, Prompt Engineering, Continual Learning, Self-Adaptation, Code Generation, Scientific Workflows, Agents

I. Main Problem:

Các kỹ thuật tối ưu hóa prompt hiện có thường dựa vào tín hiệu cục bộ, bỏ qua các mẫu lặp lại rộng hơn, dẫn đến khả năng khái quát hóa kém. Chúng cũng dựa vào việc viết lại toàn bộ prompt hoặc hợp nhất không có cấu trúc, gây mất kiến thức. Những hạn chế này đặc biệt nghiêm trọng trong các quy trình làm việc mã hóa nghiên cứu, vốn liên quan đến các kho lưu trữ không đồng nhất, môi trường không được chỉ định rõ ràng và phản hồi yếu, nơi việc tái tạo kết quả từ các cơ sở mã công khai là một chế độ đánh giá đã được thiết lập.

II. Main Idea:

Giới thiệu REVERE (Reflective Evolving Research Engineer), một framework tự thích ứng liên tục học hỏi từ "Global Training Context" (Ngữ cảnh Huấn luyện Toàn cầu). REVERE nhận diện các chế độ lỗi lặp lại trong các quỹ đạo thực thi đa kho lưu trữ, chắt lọc chúng thành các heuristic có thể tái sử dụng và thực hiện các chỉnh sửa có mục tiêu trên ba trường cấu hình: prompt hệ thống, template prompt tác vụ và bảng ghi chú tích lũy (cumulative cheatsheet). REVERE sử dụng cơ chế phản hồi và cập nhật dựa trên mã (code-based updates) để thực hiện các chỉnh sửa chính xác, không phá hủy, thay vì viết lại toàn bộ prompt, cho phép tích lũy kiến thức ổn định và cải thiện khả năng khái quát hóa.

III. Main Results:

REVERE cải thiện hiệu suất so với các hướng dẫn do chuyên gia tạo ra đạt trạng thái nghệ thuật trước đây trên các tác vụ mã hóa nghiên cứu:

Tăng 4.50% trên SUPER.
Tăng 3.51% trên ResearchCodeBench.
Tăng 4.89% trên ScienceAgentBench. Kết quả này cho thấy các tác nhân được trang bị cơ chế học liên tục và hợp nhất bộ nhớ toàn cầu có thể phát triển đáng kể khả năng của chúng theo thời gian. REVERE cũng đạt được khả năng thích ứng hiệu quả hơn gấp 10 lần so với các phương pháp thay thế về chi phí tính toán.

IV. Conclusion & Future Works:

REVERE chứng minh rằng các tác nhân có cơ chế học liên tục và hợp nhất bộ nhớ toàn cầu có thể phát triển khả năng đáng kể theo thời gian, giải quyết các thách thức trong quy trình mã hóa nghiên cứu. Hiệu quả của nó đến từ sự tương tác của các thành phần cốt lõi: cheatsheet để lưu giữ các sửa lỗi và heuristic đã khám phá, ngữ cảnh phụ trợ để tránh các cực tiểu cục bộ, và lịch sử phản ánh để duy trì tính nhất quán lâu dài. Dù vẫn còn thách thức về sự phát triển của độ dài ngữ cảnh, REVERE duy trì các prompt nhỏ gọn và chi phí thấp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về cơ chế nén và trừu tượng hóa kiến thức trong Global Training Context: Khám phá các phương pháp tiên tiến để nén thông tin từ "Reflection History" và "Auxiliary Context" thành các heuristic ngắn gọn hơn hoặc các mô hình khái quát hóa để giảm sự phát triển của độ dài prompt mà không làm mất đi kiến thức quan trọng, đặc biệt trong các miền kiến thức chuyên sâu.
Mở rộng REVERE cho các miền ứng dụng ngoài mã hóa nghiên cứu: Điều tra cách điều chỉnh framework REVERE, đặc biệt là cơ chế cập nhật dựa trên mã và quản lý "Global Training Context", để áp dụng cho các tác vụ phức tạp khác của LLM yêu cầu học liên tục và thích ứng trong môi trường có phản hồi yếu, ví dụ như tự động hóa quy trình kinh doanh hoặc thiết kế kỹ thuật.
Tích hợp REVERE với các mô hình ngôn ngữ nhỏ hơn và tối ưu hóa cho tài nguyên hạn chế: Nghiên cứu cách triển khai và tối ưu hóa REVERE để hoạt động hiệu quả với các mô hình ngôn ngữ nhỏ hơn hoặc trên các thiết bị có tài nguyên tính toán hạn chế, nhằm giảm phụ thuộc vào các mô hình lớn như GPT-4.1 và mở rộng khả năng ứng dụng của nó trong các kịch bản thực tế.

2. Patent:

Hệ thống trợ lý mã hóa thông minh trên di động với khả năng tự thích ứng: Một ứng dụng di động cung cấp môi trường lập trình nhẹ, cho phép người dùng viết và kiểm tra các đoạn mã. Hệ thống sẽ tích hợp một phiên bản thu gọn của REVERE, sử dụng "cheatsheet" cục bộ để ghi nhớ các lỗi lập trình phổ biến và giải pháp của người dùng, tự động gợi ý hoặc sửa lỗi cho các tác vụ mã hóa tương lai trên điện thoại, đặc biệt hữu ích cho việc học lập trình hoặc sửa lỗi nhanh.
Công cụ tối ưu hóa prompt thông minh cho ứng dụng di động: Phát triển một công cụ tích hợp vào các ứng dụng di động sử dụng LLM (ví dụ: trợ lý ảo, công cụ sáng tạo nội dung). Công cụ này sẽ theo dõi cách người dùng tương tác với LLM, nhận diện các "lỗi" hoặc "kết quả không mong muốn" lặp lại, sau đó tự động điều chỉnh các "prompt hệ thống" hoặc "template prompt" ngầm định của ứng dụng để cải thiện chất lượng phản hồi của LLM theo thời gian, mà không yêu cầu người dùng phải tự viết lại prompt phức tạp.
Hệ thống "Ghi nhớ & Phản hồi" cho việc tự động hóa tác vụ di động: Một tính năng trên điện thoại di động cho phép người dùng ghi lại một chuỗi hành động hoặc quy trình phức tạp (ví dụ: thiết lập một ứng dụng mới, cấu hình email). Hệ thống sẽ học từ các "quỹ đạo thực thi" này, nhận diện các điểm lỗi hoặc bước lặp lại, và tự động tạo ra "heuristic" dưới dạng các kịch bản nhỏ để tự động hóa hoặc hướng dẫn người dùng thực hiện các tác vụ tương tự trong tương lai một cách hiệu quả hơn, với khả năng tự điều chỉnh khi gặp phải các biến thể môi trường.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.20667
ArXiv Abstract	https://arxiv.org/abs/2603.20667
PDF Download	https://arxiv.org/pdf/2603.20667.pdf
Github Repository	N/A

18. Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models (10 votes)

Tác giả: Yuhao Dong, Zuyan Liu, Shulin Tian, Yongming Rao, Ziwei Liu

Xuất bản lúc: 2026-03-18

Tag: Visual Reasoning, Multimodal Large Language Models, MLLMs, Multi-Agent System, Reinforcement Learning, DPO, GRPO, Self-Evolving, Image Understanding, Video Understanding

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) đối mặt với thách thức đáng kể trong việc thực hiện suy luận thị giác chuỗi dài do thiếu dữ liệu suy luận chất lượng cao và các quy trình đào tạo tối ưu. Đặc biệt, việc mở rộng khả năng suy luận từ văn bản sang đa phương thức (hình ảnh và video) gặp khó khăn trong việc tận dụng các tín hiệu thị giác cho việc giải quyết vấn đề từng bước chính xác. Việc chuyển đổi từ suy luận hình ảnh tĩnh sang suy luận video động phức tạp hơn rất nhiều, đòi hỏi khả năng theo dõi đối tượng theo thời gian, hiểu các chuỗi hành động phức tạp và duy trì tính nhất quán không gian-thời gian trên nhiều khung hình. Các phương pháp đào tạo tĩnh, không thích ứng hiện tại cũng hạn chế khả năng suy luận tổng quát trên cả hai phương thức hình ảnh và video.

II. Main Idea:

Để giải quyết những thách thức này, Insight-V++ giới thiệu một khung suy luận thị giác đa tác nhân thống nhất, phát triển từ mô hình Insight-V cơ bản thành kiến trúc không gian-thời gian tổng quát. Các ý tưởng chính bao gồm:

Quy trình tạo dữ liệu tự động và có thể mở rộng: Phát triển một quy trình tạo dữ liệu tiến bộ, có thể mở rộng, được trang bị đánh giá đa mức độ chi tiết, tự động tổng hợp các quỹ đạo suy luận phức tạp, có cấu trúc trên cả miền hình ảnh và video mà không cần sự can thiệp của con người. Đối với video, một phương pháp chấm điểm đường suy luận trong ngữ cảnh tiên tiến được giới thiệu.
Kiến trúc hai tác nhân: Thiết kế một kiến trúc gồm hai tác nhân: "tác nhân suy luận" (reasoning agent) chuyên thực hiện các chuỗi phân tích mở rộng và "tác nhân tóm tắt" (summary agent) được đào tạo để đánh giá và chắt lọc các kết quả cuối cùng một cách nghiêm túc. Tác nhân tóm tắt được đào tạo để chống lại các lỗi trong đường suy luận.
Thuật toán học tăng cường mới: Giới thiệu hai thuật toán học tăng cường (RL) mới có tên ST-GRPO và J-GRPO. ST-GRPO tăng cường khả năng suy luận không gian-thời gian của tác nhân suy luận, trong khi J-GRPO cải thiện độ bền đánh giá của tác nhân tóm tắt. Các thuật toán này thay thế DPO lặp để tối ưu hóa ổn định hơn, đặc biệt cho việc hiểu video dài.
Chiến lược đào tạo tự tiến hóa: Đạt được sự tích hợp chặt chẽ hơn giữa các module thông qua một chiến lược đào tạo tự tiến hóa mới. Hệ thống tận dụng các tín hiệu phản hồi đáng tin cậy từ tác nhân tóm tắt được đào tạo tốt để hướng dẫn quá trình tạo đường suy luận lặp đi lặp lại. Điều này cho phép hệ thống tự động tạo ra dữ liệu chất lượng cao, tinh chỉnh hơn, sau đó được sử dụng để đào tạo lại toàn bộ hệ thống đa tác nhân trong một vòng lặp tự cải tiến liên tục.

III. Main Results:

Các thử nghiệm rộng rãi trên các mô hình cơ sở mạnh mẽ như LLaVA-NeXT và Qwen2.5-VL đã chứng minh hiệu quả của Insight-V++:

Insight-V (trên LLaVA-NeXT) đạt được mức cải thiện hiệu suất trung bình 8.1% trên sáu bộ điểm chuẩn suy luận thị giác đầy thách thức và 3.3% trên một MLLM cơ sở mạnh hơn.
Insight-V++ (trên Qwen2.5-VL) đạt được kết quả vượt trội trên cả điểm chuẩn suy luận hình ảnh và video, duy trì khả năng nhận thức mạnh mẽ đồng thời làm chủ logic không gian-thời gian phức tạp.
Trên các điểm chuẩn suy luận hình ảnh tổng quát, Insight-V++ đạt thêm +4.8% cải thiện. Đối với các tác vụ hình ảnh phức tạp, mô hình đạt điểm trung bình 53.9, vượt trội đáng kể so với tất cả các mô hình trước đây dựa trên cùng kiến trúc cơ sở.
Trong miền thời gian, Insight-V++ mang lại cải thiện trung bình nổi bật là +6.9% trên sáu điểm chuẩn suy luận video đại diện, vượt xa các đường cơ sở hiện có.

IV. Conclusion & Future Works:

Insight-V++ là một hệ sinh thái tự cải tiến toàn diện, thu hẹp khoảng cách cơ bản giữa nhận thức hình ảnh tĩnh và hiểu biết không gian-thời gian phức tạp. Bằng cách tự động khắc phục nút thắt cổ chai về sự khan hiếm dữ liệu đa phương thức và ổn định suy luận dài hạn thông qua học tăng cường on-policy mạnh mẽ, khung tích hợp của chúng tôi mở ra một con đường có thể mở rộng, không cần chú thích để phát triển thế hệ mô hình suy luận thị giác đa năng tiếp theo. Các đóng góp chính bao gồm quy trình dữ liệu không gian-thời gian thống nhất, học tăng cường on-policy (ST-GRPO và J-GRPO) cho video, và chiến lược tự tiến hóa vòng lặp kín, cho phép hệ thống liên tục tự tối ưu hóa mà không cần chú thích của con người.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các thuật toán học tăng cường (RL) on-policy mới cho MLLMs: Nghiên cứu và đề xuất các biến thể của GRPO hoặc các thuật toán RL on-policy khác được tùy chỉnh để giải quyết các thách thức cụ thể trong suy luận đa phương thức, đặc biệt là suy luận không gian-thời gian dài (long-horizon spatial-temporal reasoning) và khả năng đánh giá của các tác nhân tổng hợp.
Mở rộng hệ thống tự tiến hóa cho các miền đa phương thức khác: Khám phá việc áp dụng và điều chỉnh kiến trúc tự tiến hóa khép kín của Insight-V++ sang các miền đa phương thức khác ngoài hình ảnh và video, chẳng hạn như âm thanh-văn bản hoặc cảm biến-văn bản, để tự động tạo dữ liệu suy luận chất lượng cao và cải thiện mô hình mà không cần chú thích của con người.
Tích hợp sâu hơn các tác nhân suy luận và tóm tắt: Nghiên cứu các cơ chế cộng tác và giao tiếp nâng cao giữa tác nhân suy luận và tác nhân tóm tắt, chẳng hạn như cho phép tác nhân tóm tắt cung cấp phản hồi chi tiết và có cấu trúc hơn để hướng dẫn tác nhân suy luận một cách hiệu quả hơn trong quá trình tạo đường suy luận.

2. Patent:

Hệ thống trợ lý ảnh và video thông minh trên điện thoại: Một hệ thống trên điện thoại di động có khả năng phân tích chuỗi hành động trong video hoặc chi tiết phức tạp trong ảnh. Người dùng có thể hỏi "Tại sao người này lại làm hành động đó?" hoặc "Điều gì sẽ xảy ra tiếp theo trong video này?" và điện thoại sẽ cung cấp một chuỗi suy luận chi tiết, giải thích lý do hoặc dự đoán kết quả dựa trên ngữ cảnh thị giác. Điều này hữu ích cho việc học tập, giải trí hoặc hỗ trợ người dùng có thị lực kém hiểu rõ hơn về nội dung đa phương tiện.
Công cụ tạo mô tả và tóm tắt tự động cho nội dung đa phương tiện cá nhân: Ứng dụng trên điện thoại tự động tạo các mô tả chi tiết, có cấu trúc và tóm tắt ngắn gọn cho các bức ảnh và video cá nhân của người dùng (ví dụ: trong thư viện ảnh). Thay vì chỉ gắn thẻ đối tượng, hệ thống sẽ suy luận về câu chuyện, mối quan hệ giữa các đối tượng hoặc diễn biến thời gian, giúp người dùng dễ dàng tìm kiếm, sắp xếp hoặc chia sẻ kỷ niệm của mình với các mô tả thông minh.
Hệ thống kiểm tra lỗi và gợi ý cải thiện cho nội dung do người dùng tạo: Một tính năng trên điện thoại di động sử dụng khả năng đánh giá của mô hình để kiểm tra tính hợp lý và chính xác của các mô tả, chú thích hoặc kịch bản mà người dùng tự tạo cho ảnh hoặc video. Ví dụ, nếu người dùng viết một chú thích cho video, hệ thống có thể chỉ ra các điểm không nhất quán hoặc lỗi suy luận (ví dụ: mô tả một hành động không phù hợp với hình ảnh) và gợi ý các cải tiến để văn bản phù hợp hơn với nội dung thị giác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.18118
ArXiv Abstract	https://arxiv.org/abs/2603.18118
PDF Download	https://arxiv.org/pdf/2603.18118.pdf
Github Repository	N/A

📰 Summary of Papers​

1. Omni-WorldBench: Towards a Comprehensive Interaction-Centric Evaluation for World Models (110 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model (90 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Look Where It Matters: High-Resolution Crops Retrieval for Efficient VLMs (60 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. OpenResearcher: A Fully Open Pipeline for Long-Horizon Deep Research Trajectory Synthesis (55 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. VideoDetective: Clue Hunting via both Extrinsic Query and Intrinsic Relevance for Long Video Understanding (45 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. SpatialBoost: Enhancing Visual Representation through Language-Guided Reasoning (39 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Manifold-Aware Exploration for Reinforcement Learning in Video Generation (31 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. F4Splat: Feed-Forward Predictive Densification for Feed-Forward 3D Gaussian Splatting (31 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. mSFT: Addressing Dataset Mixtures Overfiting Heterogeneously in Multi-task SFT (27 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Omni-WorldBench: Towards a Comprehensive Interaction-Centric Evaluation for World Models (110 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model (90 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Look Where It Matters: High-Resolution Crops Retrieval for Efficient VLMs (60 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. OpenResearcher: A Fully Open Pipeline for Long-Horizon Deep Research Trajectory Synthesis (55 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. VideoDetective: Clue Hunting via both Extrinsic Query and Intrinsic Relevance for Long Video Understanding (45 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. SpatialBoost: Enhancing Visual Representation through Language-Guided Reasoning (39 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Manifold-Aware Exploration for Reinforcement Learning in Video Generation (31 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. F4Splat: Feed-Forward Predictive Densification for Feed-Forward 3D Gaussian Splatting (31 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. mSFT: Addressing Dataset Mixtures Overfiting Heterogeneously in Multi-task SFT (27 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: