Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-03-02

Báo cáo được tạo tự động vào lúc 2026-03-06 14:41:27 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. dLLM: Simple Diffusion Language Modeling (114 votes)​

Tác giả: Zhanhui Zhou, Lingjie Chen, Hanghang Tong, Dawn Song

Xuất bản lúc: 2026-02-26

Tag: DLMs, Diffusion Models, Language Modeling, Open-source Framework, Training, Inference, Evaluation, Finetuning, BERT, Autoregressive LMs, Efficient Decoding, LLMs

I. Main Problem:​

Vấn đề chính mà công trình này giải quyết là sự thiếu hụt một framework thống nhất và dễ tái tạo cho các mô hình ngôn ngữ khuếch tán (DLMs) đang phát triển nhanh chóng. Mặc dù nhiều DLM chia sẻ các thành phần cốt lõi, nhưng chúng thường nằm rải rác trong các codebase nghiên cứu ad-hoc hoặc thiếu các triển khai minh bạch, gây khó khăn cho việc tái tạo, so sánh hoặc mở rộng. Ngoài ra, việc đánh giá DLM rất nhạy cảm với các siêu tham số suy luận, điều này ít khi được nêu rõ trong các công trình trước đây, làm cho việc so sánh công bằng trở nên phức tạp.

II. Main Idea:​

Để giải quyết vấn đề này, các tác giả giới thiệu dLLM, một framework mã nguồn mở thống nhất các thành phần cốt lõi của mô hình ngôn ngữ khuếch tán—bao gồm huấn luyện, suy luận và đánh giá—và giúp dễ dàng tùy chỉnh cho các thiết kế mới.

  1. Huấn luyện: dLLM cung cấp các module huấn luyện thống nhất hỗ trợ các mục tiêu phổ biến như Masked Diffusion (MDLM) và Block Diffusion (BD3LM), đồng thời tách rời logic mô hình khuếch tán khỏi kiến trúc mô hình, cho phép tái tạo, tinh chỉnh các DLM hiện có và phát triển các mô hình mới từ đầu.
  2. Suy luận: dLLM giới thiệu một lớp trừu tượng nhẹ nhàng (Sampler) cho phép các thuật toán suy luận "plug-and-play" (bao gồm cả các thuật toán giải mã hiệu quả như Fast-dLLM) mà không cần sửa đổi các triển khai mô hình hiện có. Nó cũng cung cấp một công cụ trực quan hóa terminal để hiển thị thứ tự giải mã token và quá trình phát triển mẫu.
  3. Đánh giá: dLLM cung cấp một giao diện đánh giá thống nhất bằng cách mở rộng framework lm-evaluation-harness, phù hợp cẩn thận với các cài đặt tiền xử lý, giải mã và hậu xử lý được sử dụng trong các công trình trước đây để tái tạo kết quả chính thức và cho phép so sánh nhất quán. Ngoài ra, dLLM cung cấp các công thức và checkpoint tối thiểu, dễ tái tạo để xây dựng các DLM nhỏ với tài nguyên tính toán dễ tiếp cận, bao gồm việc chuyển đổi các bộ mã hóa kiểu BERT hoặc các mô hình ngôn ngữ tự hồi quy (ARLMs) thành DLM mà không cần thay đổi kiến trúc hay huấn luyện tiếp tục.

III. Main Results:​

  • dLLM đã thành công trong việc hợp nhất các thành phần cốt lõi của mô hình ngôn ngữ khuếch tán (huấn luyện, suy luận, đánh giá) thành một quy trình làm việc chuẩn hóa, mô-đun và có thể mở rộng, giúp phát triển minh bạch và lặp lại nhanh hơn.
  • Cung cấp các công thức và checkpoint dễ tái tạo để huấn luyện các DLM nhỏ từ đầu, bao gồm chuyển đổi các bộ mã hóa kiểu BERT và các mô hình ngôn ngữ tự hồi quy thành DLM với tài nguyên tính toán tối thiểu.
  • Tinh chỉnh các DLM lớn hiện có (như LLaDA và Dream) bằng MDLM SFT cho thấy khả năng suy luận được cải thiện và hiệu suất tốt hơn trên các tác vụ xuôi dòng, đặc biệt là với các mô hình Instruct.
  • Các mô hình BERT-style được chuyển đổi (ví dụ: ModernBERT-large-chat) vượt trội hơn các biến thể GPT-2 trên hầu hết các benchmark và vượt trội hơn Qwen1.5-0.5B-Chat trên BBH và MATH, chứng minh tính khả thi của việc sử dụng các backbone kiểu BERT cho DLM.
  • Các mô hình ARLM được chuyển đổi thành DLM (ví dụ: Qwen3-0.6B-bd3lm-v0.1) đạt được hiệu suất cạnh tranh, đặc biệt là trên các tác vụ tạo mã (HumanEval và MBPP), đôi khi vượt qua cả mô hình gốc, cho thấy con đường chuyển đổi AR-to-diffusion là thiết thực và hiệu quả về mặt tính toán.
  • Triển khai Fast-dLLM trong dLLM cho thấy tốc độ suy luận được cải thiện đáng kể.

IV. Conclusion & Future Works:​

dLLM là một framework mã nguồn mở thống nhất quá trình huấn luyện, suy luận và đánh giá các DLM, hạ thấp rào cản cho việc tái tạo, tinh chỉnh và so sánh các mô hình hiện có, đồng thời tạo điều kiện dễ dàng tích hợp các thiết kế mới. Công trình cũng chỉ ra rằng các mô hình đã được huấn luyện sẵn, cả bộ mã hóa kiểu BERT và mô hình ngôn ngữ tự hồi quy, có thể được chuyển đổi thành các DLM cạnh tranh chỉ bằng cách tinh chỉnh nhẹ nhàng và không cần thay đổi kiến trúc hay huấn luyện tiếp tục, làm cho việc phát triển DLM ngày càng dễ tiếp cận với tài nguyên tính toán tối thiểu. Trong tương lai, các tác giả dự định tiếp tục mở rộng dLLM bằng cách tích hợp các phương pháp mới khi lĩnh vực này phát triển, ví dụ như tích hợp các thuật toán học tăng cường (RL) khi các phương pháp tiếp cận được chấp nhận rộng rãi cho DLM xuất hiện, và hỗ trợ các mô hình mã nguồn mở bổ sung khi chúng được phát hành.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tích hợp Học tăng cường (RL) cho Mô hình Ngôn ngữ Khuếch tán (DLMs): Phát triển các thuật toán RL mới được thiết kế đặc biệt để tối ưu hóa quá trình khuếch tán và khử nhiễu của DLM. Nghiên cứu này có thể tập trung vào việc làm thế nào để RL có thể cải thiện khả năng điều khiển, tính linh hoạt trong tạo văn bản và hiệu quả trong suy luận của DLM, vượt ra ngoài các phương pháp huấn luyện giám sát hiện có.
  2. Khám phá các Kiến trúc và Mục tiêu Khuếch tán mới trong dLLM: Sử dụng tính mô-đun và khả năng mở rộng của framework dLLM để thử nghiệm các mục tiêu khuếch tán sáng tạo (ngoài MDLM và BD3LM) hoặc tích hợp các kiến trúc mạng thần kinh tiên tiến (như các mô hình với cơ chế chú ý thưa thớt hoặc Mixture-of-Experts) vào DLM. Mục tiêu là cải thiện chất lượng tạo văn bản, hiệu quả tính toán hoặc khả năng xử lý các loại dữ liệu ngôn ngữ phức tạp.
  3. Mở rộng DLM sang các lĩnh vực đa phương thức với dLLM: Nghiên cứu cách áp dụng hoặc điều chỉnh các nguyên tắc của mô hình ngôn ngữ khuếch tán rời rạc để tạo ra nội dung đa phương thức. Ví dụ, phát triển DLM có khả năng tạo hình ảnh hoặc âm thanh từ mô tả văn bản, hoặc tích hợp chúng vào các hệ thống hỏi đáp thị giác-ngôn ngữ, tận dụng khả năng tinh chỉnh lặp lại của khuếch tán trong các miền dữ liệu khác.

2. Patent:​

  1. Công cụ Tinh chỉnh và Chỉnh sửa Văn bản Thông minh trên Di động: Một ứng dụng di động sử dụng quy trình tinh chỉnh lặp lại của DLM để cải thiện văn bản do người dùng nhập. Thay vì chỉ kiểm tra chính tả và ngữ pháp cơ bản, ứng dụng có thể đề xuất viết lại toàn bộ câu hoặc đoạn văn để cải thiện độ rõ ràng, giọng điệu hoặc sự súc tích, dựa trên mục tiêu cụ thể của người dùng (ví dụ: "làm cho văn bản này chuyên nghiệp hơn," "rút ngắn email này"). Điều này tận dụng khả năng chỉnh sửa linh hoạt, không theo thứ tự từ trái sang phải của DLM.
  2. Trợ lý Tạo Mã/Script Thích ứng cho Nhà phát triển Di động: Một ứng dụng trên điện thoại di động dành cho các nhà phát triển, có khả năng tạo các đoạn mã hoặc script đơn giản (ví dụ: cho tự động hóa, trích xuất dữ liệu web) dựa trên các yêu cầu bằng ngôn ngữ tự nhiên. Bằng cách tận dụng khả năng của DLM đã được chuyển đổi (như các ví dụ BERT-Chat hoặc ARLM-to-DLM) trong việc xử lý các tác vụ mã hóa, trợ lý này có thể tinh chỉnh mã được tạo ra một cách lặp lại, cho phép người dùng cung cấp phản hồi và hướng dẫn quá trình tạo mã, hữu ích cho việc phát triển nhanh chóng trên thiết bị di động.
  3. Đồng tác giả Sáng tạo Cá nhân hóa trên Di động: Một trợ lý viết lách thông minh trên điện thoại di động giúp người dùng động não và mở rộng ý tưởng cho các câu chuyện, thơ ca hoặc bài luận. Khác với tính năng dự đoán văn bản truyền thống, hệ thống này sẽ sử dụng phương pháp tiếp cận giống DLM để điền vào các phần bị che khuất hoặc tinh chỉnh lặp lại nội dung được tạo ra dựa trên các gợi ý chủ đề cấp cao hoặc từ khóa cụ thể do người dùng cung cấp. Nó có thể đề xuất nhiều hướng sáng tạo cho một câu hoặc đoạn văn, cho phép người dùng lựa chọn và tiếp tục quá trình tạo lặp lại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.22661
ArXiv Abstracthttps://arxiv.org/abs/2602.22661
PDF Downloadhttps://arxiv.org/pdf/2602.22661.pdf
Github Repositoryhttps://github.com/ZHZisZZ/dllm

2. CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation (74 votes)​

Tác giả: Weinan Dai, Hanlin Wu, Qiying Yu, Huan-ang Gao, Jiahao Li, Chengquan Jiang, Weiqiang Lou, Yufan Song, Hongli Yu, Jiaze Chen, Wei-Ying Ma, Ya-Qin Zhang, Jingjing Liu, Mingxuan Wang, Xin Liu, Hao Zhou

Xuất bản lúc: 2026-02-27

Tag: Reinforcement Learning, Large Language Models, LLMs, CUDA, GPU Optimization, Kernel Generation, Agentic RL, Code Generation, Deep Learning, Compiler Optimization

I. Main Problem:​

Tối ưu hóa kernel GPU là một nhiệm vụ chuyên biệt, đòi hỏi kiến thức sâu về phần cứng. Các mô hình ngôn ngữ lớn (LLM) hiện tại không cạnh tranh được với các hệ thống dựa trên trình biên dịch (như torch.compile) trong việc tạo kernel CUDA hiệu suất cao. Các phương pháp tạo mã CUDA hiện có (tinh chỉnh không cần huấn luyện hoặc tinh chỉnh trong các vòng lặp phản hồi-thực thi cố định) không cải thiện được khả năng tối ưu hóa CUDA nội tại của mô hình, dẫn đến hiệu suất hạn chế.

II. Main Idea:​

Giới thiệu CUDA Agent, một hệ thống học tăng cường (RL) tác tử quy mô lớn được thiết kế để phát triển chuyên môn về kernel CUDA thông qua ba thành phần chính:

  1. Hệ thống tổng hợp dữ liệu có thể mở rộng: Tạo ra các bài toán huấn luyện đa dạng về độ khó, hỗ trợ huấn luyện RL dựa trên chương trình học (curriculum-based RL). Quá trình này bao gồm thu thập các toán tử gốc từ thư viện PyTorch/Transformers, sau đó sử dụng LLM để tổng hợp các toán tử phức hợp (fused operators) và lọc dữ liệu nghiêm ngặt để đảm bảo chất lượng.
  2. Môi trường phát triển CUDA tăng cường kỹ năng: Cung cấp môi trường với các công cụ tiện ích shell tiêu chuẩn và các kỹ năng lập trình CUDA cụ thể, cùng với các script kiểm tra và hồ sơ tự động để cung cấp tín hiệu phần thưởng đáng tin cậy. Hệ thống cũng áp dụng một lược đồ phần thưởng mạnh mẽ, được chuẩn hóa và các biện pháp chống gian lận phần thưởng.
  3. Kỹ thuật thuật toán RL ổn định: Đề xuất chiến lược khởi động nhiều giai đoạn cho cả mô hình actor và critic (bao gồm Single-Turn Warm-up, Rejection Fine-Tuning (RFT) cho actor và Value Pretraining cho critic) để giải quyết sự không ổn định trong huấn luyện RL do sự không khớp phân phối miền dữ liệu và cho phép huấn luyện ổn định các LLM lớn.

III. Main Results:​

CUDA Agent đạt được kết quả tiên tiến (state-of-the-art) trên bộ benchmark KernelBench.

  • Đạt tốc độ nhanh hơn 100%, 100% và 92% so với torch.compile trên các mức Level-1, Level-2 và Level-3 của KernelBench.
  • Vượt trội hơn các mô hình độc quyền mạnh nhất như Claude Opus 4.5 và Gemini 3 Pro khoảng 40% trên thiết lập Level-3 khó nhất.
  • Đạt tỷ lệ Pass Rate tổng thể 98.8% và Faster Rate so với torch.compile là 96.8%, với Speed-up (Geomean) tổng thể là 2.11x so với torch.compile.
  • Các nghiên cứu loại bỏ (ablation studies) chứng minh rằng môi trường tác tử tích hợp kỹ năng, thiết kế phần thưởng mạnh mẽ, Rejection Fine-Tuning (RFT) và Value Pretraining đều đóng vai trò quan trọng trong hiệu suất và sự ổn định của hệ thống.

IV. Conclusion & Future Works:​

CUDA Agent đã thành công trong việc trang bị cho các mô hình ngôn ngữ lớn khả năng tạo và tối ưu hóa kernel CUDA trong các quy trình phát triển thực tế, dựa trên thực thi. Bằng cách mở rộng đồng thời tổng hợp dữ liệu, môi trường tác tử và huấn luyện RL định hướng ổn định, CUDA Agent đã chuyển LLM từ việc chỉ tạo mã cú pháp sang tối ưu hóa hiệu suất nhận biết phần cứng. Kết quả này cho thấy một hệ quả rộng lớn hơn: trang bị cho các mô hình nền tảng môi trường có cấu trúc và phần thưởng dựa trên thực thi đáng tin cậy có thể biến chúng từ các trình tạo mã thụ động thành các bộ tối ưu hóa hệ thống chủ động, mở ra con đường tự động hóa phát triển phần mềm quan trọng về hiệu suất trong điện toán GPU. Hướng phát triển trong tương lai có thể bao gồm mở rộng hệ thống để tối ưu hóa trên các kiến trúc phần cứng khác (ví dụ: CPU, NPU) và tự động hóa phát triển phần mềm quan trọng về hiệu suất trong các lĩnh vực khác ngoài điện toán GPU.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Agentic RL cho Tối ưu hóa Kernel trên các Kiến trúc Phần cứng Đa dạng: Nghiên cứu mở rộng khuôn khổ CUDA Agent để tạo và tối ưu hóa kernel không chỉ cho GPU mà còn cho CPU, NPU, hoặc các bộ tăng tốc AI chuyên dụng khác, tập trung vào việc điều chỉnh các kỹ năng tác tử và tín hiệu phần thưởng cho các đặc điểm kiến trúc riêng biệt.
  2. Tổng hợp Dữ liệu Tự động và Học Tăng cường Dựa trên Chương trình học cho Tối ưu hóa Mã: Khám phá các phương pháp tiên tiến hơn để tổng hợp dữ liệu huấn luyện quy mô lớn, chất lượng cao cho các tác vụ tối ưu hóa mã, kết hợp với các chiến lược học tăng cường dựa trên chương trình học để huấn luyện mô hình hiệu quả trên các miền phức tạp.
  3. Tối ưu hóa Phần mềm Nhận biết Ngữ cảnh với LLM Tác tử và Phản hồi Thực thi: Phát triển một hệ thống tác tử LLM có khả năng tối ưu hóa các thành phần phần mềm phức tạp hơn (không chỉ kernel) bằng cách sử dụng phản hồi thực thi liên tục và hiểu biết sâu sắc về ngữ cảnh ứng dụng, nhằm tự động hóa các khía cạnh quan trọng của kỹ thuật hiệu suất.

2. Patent:​

  1. Hệ thống Tối ưu hóa Ứng dụng Di động Tự động Dựa trên AI: Một công nghệ cho phép điện thoại di động tự động tối ưu hóa mã ứng dụng chạy trên thiết bị. Hệ thống này sử dụng một mô hình AI cục bộ để phân tích hiệu suất của các chức năng ứng dụng cụ thể, sau đó đề xuất hoặc tự động điều chỉnh các đoạn mã (tương tự như kernel GPU nhưng cho các thành phần phần mềm di động) để cải thiện tốc độ, giảm tiêu thụ pin hoặc sử dụng bộ nhớ hiệu quả hơn, với phản hồi hiệu suất được thu thập trực tiếp từ thiết bị.
  2. Công cụ Tối ưu hóa Mã Nhận biết Phần cứng Tích hợp trên Chip Di động: Một giải pháp phần cứng-phần mềm tích hợp trên chip xử lý của điện thoại di động. Công cụ này sẽ tự động phân tích các tác vụ tính toán nặng (ví dụ: xử lý hình ảnh, AI trên thiết bị) và tạo ra các đoạn mã tối ưu hóa (kernel) được điều chỉnh riêng cho kiến trúc cụ thể của chip di động (ví dụ: CPU, GPU di động, NPU). Điều này sẽ cho phép các ứng dụng đạt được hiệu suất tối đa mà không cần nhà phát triển phải có kiến thức sâu về kiến trúc phần cứng phức tạp của từng loại điện thoại.
  3. Phương pháp Huấn luyện Mô hình AI Tiết kiệm Năng lượng trên Thiết bị Di động: Một phương pháp để huấn luyện hoặc tinh chỉnh các mô hình AI trực tiếp trên điện thoại di động một cách hiệu quả và tiết kiệm năng lượng. Thay vì dựa vào các trung tâm dữ liệu lớn, công nghệ này sử dụng một hệ thống tác tử AI để tự động điều chỉnh các tham số huấn luyện, kiến trúc mô hình hoặc quy trình tối ưu hóa để phù hợp với tài nguyên hạn chế của thiết bị di động, đồng thời vẫn đạt được hiệu suất mong muốn, giảm đáng kể lượng tiêu thụ pin trong quá trình huấn luyện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.24286
ArXiv Abstracthttps://arxiv.org/abs/2602.24286
PDF Downloadhttps://arxiv.org/pdf/2602.24286.pdf
Github RepositoryN/A

3. Enhancing Spatial Understanding in Image Generation via Reward Modeling (47 votes)​

Tác giả: Zhenyu Tang, Chaoran Feng, Yufan Deng, Jie Wu, Xiaojie Li, Rui Wang, Yunpeng Chen, Daquan Zhou

Xuất bản lúc: 2026-02-27

Tag: Text-to-Image Generation, Reward Modeling, Reinforcement Learning, Spatial Reasoning, Diffusion Models, Vision-Language Models, Dataset Curation

I. Main Problem:​

Các mô hình tạo ảnh từ văn bản hiện tại (text-to-image) gặp khó khăn trong việc hiểu và thể hiện chính xác các mối quan hệ không gian phức tạp giữa nhiều đối tượng trong các lời nhắc (prompts). Các mô hình thưởng (reward models) hiện có không thể đánh giá chính xác khả năng hiểu không gian, dẫn đến việc tạo ra các hình ảnh có thể đúng về mặt ngữ nghĩa nhưng sai về mặt bố cục. Hơn nữa, các mô hình ngôn ngữ thị giác (VLM) độc quyền quá đắt để sử dụng trong học tăng cường trực tuyến (online RL), trong khi các VLM mã nguồn mở có xu hướng bị 'ảo giác' (hallucinations) và không đáng tin cậy cho lý luận không gian phức tạp.

II. Main Idea:​

Nghiên cứu giới thiệu SpatialReward-Dataset với hơn 80.000 cặp ưu tiên đối kháng (adversarial preference pairs), được tuyển chọn kỹ lưỡng bởi chuyên gia con người để đảm bảo chất lượng dữ liệu. Dựa trên tập dữ liệu này, nhóm nghiên cứu đã xây dựng SpatialScore, một mô hình thưởng chuyên biệt được thiết kế để đánh giá độ chính xác của các mối quan hệ không gian trong quá trình tạo ảnh từ văn bản. SpatialScore sử dụng kiến trúc VLM (Qwen2.5-VL-7B) làm xương sống và được tinh chỉnh bằng LoRA. Mô hình thưởng này sau đó được sử dụng để kích hoạt học tăng cường trực tuyến (online RL) cho các mô hình tạo ảnh, cụ thể là với thuật toán GRPO và một chiến lược lọc top-k mới để duy trì tỷ lệ lấy mẫu cân bằng giữa các ứng viên có phần thưởng cao và thấp, từ đó giảm thiểu độ lệch lợi thế (advantage bias) và cải thiện hiệu quả đào tạo.

III. Main Results:​

SpatialScore đạt độ chính xác cặp đôi (pairwise accuracy) 95.77% trên bộ benchmark đánh giá phần thưởng của họ, vượt qua các mô hình độc quyền mạnh mẽ như GPT-5 và Gemini-2.5 Pro trong việc hiểu không gian đa đối tượng. Khi áp dụng SpatialScore để tinh chỉnh mô hình nền Flux.1-dev bằng RL, phương pháp này đã cải thiện đáng kể điểm SpatialScore từ 2.18 lên 7.81. Các thử nghiệm trên nhiều bộ benchmark cho thấy mô hình thưởng chuyên biệt này mang lại những cải tiến đáng kể và nhất quán trong sự hiểu biết không gian cho việc tạo ảnh, cả trên các lời nhắc ngắn và dài. Chiến lược lọc top-k cũng được chứng minh là giúp tăng tốc đào tạo và duy trì hiệu suất tốt với số lượng đánh giá hàm (NFE) ít hơn.

IV. Conclusion & Future Works:​

Bài nghiên cứu đã giải quyết thành công thách thức cải thiện sự hiểu biết không gian trong tạo ảnh thông qua học tăng cường trực tuyến bằng cách giới thiệu SPATIALREWARD-DATASET, một tập dữ liệu ưu tiên gồm 80.000 cặp được xác minh kỹ lưỡng bởi con người. Dựa trên dữ liệu này, nhóm đã phát triển SPATIALSCORE, một mô hình phần thưởng chuyên biệt cung cấp tín hiệu đáng tin cậy và đạt độ chính xác đánh giá vượt trội so với cả các mô hình độc quyền. Việc tận dụng mô hình phần thưởng có độ trung thực cao này cùng với framework GRPO và chiến lược lọc top-k đã mang lại những cải tiến đáng kể và nhất quán trong lý luận không gian trên nhiều bộ benchmark so với mô hình cơ sở.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khả năng hiểu không gian sang các mối quan hệ động và tương tác: Nghiên cứu cách các mô hình có thể hiểu và tạo ra các cảnh không chỉ với các đối tượng tĩnh mà còn với các đối tượng đang di chuyển hoặc tương tác với nhau theo một trình tự không gian-thời gian cụ thể. Điều này đặc biệt hữu ích cho việc tạo video hoặc mô phỏng.
  2. Tích hợp lý luận không gian vào các tác vụ tạo nội dung đa phương tiện khác: Áp dụng mô hình phần thưởng không gian hoặc các nguyên tắc tương tự để cải thiện khả năng tạo mô hình 3D, tạo cảnh thực tế ảo/thực tế tăng cường, hoặc tạo biểu đồ cảnh (scene graphs) có độ chính xác cao từ mô tả văn bản.
  3. Phát triển mô hình thưởng không gian đa ngôn ngữ: Mở rộng SpatialReward-Dataset và SpatialScore để hỗ trợ nhiều ngôn ngữ đầu vào, cho phép người dùng từ các nền văn hóa và ngôn ngữ khác nhau tạo ra hình ảnh với sự hiểu biết không gian chính xác mà không bị rào cản ngôn ngữ.

2. Patent:​

  1. Ứng dụng chỉnh sửa ảnh thông minh dựa trên mô tả không gian: Một ứng dụng trên điện thoại di động cho phép người dùng nhập các yêu cầu bằng văn bản để điều chỉnh vị trí của các đối tượng trong ảnh. Ví dụ, người dùng có thể nói "di chuyển cốc cà phê sang bên trái máy tính xách tay một chút" hoặc "đặt bông hoa này phía sau bình hoa". Hệ thống sẽ tự động phân tích các đối tượng và điều chỉnh bố cục không gian dựa trên mô tả, giúp người dùng dễ dàng tạo ra bố cục ảnh mong muốn mà không cần thao tác thủ công phức tạp.
  2. Hệ thống tạo hình nền động hoặc cảnh AR cá nhân hóa: Một tính năng trên điện thoại di động cho phép người dùng mô tả một cảnh không gian phức tạp bằng văn bản (ví dụ: "một con mèo đang ngồi trên ghế sofa, bên cạnh là một cuốn sách và phía sau là cửa sổ nhìn ra biển"). Hệ thống sẽ tạo ra hình ảnh hoặc video động làm hình nền, hoặc một cảnh thực tế tăng cường (AR) có thể tương tác, với các đối tượng được sắp xếp chính xác theo mô tả không gian của người dùng. Điều này tạo ra trải nghiệm cá nhân hóa cao và sáng tạo.
  3. Công cụ hỗ trợ thiết kế nội thất ảo trên điện thoại: Một ứng dụng cho phép người dùng chụp ảnh căn phòng của họ và sau đó sử dụng văn bản để thêm hoặc sắp xếp đồ nội thất ảo. Ví dụ, người dùng có thể yêu cầu "đặt một chiếc bàn nhỏ giữa hai ghế sofa" hoặc "một chậu cây cao ở góc phải của căn phòng". Ứng dụng sẽ sử dụng khả năng hiểu không gian để đặt các vật phẩm ảo vào vị trí hợp lý trong không gian 3D của căn phòng, giúp người dùng hình dung trước bố cục mà không cần di chuyển đồ đạc thật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.24233
ArXiv Abstracthttps://arxiv.org/abs/2602.24233
PDF Downloadhttps://arxiv.org/pdf/2602.24233.pdf
Github Repositoryhttps://github.com/DAGroup-PKU/SpatialT2I

4. Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets (39 votes)​

Tác giả: Hanna Yukhymenko, Anton Alexandrov, Martin Vechev

Xuất bản lúc: 2026-02-25

Tag: LLMs, Machine Translation, Multilingual Evaluation, Benchmarks, Data Translation, Self-Improvement

I. Main Problem:​

Độ tin cậy của việc đánh giá Mô hình Ngôn ngữ Lớn (LLM) đa ngôn ngữ hiện đang bị ảnh hưởng bởi chất lượng không nhất quán của các bộ dữ liệu và benchmark đã được dịch. Các tài nguyên hiện có thường gặp phải tình trạng trôi dạt ngữ nghĩa và mất ngữ cảnh, dẫn đến các chỉ số hiệu suất sai lệch. Đặc biệt, việc dịch các câu hỏi và câu trả lời riêng lẻ thường gây ra sự không khớp về ngữ cảnh và ngữ pháp. Ngoài ra, các yếu tố ngữ pháp đặc thù của ngôn ngữ (ví dụ: giới tính ngữ pháp) có thể vô tình làm lộ đáp án hoặc gây hiểu lầm trong các nhiệm vụ hoàn thành câu, làm suy yếu tính toàn vẹn của đánh giá. Các phương pháp dịch tự động hiện tại thường thiếu tính linh hoạt để xử lý các định dạng benchmark phức tạp và các đặc điểm ngôn ngữ cụ thể, đặc biệt đối với các ngôn ngữ tài nguyên trung bình và thấp.

II. Main Idea:​

Công trình này giới thiệu một framework tự động hoàn toàn, được thiết kế để giải quyết những thách thức trên bằng cách cho phép dịch các bộ dữ liệu và benchmark chất lượng cao, có khả năng mở rộng. Framework này thích ứng các chiến lược mở rộng tính toán tại thời điểm kiểm tra (test-time compute scaling strategies), cụ thể là Universal Self-Improvement (USI) và phương pháp xếp hạng đa vòng được đề xuất mới, T-RANK. T-RANK sử dụng việc lấy mẫu ứng viên đa lời nhắc và xếp hạng cạnh tranh đa vòng để tăng cường khả năng phát hiện lỗi và đạt được chất lượng dịch vượt trội. Framework hỗ trợ bốn phương pháp dịch (SC, Best-of-N, USI, T-RANK) và đảm bảo các benchmark giữ nguyên cấu trúc nhiệm vụ và sắc thái ngôn ngữ gốc trong quá trình bản địa hóa. Các tác giả đã áp dụng phương pháp này để dịch các benchmark và bộ dữ liệu phổ biến sang tám ngôn ngữ Đông và Nam Âu (tiếng Ukraina, Bulgaria, Slovakia, Romania, Litva, Estonia, Thổ Nhĩ Kỳ, Hy Lạp), tập trung vào các ngôn ngữ có cấu trúc ngữ pháp phức tạp và tình trạng tài nguyên trung bình.

III. Main Results:​

Các đánh giá sử dụng cả chỉ số dựa trên tham chiếu (COMET) và LLM-as-a-judge cho thấy bản dịch của framework vượt trội so với các tài nguyên hiện có, dẫn đến đánh giá mô hình chính xác hơn. Phương pháp USI và T-RANK thể hiện lợi thế rõ ràng so với các phương pháp khác, với T-RANK thường cho thấy hiệu suất tốt hơn khi dịch các benchmark có cấu trúc câu hỏi phức tạp. Cụ thể, trên cặp Anh-Ukraina (sử dụng GPT-4o-mini), T-RANK đạt điểm COMET 0.845 trên WMT24++ và 0.940 trên FLORES, cao hơn đáng kể so với baseline và các phương pháp khác. So sánh LLM-as-a-judge (sử dụng Gemini-2.5-Flash) giữa Global-MMLU và bản dịch của chúng tôi (T-RANK/USI) cho thấy bản dịch của chúng tôi thắng nhiều hơn đáng kể trên tất cả các ngôn ngữ được đánh giá (Ukraina, Romania, Litva). Các mô hình cỡ trung (Gemma 3, Qwen 3, Llama 3.1) cũng đạt điểm cao hơn trên các bản dịch của chúng tôi, với mức cải thiện trung bình từ +0.94% (MMLU) đến +3.42% (Winogrande).

IV. Conclusion & Future Works:​

Công trình này trình bày một framework dịch tự động mới, cho phép dịch nhanh chóng, chất lượng cao các bộ dữ liệu và benchmark với sự can thiệp tối thiểu của con người. Các phương pháp tích hợp đã cải thiện đáng kể trên các benchmark WMT24++ và FLORES, với T-RANK và USI đạt hiệu suất mạnh nhất thông qua các chiến lược mở rộng tính toán tại thời điểm kiểm tra. Chất lượng của các benchmark được dịch được xác nhận thêm thông qua điểm COMET Quality Estimation và đánh giá LLM-as-a-judge, xác nhận những cải tiến đáng kể so với các bản dịch hiện có. Những phát hiện này cho thấy framework cân bằng hiệu quả giữa độ chính xác dịch thuật, hiệu quả tính toán và khả năng mở rộng, cung cấp một giải pháp thực tế để tạo ra các tài nguyên đánh giá đa ngôn ngữ chất lượng cao. Công trình trong tương lai nên khám phá việc lựa chọn phương pháp thích ứng dựa trên độ khó dịch, tích hợp các mô hình chất lượng chuyên dụng và đánh giá toàn diện trên các mô hình mã nguồn mở để nâng cao hơn nữa khả năng của framework trên các ngôn ngữ ngoài châu Âu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển phương pháp lựa chọn phương pháp dịch tự động thích ứng: Nghiên cứu cách tự động ước tính độ khó dịch của văn bản đầu vào và lựa chọn phương pháp dịch tối ưu (SC, Best-of-N, USI, T-RANK) để cân bằng chất lượng và chi phí, đặc biệt cho các định dạng dữ liệu và benchmark khác nhau.
  2. Tích hợp các mô hình đánh giá chất lượng dịch chuyên biệt: Nghiên cứu và phát triển việc tích hợp các mô hình đánh giá chất lượng dịch chuyên biệt, không phải LLM-as-a-judge, vào quy trình xếp hạng ứng viên dịch để cải thiện độ tin cậy và khách quan của việc lựa chọn bản dịch tốt nhất.
  3. Mở rộng và đánh giá framework cho các mô hình ngôn ngữ mã nguồn mở và ngôn ngữ tài nguyên thấp: Thực hiện đánh giá toàn diện hiệu quả của framework trên nhiều mô hình ngôn ngữ mã nguồn mở và kiểm tra khả năng tổng quát hóa trên một phạm vi rộng hơn các ngôn ngữ tài nguyên thấp với đặc điểm ngôn ngữ đa dạng, không chỉ giới hạn ở các ngôn ngữ Đông và Nam Âu.

2. Patent:​

  1. Ứng dụng dịch thuật thông minh cho tài liệu học tập và kiểm tra trên điện thoại: Một ứng dụng di động cho phép người dùng tải lên các tài liệu học tập, bài kiểm tra hoặc bộ câu hỏi đa lựa chọn (ví dụ: đề thi, flashcards). Hệ thống sẽ tự động dịch các câu hỏi và câu trả lời sang ngôn ngữ mong muốn, đảm bảo giữ nguyên cấu trúc, ngữ cảnh và tránh làm lộ đáp án thông qua các yếu tố ngữ pháp (như giới tính ngữ pháp). Điều này giúp sinh viên và người học trên toàn thế giới dễ dàng tiếp cận tài liệu giáo dục một cách chính xác.
  2. Hệ thống dịch tự động cho nội dung game và ứng dụng đa ngôn ngữ: Phát triển một công cụ tích hợp vào quy trình phát triển game hoặc ứng dụng di động, cho phép dịch tự động các chuỗi văn bản, hộp thoại, nhiệm vụ hoặc mô tả vật phẩm sang nhiều ngôn ngữ. Công cụ này sử dụng các kỹ thuật dịch nâng cao để đảm bảo tính nhất quán ngữ cảnh, duy trì sắc thái văn hóa và tránh các lỗi ngữ pháp có thể làm hỏng trải nghiệm người dùng, đặc biệt đối với các ngôn ngữ có cấu trúc phức tạp.
  3. Trợ lý du lịch thông minh với khả năng dịch biển báo và hướng dẫn địa phương: Một tính năng trên điện thoại di động sử dụng camera để quét và dịch các biển báo, thực đơn hoặc hướng dẫn du lịch. Thay vì dịch từng từ hoặc câu riêng lẻ, hệ thống sẽ dịch toàn bộ ngữ cảnh của văn bản, bao gồm cả các tùy chọn lựa chọn (ví dụ: trong thực đơn) và các sắc thái văn hóa, đảm bảo người dùng nhận được thông tin chính xác và không bị hiểu lầm, đặc biệt hữu ích ở các khu vực có ngôn ngữ tài nguyên trung bình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.22207
ArXiv Abstracthttps://arxiv.org/abs/2602.22207
PDF Downloadhttps://arxiv.org/pdf/2602.22207.pdf
Github Repositoryhttps://github.com/insait-institute/ritranslation

5. Mode Seeking meets Mean Seeking for Fast Long Video Generation (36 votes)​

Tác giả: Shengqu Cai, Weili Nie, Chao Liu, Julius Berner, Lvmin Zhang, Nanye Ma, Hansheng Chen, Maneesh Agrawala, Leonidas Guibas, Gordon Wetzstein, Arash Vahdat

Xuất bản lúc: 2026-02-27

Tag: Video Generation, Diffusion Models, Transformers, Mode Seeking, Mean Seeking, Flow Matching, Distribution Matching, Long Video Generation

I. Main Problem:​

Tạo video dài từ vài giây đến vài phút gặp phải nút thắt cổ chai lớn: dữ liệu video ngắn thì phong phú và có độ chân thực cao, nhưng dữ liệu video dài, mạch lạc lại khan hiếm và giới hạn trong các miền hẹp. Các mô hình được huấn luyện trên dữ liệu hỗn hợp độ dài thường mất đi độ sắc nét và chi tiết cục bộ đặc trưng của các video ngắn chất lượng cao, khiến đầu ra trông mềm mại và ít sống động hơn. Việc mở rộng từ video ngắn sang video dài không phải là nội suy độ phân giải mà là ngoại suy thời gian, đòi hỏi mô hình phải tạo ra các sự kiện và cấu trúc nhân quả mới. Ngoài ra, có mâu thuẫn toán học giữa mục tiêu flow matching (tìm giá trị trung bình) và distribution matching (tìm chế độ/mode) khi cố gắng áp dụng chúng cho một bộ dự đoán vận tốc duy nhất.

II. Main Idea:​

Các tác giả đề xuất một phương pháp huấn luyện mới gọi là "Mode Seeking meets Mean Seeking" (Tìm kiếm Chế độ gặp Tìm kiếm Giá trị Trung bình) để tách biệt độ chân thực cục bộ khỏi tính mạch lạc dài hạn. Phương pháp này sử dụng một Decoupled Diffusion Transformer (DDT) với một bộ mã hóa chia sẻ và hai đầu giải mã riêng biệt:

  1. Đầu Flow Matching toàn cầu (Mean Seeking): Được huấn luyện bằng học có giám sát trên các video dài (dữ liệu hạn chế) để nắm bắt cấu trúc kể chuyện và tính mạch lạc dài hạn.
  2. Đầu Distribution Matching cục bộ (Mode Seeking): Liên kết các phân đoạn cửa sổ trượt của mô hình sinh viên với một mô hình giáo viên video ngắn (đã đóng băng) thông qua độ phân kỳ reverse-KL. Điều này giúp mô hình sinh viên kế thừa tính chân thực cục bộ và động lực học sắc nét từ mô hình giáo viên video ngắn mà không cần thêm dữ liệu video ngắn. Kiến trúc này giải quyết xung đột toán học bằng cách cho phép mỗi đầu nhận tín hiệu riêng biệt, trong khi bộ mã hóa chia sẻ học một biểu diễn ngữ cảnh dài thống nhất. Khi suy luận, chỉ sử dụng đầu Distribution Matching để tạo video nhanh chóng với ít bước, đảm bảo cả động lực học cục bộ sắc nét và ngữ cảnh dài hạn nhất quán.

III. Main Results:​

Phương pháp này đã thu hẹp khoảng cách giữa độ chân thực cục bộ và tầm nhìn thời gian dài, cải thiện đồng thời độ sắc nét/chuyển động cục bộ và tính nhất quán dài hạn. Đạt được hiệu suất tổng thể tốt nhất trên các số liệu định lượng so với các phương pháp SFT-only (Long-context SFT, Mixed-length SFT) và teacher-only (CausVid, Self-Forcing, InfinityRoPE), đặc biệt là về chất lượng hình ảnh, chuyển động, và tính nhất quán dài hạn. Nghiên cứu loại bỏ từng thành phần cho thấy: loại bỏ kiến trúc DDT với hai đầu giải mã riêng biệt dẫn đến sự sụt giảm lớn nhất về hiệu suất, chứng minh sự cần thiết của việc tách biệt mục tiêu. Loại bỏ Sliding-window DMD làm suy giảm mô hình thành SFT-only. Loại bỏ SFT làm giảm tính nhất quán toàn cầu và chất lượng tổng thể. Về mặt định tính, phương pháp này tạo ra các video dài duy trì độ chân thực cục bộ và tính mạch lạc toàn cầu, tránh được hiện tượng mờ nhòe của SFT-only và sự suy giảm chất lượng/độ tĩnh của teacher-only. Cho phép suy luận tạo video dài nhanh chóng, chỉ với vài bước.

IV. Conclusion & Future Works:​

Bài báo đã trình bày "Mode Seeking meets Mean Seeking", một mô hình huấn luyện đơn giản để mở rộng khả năng tạo video từ vài giây lên vài phút trong điều kiện dữ liệu video dài khan hiếm. Bằng cách sử dụng Decoupled Diffusion Transformer với bộ mã hóa ngữ cảnh dài chia sẻ và hai đầu riêng biệt (một đầu Flow Matching tìm giá trị trung bình để học tính mạch lạc dài hạn từ các clip dài thực, và một đầu Distribution Matching tìm chế độ để căn chỉnh các cửa sổ trượt của mô hình sinh viên với mô hình giáo viên video ngắn đã đóng băng), phương pháp này đã giải quyết hiệu quả khoảng cách giữa độ chân thực và tầm nhìn thời gian dài. Công trình này cải thiện đồng thời độ sắc nét/chuyển động cục bộ và tính nhất quán dài hạn. Một hướng nghiên cứu tiềm năng trong tương lai là tích hợp phương pháp này với các mô hình autoregressive (AR) nhân quả, vì chúng là các phương pháp bổ trợ và có thể được sử dụng cùng nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tích hợp "Mode Seeking meets Mean Seeking" với các mô hình autoregressive để tạo video dài siêu thực: Nghiên cứu cách kết hợp kiến trúc DDT của chúng tôi với các mô hình AR để vượt qua giới hạn tích lũy lỗi của AR và nâng cao hơn nữa tính mạch lạc cũng như độ chân thực của video dài.
  2. Tạo video dài đa phương thức và tương tác với kiến trúc giải mã tách rời: Mở rộng phương pháp này để hỗ trợ nhiều đầu vào (văn bản, âm thanh, hình ảnh) và cho phép người dùng tương tác chỉnh sửa hoặc hướng dẫn quá trình tạo video dài, tận dụng khả năng tách rời để duy trì chất lượng cục bộ và cấu trúc toàn cầu.
  3. Phân tích ảnh hưởng của các chiến lược chọn giáo viên và dữ liệu video dài lên hiệu suất của "Mode Seeking meets Mean Seeking": Khám phá các phương pháp hiệu quả để chọn và huấn luyện mô hình giáo viên video ngắn, cũng như tác động của các chiến lược lọc và tăng cường dữ liệu video dài lên chất lượng và tính nhất quán của mô hình sinh viên.

2. Patent:​

  1. Ứng dụng "Tạo Video Câu Chuyện Tự Động" trên điện thoại di động: Một tính năng trong ứng dụng chỉnh sửa video trên điện thoại cho phép người dùng nhập một vài ảnh hoặc đoạn video ngắn, cùng với một mô tả văn bản về câu chuyện mong muốn. Hệ thống sẽ tự động tạo ra một video dài, mạch lạc với các chuyển cảnh mượt mà, bổ sung các chi tiết và sự kiện mới một cách chân thực, đồng thời duy trì phong cách và chất lượng hình ảnh của các clip gốc.
  2. Hệ thống "Phát Triển Bối Cảnh Video Call Động" cho điện thoại: Một ứng dụng hoặc tính năng tích hợp trên điện thoại thông minh cho phép người dùng tạo ra các hình nền video động, liên tục và chất lượng cao cho các cuộc gọi video. Bối cảnh này có thể thay đổi theo thời gian (ví dụ: từ bình minh sang hoàng hôn, hoặc từ cảnh thành phố nhộn nhịp sang yên bình) một cách mượt mà và nhất quán trong nhiều phút, dựa trên các từ khóa hoặc chủ đề do người dùng cung cấp.
  3. Công cụ "Mở Rộng Video Ngắn Thông Minh" trên di động: Một công cụ tích hợp trong camera hoặc ứng dụng thư viện ảnh của điện thoại, cho phép người dùng chọn một đoạn video ngắn bất kỳ và tự động "kéo dài" nó thành một video dài hơn (ví dụ: từ 5 giây thành 30 giây hoặc 1 phút). Công cụ này sẽ thêm vào các cảnh quay liên tục, các sự kiện hợp lý và duy trì tính nhất quán của nhân vật, đối tượng trong video mà vẫn giữ được độ sắc nét và chi tiết như video gốc.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.24289
ArXiv Abstracthttps://arxiv.org/abs/2602.24289
PDF Downloadhttps://arxiv.org/pdf/2602.24289.pdf
Github RepositoryN/A

6. LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding (18 votes)​

Tác giả: Alexander Samarin, Sergei Krutikov, Anton Shevtsov, Sergei Skvortsov, Filipp Fisin, Alexander Golubev

Xuất bản lúc: 2026-02-27

Tag: Speculative Decoding, LLMs, Loss Functions, Knowledge Distillation, Acceptance Rate Optimization, Deep Learning

I. Main Problem:​

Việc suy luận các mô hình ngôn ngữ lớn (LLM) tự hồi quy bị hạn chế bởi băng thông bộ nhớ. Speculative decoding giúp tăng tốc bằng cách sử dụng một mô hình dự thảo nhẹ để đề xuất các token ứng cử viên, sau đó được mô hình đích xác minh song song. Tốc độ tăng đáng kể phụ thuộc vào tỷ lệ chấp nhận (acceptance rate). Tuy nhiên, phương pháp huấn luyện tiêu chuẩn lại tối ưu hóa Kullback-Leibler (KL) divergence như một mục tiêu gián tiếp. Mặc dù KL divergence và tỷ lệ chấp nhận có cùng điểm tối ưu toàn cục, nhưng các mô hình dự thảo nhỏ với dung lượng hạn chế thường hội tụ về các giải pháp không tối ưu, nơi việc tối thiểu hóa KL không đảm bảo tối đa hóa tỷ lệ chấp nhận.

II. Main Idea:​

Các tác giả đề xuất LK losses, các hàm mục tiêu huấn luyện đặc biệt trực tiếp nhắm vào việc tối ưu hóa tỷ lệ chấp nhận. Có hai biến thể: một là phương pháp dựa trên khả năng xảy ra tối đa, trực tiếp tối ưu hóa tỷ lệ chấp nhận log âm (negative log-acceptance rate - Lα_LK); biến thể thứ hai là phương pháp lai (Lλ_LK), dần dần chuyển trọng tâm từ KL sang tối ưu hóa chấp nhận trực tiếp khi quá trình huấn luyện diễn ra, sử dụng một lịch trình thích ứng (adaptive schedule) để điều chỉnh trọng số giữa KL và TV distance. Phương pháp này giải quyết vấn đề gradient biến mất và bề mặt tối ưu không trơn tru của TV distance thuần túy khi mô hình được khởi tạo ngẫu nhiên, bằng cách sử dụng gradient mượt mà của KL ở giai đoạn đầu và chuyển sang tối ưu hóa trực tiếp của TV khi mô hình đã đủ gần với đích. LK losses cũng xử lý việc cắt giảm từ vựng (vocabulary truncation) một cách tự nhiên.

III. Main Results:​

Các thử nghiệm rộng rãi trên bốn kiến trúc mô hình dự thảo và sáu mô hình đích, từ 8 tỷ đến 685 tỷ tham số, cho thấy sự cải thiện nhất quán trong các chỉ số chấp nhận trên tất cả các cấu hình so với huấn luyện tiêu chuẩn dựa trên KL. Phương pháp này đạt được mức tăng tới 8-10% trong độ dài chấp nhận trung bình (average acceptance length) trên các lĩnh vực chung, lập trình và toán học. Đặc biệt, các mô hình dự thảo dung lượng thấp (MEDUSA và MLP) và các mô hình đích MoE lớn với kiến trúc dự thảo nhỏ hơn cho thấy mức cải thiện đáng kể hơn. LK losses dễ triển khai, không gây thêm chi phí tính toán và có thể tích hợp trực tiếp vào bất kỳ khung huấn luyện mô hình dự thảo hiện có nào.

IV. Conclusion & Future Works:​

Việc tối thiểu hóa KL divergence là một phương pháp tiêu chuẩn để huấn luyện các mô hình dự thảo, nhưng nó không hiệu quả khi các mô hình này có dung lượng hạn chế và không thể đạt được điểm tối ưu toàn cục. LK losses giải quyết vấn đề này bằng cách trực tiếp tối ưu hóa tỷ lệ chấp nhận, mang lại kết quả vượt trội và nhất quán trên nhiều cấu hình mô hình và kiến trúc. Các cải tiến lên đến 10% về độ dài chấp nhận trung bình đã được chứng minh, đặc biệt rõ rệt ở các kiến trúc dung lượng thấp. Trong tương lai, nghiên cứu có thể tập trung vào việc tối ưu hóa trực tiếp hiệu suất hệ thống (system efficiency), phát triển các lược đồ tổng hợp loss có thể học được cho từng đầu (per-head loss aggregation schemes) và tích hợp các tham số lấy mẫu như top-k và top-p vào hàm mục tiêu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển các lược đồ tổng hợp loss có thể học được cho từng đầu dự đoán trong Speculative Decoding: Nghiên cứu các phương pháp cho phép mô hình tự động học cách điều chỉnh trọng số của loss cho từng đầu dự đoán dựa trên hiệu suất thực tế (tỷ lệ chấp nhận lũy kế) thay vì sử dụng lược đồ suy giảm hàm mũ cố định. Điều này có thể dẫn đến hiệu suất tốt hơn và khả năng thích ứng cao hơn với các kiến trúc và tác vụ khác nhau.
  2. Tối ưu hóa trực tiếp hiệu quả hệ thống trong Speculative Decoding: Thay vì chỉ tối ưu hóa tỷ lệ chấp nhận, một hướng nghiên cứu là phát triển các hàm loss trực tiếp nhắm mục tiêu vào "hiệu quả hệ thống" – tỷ lệ giữa số lượng token được chấp nhận trên số lượng token được dự thảo (τ-1 / K). Điều này phản ánh trực tiếp hơn lợi ích về tốc độ và có thể dẫn đến các mô hình dự thảo hiệu quả hơn về tổng thể.
  3. Mở rộng LK Losses để tích hợp các tham số Top-K và Top-P trong quá trình tối ưu hóa: Các cấu hình triển khai thực tế của LLM thường sử dụng các tham số lấy mẫu như top-k và top-p. Nghiên cứu cách tích hợp các ràng buộc hoặc hành vi của top-k/top-p trực tiếp vào hàm loss của LK Losses trong quá trình huấn luyện có thể giúp mô hình dự thảo hoạt động tối ưu hơn trong các môi trường lấy mẫu thực tế, cải thiện tỷ lệ chấp nhận dưới các điều kiện lấy mẫu này.

2. Patent:​

  1. Hệ thống tăng tốc gõ văn bản thông minh trên điện thoại: Phát triển một công nghệ cho phép bàn phím ảo trên điện thoại di động dự đoán trước nhiều từ hoặc cụm từ tiếp theo mà người dùng có thể gõ. Thay vì chỉ đưa ra một gợi ý, hệ thống sẽ đề xuất một chuỗi các từ liên tiếp. Khi người dùng xác nhận từ đầu tiên trong chuỗi, các từ tiếp theo đã được dự đoán sẽ tự động được kiểm tra và chấp nhận nhanh chóng, giúp tăng tốc độ gõ đáng kể, đặc biệt khi soạn tin nhắn dài hoặc email.
  2. Chức năng tóm tắt nội dung nhanh trên thiết bị di động: Một ứng dụng hoặc tính năng tích hợp trên điện thoại có khả năng tóm tắt nhanh các đoạn văn bản dài từ trang web, tài liệu hoặc tin nhắn. Thay vì phải đọc toàn bộ, hệ thống sẽ tạo ra một bản tóm tắt ngắn gọn. Công nghệ này sẽ sử dụng một mô hình nhỏ để dự đoán nhanh các phần quan trọng của văn bản và một mô hình lớn hơn để xác minh và tinh chỉnh bản tóm tắt đó, đảm bảo độ chính xác và tốc độ cao, phù hợp với việc duyệt tin tức hoặc nghiên cứu trên màn hình nhỏ.
  3. Trợ lý ảo phản hồi tức thì cho thiết bị di động: Cải thiện tốc độ phản hồi của trợ lý ảo trên điện thoại (ví dụ: Siri, Google Assistant) bằng cách cho phép nó dự đoán trước các phần của câu trả lời hoặc hành động mà người dùng có thể mong muốn. Khi người dùng đặt câu hỏi, một phần phản hồi ban đầu sẽ được tạo ra rất nhanh, sau đó được xác minh và hoàn thiện bởi hệ thống chính. Điều này giúp trợ lý ảo đưa ra phản hồi gần như ngay lập tức cho các yêu cầu phổ biến, mang lại trải nghiệm tương tác mượt mà và tự nhiên hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.23881
ArXiv Abstracthttps://arxiv.org/abs/2602.23881
PDF Downloadhttps://arxiv.org/pdf/2602.23881.pdf
Github RepositoryN/A

7. CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era (16 votes)​

Tác giả: Zhengqing Yuan, Kaiwen Shi, Zheyuan Zhang, Lichao Sun, Nitesh V. Chawla, Yanfang Ye

Xuất bản lúc: 2026-02-26

Tag: LLMs, Multi-agent systems, Hallucination detection, Citation verification, Scientific integrity, Benchmarking, Fact-checking, Information Retrieval

I. Main Problem:​

Sự trỗi dậy của các mô hình ngôn ngữ lớn (LLMs) đã tạo ra rủi ro mới về tính toàn vẹn trong nghiên cứu khoa học: các tài liệu tham khảo bịa đặt trông có vẻ hợp lý nhưng không tương ứng với bất kỳ ấn phẩm thực tế nào. Việc xác minh thủ công không khả thi do danh sách tài liệu tham khảo ngày càng mở rộng. Các công cụ tự động hiện có còn yếu kém trước nhiễu và sự đa dạng về định dạng của dữ liệu trích dẫn thực tế, đồng thời thiếu khuôn khổ đánh giá minh bạch, tiêu chuẩn hóa. Ngoài ra, nhiều hệ thống hiện có là độc quyền, không công bố cơ chế hoặc bộ tiêu chuẩn quy mô lớn, có thể tái tạo để phát hiện trích dẫn ảo.

II. Main Idea:​

Nghiên cứu giới thiệu CiteAudit, bộ tiêu chuẩn toàn diện và khuôn khổ phát hiện trích dẫn ảo đầu tiên trong các bài viết khoa học. Tác giả thiết kế một quy trình xác minh đa tác nhân (multi-agent verification pipeline) phân tách việc kiểm tra trích dẫn thành các giai đoạn phối hợp: trích xuất yêu cầu (Claim Extractor), truy xuất bằng chứng (Retriever), đối sánh đoạn văn (Evidence Matcher), suy luận theo ngữ cảnh (Reasoner) và đánh giá có hiệu chỉnh (Judge). Quy trình này cho phép đánh giá mạnh mẽ liệu nguồn được trích dẫn có thực sự hỗ trợ cho tuyên bố liên quan hay không. Ngoài ra, tác giả xây dựng một tập dữ liệu lớn, được xác thực bởi con người, bao gồm nhiều lĩnh vực và loại trích dẫn khác nhau, cùng với các giao thức đánh giá thống nhất về độ trung thực của trích dẫn và sự phù hợp của bằng chứng.

III. Main Results:​

Các thử nghiệm với LLMs tiên tiến cho thấy tỷ lệ lỗi trích dẫn đáng kể. Khuôn khổ đa tác nhân của tác giả vượt trội đáng kể so với các phương pháp cơ sở hiện có về độ chính xác và khả năng giải thích. Cụ thể, mô hình của tác giả đạt độ chính xác 0.973, độ chính xác 0.938, độ thu hồi 1.000 và điểm F1 0.968 trên tập dữ liệu tổng hợp, và độ chính xác 0.972, độ chính xác 0.823, độ thu hồi 1.000 và điểm F1 0.903 trên tập dữ liệu thực tế, với thời gian xử lý gần như tối thiểu (2.3s/10 refs) và chi phí bằng 0, vượt trội đáng kể so với các giải pháp dựa trên LLM thương mại. Nghiên cứu cũng chỉ ra tầm quan trọng của từng tác nhân: loại bỏ Scholar Agent làm giảm đáng kể Recall từ 1.000 xuống 0.684; thay thế Judge Agent bằng đối sánh chuỗi nghiêm ngặt làm giảm nghiêm trọng Precision (từ 0.861 xuống 0.225) và F1-score (từ 0.925 xuống 0.367); và bỏ qua Web Search Agent làm tăng đáng kể độ trễ lên khoảng 8 lần (từ 2.3s lên 18.4s).

IV. Conclusion & Future Works:​

Nguy cơ trích dẫn bịa đặt do LLMs tạo ra đang đe dọa nghiêm trọng tính toàn vẹn của nghiên cứu khoa học. Công trình này cung cấp bộ tiêu chuẩn mở, tiêu chuẩn hóa và có thể mở rộng đầu tiên để phát hiện trích dẫn bịa đặt, cùng với một khuôn khổ đa tác nhân mới hoạt động theo quy trình SOP có cấu trúc. Tác giả hình dung bộ tiêu chuẩn và hệ thống này sẽ đóng vai trò là cơ sở hạ tầng nền tảng cho các nhà nghiên cứu, người đánh giá và nhà xuất bản để khôi phục niềm tin vào các trích dẫn và đảm bảo trách nhiệm học thuật trong kỷ nguyên LLM.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về phòng ngừa ảo giác trích dẫn chủ động trong quá trình tạo văn bản: Thay vì chỉ phát hiện sau khi đã tạo, nghiên cứu này sẽ tập trung vào việc phát triển các phương pháp tích hợp vào quá trình tạo văn bản của LLM để ngăn chặn việc tạo ra các trích dẫn không có thật ngay từ đầu, có thể thông qua các cơ chế kiểm tra và điều chỉnh thời gian thực.
  2. Mở rộng xác minh trích dẫn cho các tài liệu đa phương thức và đa ngôn ngữ: Mở rộng khuôn khổ hiện tại để xử lý các tài liệu khoa học phức tạp hơn, bao gồm các tài liệu có chứa hình ảnh, bảng biểu, hoặc được viết bằng nhiều ngôn ngữ, đòi hỏi các kỹ thuật truy xuất và đối sánh bằng chứng tiên tiến hơn.
  3. Phát triển hệ thống kiểm tra trích dẫn cá nhân hóa và thích ứng: Tạo ra một hệ thống có khả năng học hỏi từ sở thích và lĩnh vực chuyên môn của người dùng để cung cấp các đánh giá trích dẫn phù hợp hơn, đồng thời thích ứng với các tiêu chuẩn trích dẫn khác nhau của từng ngành cụ thể.

2. Patent:​

  1. Tính năng kiểm tra trích dẫn thông minh cho trình duyệt di động: Một tính năng tích hợp vào trình duyệt web trên điện thoại di động, tự động quét các bài báo, tin tức, hoặc tài liệu trực tuyến mà người dùng đang đọc. Khi phát hiện một trích dẫn hoặc tham chiếu, nó sẽ hiển thị một biểu tượng nhỏ bên cạnh, cho phép người dùng nhấn vào để xem thông tin xác minh nhanh chóng về nguồn gốc và tính chính xác của trích dẫn đó, giúp người dùng đánh giá độ tin cậy của thông tin.
  2. Ứng dụng "Trợ lý Nghiên cứu" trên điện thoại di động: Một ứng dụng di động cho phép sinh viên hoặc nhà nghiên cứu nhập hoặc chụp ảnh một đoạn văn bản có chứa trích dẫn. Ứng dụng sẽ sử dụng công nghệ nhận dạng ký tự quang học (OCR) và mô hình đa tác nhân để nhanh chóng kiểm tra xem tài liệu tham khảo có tồn tại thực sự hay không, liệu nó có hỗ trợ cho tuyên bố được trích dẫn hay không, và cung cấp báo cáo chi tiết về bất kỳ sự không nhất quán nào, giúp họ duy trì tính toàn vẹn học thuật.
  3. Hệ thống "Kiểm chứng Thông tin Chia sẻ" tích hợp vào mạng xã hội: Một công nghệ nền tảng có thể được cấp phép cho các ứng dụng mạng xã hội trên điện thoại. Khi người dùng soạn hoặc chia sẻ một bài đăng có chứa thông tin trích dẫn nguồn (ví dụ: "một nghiên cứu gần đây cho thấy..."), hệ thống này tự động chạy kiểm tra nền để xác minh tính hợp lệ của nguồn. Trước khi bài đăng được công khai, người dùng sẽ nhận được cảnh báo nếu nguồn bịa đặt hoặc không đáng tin cậy, giúp ngăn chặn sự lan truyền của thông tin sai lệch.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.23452
ArXiv Abstracthttps://arxiv.org/abs/2602.23452
PDF Downloadhttps://arxiv.org/pdf/2602.23452.pdf
Github RepositoryN/A

8. Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models (14 votes)​

Tác giả: Arnas Uselis, Andrea Dittadi, Seong Joon Oh

Xuất bản lúc: 2026-02-27

Tag: Vision-Language Models, Compositional Generalization, Representation Learning, Neural Networks, Geometric Constraints, Orthogonal Representations, Linear Factorization

I. Main Problem:​

Các hệ thống thị giác hiện đại, dù được huấn luyện trên tập dữ liệu khổng lồ, vẫn chỉ bao phủ một phần rất nhỏ không gian tổ hợp của các đầu vào khả thi. Điều này dẫn đến khó khăn trong "khái quát hóa tổ hợp" (compositional generalization) – khả năng nhận diện các phần quen thuộc trong ngữ cảnh mới lạ hoặc các tổ hợp chưa từng thấy (ví dụ: nhận diện "một người trên một con mèo" khi chỉ được huấn luyện về "một con mèo trên một người"). Các mô hình hiệu suất cao, bao gồm các mô hình thị giác-ngôn ngữ lớn như CLIP, thường gặp khó khăn với các tổ hợp bất thường hoặc hiếm gặp. Câu hỏi đặt ra là: các biểu diễn phải có cấu trúc như thế nào để hỗ trợ khái quát hóa đối với các tổ hợp chưa từng thấy này?

II. Main Idea:​

Bài nghiên cứu đề xuất ba yêu cầu thiết yếu ("desiderata") cho khái quát hóa tổ hợp dưới quá trình huấn luyện tiêu chuẩn: "tính phân chia" (divisibility), "tính chuyển giao" (transferability), và "tính ổn định" (stability). Các yêu cầu này được hình thức hóa để chỉ ra rằng các biểu diễn của mô hình phải tuân theo các ràng buộc hình học cần thiết: chúng phải phân tách tuyến tính thành các thành phần "theo khái niệm" (per-concept components) và các thành phần này phải trực giao (orthogonal) giữa các khái niệm khác nhau. Điều này cung cấp cơ sở lý thuyết cho "Giả thuyết Biểu diễn Tuyến tính" (Linear Representation Hypothesis) – cấu trúc tuyến tính thường thấy trong các biểu diễn mạng nơ-ron là một hệ quả tất yếu của khái quát hóa tổ hợp. Nghiên cứu cũng đưa ra các giới hạn về chiều (dimension bounds) liên kết số lượng khái niệm tổ hợp với hình học của không gian nhúng.

III. Main Results:​

  • Lý thuyết: Dưới quá trình huấn luyện bằng thuật toán gradient descent với hàm mất mát cross-entropy (GD+CE), khái quát hóa tổ hợp với khả năng chuyển giao ổn định đòi hỏi sự phân tách tuyến tính (embeddings zc = Σ ui,ci) và tính trực giao của các yếu tố chéo-khái niệm (cross-concept orthogonality: (ui,1 - ui,0) ⊥ (uj,1 - uj,0) cho i ≠ j). Điều này được chứng minh là cả điều kiện cần và đủ trong chế độ nhị phân GD+CE.
  • Kích thước tối thiểu: Kích thước nhúng tối thiểu (d) cần thiết để hỗ trợ khả năng phân chia (Divisibility) chỉ phụ thuộc vào số lượng khái niệm (k), không phụ thuộc vào số lượng giá trị (n) của mỗi khái niệm (d ≥ k). Khi k tăng tương đối so với d cố định, các không gian con theo khái niệm phải trở nên có hạng thấp hơn, tiếp cận gần với sự thẳng hàng.
  • Thực nghiệm: Đánh giá các mô hình thị giác hiện đại (CLIP, SigLIP, DINO) cho thấy các biểu diễn có sự phân tách tuyến tính một phần (điểm R2 thường từ 0.4–0.6, cao hơn đáng kể so với ngẫu nhiên). Mức độ của cấu trúc phân tách tuyến tính này tương quan tích cực với hiệu suất khái quát hóa tổ hợp trên các tổ hợp chưa từng thấy. Các mô hình được huấn luyện trước thể hiện tính trực giao chéo-khái niệm một phần, đáng kể hơn nhiều so với các bộ mã hóa được khởi tạo ngẫu nhiên, cho thấy quá trình huấn luyện đang hướng các hướng yếu tố đến hình học được dự đoán bởi lý thuyết. Các yếu tố theo khái niệm thường có thứ hạng thấp và gần thẳng hàng trong cùng một khái niệm.

IV. Conclusion & Future Works:​

Kết luận chính của nghiên cứu là khái quát hóa tổ hợp đòi hỏi các biểu diễn tuyến tính và trực giao trong các mô hình nhúng thị giác, cung cấp cơ sở lý thuyết vững chắc cho các quan sát thực nghiệm về cấu trúc tuyến tính trong mạng nơ-ron. Khi các mô hình tiếp tục mở rộng quy mô, các điều kiện này dự đoán hình học biểu diễn mà chúng có thể hội tụ. Các hướng nghiên cứu trong tương lai bao gồm:

  • Thư giãn điều kiện "tính ổn định" (Stability) để cho phép các sai lệch phân phối nhỏ giữa các tập dữ liệu huấn luyện khác nhau.
  • Khám phá cách các kiến trúc và phương pháp huấn luyện có thể được thiết kế để khuyến khích sự xuất hiện của cấu trúc hình học cần thiết này một cách rõ ràng hơn.
  • Mở rộng khuôn khổ để phân tích khái quát hóa tổ hợp với các mô hình đọc ra phi tuyến tính (non-linear readouts).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về Khái Quát Hóa Tổ Hợp với Tính Ổn Định Biểu Diễn Thư Giãn: Khám phá tác động của việc nới lỏng yêu cầu "tính ổn định" (cho phép sai lệch nhỏ trong phân phối dự đoán giữa các tập dữ liệu huấn luyện hợp lệ khác nhau) đối với các ràng buộc hình học của biểu diễn và hiệu suất khái quát hóa tổ hợp. Đề xuất các phương pháp huấn luyện mới để đạt được khái quát hóa tổ hợp mạnh mẽ ngay cả khi tính ổn định tuyệt đối không thể được duy trì.
  2. Thiết Kế Kiến Trúc và Phương Pháp Huấn Luyện để Thúc Đẩy Biểu Diễn Tuyến Tính-Trực Giao: Nghiên cứu và phát triển các kiến trúc mạng nơ-ron hoặc hàm mất mát được thiết kế đặc biệt để khuyến khích sự xuất hiện của các biểu diễn phân tách tuyến tính và trực giao chéo-khái niệm. Điều này có thể bao gồm việc tích hợp các ràng buộc hình học trực tiếp vào quá trình huấn luyện hoặc đề xuất các kỹ thuật chính quy hóa (regularization techniques) mới.
  3. Mở Rộng Khung Khái Quát Hóa Tổ Hợp cho Các Mô Hình Đọc Ra Phi Tuyến Tính: Phát triển một khuôn khổ lý thuyết và thực nghiệm để phân tích khái quát hóa tổ hợp trong các mô hình nhúng thị giác khi sử dụng các đầu đọc ra phi tuyến tính (non-linear readouts). Điều tra cách các phi tuyến tính ảnh hưởng đến hình học biểu diễn và liệu các nguyên tắc về phân tách tuyến tính và trực giao vẫn còn hiệu lực hoặc cần được điều chỉnh.

2. Patent:​

  1. Hệ Thống Tìm Kiếm Hình Ảnh Thông Minh và Gắn Thẻ Tự Động trên Thiết Bị Di Động với Khả Năng Tổng Hợp Khái Niệm: Một tính năng ứng dụng di động cho phép người dùng tìm kiếm hoặc gắn thẻ ảnh tự động dựa trên các tổ hợp đối tượng và thuộc tính, ngay cả khi các tổ hợp cụ thể đó chưa bao giờ được huấn luyện rõ ràng. Ví dụ, tìm kiếm "một chiếc ô tô màu đỏ trên cánh đồng xanh" mặc dù mô hình chỉ được huấn luyện riêng biệt về "ô tô màu đỏ" và "cánh đồng xanh". Công nghệ này sử dụng các biểu diễn thị giác có yếu tố tuyến tính và trực giao để đạt được khả năng khái quát hóa mạnh mẽ và hiệu quả trên các thiết bị di động.
  2. Giao Diện Người Dùng Thích Ứng Động trên Điện Thoại Di Động cho Tương Tác Đối Tượng Mới Lạ: Một giao diện điện thoại di động có khả năng tự động điều chỉnh các gợi ý hoặc hành động dựa trên các tổ hợp đối tượng bất thường hoặc mới lạ được phát hiện qua camera. Ví dụ, nếu điện thoại nhận diện "một chiếc cốc" và "một chiếc bàn chải đánh răng" trong một sắp xếp mới lạ (ví dụ: bàn chải trong cốc, không phải trong giá đựng), nó có thể gợi ý "làm sạch bàn chải" hoặc "cất cốc". Điều này dựa trên khả năng của mô hình để khái quát hóa tổ hợp và hiểu các đối tượng trong ngữ cảnh mới mà không cần huấn luyện rõ ràng cho mọi hoán vị.
  3. Mô Hình Nhúng Thị Giác Hiệu Quả trên Thiết Bị Di Động cho Nhận Dạng Tổ Hợp Tài Nguyên Thấp: Một phương pháp triển khai các mô hình nhúng thị giác cực kỳ hiệu quả trên điện thoại di động, duy trì khả năng khái quát hóa tổ hợp mạnh mẽ cho nhiều khái niệm, sử dụng các biểu diễn có hạng thấp và gần trực giao. Điều này cho phép hiểu đối tượng và cảnh quay mạnh mẽ trong các tình huống nhạy cảm về quyền riêng tư hoặc ngoại tuyến, mà không yêu cầu các tập dữ liệu huấn luyện khổng lồ, được cập nhật liên tục cho mọi tổ hợp đối tượng có thể. Bằng sáng chế sẽ tập trung vào kiến trúc mô hình được tối ưu hóa và quy trình huấn luyện để đạt được các thuộc tính hình học này với chi phí tính toán tối thiểu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.24264
ArXiv Abstracthttps://arxiv.org/abs/2602.24264
PDF Downloadhttps://arxiv.org/pdf/2602.24264.pdf
Github Repositoryhttps://github.com/oshapio/necessary-compositionality

9. InfoNCE Induces Gaussian Distribution (12 votes)​

Tác giả: Roy Betser, Eyal Gofer, Meir Yossef Levi, Guy Gilboa

Xuất bản lúc: 2026-02-27

Tag: Contrastive Learning, InfoNCE, Representation Learning, Gaussian Distribution, Self-supervised Learning, Deep Learning, Machine Learning

I. Main Problem:​

Bài báo này giải quyết vấn đề thiếu một lời giải thích có nguyên tắc ở cấp độ quần thể về lý do tại sao các mục tiêu học đối nghịch như InfoNCE lại tạo ra cấu trúc Gaussian trong không gian biểu diễn đã học. Mặc dù các phát hiện thực nghiệm đã chỉ ra rằng các biểu diễn "gần Gaussian hơn" có thể tương quan với hiệu suất tác vụ downstream tốt hơn và đã được tận dụng trong các ứng dụng thực tế, nhưng cơ sở lý thuyết cho hiện tượng này vẫn chưa được làm rõ.

II. Main Idea:​

Các tác giả chứng minh rằng mục tiêu InfoNCE tạo ra cấu trúc Gaussian trong các biểu diễn xuất hiện từ quá trình huấn luyện đối nghịch. Kết quả này được thiết lập thông qua hai hướng phân tích bổ sung:

  1. Hướng lý tưởng hóa thực nghiệm: Dưới các giả định về sự bão hòa liên kết (alignment plateau) và sự tập trung vỏ mỏng (thin-shell concentration), các phép chiếu của biểu diễn chiều cao tiệm cận gần với phân bố Gaussian đa biến. Một thành phần quan trọng là một ràng buộc liên kết mới dựa trên tương quan cực đại Hirschfeld-Gebelein-Rényi (HGR), giới hạn sự liên kết có thể đạt được theo độ nhẹ của biến đổi dữ liệu.
  2. Hướng điều chuẩn: Bằng cách thêm một thuật ngữ điều chuẩn lồi nhỏ, tiệm cận biến mất, khuyến khích chuẩn đặc trưng thấp và entropy đặc trưng cao, các kết quả Gaussian tiệm cận tương tự được đạt được mà không cần các giả định nghiêm ngặt về động lực huấn luyện.

Phân tích này kết nối InfoNCE với lý thuyết cổ điển như định lý giới hạn trung tâm hình cầu Maxwell-Poincaré. Các thí nghiệm trên dữ liệu tổng hợp, CIFAR-10 và các mô hình nền tảng lớn được huấn luyện trước (DINO, CLIP) hỗ trợ phân tích lý thuyết, cho thấy sự tập trung chuẩn và tính Gaussian theo tọa độ một cách nhất quán.

III. Main Results:​

  • Liên kết bị giới hạn: Trong giới hạn batch lớn, sự liên kết do mục tiêu InfoNCE tạo ra bị giới hạn bởi cường độ của các biến đổi dữ liệu.
  • Tính đồng nhất trên mặt cầu: Các biểu diễn được chuẩn hóa hội tụ về phân bố đồng nhất trên mặt cầu đơn vị.
  • Cấu trúc Gaussian tiệm cận: Trong khuôn khổ này, cả biểu diễn được chuẩn hóa và không chuẩn hóa đều thể hiện hành vi Gaussian tiệm cận dưới mục tiêu InfoNCE.
  • Hỗ trợ thực nghiệm: Các bằng chứng thực nghiệm trên dữ liệu tổng hợp và dữ liệu thực (CIFAR-10) với nhiều kiến trúc encoder (linear, MLP, ResNet-18) và các mô hình nền tảng được huấn luyện trước (DINO, CLIP) minh họa sự xuất hiện của hành vi Gaussian. Các mô hình huấn luyện bằng InfoNCE cho thấy sự tập trung chuẩn và tính Gaussian theo tọa độ, trong khi các mô hình huấn luyện có giám sát cho thấy độ biến thiên chuẩn cao và độ lệch lớn so với Gaussianity.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng các biểu diễn được huấn luyện bằng InfoNCE tuân theo một luật Gaussian tiệm cận, được chứng minh qua hai hướng lý thuyết và được hỗ trợ bởi bằng chứng thực nghiệm mạnh mẽ. Quan điểm Gaussian này biện minh cho các lựa chọn mô hình hóa phổ biến (ví dụ: tính điểm likelihood, phát hiện OOD) và gợi ý rằng các bộ điều chuẩn thúc đẩy tính đẳng hướng một cách rõ ràng có thể đóng vai trò là các phương án thay thế có nguyên tắc cho thiên vị ngầm của InfoNCE.

Hạn chế và Hướng tương lai:

  • Các kết quả là tiệm cận, dựa trên giới hạn chiều cao và các giả định lý tưởng hóa có thể không nắm bắt được tất cả các chế độ thực tế.
  • Đối với chiều và kích thước batch hữu hạn, các phép chiếu chỉ gần Gaussian, với độ lệch giảm dần khi chiều và kích thước batch tăng (tốc độ Berry-Esseen, luật số lớn đồng nhất).
  • Công trình này không phân tích động lực tối ưu hóa hoặc chứng minh rằng quá trình huấn luyện đạt được các tối thiểu này trong thực tế; các kết quả đặc trưng cho các tối ưu quần thể dưới các giả định đã nêu. Nghiên cứu trong tương lai có thể khám phá các ràng buộc định lượng cho các thiết lập hữu hạn và đi sâu vào động lực học tối ưu hóa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích định lượng về sự hội tụ Gaussian của biểu diễn InfoNCE trong các thiết lập hữu hạn: Nghiên cứu này sẽ tập trung vào việc phát triển các ràng buộc định lượng (ví dụ: sử dụng Berry-Esseen bounds) để xác định mức độ gần Gaussian của các biểu diễn InfoNCE trong các không gian chiều hữu hạn và với kích thước batch hữu hạn, thay vì chỉ dựa vào giới hạn tiệm cận. Mục tiêu là cung cấp các số liệu cụ thể về độ lệch từ Gaussianity dưới các điều kiện thực tế.
  2. Nghiên cứu về ảnh hưởng của các chiến lược tối ưu hóa và siêu tham số đến cấu trúc Gaussian của biểu diễn InfoNCE: Mặc dù bài báo hiện tại phân tích các tối ưu quần thể, một hướng nghiên cứu có thể là khám phá cách các chiến lược tối ưu hóa khác nhau (ví dụ: SGD với các lịch trình learning rate khác nhau, Adam), các siêu tham số (như nhiệt độ InfoNCE, weight decay) và kiến trúc encoder ảnh hưởng đến tốc độ và mức độ hội tụ Gaussian trong quá trình huấn luyện thực tế.
  3. Thiết kế các bộ điều chuẩn InfoNCE thúc đẩy tính đẳng hướng một cách rõ ràng và đánh giá hiệu suất của chúng: Dựa trên nhận định rằng InfoNCE ngầm định thúc đẩy tính đẳng hướng, một hướng nghiên cứu là thiết kế các bộ điều chuẩn (regularizers) rõ ràng nhằm tăng cường tính đẳng hướng hoặc cấu trúc Gaussian của biểu diễn. Sau đó, đánh giá xem liệu các bộ điều chuẩn này có thể cải thiện hiệu suất trên các tác vụ downstream như phân loại, ước lượng độ bất định hoặc phát hiện OOD, đặc biệt trong các trường hợp mà InfoNCE thuần túy có thể không đạt được Gaussianity tối ưu.

2. Patent:​

  1. Hệ thống phân loại ảnh tự động hiệu quả năng lượng trên điện thoại di động sử dụng biểu diễn Gaussian: Một hệ thống trên điện thoại di động sử dụng các biểu diễn ảnh được huấn luyện bằng InfoNCE, được biết là có cấu trúc Gaussian. Cấu trúc này cho phép các thuật toán phân loại và phát hiện vật thể chạy hiệu quả hơn với các mô hình xác suất đơn giản (ví dụ: Gaussian Mixture Models), giảm yêu cầu tính toán và năng lượng, kéo dài thời lượng pin của điện thoại.
  2. Công nghệ phát hiện bất thường và vật thể lạ trong ảnh chụp bằng điện thoại thông minh: Sử dụng tính chất Gaussian của biểu diễn được học từ InfoNCE để xây dựng một hệ thống phát hiện bất thường trên điện thoại. Khi người dùng chụp ảnh, hệ thống sẽ nhanh chóng phân tích biểu diễn của ảnh. Nếu biểu diễn của một phần ảnh lệch đáng kể so với phân bố Gaussian dự kiến của dữ liệu thông thường, nó có thể cảnh báo người dùng về một vật thể lạ hoặc bất thường, hữu ích cho các ứng dụng an ninh hoặc kiểm tra chất lượng.
  3. Cải thiện độ tin cậy và ước lượng độ bất định cho các ứng dụng AI trên thiết bị di động: Phát triển một framework trên điện thoại thông minh cho phép các ứng dụng AI (ví dụ: nhận dạng khuôn mặt, phân tích ngữ cảnh) đưa ra dự đoán cùng với ước lượng độ tin cậy. Bằng cách tận dụng cấu trúc Gaussian của các biểu diễn InfoNCE, các mô hình có thể tính toán entropy hoặc likelihood của một dự đoán trong không gian biểu diễn một cách hiệu quả, cung cấp cho người dùng thông tin về độ chắc chắn của kết quả, giúp cải thiện trải nghiệm người dùng và ra quyết định.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.24012
ArXiv Abstracthttps://arxiv.org/abs/2602.24012
PDF Downloadhttps://arxiv.org/pdf/2602.24012.pdf
Github Repositoryhttps://github.com/rbetser/InfoNCE-induces-Gaussian-distribution

10. Ref-Adv: Exploring MLLM Visual Reasoning in Referring Expression Tasks (10 votes)​

Tác giả: Qihua Dong, Kuo Yang, Lin Ju, Handong Zhao, Yitian Zhang, Yizhou Wang, Huimin Zeng, Jianglin Lu, Yun Fu

Xuất bản lúc: 2026-02-27

Tag: MLLMs, Visual Reasoning, Referring Expression Comprehension, Benchmarking, Datasets, Grounding, Chain-of-Thought, Negation

I. Main Problem:​

Các benchmark Referring Expression Comprehension (REC) hiện có (RefCOCO, RefCOCO+, RefCOCOg) đang gặp phải những hạn chế nghiêm trọng trong việc đánh giá khả năng suy luận thị giác và định vị đối tượng của các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLM). Cụ thể, các vấn đề bao gồm:

  1. Biểu thức quá ngắn: Nhiều biểu thức tham chiếu rất ngắn, yêu cầu ít nỗ lực suy luận ngôn ngữ và thị giác.
  2. Ít đối tượng gây nhiễu: Hình ảnh thường chứa ít đối tượng gây nhiễu (distractors), khiến việc tìm kiếm mục tiêu trở nên dễ dàng.
  3. Mô tả thừa thãi: Sự hiện diện của các mô tả thừa thãi cho phép mô hình sử dụng các "lối tắt" (shortcut solutions) để định vị đối tượng mà không cần hiểu sâu văn bản hay thực hiện suy luận thị giác thực sự, dẫn đến hiệu suất cao giả tạo và che giấu những lỗ hổng trong khả năng của MLLM.

II. Main Idea:​

Bài báo giới thiệu Ref-Adv, một benchmark REC hiện đại được thiết kế để khắc phục những hạn chế của các dataset hiện có và kiểm tra sâu hơn khả năng suy luận thị giác và định vị đối tượng của MLLM. Các ý tưởng và phương pháp chính bao gồm:

  1. Thiết kế benchmark: Ref-Adv được xây dựng với các biểu thức tham chiếu phức tạp về mặt ngôn ngữ, chỉ chứa thông tin cần thiết để xác định duy nhất mục tiêu. Dataset này bao gồm các hình ảnh thực tế với các đối tượng gây nhiễu khó (hard distractors) và được chú thích với các khía cạnh suy luận như phủ định (negation).
  2. Quy trình thu thập dữ liệu: Sử dụng một quy trình tạo dữ liệu có sự hỗ trợ của LLM (GPT-4o) gồm bốn giai đoạn (chuẩn bị hình ảnh, đánh giá độ tương đồng để xác định các cặp đối tượng tương tự, tạo biểu thức tham chiếu, và xác minh thủ công) để tạo ra các biểu thức tự nhiên, đa dạng và đảm bảo sự hiện diện của hard distractors, đồng thời giảm thiểu các lối tắt.
  3. Kiểm định chất lượng: Thực hiện các thử nghiệm ablation toàn diện (thay đổi thứ tự từ và xóa mô tả) để chứng minh rằng việc giải quyết Ref-Adv yêu cầu suy luận vượt xa các tín hiệu đơn giản.
  4. Đánh giá MLLM: Đánh giá một loạt các MLLM đương đại trên Ref-Adv, bao gồm cả các mô hình mã nguồn mở và đóng, để bộc lộ sự phụ thuộc vào các lối tắt và những lỗ hổng trong suy luận thị giác và định vị đối tượng của chúng.

III. Main Results:​

  1. Hiệu suất giảm đáng kể: Các MLLM đạt kết quả cao trên RefCOCO, RefCOCO+ và RefCOCOg nhưng giảm mạnh trên Ref-Adv, cho thấy sự phụ thuộc vào các lối tắt và những khoảng trống trong suy luận thị giác và định vị đối tượng.
  2. Thống kê dataset vượt trội: Ref-Adv có độ dài biểu thức trung bình dài hơn (11.5 từ), số lượng đối tượng gây nhiễu trung bình cao hơn (4.01) và tỷ lệ phủ định cao hơn (21.25%) so với các benchmark truyền thống.
  3. Kháng lại lối tắt: Các thử nghiệm ablation (thay đổi thứ tự từ và xóa mô tả) chứng minh rằng Ref-Adv thực sự yêu cầu hiểu biết văn bản và suy luận để tuân theo biểu thức tham chiếu một cách chính xác, và có ít lối tắt định vị đối tượng hơn các benchmark khác.
  4. Ảnh hưởng của Chain-of-Thought (CoT): CoT nhìn chung cải thiện hiệu suất trên Ref-Adv do yêu cầu suy luận cao hơn, trong khi lợi ích trên RefCOCO(+/g) bị hạn chế.
  5. Thách thức từ đối tượng gây nhiễu: Hiệu suất của mô hình suy giảm khi số lượng đối tượng gây nhiễu tăng lên (đặc biệt với nhóm ≥7), cho thấy việc xử lý số lượng lớn các đối tượng tương tự vẫn là một thách thức chính.
  6. Hiệu suất của MLLM hàng đầu: GPT-4o (với CoT và Set-of-Marks) đạt hiệu suất tốt nhất trên Ref-Adv, nhưng ngay cả các mô hình tốt nhất cũng thường chọn nhầm hard distractors, cho thấy các MLLM hiện tại vẫn còn những khoảng trống rõ ràng về suy luận và nhận thức thị giác.

IV. Conclusion & Future Works:​

Ref-Adv được giới thiệu như một benchmark REC hiện đại, được thiết kế để giải quyết sự phụ thuộc vào các lối tắt thị giác trong các dataset hiện có bằng cách yêu cầu suy luận đa bước thực sự. Benchmark này đã thành công trong việc bộc lộ những lỗ hổng rõ ràng trong khả năng suy luận thị giác và nhận thức của các MLLM tiên tiến hiện nay. Mục tiêu của Ref-Adv là định hướng cho các công trình nghiên cứu trong tương lai về suy luận thị giác và định vị đối tượng trong MLLM, thúc đẩy sự phát triển của các mô hình có khả năng hiểu ngôn ngữ và thị giác sâu sắc hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển MLLM mới cho suy luận phức tạp với phủ định và hard distractors: Nghiên cứu và đề xuất các kiến trúc MLLM tiên tiến có khả năng xử lý hiệu quả các cấu trúc ngữ pháp phức tạp, bao gồm cả mệnh đề phủ định, và phân biệt chính xác giữa các đối tượng mục tiêu và các đối tượng gây nhiễu khó (hard distractors) thông qua cơ chế suy luận đa bước được thiết kế riêng.
  2. Phương pháp huấn luyện MLLM để giảm thiểu "lối tắt" và tăng cường suy luận thị giác thực sự: Phát triển các kỹ thuật huấn luyện mới, chẳng hạn như học tăng cường với phản hồi suy luận (reasoning-feedback reinforcement learning) hoặc huấn luyện đối nghịch trên dữ liệu có hard distractors, nhằm khuyến khích MLLM thực hiện suy luận thị giác và ngôn ngữ toàn diện thay vì dựa vào các tín hiệu bề mặt hoặc mô tả thừa thãi.
  3. Nghiên cứu về định vị đối tượng cấp độ hạt mịn (fine-grained grounding) và các metric đánh giá mới: Tập trung vào việc cải thiện khả năng định vị bounding box chính xác của MLLM trong các tình huống phức tạp có nhiều đối tượng tương tự. Đồng thời, đề xuất các metric đánh giá mới có thể đo lường sâu hơn không chỉ độ chính xác định vị mà còn cả chất lượng của quá trình suy luận mà mô hình đã thực hiện.

2. Patent:​

  1. Hệ thống "Tìm Đồ Vật Thất Lạc Thông Minh" trên điện thoại di động: Một ứng dụng cho phép người dùng chụp ảnh một khu vực lộn xộn (ví dụ: ngăn kéo, bàn làm việc) và sau đó mô tả vật thể họ đang tìm bằng ngôn ngữ tự nhiên, chẳng hạn như "chiếc bút chì màu xanh lá cây nằm trên đống giấy, không phải chiếc bút có cục tẩy màu hồng". Điện thoại sẽ sử dụng khả năng suy luận thị giác để xác định và hiển thị vị trí chính xác của vật thể đó trên màn hình, giúp người dùng dễ dàng tìm thấy đồ vật của mình mà không cần lục lọi.
  2. Trợ lý hướng dẫn thực tế tăng cường (AR) cho lắp ráp và sửa chữa: Một ứng dụng AR trên điện thoại di động giúp người dùng thực hiện các công việc lắp ráp đồ đạc hoặc sửa chữa thiết bị phức tạp. Người dùng hướng camera vào vật thể, và ứng dụng sẽ hiểu các chỉ dẫn ngôn ngữ như "gắn con ốc ngắn vào lỗ bên phải của tấm ván gỗ phía dưới, không phải lỗ gần cạnh trên" và đánh dấu trực tiếp vị trí đó trên màn hình, giúp việc thực hiện các thao tác trở nên trực quan và dễ dàng hơn.
  3. Ứng dụng hỗ trợ người khiếm thị định vị và nhận diện vật thể chi tiết: Một ứng dụng di động dành cho người khiếm thị, sử dụng camera điện thoại để quét môi trường xung quanh. Khi người dùng hỏi "tìm chiếc điều khiển TV màu đen hình chữ nhật, không phải cái màu trắng", ứng dụng sẽ xử lý yêu cầu, sử dụng suy luận thị giác để phân biệt giữa các vật thể tương tự và cung cấp mô tả âm thanh chi tiết về vị trí và đặc điểm của vật thể mục tiêu, giúp tăng cường khả năng độc lập và tương tác với môi trường.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.23898
ArXiv Abstracthttps://arxiv.org/abs/2602.23898
PDF Downloadhttps://arxiv.org/pdf/2602.23898.pdf
Github Repositoryhttps://github.com/dddraxxx/Ref-Adv

11. LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding (10 votes)​

Tác giả: Jihao Qiu, Lingxi Xie, Xinyue Huo, Qi Tian, Qixiang Ye

Xuất bản lúc: 2026-02-24

Tag: MLLMs, Long Video Understanding, Reinforcement Learning, Supervised Fine-tuning, Agent-based Systems, Chain-of-Thought, Efficiency, Question Answering

I. Main Problem:​

Thách thức chính là hiểu các video dài (kéo dài 1-2 giờ) với chi phí tính toán thấp. Các mô hình ngôn ngữ lớn đa phương thức (MLLM) hiện tại bị hạn chế bởi kích thước ngữ cảnh hữu hạn, dẫn đến các phương pháp tốn kém, duyệt vét cạn (chia video thành các clip ngắn, xử lý từng clip một cách toàn diện, sau đó tích hợp kết quả). Các phương pháp dựa trên tác nhân gần đây có độ phức tạp tăng tuyến tính theo độ dài video, gây ra chi phí tính toán và độ trễ cực cao, hạn chế việc triển khai trong các ứng dụng thực tế yêu cầu độ trễ thấp hoặc thông lượng cao.

II. Main Idea:​

Bài báo đề xuất LongVideo-R1, một tác nhân MLLM chủ động, được trang bị khả năng suy luận, được thiết kế để điều hướng ngữ cảnh video một cách hiệu quả, tránh sự dư thừa của việc tìm kiếm vét cạn. LongVideo-R1 sử dụng một mô-đun suy luận tận dụng các tín hiệu hình ảnh cấp cao để suy ra đoạn video giàu thông tin nhất cho quá trình xử lý tiếp theo. Trong quá trình suy luận, tác nhân bắt đầu duyệt từ các bản tóm tắt hình ảnh cấp cao và dần dần tinh chỉnh trọng tâm, dừng ngay quá trình khám phá khi thu thập đủ kiến thức để trả lời truy vấn. Video được tổ chức thành cấu trúc phân cấp để tác nhân có thể nhanh chóng chuyển trọng tâm qua các mức độ chi tiết thời gian khác nhau. Để đào tạo, nhóm nghiên cứu đã trích xuất chú thích video phân cấp từ CGBench, sau đó hướng dẫn GPT-5 tạo ra 33K quỹ đạo chain-of-thought-with-tool (CoTwT) chất lượng cao. Tác nhân LongVideo-R1 được tinh chỉnh dựa trên mô hình Qwen-3-8B thông qua quy trình hai giai đoạn: tinh chỉnh có giám sát (SFT) và học tăng cường (RL), trong đó RL sử dụng một hàm thưởng được thiết kế đặc biệt để tối đa hóa việc điều hướng clip có chọn lọc và hiệu quả.

III. Main Results:​

LongVideo-R1 đạt được sự đánh đổi tốt hơn giữa độ chính xác QA và hiệu quả so với các phương pháp gần đây trên tập dữ liệu LVBench. Nó đạt độ chính xác 50.0% trên LVBench, vượt trội hơn các phương pháp dựa trên tác nhân khác ít nhất 5.6% và vượt qua hầu hết các MLLM độc quyền và mã nguồn mở (ví dụ: vượt GPT-4o 1.1% và GLM-4V-plus 1.3%). Đặc biệt, LongVideo-R1 thể hiện kết quả vượt trội trong các nhiệm vụ truy xuất thông tin chính (KIR) và định vị thời gian (TG), đạt 56.4% trên TG, vượt qua tất cả các mô hình khác với biên độ đáng kể 10.9%. Mô hình này cũng chứng minh khả năng hiểu video siêu dài trên các bộ phim truyền hình phức tạp. Với trung bình 10.5 vòng suy luận và điều hướng/trả lời, LongVideo-R1 có chi phí tính toán thấp hơn đáng kể so với các phương pháp quét tuyến tính. Các nghiên cứu loại bỏ cho thấy tầm quan trọng của kích thước dữ liệu SFT và thành phần thưởng vị trí (location reward) trong việc nâng cao khả năng điều hướng video.

IV. Conclusion & Future Works:​

LongVideo-R1 là một khung tác nhân hiệu quả để hiểu video dài, mô phỏng cách con người khám phá video bằng cách bắt đầu từ các phần cấp cao, duy trì mô tả video và thực hiện suy luận để xác định liệu câu hỏi có thể được trả lời hay không và nên điều hướng đến phần nào tiếp theo. Nó đạt được độ chính xác QA cạnh tranh trên nhiều điểm chuẩn video dài và thể hiện sự đánh đổi hiệu quả-độ chính xác thuận lợi hơn so với các thuật toán dựa trên tác nhân khác. Các hướng nghiên cứu trong tương lai bao gồm: (1) Mở rộng công cụ: Giới thiệu thêm các công cụ (ví dụ: nhận diện thực thể video, phân đoạn clip video) để nâng cao khả năng của mô hình, đồng thời thêm thành phần thưởng để phạt chi phí tính toán tổng hợp của việc sử dụng công cụ. (2) Các cài đặt nâng cao: Khám phá các kịch bản như hỏi đáp nhiều cặp câu hỏi trên cùng một video hoặc hỏi đáp tăng dần, nơi mô hình có thể tái sử dụng thông tin hiệu quả. (3) Cải thiện mô tả video: Nâng cao các công cụ mô tả video để suy luận và điều hướng chính xác và hiệu quả hơn, với mục tiêu tối ưu hóa tác nhân và công cụ đồng thời trong một khuôn khổ thống nhất.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển hệ thống tác nhân đa công cụ cho hiểu video dài: Tích hợp các công cụ chuyên biệt (nhận diện đối tượng, phân đoạn video) vào khung tác nhân để nâng cao khả năng suy luận và định vị thông tin, đồng thời tối ưu hóa chi phí tính toán cho việc sử dụng công cụ.
  2. Tối ưu hóa hiểu video dài trong các kịch bản nâng cao: Nghiên cứu các chiến lược quản lý thông tin và tái sử dụng ngữ cảnh hiệu quả cho các tác vụ hỏi đáp liên quan đến nhiều câu hỏi trên cùng một video hoặc hỏi đáp tăng dần, nhằm giảm chi phí tính toán tổng thể.
  3. Cải thiện công cụ mô tả video để nâng cao hiệu suất tác nhân: Tập trung vào việc phát triển các mô hình tạo mô tả video chính xác và hiệu quả hơn, đồng thời khám phá các phương pháp để đồng thời tối ưu hóa mô hình tác nhân và các công cụ mô tả của nó trong một khuôn khổ thống nhất.

2. Patent:​

  1. Hệ thống tìm kiếm thông tin thông minh trong video cá nhân: Một ứng dụng di động cho phép người dùng đặt câu hỏi về các video dài trong thư viện của họ (ví dụ: video gia đình, ghi lại buổi hòa nhạc). Hệ thống sẽ tự động quét và chỉ định vị các đoạn video liên quan để trả lời câu hỏi, thay vì phải xem lại toàn bộ video, giúp tiết kiệm thời gian và pin điện thoại.
  2. Trợ lý xem phim/bài giảng tương tác hiệu quả: Một tính năng trên điện thoại cho phép người dùng tương tác với video dài (phim, bài giảng, tài liệu hướng dẫn) bằng cách đặt câu hỏi. Ứng dụng sẽ nhanh chóng tìm kiếm và hiển thị thông tin hoặc đoạn video cụ thể chứa câu trả lời, giúp người dùng học tập hoặc giải trí hiệu quả hơn mà không cần tua thủ công.
  3. Công cụ tóm tắt sự kiện tức thì từ camera an ninh/giám sát: Một ứng dụng di động kết nối với camera an ninh tại nhà hoặc văn phòng. Khi có sự kiện đáng chú ý (ví dụ: phát hiện chuyển động, gói hàng được giao), người dùng có thể hỏi "Ai đã đến vào lúc 2 giờ chiều?" hoặc "Có ai chạm vào xe tôi không?". Hệ thống sẽ chỉ xem xét các đoạn video liên quan để cung cấp câu trả lời nhanh chóng, giảm đáng kể lượng dữ liệu cần xử lý và thông báo sai.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.20913
ArXiv Abstracthttps://arxiv.org/abs/2602.20913
PDF Downloadhttps://arxiv.org/pdf/2602.20913.pdf
Github Repositoryhttps://github.com/qiujihao19/LongVideo-R1