Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-01-23

Báo cáo được tạo tự động vào lúc 2026-01-26 10:23:22 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. EvoCUA: Evolving Computer Use Agents via Learning from Scalable Synthetic Experience (81 votes)​

Tác giả: Taofeng Xue, Chong Peng, Mianqiu Huang, Linsen Guo, Tiancheng Han, Haozhe Wang, Jianing Wang, Xiaocheng Zhang, Xin Yang, Dengchang Zhao, Jinrui Ding, Xiandi Ma, Yuchen Xie, Peng Pei, Xunliang Cai, Xipeng Qiu

Xuất bản lúc: 2026-01-22

Tag: AI Agent, Reinforcement Learning, Synthetic Data, Policy Optimization, GUI Automation

I. Main Problem:​

Sự phát triển của các tác nhân sử dụng máy tính (CUA) bị cản trở bởi hạn chế về dữ liệu tĩnh, khiến chúng gặp khó khăn trong việc nắm bắt các động lực nhân quả phức tạp trong các tác vụ máy tính dài hạn. Các mô hình hiện có chủ yếu dựa vào việc bắt chước thụ động các tập dữ liệu tĩnh, không thể mở rộng hiệu quả để đạt được độ tin cậy cấp độ con người.

II. Main Idea:​

EvoCUA giới thiệu một mô hình tác nhân sử dụng máy tính bản địa tích hợp việc tạo dữ liệu và tối ưu hóa chính sách vào một chu trình tiến hóa tự duy trì. Để giải quyết vấn đề khan hiếm dữ liệu, EvoCUA phát triển một công cụ tổng hợp có thể xác minh, tự động tạo ra các tác vụ đa dạng cùng với các trình xác thực có thể thực thi. Để thu thập kinh nghiệm quy mô lớn, nó thiết kế một cơ sở hạ tầng có khả năng mở rộng, điều phối hàng chục nghìn lượt chạy thử nghiệm không đồng bộ trong môi trường sandbox. Dựa trên các quỹ đạo lớn này, EvoCUA đề xuất một chiến lược học tập tiến hóa lặp lại để nội hóa kinh nghiệm một cách hiệu quả, điều chỉnh động các bản cập nhật chính sách bằng cách củng cố các quy trình thành công và biến các quỹ đạo thất bại thành tín hiệu giám sát phong phú thông qua phân tích lỗi và tự sửa lỗi.

III. Main Results:​

EvoCUA đạt tỷ lệ thành công 56.7% trên chuẩn OSWorld, thiết lập một tiêu chuẩn mới về hiệu suất tiên tiến nhất (state-of-the-art) cho các mô hình mã nguồn mở. Đáng chú ý, EvoCUA vượt trội đáng kể so với mô hình mã nguồn mở tốt nhất trước đây là OpenCUA-72B (45.0%) và vượt qua các mô hình có trọng số đóng hàng đầu như UI-TARS-2 (53.1%). Các kết quả cũng nhấn mạnh khả năng tổng quát hóa của phương pháp này, cho thấy mô hình tiến hóa thúc đẩy bởi việc học hỏi từ kinh nghiệm mang lại hiệu suất nhất quán trên các mô hình nền tảng ở các quy mô khác nhau.

IV. Conclusion & Future Works:​

Mô hình tiến hóa của EvoCUA, dựa trên việc học hỏi từ kinh nghiệm tổng hợp có thể mở rộng, cung cấp một con đường mạnh mẽ và có khả năng mở rộng để nâng cao năng lực của các tác nhân bản địa. Nó vượt qua giới hạn của việc mở rộng dữ liệu tĩnh bằng cách tạo ra một chu trình tự duy trì giữa tạo dữ liệu, tương tác quy mô lớn và tối ưu hóa chính sách. Khả năng tổng quát hóa của phương pháp này là một bước tiến quan trọng cho trí tuệ nhân tạo tổng quát.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu các phương pháp để tạo ra các tác vụ tổng hợp phức tạp hơn và có tính sáng tạo cao hơn, vượt ra ngoài các tác vụ đã định sẵn để kiểm tra khả năng sáng tạo của tác nhân AI.
  • Khám phá việc tích hợp mô hình tiến hóa này với các hệ thống học tăng cường đa tác nhân để phát triển các tác nhân cộng tác hoặc cạnh tranh trong môi trường máy tính.
  • Phát triển một khuôn khổ tự động để chuyển giao kinh nghiệm từ các tác vụ tổng hợp sang các tác vụ thực tế trong thế giới để giảm thiểu khoảng cách thực tế-ảo.

2. Patent:​

  • Một hệ thống tự động hóa tác vụ trên điện thoại thông minh, cho phép thiết bị tự học cách thực hiện các chuỗi thao tác phức tạp qua giao diện người dùng dựa trên phản hồi thành công hoặc thất bại trong môi trường ảo hóa an toàn.
  • Phương pháp tạo ra các bài kiểm tra chức năng tự động cho ứng dụng di động, trong đó điện thoại có thể tự động sinh ra kịch bản sử dụng và xác minh kết quả, giúp các nhà phát triển nhanh chóng tìm và sửa lỗi.
  • Một công nghệ trên điện thoại giúp tối ưu hóa cài đặt và quy trình làm việc của người dùng bằng cách phân tích và học hỏi từ các tương tác thành công và thất bại của người dùng với các ứng dụng khác nhau.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.15876
ArXiv Abstracthttps://arxiv.org/abs/2601.15876
PDF Downloadhttps://arxiv.org/pdf/2601.15876.pdf
Github Repositoryhttps://github.com/meituan/EvoCUA

2. HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding (70 votes)​

Tác giả: Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

Xuất bản lúc: 2026-01-21

Tag: Multimodal Large Language Models, Streaming Video Understanding, KV Cache, Hierarchical Memory, Real-time Processing, Efficiency

I. Main Problem:​

Các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) đã cải thiện đáng kể khả năng hiểu video ngoại tuyến, nhưng việc mở rộng chúng sang video trực tuyến (streaming video) vẫn còn thách thức. Các mô hình hiện có gặp khó khăn trong việc đồng thời duy trì hiệu suất hiểu ổn định, phản hồi thời gian thực và chi phí bộ nhớ GPU thấp. Các phương pháp quản lý bộ nhớ hiện tại cho video trực tuyến thường không phù hợp hoặc cần tính toán bổ sung, dẫn đến độ trễ cao và kém hiệu quả.

II. Main Idea:​

Bài báo đề xuất HERMES, một kiến trúc không cần huấn luyện (training-free) cho phép hiểu video trực tuyến chính xác và theo thời gian thực. Dựa trên phân tích cơ chế chú ý, HERMES khái niệm hóa KV cache như một khung bộ nhớ phân cấp để lưu trữ thông tin video ở nhiều mức độ chi tiết khác nhau: các lớp nông hoạt động như bộ nhớ cảm giác tập trung vào thông tin gần đây, các lớp sâu như bộ nhớ dài hạn tập trung vào các token "neo" ngữ nghĩa cấp khung hình, và các lớp giữa như bộ nhớ làm việc cân bằng giữa thông tin gần đây và biểu diễn ngữ nghĩa. HERMES bao gồm quản lý KV cache phân cấp, làm mịn bộ nhớ giữa các lớp và tái chỉ mục vị trí. Khi suy luận, HERMES tái sử dụng KV cache nhỏ gọn, không yêu cầu tính toán phụ trợ khi có truy vấn, đảm bảo phản hồi thời gian thực.

III. Main Results:​

  • HERMES đạt được tốc độ phản hồi thời gian thực, nhanh hơn gấp 10 lần so với phương pháp SOTA không huấn luyện trước đây (TTFT).
  • Mô hình duy trì độ chính xác vượt trội hoặc tương đương trên tất cả các benchmark, với mức tăng lên đến 11.4% trên các tập dữ liệu video trực tuyến, ngay cả khi giảm số lượng token video lên đến 68% so với lấy mẫu đồng nhất.
  • HERMES duy trì độ trễ cực thấp (dưới 30 ms) và mức tiêu thụ bộ nhớ GPU ổn định, không có nguy cơ lỗi OOM (Out-Of-Memory) và không cần tài nguyên tính toán bên ngoài.
  • Bài báo tiên phong trong việc khái niệm hóa KV cache như một khung bộ nhớ video phân cấp dựa trên phân tích cơ chế chú ý.

IV. Conclusion & Future Works:​

HERMES cung cấp một giải pháp mạnh mẽ và hiệu quả để giải quyết các thách thức của việc hiểu video trực tuyến bằng cách tái sử dụng KV cache một cách thông minh và phân cấp. Phương pháp này đảm bảo hiệu suất ổn định, độ trễ thấp và hiệu quả bộ nhớ, tạo tiền đề cho các ứng dụng MLLM thời gian thực. Hướng nghiên cứu tiếp theo có thể tập trung vào việc mở rộng các nguyên lý quản lý bộ nhớ phân cấp này sang các loại dữ liệu đa phương thức khác hoặc khám phá các chiến lược tối ưu hóa hơn nữa cho việc quản lý token và tái chỉ mục vị trí trong các luồng dữ liệu cực dài.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu so sánh các chiến lược làm mịn bộ nhớ giữa các lớp khác nhau và ảnh hưởng của chúng đến hiệu suất và tính nhất quán của bộ nhớ.
  • Khám phá việc tích hợp HERMES với các phương pháp nén video tiên tiến khác để đạt được hiệu quả cao hơn nữa trong việc giảm token mà vẫn duy trì độ chính xác.
  • Đánh giá khả năng mở rộng của kiến trúc bộ nhớ phân cấp của HERMES sang các mô hình MLLM có kích thước lớn hơn hoặc có kiến trúc khác.

2. Patent:​

  • Một phương pháp trên điện thoại thông minh để tối ưu hóa bộ nhớ tạm thời khi xử lý video thời gian thực từ camera, giúp các ứng dụng ghi hình hoặc phát trực tiếp hoạt động mượt mà hơn và tiết kiệm năng lượng.
  • Một hệ thống tích hợp trong các thiết bị đeo thông minh có khả năng tóm tắt các hoạt động hàng ngày từ dữ liệu cảm biến và video ngắn, chỉ lưu trữ các khoảnh khắc quan trọng để người dùng dễ dàng xem lại.
  • Một công nghệ cho các ứng dụng chỉnh sửa video trên thiết bị di động, tự động nhận diện và ưu tiên giữ lại các đối tượng hoặc khoảnh khắc quan trọng trong một đoạn phim dài, giúp người dùng dễ dàng biên tập mà không bị đầy bộ nhớ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.14724
ArXiv Abstracthttps://arxiv.org/abs/2601.14724
PDF Downloadhttps://arxiv.org/pdf/2601.14724.pdf
Github Repositoryhttps://github.com/haowei-freesky/HERMES

3. LLM-in-Sandbox Elicits General Agentic Intelligence (65 votes)​

Tác giả: Daixuan Cheng, Shaohan Huang, Yuxian Gu, Huatong Song, Guoxin Chen, Li Dong, Wayne Xin Zhao, Ji-Rong Wen, Furu Wei

Xuất bản lúc: 2026-01-22

Tag: LLM, Agent, Sandbox, Reinforcement Learning, General Intelligence

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là làm thế nào để khai thác và mở rộng khả năng của các Mô hình Ngôn ngữ Lớn (LLM) để chúng có thể thể hiện trí tuệ tác nhân tổng quát (general agentic intelligence) trên nhiều lĩnh vực, đặc biệt là các tác vụ phi-mã hóa phức tạp, vượt qua những hạn chế về ngữ cảnh và khả năng sử dụng công cụ hiện có.

II. Main Idea:​

Bài báo giới thiệu LLM-in-Sandbox, một phương pháp cho phép LLM tương tác và khám phá trong một môi trường sandbox (máy tính ảo) với ba khả năng cốt lõi: truy cập tài nguyên bên ngoài (internet), quản lý tập tin và thực thi mã. Phương pháp này cho phép các LLM mạnh mẽ tự phát tận dụng môi trường sandbox để hoàn thành các tác vụ phi-mã hóa mà không cần huấn luyện bổ sung. Để nâng cao hơn nữa khả năng tác nhân này, đặc biệt là với các mô hình yếu hơn, bài báo đề xuất LLM-in-Sandbox Reinforcement Learning (LLM-in-Sandbox-RL), một quy trình huấn luyện sử dụng dữ liệu phi-tác nhân tổng quát để dạy mô hình cách khám phá và tương tác hiệu quả với sandbox, từ đó tăng cường khả năng tổng quát hóa trên nhiều miền.

III. Main Results:​

  1. Khả năng tổng quát hóa không cần huấn luyện: Các LLM mạnh mẽ (như Claude-Sonnet-4.5-Think, GPT-5) đã chứng minh khả năng tự phát sử dụng sandbox để truy cập tài nguyên, quản lý tập tin cho ngữ cảnh dài và thực thi script cho các yêu cầu định dạng, đạt được những cải thiện đáng kể về hiệu suất trên các lĩnh vực như toán học, vật lý, hóa học, y sinh, hiểu ngữ cảnh dài và tuân thủ hướng dẫn.
  2. Tăng cường tác nhân thông qua huấn luyện RL: LLM-in-Sandbox-RL đã thành công trong việc giúp các mô hình yếu hơn (ví dụ: Qwen3-Coder-30B-A3B) vượt trội trong chế độ sandbox và thậm chí cải thiện các mô hình đã mạnh mẽ, thể hiện khả năng tổng quát hóa mạnh mẽ trên các tác vụ ngoài miền.
  3. Hiệu quả và Triển khai: LLM-in-Sandbox giảm đáng kể mức tiêu thụ token (lên đến 8 lần trong các kịch bản ngữ cảnh dài), đạt được thông lượng cấp truy vấn cạnh tranh và có chi phí hạ tầng sandbox tối thiểu. Nền tảng này đã được mã nguồn mở dưới dạng gói Python để tạo điều kiện triển khai thực tế.

IV. Conclusion & Future Works:​

LLM-in-Sandbox cung cấp một khung công tác mạnh mẽ, cho phép LLM khai thác trí tuệ tác nhân tổng quát thông qua khả năng tương tác với môi trường máy tính ảo. Phương pháp này đã chứng minh hiệu quả đáng kể trên nhiều lĩnh vực phi-mã hóa, cả trong cài đặt không huấn luyện và huấn luyện sau. Hướng nghiên cứu tiếp theo có thể bao gồm việc phát triển các chiến lược huấn luyện củng cố tinh vi hơn để tối ưu hóa việc khám phá sandbox và mở rộng ứng dụng sang các miền phức tạp hơn, cũng như tích hợp sâu hơn với các hệ thống và công cụ thực tế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các cơ chế tự động tạo và quản lý các công cụ chuyên biệt bên trong sandbox dựa trên yêu cầu tác vụ để tối ưu hóa hiệu suất LLM.
  2. Khám phá hiệu quả của các phương pháp huấn luyện củng cố dựa trên phản hồi của con người (Human-in-the-loop RL) trong việc cải thiện hành vi tác nhân của LLM trong sandbox.
  3. Phân tích cách các LLM với kích thước và kiến trúc khác nhau thích ứng và tận dụng môi trường sandbox, từ đó xác định các đặc điểm thiết kế mô hình tối ưu cho trí tuệ tác nhân.

2. Patent:​

  1. Một hệ thống trợ lý ảo trên điện thoại thông minh cho phép người dùng giao các tác vụ phức tạp bao gồm truy cập internet, quản lý tập tin và thực thi các chương trình nhỏ, với trí tuệ nhân tạo thực hiện các bước trong một môi trường ảo hóa an toàn.
  2. Một công nghệ bảo mật cho thiết bị di động, trong đó các ứng dụng trí tuệ nhân tạo có khả năng thực thi mã được tự động cách ly trong một môi trường sandbox ảo, đảm bảo rằng mọi hoạt động của chúng không thể gây hại cho hệ thống chính hoặc dữ liệu cá nhân của điện thoại.
  3. Một giao diện người dùng động trên điện thoại, cho phép trí tuệ nhân tạo điều khiển một phiên máy tính ảo để tự động hóa các tác vụ lặp đi lặp lại hoặc phức tạp của người dùng, chẳng hạn như tải xuống và sắp xếp tài liệu, hoặc xử lý hình ảnh theo yêu cầu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.16206
ArXiv Abstracthttps://arxiv.org/abs/2601.16206
PDF Downloadhttps://arxiv.org/pdf/2601.16206.pdf
Github Repositoryhttps://github.com/llm-in-sandbox/llm-in-sandbox

4. The Flexibility Trap: Why Arbitrary Order Limits Reasoning Potential in Diffusion Language Models (61 votes)​

Tác giả: Zanlin Ni, Shenzhi Wang, Yang Yue, Tianyu Yu, Weilin Zhao, Yeguo Hua, Tianyi Chen, Jun Song, Cheng Yu, Bo Zheng, Gao Huang

Xuất bản lúc: 2026-01-21

Tag: Diffusion, Large Language Models, Reasoning, Reinforcement Learning, Autoregressive

I. Main Problem:​

Diffusion Large Language Models (dLLMs) mang đến sự linh hoạt trong việc tạo token theo bất kỳ thứ tự nào, được cho là có khả năng suy luận vượt trội so với các LLM truyền thống chỉ theo thứ tự từ trái sang phải. Tuy nhiên, bài báo này chỉ ra rằng trên thực tế, khả năng tạo token theo thứ tự tùy ý hiện tại lại hạn chế, thay vì mở rộng, ranh giới suy luận của dLLMs. Vấn đề là dLLMs có xu hướng lợi dụng sự linh hoạt này để bỏ qua các token có độ bất định cao vốn quan trọng cho việc khám phá không gian giải pháp, dẫn đến sự thu hẹp sớm của không gian giải pháp. Điều này thách thức tiền đề của các phương pháp Reinforcement Learning (RL) hiện có cho dLLMs, vốn thường đầu tư nhiều vào việc bảo toàn sự linh hoạt này.

II. Main Idea:​

Bài báo đề xuất một cách tiếp cận đối lập: để khơi gợi khả năng suy luận hiệu quả, nên từ bỏ việc tạo token theo thứ tự tùy ý một cách có chủ đích và áp dụng phương pháp tối ưu hóa chính sách tiêu chuẩn Group Relative Policy Optimization (GRPO). Phương pháp của họ, được gọi là "JustGRPO", cực kỳ đơn giản nhưng lại hiệu quả. Nó xử lý dLLM như một mô hình tự hồi quy (Autoregressive - AR) trong quá trình huấn luyện RL, loại bỏ sự phức tạp liên quan đến các quỹ đạo tổ hợp và khả năng hợp lý không thể theo dõi của các phương pháp hiện tại, đồng thời vẫn giữ được khả năng giải mã song song hiệu quả của dLLMs trong quá trình suy luận.

III. Main Results:​

  • Việc tạo token theo thứ tự tùy ý, trong hình thức hiện tại, hạn chế tiềm năng suy luận, thể hiện ở đường cong Pass@k phẳng hơn đáng kể so với chế độ AR. Khi số lượng mẫu (k) tăng lên, chế độ AR cho thấy khả năng tìm ra các giải pháp chính xác mạnh mẽ hơn.
  • Phân tích không gian giải pháp (Pass@1024) cho thấy các dấu vết suy luận được tạo ra bởi thứ tự tùy ý phần lớn là một tập con nghiêm ngặt của những gì được tạo ra bởi thứ tự AR (ví dụ: trên HumanEval, AR giải quyết thêm 21.3% vấn đề mà thứ tự tùy ý bỏ lỡ, trong khi tỷ lệ ngược lại chỉ là 0.6%).
  • Cơ chế giải thích cho hiện tượng này được gọi là "suy giảm entropy" (entropy degradation): Thứ tự AR buộc mô hình phải đối mặt với sự bất định tại các "token phân nhánh" (ví dụ: các từ nối logic), từ đó bảo toàn các đường dẫn suy luận đa dạng. Ngược lại, thứ tự tùy ý cho phép mô hình bỏ qua các quyết định khó, ưu tiên hoàn thành các token có entropy thấp trước, điều này sớm hạn chế các nhánh tiềm năng và triệt tiêu sự bất định ban đầu.
  • Phương pháp JustGRPO đạt được kết quả cạnh tranh trên các điểm chuẩn suy luận phức tạp (ví dụ: độ chính xác 89.1% trên GSM8K, 45.1% trên MATH), vượt qua các phương pháp dựa vào RL phức tạp đặc thù cho diffusion.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng sự linh hoạt lý thuyết của việc tạo token theo thứ tự tùy ý trong dLLMs thực chất là một "cái bẫy" hạn chế tiềm năng suy luận do hiện tượng suy giảm entropy. Việc khơi gợi khả năng suy luận hiệu quả nhất là thông qua việc đơn giản hóa quá trình huấn luyện RL cho dLLMs, xử lý chúng như các mô hình AR và áp dụng GRPO tiêu chuẩn. Công trình này khuyến khích việc đánh giá lại mối quan hệ giữa thứ tự tùy ý và thứ tự AR trong việc phát triển các mô hình ngôn ngữ thế hệ tiếp theo.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu sâu hơn về cách các dLLMs có thể được thiết kế để đối mặt với sự bất định một cách hiệu quả hơn thay vì bỏ qua chúng, kết hợp lợi ích của việc tạo token theo thứ tự tùy ý và AR.
  • Phát triển một khung RL mới cho dLLMs có khả năng cân bằng giữa sự linh hoạt trong thứ tự tạo token và sự cần thiết của việc khám phá các đường dẫn suy luận quan trọng.
  • Khám phá tác động của việc huấn luyện JustGRPO trên các kiến trúc dLLM khác nhau và các nhiệm vụ không liên quan đến suy luận để đánh giá tính tổng quát của nó.

2. Patent:​

  • Một phương pháp tạo văn bản thông minh trên điện thoại di động, trong đó các mô hình ngôn ngữ được thiết kế để luôn giải quyết các phần khó của câu hỏi hoặc câu văn trước, giúp các ứng dụng trên điện thoại đưa ra câu trả lời chính xác và có logic hơn.
  • Một hệ thống gợi ý và tự động hoàn thành văn bản trên điện thoại, ưu tiên các từ hoặc cụm từ quan trọng cho mạch suy luận, giúp người dùng xây dựng các câu và đoạn văn có ý nghĩa rõ ràng và đầy đủ hơn.
  • Một công nghệ nâng cao khả năng của trợ lý ảo trên điện thoại thông minh, cho phép mô hình ngôn ngữ hiểu và giải quyết các vấn đề toán học hoặc lập trình phức tạp bằng cách buộc nó phải tuân theo một trình tự suy luận cụ thể, từ đó cung cấp các bước giải chi tiết và chính xác.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.15165
ArXiv Abstracthttps://arxiv.org/abs/2601.15165
PDF Downloadhttps://arxiv.org/pdf/2601.15165.pdf
Github Repositoryhttps://github.com/LeapLabTHU/JustGRPO

5. BayesianVLA: Bayesian Decomposition of Vision Language Action Models via Latent Action Queries (54 votes)​

Tác giả: Shijie Lian, Bin Yu, Xiaopeng Lin, Laurence T. Yang, Zhaolong Shen, Changti Wu, Yuzhuo Miao, Cong Huang, Kai Chen

Xuất bản lúc: 2026-01-21

Tag: Vision-Language-Action, Robot Manipulation, Bayesian Decomposition, Information Collapse, Generalization

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) hiện tại thường gặp khó khăn trong việc khái quát hóa sang các hướng dẫn mới hoặc các kịch bản đa nhiệm phức tạp, đặc biệt trong môi trường ngoài phân phối (OOD). Vấn đề cốt lõi được xác định là "Information Collapse" (Sụp đổ Thông tin), nơi dữ liệu thu thập theo định hướng mục tiêu khiến các hướng dẫn ngôn ngữ trở nên dễ đoán từ các quan sát hình ảnh. Điều này làm cho thông tin tương hỗ có điều kiện giữa hướng dẫn và hành động biến mất, khiến các mô hình bỏ qua các ràng buộc ngôn ngữ và hoạt động như các chính sách chỉ dựa vào thị giác ("vision-only policies"), dẫn đến thất bại trong các cài đặt OOD.

II. Main Idea:​

Bài báo đề xuất BayesianVLA, một khuôn khổ mới để giải quyết vấn đề "Information Collapse" bằng cách thực thi việc tuân thủ hướng dẫn thông qua phân rã Bayesian. Phương pháp này giới thiệu "Latent Action Queries" (Truy vấn Hành động Ẩn), các token học được, để xây dựng một kiến trúc hai nhánh. Nhánh Priori ước tính một phân phối tiên nghiệm chỉ dựa vào thị giác p(a|v), trong khi nhánh Posteriori ước tính chính sách hậu nghiệm có điều kiện ngôn ngữ π(a|v, ℓ). Mô hình được tối ưu hóa để tối đa hóa Thông tin Tương hỗ Pointwise có điều kiện (PMI) giữa hành động và hướng dẫn, tương đương với việc tối đa hóa Tỷ lệ Khả năng Logarit (LLR), hiệu quả trong việc phạt "phím tắt thị giác" (vision shortcut) và thưởng cho các hành động giải thích rõ ràng lệnh ngôn ngữ.

III. Main Results:​

  1. Xác định "Vision Shortcut": Bài báo cung cấp bằng chứng thực nghiệm về "phím tắt thị giác" trong huấn luyện VLA hiện tại, cho thấy các mô hình tiêu chuẩn thường bỏ qua ngôn ngữ để ưu tiên các tương quan thị giác cụ thể của bộ dữ liệu.
  2. Cải thiện khái quát hóa OOD: BayesianVLA cải thiện đáng kể khả năng khái quát hóa mà không cần dữ liệu mới.
  3. Hiệu suất vượt trội: Mô hình đạt được những cải thiện đáng kể trên các bộ tiêu chuẩn SimplerEnv và RoboCasa, bao gồm mức tăng 11.3% ấn tượng trong khả năng khái quát hóa OOD trên SimplerEnv, xác nhận khả năng của phương pháp này trong việc gắn kết ngôn ngữ vào hành động một cách mạnh mẽ.

IV. Conclusion & Future Works:​

BayesianVLA là một khuôn khổ hiệu quả để giải quyết vấn đề "Information Collapse" và "vision shortcut" trong các mô hình Vision-Language-Action, bằng cách thực thi sự tuân thủ hướng dẫn thông qua phân rã Bayesian và tối đa hóa thông tin tương hỗ. Phương pháp này sử dụng Latent Action Queries và kiến trúc hai nhánh để học các chính sách mạnh mẽ, có khả năng khái quát hóa mà không cần dữ liệu mới, cải thiện đáng kể hiệu suất trong các kịch bản ngoài phân phối. Hướng nghiên cứu tiếp theo có thể bao gồm việc mở rộng ứng dụng cho các tác vụ phức tạp hơn hoặc khám phá sự kết hợp với các hình thức học tập liên tục để tăng cường khả năng thích ứng của robot.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu việc tích hợp BayesianVLA với các mô hình dự đoán trạng thái thế giới để cải thiện khả năng lập kế hoạch dài hạn và giải quyết nhiệm vụ trong các môi trường không xác định.
  2. Khám phá ảnh hưởng của việc tự động tạo Latent Action Queries thích ứng với độ phức tạp của nhiệm vụ hoặc ngữ cảnh để tối ưu hóa hiệu suất mô hình.
  3. Đánh giá khả năng của BayesianVLA trong việc chuyển giao kiến thức qua các miền robot khác nhau, chẳng hạn như từ robot công nghiệp sang robot dịch vụ hoặc ngược lại.

2. Patent:​

  1. Một hệ thống điều khiển thông minh cho thiết bị gia dụng, cho phép người dùng đưa ra các lệnh bằng giọng nói hoặc văn bản, được camera trên thiết bị phân tích ngữ cảnh hình ảnh để thực hiện các thao tác phức tạp, ví dụ như "dọn dẹp bàn" khi thấy đồ ăn rơi vãi.
  2. Phương pháp cho phép điện thoại thông minh hiểu và thực hiện các hướng dẫn của người dùng trong các ứng dụng phức tạp, bằng cách phân tích hình ảnh trên màn hình và lời nói để suy luận chuỗi hành động thích hợp, vượt qua các lệnh mặc định.
  3. Công nghệ hỗ trợ người khuyết tật sử dụng điện thoại, nơi một giao diện người dùng dựa trên camera và giọng nói sẽ giải thích môi trường xung quanh và ý định của người dùng để thực hiện các chức năng của điện thoại, như "gọi cho mẹ" khi thấy hình ảnh của mẹ trong danh bạ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.15197
ArXiv Abstracthttps://arxiv.org/abs/2601.15197
PDF Downloadhttps://arxiv.org/pdf/2601.15197.pdf
Github Repositoryhttps://github.com/ZGC-EmbodyAI/BayesianVLA

6. Scaling Text-to-Image Diffusion Transformers with Representation Autoencoders (48 votes)​

Tác giả: Shengbang Tong, Boyang Zheng, Ziteng Wang, Bingda Tang, Nanye Ma, Ellis Brown, Jihan Yang, Rob Fergus, Yann LeCun, Saining Xie

Xuất bản lúc: 2026-01-22

Tag: Diffusion Models, Text-to-Image, Autoencoders, Representation Learning, Generative AI

I. Main Problem:​

Vấn đề cốt lõi mà bài nghiên cứu đề cập là việc mở rộng quy mô (scaling) các Representation Autoencoders (RAEs), vốn đã chứng minh ưu điểm trong mô hình khuếch tán trên tập dữ liệu ImageNet có kiểm soát, để áp dụng cho tác vụ tạo sinh văn bản thành hình ảnh (Text-to-Image - T2I) quy mô lớn, tự do. Cụ thể, bài báo đặt ra câu hỏi liệu RAE có thể xử lý sự đa dạng hình ảnh rộng lớn, các thành phần mở và quy mô mô hình lớn hơn trong T2I so với VAE truyền thống hay không, đồng thời phân tích các lựa chọn thiết kế RAE nào vẫn quan trọng khi mở rộng quy mô.

II. Main Idea:​

Giải pháp được đề xuất là điều tra khả năng mở rộng của RAE cho tác vụ tạo sinh T2I quy mô lớn bằng các bước sau:

  1. Mở rộng bộ giải mã RAE: Đào tạo bộ giải mã RAE trên bộ mã hóa biểu diễn cố định (frozen representation encoder - SigLIP-2) sử dụng dữ liệu đa dạng hơn ImageNet, bao gồm dữ liệu web, tổng hợp và kết xuất văn bản, để cải thiện khả năng tổng quát hóa và tái tạo các miền cụ thể như văn bản.
  2. Đánh giá và đơn giản hóa thiết kế RAE: Kiểm tra nghiêm ngặt các lựa chọn thiết kế RAE ban đầu được đề xuất cho ImageNet (như lên lịch nhiễu phụ thuộc vào kích thước, diffusion heads rộng, giải mã tăng cường nhiễu) để xác định yếu tố nào còn quan trọng khi mở rộng quy mô.
  3. So sánh RAE với VAE: Thực hiện so sánh có kiểm soát giữa RAE và VAE tiên tiến (FLUX VAE) trên các quy mô transformer khuếch tán khác nhau (từ 0.5B đến 9.8B tham số) trong giai đoạn tiền đào tạo và tinh chỉnh.
  4. Khám phá mô hình hợp nhất: Điều tra khả năng hiểu biết và tạo sinh hình ảnh hoạt động trong một không gian biểu diễn chung, mở ra tiềm năng cho các mô hình đa phương thức hợp nhất.

III. Main Results:​

Những phát hiện chính bao gồm:

  1. Hiệu quả của dữ liệu: Trong khi mở rộng quy mô dữ liệu cải thiện độ trung thực tổng thể, thành phần dữ liệu mục tiêu (đặc biệt là dữ liệu dành riêng cho văn bản) là rất cần thiết cho các miền cụ thể như văn bản.
  2. Đơn giản hóa thiết kế RAE: Việc mở rộng quy mô làm đơn giản hóa khung RAE: lên lịch nhiễu phụ thuộc vào kích thước vẫn rất quan trọng, nhưng các phức tạp kiến trúc như diffusion heads rộng và giải mã tăng cường nhiễu mang lại lợi ích không đáng kể ở quy mô lớn.
  3. Hiệu suất vượt trội của RAE so với VAE:
    • RAE liên tục vượt trội hơn VAE trong giai đoạn tiền đào tạo ở tất cả các quy mô mô hình, hội tụ nhanh hơn đáng kể (ví dụ: nhanh hơn 4.0 lần trên GenEval và 4.6 lần trên DPG-Bench cho mô hình 1.5B LLM + 2.4B DiT).
    • Trong giai đoạn tinh chỉnh, các mô hình dựa trên VAE bị overfitting trầm trọng sau 64 epochs, trong khi mô hình RAE duy trì ổn định qua 256 epochs và đạt hiệu suất tốt hơn.
    • Các mô hình khuếch tán dựa trên RAE cho thấy hội tụ nhanh hơn và chất lượng tạo sinh tốt hơn.
  4. Tiềm năng mô hình hợp nhất: Việc thêm đào tạo tạo sinh không làm giảm hiệu suất hiểu biết, và không gian tiềm ẩn chung cho phép mô hình ngôn ngữ lớn (LLM) suy luận trực tiếp trên các tiềm ẩn được tạo ra, mở ra các khả năng mới cho mô hình hợp nhất.

IV. Conclusion & Future Works:​

RAE cung cấp một nền tảng đơn giản và mạnh mẽ hơn VAE để đào tạo các mô hình khuếch tán văn bản thành hình ảnh quy mô lớn. Chúng mang lại một con đường đơn giản nhưng hiệu quả để mở rộng quy mô tạo sinh trong không gian biểu diễn ngữ nghĩa. Các công trình trong tương lai sẽ tập trung vào việc tận dụng khả năng của mô hình đa phương thức suy luận trực tiếp trên các không gian tiềm ẩn được tạo ra. Các tác giả cam kết phát hành mã nguồn, dữ liệu và các điểm kiểm tra mô hình để thúc đẩy nghiên cứu mở và có thể tái tạo.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cách tối ưu hóa thành phần dữ liệu đào tạo cho các miền cụ thể trong mô hình văn bản thành hình ảnh sử dụng RAE, đặc biệt là các miền ít dữ liệu.
  2. Khám phá việc áp dụng RAE trong các tác vụ tạo sinh đa phương thức khác như tạo video từ văn bản hoặc tạo mô hình 3D.
  3. Phát triển các phương pháp mới để tận dụng không gian biểu diễn chung của RAE cho các tác vụ hiểu biết và tạo sinh hình ảnh phức tạp hơn, ví dụ như chỉnh sửa hình ảnh dựa trên ngôn ngữ trong không gian latent.

2. Patent:​

  1. Một hệ thống điện thoại thông minh tích hợp tính năng tạo hình ảnh chất lượng cao từ mô tả văn bản bằng cách sử dụng một bộ mã hóa biểu diễn hình ảnh đã được đào tạo và một bộ giải mã được tối ưu hóa cho dữ liệu đa dạng.
  2. Một ứng dụng trên điện thoại di động cho phép người dùng tùy chỉnh và sửa đổi các yếu tố trong hình ảnh hiện có thông qua các lệnh văn bản, thực hiện các thay đổi trực tiếp trong không gian biểu diễn ngữ nghĩa của hình ảnh.
  3. Một công nghệ trên thiết bị di động để tạo ra các hiệu ứng hình ảnh độc đáo hoặc biểu tượng cá nhân hóa cho tin nhắn và mạng xã hội, dựa trên các mô tả văn bản ngắn gọn, với khả năng học hỏi và thích nghi theo phong cách người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.16208
ArXiv Abstracthttps://arxiv.org/abs/2601.16208
PDF Downloadhttps://arxiv.org/pdf/2601.16208.pdf
Github Repositoryhttps://github.com/ZitengWangNYU/Scale-RAE

7. Stable-DiffCoder: Pushing the Frontier of Code Diffusion Large Language Model (46 votes)​

Tác giả: Chenghao Fan, Wen Heng, Bo Li, Sichen Liu, Yuxuan Song, Jing Su, Xiaoye Qu, Kai Shen, Wei Wei

Xuất bản lúc: 2026-01-22

Tag: Diffusion, Large Language Models, Code Generation, Continual Pretraining, Code Modeling

I. Main Problem:​

Mặc dù các mô hình ngôn ngữ tự hồi quy (AR) đã đạt được kết quả tốt trong tạo mã, phương pháp giải mã tuần tự từ trái sang phải của chúng không tận dụng được bản chất phi tự hồi quy của mã, nơi các nhà phát triển thường điền vào các phần thiếu, sửa đổi hoặc tạo các khối độc lập. Các mô hình ngôn ngữ dựa trên Diffusion (DLLM) hiện có cho mã vẫn còn kém hiệu quả so với các mô hình AR mạnh mẽ khi cùng ngân sách. Vấn đề chính là liệu diffusion có thể cải thiện chất lượng mô hình mã một cách có hệ thống hay không, đặc biệt khi các nghiên cứu trước thường thay đổi đồng thời dữ liệu, kiến trúc và quy trình huấn luyện, làm khó khăn trong việc đánh giá tác động thực sự của diffusion.

II. Main Idea:​

Nghiên cứu này giới thiệu Stable-DiffCoder, một mô hình mã diffusion theo khối được thiết kế để nâng cao khả năng mô hình hóa mã. Mô hình này tái sử dụng kiến trúc, dữ liệu và quy trình huấn luyện từ mô hình AR Seed-Coder để đảm bảo một nghiên cứu có kiểm soát. Để tối ưu hóa việc học kiến thức và đảm bảo huấn luyện ổn định, Stable-DiffCoder tích hợp một giai đoạn tiền huấn luyện liên tục (CPT) dựa trên block diffusion. Giai đoạn này được tăng cường bởi một quy trình khởi động (warmup) được điều chỉnh và một lịch trình nhiễu cắt theo khối (block-wise clipped noise schedule). Phương pháp này nhằm mục đích tập trung vào các ngữ cảnh "chế độ suy luận" (reasoning regime), nơi ngữ cảnh cung cấp thông tin mạnh mẽ để dự đoán token, giúp mô hình học các quy tắc cơ bản thay vì chỉ ghi nhớ các sự kiện đồng xuất hiện nhiễu.

III. Main Results:​

Stable-DiffCoder đã chứng minh hiệu suất vượt trội so với đối tác AR của nó (Seed-Coder) trên một loạt các điểm chuẩn về mã, mặc dù sử dụng cùng dữ liệu và kiến trúc. Chỉ với các giai đoạn CPT và tinh chỉnh có giám sát, Stable-DiffCoder đạt được kết quả mạnh mẽ hơn nhiều so với nhiều mô hình AR và DLLM quy mô khoảng 8B khác. Các chỉ số hiệu suất trên các điểm chuẩn như LiveCodeBench, BigCodeBench, Humaneval, MBPP, CanItEdit, MBXP, MHPP đều cho thấy Stable-DiffCoder-8B-Instruct dẫn đầu trong nhiều trường hợp. Điều này cho thấy rằng, với thiết kế huấn luyện và chương trình học phù hợp, các mô hình ngôn ngữ diffusion không chỉ có thể sánh kịp mà còn vượt trội hơn các mô hình tự hồi quy về chất lượng hiểu và tạo mã. Hơn nữa, mô hình hóa theo bất kỳ thứ tự nào dựa trên diffusion cải thiện khả năng mô hình hóa mã có cấu trúc cho các tác vụ chỉnh sửa và suy luận, đồng thời mang lại lợi ích cho các ngôn ngữ lập trình ít tài nguyên thông qua tăng cường dữ liệu.

IV. Conclusion & Future Works:​

Stable-DiffCoder đã chứng minh một cách thuyết phục rằng việc huấn luyện dựa trên diffusion có thể cải thiện chất lượng mô hình hóa mã vượt xa các phương pháp tự hồi quy truyền thống, đặc biệt khi được thiết kế để học kiến thức hiệu quả và huấn luyện ổn định. Hướng nghiên cứu tiếp theo có thể bao gồm việc khám phá sâu hơn cách tối ưu hóa các chế độ huấn luyện diffusion để trích xuất thông tin tối đa từ các mẫu mã hiếm và chất lượng cao. Đồng thời, cần nghiên cứu thêm về việc ứng dụng mô hình hóa theo bất kỳ thứ tự nào trong các tác vụ mã hóa phức tạp hơn và cách giảm thiểu chi phí tính toán của việc che mặt ngẫu nhiên trong khi vẫn duy trì các lợi ích về tái sử dụng dữ liệu.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu ảnh hưởng của các phương pháp tạo nhiễu và khởi tạo huấn luyện khác nhau lên khả năng học và sự ổn định của các mô hình diffusion trong môi trường phát triển mã.
  • Phát triển một khuôn khổ định lượng để phân loại và tối ưu hóa các ngữ cảnh huấn luyện dựa trên "chế độ suy luận" nhằm nâng cao hiệu quả của các mô hình diffusion trong việc hiểu mã.
  • Khám phá các kiến trúc Transformer lai kết hợp tốt nhất các cơ chế attention tự hồi quy và diffusion để tối ưu hóa việc tạo và sửa đổi mã phức tạp.

2. Patent:​

  • Một hệ thống trợ lý lập trình thông minh trên điện thoại có khả năng gợi ý mã và tự động sửa lỗi theo ngữ cảnh, tận dụng khả năng tạo mã phi tuần tự của mô hình dựa trên quy trình khuếch tán để cải thiện tốc độ phản hồi.
  • Một phương pháp tạo các biến thể mã phần mềm độc đáo và hiệu quả trên thiết bị di động để tối ưu hóa hiệu suất ứng dụng hoặc tăng cường bảo mật, dựa trên khả năng tái sử dụng dữ liệu mã và tạo ra các mẫu mới từ mô hình dựa trên quy trình khuếch tán.
  • Một tính năng chỉnh sửa mã thông minh trên điện thoại cho phép người dùng thay đổi các đoạn mã lớn hoặc cấu trúc dữ liệu phức tạp một cách trực quan, với mô hình dựa trên quy trình khuếch tán hỗ trợ dự đoán và điền vào các phần thiếu một cách hợp lý và nhanh chóng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.15892
ArXiv Abstracthttps://arxiv.org/abs/2601.15892
PDF Downloadhttps://arxiv.org/pdf/2601.15892.pdf
Github Repositoryhttps://github.com/ByteDance-Seed/Stable-DiffCoder

8. SAMTok: Representing Any Mask with Two Words (37 votes)​

Tác giả: Yikang Zhou, Tao Zhang, Dengxian Gong, Yuanzheng Wu, Ye Tian, Haochen Wang, Haobo Yuan, Jiacong Wang, Lu Qi, Hao Fei, Anran Wang, Zhuochen Wang, Yujing Wang, Cheng Chen, Shunping Ji, Xiangtai Li

Xuất bản lúc: 2026-01-22

Tag: Multi-modal Large Language Models, Image Segmentation, Tokenization, Reinforcement Learning, Vision Language Models

I. Main Problem:​

Các mô hình ngôn ngữ lớn đa phương thức (MLLM) hiện tại gặp khó khăn trong việc mở rộng khả năng xử lý cấp độ pixel (như phân đoạn hình ảnh) do kiến trúc phức tạp (bộ mã hóa cấp vùng, bộ giải mã phân đoạn chuyên biệt), mục tiêu huấn luyện không tương thích, chi phí suy luận cao cho các phương pháp mã hóa mask hiện có, và khó khăn trong việc áp dụng học tăng cường (RL) trực tiếp cho tác vụ tạo mask do sử dụng nhúng liên tục.

II. Main Idea:​

Bài báo đề xuất SAMTok, một bộ mã hóa mask rời rạc, có khả năng chuyển đổi bất kỳ mask vùng nào thành hai token đặc biệt dạng văn bản và tái tạo mask đó với độ chính xác cao. SAMTok coi các mask như các token ngôn ngữ mới, cho phép các MLLM cơ sở (ví dụ: dòng QwenVL) học các khả năng cấp độ pixel thông qua dự đoán token tiếp theo tiêu chuẩn và học tăng cường đơn giản, mà không cần sửa đổi kiến trúc hay thiết kế hàm mất mát chuyên biệt. SAMTok được xây dựng dựa trên SAM2, huấn luyện trên 209 triệu mask và sử dụng bộ mã hóa mask cùng bộ lượng tử hóa vector dư để tạo ra các token rời rạc, nhỏ gọn và giàu thông tin. Ngoài ra, bài báo giới thiệu một phần thưởng khớp câu trả lời bằng văn bản để hỗ trợ học tăng cường hiệu quả cho việc tạo mask.

III. Main Results:​

  • QwenVL-SAMTok (MLLM dòng QwenVL được tích hợp SAMTok) đạt hiệu suất dẫn đầu hoặc tương đương trên nhiều tác vụ hiểu và tạo mask cấp độ pixel, bao gồm chú thích vùng, VQA vùng, hội thoại có căn cứ, phân đoạn tham chiếu, phân tích biểu đồ cảnh, và phân đoạn tương tác đa vòng.
  • QwenVL-SAMTok chứng minh cải thiện đáng kể trên bộ dữ liệu kiểm định GRES (tăng 8.9% gIoU và 21.0% N-acc) và GCG (tăng 4.7% AP50 và 6.6% Recall) nhờ học tăng cường với phần thưởng khớp câu trả lời bằng văn bản, vượt qua các phương pháp tiên tiến trước đó.
  • SAMTok có thể nén mask thành hai token rời rạc và tái tạo chúng một cách trung thực trên nhiều miền thị giác khác nhau, giảm chi phí suy luận đáng kể so với các phương pháp trước đây.

IV. Conclusion & Future Works:​

SAMTok cung cấp một mô hình đơn giản và có khả năng mở rộng để trang bị cho các MLLM những khả năng xử lý cấp độ pixel mạnh mẽ bằng cách xử lý mask như một ngôn ngữ mới. Điều này loại bỏ nhu cầu về các sửa đổi kiến trúc phức tạp hay các hàm mất mát chuyên biệt, làm cho quá trình học trở nên giống như việc học ngôn ngữ tự nhiên. Hướng nghiên cứu tiếp theo có thể tập trung vào việc khám phá các ứng dụng rộng hơn của việc biểu diễn mask dưới dạng token ngôn ngữ và tối ưu hóa thêm quá trình học tăng cường cho các tác vụ tạo mask phức tạp.

V. Brainstorming Space:​

1. Publish Papers:​

  • Phát triển một phương pháp mã hóa mask hiệu quả hơn nữa, sử dụng ít hơn hai token hoặc mã hóa thông tin phong phú hơn trong cùng số lượng token để giảm chi phí suy luận.
  • Nghiên cứu ứng dụng của SAMTok trong các lĩnh vực chuyên biệt như y tế, nơi việc phân đoạn chính xác và tương tác là rất quan trọng cho chẩn đoán hình ảnh.
  • Mở rộng khả năng của SAMTok để không chỉ biểu diễn mask nhị phân mà còn các dạng biểu diễn vùng phức tạp hơn như mask độ sâu hoặc dữ liệu không gian 3D.

2. Patent:​

  • Một hệ thống trợ lý ảo trên điện thoại thông minh cho phép người dùng khoanh vùng một đối tượng trên ảnh và yêu cầu mô tả hoặc thực hiện hành động liên quan đến đối tượng đó bằng giọng nói hoặc văn bản.
  • Một ứng dụng chỉnh sửa ảnh trên thiết bị di động cho phép người dùng dễ dàng chọn và chỉnh sửa các vùng đối tượng cụ thể trong ảnh bằng cách sử dụng các câu lệnh ngôn ngữ tự nhiên.
  • Công nghệ nhận diện và tương tác với vật thể trong môi trường thực tế ảo tăng cường trên điện thoại, cho phép người dùng chỉ vào một vật thể qua camera và nhận thông tin hoặc thực hiện các tác vụ liên quan thông qua đối thoại ngôn ngữ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.16093
ArXiv Abstracthttps://arxiv.org/abs/2601.16093
PDF Downloadhttps://arxiv.org/pdf/2601.16093.pdf
Github Repositoryhttps://github.com/bytedance/Sa2VA/tree/main/projects/samtok

9. Learning to Discover at Test Time (35 votes)​

Tác giả: Mert Yuksekgonul, Daniel Koceja, Xinhao Li, Federico Bianchi, Jed McCaleb, Xiaolong Wang, Jan Kautz, Yejin Choi, James Zou, Carlos Guestrin, Yu Sun

Xuất bản lúc: 2026-01-22

Tag: Reinforcement Learning, Large Language Models, Scientific Discovery, Test-Time Training, Continual Learning, Optimization

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là làm thế nào để sử dụng trí tuệ nhân tạo, đặc biệt là các Mô hình Ngôn ngữ lớn (LLM), để khám phá các giải pháp tiên tiến (state-of-the-art - SOTA) cho các bài toán khoa học khó. Những bài toán này đòi hỏi các ý tưởng nằm ngoài dữ liệu huấn luyện của mô hình và thậm chí cả kiến thức hiện có của nhân loại. Các phương pháp trước đây chủ yếu dựa vào việc tìm kiếm bằng cách gợi ý cho một LLM đã đóng băng, không cho phép mô hình học hỏi và cải thiện từ kinh nghiệm cụ thể của bài toán thử nghiệm.

II. Main Idea:​

Bài báo đề xuất phương pháp "Test-Time Training to Discover" (TTT-Discover). Ý tưởng chính là thực hiện học tăng cường (Reinforcement Learning - RL) ngay trong thời gian thử nghiệm (test time), cho phép LLM tiếp tục được huấn luyện với kinh nghiệm cụ thể từ bài toán đang được giải. Hình thức học liên tục này đặc biệt vì mục tiêu của nó là tạo ra một giải pháp xuất sắc duy nhất cho một vấn đề cụ thể, thay vì nhiều giải pháp tốt trung bình hoặc tổng quát hóa sang các vấn đề khác. Do đó, hàm mục tiêu học và quy trình tìm kiếm được thiết kế để ưu tiên các giải pháp hứa hẹn nhất. TTT-Discover cũng sử dụng các kỹ thuật tái sử dụng trạng thái và trạng thái-hành động để tận dụng các nỗ lực trước đó.

III. Main Results:​

TTT-Discover đã thiết lập trạng thái nghệ thuật mới trong hầu hết các vấn đề mà nó thử nghiệm, bao gồm:

  • Toán học: Đạt được kết quả mới cho vấn đề chồng chéo tối thiểu của Erdős và một bất đẳng thức tự tương quan.
  • Kỹ thuật hạt nhân GPU: Cải thiện hiệu suất kernel GPUMode lên tới 2 lần so với phương pháp trước đây (ví dụ, thời gian chạy trên H100 giảm từ 1371µs xuống 1161µs).
  • Thiết kế thuật toán: Vượt qua các kết quả trước đây trong các cuộc thi thuật toán AtCoder.
  • Sinh học: Cải thiện bài toán khử nhiễu trong phân tích đơn bào (nâng cao chỉ số từ 0.64 lên 0.71). Tất cả các kết quả này đạt được với một mô hình nguồn mở (OpenAI gpt-oss-120b) và có thể được tái tạo với chi phí thấp (vài trăm đô la cho mỗi bài toán), khác với các phương pháp tốt nhất trước đây đòi hỏi các mô hình độc quyền.

IV. Conclusion & Future Works:​

TTT-Discover cho thấy tiềm năng của việc huấn luyện liên tục các Mô hình Ngôn ngữ lớn trong thời gian thử nghiệm để giải quyết các vấn đề khoa học phức tạp, đặc biệt là khi mục tiêu là khám phá một giải pháp tối ưu duy nhất. Bằng cách điều chỉnh mục tiêu học và quy trình tìm kiếm để ưu tiên các giải pháp hứa hẹn nhất, phương pháp này có thể vượt qua giới hạn của các mô hình đóng băng và đạt được những đột phá mới. Bài báo không đề cập trực tiếp đến các hướng nghiên cứu tương lai cụ thể ngoài việc so sánh với các nghiên cứu đồng thời, nhưng ngụ ý rằng phương pháp này mở ra một con đường mới cho việc giải quyết các vấn đề ngoài phân phối trong khoa học và kỹ thuật.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu việc áp dụng TTT-Discover cho các bài toán khám phá khoa học với phần thưởng thưa thớt hoặc phi liên tục, cần đến các kỹ thuật học tăng cường đặc biệt hơn.
  • Khám phá cách tích hợp tri thức miền sâu hơn từ các chuyên gia con người vào quá trình huấn luyện thời gian thử nghiệm của TTT-Discover để tăng tốc độ khám phá.
  • Đánh giá hiệu quả của TTT-Discover khi sử dụng các mô hình ngôn ngữ lớn có quy mô và kiến trúc khác nhau để xác định khả năng mở rộng của phương pháp.

2. Patent:​

  • Một hệ thống trên điện thoại di động có thể tự động tối ưu hóa các thiết lập mạng không dây hoặc kết nối dữ liệu của thiết bị để đạt được tốc độ và độ ổn định tốt nhất tại mọi vị trí, học hỏi từ các kết quả thử nghiệm liên tục.
  • Một ứng dụng trợ lý sức khỏe trên điện thoại có khả năng thiết kế và điều chỉnh các bài tập hoặc kế hoạch dinh dưỡng cá nhân hóa, liên tục học hỏi từ phản hồi của người dùng và dữ liệu cảm biến để tìm ra phương pháp cải thiện sức khỏe hiệu quả nhất.
  • Một công cụ trên điện thoại thông minh cho phép người dùng mô tả một tác vụ tự động hóa đơn giản, sau đó trí tuệ nhân tạo sẽ tự động tạo và tinh chỉnh mã lệnh hoặc quy trình để thực hiện tác vụ đó một cách hiệu quả nhất trên thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.16175
ArXiv Abstracthttps://arxiv.org/abs/2601.16175
PDF Downloadhttps://arxiv.org/pdf/2601.16175.pdf
Github Repositoryhttps://github.com/test-time-training/discover

10. Qwen3-TTS Technical Report (32 votes)​

Tác giả: Hangrui Hu, Xinfa Zhu, Ting He, Dake Guo, Bin Zhang, Xiong Wang, Zhifang Guo, Ziyue Jiang, Hongkun Hao, Zishan Guo, Xinyu Zhang, Pei Zhang, Baosong Yang, Jin Xu, Jingren Zhou, Junyang Lin

Xuất bản lúc: 2026-01-22

Tag: Text-to-Speech, Multilingual, Voice Cloning, Streaming, Controllable, Diffusion Transformer, Language Model

I. Main Problem:​

Bài báo giải quyết nhu cầu về một hệ thống tổng hợp giọng nói ổn định, có thể kiểm soát và giống con người, với khả năng tích hợp liền mạch với các mô hình ngôn ngữ lớn (LLM) và đạt độ trễ gói đầu tiên cực thấp. Các thách thức bao gồm việc tạo ra giọng nói tự nhiên, duy trì kiểm soát chi tiết về ngữ điệu và phong cách, cũng như khắc phục hạn chế của các bộ mã hóa giọng nói hiện có (như thiếu khả năng diễn đạt hoặc quá nhiều chi tiết cấp thấp làm phức tạp mô hình hóa LLM).

II. Main Idea:​

Qwen3-TTS là một dòng mô hình Text-to-Speech (TTS) tiên tiến, đa ngôn ngữ, có thể kiểm soát, mạnh mẽ và hỗ trợ phát trực tuyến. Mô hình này hỗ trợ sao chép giọng nói chỉ trong 3 giây và điều khiển dựa trên mô tả, cho phép tạo giọng nói mới hoàn toàn hoặc điều chỉnh chi tiết giọng nói đầu ra. Được đào tạo trên hơn 5 triệu giờ dữ liệu giọng nói thuộc 10 ngôn ngữ, Qwen3-TTS sử dụng kiến trúc LM hai đường dẫn cho tổng hợp thời gian thực, kết hợp với hai bộ mã hóa giọng nói (tokenizer): Qwen-TTS-Tokenizer-25Hz (codec một codebook nhấn mạnh nội dung ngữ nghĩa, tái tạo dạng sóng qua DiT theo khối) và Qwen-TTS-Tokenizer-12Hz (giảm bitrate cực cao, độ trễ cực thấp 97 ms, thiết kế đa codebook 12.5 Hz với ConvNet đơn giản). Quá trình đào tạo bao gồm ba giai đoạn tiền đào tạo (chung, chất lượng cao, ngữ cảnh dài) và ba giai đoạn hậu đào tạo (tối ưu hóa theo sở thích trực tiếp DPO, GSPO, tinh chỉnh giọng nói).

III. Main Results:​

Qwen3-TTS đạt hiệu suất vượt trội trên nhiều tiêu chuẩn khách quan và chủ quan. Mô hình này thiết lập trạng thái nghệ thuật mới trong sao chép giọng nói zero-shot, đạt tỷ lệ lỗi từ thấp nhất trên chuẩn Seed-TTS và độ tương đồng giọng nói vượt trội trên 10 ngôn ngữ so với các hệ thống thương mại như MiniMax và ElevenLabs. Trong các kịch bản đa ngôn ngữ, Qwen3-TTS thể hiện khả năng thích ứng đặc biệt, giảm đáng kể tỷ lệ lỗi trong các cặp ngôn ngữ khó như Trung-Hàn. Về khả năng kiểm soát, Qwen3-TTS xuất sắc trong việc tuân theo các hướng dẫn ngôn ngữ tự nhiên phức tạp để thiết kế và điều khiển giọng nói, vượt trội hơn GPT-4o-mini-tts. Mô hình cũng cho thấy sự ổn định đáng kể trong việc tạo giọng nói dài, có khả năng tổng hợp hơn 10 phút giọng nói tự nhiên và trôi chảy, với độ trễ gói đầu tiên chỉ 97 ms.

IV. Conclusion & Future Works:​

Qwen3-TTS là một bước tiến quan trọng hướng tới tổng hợp giọng nói ổn định, có thể kiểm soát và giống con người, với các tính năng đa ngôn ngữ, sao chép giọng nói hiệu quả, khả năng kiểm soát chi tiết và phát trực tuyến độ trễ thấp. Việc phát hành toàn bộ các mô hình và bộ mã hóa Qwen3-TTS dưới giấy phép Apache 2.0 nhằm mục đích khuyến khích nghiên cứu và phát triển trong cộng đồng, mở đường cho những cải tiến và ứng dụng đa dạng hơn trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu sâu hơn về tác động của các chiến lược kết hợp codebook ngữ nghĩa và âm thanh trong tokenizer đối với khả năng biểu cảm và độ tự nhiên của giọng nói trong các ngôn ngữ có cấu trúc khác nhau.
  2. Phát triển một phương pháp mới để định lượng và cải thiện tính ổn định của việc tổng hợp giọng nói dài hạn, đặc biệt khi xử lý các thay đổi cảm xúc hoặc ngữ điệu đột ngột.
  3. Khám phá các kiến trúc mô hình ngôn ngữ thay thế cho tổng hợp giọng nói hai đường dẫn, tập trung vào việc tối ưu hóa hiệu quả tính toán và giảm thiểu độ trễ cho các ứng dụng thời gian thực trên thiết bị biên.

2. Patent:​

  1. Một hệ thống trên điện thoại di động cho phép người dùng tùy chỉnh giọng nói cho tin nhắn văn bản đến, chuyển đổi chúng thành giọng nói giống hệt giọng của người gửi ban đầu với độ trễ tối thiểu.
  2. Một công nghệ trên điện thoại thông minh cho phép người dùng tạo ra các "hồ sơ giọng nói" độc đáo dựa trên mô tả văn bản, sau đó sử dụng các hồ sơ này để cá nhân hóa phản hồi từ trợ lý ảo hoặc hệ thống điều hướng.
  3. Một ứng dụng điện thoại hỗ trợ chuyển đổi văn bản thành giọng nói đa ngôn ngữ thời gian thực, có khả năng sao chép và duy trì giọng điệu cá nhân của người dùng trên nhiều ngôn ngữ khác nhau mà không cần dữ liệu tham chiếu bổ sung.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.15621
ArXiv Abstracthttps://arxiv.org/abs/2601.15621
PDF Downloadhttps://arxiv.org/pdf/2601.15621.pdf
Github Repositoryhttps://github.com/QwenLM/Qwen3-TTS

11. Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces (28 votes)​

Tác giả: Mike A. Merrill, Alexander G. Shaw, Nicholas Carlini, Boxuan Li, Harsh Raj, Ivan Bercovich, Lin Shi, Jeong Yeon Shin, Thomas Walshe, E. Kelly Buchanan, Junhong Shen, Guanghao Ye, Haowei Lin, Jason Poulos, Maoyu Wang, Marianna Nezhurina, Jenia Jitsev, Di Lu, Orfeas Menis Mastromichalakis, Zhiwei Xu, Zizhao Chen, Yue Liu, Robert Zhang, Leon Liangyu Chen, Anurag Kashyap, Jan-Lucas Uslu, Jeffrey Li, Jianbo Wu, Minghao Yan, Song Bian, Vedang Sharma, Ke Sun, Steven Dillmann, Akshay Anand, Andrew Lanpouthakoun, Bardia Koopah, Changran Hu, Etash Guha, Gabriel H. S. Dreiman, Jiacheng Zhu, Karl Krauth, Li Zhong, Niklas Muennighoff, Robert Amanfu, Shangyin Tan, Shreyas Pimpalgaonkar, Tushar Aggarwal, Xiangning Lin, Xin Lan, Xuandong Zhao, Yiqing Liang, Yuanli Wang, Zilong Wang, Changzhi Zhou, David Heineman, Hange Liu, Harsh Trivedi, John Yang, Junhong Lin, Manish Shetty, Michael Yang, Nabil Omi, Negin Raoof, Shanda Li, Terry Yue Zhuo, Wuwei Lin, Yiwei Dai, Yuxin Wang, Wenhao Chai, Shang Zhou, Dariush Wahdany, Ziyu She, Jiaming Hu, Zhikang Dong, Yuxuan Zhu, Sasha Cui, Ahson Saiyed, Arinbjörn Kolbeinsson, Jesse Hu, Christopher Michael Rytting, Ryan Marten, Yixin Wang, Alex Dimakis, Andy Konwinski, Ludwig Schmidt

Xuất bản lúc: 2026-01-17

Tag: Benchmarking, AI Agents, Command Line Interface, Hard Tasks, Realistic Tasks, Evaluation Framework

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là các bộ benchmark hiện tại không đánh giá được các tác vụ thực tế hoặc không đủ độ khó để đo lường một cách có ý nghĩa khả năng của các mô hình AI tiên tiến trong việc hoàn thành các nhiệm vụ phức tạp, dài hạn trong môi trường thực tế, đặc biệt là giao diện dòng lệnh (CLI).

II. Main Idea:​

Bài báo giới thiệu Terminal-Bench 2.0, một bộ benchmark được thiết kế kỹ lưỡng bao gồm 89 tác vụ khó khăn, thực tế trong môi trường dòng lệnh máy tính, được lấy cảm hứng từ các quy trình làm việc thực tế. Mỗi tác vụ đi kèm với một môi trường độc đáo, một giải pháp được con người viết tay và các bộ kiểm thử toàn diện để xác minh. Framework này được thiết kế để đánh giá liệu các tác nhân AI có thể thực hiện các loại công việc đòi hỏi kỹ năng cao mà các chuyên gia thường làm hay không.

III. Main Results:​

Các mô hình và tác nhân AI tiên tiến hiện tại đạt được hiệu suất dưới 65% trên bộ benchmark Terminal-Bench 2.0, trong khi các mô hình nhỏ hơn chỉ đạt khoảng 15%. Một phân tích lỗi đã được tiến hành để xác định các lĩnh vực cần cải thiện cho mô hình và tác nhân. Bộ dữ liệu và công cụ đánh giá đã được công bố công khai tại tbench.ai để hỗ trợ các nhà phát triển và nghiên cứu trong công việc tương lai. Quá trình xác minh nhiệm vụ rất nghiêm ngặt, trải qua nhiều vòng đánh giá thủ công của con người, tự động hóa và kiểm toán khai thác.

IV. Conclusion & Future Works:​

Terminal-Bench 2.0 cung cấp một công cụ đánh giá quan trọng để đo lường khả năng của các tác nhân AI trong việc giải quyết các tác vụ dòng lệnh thực tế và phức tạp, cho thấy một khoảng cách đáng kể giữa năng lực hiện tại của mô hình và yêu cầu của các tác vụ chuyên nghiệp. Hướng nghiên cứu tiếp theo sẽ tập trung vào việc sử dụng các phát hiện từ phân tích lỗi để phát triển các mô hình và tác nhân AI có khả năng giải quyết tốt hơn các thách thức được xác định, từ đó cải thiện khả năng của chúng trong việc thực hiện các công việc đòi hỏi kỹ năng cao trong môi trường dòng lệnh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển các kỹ thuật mới nhằm nâng cao khả năng lập kế hoạch dài hạn và hiểu ngữ cảnh của tác nhân AI khi tương tác với các hệ thống dòng lệnh phức tạp.
  2. Nghiên cứu tác động của các chiến lược tạo lời nhắc (prompting strategies) khác nhau đối với hiệu suất của các mô hình ngôn ngữ lớn trên các tác vụ trong Terminal-Bench.
  3. Thiết kế một kiến trúc tác nhân lai kết hợp các mô hình ngôn ngữ lớn với các công cụ lập trình biểu tượng để giải quyết hiệu quả các vấn đề kỹ thuật phần mềm phức tạp.

2. Patent:​

  1. Một hệ thống trên điện thoại di động giúp người dùng thực hiện các cài đặt hệ thống phức tạp hoặc khắc phục sự cố ứng dụng bằng cách chuyển đổi yêu cầu ngôn ngữ tự nhiên thành các lệnh điều khiển thiết bị tương đương.
  2. Một ứng dụng quản lý tệp trên điện thoại thông minh cho phép người dùng tương tác và tổ chức các tệp bằng cách nhập các câu lệnh đơn giản, được một công nghệ tự động hóa xử lý và thực thi.
  3. Một công cụ hỗ trợ lập trình trên thiết bị di động có khả năng tự động sửa lỗi cú pháp hoặc logic trong mã nguồn bằng cách phân tích và đưa ra các đề xuất chỉnh sửa thông qua một giao diện văn bản.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.11868
ArXiv Abstracthttps://arxiv.org/abs/2601.11868
PDF Downloadhttps://arxiv.org/pdf/2601.11868.pdf
Github Repositoryhttps://github.com/laude-institute/terminal-bench

12. Towards Automated Kernel Generation in the Era of LLMs (16 votes)​

Tác giả: Yang Yu, Peiyu Zang, Chi Hsu Tsai, Haiming Wu, Yixin Shen, Jialing Zhang, Haoyu Wang, Zhiyou Xiao, Jingze Shi, Yuyu Luo, Wentao Zhang, Chunlei Men, Guang Liu, Yonghua Lin

Xuất bản lúc: 2026-01-22

Tag: LLMs, Autonomous Agents, Kernel Generation, Code Optimization, Supervised Fine-tuning, Reinforcement Learning, Code Generation

I. Main Problem:​

Vấn đề cốt lõi là việc phát triển các kernel hiệu quả, là các đơn vị thực thi cơ bản trên GPU, là một thách thức kỹ thuật lớn trong các hệ thống AI hiện đại. Hiệu suất của các hệ thống AI bị hạn chế bởi chất lượng của các kernel này, vốn có nhiệm vụ chuyển đổi ngữ nghĩa thuật toán cấp cao thành các hoạt động phần cứng cấp thấp. Việc tạo ra các kernel gần tối ưu đòi hỏi kiến thức chuyên gia sâu rộng về kiến trúc phần cứng và mô hình lập trình, khiến quá trình này tốn thời gian, không có khả năng mở rộng và khó tái sử dụng giữa các nền tảng khác nhau. Mặc dù có những tiến bộ nhanh chóng trong việc sử dụng LLM để tạo kernel, lĩnh vực này vẫn còn phân mảnh và thiếu một cái nhìn tổng thể có hệ thống.

II. Main Idea:​

Bài nghiên cứu này là một khảo sát nhằm giải quyết khoảng trống trong lĩnh vực tạo kernel tự động bằng cách tận dụng các mô hình ngôn ngữ lớn (LLM) và các tác nhân dựa trên LLM (LLM-based agents). Ý tưởng chính là sử dụng LLM để tổng hợp và nén kiến thức chuyên gia về kernel mà khó có thể hình thức hóa, đồng thời sử dụng các hệ thống tác nhân để cho phép tối ưu hóa có thể mở rộng thông qua một vòng lặp lặp đi lặp lại, dựa trên phản hồi. Khảo sát cung cấp một cái nhìn tổng quan có cấu trúc về các phương pháp hiện có, bao gồm các tiếp cận dựa trên LLM và quy trình tối ưu hóa tác nhân, đồng thời tổng hợp các bộ dữ liệu và tiêu chuẩn đánh giá cần thiết. Mục tiêu là thiết lập một tài liệu tham khảo toàn diện cho thế hệ tiếp theo của việc tối ưu hóa kernel tự động.

III. Main Results:​

Các phát hiện chính từ bài khảo sát bao gồm:

  • LLM được chứng minh là có khả năng nén kiến thức chuyên gia về kernel và các thông số kỹ thuật phần cứng, thu hẹp khoảng cách ngữ nghĩa giữa thuật toán và triển khai cấp thấp.
  • Các tác nhân dựa trên LLM có khả năng xuất sắc trong việc điều hướng không gian tối ưu hóa phức tạp thông qua tinh chỉnh lặp đi lặp lại, lập kế hoạch, sử dụng công cụ và đánh giá kết quả trung gian.
  • Các phương pháp chính để chuyên biệt hóa LLM cho việc tạo kernel bao gồm: tinh chỉnh có giám sát (Supervised Fine-Tuning - SFT) sử dụng các bộ dữ liệu được ghép nối (ví dụ: ConCuR, KernelLLM) và học tăng cường (Reinforcement Learning - RL) thông qua phản hồi lặp đi lặp lại và cơ chế phần thưởng (ví dụ: Kevin, AutoTriton, CUDA-L1/L2).
  • Các tiến bộ về tác nhân được phân loại theo bốn chiều cấu trúc chính: cơ chế học tập (bao gồm chiến lược tinh chỉnh lặp lại và tiến hóa dựa trên quần thể), quản lý bộ nhớ ngoài (ví dụ: AI CUDA Engineer, KernelEvolve), tích hợp hồ sơ phần cứng và điều phối đa tác nhân.
  • Bài khảo sát đã biên soạn một cơ sở hạ tầng tài nguyên hợp nhất, bao gồm các bộ dữ liệu kernel sẵn sàng để đào tạo và một bộ sưu tập tài liệu cho việc tạo sinh tăng cường truy xuất (RAG).

IV. Conclusion & Future Works:​

Sự tích hợp của LLM và các tác nhân dựa trên LLM đang nổi lên như một nền tảng đầy hứa hẹn cho thế hệ tiếp theo của các khuôn khổ tạo và tối ưu hóa kernel. Khảo sát này cung cấp một cái nhìn tổng thể có hệ thống, giải quyết tình trạng phân mảnh của lĩnh vực nghiên cứu hiện tại. Thông điệp cuối cùng là công nghệ này mở ra khả năng tự động hóa và tối ưu hóa kernel một cách có khả năng mở rộng. Hướng nghiên cứu tiếp theo sẽ tập trung vào việc xác định và giải quyết các thách thức mở quan trọng cũng như phác thảo các hướng nghiên cứu đầy hứa hẹn, nhằm thiết lập một tài liệu tham khảo toàn diện cho sự đổi mới trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc sử dụng các kỹ thuật tinh chỉnh LLM có giám sát kết hợp với học tăng cường để tối ưu hóa hiệu suất kernel trên các kiến trúc phần cứng di động cụ thể.
  2. Phát triển một khuôn khổ tác nhân LLM mới có khả năng tự động khám phá các chiến lược tối ưu hóa kernel mới lạ bằng cách sử dụng bộ nhớ ngoài động và cơ chế phản hồi thích ứng.
  3. So sánh hiệu quả của các phương pháp tạo kernel dựa trên LLM khác nhau (SFT, RL, Agent) trên một bộ benchmark đa dạng các tác vụ tính toán, tập trung vào khả năng mở rộng và tính tổng quát hóa.

2. Patent:​

  1. Một hệ thống tạo mã tối ưu tự động cho chip xử lý trong điện thoại, cho phép các ứng dụng chạy nhanh hơn và tiêu thụ ít năng lượng hơn bằng cách điều chỉnh mã phù hợp với cấu trúc phần cứng của điện thoại.
  2. Phần mềm trợ lý lập trình thông minh trên điện thoại, có khả năng gợi ý và sửa lỗi mã lệnh cấp thấp theo thời gian thực để tối ưu hiệu năng của ứng dụng di động dựa trên phân tích hiệu suất thực tế.
  3. Một công nghệ tối ưu hóa thuật toán xử lý hình ảnh và video trên điện thoại, tự động chuyển đổi các thuật toán cấp cao thành các lệnh phần cứng hiệu quả, giúp tăng tốc độ xử lý và cải thiện chất lượng ảnh mà không cần lập trình viên can thiệp sâu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.15727
ArXiv Abstracthttps://arxiv.org/abs/2601.15727
PDF Downloadhttps://arxiv.org/pdf/2601.15727.pdf
Github Repositoryhttps://github.com/flagos-ai/awesome-LLM-driven-kernel-generation

13. OpenVision 3: A Family of Unified Visual Encoder for Both Understanding and Generation (16 votes)​

Tác giả: Letian Zhang, Sucheng Ren, Yanqing Liu, Xianhang Li, Zeyu Wang, Yuyin Zhou, Huaxiu Yao, Zeyu Zheng, Weili Nie, Guilin Liu, Zhiding Yu, Cihang Xie

Xuất bản lúc: 2026-01-21

Tag: Unified Visual Encoder, Vision-Language Model, Image Understanding, Image Generation, VAE, ViT, Multimodal Learning, Representation Learning

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là sự thiếu hụt một biểu diễn hình ảnh đơn lẻ, thống nhất có thể phục vụ hiệu quả cho cả tác vụ hiểu hình ảnh (image understanding) và tạo hình ảnh (image generation). Các phương pháp hiện có thường sử dụng hai bộ mã hóa riêng biệt, làm tăng độ phức tạp của hệ thống, hoặc dựa vào các biểu diễn lượng tử hóa rời rạc, dẫn đến chất lượng tạo hình ảnh bị hạn chế. Thách thức đặt ra là phát triển một bộ mã hóa hình ảnh liên tục, đơn giản nhưng hiệu quả, có khả năng hỗ trợ tự nhiên cả hai loại tác vụ này.

II. Main Idea:​

Bài báo giới thiệu OpenVision 3, một bộ mã hóa hình ảnh thống nhất mới. Kiến trúc cốt lõi sử dụng một bộ mã hóa VAE (VAE encoder) đã được huấn luyện để nén ảnh thành các không gian tiềm ẩn (latents), sau đó các không gian tiềm ẩn này được đưa vào một bộ mã hóa ViT (ViT encoder) có thể huấn luyện. Đầu ra của bộ mã hóa ViT này là các biểu diễn thống nhất được sử dụng đồng thời cho hai nhánh riêng biệt:

  1. Nhánh tái tạo (Reconstruction branch): Bộ mã hóa ViT và bộ giải mã VAE được sử dụng để tái tạo lại hình ảnh gốc, khuyến khích biểu diễn nắm bắt cấu trúc tạo sinh ở mức pixel chất lượng cao.
  2. Nhánh hiểu (Understanding branch): Biểu diễn thống nhất được tối ưu hóa thông qua học đối lập (contrastive learning) và các mục tiêu tạo chú thích hình ảnh (image-captioning objectives), tăng cường các đặc trưng ngữ nghĩa. Bằng cách tối ưu hóa đồng thời các tín hiệu tái tạo và ngữ nghĩa trong một không gian tiềm ẩn chia sẻ, bộ mã hóa học được các biểu diễn có tính hiệp đồng và khả năng khái quát hóa tốt trên cả hai lĩnh vực.

III. Main Results:​

OpenVision 3 đạt được hiệu suất mạnh mẽ trên các tác vụ hiểu, tái tạo và tạo hình ảnh, trong khi bộ mã hóa được giữ nguyên (frozen) trong quá trình đánh giá:

  • Hiểu đa phương thức: Hiệu suất tương đương với bộ mã hóa thị giác CLIP tiêu chuẩn khi tích hợp vào khung LLaVA-1.5 (ví dụ: 62.4 so với 62.2 trên SeedBench, và 83.7 so với 82.9 trên POPE).
  • Tái tạo hình ảnh: Vượt trội đáng kể so với các bộ mã hóa thống nhất hiện có, đạt rFID 0.22 so với 0.36 trên ImageNet.
  • Tạo hình ảnh: Vượt xa bộ mã hóa dựa trên CLIP tiêu chuẩn trong khung RAE (ví dụ: gFID 1.89 so với 2.54 trên ImageNet). Các kết quả này chứng minh rằng OpenVision 3 hiệu quả trong việc học các biểu diễn thống nhất và có khả năng chuyển giao tốt.

IV. Conclusion & Future Works:​

OpenVision 3 trình bày một thành công đáng kể trong việc phát triển bộ mã hóa hình ảnh thống nhất, có khả năng hỗ trợ cả tác vụ hiểu và tạo hình ảnh thông qua một kiến trúc đơn giản nhưng hiệu quả và chiến lược tối ưu hóa đồng thời. Công trình này giải quyết vấn đề về sự khác biệt trong biểu diễn bằng cách học một biểu diễn hình ảnh duy nhất, có tính hiệp đồng. Các tác giả hy vọng nghiên cứu này sẽ thúc đẩy các nghiên cứu trong tương lai về các bộ mã hóa thị giác thống nhất tiên tiến hơn và mô hình hóa thống nhất nói chung, hướng tới các hệ thống tích hợp liền mạch giữa hiểu và tạo hình ảnh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu sâu hơn về cơ chế tương hỗ giữa các tác vụ hiểu và tạo hình ảnh trong không gian tiềm ẩn thống nhất của OpenVision 3, đặc biệt là cách tối ưu hóa một tác vụ ảnh hưởng đến tác vụ kia.
  2. Khám phá việc mở rộng kiến trúc OpenVision 3 sang các phương thức dữ liệu khác như âm thanh hoặc video để tạo ra một bộ mã hóa đa phương thức toàn diện hơn.
  3. Phát triển các phương pháp huấn luyện tự giám sát hoặc bán giám sát để giảm sự phụ thuộc vào dữ liệu được gắn nhãn lớn cho mô hình OpenVision 3.

2. Patent:​

  1. Một hệ thống camera điện thoại thông minh tích hợp bộ xử lý hình ảnh thống nhất có khả năng tự động cải thiện chất lượng ảnh chụp và đồng thời tạo ra các hiệu ứng hình ảnh độc đáo dựa trên hiểu biết ngữ cảnh.
  2. Một ứng dụng chỉnh sửa ảnh trên thiết bị di động sử dụng công nghệ mã hóa hình ảnh thống nhất để cho phép người dùng vừa phân tích nội dung ảnh (ví dụ: nhận diện đối tượng) vừa tạo ra các biến thể ảnh mới (ví dụ: thay đổi phong cách, bối cảnh) một cách liền mạch.
  3. Một phương pháp nén và truyền tải hình ảnh hiệu quả cho điện thoại di động, nơi một mã hóa hình ảnh thống nhất có thể tạo ra các biểu diễn tối ưu cho cả việc hiển thị ảnh gốc chất lượng cao và đồng thời cho phép các tác vụ tìm kiếm hoặc mô tả ảnh tự động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.15369
ArXiv Abstracthttps://arxiv.org/abs/2601.15369
PDF Downloadhttps://arxiv.org/pdf/2601.15369.pdf
Github RepositoryN/A

14. Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning (13 votes)​

Tác giả: Moo Jin Kim, Yihuai Gao, Tsung-Yi Lin, Yen-Chen Lin, Yunhao Ge, Grace Lam, Percy Liang, Shuran Song, Ming-Yu Liu, Chelsea Finn, Jinwei Gu

Xuất bản lúc: 2026-01-22

Tag: Video Models, Robotics, Policy Learning, Visuomotor Control, Planning, Diffusion Models, Fine-tuning

I. Main Problem:​

Các phương pháp trước đây nhằm thích ứng các mô hình tạo video cho điều khiển robot thường gặp phải các vấn đề như yêu cầu nhiều giai đoạn hậu huấn luyện, giới thiệu các thành phần kiến trúc mới để tạo hành động, hoặc thiết kế tùy chỉnh khiến chúng không thể tận dụng các mô hình video đã được huấn luyện trước và các kiến thức không gian-thời gian (spatiotemporal priors) phong phú mà chúng đã học được. Điều này làm tăng sự phức tạp và hạn chế khả năng khai thác hiệu quả các mô hình lớn.

II. Main Idea:​

Bài báo giới thiệu Cosmos Policy, một phương pháp đơn giản để thích ứng một mô hình video lớn đã được huấn luyện trước (Cosmos-Predict2) thành một chính sách robot hiệu quả. Giải pháp cốt lõi bao gồm:

  • Huấn luyện hậu kỳ một giai đoạn (Single-stage post-training): Chỉ sử dụng một giai đoạn huấn luyện trên dữ liệu minh họa robot, không cần nhiều bước phức tạp.
  • Không thay đổi kiến trúc (No architectural modifications): Không thực hiện bất kỳ thay đổi kiến trúc nào đối với mô hình video cơ sở.
  • Tạo hành động và dự đoán trạng thái tương lai trực tiếp: Cosmos Policy học cách trực tiếp tạo ra các hành động của robot, hình ảnh trạng thái tương lai và giá trị (phần thưởng tích lũy dự kiến) bằng cách mã hóa chúng dưới dạng "khung tiềm ẩn" (latent frames) trong quá trình khuếch tán tiềm ẩn của mô hình video. Điều này cho phép tận dụng cơ chế học tập cốt lõi và kiến thức đã học trước của mô hình.
  • Lập kế hoạch trong thời gian thử nghiệm (Test-time planning): Với khả năng dự đoán trạng thái và giá trị tương lai, Cosmos Policy có thể sử dụng phương pháp lấy mẫu "tốt nhất trong N" (best-of-N sampling) để lập kế hoạch, bằng cách tạo ra các hành động ứng cử viên, hình dung các trạng thái tương lai tương ứng, xếp hạng các trạng thái này theo giá trị dự đoán và thực hiện hành động có giá trị cao nhất.
  • Học hỏi từ kinh nghiệm: Cosmos Policy có thể học hỏi từ dữ liệu triển khai chính sách (policy rollout data) để tinh chỉnh mô hình thế giới và hàm giá trị của nó, từ đó tăng cường hiệu quả lập kế hoạch.

III. Main Results:​

Cosmos Policy đạt được hiệu suất tiên tiến (state-of-the-art):

  • Đạt tỷ lệ thành công trung bình 98.5% trên điểm chuẩn mô phỏng LIBERO và 67.1% trên RoboCasa.
  • Đạt điểm trung bình cao nhất (93.6%) trong các tác vụ thao tác hai tay phức tạp trong thế giới thực.
  • Vượt trội so với các chính sách khuếch tán được huấn luyện từ đầu, các chính sách dựa trên mô hình video (ví dụ: UVA, Video Policy), và các mô hình thị giác-ngôn ngữ-hành động (VLA) tiên tiến được tinh chỉnh trên cùng dữ liệu minh họa robot (ví dụ: π 0.5, OpenVLA-OFT, CogVLA, UniVLA, DP-VLA, GR00T-N1.5).
  • Khi được tăng cường với lập kế hoạch dựa trên mô hình, tỷ lệ hoàn thành tác vụ trung bình tăng thêm 12.5% trong hai tác vụ thao tác phức tạp trong thế giới thực.
  • Thể hiện khả năng kết hợp kinh nghiệm từ các triển khai chính sách để tinh chỉnh mô hình thế giới và hàm giá trị của nó, giúp lập kế hoạch hiệu quả hơn.

IV. Conclusion & Future Works:​

Cosmos Policy chứng minh rằng các mô hình tạo video đã được huấn luyện trước có thể được thích ứng một cách hiệu quả và đơn giản cho điều khiển và lập kế hoạch thị giác-vận động robot thông qua một giai đoạn tinh chỉnh duy nhất mà không cần thay đổi kiến trúc. Bằng cách mã hóa hành động, trạng thái và giá trị tương lai dưới dạng khung tiềm ẩn, mô hình tận dụng được khả năng vốn có của các mô hình video trong việc mô hình hóa phân phối phức tạp, đa phương thức và tính nhất quán theo thời gian. Khả năng lập kế hoạch dựa trên mô hình giúp nâng cao đáng kể tỷ lệ thành công trong các tác vụ đầy thách thức. Mặc dù bài báo không nêu rõ các hướng nghiên cứu tương lai cụ thể, nhưng khả năng học hỏi từ kinh nghiệm để tinh chỉnh mô hình thế giới và hàm giá trị của Cosmos Policy gợi ý tiềm năng cho việc phát triển và cải tiến liên tục trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

    1. Nghiên cứu cách tích hợp Cosmos Policy với các mô hình ngôn ngữ lớn để cho phép điều khiển robot thông qua ngôn ngữ tự nhiên, mở rộng khả năng thực hiện các tác vụ phức tạp hơn.
    1. Khám phá việc áp dụng phương pháp Latent Frame Injection của Cosmos Policy để thích ứng các mô hình video đã được huấn luyện trước cho các lĩnh vực khác ngoài robot, ví dụ như dự đoán chuỗi thời gian hoặc tạo nội dung đa phương tiện.
    1. Phân tích tác động của các chiến lược tạo dữ liệu robot (robot demonstration data) khác nhau lên hiệu suất của Cosmos Policy, đặc biệt là trong các kịch bản ít dữ liệu (low-data regimes).

2. Patent:​

    1. Một hệ thống điều khiển thiết bị thông minh (ví dụ: robot hút bụi, thiết bị gia dụng) trên điện thoại di động, cho phép người dùng ra lệnh bằng cách chỉ định mục tiêu hoạt động, trong khi hệ thống sử dụng thuật toán dự đoán hành động để thực hiện chuỗi hành động tối ưu mà không cần lập trình phức tạp.
    1. Một phương pháp trên điện thoại di động để người dùng ghi lại hành động mong muốn bằng cách di chuyển thiết bị theo một quỹ đạo nhất định, sau đó điện thoại sử dụng mô hình học máy để tự động tạo ra một chuỗi hành động chi tiết cho một thiết bị thực hiện lại hành động đó, đồng thời dự đoán kết quả.
    1. Một ứng dụng trên điện thoại di động cho phép theo dõi và dự đoán các hành động của người dùng trong một môi trường cụ thể (ví dụ: phòng khách), sau đó gợi ý các hành động tiếp theo hoặc điều khiển các thiết bị thông minh liên quan dựa trên dự đoán về "trạng thái tương lai" và "giá trị" của các hành động đó.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.16163
ArXiv Abstracthttps://arxiv.org/abs/2601.16163
PDF Downloadhttps://arxiv.org/pdf/2601.16163.pdf
Github RepositoryN/A

15. Rethinking Composed Image Retrieval Evaluation: A Fine-Grained Benchmark from Image Editing (13 votes)​

Tác giả: Tingyu Song, Yanzhao Zhang, Mingxin Li, Zhuoning Guo, Dingkun Long, Pengjun Xie, Siyue Zhang, Yilun Zhao, Shu Wu

Xuất bản lúc: 2026-01-22

Tag: Composed Image Retrieval, Benchmark, Image Editing, Multimodal Understanding, Fine-Grained Evaluation

I. Main Problem:​

Các benchmark hiện có cho Composed Image Retrieval (CIR) còn hạn chế về số lượng danh mục truy vấn, đánh giá thô sơ và không thể hiện đầy đủ các yêu cầu đa dạng trong thế giới thực. Chúng còn tồn tại vấn đề về thiên vị phương thức (modality bias), cho phép các mô hình đạt điểm cao bằng cách chỉ dựa quá nhiều vào văn bản, không kiểm tra được khả năng tổng hợp đa phương thức thực sự.

II. Main Idea:​

Bài báo đề xuất một phương pháp mới để xây dựng benchmark CIR chi tiết hơn bằng cách tận dụng công nghệ chỉnh sửa hình ảnh để tạo ra các truy vấn phức tạp và có kiểm soát. Cụ thể, họ xây dựng EDIR, một benchmark CIR mới, dựa trên quy trình tổng hợp dữ liệu có thể kiểm soát. Quy trình này bắt đầu bằng việc tạo ra một hình ảnh mục tiêu từ hình ảnh tham chiếu và một chỉ dẫn chỉnh sửa văn bản, sau đó tinh chỉnh thành một truy vấn ngôn ngữ tự nhiên, được phân loại theo hệ thống phân loại toàn diện gồm 5 danh mục chính và 15 danh mục phụ.

III. Main Results:​

  • EDIR là một benchmark CIR chi tiết mới, bao gồm 5.000 truy vấn chất lượng cao và bộ sưu tập 178.645 hình ảnh.
  • Đánh giá 13 mô hình nhúng đa phương thức (kể cả các mô hình tiên tiến như RzenEmbed và GME) trên EDIR cho thấy sự thiếu nhất quán đáng kể về hiệu suất trên tất cả các danh mục phụ, làm nổi bật khoảng cách năng lực hiện tại của mô hình và tính chặt chẽ của benchmark.
  • Phân tích so sánh EDIR với các benchmark hiện có cho thấy những hạn chế cố hữu của các benchmark trước, như thiên vị phương thức và phạm vi danh mục không đủ.
  • Thí nghiệm huấn luyện trong miền (in-domain training) với EDIR-MLLM chỉ ra rằng một số thách thức có thể được giải quyết bằng dữ liệu mục tiêu, trong khi những thách thức khác bộc lộ giới hạn nội tại của kiến trúc mô hình hiện tại.

IV. Conclusion & Future Works:​

Bài báo đã thành công trong việc tạo ra một benchmark CIR toàn diện và chi tiết (EDIR) giúp đánh giá chính xác hơn khả năng của các mô hình đa phương thức. Kết quả cho thấy các mô hình hiện tại còn nhiều hạn chế trong việc xử lý các truy vấn phức tạp và đa dạng. Hướng nghiên cứu tiếp theo sẽ tập trung vào phát triển các mô hình có khả năng tổng hợp đa phương thức mạnh mẽ hơn, vượt qua các thách thức mà EDIR đã bộc lộ, đặc biệt là các vấn đề không thể giải quyết chỉ bằng cách tăng cường dữ liệu.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu sâu hơn về các kiến trúc mô hình mới có thể giải quyết các giới hạn nội tại được bộc lộ bởi EDIR trong các danh mục khó nhất.
  • Phát triển các phương pháp giảm thiểu thiên vị phương thức (modality bias) trong huấn luyện mô hình CIR bằng cách sử dụng các chiến lược tăng cường dữ liệu đặc biệt từ EDIR.
  • Khám phá ứng dụng của benchmark EDIR trong việc đánh giá và cải thiện các hệ thống tìm kiếm hình ảnh đa phương thức trong các lĩnh vực chuyên biệt như thương mại điện tử hoặc chỉnh sửa ảnh tự động.

2. Patent:​

  • Một hệ thống tìm kiếm hình ảnh cá nhân trên điện thoại di động cho phép người dùng mô tả thay đổi mong muốn đối với một hình ảnh tham chiếu bằng ngôn ngữ tự nhiên để tìm kiếm hình ảnh phù hợp trong thư viện hoặc trực tuyến.
  • Một ứng dụng chỉnh sửa ảnh thông minh trên điện thoại di động có khả năng đề xuất và thực hiện các thay đổi phức tạp (ví dụ: thay đổi thời tiết, thêm hoặc bớt đối tượng) dựa trên mô tả văn bản của người dùng.
  • Một công cụ tìm kiếm sản phẩm thương mại điện tử tích hợp trên điện thoại cho phép người dùng tải lên hình ảnh sản phẩm và mô tả các thuộc tính mong muốn (ví dụ: "áo màu đỏ", "giày có họa tiết chấm bi") để tìm kiếm sản phẩm tương tự.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.16125
ArXiv Abstracthttps://arxiv.org/abs/2601.16125
PDF Downloadhttps://arxiv.org/pdf/2601.16125.pdf
Github Repositoryhttps://github.com/SighingSnow/edir

16. VideoMaMa: Mask-Guided Video Matting via Generative Prior (12 votes)​

Tác giả: Sangbeom Lim, Seoung Wug Oh, Jiahui Huang, Heeji Yoon, Seungryong Kim, Joon-Young Lee

Xuất bản lúc: 2026-01-20

Tag: Diffusion, Video Matting, Generative AI, Segmentation, Dataset

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là khó khăn trong việc tổng quát hóa các mô hình matting video cho các video trong thế giới thực do sự khan hiếm dữ liệu được gán nhãn chất lượng cao và khoảng cách miền đáng kể giữa dữ liệu tổng hợp và thực tế. Các bộ dữ liệu hiện có thường bị giới hạn về quy mô, đối tượng (chủ yếu là chân dung người) và dựa trên nội dung tổng hợp, dẫn đến các tạo tác không thực tế và hạn chế khả năng của các mô hình hiện tại để xử lý các tương tác phức tạp trong video thực.

II. Main Idea:​

Bài báo đề xuất Video Mask-to-Matte Model (VideoMaMa), một mô hình dựa trên Diffusion, có khả năng chuyển đổi các mask phân đoạn nhị phân thô thành alpha matte chính xác đến từng pixel bằng cách tận dụng các prior sinh học từ các mô hình Diffusion video đã được đào tạo trước. VideoMaMa cho thấy khả năng tổng quát hóa zero-shot mạnh mẽ trên các cảnh quay trong thế giới thực, mặc dù chỉ được đào tạo trên dữ liệu tổng hợp. Dựa trên khả năng này, các tác giả phát triển một quy trình gắn nhãn giả (pseudo-labeling) có thể mở rộng để xây dựng bộ dữ liệu Matting Anything in Video (MA-V) quy mô lớn, chất lượng cao, bao gồm hơn 50K video trong thế giới thực. Kiến trúc SVD được điều chỉnh với điều kiện dựa trên mask trong không gian tiềm ẩn, suy luận một bước và tiêm kiến thức ngữ nghĩa thông qua các đặc trưng DINOv3.

III. Main Results:​

  • VideoMaMa có khả năng tạo ra alpha matte chất lượng cao, nắm bắt được các chi tiết tinh tế như làm mờ chuyển động và cấu trúc biên phức tạp từ các mask phân đoạn nhị phân đầu vào.
  • Mô hình thể hiện tính mạnh mẽ, tạo ra kết quả matting video chất lượng cao bất kể nguồn gốc của mask đầu vào (ví dụ: từ các mô hình phân đoạn hiện có).
  • Bộ dữ liệu MA-V được xây dựng là bộ dữ liệu matting video giả quy mô lớn đầu tiên, cung cấp các chú thích matting chất lượng cao cho hơn 50K video thực tế đa dạng về cảnh, đối tượng và động lực chuyển động.
  • Khi được tinh chỉnh trên MA-V, mô hình SAM2-Matte đạt được hiệu suất matting mạnh mẽ hơn đáng kể trên các video thực tế so với cùng mô hình SAM2 được tinh chỉnh trên các bộ dữ liệu matting hiện có.

IV. Conclusion & Future Works:​

Nghiên cứu kết luận rằng các prior sinh học (generative priors) và các tín hiệu phân đoạn dễ tiếp cận có thể thúc đẩy sự tiến bộ có thể mở rộng trong nghiên cứu matting video, đặc biệt là thông qua việc tạo ra các bộ dữ liệu gắn nhãn giả quy mô lớn. VideoMaMa và bộ dữ liệu MA-V được giới thiệu là những bước tiến quan trọng trong việc giải quyết thách thức về sự khan hiếm dữ liệu và khoảng cách miền trong matting video. Hướng nghiên cứu tiếp theo có thể bao gồm việc khám phá sâu hơn cách tận dụng các mô hình Diffusion cho các tác vụ hiểu biết thị giác khác khi dữ liệu được chú thích thủ công còn hạn chế.

V. Brainstorming Space:​

1. Publish Papers:​

  • Phát triển một phương pháp sử dụng VideoMaMa để tự động tạo dữ liệu matting cho các đối tượng trong môi trường dưới nước hoặc môi trường có ánh sáng phức tạp.
  • Nghiên cứu việc tích hợp thêm phản hồi từ người dùng dưới dạng tương tác điểm hoặc đường kẻ để cải thiện chất lượng alpha matte được tạo bởi VideoMaMa.
  • Khám phá việc áp dụng quy trình gắn nhãn giả của VideoMaMa cho các tác vụ chỉnh sửa hình ảnh khác như phục hồi hình ảnh hoặc chuyển đổi kiểu dáng.

2. Patent:​

  • Một phương pháp xử lý video trên điện thoại thông minh cho phép người dùng loại bỏ hoặc thay thế nền video một cách mượt mà bằng cách sử dụng công nghệ tạo alpha matte tự động.
  • Một hệ thống tích hợp vào camera của điện thoại di động để tạo ra các hiệu ứng video chuyên nghiệp, chẳng hạn như làm mờ hậu cảnh chính xác hoặc thêm các đối tượng ảo tương tác chân thực với chủ thể thực.
  • Một tính năng trong ứng dụng chỉnh sửa ảnh hoặc video trên điện thoại cho phép người dùng tách bất kỳ đối tượng nào ra khỏi video chỉ bằng cách khoanh vùng đối tượng, sau đó tự động tinh chỉnh các đường viền phức tạp như tóc hoặc lông thú.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.14255
ArXiv Abstracthttps://arxiv.org/abs/2601.14255
PDF Downloadhttps://arxiv.org/pdf/2601.14255.pdf
Github Repositoryhttps://github.com/cvlab-kaist/VideoMaMa

17. ActionMesh: Animated 3D Mesh Generation with Temporal 3D Diffusion (11 votes)​

Tác giả: Remy Sabathier, David Novotny, Niloy J. Mitra, Tom Monnier

Xuất bản lúc: 2026-01-22

Tag: Diffusion, 3D Mesh Generation, Animation, Video-to-4D, Generative Models

I. Main Problem:​

Việc tạo ra các đối tượng 3D động một cách tự động từ các đầu vào đơn giản là một vấn đề cốt lõi trong thị giác máy tính. Tuy nhiên, các phương pháp hiện có thường khó áp dụng trong thực tế do ba hạn chế chính: thiết lập giới hạn (chỉ hỗ trợ một số loại đầu vào hoặc danh mục đối tượng cụ thể), thời gian chạy dài (quá trình tối ưu hóa kéo dài 30-45 phút) và chất lượng đầu ra chưa đáp ứng tiêu chuẩn sản xuất. Các phương pháp này thường tạo ra các mô hình 4D mà không đảm bảo tính nhất quán về cấu trúc (topology) theo thời gian.

II. Main Idea:​

Bài báo giới thiệu ActionMesh, một mô hình tạo sinh hoạt động theo kiểu feed-forward, nhanh chóng và có khả năng tạo ra các mô hình 3D động sẵn sàng cho sản xuất từ nhiều loại đầu vào khác nhau (video, văn bản, hình ảnh + văn bản mô tả hoạt ảnh, hoặc mô hình 3D + văn bản mô tả hoạt ảnh). Ý tưởng chính là mở rộng các mô hình Diffusion 3D hiện có bằng cách thêm một trục thời gian, gọi là "temporal 3D diffusion". Phương pháp này hoạt động qua hai giai đoạn chính:

  1. Mô hình Temporal 3D Diffusion: Phát triển từ một mô hình Diffusion 3D tiềm ẩn đã được huấn luyện trước, giai đoạn này tạo ra một chuỗi các mã tiềm ẩn đồng bộ hóa, biểu thị các hình dạng 3D thay đổi theo thời gian nhưng độc lập.
  2. Bộ mã hóa tự động Temporal 3D (Temporal 3D Autoencoder): Bộ mã hóa này nhận chuỗi các hình dạng 3D độc lập từ giai đoạn trước và chuyển đổi chúng thành các biến dạng của một hình dạng tham chiếu được định nghĩa trước. Điều này cho phép xây dựng một hoạt ảnh với cấu trúc (topology) nhất quán trên tất cả các khung hình. Bằng cách tận dụng các tiền nhiệm 3D mạnh mẽ, ActionMesh cân bằng được sự thiếu hụt dữ liệu hoạt ảnh 3D. Mô hình tạo ra kết quả "rig-free" (không yêu cầu gắn xương) và "topology consistent" (cấu trúc nhất quán), cho phép hoạt ảnh các hình dạng phức tạp và tự động duy trì các thuộc tính lưới (như texture) trong suốt hoạt ảnh.

III. Main Results:​

  • Tốc độ vượt trội: ActionMesh nhanh hơn đáng kể so với các phương pháp trước đây, chỉ mất khoảng 3 phút để tạo hoạt ảnh cho video 16 khung hình, nhanh hơn khoảng 10 lần so với các đối thủ cạnh tranh.
  • Chất lượng cao: Mô hình tạo ra các mô hình 3D động với chất lượng và độ chính xác hình học chưa từng có, đồng thời duy trì tính nhất quán về cấu trúc (topology consistent) và không cần gắn xương (rig-free).
  • Hiệu suất hàng đầu: Trên các tiêu chuẩn video-to-4D như Consistent4D và Objaverse, ActionMesh đạt hiệu suất vượt trội về cả độ chính xác hình học và chất lượng tương ứng (correspondence quality) so với các phương pháp hiện đại khác.
  • Tính linh hoạt: Mô hình có thể mở rộng sang nhiều tác vụ tạo sinh khác như text-to-4D, {image+text}-to-4D hoặc {3D+text}-to-animation, cũng như các ứng dụng liên quan như retargeting/motion transfer.

IV. Conclusion & Future Works:​

ActionMesh cung cấp một giải pháp nhanh chóng, hiệu quả và chất lượng cao để tạo ra các mô hình 3D động sẵn sàng cho sản xuất từ nhiều loại đầu vào. Bằng cách tích hợp trục thời gian vào Diffusion 3D và sử dụng bộ mã hóa tự động 3D thời gian để đảm bảo tính nhất quán về cấu trúc, mô hình đã vượt qua các hạn chế về tốc độ, chất lượng và tính linh hoạt của các phương pháp trước đây. Hướng nghiên cứu tiếp theo có thể tập trung vào việc mở rộng khả năng của mô hình để xử lý các loại đầu vào phức tạp hơn, tạo ra hoạt ảnh dài hơn hoặc khám phá các ứng dụng mới trong các lĩnh vực như trò chơi điện tử và thực tế ảo/tăng cường.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu cách tích hợp phản hồi của người dùng vào quá trình tạo hoạt ảnh để tinh chỉnh và kiểm soát chi tiết hơn các chuyển động của mô hình 3D.
  • Khám phá việc mở rộng ActionMesh để tạo ra hoạt ảnh 3D có tương tác với môi trường hoặc các đối tượng khác trong cảnh.
  • Phát triển một phương pháp tự động để tạo ra các mô hình 3D động có cấu trúc dạng phân cấp phức tạp mà vẫn duy trì tính nhất quán về cấu trúc.

2. Patent:​

  • Một hệ thống tạo hoạt ảnh 3D từ video trên điện thoại di động, cho phép người dùng quay video một đối tượng và tự động tạo ra phiên bản 3D động của nó với chuyển động mượt mà.
  • Một ứng dụng di động cho phép người dùng nhập mô tả bằng văn bản và sau đó tự động tạo ra một mô hình 3D động tương ứng mà người dùng có thể tùy chỉnh và chia sẻ.
  • Một phương pháp tích hợp công nghệ tạo hình ảnh động 3D vào các ứng dụng thực tế ảo (VR) hoặc tăng cường (AR) trên điện thoại, cho phép người dùng tạo và tương tác với các vật thể 3D động theo thời gian thực từ đầu vào như ảnh hoặc văn bản mô tả.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.16148
ArXiv Abstracthttps://arxiv.org/abs/2601.16148
PDF Downloadhttps://arxiv.org/pdf/2601.16148.pdf
Github Repositoryhttps://github.com/facebookresearch/actionmesh

18. PROGRESSLM: Towards Progress Reasoning in Vision-Language Models (11 votes)​

Tác giả: Jianshu Zhang, Chengxuan Qian, Haosen Sun, Haoran Lu, Dingcheng Wang, Letian Xue, Han Liu

Xuất bản lúc: 2026-01-21

Tag: Vision-Language Models, Progress Reasoning, VLM, Benchmark, Robotic Manipulation

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là các Vision-Language Models (VLMs) hiện đại, dù xuất sắc trong việc mô tả nội dung trực quan tĩnh, vẫn gặp khó khăn trong việc suy luận "một nhiệm vụ đã tiến triển đến đâu" từ các quan sát chưa hoàn chỉnh. Điều này đòi hỏi các mô hình phải lý giải động lực học dài hạn của nhiệm vụ thay vì chỉ nhận diện nội dung tĩnh, một khả năng mà các phương pháp hiện tại (dựa trên mô hình hồi quy đặc thù nhiệm vụ hoặc mục tiêu gián tiếp) chưa thể cung cấp một cách tổng quát cho VLMs từ một quan sát duy nhất.

II. Main Idea:​

Bài báo đề xuất giải quyết vấn đề bằng cách:

  1. Giới thiệu PROGRESS-BENCH, một bộ benchmark mới để đánh giá có hệ thống khả năng suy luận tiến độ của VLMs. Benchmark này được xây dựng dựa trên ba khía cạnh: phương thức trình diễn (dựa trên thị giác hoặc văn bản), sự tương ứng góc nhìn (cùng góc nhìn hoặc khác góc nhìn), và khả năng trả lời (trường hợp có thể ước lượng được tiến độ và trường hợp không thể).
  2. Khám phá một mô hình suy luận tiến độ hai giai đoạn lấy cảm hứng từ con người:
    • Episodic Retrieval: Định vị một cách thô thiển quan sát hiện tại dọc theo quỹ đạo nhiệm vụ đã được trình diễn.
    • Mental Simulation: Mô phỏng sự chuyển đổi từ điểm neo đã truy xuất đến quan sát hiện tại để ước tính tiến độ hoàn thành một cách chi tiết.
  3. Triển khai mô hình này thông qua hai cách tiếp cận:
    • Prompting không cần huấn luyện: Khuyến khích VLMs tuân theo mẫu suy luận hai giai đoạn một cách trực tiếp.
    • Tiếp cận dựa trên huấn luyện: Xây dựng tập dữ liệu PROGRESSLM-45K (25K mẫu chuỗi suy luận cho khởi động giám sát và 20K cho tinh chỉnh bằng học tăng cường) để huấn luyện mô hình PROGRESSLM-3B, một VLM được tăng cường khả năng suy luận tiến độ.

III. Main Results:​

  1. Các thử nghiệm trên 14 VLMs cho thấy hầu hết các mô hình hiện tại chưa sẵn sàng cho việc ước tính tiến độ nhiệm vụ, thể hiện sự nhạy cảm với phương thức trình diễn và thay đổi góc nhìn, cũng như khả năng xử lý kém các trường hợp không thể trả lời.
  2. Prompting không cần huấn luyện chỉ mang lại những cải thiện hạn chế và phụ thuộc vào từng mô hình cụ thể.
  3. Ngược lại, phương pháp dựa trên huấn luyện PROGRESSLM-3B đạt được những cải thiện nhất quán ngay cả với quy mô mô hình nhỏ, mặc dù được huấn luyện trên một tập nhiệm vụ hoàn toàn khác biệt so với các nhiệm vụ đánh giá. Mô hình này đạt hiệu suất tương đương hoặc vượt trội GPT-5 trên PROGRESS-BENCH.
  4. Các phân tích sâu hơn đã tiết lộ các mẫu lỗi đặc trưng và làm rõ khi nào và tại sao suy luận tiến độ thành công hay thất bại.

IV. Conclusion & Future Works:​

Conclusion: Các Vision-Language Models hiện tại còn hạn chế trong khả năng suy luận tiến độ một cách đáng tin cậy. Tuy nhiên, việc áp dụng mô hình suy luận hai giai đoạn lấy cảm hứng từ con người, kết hợp với huấn luyện rõ ràng trên tập dữ liệu được thiết kế đặc biệt, có thể cải thiện đáng kể và tổng quát hóa khả năng suy luận tiến độ. Future Works: Hướng nghiên cứu tiếp theo có thể tập trung vào việc tinh chỉnh mô hình suy luận hai giai đoạn, khám phá các phương pháp huấn luyện mạnh mẽ hơn để khắc phục các mẫu lỗi đã được nhận diện, và nghiên cứu sâu hơn vai trò quan trọng của phương thức trình diễn trong việc phát triển khả năng suy luận tiến độ hiệu quả cho VLMs.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc tích hợp thông tin vật lý học và mô phỏng vào các Vision-Language Models để cải thiện độ chính xác của ước tính tiến độ trong các nhiệm vụ robot đòi hỏi sự tương tác vật lý phức tạp.
  2. Khám phá các kiến trúc mạng thần kinh mới có khả năng tự động học và trích xuất các "điểm neo" hiệu quả cho giai đoạn truy xuất theo từng tập, giúp mô hình suy luận tiến độ mà không cần dữ liệu trình diễn rõ ràng.
  3. Phân tích định lượng tác động của sự không chắc chắn (uncertainty) trong dữ liệu quan sát và trình diễn lên khả năng suy luận tiến độ của mô hình, từ đó phát triển các phương pháp biểu thị và xử lý sự không chắc chắn một cách hiệu quả.

2. Patent:​

  1. Hệ thống hỗ trợ nấu ăn thông minh trên điện thoại di động, sử dụng camera để quan sát quá trình nấu, ước tính phần trăm hoàn thành của món ăn dựa trên công thức và đưa ra các cảnh báo hoặc gợi ý theo thời gian thực.
  2. Ứng dụng quản lý dự án cá nhân trên điện thoại, cho phép người dùng chụp ảnh các bước công việc thực tế, sau đó AI sẽ ước tính tiến độ hoàn thành so với kế hoạch ban đầu và đề xuất các hành động cần thiết để duy trì lịch trình.
  3. Phương pháp giám sát lắp ráp sản phẩm tự động thông qua camera điện thoại, trong đó mô hình AI ước tính tiến độ lắp ráp so với hướng dẫn từng bước và báo cáo lỗi nếu có sự sai lệch đáng kể, đảm bảo chất lượng sản phẩm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.15224
ArXiv Abstracthttps://arxiv.org/abs/2601.15224
PDF Downloadhttps://arxiv.org/pdf/2601.15224.pdf
Github Repositoryhttps://github.com/ProgressLM/ProgressLM