Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-03-11

Báo cáo được tạo tự động vào lúc 2026-03-17 11:34:19 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. Geometry-Guided Reinforcement Learning for Multi-view Consistent 3D Scene Editing (137 votes)​

Tác giả: Jiyuan Wang, Chunyu Lin, Lei Sun, Zhi Cao, Yuyang Yin, Lang Nie, Zhenlong Yuan, Xiangxiang Chu, Yunchao Wei, Kang Liao, Guosheng Lin

Xuất bản lúc: 2026-03-03

Tag: Reinforcement Learning, 3D Editing, Diffusion Models, Multi-view Consistency, Foundation Models, Gaussian Splatting, Computer Vision

I. Main Problem:​

Các phương pháp hiện tại gặp khó khăn trong việc duy trì tính nhất quán đa góc nhìn (multi-view consistency) khi chỉnh sửa cảnh 3D bằng cách tận dụng các mô hình khuếch tán 2D. Sự khan hiếm dữ liệu cặp nhất quán 3D khiến việc tinh chỉnh có giám sát (SFT) trở nên bất khả thi. Các hạn chế khác bao gồm: (i) các phương pháp dựa trên điều kiện hình học không xử lý được các chỉnh sửa thay đổi hình học; (ii) các phương pháp dựa trên tối ưu hóa lặp lại kém hiệu quả và tạo ra các tạo tác mờ; (iii) các mô hình dựa trên sự chú ý không đảm bảo tính nhất quán hình học chi tiết. Ngoài ra, các bộ xác minh 3D truyền thống dễ bị 'hack phần thưởng' bởi hình ảnh không có kết cấu hoặc bị mờ.

II. Main Idea:​

Chúng tôi đề xuất RL3DEdit, một khuôn khổ xử lý một lần (single-pass) được điều khiển bởi tối ưu hóa Học tăng cường (RL) với các phần thưởng mới lạ xuất phát từ mô hình nền tảng 3D, VGGT. Ý tưởng cốt lõi là việc tạo nội dung 3D nhất quán đa góc nhìn rất khó khăn, nhưng việc xác minh tính nhất quán 3D lại khả thi, điều này tự nhiên định vị RL là một giải pháp hợp lý. Cụ thể, chúng tôi tận dụng các tiên nghiệm mạnh mẽ của VGGT học được từ dữ liệu thực tế khổng lồ, đưa các hình ảnh đã chỉnh sửa vào và sử dụng bản đồ độ tin cậy đầu ra (confidence maps) cùng lỗi ước tính tư thế (pose estimation errors) làm tín hiệu phần thưởng, neo chặt các tiên nghiệm chỉnh sửa 2D vào một không gian 3D nhất quán thông qua RL. Để bảo toàn chất lượng chỉnh sửa 2D của trình chỉnh sửa cơ sở (FLUX-Kontext), chúng tôi thiết kế thêm chiến lược neo (anchor strategy) để căn chỉnh đầu ra đã chỉnh sửa với các tham chiếu một góc nhìn chất lượng cao được chỉnh sửa ngoại tuyến.

III. Main Results:​

RL3DEdit đạt được tính nhất quán đa góc nhìn ổn định và vượt trội so với các phương pháp hiện đại về chất lượng chỉnh sửa với hiệu quả cao. Phương pháp này nhanh hơn gấp 2 lần so với các phương pháp trước đó nhờ suy luận một lần (single-pass inference) và tránh tối ưu hóa lặp lại. Các thử nghiệm định lượng sử dụng VIEScore, độ tương đồng hướng CLIP và lỗi tái chiếu quang trắc (Ph-Loss) xác nhận chất lượng chỉnh sửa vượt trội và tính nhất quán đa góc nhìn. RL3DEdit bảo toàn khả năng chỉnh sửa 2D ban đầu của FLUX-Kontext và cho thấy khả năng tổng quát hóa đầy hứa hẹn đối với các điều kiện chưa từng thấy, ngay cả khi được huấn luyện trên mẫu dữ liệu hạn chế (chỉ 5% dữ liệu so với các phương pháp yêu cầu lượng lớn hơn).

IV. Conclusion & Future Works:​

Chúng tôi đề xuất một khuôn khổ RL 3D chỉnh sửa mới, giúp các trình chỉnh sửa 2D có khả năng 3D thông qua một trình xác minh tính nhất quán 3D khả thi, từ đó bỏ qua sự khan hiếm dữ liệu huấn luyện theo cặp. Chúng tôi xác định rằng mô hình nền tảng 3D với các tiên nghiệm dựa trên dữ liệu, như VGGT, có thể đóng vai trò là trình xác minh ưu việt. Mô hình RL3DEdit không cần tối ưu hóa của chúng tôi đạt được chất lượng chỉnh sửa 3D SoTA với hiệu quả cao. Để thúc đẩy sự phát triển của chỉnh sửa 3D, chúng tôi sẽ phát hành mã nguồn và mô hình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng các chiến lược phần thưởng trong Học tăng cường cho chỉnh sửa 3D: Khám phá việc tích hợp các loại phần thưởng đa dạng hơn, bao gồm phần thưởng dựa trên sở thích của con người (RLHF) hoặc phần thưởng tự giám sát (self-supervised rewards), để tăng cường tính nhất quán và chất lượng chỉnh sửa 3D, đồng thời giảm thiểu sự phụ thuộc vào một mô hình nền tảng 3D duy nhất.
  2. Khám phá khả năng tổng quát hóa của RL3DEdit trên các miền dữ liệu 3D và loại chỉnh sửa mới: Nghiên cứu cách RL3DEdit có thể được điều chỉnh và mở rộng để xử lý các loại dữ liệu 3D khác nhau (ví dụ: ảnh chụp y tế, dữ liệu lidar) hoặc các tác vụ chỉnh sửa phức tạp hơn như tạo nội dung 3D động hoặc chỉnh sửa tương tác theo thời gian thực.
  3. Tối ưu hóa hiệu suất và khả năng mở rộng của RL3DEdit cho các cảnh 3D lớn và phức tạp: Phát triển các kỹ thuật để cải thiện hiệu quả tính toán và khả năng mở rộng của khuôn khổ RL3DEdit, cho phép chỉnh sửa các cảnh 3D lớn hơn với nhiều đối tượng và chi tiết hơn, đồng thời duy trì tính nhất quán và chất lượng cao.

2. Patent:​

  1. Hệ thống chỉnh sửa ảnh 3D tự động nhất quán trên điện thoại di động: Một ứng dụng điện thoại thông minh cho phép người dùng chụp một loạt ảnh từ các góc độ khác nhau của một cảnh hoặc vật thể. Sau đó, ứng dụng sử dụng trí tuệ nhân tạo để tự động chỉnh sửa cảnh 3D đó (ví dụ: thay đổi màu sắc của vật thể, thêm hoặc bớt các đối tượng) và đảm bảo rằng tất cả các thay đổi đều nhất quán về mặt hình học giữa các góc nhìn khác nhau. Điều này tạo ra nội dung 3D chất lượng cao sẵn sàng cho các ứng dụng thực tế tăng cường (AR) hoặc thực tế ảo (VR) trực tiếp từ điện thoại.
  2. Công cụ tạo và tùy chỉnh vật thể 3D ảo cho thương mại điện tử di động: Một nền tảng tích hợp trên ứng dụng mua sắm di động, cho phép các nhà bán lẻ hoặc người dùng tạo ra các mô hình 3D của sản phẩm từ một vài hình ảnh 2D. Sau đó, người dùng có thể dễ dàng chỉnh sửa các thuộc tính của sản phẩm (ví dụ: thay đổi vật liệu, màu sắc, kiểu dáng) và xem trước sản phẩm đó trong môi trường 3D nhất quán từ mọi góc độ. Điều này giúp khách hàng có cái nhìn trực quan và chân thực hơn về sản phẩm trước khi đưa ra quyết định mua hàng trực tuyến.
  3. Nền tảng tạo nội dung thực tế tăng cường (AR) thông minh với khả năng chỉnh sửa 3D: Một ứng dụng di động cung cấp khả năng chỉnh sửa các cảnh quay AR đã được ghi lại. Người dùng có thể thay đổi phông nền, thêm các hiệu ứng đặc biệt hoặc thay thế các đối tượng trong cảnh 3D một cách liền mạch và nhất quán về mặt hình học, mà không cần dữ liệu huấn luyện 3D phức tạp. Ứng dụng này giúp người dùng tạo ra các trải nghiệm AR cá nhân hóa và chuyên nghiệp hơn, ví dụ như thử quần áo ảo hoặc trang trí nhà cửa ảo, chỉ với chiếc điện thoại của mình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.03143
ArXiv Abstracthttps://arxiv.org/abs/2603.03143
PDF Downloadhttps://arxiv.org/pdf/2603.03143.pdf
Github Repositoryhttps://github.com/AMAP-ML/RL3DEdit

2. Thinking to Recall: How Reasoning Unlocks Parametric Knowledge in LLMs (64 votes)​

Tác giả: Zorik Gekhman, Roee Aharoni, Eran Ofek, Mor Geva, Roi Reichart, Jonathan Herzig

Xuất bản lúc: 2026-03-10

Tag: LLMs, Reasoning, Knowledge Retrieval, Hallucinations, Chain-of-Thought, Factual Priming

I. Main Problem:​

Nghiên cứu này giải quyết vấn đề không rõ ràng về lý do tại sao suy luận (reasoning) lại giúp Các Mô hình Ngôn ngữ Lớn (LLMs) truy xuất kiến thức tham số cho các câu hỏi thực tế đơn giản, một bước, mà không yêu cầu phân tích logic từng bước. Việc này đặt ra câu hỏi về các cơ chế nội tại nào giúp suy luận mở rộng ranh giới khả năng truy xuất kiến thức của mô hình.

II. Main Idea:​

Các tác giả đề xuất và xác định hai cơ chế chính giải thích cách suy luận giúp truy xuất kiến thức tham số trong LLMs:

  1. Hiệu ứng bộ đệm tính toán (computational buffer effect): Mô hình sử dụng các token suy luận được tạo ra để thực hiện các phép tính ẩn (latent computation) độc lập với nội dung ngữ nghĩa của chúng.
  2. Mồi thực tế (factual priming): Việc tạo ra các sự thật có liên quan đến chủ đề đóng vai trò là cầu nối ngữ nghĩa, tạo điều kiện thuận lợi cho việc truy xuất câu trả lời chính xác thông qua cơ chế tự truy xuất sinh (generative self-retrieval). Các tác giả cũng chứng minh rằng những hiểu biết này có thể được khai thác để cải thiện độ chính xác của mô hình bằng cách ưu tiên các quỹ đạo suy luận chứa các phát biểu thực tế không bị ảo giác.

III. Main Results:​

I. Mở rộng ranh giới kiến thức tham số​

  • Suy luận mở rộng đáng kể ranh giới truy xuất kiến thức tham số của mô hình, được thể hiện qua những cải thiện lớn về pass@k, đặc biệt ở các giá trị k cao hơn.
  • Các mô hình kém năng lực hơn (ví dụ: Qwen3-32B) hưởng lợi nhiều hơn từ suy luận, cho thấy chúng có nhiều "kiến thức ẩn" hơn.

II. Cơ chế chính​

  • Hiệu ứng bộ đệm tính toán: LLMs sử dụng các token suy luận được tạo ra làm bộ đệm tính toán, thực hiện các phép tính ẩn độc lập với nội dung ngữ nghĩa. Ngay cả các chuỗi "dummy" (vô nghĩa) cũng cải thiện pass@k, nhưng hiệu ứng này có giới hạn và không đạt được hiệu suất đầy đủ của suy luận ON.
  • Mồi thực tế: Việc tạo ra các sự thật liên quan đến chủ đề hoạt động như một cầu nối ngữ nghĩa, tạo điều kiện thuận lợi cho việc truy xuất câu trả lời đúng. Khi các sự thật được trích xuất từ dấu vết suy luận và sử dụng làm ngữ cảnh bổ sung, hầu hết các lợi ích của pass@k từ suy luận được phục hồi.

III. Rủi ro và Ứng dụng​

  • Ảo giác (Hallucination): Các sự thật ảo giác trong dấu vết suy luận làm tăng đáng kể khả năng xảy ra ảo giác trong câu trả lời cuối cùng.
  • Cải thiện độ chính xác: Ưu tiên các quỹ đạo suy luận chứa các phát biểu thực tế không bị ảo giác có thể cải thiện đáng kể độ chính xác của mô hình (ví dụ: tăng 12.2% trên SimpleQA-Verified khi chỉ chọn các sự thật chính xác).

IV. Độ phức tạp câu hỏi​

  • Độ phức tạp của câu hỏi (đơn bước hay đa bước) không phải là yếu tố dự đoán hiệu quả của suy luận; lợi ích chủ yếu đến từ việc cải thiện khả năng truy xuất kiến thức tham số chứ không phải phân tích tác vụ phức tạp.

IV. Conclusion & Future Works:​

Nghiên cứu kết luận rằng suy luận mở rộng ranh giới truy xuất kiến thức tham số của LLMs thông qua hai cơ chế chính: hiệu ứng bộ đệm tính toán và mồi thực tế. Tuy nhiên, cơ chế tự truy xuất sinh này cũng tiềm ẩn rủi ro tạo ra các sự thật ảo giác, dẫn đến ảo giác trong câu trả lời cuối cùng. Những hiểu biết này có thể được ứng dụng để cải thiện độ chính xác của mô hình bằng cách ưu tiên các quỹ đạo suy luận có các phát biểu thực tế không bị ảo giác. Hướng nghiên cứu tương lai bao gồm việc triển khai ưu tiên này thông qua đào tạo với các phần thưởng quy trình (process rewards) nhằm khuyến khích các bước trung gian được hỗ trợ bởi các sự thật đáng tin cậy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa Hiệu ứng Bộ đệm Tính toán trong LLMs cho Truy xuất Kiến thức: Nghiên cứu sâu hơn về các chiến lược tối ưu để sử dụng hiệu ứng bộ đệm tính toán, bao gồm việc xác định độ dài và cấu trúc tối ưu của các token suy luận cho các loại tác vụ truy xuất kiến thức khác nhau, cũng như cách tích hợp bộ đệm này một cách hiệu quả vào kiến trúc mô hình.
  2. Giảm thiểu Ảo giác trong Tự truy xuất Sinh của LLMs thông qua Kiểm chứng Thực tế: Phát triển các phương pháp mạnh mẽ để kiểm chứng các sự thật trung gian được tạo ra trong quá trình suy luận, sử dụng các nguồn kiến thức bên ngoài hoặc cơ chế tự sửa lỗi nội bộ, nhằm giảm thiểu rủi ro ảo giác và tăng cường độ tin cậy của câu trả lời cuối cùng.
  3. Thiết kế Phần thưởng Quy trình để Khuyến khích Suy luận Dựa trên Thực tế trong LLMs: Khám phá các phương pháp thiết kế và áp dụng phần thưởng quy trình hiệu quả trong quá trình huấn luyện LLMs để khuyến khích mô hình tạo ra các bước suy luận trung gian được hỗ trợ bởi các sự thật chính xác và đáng tin cậy, từ đó cải thiện tính xác thực của đầu ra.

2. Patent:​

  1. Trợ lý Thông minh Di động Tự Xác minh Thực tế: Một tính năng trên ứng dụng trợ lý ảo di động cho phép trợ lý tự động thực hiện một "quá trình suy luận" nội bộ khi trả lời các câu hỏi thực tế. Trong quá trình này, trợ lý sẽ tạo ra các bước kiểm tra thông tin liên quan và so sánh chúng với kiến thức đã biết hoặc các nguồn đáng tin cậy để xác minh tính chính xác trước khi đưa ra câu trả lời cuối cùng cho người dùng, giảm thiểu lỗi sai lệch thông tin trên điện thoại di động.
  2. Chức năng "Kiểm tra Thực tế Nhanh" cho Trình duyệt Di động: Một tiện ích mở rộng hoặc tính năng tích hợp trong trình duyệt web di động, cho phép người dùng kích hoạt để kiểm tra nhanh các thông tin thực tế trên trang web đang xem. Hệ thống sẽ sử dụng một LLM để phân tích đoạn văn bản được chọn, tự động tạo ra các "sự thật liên quan" và kiểm chứng chúng. Nếu có dấu hiệu ảo giác hoặc thông tin không chính xác, hệ thống sẽ hiển thị cảnh báo hoặc đề xuất các nguồn thông tin thay thế đáng tin cậy, giúp người dùng di động truy cập thông tin chính xác hơn.
  3. Hệ thống Học tập Cá nhân hóa với Phản hồi Dựa trên Suy luận: Một ứng dụng học tập trên điện thoại thông minh sử dụng LLM để tương tác và giải đáp thắc mắc của học sinh. Khi LLM tạo ra một câu trả lời, nó sẽ thực hiện một "dấu vết suy luận" nội bộ để kiểm tra các sự thật được sử dụng. Nếu phát hiện một sự thật ảo giác hoặc không chính xác trong quá trình suy luận, ứng dụng sẽ không chỉ cung cấp câu trả lời đã chỉnh sửa mà còn giải thích cho học sinh tại sao thông tin ban đầu có thể sai lệch, giúp học sinh phát triển kỹ năng tư duy phản biện và nhận biết thông tin sai lệch.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.09906
ArXiv Abstracthttps://arxiv.org/abs/2603.09906
PDF Downloadhttps://arxiv.org/pdf/2603.09906.pdf
Github RepositoryN/A

3. MM-Zero: Self-Evolving Multi-Model Vision Language Models From Zero Data (46 votes)​

Tác giả: Zongxia Li, Hongyang Du, Chengsong Huang, Xiyang Wu, Lantao Yu, Yicheng He, Jing Xie, Xiaomin Wu, Zhichao Liu, Jiarui Zhang, Fuxiao Liu

Xuất bản lúc: 2026-03-10

Tag: Vision-Language Models, Reinforcement Learning, Self-Evolution, Zero-Data Learning

I. Main Problem:​

Các mô hình Vision Language Models (VLMs) hiện tại yêu cầu dữ liệu ban đầu đáng kể, đặc biệt là hình ảnh, để khởi động quá trình tự tiến hóa. Điều này tạo ra một nút thắt cổ chai về chi phí, nhân lực và sự phụ thuộc vào dữ liệu được chú thích thủ công hoặc các tập dữ liệu hình ảnh tĩnh có sẵn, làm hạn chế khả năng mở rộng và đa dạng của quá trình tự cải thiện.

II. Main Idea:​

MM-Zero giới thiệu một khuôn khổ học tăng cường (RL) tự tiến hóa không cần dữ liệu đầu tiên, sử dụng kiến trúc ba vai trò (Proposer, Coder, Solver) để cải thiện khả năng suy luận của VLM. Tất cả ba vai trò được khởi tạo từ cùng một mô hình cơ sở và được huấn luyện bằng Group Relative Policy Optimization (GRPO), kết hợp các cơ chế phần thưởng được thiết kế cẩn thận bao gồm phản hồi thực thi, xác minh hình ảnh và cân bằng độ khó. Proposer tạo ra các khái niệm hình ảnh trừu tượng và câu hỏi; Coder dịch các khái niệm này thành mã có thể thực thi (ví dụ: Python, SVG) để hiển thị hình ảnh; và Solver thực hiện suy luận đa phương thức trên nội dung hình ảnh được tạo ra. Hệ thống này tạo ra một vòng lặp khép kín nơi ngôn ngữ trừu tượng, mã có thể thực thi và suy luận thị giác cùng nhau củng cố lẫn nhau.

III. Main Results:​

MM-Zero đã cải thiện hiệu suất suy luận của VLM trên nhiều tiêu chuẩn đa phương thức khác nhau. Cụ thể, nó đạt được những cải thiện hiệu suất nhất quán trên các mô hình cơ sở như Qwen3-VL-4B-Instruct, 8B và Mimo-VL-7B-SFT. Các cải thiện đáng kể nhất được ghi nhận trong các tác vụ toán học thị giác, đòi hỏi suy luận chuyên sâu hơn. Ví dụ, Qwen3-VL-8B-Instruct đã tăng điểm trung bình về suy luận toán học thị giác từ 50.7% lên 54.1% (tăng 4 điểm phần trăm) mà không cần bất kỳ dữ liệu bên ngoài nào. Tỷ lệ thành công của Coder trong việc hiển thị hình ảnh và khả năng giải quyết của hình ảnh được tạo ra cũng tăng lên trong quá trình huấn luyện, cho thấy khả năng tạo mã và tính trung thực của hình ảnh được cải thiện.

IV. Conclusion & Future Works:​

MM-Zero thiết lập một con đường có thể mở rộng để tự tiến hóa các hệ thống đa mô hình cho các mô hình đa phương thức, mở rộng ranh giới của việc tự cải thiện vượt ra ngoài mô hình hai mô hình thông thường và không cần dữ liệu bên ngoài. Hướng nghiên cứu trong tương lai sẽ tập trung vào việc khám phá giới hạn của khả năng tự tiến hóa từ dữ liệu bằng 0 mà không cần sự giám sát của con người, nhằm mục tiêu hiểu rõ hơn con đường hướng tới trí tuệ tổng quát tự cải thiện.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khám phá giới hạn lý thuyết và thực nghiệm của khả năng tự tiến hóa không cần dữ liệu cho các mô hình VLM, đặc biệt tập trung vào việc xác định 'điểm trần' hiệu suất và các yếu tố ảnh hưởng đến nó.
  2. Mở rộng khuôn khổ ba vai trò của MM-Zero để tích hợp các phương thức hoặc vai trò bổ sung, cho phép tự tiến hóa trong các tác vụ đa phương thức phức tạp hơn như hiểu video hoặc tương tác 3D.
  3. Nghiên cứu các cơ chế phần thưởng tự thích ứng và động lực học nhóm cho các hệ thống tự tiến hóa đa tác nhân, nhằm tối ưu hóa sự cân bằng giữa độ khó, tính đa dạng và khả năng giải quyết trong quá trình tạo dữ liệu tổng hợp.

2. Patent:​

  1. Hệ thống tạo hình ảnh hướng dẫn tự động trên điện thoại di động: Một ứng dụng di động cho phép người dùng nhập các mô tả văn bản về một quy trình hoặc khái niệm phức tạp (ví dụ: "cách lắp ráp một món đồ nội thất"). Hệ thống AI sẽ tự động tạo ra một chuỗi hình ảnh minh họa từng bước theo mô tả, mà không cần người dùng cung cấp bất kỳ hình ảnh nào. Các hình ảnh này có thể được tùy chỉnh về phong cách hoặc chi tiết theo yêu cầu của người dùng, giúp tạo ra các hướng dẫn trực quan cá nhân hóa.
  2. Trợ lý học tập cá nhân với khả năng tạo bài tập trực quan: Một ứng dụng giáo dục trên điện thoại sử dụng AI để tạo ra các bài tập và câu hỏi trực quan (ví dụ: biểu đồ, sơ đồ, hình học) dựa trên chủ đề và mức độ khó mà người học yêu cầu. AI sẽ tự động điều chỉnh độ khó của các bài tập trực quan được tạo ra dựa trên hiệu suất của người học, cung cấp trải nghiệm học tập được cá nhân hóa và liên tục thử thách người dùng mà không lặp lại nội dung.
  3. Công cụ tạo nội dung hình ảnh đa dạng cho mạng xã hội: Một tính năng trên ứng dụng mạng xã hội hoặc công cụ chỉnh sửa ảnh di động cho phép người dùng nhập một chủ đề hoặc ý tưởng bằng văn bản. AI sẽ tự động tạo ra các hình ảnh, biểu đồ, hoặc infographic độc đáo và đa dạng để minh họa ý tưởng đó. Ví dụ, người dùng có thể nhập "so sánh lợi ích của việc tập thể dục và chế độ ăn uống lành mạnh" và AI sẽ tạo ra một biểu đồ hoặc hình ảnh minh họa sáng tạo để chia sẻ, giúp người dùng tạo nội dung hấp dẫn mà không cần kỹ năng thiết kế đồ họa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.09206
ArXiv Abstracthttps://arxiv.org/abs/2603.09206
PDF Downloadhttps://arxiv.org/pdf/2603.09206.pdf
Github Repositoryhttps://github.com/zli12321/MM-Zero

4. Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion (43 votes)​

Tác giả: Lijiang Li, Zuwei Long, Yunhang Shen, Heting Gao, Haoyu Cao, Xing Sun, Caifeng Shan, Ran He, Chaoyou Fu

Xuất bản lúc: 2026-03-06

Tag: LLMs, Diffusion Models, Multimodal AI, Generative Models, Understanding, Masked Modeling

I. Main Problem:​

Các mô hình ngôn ngữ lớn đa phương thức (MLLM) hiện tại chủ yếu dựa vào kiến trúc tự hồi quy (autoregressive), hạn chế việc khám phá các kiến trúc thay thế hiệu quả và hiệu suất cao hơn. Hầu hết các phương pháp hiện có dựa vào LLM để tạo dữ liệu văn bản và các mô hình đầu ra bổ sung để chuyển đổi trạng thái ẩn văn bản của LLM thành đầu ra của các phương thức khác, dẫn đến không gian biểu diễn ngữ nghĩa kém liên kết nội tại giữa các phương thức. Cần một mô hình thống nhất có khả năng xử lý các tác vụ liên quan đến dữ liệu từ nhiều phương thức (văn bản, hình ảnh, giọng nói) với thiết kế kiến trúc tốt hơn.

II. Main Idea:​

Nghiên cứu giới thiệu Omni-Diffusion, mô hình ngôn ngữ đa phương thức "any-to-any" đầu tiên được xây dựng hoàn toàn trên các mô hình khuếch tán rời rạc dựa trên mặt nạ (mask-based discrete diffusion models). Mô hình này thống nhất khả năng hiểu và tạo trên văn bản, giọng nói và hình ảnh bằng cách trực tiếp nắm bắt phân phối chung trên các token đa phương thức rời rạc. Để đạt được điều này, Omni-Diffusion sử dụng một mô hình khuếch tán rời rạc dựa trên mặt nạ thống nhất, đề xuất quy trình huấn luyện lũy tiến ba giai đoạn (three-stage progressive training pipeline), xây dựng bộ dữ liệu Tương tác Thị giác theo Hướng Giọng nói (Speech-Driven Visual Interaction - SDVI) mới, và sử dụng chiến lược che mặt nạ đệm đuôi suy giảm (attenuated tail-pad masking strategy) để tạo ra các phản hồi có độ dài thay đổi. Ngoài ra, các kỹ thuật suy luận được tối ưu hóa như hình phạt vị trí (position penalty) cho tạo hình ảnh và điền trước token đặc biệt (special token pre-infilling) cùng gán độ dài token thích ứng (adaptive token length assignment) cho các tác vụ giọng nói cũng được áp dụng.

III. Main Results:​

Omni-Diffusion đạt hiệu suất tương đương hoặc vượt trội so với các hệ thống đa phương thức hiện có trên nhiều bộ benchmark. Cụ thể, trong các tác vụ giọng nói (ASR, TTS), mô hình đạt hiệu suất tốt hơn AnyGPT trên ASR (WER 7.05 so với 8.50) và tương đương với các mô hình TTS chuyên biệt (WER 3.07 trên LibriTTS so với CosyVoice 2.89). Trong các tác vụ thị giác (VQA, Text-to-Image), Omni-Diffusion thể hiện hiệu suất mạnh mẽ, tương đương với các LLM thị giác chuyên biệt và tốt hơn các mô hình "any-to-any" hiện có về khả năng hiểu thị giác (ví dụ: POPE 76.6, MME-P 1216.7, Seed-2-Plus 34.5). Mô hình cũng đạt căn chỉnh văn bản-hình ảnh vượt trội (CLIP-T 0.235) và chất lượng thị giác tương đương (CLIP-I 0.667) so với các phương pháp khác. Đáng chú ý, Omni-Diffusion có khả năng tạo ra hình ảnh đa dạng, sống động, chất lượng cao và thực hiện inpainting mà không cần tinh chỉnh bổ sung. Về hiệu quả lấy mẫu, mô hình duy trì chất lượng tạo mạnh mẽ cho text-to-image với số bước thời gian giảm đáng kể (ví dụ: 10 bước) và hiệu suất nhất quán cho TTS với ít bước suy luận hơn.

IV. Conclusion & Future Works:​

Nghiên cứu trình bày Omni-Diffusion, một mô hình ngôn ngữ đa phương thức "any-to-any" được xây dựng trên các mô hình khuếch tán rời rạc dựa trên mặt nạ, chứng minh khả năng hiểu và tạo thống nhất trên nhiều phương thức. Các chiến lược huấn luyện và suy luận được thiết kế cẩn thận giúp cải thiện cả sự ổn định huấn luyện và chất lượng tạo. Kết quả thực nghiệm rộng rãi cho thấy phương pháp này đạt hiệu suất tương đương hoặc tốt hơn các phương pháp dựa trên tự hồi quy hiện có. Nghiên cứu này chứng minh tiềm năng đáng kể của các mô hình khuếch tán để phục vụ như các mô hình nền tảng cho các hệ thống AI đa phương thức.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nâng cao hiệu quả lấy mẫu và chất lượng của các mô hình khuếch tán rời rạc dựa trên mặt nạ cho tương tác đa phương thức thời gian thực, tập trung vào việc giảm thiểu chi phí tính toán trên các thiết bị tài nguyên hạn chế.
  2. Mở rộng kiến trúc Omni-Diffusion để tích hợp và xử lý các phương thức mới như video và dữ liệu 3D, cũng như khả năng thực hiện các tác vụ "any-to-any" phức tạp hơn, bao gồm tạo và hiểu nội dung tương tác.
  3. Nghiên cứu tính giải thích (interpretability) và khả năng kiểm soát (controllability) của các mô hình khuếch tán rời rạc dựa trên mặt nạ trong bối cảnh tạo và hiểu đa phương thức, nhằm cải thiện sự minh bạch và khả năng tùy chỉnh của hệ thống.

2. Patent:​

  1. Hệ thống tạo nội dung đa phương thức thích ứng trên điện thoại di động: Một ứng dụng di động cho phép người dùng tạo ra nhiều loại nội dung (hình ảnh, giọng nói, văn bản) từ bất kỳ dạng đầu vào nào (ví dụ: nói để tạo hình ảnh, gõ để tạo giọng nói). Hệ thống này tự động điều chỉnh cài đặt tạo nội dung để tối ưu hóa chất lượng và tốc độ phù hợp với khả năng xử lý của điện thoại.
  2. Công cụ tìm kiếm và chỉnh sửa ảnh/video thông minh trên di động: Một tính năng trên điện thoại thông minh cho phép người dùng tìm kiếm các đối tượng hoặc khu vực cụ thể trong ảnh hoặc video bằng cách nhập văn bản hoặc nói. Nó cũng có khả năng tự động điền vào các phần bị thiếu hoặc loại bỏ các yếu tố không mong muốn trong hình ảnh dựa trên mô tả của người dùng, mà không cần các công cụ chỉnh sửa phức tạp.
  3. Trợ lý đa phương thức cá nhân hóa hỗ trợ người khuyết tật trên điện thoại: Một trợ lý ảo trên điện thoại di động được thiết kế để nâng cao khả năng tiếp cận cho người khuyết tật, bằng cách hiểu và phản hồi thông qua văn bản, giọng nói và tín hiệu thị giác. Ví dụ, người khiếm thị có thể đặt câu hỏi bằng giọng nói về một hình ảnh, và trợ lý sẽ cung cấp mô tả chi tiết bằng giọng nói. Ngược lại, người khiếm thính có thể gõ văn bản, và trợ lý sẽ tạo ra giọng nói tự nhiên. Hệ thống này học hỏi sở thích tương tác của người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.06577
ArXiv Abstracthttps://arxiv.org/abs/2603.06577
PDF Downloadhttps://arxiv.org/pdf/2603.06577.pdf
Github Repositoryhttps://github.com/VITA-MLLM/Omni-Diffusion

5. InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing (41 votes)​

Tác giả: Changyao Tian, Danni Yang, Guanzhou Chen, Erfei Cui, Zhaokai Wang, Yuchen Duan, Penghao Yin, Sitao Chen, Ganlin Yang, Mingxin Liu, Zirun Zhu, Ziqian Fan, Leyao Gu, Haomin Wang, Qi Wei, Jinhui Yin, Xue Yang, Zhihang Zhong, Qi Qin, Yi Xin, Bin Fu, Yihao Liu, Jiaye Ge, Qipeng Guo, Gen Luo, Hongsheng Li, Yu Qiao, Kai Chen, Hongjie Zhang

Xuất bản lúc: 2026-03-10

Tag: Unified Multimodal Models, MLLMs, Visual Generation, Image Editing, Chain-of-Thought, Diffusion Models, VAE, ViT, Text-to-Image

I. Main Problem:​

Các mô hình đa phương thức hợp nhất (UMMs) hiện tại phải đối mặt với sự đánh đổi cố hữu giữa việc duy trì khả năng hiểu ngữ nghĩa mạnh mẽ và đạt được năng lực tạo hình ảnh mạnh mẽ. Cụ thể, các thách thức bao gồm:

  1. Mô hình UMM hoàn toàn tự nhiên (Fully-native UMMs): Thiếu sự đồng thuận về thiết kế tối ưu, gặp phải những thách thức kỹ thuật đáng kể trong việc cân bằng các phân phối dữ liệu xung đột của các phương thức khác nhau, và thường bỏ qua lợi ích của các mô hình hiểu biết đa phương thức tiên tiến (SOTA MLLMs), dẫn đến chi phí đào tạo và rủi ro cao.
  2. Mô hình UMM hoàn toàn kết hợp (Fully-ensemble UMMs): Đối mặt với sự đánh đổi giữa việc mở rộng đầu tạo hình ảnh với số lượng tham số lớn để đạt chất lượng hình ảnh hàng đầu (làm tăng đáng kể chi phí đào tạo và triển khai) hoặc giữ một đầu nhỏ hơn nhưng phải sử dụng các pipeline điều kiện hóa phức tạp và thường rời rạc, khó căn chỉnh rõ ràng với không gian trạng thái ẩn của một MLLM duy nhất.
  3. Sự không phù hợp về mục tiêu: Các mô hình tạo hình ảnh truyền thống chủ yếu nhắm đến chất lượng nhận thức cấp thấp (như thẩm mỹ và độ trung thực hình ảnh), trong khi các mô hình hiểu biết nhấn mạnh trí tuệ cấp cao (bao gồm việc đưa kiến thức và suy luận), tạo ra một khoảng cách lớn về phân phối dữ liệu huấn luyện.

II. Main Idea:​

InternVL-U là một mô hình đa phương thức hợp nhất (UMM) nhẹ với 4 tỷ tham số, được thiết kế để dân chủ hóa các khả năng hiểu, suy luận, tạo và chỉnh sửa trong một khuôn khổ thống nhất. Các ý tưởng chính bao gồm:

  1. Nguyên tắc thiết kế thống nhất:
    • Mô hình hóa ngữ cảnh thống nhất với tạo hình ảnh thích ứng phương thức (Unified Contextual Modeling with Modality-Adaptive Generation): Sử dụng một biểu diễn thống nhất để kết hợp ngữ nghĩa sâu sắc trong giai đoạn ngữ cảnh hóa, nhưng áp dụng một mô hình hóa lai (hybrid AR + Diffusion/Flow Matching) cho các mục tiêu dự đoán để tôn trọng các đặc tính thống kê của từng phương thức (văn bản rời rạc, tín hiệu hình ảnh liên tục và tương quan không gian).
    • Hiệu quả cấu trúc thông qua thiết kế mô-đun dành riêng cho phương thức (Modality-Specific Modular Design): Khởi tạo xương sống mô hình từ một MLLM dựa trên bộ mã hóa (InternVL 3.5 tiền huấn luyện với ViT) và mở rộng nó với một đầu tạo hình ảnh chuyên biệt dựa trên MMDiT, đảm bảo xương sống tập trung vào suy luận ngữ nghĩa trong khi các mô-đun chuyên biệt xử lý dịch thuật phương thức cụ thể.
    • Biểu diễn hình ảnh tách rời cho hiểu biết và tạo hình ảnh (Decoupled Visual Representations): Sử dụng các đặc trưng ngữ nghĩa cấp cao từ ViT tiền huấn luyện cho nhiệm vụ hiểu biết và một Variational Autoencoder (VAE) riêng biệt được huấn luyện để nén hình ảnh vào không gian tiềm ẩn cho nhiệm vụ tạo hình ảnh, tránh sự đánh đổi tối ưu hóa.
  2. Pipeline tổng hợp dữ liệu toàn diện: Xây dựng một pipeline dữ liệu tổng hợp phong phú nhắm mục tiêu vào các nhiệm vụ có mật độ ngữ nghĩa cao như hiển thị văn bản, suy luận khoa học, thao tác không gian và tạo hình ảnh hài hước.
  3. Mô hình hóa tập trung vào suy luận (Reasoning-centric Paradigm): Giới thiệu Chain-of-Thought (CoT) rõ ràng để chuyển đổi các hướng dẫn trừu tượng, không rõ ràng của người dùng thành các bước thực thi cụ thể chứa kế hoạch và ràng buộc, từ đó đạt được sự căn chỉnh sâu sắc hơn giữa ý định và chi tiết tạo hình ảnh.

III. Main Results:​

InternVL-U đạt được sự cân bằng vượt trội giữa hiệu suất và hiệu quả:

  1. Hiệu suất vượt trội: Với chỉ 4 tỷ tham số, InternVL-U liên tục vượt trội hơn các mô hình cơ sở hợp nhất có quy mô lớn hơn gấp 3 lần (ví dụ: BAGEL 14B) trên nhiều nhiệm vụ tạo và chỉnh sửa hình ảnh.
  2. Khả năng hiểu và suy luận mạnh mẽ: Duy trì khả năng hiểu và suy luận đa phương thức mạnh mẽ của mô hình tiền nhiệm, vượt qua các mô hình hợp nhất tương đương mà không làm giảm khả năng hiểu ngôn ngữ-thị giác gốc.
  3. Tạo hình ảnh chất lượng cao: Thể hiện khả năng tuân thủ hướng dẫn đặc biệt và giải quyết hiệu quả thiếu sót của các kiến trúc hợp nhất trước đây trong việc hiển thị văn bản dễ đọc.
  4. Hiệu quả của chiến lược CoT: Việc tích hợp chiến lược Chain-of-Thought (CoT) đóng vai trò là chất xúc tác quan trọng cho cả việc tạo và chỉnh sửa, giúp mô hình vượt trội trong các nhiệm vụ tạo hình ảnh giàu kiến thức và chỉnh sửa phụ thuộc logic phức tạp, mang lại những cải thiện đáng kể về hiệu suất.
  5. Công cụ đánh giá hỗ trợ cộng đồng: Giới thiệu GenEditEvalKit và TextEdit Benchmark để tạo điều kiện đánh giá hiệu quả cho cộng đồng nghiên cứu.

IV. Conclusion & Future Works:​

InternVL-U là một mô hình đa phương thức hợp nhất hiệu quả, được xây dựng dựa trên các nguyên tắc mô hình hóa ngữ cảnh thống nhất, biểu diễn hình ảnh tách rời và thiết kế mô-đun dành riêng cho phương thức. Kiến trúc này giải quyết xung đột giữa hiểu biết ngữ nghĩa và tái tạo pixel, cho phép khả năng tạo hình ảnh mạnh mẽ mà không ảnh hưởng đến khả năng hiểu biết gốc. Đồng thời, việc xây dựng một pipeline dữ liệu toàn diện nhắm mục tiêu vào các nhiệm vụ mật độ ngữ nghĩa cao và áp dụng mô hình hóa tập trung vào suy luận (Chain-of-Thought) đã giúp InternVL-U chuyển đổi ý định trừu tượng của người dùng thành các kế hoạch thực thi chính xác. Các đánh giá rộng rãi đã chứng minh rằng InternVL-U vượt trội so với các mô hình cơ sở hợp nhất trong việc tạo và chỉnh sửa, đặc biệt trong các kịch bản giàu văn bản và kiến thức, đồng thời duy trì khả năng hiểu đa phương thức mạnh mẽ. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng các khả năng này để đạt được trí tuệ tổng quát nhân tạo (AGI) và các mô hình thế giới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về tích hợp sâu hơn các mô hình suy luận cấp cao với khả năng tạo hình ảnh chi tiết: Khám phá cách các cơ chế Chain-of-Thought hoặc các mô hình suy luận tương tự có thể được tích hợp sâu hơn vào kiến trúc tạo hình ảnh để không chỉ cải thiện sự căn chỉnh ý định mà còn cho phép tạo ra các chi tiết hình ảnh phức tạp, có tính logic cao hơn, đặc biệt trong các lĩnh vực khoa học và kỹ thuật.
  2. Phát triển phương pháp huấn luyện đa phương thức hiệu quả hơn cho dữ liệu có mật độ ngữ nghĩa cao: Tập trung vào việc tạo ra các chiến lược huấn luyện và kiến trúc dữ liệu mới để tối ưu hóa việc học từ các tập dữ liệu tổng hợp mật độ ngữ nghĩa cao (ví dụ: hiển thị văn bản chính xác, sơ đồ khoa học) nhằm giảm chi phí tính toán và cải thiện khả năng tổng quát hóa của UMMs.
  3. Mở rộng khả năng chỉnh sửa và tạo hình ảnh đa phương thức với kiểm soát ngữ nghĩa theo thời gian thực: Nghiên cứu các phương pháp cho phép người dùng kiểm soát chi tiết hơn quá trình tạo và chỉnh sửa hình ảnh thông qua các tương tác ngôn ngữ tự nhiên theo thời gian thực, đặc biệt trong các tác vụ yêu cầu độ chính xác về không gian và ngữ nghĩa cao (ví dụ: chỉnh sửa bản vẽ CAD, tạo meme động).

2. Patent:​

  1. Hệ thống tạo và chỉnh sửa hình ảnh thông minh trên điện thoại di động với khả năng suy luận ngữ cảnh: Một ứng dụng di động cho phép người dùng tạo hoặc chỉnh sửa hình ảnh bằng cách sử dụng các lệnh ngôn ngữ tự nhiên phức tạp. Ví dụ, người dùng có thể yêu cầu: "Tạo một thiệp chúc mừng năm mới 2026 với hình ảnh ngựa phi nước đại theo phong cách vẽ truyền thống và thêm dòng chữ 'Chúc Mừng Năm Mới' ở dưới." Hệ thống sẽ sử dụng trí tuệ nhân tạo để hiểu ý định, suy luận các yếu tố thiết kế và tạo ra hình ảnh chất lượng cao, đồng thời cho phép chỉnh sửa các chi tiết nhỏ như thay đổi phông chữ, màu sắc, vị trí của văn bản hoặc đối tượng trong ảnh.
  2. Công cụ tạo meme và nội dung hài hước tự động dựa trên phân tích ngữ cảnh: Một tính năng trên ứng dụng mạng xã hội hoặc chỉnh sửa ảnh di động cho phép người dùng tải lên một hình ảnh và yêu cầu trí tuệ nhân tạo biến nó thành một meme hoặc nội dung hài hước. Ví dụ, người dùng có thể nói: "Biến ảnh này thành một meme thể hiện sự ngạc nhiên khi nhận quà" hoặc "Thêm dòng chữ 'Đại ca, đừng giận nữa' vào ảnh mèo này." Trí tuệ nhân tạo sẽ phân tích ngữ cảnh hình ảnh, hiểu ý định hài hước và tạo ra văn bản hoặc chỉnh sửa hình ảnh phù hợp một cách tự động.
  3. Trợ lý hình ảnh khoa học và giáo dục trên di động: Một ứng dụng di động giúp học sinh hoặc nhà khoa học tạo và chỉnh sửa các sơ đồ, đồ thị, công thức hóa học hoặc hình ảnh kỹ thuật phức tạp bằng cách sử dụng lệnh thoại hoặc văn bản. Ví dụ, người dùng có thể yêu cầu: "Vẽ một tam giác vuông ABC, góc vuông tại B, cạnh AB dài 6 đơn vị, đỉnh A ở trên, B dưới trái, C dưới phải" hoặc "Hiển thị công thức cấu tạo của Methyl isonicotinate." Trí tuệ nhân tạo sẽ tạo ra hình ảnh chính xác và có thể chỉnh sửa các yếu tố hình học hoặc ký hiệu khoa học theo yêu cầu của người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.09877
ArXiv Abstracthttps://arxiv.org/abs/2603.09877
PDF Downloadhttps://arxiv.org/pdf/2603.09877.pdf
Github Repositoryhttps://github.com/OpenGVLab/InternVL-U

6. Fish Audio S2 Technical Report (27 votes)​

Tác giả: Shijia Liao, Yuxuan Wang, Songting Liu, Yifan Cheng, Ruoyi Zhang, Tianyu Li, Shidong Li, Yisheng Zheng, Xingwei Liu, Qingzheng Wang, Zhizhuo Zhou, Jiahua Liu, Xin Chen, Dawei Han

Xuất bản lúc: 2026-03-09

Tag: Text-to-Speech, Multi-speaker, Multi-turn generation, Instruction-following, Reinforcement Learning, Data pipeline, Audio Codec, Transformer, SGLang, Low-latency inference, Multilingual TTS, Voice cloning

I. Main Problem:​

Các vấn đề chính mà nghiên cứu này giải quyết bao gồm: 1. Khó khăn trong việc tạo ra các hướng dẫn ngôn ngữ tự nhiên chi tiết cho các đặc điểm giọng nói ở quy mô lớn. 2. Hạn chế trong việc áp dụng các phương pháp học tăng cường (RL) như DPO, PPO vào hệ thống chuyển văn bản thành giọng nói (TTS). 3. Sự không khớp phân phối giữa dữ liệu tiền huấn luyện và mô hình phần thưởng trong quá trình căn chỉnh RL. 4. Thách thức về chiều dữ liệu khi xử lý các tính năng âm thanh có độ trung thực cao, đặc biệt là với các codebook RVQ 10 lớp, dẫn đến tăng độ dài chuỗi gấp mười lần. 5. Các vấn đề về ảo giác, bỏ qua token và trôi dạt âm sắc thường thấy trong quá trình tạo âm thanh tự hồi quy. 6. Yêu cầu về độ trễ thấp và thông lượng cao cho các hệ thống TTS sẵn sàng sản xuất.

II. Main Idea:​

Fish Audio S2 là một hệ thống chuyển văn bản thành giọng nói (TTS) mã nguồn mở, hỗ trợ tạo giọng nói đa người nói, đa lượt, và quan trọng nhất là khả năng điều khiển theo hướng dẫn bằng mô tả ngôn ngữ tự nhiên. Các ý tưởng chính bao gồm:

  • Quy trình dữ liệu đa mục đích: Xây dựng một quy trình dữ liệu với mô hình đánh giá chất lượng giọng nói và mô hình ASR chuyển mã phong phú để lọc và chú thích dữ liệu âm thanh quy mô lớn cho tiền huấn luyện TTS. Các mô hình này sau đó được tái sử dụng trực tiếp làm tín hiệu phần thưởng cho căn chỉnh RL, loại bỏ sự không khớp phân phối giữa hai giai đoạn.
  • Căn chỉnh RL đa phần thưởng: Thực hiện một biến thể của GRPO tối ưu hóa đồng thời độ chính xác ngữ nghĩa, chất lượng âm thanh và sự tương đồng của người nói, đảm bảo sự cân bằng giữa khả năng biểu cảm và tính mạnh mẽ. Hệ thống phần thưởng tổng hợp được xây dựng từ ba phần thưởng riêng biệt: độ chính xác ngữ nghĩa (sử dụng mô hình ASR), ưu tiên âm thanh (sử dụng mô hình chất lượng giọng nói) và sự tương đồng âm sắc (sử dụng mô hình nhận dạng giọng nói).
  • Kiến trúc Dual-Autoregressive (Dual-AR): Tách biệt mô hình ngữ nghĩa theo thời gian (Slow AR, sử dụng Qwen3-4B) khỏi mô hình âm thanh theo chiều sâu (Fast AR, mạng 4 lớp Transformer), giải quyết thách thức về chiều dữ liệu và tăng hiệu quả suy luận.
  • Công cụ suy luận tối ưu hóa: Xây dựng trên SGLang, một framework phục vụ tiên tiến, để đạt được thông lượng cao và độ trễ cực thấp trong triển khai sản xuất, với các sửa đổi như I/O bypass, RadixCache mở rộng cho lập chỉ mục đa token và MPS để đồng bộ giải mã vocoder với giải mã LLM.

III. Main Results:​

Fish Audio S2 đạt được các kết quả nổi bật:

  • Hiệu suất suy luận sẵn sàng sản xuất: Đạt hệ số thời gian thực (RTF) 0.195 và thời gian xuất âm thanh đầu tiên (TTFA) dưới 100 ms trên GPU NVIDIA H200. Duy trì thông lượng tối đa hơn 3000 token âm thanh mỗi giây dưới điều kiện đồng thời cao.
  • Tái sử dụng giọng nói hiệu quả: Đạt tỷ lệ truy cập bộ nhớ đệm tiền tố cao (trung bình 86.4%, đỉnh hơn 90%) khi tái sử dụng giọng nói, giúp giảm đáng kể chi phí xử lý lời nhắc.
  • Đánh giá khách quan (WER/CER/SIM):
    • Trên Seed-TTS-Eval: Đạt WER hàng đầu cho tiếng Trung (0.54%) và tiếng Anh (0.99%), cạnh tranh trên ZH-hard (5.99%).
    • Trên Minimax Multilingual Testset: Đạt WER thấp nhất ở 11/24 ngôn ngữ và SIM cao nhất ở 17/24 ngôn ngữ.
    • Trên CV3-Eval: Đạt tỷ lệ lỗi tốt nhất trên tất cả 9 ngôn ngữ được báo cáo, giảm lỗi trung bình từ 3.96 xuống 3.01 (giảm tương đối 23.9%) so với Fish Audio S1.
  • Đánh giá LLM-as-a-Judge về khả năng cấp cao:
    • Trên Audio Turing Test: Đạt giá trị trung bình hậu nghiệm 0.483 (tăng lên 0.515 với việc viết lại hướng dẫn).
    • Trên Emergent TTS Eval: Đạt tỷ lệ thắng tổng thể 81.88% so với đường cơ sở.
    • Trên Fish Audio Instruction Benchmark: Đạt tỷ lệ kích hoạt tag tổng thể 93.3% và điểm chất lượng tổng thể 4.51/5.0 (được đánh giá bởi Gemini 3 Pro).

IV. Conclusion & Future Works:​

Fish Audio S2 là một hệ thống TTS mã nguồn mở, đa ngôn ngữ, có thể điều khiển và biểu cảm, hỗ trợ tạo giọng nói dài, đa người nói, đa lượt với độ trễ cực thấp và hiệu suất cao. Nghiên cứu đã chứng minh khả năng tuân thủ hướng dẫn vượt trội, khả năng tạo giọng nói đa người nói và đa lượt, cũng như khả năng tổng hợp giọng nói dài ổn định. Để thúc đẩy nghiên cứu và giảm rào cản phát triển TTS chất lượng cao, nhóm nghiên cứu đã phát hành các trọng số mô hình, mã tinh chỉnh và công cụ suy luận dựa trên SGLang.

Hướng phát triển trong tương lai có thể tập trung vào việc cải thiện hiệu suất trong các ngôn ngữ ít tài nguyên, nơi các mô hình khác vẫn còn lợi thế, cũng như tiếp tục nâng cao khả năng điều khiển chi tiết hơn thông qua các hướng dẫn ngôn ngữ tự nhiên phức tạp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cải thiện điều khiển chi tiết trong TTS thông qua phân tích cú pháp hướng dẫn ngôn ngữ tự nhiên nâng cao: Nghiên cứu các phương pháp tinh vi hơn để diễn giải và thực thi các hướng dẫn ngôn ngữ tự nhiên phức tạp, đa lớp cho các đặc điểm giọng nói (cảm xúc, ngữ điệu, phong cách) vượt ra ngoài các thẻ đơn giản, có thể sử dụng phân tích cú pháp phân cấp hoặc nhúng hướng dẫn nhận biết ngữ cảnh.
  2. Tối ưu hóa học tăng cường cho tạo chuỗi âm thanh siêu dài trong TTS đa người nói: Nghiên cứu các thuật toán học tăng cường mới được thiết kế đặc biệt để xử lý độ dài chuỗi cực lớn và yêu cầu tính toán cao của việc tạo âm thanh dài, đa lượt, đa người nói, có thể khám phá các kỹ thuật ước tính lợi thế mới hoặc cập nhật chính sách tiết kiệm bộ nhớ.
  3. Tính nhất quán âm sắc đa ngôn ngữ và tuân thủ hướng dẫn trong TTS tài nguyên thấp: Điều tra các phương pháp để cải thiện sự tương đồng của người nói và sự tuân thủ hướng dẫn trong chuyển văn bản thành giọng nói cho các ngôn ngữ có dữ liệu huấn luyện hạn chế, tập trung vào học chuyển giao từ các ngôn ngữ tài nguyên cao hoặc các kỹ thuật tăng cường dữ liệu được điều chỉnh cho tính nhất quán đa ngôn ngữ.

2. Patent:​

  1. Hệ thống chuyển văn bản thành giọng nói đa người nói có điều khiển bằng ngôn ngữ tự nhiên trên thiết bị di động: Một ứng dụng di động cho phép người dùng nhập văn bản và mô tả giọng nói bằng ngôn ngữ tự nhiên (ví dụ: "giọng nói này tức giận nhưng nhẹ nhàng", "người nói A nói nhanh, người nói B nói chậm"). Hệ thống sẽ tạo ra đoạn hội thoại với nhiều giọng nói khác nhau, mỗi giọng có phong cách và cảm xúc riêng biệt theo mô tả, chạy trực tiếp trên điện thoại.
  2. Công nghệ tái sử dụng giọng nói tức thì cho trợ lý ảo di động: Một tính năng trên điện thoại thông minh cho phép trợ lý ảo duy trì một "bộ nhớ đệm" giọng nói của người dùng hoặc các giọng nói thường dùng. Khi người dùng yêu cầu trợ lý ảo nói điều gì đó bằng một giọng nói đã sử dụng gần đây, hệ thống sẽ bỏ qua bước xử lý ban đầu và tạo ra âm thanh ngay lập tức với độ trễ cực thấp, mang lại trải nghiệm trò chuyện liền mạch và tự nhiên hơn.
  3. Hệ thống tạo nội dung âm thanh dài tự động cho video ngắn trên di động: Một công cụ tích hợp trong ứng dụng chỉnh sửa video trên điện thoại, cho phép người dùng tự động tạo lời bình luận hoặc hội thoại dài cho video. Người dùng chỉ cần nhập kịch bản và chọn giọng nói/cảm xúc mong muốn (ví dụ: "giọng kể chuyện trầm ấm"), hệ thống sẽ tạo ra âm thanh chất lượng cao, duy trì sự ổn định và nhất quán trong suốt thời lượng video, loại bỏ nhu cầu ghi âm thủ công.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.08823
ArXiv Abstracthttps://arxiv.org/abs/2603.08823
PDF Downloadhttps://arxiv.org/pdf/2603.08823.pdf
Github Repositoryhttps://github.com/fishaudio/fish-speech

7. Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs (26 votes)​

Tác giả: Kaiser Sun, Xiaochuang Yuan, Hongjun Liu, Chen Zhao, Cheng Zhang, Mark Dredze, Fan Bai

Xuất bản lúc: 2026-03-10

Tag: Multimodal LLMs, Modality Gap, Visual Text Understanding, Self-Distillation, Error Analysis, OCR

I. Main Problem:​

Các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) thường hoạt động kém hơn khi văn bản được cung cấp dưới dạng hình ảnh so với khi được cung cấp dưới dạng token văn bản, một hiện tượng được gọi là "khoảng cách phương thức" (modality gap). Các nghiên cứu hiện có chủ yếu chỉ ghi nhận khoảng cách này hoặc xây dựng các hệ thống mới để khắc phục, mà chưa giải thích một cách có hệ thống tại sao khoảng cách này lại phát sinh, khi nào đầu vào hình ảnh hữu ích hay cản trở, hoặc làm thế nào để thu hẹp khoảng cách này với sự can thiệp tối thiểu. Các đánh giá hiện tại chủ yếu dựa vào hình ảnh văn bản được tạo ra tổng hợp, có thể làm lẫn lộn các lỗi do quá trình render với các thiếu sót nhận thức thực sự của mô hình.

II. Main Idea:​

Nghiên cứu này chẩn đoán một cách có hệ thống "khoảng cách phương thức" bằng cách đánh giá bảy MLLM trên bảy bộ benchmark với năm chế độ đầu vào, bao gồm cả văn bản được render tổng hợp và hình ảnh tài liệu thực tế (từ PDF arXiv đến trang Wikipedia). Thực hiện phân tích lỗi theo lý thuyết nền tảng (grounded-theory error analysis) trên hơn 4.000 ví dụ để hiểu tại sao chế độ hình ảnh làm giảm hiệu suất, tiết lộ rằng nó khuếch đại các lỗi đọc (tính toán, định dạng) nhưng không ảnh hưởng đáng kể đến lỗi kiến thức và suy luận, và một số mô hình gặp hiện tượng "suy sụp chuỗi suy luận" (chain-of-thought reasoning collapse) khi nhận đầu vào hình ảnh. Kết luận rằng chế độ hình ảnh làm suy yếu khả năng đọc, chứ không phải suy nghĩ. Đề xuất một phương pháp tự chưng cất (self-distillation) để thu hẹp khoảng cách này: huấn luyện mô hình trên các dấu vết suy luận ở chế độ văn bản thuần túy của chính nó, kết hợp với đầu vào hình ảnh.

III. Main Results:​

Khoảng cách phương thức phụ thuộc vào tác vụ và dữ liệu, không phải là phổ quát. Ví dụ, các tác vụ toán học giảm hơn 60 điểm trên các bản render tổng hợp, trong khi hình ảnh tài liệu tự nhiên thường đạt hoặc vượt hiệu suất ở chế độ văn bản. Các lựa chọn render như font chữ và độ phân giải là các yếu tố gây nhiễu mạnh mẽ; riêng font chữ có thể làm thay đổi độ chính xác tới 47 điểm phần trăm. Các bản render theo kiểu chữ viết tay gây suy giảm hiệu suất lớn nhất, hỗ trợ giả thuyết rằng khoảng cách này một phần là do sự không khớp phân phối dữ liệu huấn luyện. Phương pháp tự chưng cất đã nâng độ chính xác của chế độ hình ảnh trên GSM8K từ 30.71% lên 92.72%, gần như đạt hiệu suất ở chế độ văn bản thuần túy, và chuyển giao tốt sang các benchmark chưa từng thấy mà không bị quên kiến thức cũ. Các thiết lập OCR-1P và OCR-2P cho thấy nhận dạng hình ảnh không thể giải thích hoàn toàn khoảng cách phương thức. OCR-1P thất bại thảm hại, trong khi OCR-2P cải thiện hiệu suất nhưng lại phá vỡ khả năng tạo mã do mất các tín hiệu cấu trúc như thụt lề.

IV. Conclusion & Future Works:​

Nghiên cứu cung cấp một sự hiểu biết có hệ thống về khoảng cách phương thức trong MLLMs và đưa ra một con đường thực tế để cải thiện khả năng hiểu văn bản hình ảnh. Các hướng nghiên cứu trong tương lai có thể bao gồm việc khám phá các phương pháp hiệu quả hơn để tích hợp các tín hiệu hình ảnh cấu trúc (như thụt lề, căn chỉnh) vào quá trình xử lý văn bản hình ảnh của MLLMs, đặc biệt đối với các tác vụ nhạy cảm với cấu trúc như tạo mã. Tiếp tục nghiên cứu về sự phụ thuộc vào phân phối dữ liệu huấn luyện của MLLMs đối với các kiểu render khác nhau, và phát triển các phương pháp huấn luyện để làm cho mô hình mạnh mẽ hơn trước các biến thể hình ảnh không phổ biến. Mở rộng phương pháp tự chưng cất để xử lý các loại lỗi khác ngoài lỗi đọc, và áp dụng nó cho các mô hình và tác vụ đa phương thức khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Ảnh hưởng của các đặc điểm hình ảnh (font chữ, màu sắc, độ phân giải) đến hiệu suất của MLLM trên các tác vụ đọc hiểu văn bản tiếng Việt và phương pháp tối ưu hóa.
  2. Nghiên cứu về sự suy sụp chuỗi suy luận (Chain-of-Thought Reasoning Collapse) trong MLLM khi xử lý đầu vào hình ảnh và các chiến lược khắc phục thông qua huấn luyện tăng cường.
  3. Tự chưng cất đa phương thức với phản hồi tự giám sát: Nâng cao khả năng hiểu văn bản hình ảnh trong MLLM bằng cách sử dụng các dấu vết suy luận tự tạo.

2. Patent:​

  1. Hệ thống hỗ trợ đọc tài liệu thông minh trên điện thoại di động: Một ứng dụng điện thoại có thể chụp ảnh bất kỳ tài liệu nào (sách, hóa đơn, bảng biểu) và tự động chuyển đổi văn bản sang định dạng tối ưu để MLLM hiểu và tóm tắt, trả lời câu hỏi, hoặc thực hiện tính toán một cách chính xác, bất kể chất lượng ảnh gốc hay font chữ.
  2. Công nghệ "Trợ lý học tập trực quan" cho thiết bị di động: Một tính năng trên điện thoại hoặc máy tính bảng cho phép học sinh chụp ảnh các bài toán, sơ đồ, hoặc văn bản khoa học. Hệ thống sẽ sử dụng một MLLM được tinh chỉnh để giải thích các bước giải toán, cung cấp thông tin liên quan từ văn bản, hoặc thậm chí sửa lỗi trong bài làm, đặc biệt chú trọng vào việc duy trì chuỗi suy luận rõ ràng ngay cả từ đầu vào hình ảnh.
  3. Phương pháp tối ưu hóa hiển thị nội dung trên màn hình nhỏ: Một hệ thống tự động điều chỉnh cách hiển thị văn bản (font, kích thước, khoảng cách dòng) trên màn hình điện thoại khi người dùng tương tác với MLLM, đảm bảo rằng văn bản được trình bày theo cách mà MLLM có thể "đọc" và xử lý hiệu quả nhất, giảm thiểu "khoảng cách phương thức" và cải thiện độ chính xác khi người dùng nhập liệu bằng cách chụp ảnh hoặc đọc văn bản trên màn hình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.09095
ArXiv Abstracthttps://arxiv.org/abs/2603.09095
PDF Downloadhttps://arxiv.org/pdf/2603.09095.pdf
Github RepositoryN/A

8. Stepping VLMs onto the Court: Benchmarking Spatial Intelligence in Sports (25 votes)​

Tác giả: Yuchen Yang, Yuqing Shao, Duxiu Huang, Linfeng Dong, Yifei Liu, Suixin Tang, Xiang Zhou, Yuanyuan Gao, Wei Wang, Yue Zhou, Xue Yang, Yanfeng Wang, Xiao Sun, Zhihang Zhong

Xuất bản lúc: 2026-03-10

Tag: VLM, Spatial Intelligence, Dataset, Benchmark, 3D Reconstruction, Sports Analytics

I. Main Problem:​

Các bộ dữ liệu và tiêu chuẩn đánh giá trí tuệ không gian hiện có cho các mô hình VLM chủ yếu tập trung vào các cảnh tĩnh và vật thể cứng nhắc, chưa thể hiện đủ sự phức tạp của chuyển động cường độ cao của con người và tương tác đối tượng động trong các tình huống thể thao. Điều này hạn chế khả năng của VLM trong việc nhận thức và suy luận về thế giới 3D trong các môi trường năng động, lấy con người làm trung tâm. Các nghiên cứu về hiểu biết thể thao hiện tại cũng chủ yếu tập trung vào hoạt động, thiếu khả năng suy luận không gian chi tiết.

II. Main Idea:​

Bài báo giới thiệu CourtSI và CourtSI-Bench, bộ dữ liệu và tiêu chuẩn đánh giá trí tuệ không gian quy mô lớn đầu tiên dành riêng cho các kịch bản thể thao (cầu lông, quần vợt, bóng bàn). Để xây dựng dữ liệu, nhóm nghiên cứu phát triển một công cụ dữ liệu bán tự động (semi-automatic data engine) để tái tạo các cảnh thể thao 3D từ hình ảnh đơn lẻ, sử dụng hình học sân đấu làm điểm neo tham chiếu và kỹ thuật phục hồi lưới người (PromptHMR) cùng chú thích bóng thủ công. Sau đó, họ tự động tạo hơn 1 triệu cặp câu hỏi-trả lời (QA) bao gồm đếm không gian, đo khoảng cách, định vị và suy luận quan hệ, với các câu hỏi tập trung vào con người và nhận biết hệ mét.

III. Main Results:​

Các kết quả chính bao gồm:

  1. Đánh giá 25 mô hình VLM (độc quyền và mã nguồn mở) trên CourtSI-Bench cho thấy khoảng cách lớn giữa hiệu suất của con người và AI, đặc biệt trong các tác vụ đo khoảng cách.
  2. Các mô hình được huấn luyện trên các bộ dữ liệu trí tuệ không gian hiện có thể hiện khả năng tổng quát hóa kém đối với CourtSI-Bench.
  3. Việc tinh chỉnh Qwen3-VL-8B trên CourtSI đã cải thiện độ chính xác trên CourtSI-Bench lên 23.5 điểm phần trăm, với mức tăng đáng kể trong tác vụ đo khoảng cách.
  4. Mô hình đã tinh chỉnh cũng cho thấy khả năng tổng quát hóa hiệu quả đối với CourtSI-Ext (một môn thể thao tương tự nhưng chưa từng được thấy, pickleball) và khả năng tạo bình luận nhận biết không gian được cải thiện.
  5. Công cụ dữ liệu tái tạo cảnh 3D đạt độ chính xác cấp centimet cho việc định vị bóng và người chơi.

IV. Conclusion & Future Works:​

CourtSI cung cấp một lộ trình có thể mở rộng để nâng cao trí tuệ không gian của các mô hình VLM trong thể thao, đặc biệt là trong các kịch bản động và lấy con người làm trung tâm. Nghiên cứu này nhấn mạnh sự cần thiết phát triển các mô hình tổng quát hơn có khả năng nhận thức và suy luận 3D chính xác dưới các hướng dẫn ngôn ngữ linh hoạt, hỗ trợ con người trong việc hiểu không gian ở cấp độ hệ mét. Các hướng phát triển trong tương lai có thể tập trung vào việc cải thiện hơn nữa trí tuệ không gian của VLM trong các tình huống thể thao phức tạp và mở rộng sang các môn thể thao khác với động lực đa dạng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển các phương pháp tái tạo 3D động cho các kịch bản thể thao phức tạp: Nghiên cứu các kỹ thuật tiên tiến hơn để tái tạo cảnh 3D chính xác và tự động hơn, đặc biệt cho các môn thể thao có nhiều người chơi, chuyển động nhanh và vật thể nhỏ, vượt ra ngoài các môn thể thao lưới đơn giản. Điều này có thể bao gồm việc tích hợp dữ liệu đa cảm biến hoặc các mô hình học sâu để ước tính độ sâu và tư thế người chính xác hơn mà không cần chú thích thủ công.
  2. Nâng cao khả năng suy luận không gian của VLM trong ngữ cảnh tương tác đa tác nhân: Tập trung vào việc phát triển VLM có khả năng không chỉ định vị và đo lường mà còn hiểu các mối quan hệ không gian phức tạp giữa nhiều người chơi, bóng và môi trường sân đấu trong các tình huống chiến thuật. Điều này có thể dẫn đến các mô hình có thể dự đoán hành vi, phân tích chiến thuật và đưa ra lời khuyên dựa trên vị trí không gian.
  3. Mở rộng đánh giá trí tuệ không gian sang các khía cạnh nhận thức cao hơn trong thể thao: Ngoài việc đo lường và định vị cơ bản, khám phá cách VLM có thể thực hiện suy luận không gian liên quan đến chiến lược, ý định của người chơi và kết quả trận đấu. Ví dụ, liệu VLM có thể xác định "vị trí tốt" hay "vị trí nguy hiểm" dựa trên ngữ cảnh không gian của trận đấu.

2. Patent:​

  1. Hệ thống phân tích và huấn luyện thể thao cá nhân trên điện thoại: Một ứng dụng di động sử dụng camera điện thoại để quay lại các buổi tập luyện thể thao (ví dụ: cầu lông, quần vợt). Ứng dụng sẽ tự động tái tạo vị trí 3D của người chơi và bóng trên sân, sau đó cung cấp phản hồi theo thời gian thực hoặc sau tập luyện về khoảng cách di chuyển, vị trí tiếp xúc bóng, và khoảng cách tới lưới/đường biên. Điều này giúp người dùng cải thiện kỹ thuật và chiến thuật mà không cần thiết bị chuyên dụng.
  2. Trợ lý bình luận thể thao tăng cường không gian trên điện thoại: Một tính năng trên ứng dụng xem thể thao trên điện thoại di động có khả năng tạo ra các bình luận thể thao được cá nhân hóa và chi tiết về mặt không gian. Khi người dùng xem một trận đấu, hệ thống sẽ phân tích video và cung cấp thông tin như "cầu thủ A cách lưới 2 mét", "bóng đang ở phía trước cầu thủ B", hoặc "khoảng cách giữa hai cầu thủ là 5 mét", giúp người xem có cái nhìn sâu sắc hơn về diễn biến trận đấu.
  3. Công cụ lập kế hoạch và mô phỏng chiến thuật thể thao 3D cho huấn luyện viên: Một ứng dụng di động cho phép huấn luyện viên tải lên video trận đấu hoặc tạo kịch bản sân đấu. Ứng dụng sẽ tái tạo cảnh 3D, cho phép huấn luyện viên tương tác để di chuyển người chơi và bóng, tính toán khoảng cách và quỹ đạo, từ đó mô phỏng các chiến thuật khác nhau. Điều này giúp huấn luyện viên dễ dàng minh họa và phân tích chiến lược cho đội của mình, ngay cả khi đang di chuyển.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.09896
ArXiv Abstracthttps://arxiv.org/abs/2603.09896
PDF Downloadhttps://arxiv.org/pdf/2603.09896.pdf
Github Repositoryhttps://github.com/Visionary-Laboratory/CourtSI

9. Are Audio-Language Models Listening? Audio-Specialist Heads for Adaptive Audio Steering (12 votes)​

Tác giả: Neta Glazer, Lenny Aharon, Ethan Fetaya

Xuất bản lúc: 2026-03-06

Tag: LALMs, Multimodal LLMs, Mechanistic Interpretability, Attention Mechanisms, Inference-time Steering, Text Dominance

I. Main Problem:​

Các mô hình ngôn ngữ lớn đa phương thức (Multimodal LLMs), đặc biệt là các mô hình ngôn ngữ-âm thanh lớn (LALMs), thường gặp phải hiện tượng "ưu thế văn bản" (text dominance). Điều này có nghĩa là chúng quá phụ thuộc vào các thông tin ngôn ngữ (văn bản) và bỏ qua hoặc tận dụng không hiệu quả các đầu vào phi văn bản (như âm thanh), ngay cả khi bằng chứng âm thanh mang thông tin quan trọng. Sự mất cân bằng này dẫn đến việc các LALMs có thể bỏ qua bằng chứng âm thanh mâu thuẫn, hành xử như những công cụ sao chép cứng nhắc thay vì người nghe chủ động, và đưa ra các dự đoán không đáng tin cậy.

II. Main Idea:​

Để giải quyết vấn đề ưu thế văn bản, nghiên cứu này sử dụng phương pháp giải thích cơ chế (mechanistic interpretability) để:

  1. Xác định các Attention Head chuyên biệt về âm thanh: Tìm ra một tập hợp nhỏ các "audio-specialist attention heads" mà sự chú ý của chúng đối với âm thanh có thể dự đoán độ chính xác của mô hình. Tín hiệu chú ý này tạo ra một "tín hiệu lắng nghe" (listening signal) ở cấp độ từng trường hợp, cho biết khi nào mô hình đang thực sự "tương tác" với đầu vào âm thanh.
  2. Thiết lập hướng điều khiển và can thiệp: Dựa trên việc xác định vị trí các head chuyên biệt này, nhóm nghiên cứu xây dựng một hướng điều khiển "âm thanh-im lặng" (audio–silence steering direction). Hướng này được tạo ra bằng cách tính toán sự khác biệt giữa các trạng thái residual stream từ một lượt chạy có điều kiện âm thanh và một lượt chạy có âm thanh được thay thế bằng im lặng, sau đó tổng hợp sự khác biệt này trên các lớp chứa các head chuyên biệt.
  3. Can thiệp kích hoạt trong thời gian suy luận (Inference-time Activation Intervention): Áp dụng can thiệp này vào biểu diễn cuối cùng của mô hình trong quá trình suy luận, nhằm khuếch đại hiệu ứng của âm thanh mà không cần cập nhật bất kỳ tham số mô hình nào.

III. Main Results:​

  • Tăng độ chính xác đáng kể: Phương pháp điều khiển lớp được hướng dẫn bởi head (Head-guided layer steering) đã cải thiện độ chính xác trên bộ dữ liệu MMAU test-mini lên tới +8.05 điểm phần trăm (pp) cho Qwen2-Audio (từ 49.20% lên 57.25%) và +4.90 pp cho R1-AQA (từ 64.50% lên 69.40%).
  • Hiệu quả vượt trội so với các phương pháp cơ sở: Phương pháp này vượt trội so với các phương pháp điều khiển lớp đơn lẻ tốt nhất và cả phương pháp điều khiển cấp độ head chuyên biệt.
  • Cải thiện nhất quán trên các miền: Các cải thiện về độ chính xác là nhất quán trên các miền âm thanh khác nhau (lời nói, âm thanh môi trường, âm nhạc). Cụ thể, trên Qwen2-Audio, mức tăng lớn nhất là cho lời nói (+14.1 pp); trên R1-AQA, mức tăng lớn nhất là cho âm thanh môi trường (+7.5 pp).
  • Khẳng định vai trò của Head chuyên biệt: Các bộ head được chọn ngẫu nhiên có cùng kích thước tạo ra cải thiện nhỏ hơn nhiều so với các head chuyên biệt, chứng minh rằng lợi ích đạt được là nhờ vào việc xác định đúng các head có liên quan đến âm thanh.

IV. Conclusion & Future Works:​

Nghiên cứu này chứng minh rằng khả năng giải thích cơ chế (mechanistic interpretability) là một công cụ thiết thực để hiểu và cải thiện các mô hình ngôn ngữ-âm thanh. Bằng cách phân tích attention ở cấp độ head, có thể xác định một tập hợp các head chuyên biệt về âm thanh, cung cấp một chỉ báo về sự tương tác của mô hình với âm thanh. Việc can thiệp có chọn lọc vào các lớp chứa các head này có thể khuếch đại hiệu ứng của âm thanh, mang lại những cải thiện đáng kể về độ chính xác mà không cần cập nhật tham số. Điều này cho thấy "ưu thế văn bản" trong các LALMs là một lỗi có thể chẩn đoán và điều khiển được, và các tín hiệu giải thích có thể cung cấp chỉ dẫn hữu ích để xây dựng các hệ thống đa phương thức đáng tin cậy hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng can thiệp điều khiển sang các mô hình đa phương thức khác: Nghiên cứu hiện tại tập trung vào LALMs. Hướng nghiên cứu tiếp theo có thể khám phá việc áp dụng phương pháp giải thích cơ chế và can thiệp điều khiển này để giảm thiểu "ưu thế văn bản" trong các mô hình đa phương thức khác như Vision-Language Models (VLMs) hoặc Video-Language Models, nơi dữ liệu hình ảnh hoặc video cũng có thể bị bỏ qua.
  2. Tối ưu hóa tự động quá trình phát hiện và điều khiển Head chuyên biệt: Thay vì chọn Top-K head và điều chỉnh cường độ điều khiển (beta) thủ công, một hướng nghiên cứu có thể là phát triển các phương pháp tự động để xác định các head chuyên biệt và tối ưu hóa tham số điều khiển. Điều này có thể bao gồm việc sử dụng học tăng cường hoặc các thuật toán thích ứng để điều chỉnh động lực điều khiển dựa trên ngữ cảnh đầu vào hoặc độ tin cậy của mô hình, giúp hệ thống trở nên mạnh mẽ và linh hoạt hơn.
  3. Phân tích cơ chế causal chi tiết của sự tương tác giữa các modality: Đi sâu hơn vào việc hiểu tại sao một số attention head lại chuyên biệt cho âm thanh và cách thức chúng tương tác với các thành phần khác trong mô hình để xử lý thông tin âm thanh. Nghiên cứu này có thể sử dụng các công cụ giải thích cơ chế nâng cao để phân tích các mạch tính toán cụ thể, dẫn đến việc thiết kế kiến trúc mô hình tốt hơn hoặc các chiến lược can thiệp chính xác hơn để cải thiện khả năng "lắng nghe" của LALMs.

2. Patent:​

  1. Trợ lý giọng nói thích ứng ngữ cảnh trên điện thoại di động: Một công nghệ cho phép trợ lý giọng nói trên điện thoại di động (ví dụ: Siri, Google Assistant) tự động điều chỉnh mức độ ưu tiên giữa lệnh thoại của người dùng và các tín hiệu âm thanh môi trường xung quanh. Ví dụ, nếu người dùng nói "bật nhạc" trong khi điện thoại phát hiện tiếng ồn lớn từ một bữa tiệc, hệ thống sẽ sử dụng "tín hiệu lắng nghe" từ các head chuyên biệt để hiểu rằng cần bật nhạc tiệc tùng hoặc điều chỉnh âm lượng phù hợp, thay vì chỉ thực hiện lệnh thoại chung chung.
  2. Quản lý thông báo thông minh dựa trên âm thanh môi trường: Một hệ thống trên điện thoại di động có khả năng sử dụng các tín hiệu âm thanh môi trường để quản lý thông báo một cách thông minh. Ví dụ, nếu điện thoại phát hiện tiếng người đang trò chuyện hoặc một cuộc họp qua việc "lắng nghe" các đặc điểm âm thanh chuyên biệt, nó có thể tự động tắt tiếng các thông báo không khẩn cấp, ngay cả khi người dùng chưa kích hoạt chế độ "không làm phiền".
  3. Ứng dụng hỗ trợ người khiếm thính với thông tin âm thanh ngữ cảnh: Một ứng dụng di động cung cấp phụ đề hoặc tóm tắt theo ngữ cảnh, theo thời gian thực về các âm thanh xung quanh cho người khiếm thính. Thay vì chỉ phiên âm lời nói, ứng dụng sẽ sử dụng các "head chuyên biệt về âm thanh" để nhận diện và ưu tiên các âm thanh quan trọng không phải lời nói (ví dụ: tiếng chuông cửa, còi xe, báo động) và hiển thị chúng một cách trực quan, hoặc cung cấp "điểm lắng nghe" để chỉ ra mức độ quan trọng của các sự kiện âm thanh xung quanh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.06854
ArXiv Abstracthttps://arxiv.org/abs/2603.06854
PDF Downloadhttps://arxiv.org/pdf/2603.06854.pdf
Github RepositoryN/A