Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-03-16

Báo cáo được tạo tự động vào lúc 2026-03-18 12:09:30 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. LMEB: Long-horizon Memory Embedding Benchmark (62 votes)​

Tác giả: Xinping Zhao, Xinshuo Hu, Jiaxin Xu, Danyu Tang, Xin Zhang, Mengjia Zhou, Yan Zhong, Yao Zhou, Zifei Shan, Meishan Zhang, Baotian Hu, Min Zhang

Xuất bản lúc: 2026-03-13

Tag: Memory Embeddings, Text Embeddings, Benchmarking, Information Retrieval, Long-horizon Memory, Episodic Memory, Dialogue Memory, Semantic Memory, Procedural Memory, LLMs

I. Main Problem:​

Các hệ thống tăng cường bộ nhớ, như các hệ thống tác nhân, đang ngày càng trở nên quan trọng, nhưng việc đánh giá các embedding bộ nhớ trong các benchmark hiện tại còn hạn chế. Các benchmark hiện có chủ yếu tập trung vào truy xuất đoạn văn truyền thống và không đánh giá đầy đủ khả năng của mô hình trong việc xử lý các nhiệm vụ truy xuất bộ nhớ dài hạn liên quan đến thông tin rời rạc, phụ thuộc ngữ cảnh và cách xa về mặt thời gian. Điều này tạo ra một lỗ hổng đáng kể trong việc hiểu cách các mô hình hoạt động trong các kịch bản thực tế, sử dụng nhiều bộ nhớ.

II. Main Idea:​

Để giải quyết vấn đề trên, nghiên cứu giới thiệu Long-horizon Memory Embedding Benchmark (LMEB), một khuôn khổ toàn diện để đánh giá khả năng của các mô hình embedding trong việc xử lý các nhiệm vụ truy xuất bộ nhớ dài hạn phức tạp. LMEB bao gồm 22 bộ dữ liệu và 193 nhiệm vụ truy xuất zero-shot trên 4 loại bộ nhớ: Episodic, Dialogue, Semantic và Procedural, với dữ liệu được tạo bởi AI và được chú thích bởi con người. Các loại bộ nhớ này khác nhau về mức độ trừu tượng và sự phụ thuộc thời gian. LMEB được thiết kế dựa trên 4 nguyên tắc chính: Khái quát hóa (zero-shot), Khả năng sử dụng, Đa dạng và Độ khó. Nó cung cấp một giao thức đánh giá thống nhất và các trình bao bọc mô hình mở rộng, hỗ trợ đánh giá có thể tái tạo trên nhiều kiến trúc mô hình và báo cáo các chỉ số IR tiêu chuẩn như NDCG@k và Recall@k.

III. Main Results:​

Các kết quả thử nghiệm chính cho thấy:

  1. LMEB cung cấp mức độ khó hợp lý: Mô hình hoạt động tốt nhất đạt điểm Mean (Dataset) là 61.41 trên N@10 trong cài đặt có hướng dẫn, cho thấy các nhiệm vụ đủ thách thức.
  2. Các mô hình lớn hơn không phải lúc nào cũng hoạt động tốt hơn: Trong một số trường hợp, các mô hình lớn hơn hoạt động kém hơn các mô hình nhỏ hơn, nhấn mạnh tầm quan trọng của kiến trúc mô hình và khả năng thích ứng với nhiệm vụ, chứ không chỉ kích thước.
  3. LMEB và MTEB thể hiện tính trực giao: Với hệ số tương quan Pearson và Spearman gần 0 (-0.115 và -0.130), cho thấy hiệu suất trong truy xuất đoạn văn truyền thống không khái quát hóa tốt cho truy xuất bộ nhớ dài hạn.
  4. Hiệu suất MTEB không khái quát hóa tốt cho LMEB-Episodic/Dialogue: Đặc biệt là LMEB-Dialogue, với hệ số tương quan Pearson là -0.496.
  5. Hiệu suất MTEB khái quát hóa một phần cho LMEB-Semantic/Procedural: Mặc dù có một số tương quan (Pearson 0.103 cho Semantic, 0.291 cho Procedural), chúng vẫn tương đối yếu do sự khác biệt về trọng tâm miền.
  6. Tác động của hướng dẫn nhiệm vụ lên hiệu suất mô hình là khác nhau: Một số mô hình được hưởng lợi, một số không nhạy cảm, và một số hoạt động tốt hơn khi không có hướng dẫn.

IV. Conclusion & Future Works:​

Nghiên cứu này đã giới thiệu LMEB, một benchmark quan trọng để đánh giá các mô hình embedding trên các nhiệm vụ truy xuất bộ nhớ dài hạn, giàu ngữ cảnh. LMEB lấp đầy một khoảng trống quan trọng trong đánh giá embedding bộ nhớ, thúc đẩy những tiến bộ hơn nữa trong embedding văn bản để xử lý truy xuất bộ nhớ dài hạn, phụ thuộc ngữ cảnh. Nó cung cấp một khuôn khổ đánh giá tiêu chuẩn hóa và có thể tái tạo, đồng thời là một công cụ chẩn đoán để phát triển các mô hình embedding bộ nhớ đáng tin cậy hơn trong các hệ thống tăng cường bộ nhớ thực tế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu kiến trúc mô hình và chiến lược huấn luyện mới được tối ưu hóa đặc biệt cho truy xuất bộ nhớ dài hạn trên các loại bộ nhớ khác nhau, vượt ra ngoài việc chỉ tăng kích thước mô hình.
  2. Phát triển các phương pháp điều chỉnh hướng dẫn thích ứng cho các mô hình embedding, có khả năng tự động xác định khi nào nên sử dụng hướng dẫn và cách xây dựng chúng một cách tối ưu cho các nhiệm vụ truy xuất bộ nhớ cụ thể.
  3. Khám phá các embedding bộ nhớ đa phương thức dài hạn, tích hợp các tín hiệu hình ảnh và âm thanh cùng với văn bản để tăng cường khả năng truy xuất trong các kịch bản thực tế phức tạp, mở rộng khái niệm LMEB sang dữ liệu đa phương thức.

2. Patent:​

  1. Hệ thống trợ lý cá nhân thông minh với bộ nhớ dài hạn: Một ứng dụng di động có thể ghi nhớ chi tiết từ các cuộc trò chuyện, sự kiện lịch, ghi chú và sở thích của người dùng trong thời gian dài. Ví dụ, sau nhiều tháng, người dùng có thể hỏi "Nhớ lại cuộc thảo luận của chúng ta về kế hoạch du lịch châu Âu vào mùa hè năm ngoái" và ứng dụng sẽ cung cấp các chi tiết cụ thể như điểm đến, ngày dự kiến, và người tham gia, giúp người dùng dễ dàng tiếp tục các kế hoạch hoặc tra cứu thông tin cũ mà không cần tìm kiếm thủ công.
  2. Tính năng tìm kiếm ngữ cảnh nâng cao cho ứng dụng nhắn tin: Cải thiện khả năng tìm kiếm trong các ứng dụng nhắn tin bằng cách cho phép người dùng tìm kiếm thông tin dựa trên ngữ cảnh và thời gian, không chỉ từ khóa. Ví dụ, người dùng có thể tìm kiếm "tin nhắn về cuộc họp dự án của chúng ta vào thứ Ba tuần trước với John" và hệ thống sẽ ưu tiên các tin nhắn liên quan đến cuộc họp đó, ngay cả khi từ khóa không khớp chính xác, giúp người dùng nhanh chóng tìm lại các cuộc trò chuyện quan trọng.
  3. Gợi ý hành động dựa trên thói quen và lịch sử sử dụng ứng dụng: Một hệ thống trên điện thoại di động học hỏi từ các hành động và thói quen của người dùng theo thời gian. Ví dụ, nếu người dùng thường xuyên đặt báo thức vào một giờ nhất định sau khi tập thể dục buổi sáng, hoặc mở một ứng dụng cụ thể sau khi nhận được email từ một người nào đó, hệ thống sẽ tự động gợi ý hành động đó vào đúng ngữ cảnh, giúp người dùng tiết kiệm thời gian và tối ưu hóa quy trình hàng ngày mà không cần phải thiết lập lại mỗi lần.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.12572
ArXiv Abstracthttps://arxiv.org/abs/2603.12572
PDF Downloadhttps://arxiv.org/pdf/2603.12572.pdf
Github RepositoryN/A

2. Can Vision-Language Models Solve the Shell Game? (35 votes)​

Tác giả: Tiedong Liu, Wee Sun Lee

Xuất bản lúc: 2026-03-09

Tag: Vision-Language Models (VLMs), Visual Tracking, Spatiotemporal Reasoning, Chain-of-Thought (CoT), Benchmarking, Object Tracking, Transformer Models

I. Main Problem:​

Các mô hình Vision-Language Models (VLMs) hiện tại gặp khó khăn nghiêm trọng trong việc theo dõi các thực thể hình ảnh (visual entity tracking) theo thời gian, một khả năng nhận thức bẩm sinh ở con người. Hạn chế này thường bị che khuất trong các bộ dữ liệu video hiện có do sự tồn tại của các "lối tắt hình ảnh" (visual shortcuts) như vật thể có đặc điểm nhận dạng riêng biệt hoặc trong suốt, cho phép mô hình giải quyết nhiệm vụ mà không cần theo dõi thời gian thực sự. Các mô hình VLM dựa trên Transformer có độ sâu cố định bị giới hạn về mặt biểu đạt (expressivity constraints), không thể theo dõi các đối tượng không thể phân biệt được nếu không có sự giám sát trung gian (intermediate supervision).

II. Main Idea:​

Để giải quyết vấn đề này, nghiên cứu giới thiệu VET-Bench, một bộ kiểm tra chẩn đoán tổng hợp sử dụng các đối tượng giống hệt nhau về mặt hình ảnh, buộc các mô hình phải theo dõi thực thể chỉ thông qua tính liên tục không-thời gian (spatiotemporal continuity). Nghiên cứu đề xuất Spatiotemporal Grounded Chain-of-Thought (SGCoT), một phương pháp mà mô hình tạo ra các quỹ đạo đối tượng được căn cứ vào không-thời gian (spatiotemporal grounded object trajectories) như các trạng thái trung gian rõ ràng. Bằng cách tận dụng khả năng theo dõi đối tượng của Molmo2 và tinh chỉnh nó trên dữ liệu chỉ văn bản tổng hợp để căn chỉnh, SGCoT cho phép mô hình thực hiện suy luận từng bước dựa trên vị trí chính xác của đối tượng theo thời gian.

III. Main Results:​

I. Kết quả chính​

  • Các mô hình VLM tiên tiến hiện tại, bao gồm Gemini-3-Pro, thực hiện ở mức hoặc gần mức ngẫu nhiên trên VET-Bench, cho thấy sự phụ thuộc quá mức vào các đặc điểm tĩnh ở cấp khung hình và không duy trì được biểu diễn thực thể theo thời gian.
  • Phân tích lý thuyết chứng minh rằng các mô hình VLM dựa trên Transformer có độ sâu cố định bị giới hạn về cơ bản trong việc theo dõi các đối tượng không thể phân biệt mà không cần giám sát trung gian (nhiệm vụ TRACKk là NC1-complete cho k >= 5).
  • Phương pháp SGCoT đạt được độ chính xác vượt quá 90% trên VET-Bench, chứng minh rằng các VLM có thể giải quyết đáng tin cậy nhiệm vụ "shell game" video từ đầu đến cuối mà không cần công cụ bên ngoài.

IV. Conclusion & Future Works:​

Nghiên cứu đã xác định theo dõi thực thể hình ảnh là một nút thắt cơ bản trong các VLM hiện tại và chứng minh rằng các mô hình tiên tiến thực hiện gần mức ngẫu nhiên khi các gợi ý về ngoại hình bị loại bỏ. Phân tích lý thuyết đã chứng minh rằng theo dõi thực thể hình ảnh là NC1-complete, cho thấy các VLM có độ sâu cố định bị giới hạn về khả năng biểu đạt khi giải quyết các nhiệm vụ như vậy mà không cần Chain-of-Thought (CoT). SGCoT đã được chứng minh là một giải pháp hiệu quả.

Trong tương lai, nghiên cứu có thể tích hợp SGCoT với các biểu thức tham chiếu phức tạp hơn trên các khung hình tùy ý. Ngoài ra, việc xử lý các kịch bản theo dõi phức tạp hơn trong thế giới thực (ví dụ: vật thể di chuyển gần nhau, chồng chéo, mờ chuyển động, hoặc bị che khuất) sẽ yêu cầu kết hợp các mô hình có hiểu biết vật lý mạnh mẽ hơn hoặc các mô hình thế giới để theo dõi mạnh mẽ hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tăng cường khả năng theo dõi thực thể hình ảnh của VLMs trong môi trường thực tế thông qua các mô hình vật lý và thế giới ảo Nghiên cứu mở rộng SGCoT để giải quyết các thách thức theo dõi phức tạp hơn như vật thể chồng chéo, mờ chuyển động và che khuất, bằng cách tích hợp các mô hình vật lý hoặc mô hình thế giới tiên tiến để dự đoán và duy trì trạng thái đối tượng một cách mạnh mẽ hơn.
  2. Phân tích định lượng tác động của các gợi ý hình ảnh và độ phức tạp không-thời gian lên hiệu suất của VLM trong các nhiệm vụ theo dõi Phát triển một khung đánh giá chi tiết hơn VET-Bench để kiểm soát các biến như số lượng vật thể, số lần hoán đổi, tốc độ di chuyển và mức độ tương đồng hình ảnh, nhằm định lượng chính xác sự đóng góp của từng yếu tố đến khả năng theo dõi của VLM.
  3. Áp dụng Spatiotemporal Grounded Chain-of-Thought cho các nhiệm vụ tương tác người-robot và AI định thân Khám phá việc sử dụng SGCoT trong các ứng dụng robot và AI định thân, nơi khả năng theo dõi vật thể chính xác theo thời gian là rất quan trọng để robot có thể hiểu và tương tác với môi trường vật lý, ví dụ như trong các nhiệm vụ thao tác đối tượng hoặc điều hướng phức tạp.

2. Patent:​

  1. Hệ thống theo dõi đối tượng ẩn trên điện thoại di động cho game thực tế tăng cường (AR) Một ứng dụng di động sử dụng camera của điện thoại để theo dõi vị trí của các đối tượng ảo giống hệt nhau (ví dụ: các cốc trong trò chơi úp lá khoai) trong môi trường thực tế tăng cường. Thay vì dựa vào các dấu hiệu hình ảnh tĩnh, hệ thống sẽ sử dụng thuật toán theo dõi chuyển động liên tục của các vật thể để xác định vị trí cuối cùng của vật thể được chọn, mang lại trải nghiệm chơi game AR chân thực và thách thức hơn.
  2. Công nghệ hỗ trợ điều hướng trong nhà cho người khiếm thị bằng cách theo dõi vật cản di động Một hệ thống sử dụng camera điện thoại và SGCoT để liên tục theo dõi vị trí của các vật cản di động (ví dụ: người, xe đẩy) trong môi trường trong nhà. Thay vì chỉ phát hiện vật cản tại một thời điểm, công nghệ này dự đoán quỹ đạo di chuyển của chúng, cung cấp cảnh báo sớm và hướng dẫn điều hướng an toàn hơn cho người dùng khiếm thị, giúp họ tránh va chạm với các vật thể đang di chuyển.
  3. Chức năng "tìm đồ vật thất lạc" thông minh trên điện thoại bằng cách theo dõi lịch sử vị trí Một tính năng trên điện thoại di động cho phép người dùng "đánh dấu" một vật phẩm quan trọng (ví dụ: chìa khóa, ví) thông qua camera. Điện thoại sẽ tự động ghi lại và theo dõi quỹ đạo không-thời gian của vật phẩm đó khi nó di chuyển trong tầm nhìn của camera, ngay cả khi nó bị che khuất hoặc trộn lẫn với các vật phẩm tương tự. Khi người dùng cần tìm, ứng dụng có thể hiển thị lịch sử di chuyển hoặc vị trí cuối cùng được ghi nhận, giúp tìm đồ vật dễ dàng hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.08436
ArXiv Abstracthttps://arxiv.org/abs/2603.08436
PDF Downloadhttps://arxiv.org/pdf/2603.08436.pdf
Github Repositoryhttps://github.com/liutiedong/shellgame

3. Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation (34 votes)​

Tác giả: Yichen Zhang, Da Peng, Zonghao Guo, Zijian Zhang, Xuesong Yang, Tong Sun, Shichu Sun, Yidan Zhang, Yanghao Li, Haiyan Zhao, Wang Xu, Qi Shi, Yangang Sun, Chi Chen, Shuo Wang, Yukun Yan, Xu Han, Qiang Ma, Wei Ke, Liang Wang, Zhiyuan Liu, Maosong Sun

Xuất bản lúc: 2026-03-13

Tag: Unified Multimodal Model, Visual Comprehension, Image Generation, LLMs, Diffusion Models, Vision-Language

I. Main Problem:​

Các mô hình đa phương thức hiện đại gặp khó khăn trong việc thống nhất khả năng hiểu và tạo ảnh trong một mô hình duy nhất. Hai nhiệm vụ này đòi hỏi các cơ chế giải mã và biểu diễn hình ảnh không khớp nhau (ví dụ: giải mã tự hồi quy cho văn bản/hiểu và giải mã khuếch tán cho tạo ảnh), dẫn đến xung đột tối ưu hóa nội tại trong không gian đặc trưng chung.

II. Main Idea:​

CHEERS đề xuất một mô hình đa phương thức thống nhất tách rời các chi tiết cấp độ patch khỏi các biểu diễn ngữ nghĩa. Điều này giúp ổn định ngữ nghĩa cho việc hiểu đa phương thức và cải thiện độ chân thực cho việc tạo ảnh thông qua các phần dư chi tiết được kiểm soát. CHEERS bao gồm ba thành phần chính:

  1. Bộ mã hóa hình ảnh thống nhất (Unified Vision Tokenizer): Mã hóa và nén các trạng thái tiềm ẩn của hình ảnh thành các token ngữ nghĩa để điều kiện hóa LLM hiệu quả. Nó tái tạo hình ảnh cấp độ pixel từ các ẩn trạng VAE trước khi mã hóa ngữ nghĩa để giữ lại các chi tiết tinh tế, sau đó áp dụng Pixel-Unshuffle để nén token 4 lần.
  2. Transformer dựa trên LLM: Thống nhất giải mã tự hồi quy cho tạo văn bản và giải mã khuếch tán cho tạo ảnh trong một kiến trúc LLM duy nhất (Qwen2.5-1.5B-Instruct). Nó sử dụng mặt nạ chú ý hai chiều cho các token hình ảnh và mặt nạ nhân quả cho văn bản.
  3. Đầu khớp luồng phân tầng (Cascaded Flow Matching Head - CFM Head): Tách biệt việc tạo ảnh thành hai giai đoạn: đầu tiên tổng hợp ngữ nghĩa cấp cao ở độ phân giải thấp, sau đó tiêm các phần dư chi tiết tần số cao được kiểm soát ngữ nghĩa từ bộ mã hóa hình ảnh để tinh chỉnh nội dung tần số cao, mô phỏng quá trình vẽ từ bố cục tổng thể đến chi tiết tinh xảo.

III. Main Results:​

  • CHEERS đạt hoặc vượt trội hơn các mô hình đa phương thức thống nhất (UMMs) tiên tiến trong cả khả năng hiểu và tạo ảnh.
  • Đáng chú ý, CHEERS vượt trội hơn Tar-1.5B trên các bộ điểm chuẩn phổ biến GenEval và MMBench.
  • Mô hình chỉ yêu cầu 20% chi phí huấn luyện so với Tar-1.5B, cho thấy hiệu quả và hiệu suất cao (nén token 4 lần).
  • Việc tiêm tần số cao (HFI) đóng vai trò quan trọng trong việc cải thiện chất lượng tạo ảnh mà không ảnh hưởng đến khả năng hiểu.
  • Huấn luyện chung các nhiệm vụ hiểu và tạo ảnh không làm giảm hiệu suất hiểu đa phương thức.

IV. Conclusion & Future Works:​

CHEERS là một mô hình đa phương thức thống nhất mới, thành công trong việc hài hòa khả năng hiểu hình ảnh và tạo ảnh có độ chân thực cao trong một khung làm việc duy nhất. Cốt lõi của phương pháp là tách rời các chi tiết cấp độ patch khỏi các biểu diễn ngữ nghĩa, giải quyết xung đột tối ưu hóa nội tại trong mô hình hóa đa phương thức chung. Bằng cách sử dụng một bộ mã hóa hình ảnh thống nhất để trích xuất ngữ nghĩa ổn định và một đầu khớp luồng phân tầng để tiêm các phần dư tần số cao được kiểm soát ngữ nghĩa, CHEERS đảm bảo cả khả năng hiểu mạnh mẽ và tổng hợp hình ảnh chính xác. Các đánh giá rộng rãi trên các bộ điểm chuẩn cho thấy CHEERS đạt hiệu suất cạnh tranh, duy trì hiệu quả cao thông qua tỷ lệ nén token 4 lần và cho thấy khả năng chỉnh sửa hình ảnh zero-shot, mặc dù được huấn luyện trên một tập dữ liệu tương đối khiêm tốn gồm 83 triệu mẫu. Những kết quả này xác nhận rằng sự tiến triển phân cấp từ bố cục ngữ nghĩa toàn cầu đến chi tiết tinh xảo là hiệu quả.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các phương pháp tiên tiến để tiêm chi tiết tần số cao một cách linh hoạt, có thể sử dụng các cơ chế chú ý hoặc mạng cổng phức tạp hơn, nhằm nâng cao hơn nữa chất lượng và khả năng kiểm soát trong việc tạo ảnh.
  2. Mở rộng khung CHEERS để xử lý khả năng hiểu và tạo video, khám phá cách tích hợp các động lực học thời gian vào các biểu diễn ngữ nghĩa và chi tiết đã được tách rời.
  3. Nghiên cứu ứng dụng các kỹ thuật nén token trong các nhiệm vụ đa phương thức khác ngoài khả năng hiểu và tạo thống nhất, chẳng hạn như truy xuất đa phương thức hiệu quả hoặc tóm tắt video.

2. Patent:​

  1. Hệ thống Tối ưu hóa Ảnh Chụp Di động Thông minh: Một hệ thống camera điện thoại sử dụng trí tuệ nhân tạo để phân tích nội dung ngữ nghĩa của bức ảnh (ví dụ: khuôn mặt, phong cảnh, vật thể). Sau đó, nó tự động áp dụng các cải tiến chi tiết tinh tế (như làm sắc nét kết cấu, tinh chỉnh các cạnh) chỉ ở những nơi cần thiết, dựa trên hiểu biết ngữ nghĩa, để tạo ra những bức ảnh chất lượng cao mà không bị xử lý quá mức hoặc tạo ra các hiện vật không mong muốn. Điều này tương tự như khái niệm tiêm tần số cao (HFI), nhưng được áp dụng cho ảnh hiện có hoặc trong quá trình chụp.
  2. Trợ lý Sáng tạo Nội dung Đa phương thức trên Điện thoại: Một trợ lý trí tuệ nhân tạo trên điện thoại có thể hiểu cả đầu vào văn bản và hình ảnh để tạo ra hình ảnh mới, có độ chân thực cao hoặc tinh chỉnh những hình ảnh hiện có. Ví dụ, người dùng có thể mô tả một cảnh và cung cấp một bản phác thảo thô, và AI của điện thoại sẽ tạo ra một hình ảnh chi tiết. Hoặc, người dùng có thể chụp ảnh và yêu cầu AI "làm cho bầu trời thêm kịch tính" hoặc "thêm một con chó vào hậu cảnh," với AI tự động tiêm các chi tiết một cách thông minh.
  3. Công nghệ Nén và Phục hồi Hình ảnh Hiệu quả cho Thiết bị Di động: Một công nghệ sử dụng trí tuệ nhân tạo để nén hình ảnh trên điện thoại bằng cách tách thông tin ngữ nghĩa cốt lõi khỏi các chi tiết tinh tế. Khi hình ảnh được xem hoặc chia sẻ, AI có thể tái tạo lại các chi tiết tần số cao một cách thông minh, cho phép kích thước tệp nhỏ hơn để lưu trữ và chia sẻ nhanh hơn trong khi vẫn duy trì chất lượng cao. Điều này liên quan trực tiếp đến việc nén token 4 lần và tiêm chi tiết của mô hình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.12793
ArXiv Abstracthttps://arxiv.org/abs/2603.12793
PDF Downloadhttps://arxiv.org/pdf/2603.12793.pdf
Github Repositoryhttps://github.com/AI9Stars/Cheers

4. daVinci-Env: Open SWE Environment Synthesis at Scale (28 votes)​

Tác giả: Dayuan Fu, Shenyu Wu, Yunze Wu, Zerui Peng, Yaxing Huang, Jie Sun, Ji Zeng, Mohan Jiang, Lin Zhang, Yukun Li, Jiarui Hu, Liming Liu, Jinlong Hou, Pengfei Liu

Xuất bản lúc: 2026-03-13

Tag: SWE Agents, LLMs, Environment Synthesis, Docker, Multi-agent systems, Data Curation, SFT, Scaling Laws

I. Main Problem:​

Huấn luyện các tác nhân kỹ thuật phần mềm (SWE) có năng lực đòi hỏi các môi trường lớn, có thể thực thi và kiểm chứng được, cung cấp các vòng phản hồi động cho việc chỉnh sửa mã lặp đi lặp lại, thực thi kiểm thử và tinh chỉnh giải pháp. Tuy nhiên, các bộ dữ liệu mã nguồn mở hiện có bị hạn chế về quy mô và sự đa dạng của kho lưu trữ, trong khi các giải pháp công nghiệp lại thiếu minh bạch với cơ sở hạ tầng không được phát hành. Ngoài chi phí xây dựng môi trường, chất lượng và phân phối độ khó của các môi trường này cũng rất quan trọng, vì nhiều môi trường tổng hợp từ các kho lưu trữ thực tế thường gặp vấn đề về sai lệch giữa PR-Issue hoặc quá tầm thường, khiến chúng không thể giải quyết được hoặc không đủ thách thức để cung cấp tín hiệu học tập ý nghĩa.

II. Main Idea:​

Chúng tôi giới thiệu OpenSWE, khuôn khổ hoàn toàn minh bạch lớn nhất để huấn luyện tác nhân SWE bằng Python, bao gồm 45.320 môi trường Docker có thể thực thi trải dài trên hơn 12.8k kho lưu trữ, với tất cả Dockerfiles, tập lệnh đánh giá và cơ sở hạ tầng được mã nguồn mở hoàn toàn để tái tạo. OpenSWE được xây dựng thông qua một quy trình tổng hợp đa tác nhân được triển khai trên một cụm phân tán 64 nút, tự động khám phá kho lưu trữ, xây dựng Dockerfile, tạo tập lệnh đánh giá và phân tích kiểm thử lặp đi lặp lại. Ngoài quy mô, chúng tôi đề xuất một quy trình lọc tập trung vào chất lượng, đặc trưng hóa độ khó vốn có của từng môi trường, lọc bỏ các trường hợp không thể giải quyết được hoặc không đủ thách thức và chỉ giữ lại những trường hợp tối đa hóa hiệu quả học tập.

III. Main Results:​

OpenSWE-32B và OpenSWE-72B đạt 62.4% và 66.0% trên SWE-bench Verified, thiết lập SOTA trong số các dòng Qwen2.5. Các mô hình được huấn luyện trên OpenSWE luôn vượt trội so với các mô hình được huấn luyện trên SWE-rebench trong tất cả các cài đặt, với xu hướng mở rộng dữ liệu log-linear không bão hòa. Hơn nữa, việc huấn luyện tập trung vào SWE mang lại những cải thiện đáng kể ngoài miền, bao gồm tăng tới 12 điểm về suy luận toán học và 5 điểm về điểm chuẩn khoa học, mà không làm giảm khả năng truy xuất thông tin thực tế. OpenSWE cung cấp số lượng kho lưu trữ (12.8k) và nhiệm vụ (45.3k) có thể thực thi lớn nhất so với tất cả các bộ dữ liệu hiện có.

IV. Conclusion & Future Works:​

OpenSWE là khuôn khổ hoàn toàn minh bạch lớn nhất để huấn luyện tác nhân SWE, bao gồm 45.320 môi trường Docker có thể thực thi trên 12.8k kho lưu trữ với tất cả cơ sở hạ tầng được mã nguồn mở. Thông qua quy trình tổng hợp đa tác nhân và quy trình lọc tập trung vào chất lượng, chúng tôi đã tuyển chọn khoảng 10.000 môi trường chất lượng cao, cung cấp tín hiệu huấn luyện mạnh mẽ hơn các giải pháp thay thế hiện có. Các mô hình được huấn luyện trên OpenSWE đạt SOTA trên SWE-bench Verified, vượt trội so với SWE-rebench, cho thấy xu hướng mở rộng dữ liệu log-linear không bão hòa và cải thiện khả năng tổng quát trong tạo mã, suy luận toán học và kiến thức khoa học mà không làm suy giảm khả năng truy xuất thông tin thực tế. Xu hướng đi lên liên tục ở số bước huấn luyện lớn nhất cho thấy việc mở rộng thêm tập huấn luyện OpenSWE sẽ mang lại những cải tiến hiệu suất bổ sung, thúc đẩy công việc trong tương lai về tổng hợp môi trường quy mô lớn hơn nữa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về khả năng thích ứng miền cho tác nhân SWE: Khám phá cách các tác nhân SWE được huấn luyện trên OpenSWE có thể được điều chỉnh để giải quyết các vấn đề kỹ thuật phần mềm trong các ngôn ngữ lập trình hoặc khuôn khổ khác (ngoài Python), hoặc các loại nhiệm vụ phức tạp hơn như tích hợp hệ thống và refactoring mã lớn.
  2. Cơ chế tuyển chọn nhận biết độ khó nâng cao: Phát triển các phương pháp tinh chỉnh độ khó của môi trường học tập một cách động, sử dụng các mô hình học tăng cường hoặc học chủ động để liên tục xác định và tạo ra các nhiệm vụ ở 'biên độ khó tối ưu' nhằm tối đa hóa hiệu suất học tập của tác nhân SWE.
  3. Điều tra huấn luyện tác nhân SWE đa phương thức: Khám phá việc tích hợp các dạng dữ liệu đa phương thức (ví dụ: video ghi lại quá trình debug, bản vẽ kiến trúc hệ thống, tài liệu thiết kế) vào quá trình huấn luyện tác nhân SWE để cho phép chúng hiểu và giải quyết các vấn đề phức tạp hơn, yêu cầu suy luận từ nhiều nguồn thông tin.

2. Patent:​

  1. Hệ thống hỗ trợ lập trình di động thông minh: Một ứng dụng di động cho phép các nhà phát triển tạo và debug mã trực tiếp trên điện thoại. Hệ thống này sẽ sử dụng một phiên bản nhẹ của 'môi trường Docker' để cô lập các dự án, tự động đề xuất sửa lỗi, tạo các đoạn mã kiểm thử và cung cấp phản hồi theo thời gian thực về hiệu suất và tính đúng đắn của mã, tương tự như cách OpenSWE đánh giá các bản vá.
  2. Trợ lý sửa lỗi ứng dụng di động tự động: Một công cụ tích hợp vào cửa hàng ứng dụng hoặc hệ điều hành di động, có khả năng phân tích báo cáo lỗi từ người dùng. Khi phát hiện lỗi phổ biến, nó có thể tự động tạo ra các bản vá nhỏ và đề xuất cho nhà phát triển ứng dụng hoặc thậm chí tự động triển khai các bản sửa lỗi nhỏ cho người dùng thông qua các bản cập nhật nhỏ, dựa trên việc học từ kho lỗi và giải pháp tương tự.
  3. Nền tảng học tập lập trình tương tác trên di động: Một ứng dụng giáo dục sử dụng các 'môi trường thực thi' cô lập để cung cấp các bài tập lập trình thực tế cho người học. Người dùng có thể viết mã, chạy kiểm thử và nhận phản hồi chi tiết về lỗi và cách cải thiện, mô phỏng quá trình phát triển phần mềm thực tế mà không cần thiết lập môi trường phức tạp trên máy tính, tận dụng nguyên lý môi trường thực thi và phản hồi động của OpenSWE.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.13023
ArXiv Abstracthttps://arxiv.org/abs/2603.13023
PDF Downloadhttps://arxiv.org/pdf/2603.13023.pdf
Github RepositoryN/A

5. Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously (27 votes)​

Tác giả: Yiran Guan, Liang Yin, Dingkang Liang, Jianzhong Ju, Zhenbo Luo, Jian Luan, Yuliang Liu, Xiang Bai

Xuất bản lúc: 2026-03-12

Tag: VideoLLMs, Streaming Video, Chain-of-Thought (CoT), Reinforcement Learning (RL), Supervised Fine-tuning (SFT), Knowledge Graphs, Data Synthesis

I. Main Problem:​

Các phương pháp VideoLLM hiện có cho việc hiểu video trực tuyến thường tập trung vào nhận diện luồng mà thiếu luồng suy luận logic đồng bộ. Việc áp dụng trực tiếp các phương pháp mở rộng tại thời điểm kiểm tra (test-time scaling), đặc biệt là Chain-of-Thought (CoT), để tăng cường khả năng suy luận lại gây ra độ trễ phản hồi không chấp nhận được, làm mất đi tính thời gian thực. Thách thức cốt lõi là giải quyết sự đánh đổi giữa khả năng suy luận rõ ràng và khả năng phản hồi theo thời gian thực trong các tình huống video trực tuyến, vốn bị giới hạn bởi tính nhân quả theo thời gian, xử lý theo thời gian thực và cửa sổ ngữ cảnh hữu hạn.

II. Main Idea:​

Để giải quyết vấn đề trên, chúng tôi đề xuất VideoStreamingThinking (VST), một mô hình mới cho việc hiểu video trực tuyến, hỗ trợ cơ chế "vừa xem vừa suy nghĩ". Cơ chế này kích hoạt suy luận trên các đoạn video đến trong quá trình phát trực tuyến, giúp phân bổ độ trễ suy luận của LLM trong suốt quá trình phát video, từ đó cải thiện khả năng hiểu kịp thời và nhận thức mạch lạc mà vẫn duy trì khả năng phản hồi theo thời gian thực.

Các ý tưởng chính bao gồm:

  • Mô hình VST: LLM thực hiện suy luận chủ động, gián đoạn trong khi tiêu thụ video, thay vì chờ đợi thụ động. Điều này được thực hiện thông qua hệ thống bộ nhớ kép: duy trì bộ nhớ hình ảnh ngắn hạn cho ngữ cảnh hiện tại và tích lũy bộ nhớ ngữ nghĩa văn bản dài hạn của các sự kiện đã qua.
  • Quy trình hậu huấn luyện hai giai đoạn: Kết hợp VST-SFT (Supervised Fine-Tuning) để điều chỉnh mô hình VideoLLM ngoại tuyến thích ứng với suy luận luồng nhân quả, và VST-RL (Reinforcement Learning) để cải thiện toàn diện thông qua tự khám phá trong môi trường tương tác video đa lượt.
  • Quy trình tổng hợp dữ liệu tự động: Sử dụng biểu đồ tri thức video để tạo ra các cặp câu hỏi-trả lời chất lượng cao với Chain-of-Thought (CoT) được neo bởi thực thể-mối quan hệ, đảm bảo suy luận đa bằng chứng và sự chú ý liên tục đến luồng video.

III. Main Results:​

VST-7B đạt hiệu suất mạnh mẽ trên các tiêu chuẩn trực tuyến, ví dụ: 79.5% trên StreamingBench và 59.3% trên OVO-Bench. Cụ thể, VST-7B vượt trội hơn các mô hình SOTA trực tuyến mã nguồn mở trước đây (ví dụ: Streamforest 77.3% trên StreamingBench và Streamo 57.9% trên OVO-Bench). Đáng chú ý, VST-7B còn vượt qua các mô hình độc quyền lớn hơn như GPT-4o (6.2%) và Gemini 1.5 pro (3.8%) trên StreamingBench, và đạt hiệu suất tương đương với GPT-4o trên OVO-Bench. Trên các tiêu chuẩn ngoại tuyến, VST-7B vẫn duy trì tính cạnh tranh, đặc biệt mạnh mẽ trong việc hiểu video dài (ví dụ: 55.3% trên VideoMME-long, vượt trội hơn TimeChat-Online +6.9%; 58.0% trên LongVideoBench, vượt trội hơn +2.6%) và suy luận phức tạp (ví dụ: 41.9% trên VideoHolmes, vượt trội hơn Video-R1 +5.4%). So với Video-R1, VST phản hồi nhanh hơn 15.7 lần và đạt được cải thiện +5.4% trên VideoHolmes, chứng tỏ hiệu quả cao hơn và khả năng khái quát hóa mạnh mẽ trên các tác vụ hiểu video đa dạng.

IV. Conclusion & Future Works:​

Nghiên cứu này đề xuất mô hình VST để lồng ghép việc tạo CoT chủ động vào các luồng video liên tục, cho phép mở rộng khả năng suy luận theo thời gian thực. Một quy trình tổng hợp dữ liệu dựa trên biểu đồ tri thức và quy trình hậu huấn luyện chuyên biệt (VST-SFT và VST-RL) đã được giới thiệu để điều chỉnh VideoLLM ngoại tuyến cho các thiết lập luồng với khả năng suy luận mạnh mẽ. Các đánh giá toàn diện trên nhiều tiêu chuẩn hiểu video trực tuyến và ngoại tuyến đã chứng minh hiệu suất vượt trội, đồng thời giảm đáng kể độ trễ QA so với CoT VideoLLM ngoại tuyến. Kết quả này khẳng định VST là một phương pháp khả thi để đạt được khả năng hiểu video trực tuyến với suy luận sâu sắc và phản hồi nhanh chóng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các kiến trúc bộ nhớ động cho VST: Khám phá các cơ chế bộ nhớ phức tạp hơn, chẳng hạn như bộ nhớ phân cấp, bộ nhớ theo từng đoạn hoặc bộ nhớ dựa trên sự chú ý cho bộ nhớ ngữ nghĩa văn bản dài hạn, và cách chúng có thể cải thiện khả năng duy trì ngữ cảnh và suy luận qua các luồng video cực dài. Nghiên cứu cũng có thể tập trung vào việc tối ưu hóa kích thước và chiến lược quản lý của bộ đệm hình ảnh ngắn hạn.
  2. Mở rộng VST sang các luồng dữ liệu đa phương thức: Áp dụng mô hình "vừa xem vừa suy nghĩ" cho các loại dữ liệu luồng khác như âm thanh, dữ liệu cảm biến hoặc luồng văn bản thời gian thực, để tạo ra một hệ thống hiểu môi trường toàn diện hơn. Ứng dụng tiềm năng có thể bao gồm robot di động hoặc AI thể hiện, nơi việc tổng hợp thông tin từ nhiều giác quan là rất quan trọng.
  3. Phân tích ảnh hưởng của các mô hình nền tảng LLM khác nhau đến hiệu suất VST: Đánh giá một cách có hệ thống cách các mô hình ngôn ngữ lớn cơ sở (ví dụ: các phiên bản khác nhau của Llama, Mistral hoặc các mô hình mã nguồn mở khác) và các kích thước mô hình khác nhau tác động đến khả năng suy luận, độ trễ và hiệu quả tính toán của khung VST, từ đó đưa ra hướng dẫn cho việc lựa chọn mô hình nền tảng tối ưu.

2. Patent:​

  1. Hệ thống trợ lý nấu ăn thông minh trên điện thoại di động: Một ứng dụng trên điện thoại di động sử dụng công nghệ "vừa xem vừa suy nghĩ" để phân tích video nấu ăn của người dùng theo thời gian thực. Khi người dùng quay video các bước chế biến, hệ thống sẽ liên tục suy luận về các nguyên liệu đã thêm, các bước đã thực hiện và thời gian nấu. Nó có thể đưa ra các lời nhắc nhở (ví dụ: "Bạn đã cho đủ gia vị chưa?", "Đừng quên đảo đều!") hoặc đề xuất bước tiếp theo (ví dụ: "Bây giờ bạn có thể thêm nước sốt") thông qua giọng nói hoặc văn bản, giúp người dùng thực hiện các công thức phức tạp một cách dễ dàng và chính xác hơn.
  2. Chức năng tóm tắt và ghi chú cuộc họp/bài giảng trực tuyến trên thiết bị di động: Một tính năng tích hợp trong ứng dụng họp hoặc ghi chú trên điện thoại/máy tính bảng, có khả năng lắng nghe và phân tích luồng âm thanh/video của cuộc họp hoặc bài giảng trực tuyến. Hệ thống sẽ liên tục tạo ra các "suy nghĩ" nội bộ về các điểm chính, câu hỏi, hoặc quyết định, sau đó tổng hợp chúng thành một bản tóm tắt có cấu trúc theo thời gian thực. Người dùng có thể truy cập bản tóm tắt này ngay lập tức, hoặc thậm chí nhận các điểm nổi bật trong quá trình diễn ra, giúp họ nắm bắt thông tin quan trọng mà không cần xem lại toàn bộ nội dung.
  3. Hệ thống giám sát an ninh chủ động cho nhà thông minh qua điện thoại: Một ứng dụng hoặc tính năng camera an ninh trên điện thoại di động có khả năng liên tục phân tích luồng video từ camera an ninh tại nhà. Thay vì chỉ phát hiện sự kiện sau khi đã xảy ra, hệ thống sẽ "suy nghĩ" và suy luận về các hoạt động đang diễn ra (ví dụ: "Có người lạ đang tiếp cận cửa", "Phát hiện chuyển động bất thường lặp lại"). Khi một chuỗi hành vi đáng ngờ hoặc tình huống nguy hiểm tiềm tàng được nhận diện, hệ thống sẽ gửi cảnh báo sớm và chi tiết đến điện thoại của người dùng, cho phép họ phản ứng nhanh chóng và chủ động hơn trong việc bảo vệ tài sản và người thân.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.12262
ArXiv Abstracthttps://arxiv.org/abs/2603.12262
PDF Downloadhttps://arxiv.org/pdf/2603.12262.pdf
Github Repositoryhttps://github.com/1ranGuan/VST

6. OmniForcing: Unleashing Real-time Joint Audio-Visual Generation (27 votes)​

Tác giả: Yaofeng Su, Yuming Li, Zeyue Xue, Jie Huang, Siming Fu, Haoran Li, Ying Li, Zezhong Qian, Haoyang Huang, Nan Duan

Xuất bản lúc: 2026-03-12

Tag: Diffusion Models, Autoregressive Models, Multimodal Generation, Real-time AI, Distillation, Audio-Visual Synthesis, Transformers, Exposure Bias, Streaming

I. Main Problem:​

Các mô hình khuếch tán đa phương tiện (audio-visual) hiện tại, dù đạt chất lượng tạo sinh đáng kể, vẫn gặp phải độ trễ cao do sử dụng cơ chế chú ý hai chiều (bidirectional attention), gây khó khăn cho các ứng dụng thời gian thực. Việc chuyển đổi các mô hình khuếch tán video-only sang kiến trúc đa luồng (dual-stream) cũng không đơn giản do sự mất cân bằng nghiêm trọng về thời gian giữa các phương tiện (ví dụ: 25 FPS cho âm thanh và 3 FPS cho video), dẫn đến sự thiếu hụt thông tin trầm trọng, mất ổn định trong quá trình huấn luyện (gây ra hiện tượng Softmax collapse và gradient explosion) và lỗi tích lũy (exposure bias) trong quá trình tạo sinh chuỗi dài.

II. Main Idea:​

OmniForcing là framework đầu tiên chưng cất một mô hình khuếch tán hai chiều đa luồng ngoại tuyến thành một bộ tạo sinh tự hồi quy (autoregressive) chất lượng cao theo thời gian thực. Các ý tưởng chính bao gồm:

  • Asymmetric Block-Causal Alignment với Global Prefix: Giải quyết sự chênh lệch mật độ thông tin giữa các phương tiện bằng cách căn chỉnh chuỗi theo các khối thời gian (macro-block) 1 giây và sử dụng một Global Prefix không bị cắt xén để làm điểm neo đồng bộ đa phương tiện.
  • Audio Sink Token với Identity RoPE constraint: Giải quyết vấn đề bùng nổ gradient do sự thưa thớt token âm thanh cực đoan bằng cách thêm các Sink Tokens học được vào đầu chuỗi âm thanh và áp đặt ràng buộc Identity RoPE để chúng trở thành các điểm neo ngữ nghĩa độc lập với vị trí.
  • Joint Self-Forcing Distillation: Cho phép mô hình tự sửa lỗi tích lũy chéo phương tiện từ exposure bias trong quá trình tạo chuỗi dài bằng cách huấn luyện mô hình dựa trên các đầu ra không hoàn hảo của chính nó.
  • Modality-Independent Rolling KV-Cache: Giảm độ phức tạp ngữ cảnh trên mỗi bước xuống O(L) và cho phép thực thi đồng thời hai luồng phương tiện (video và audio) trên một GPU, hỗ trợ suy luận thời gian thực. Quá trình này được thực hiện qua ba giai đoạn chưng cất: DMD hai chiều, hồi quy ODE nhân quả và chưng cất Self-Forcing kết hợp.

III. Main Results:​

OmniForcing đạt được khả năng tạo sinh đa phương tiện theo thời gian thực (streaming generation) với tốc độ khoảng ~25 FPS trên một GPU duy nhất. Mô hình duy trì đồng bộ hóa đa phương tiện và chất lượng hình ảnh ngang bằng với mô hình gốc hai chiều (LTX-2). Đặc biệt, nó đạt được độ trễ Time-To-First-Chunk (TTFC) cực thấp chỉ khoảng ~0.7s, trong khi mô hình LTX-2 yêu cầu ~197s để tạo toàn bộ chuỗi ngoại tuyến. Điều này cho thấy OmniForcing đã phá vỡ rào cản độ trễ cho việc tạo sinh audio-visual chung.

IV. Conclusion & Future Works:​

OmniForcing là framework tự hồi quy thống nhất đầu tiên biến các mô hình audio-visual hai chiều ngoại tuyến thành các công cụ streaming thời gian thực, đồng thời bảo toàn đồng bộ hóa thời gian đa phương tiện chính xác. Các đóng góp chính bao gồm Asymmetric Block-Causal Alignment, cơ chế Audio Sink Token với Identity RoPE, Modality-Independent Rolling KV-Cache và Joint Self-Forcing Distillation. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng khả năng suy luận song song bất đối xứng trên nhiều GPU để hỗ trợ độ phân giải cao hơn và chuỗi dài hơn, cũng như khám phá các ứng dụng mới cho việc tạo sinh đa phương tiện thời gian thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng kỹ thuật chưng cất và ổn định cho các tác vụ tạo sinh đa phương tiện thời gian thực khác: Nghiên cứu áp dụng các phương pháp chưng cất và ổn định của OmniForcing (như Asymmetric Block-Causal Alignment và Sink Tokens) cho các lĩnh vực đa phương tiện khác, ví dụ như tạo sinh 3D từ văn bản theo thời gian thực hoặc tạo hành động robot với phản hồi cảm biến.
  2. Phương pháp căn chỉnh nhân quả động cho mối quan hệ đa phương tiện phức tạp: Phát triển các chiến lược căn chỉnh nhân quả tiên tiến hơn, vượt ra ngoài kích thước khối cố định, để xử lý các mối quan hệ đa phương tiện phức tạp hoặc các sự kiện thời gian không đều, đặc biệt trong các kịch bản tương tác đòi hỏi sự linh hoạt cao hơn.
  3. Tối ưu hóa Rollin KV-Cache và song song hóa bất đối xứng cho thiết bị biên: Nghiên cứu tối ưu hóa hiệu suất và hiệu quả năng lượng của Modality-Independent Rolling KV-Cache và cơ chế song song hóa bất đối xứng của OmniForcing cho các thiết bị biên (edge devices) như điện thoại di động hoặc các môi trường đám mây phân tán với tài nguyên hạn chế.

2. Patent:​

  1. Hệ thống tạo nội dung đa phương tiện tức thì trên điện thoại di động: Một ứng dụng di động cho phép người dùng nhập mô tả văn bản (ví dụ: "một con mèo đang chơi đàn guitar") và ngay lập tức tạo ra một đoạn video ngắn kèm âm thanh khớp với mô tả đó theo thời gian thực. Công nghệ này có thể được sử dụng để tạo meme, thiệp chúc mừng động hoặc các đoạn phim ngắn cá nhân hóa mà không cần kỹ năng chỉnh sửa phức tạp.
  2. Trợ lý gọi video thông minh với phản hồi đa phương tiện theo ngữ cảnh: Một tính năng trong ứng dụng gọi video di động có thể tạo ra các phản hồi hình ảnh và âm thanh tự động dựa trên ngữ cảnh cuộc trò chuyện. Ví dụ, nếu người dùng nói "chúc mừng sinh nhật", hệ thống có thể tự động thêm hiệu ứng pháo hoa và âm nhạc chúc mừng vào luồng video của họ trong thời gian thực, hoặc tạo ra một hình ảnh động nhỏ kèm âm thanh minh họa cho một ý tưởng phức tạp mà họ đang giải thích.
  3. Chức năng "Sáng tạo Thực tế Tăng cường (AR) dựa trên mô tả" thời gian thực: Một ứng dụng AR trên điện thoại cho phép người dùng mô tả một đối tượng hoặc cảnh vật (ví dụ: "một con rồng bay lượn trên bàn") và hệ thống sẽ tạo ra hình ảnh 3D cùng hiệu ứng âm thanh tương ứng, tích hợp vào môi trường thực tế qua camera của điện thoại, tất cả diễn ra theo thời gian thực. Điều này nâng cao trải nghiệm AR tương tác và sáng tạo mà không yêu cầu tài sản 3D dựng sẵn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.11647
ArXiv Abstracthttps://arxiv.org/abs/2603.11647
PDF Downloadhttps://arxiv.org/pdf/2603.11647.pdf
Github Repositoryhttps://github.com/OmniForcing/OmniForcing

7. Multimodal OCR: Parse Anything from Documents (24 votes)​

Tác giả: Handong Zheng, Yumeng Li, Kaile Zhang, Liang Xin, Guangwei Zhao, Hao Liu, Jiayu Chen, Jie Lou, Jiyu Qiu, Qi Fu, Rui Yang, Shuo Jiang, Weijian Luo, Weijie Su, Weijun Zhang, Xingyu Zhu, Yabin Li, Yiwei ma, Yu Chen, Zhaohui Yu, Guang Yang, Colin Zhang, Lei Zhang, Yuliang Liu, Xiang Bai

Xuất bản lúc: 2026-03-13

Tag: OCR, Multimodal Models, Vision-Language Models, Document Parsing, Image-to-Code, SVG, Pretraining, Supervised Fine-tuning

I. Main Problem:​

Các hệ thống OCR truyền thống chủ yếu tập trung vào nhận dạng văn bản và xử lý các vùng đồ họa như các pixel cắt xén, dẫn đến mất mát thông tin cấu trúc và ngữ nghĩa quan trọng được mã hóa trong các yếu tố trực quan như biểu đồ, sơ đồ, bảng biểu và biểu tượng. Điều này hạn chế lượng giám sát có cấu trúc, đáng tin cậy có thể được trích xuất từ tài liệu để đào tạo trước (pretraining) và truy xuất. Việc thiếu dữ liệu giám sát cho đồ họa và tính không duy nhất của các chương trình có thể hiển thị cũng đặt ra thách thức lớn trong việc mở rộng quy mô, đòi hỏi khả năng định vị trực quan chính xác và tạo ra chuỗi cấu trúc dài hơn so với OCR chỉ văn bản.

II. Main Idea:​

Nghiên cứu giới thiệu Multimodal OCR (MOCR), một mô hình phân tích tài liệu mới đồng thời phân tích văn bản và đồ họa thành các biểu diễn văn bản thống nhất. MOCR coi các yếu tố trực quan như biểu đồ, sơ đồ, bảng biểu và biểu tượng là mục tiêu phân tích hạng nhất, cho phép hệ thống phân tích tài liệu trong khi vẫn giữ nguyên mối quan hệ ngữ nghĩa giữa các yếu tố. Phương pháp này tái tạo cả văn bản và đồ họa dưới dạng đầu ra có cấu trúc (ví dụ: mã SVG cho đồ họa), hỗ trợ đào tạo end-to-end trên các yếu tố tài liệu không đồng nhất và chuyển đổi đồ họa bị loại bỏ trước đây thành giám sát cấp mã có thể tái sử dụng. Để mở rộng quy mô, hệ thống dots.mocr được xây dựng với công cụ dữ liệu toàn diện từ PDF, trang web được kết xuất và tài sản SVG gốc, sau đó đào tạo một mô hình nhỏ gọn 3B tham số thông qua đào tạo trước theo giai đoạn và tinh chỉnh có giám sát. Kiến trúc bao gồm một bộ mã hóa thị giác độ phân giải cao được đào tạo từ đầu và một bộ giải mã mô hình ngôn ngữ lớn (LLM) tự hồi quy.

III. Main Results:​

Trên các tiêu chuẩn phân tích tài liệu, dots.mocr xếp thứ hai chỉ sau Gemini 3 Pro trên bảng xếp hạng Elo của OCR Arena, vượt qua các hệ thống phân tích tài liệu mã nguồn mở hiện có và thiết lập trạng thái nghệ thuật mới với 83.9 trên olmOCR Bench. Về phân tích đồ họa có cấu trúc, mô hình đạt chất lượng tái tạo cao hơn Gemini 3 Pro trên các tiêu chuẩn hình ảnh sang SVG (UniSVG, ChartMimic, Design2Code, GenExam, SciGen, ChemDraw), đặc biệt là phiên bản dots.mocr-svg được tăng cường. Ngoài ra, dots.mocr duy trì hiệu suất định vị và suy luận trực quan mạnh mẽ trên OCRBench và khả năng VQA tổng quát cạnh tranh trên nhiều tiêu chuẩn khác, tất cả đều trong một mô hình 3B tham số nhỏ gọn.

IV. Conclusion & Future Works:​

MOCR giới thiệu một mô hình phân tích tài liệu mới, mở rộng phạm vi từ trích xuất văn bản sang hiểu cấu trúc của tất cả các yếu tố mang thông tin, bao gồm cả đồ họa dưới dạng mã cấu trúc có thể tái sử dụng và hiển thị (như SVG). Điều này biến các pixel tài liệu tĩnh thành giám sát có cấu trúc cho suy luận và học tập. Các hướng nghiên cứu trong tương lai bao gồm mở rộng phân tích đồ họa sang các không gian chương trình khác (ví dụ: TikZ, D3.js, CAD), tăng cường cơ chế kiểm soát chất lượng dữ liệu thông qua vòng lặp xác minh kết xuất chặt chẽ hơn và mô hình phần thưởng, cũng như phát triển các giao thức đánh giá dựa trên "LLM-as-a-Judge" tiên tiến hơn để xử lý độ phức tạp cấu trúc ngày càng tăng của đầu ra phân tích.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng MOCR để hỗ trợ các định dạng mã hóa hình ảnh vector khác ngoài SVG, như TikZ cho hình khoa học, D3.js cho trực quan tương tác, hoặc định dạng CAD cho bản vẽ kỹ thuật.
  2. Phát triển các phương pháp kiểm soát chất lượng dữ liệu tự động và vòng lặp phản hồi dựa trên mô hình thưởng để cải thiện độ chính xác và tính nhất quán của các đầu ra mã chương trình không duy nhất từ quá trình phân tích đồ họa.
  3. Nghiên cứu các giao thức đánh giá dựa trên LLM-as-a-Judge tiên tiến hơn, có khả năng xử lý độ phức tạp cấu trúc và sự đa dạng biểu diễn ngày càng tăng của đầu ra phân tích tài liệu đa phương thức.

2. Patent:​

  1. Một ứng dụng di động cho phép người dùng chụp ảnh tài liệu (ví dụ: hóa đơn, hợp đồng, biểu đồ). Thay vì chỉ trích xuất văn bản, ứng dụng này sẽ phân tích các biểu đồ thành dữ liệu có thể chỉnh sửa và các bảng thành cấu trúc dữ liệu, cho phép người dùng tương tác trực tiếp với các yếu tố trực quan như chỉnh sửa dữ liệu trong biểu đồ hoặc sao chép bảng vào bảng tính mà không cần nhập lại.
  2. Một công cụ trên điện thoại thông minh cho phép người dùng chụp ảnh màn hình của một ứng dụng hoặc trang web. Hệ thống sẽ chuyển đổi ảnh chụp màn hình đó thành mã giao diện người dùng có thể chỉnh sửa (ví dụ: XML cho Android hoặc SwiftUI cho iOS), giúp các nhà phát triển nhanh chóng tạo nguyên mẫu hoặc tái tạo các phần của giao diện người dùng trực tiếp từ hình ảnh.
  3. Một ứng dụng di động sử dụng camera để quét các trang sách giáo khoa chứa sơ đồ khoa học hoặc công thức hóa học. Ứng dụng sẽ chuyển đổi các sơ đồ này thành các mô hình tương tác hoặc mã có thể chỉnh sửa, cho phép học sinh tương tác với cấu trúc phân tử hoặc mạch điện tử, hoặc thậm chí mô phỏng các thí nghiệm trực tiếp trên điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.13032
ArXiv Abstracthttps://arxiv.org/abs/2603.13032
PDF Downloadhttps://arxiv.org/pdf/2603.13032.pdf
Github RepositoryN/A

8. Visual-ERM: Reward Modeling for Visual Equivalence (21 votes)​

Tác giả: Ziyu Liu, Shengyuan Ding, Xinyu Fang, Xuanlang Dai, Penghui Yang, Jianze Liang, Jiaqi Wang, Kai Chen, Dahua Lin, Yuhang Zang

Xuất bản lúc: 2026-03-13

Tag: Vision-to-code, Reward Modeling, Reinforcement Learning, LVLMs, Multimodal, Generative Models

I. Main Problem:​

Các mô hình chuyển đổi từ thị giác sang mã (vision-to-code) gặp thách thức trong việc tái tạo đầu vào thị giác có cấu trúc (như biểu đồ, bảng, SVG) thành các biểu diễn có thể thực thi hoặc có cấu trúc với độ trung thực thị giác cao. Các tín hiệu phần thưởng hiện có cho học tăng cường (RL) bị sai lệch:

  • Các chỉ số dựa trên văn bản (ví dụ: khoảng cách chỉnh sửa, TEDS) bỏ qua các tín hiệu thị giác quan trọng như căn chỉnh, khoảng cách và lỗi bố cục, dẫn đến "hack phần thưởng".
  • Phần thưởng từ bộ mã hóa thị giác (ví dụ: DINO) có độ chi tiết thô, thiên về ngữ nghĩa và không nhạy cảm với các chi tiết thị giác tinh tế cần thiết cho các tác vụ phân tích.
  • Cả hai phương pháp đều cung cấp tín hiệu phần thưởng dễ bị khai thác, không đủ cho việc huấn luyện RL cho vision-to-code.

II. Main Idea:​

Nghiên cứu đề xuất Visual Equivalence Reward Model (Visual-ERM), một mô hình phần thưởng sinh đa phương thức cung cấp phản hồi chi tiết, có thể diễn giải và không phụ thuộc vào tác vụ để đánh giá chất lượng vision-to-code trực tiếp trong không gian thị giác được kết xuất. Visual-ERM giải quyết các hạn chế của phương pháp hiện có bằng cách:

  • Cung cấp phản hồi chi tiết: Nắm bắt các khác biệt thị giác tinh tế vượt xa sự tương đồng ngữ nghĩa thô.
  • Có thể diễn giải: Tạo ra phản hồi chẩn đoán để hướng dẫn quá trình tự điều chỉnh và sửa đổi trong thời gian kiểm thử (test-time scaling).
  • Không phụ thuộc vào tác vụ: Một mô hình phần thưởng duy nhất có thể tổng quát hóa trên các tác vụ chart-to-code, table-to-markdown và SVG-to-code.

Để huấn luyện Visual-ERM, các tác giả đã xây dựng một tập dữ liệu phần thưởng bằng cách tạo ra các cặp hình ảnh bị lỗi (qua chỉnh sửa có kiểm soát và lấy mẫu lỗi tự nhiên từ các mô hình LVLM yếu hơn) và chú thích chi tiết bằng cách sử dụng quy trình chưng cất từ các mô hình độc quyền mạnh mẽ (GPT-5-mini).

Visual-ERM được tích hợp vào các quy trình RL (sử dụng thuật toán GRPO-based) để cung cấp tín hiệu phần thưởng, kết hợp tổng điểm mức độ nghiêm trọng của lỗi và phần thưởng thành công kết xuất. Nó cũng được áp dụng cho quy trình test-time scaling, nơi nó cho phép tự phản ánh và sửa đổi lặp đi lặp lại để cải thiện độ chính xác phân tích.

Nghiên cứu cũng giới thiệu VisualCritic-RewardBench (VC-RewardBench), một bộ kiểm chuẩn để đánh giá khả năng đánh giá sự khác biệt hình ảnh-hình ảnh chi tiết trên dữ liệu thị giác có cấu trúc.

III. Main Results:​

Visual-ERM đã đạt được những cải thiện đáng kể:

  • Tích hợp RL: Cải thiện Qwen3-VL-8B-Instruct thêm +8.4 điểm trên tác vụ chart-to-code, vượt trội so với phần thưởng dựa trên DINO.
  • Hiệu suất nhất quán: Mang lại lợi ích nhất quán trên các tác vụ phân tích bảng (+2.7 điểm trung bình) và SVG (+4.1 điểm trung bình).
  • Hiệu suất VC-RewardBench: Visual-ERM (8B) vượt trội rõ rệt so với Qwen3-VL-235B-Instruct và tiếp cận các mô hình độc quyền hàng đầu trong việc đánh giá sự khác biệt hình ảnh-hình ảnh chi tiết.
  • Test-Time Scaling: Củng cố quá trình test-time scaling thông qua phản ánh và sửa đổi, mang lại những cải thiện bổ sung về độ chính xác phân tích (ví dụ: +8.0 cho mô hình cơ sở Qwen3-VL-8B-Instruct và +3.1 cho mô hình đã điều chỉnh RL).

IV. Conclusion & Future Works:​

Visual-ERM là một mô hình phần thưởng sinh hiệu quả, đánh giá đầu ra vision-to-code trong không gian thị giác, cung cấp sự giám sát chi tiết, có thể diễn giải và không phụ thuộc vào tác vụ. Điều này giải quyết các hạn chế cơ bản của các phần thưởng dựa trên văn bản và độ tương đồng bộ mã hóa thị giác trước đây, vốn dễ bị thiên lệch phương thức và dẫn đến "hack phần thưởng" trong quá trình tối ưu hóa. Các kết quả cho thấy sự giám sát phần thưởng thị giác chi tiết là cần thiết và đủ cho RL vision-to-code, bất kể đặc thù tác vụ.

Hướng phát triển tương lai:

  • Mở rộng Visual-ERM để hỗ trợ các tác vụ đa phương thức phức tạp hơn, nơi độ trung thực thị giác là yếu tố then chốt.
  • Phát triển các phương pháp tạo dữ liệu chú thích phần thưởng chi tiết tự động hoặc bán tự động để giảm sự phụ thuộc vào các mô hình độc quyền và chi phí chú thích thủ công.
  • Tích hợp Visual-ERM với các kiến trúc mô hình ngôn ngữ thị giác lớn (LVLMs) tiên tiến hơn và các thuật toán học tăng cường mới để khám phá tiềm năng cải thiện hiệu suất và khả năng tổng quát hóa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Visual-ERM cho các nhiệm vụ đa phương thức tổng quát: Nghiên cứu cách áp dụng mô hình phần thưởng chi tiết, có thể diễn giải của Visual-ERM cho các tác vụ đa phương thức phức tạp hơn ngoài vision-to-code, chẳng hạn như tạo nội dung đa phương tiện (video từ văn bản, 3D từ hình ảnh) hoặc các hệ thống tương tác người-máy cần phản hồi chính xác về chất lượng đầu ra thị giác.
  2. Phát triển phương pháp tạo dữ liệu chú thích phần thưởng tự động hóa cao: Tập trung vào việc phát triển các kỹ thuật tự động hoặc bán tự động để tạo ra dữ liệu chú thích phần thưởng chi tiết, chất lượng cao mà không cần phụ thuộc vào các mô hình độc quyền hoặc giảm thiểu đáng kể chi phí chú thích thủ công, từ đó giúp mở rộng quy mô huấn luyện Visual-ERM.
  3. Tích hợp Visual-ERM với các kiến trúc học tăng cường và LVLM tiên tiến: Khám phá việc tích hợp Visual-ERM với các thuật toán RL mới nổi hoặc các kiến trúc LVLM lớn hơn để đánh giá tác động lên hiệu suất và khả năng tổng quát hóa. Đặc biệt, nghiên cứu cách Visual-ERM có thể điều chỉnh hoặc tinh chỉnh các mô hình nền tảng để học các khái niệm trừu tượng hơn về "tương đương thị giác" mà không cần huấn luyện lại hoàn toàn.

2. Patent:​

  1. Hệ thống phân tích và sửa lỗi giao diện người dùng di động tự động: Một ứng dụng trên điện thoại di động cho phép người dùng chụp ảnh màn hình giao diện ứng dụng hoặc một bản thiết kế UI. Hệ thống sẽ sử dụng công nghệ tương tự Visual-ERM để phân tích hình ảnh, tự động xác định các lỗi sai lệch về bố cục, màu sắc, kích thước hoặc vị trí so với một thiết kế chuẩn đã định trước và cung cấp phản hồi chi tiết, gợi ý chỉnh sửa trực tiếp trên điện thoại.
  2. Công cụ chuyển đổi và kiểm tra tài liệu thông minh trên di động: Phát triển một ứng dụng di động cho phép người dùng chụp ảnh các tài liệu, biểu đồ hoặc bảng biểu, sau đó chuyển đổi chúng thành các định dạng có cấu trúc (ví dụ: mã nguồn, markdown, CSV). Công nghệ Visual-ERM sẽ được tích hợp để tự động đánh giá độ trung thực thị giác của kết quả chuyển đổi, cảnh báo người dùng về các lỗi sai lệch nhỏ và cho phép họ tinh chỉnh kết quả trực tiếp trên điện thoại để đạt được độ chính xác cao nhất.
  3. Trợ lý thiết kế đồ họa di động với phản hồi trực quan theo thời gian thực: Một ứng dụng chỉnh sửa ảnh hoặc thiết kế đồ họa trên điện thoại có thể tích hợp một trợ lý thông minh sử dụng công nghệ Visual-ERM. Khi người dùng đang thiết kế hoặc chỉnh sửa hình ảnh, trợ lý sẽ liên tục so sánh sản phẩm của họ với một mẫu thiết kế hoặc nguyên tắc thị giác mong muốn, cung cấp phản hồi chi tiết và tức thì về các điểm không tương đồng (ví dụ: lỗi căn chỉnh, độ lệch màu, phông chữ không khớp), giúp người dùng đạt được kết quả chính xác và chuyên nghiệp hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.13224
ArXiv Abstracthttps://arxiv.org/abs/2603.13224
PDF Downloadhttps://arxiv.org/pdf/2603.13224.pdf
Github Repositoryhttps://github.com/InternLM/Visual-ERM

9. MM-CondChain: A Programmatically Verified Benchmark for Visually Grounded Deep Compositional Reasoning (19 votes)​

Tác giả: Haozhan Shen, Shilin Yan, Hongwei Xue, Shuaiqi Lu, Xiaojun Tang, Guannan Zhang, Tiancheng Zhao, Jianwei Yin

Xuất bản lúc: 2026-03-12

Tag: MLLMs, Compositional Reasoning, Visual Reasoning, Benchmarking, Programmatic Verification, Hard Negatives, GUI, Data Charts

I. Main Problem:​

Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) gặp khó khăn trong việc thực hiện các quy trình làm việc trực quan phức tạp đòi hỏi suy luận tổng hợp sâu sắc và có điều kiện. Các benchmark hiện có không đánh giá đầy đủ khả năng này vì chúng tập trung vào các thành phần nông hoặc các ràng buộc độc lập, bỏ qua các chuỗi điều kiện tổng hợp lồng sâu và các trường hợp phủ định khó ("hard negatives") đòi hỏi xác minh từng bước dựa trên bằng chứng trực quan.

II. Main Idea:​

Giới thiệu MM-CondChain, một benchmark mới để đánh giá khả năng suy luận tổng hợp sâu sắc dựa trên hình ảnh của MLLMs. Mỗi trường hợp trong benchmark được tổ chức thành một chuỗi suy luận đa lớp, trong đó mỗi lớp chứa một điều kiện tổng hợp phức tạp được xác minh dựa trên bằng chứng trực quan. Để xây dựng dữ liệu quy trình làm việc này một cách có thể mở rộng, các tác giả đề xuất một pipeline tổng hợp dựa trên tác nhân:

  • Một Planner điều phối việc tạo các điều kiện tổng hợp từng lớp.
  • Một Verifiable Programmatic Intermediate Representation (VPIR) đảm bảo mỗi điều kiện của lớp có thể được xác minh cơ học.
  • Một Composer tập hợp các lớp đã được xác minh thành các hướng dẫn hoàn chỉnh, tạo ra cả "True-path" (tất cả điều kiện đúng) và "False-path" (một điều kiện bị thay đổi nhỏ để kích hoạt kết thúc sớm). Benchmark này được xây dựng trên ba miền trực quan: hình ảnh tự nhiên, biểu đồ dữ liệu và lộ trình GUI.

III. Main Results:​

Các thử nghiệm trên nhiều MLLM hiện đại cho thấy ngay cả mô hình mạnh nhất cũng chỉ đạt được 53.33 Path F1 trung bình. Hiệu suất giảm mạnh đối với các trường hợp phủ định khó ("hard negatives") và khi độ sâu hoặc độ phức tạp của vị từ tăng lên. Điều này xác nhận rằng suy luận tổng hợp sâu sắc dựa trên hình ảnh vẫn là một thách thức cơ bản đối với các MLLM hiện tại. Benchmark cũng cho thấy sự đa dạng lớn về cấu trúc logic, với 128 mẫu duy nhất cần thiết để đạt 80% phạm vi, cho thấy nó không bị chi phối bởi một vài mẫu đơn giản.

IV. Conclusion & Future Works:​

MM-CondChain là benchmark đầu tiên cho suy luận tổng hợp sâu sắc dựa trên hình ảnh, có luồng điều khiển đa lớp với các trường hợp phủ định khó theo chuỗi. Pipeline tổng hợp dựa trên tác nhân với VPIR cho phép xây dựng benchmark có thể mở rộng với khả năng xác minh cơ học, tách biệt xây dựng logic khỏi hiển thị ngôn ngữ. Các kết quả thực nghiệm cho thấy các MLLM hiện đại vẫn gặp khó khăn trong việc xác minh chi tiết các điều kiện trực quan tổng hợp, đặc biệt là trong các trường hợp phủ định khó, độ sâu lớn hơn hoặc độ phức tạp của vị từ cao hơn. Công trình này mở ra hướng nghiên cứu sâu hơn về việc cải thiện khả năng suy luận tổng hợp, đa lớp và theo luồng điều khiển của MLLM trong các tác vụ trực quan phức tạp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu phương pháp tăng cường khả năng suy luận tổng hợp sâu của MLLM bằng cách tích hợp các cơ chế lập kế hoạch phản hồi và suy luận theo chuỗi chương trình.
  2. Phát triển một kiến trúc MLLM mới có khả năng xử lý các "hard negatives" trong suy luận có điều kiện bằng cách cải thiện độ chính xác trong việc xác định các thay đổi nhỏ trong điều kiện trực quan.
  3. Khám phá việc áp dụng các kỹ thuật học tăng cường hoặc học tập dựa trên phản hồi từ VPIR để huấn luyện MLLM thực hiện suy luận đa lớp và điều khiển luồng một cách hiệu quả hơn trên các miền trực quan khác nhau.

2. Patent:​

  1. Một hệ thống trợ lý ảo trên điện thoại di động có khả năng điều hướng giao diện người dùng dựa trên các điều kiện trực quan phức tạp, cho phép người dùng ra lệnh bằng ngôn ngữ tự nhiên để thực hiện các chuỗi hành động có điều kiện (ví dụ: "Nếu có thông báo yêu cầu quyền truy cập vị trí và màu nền là xanh lá cây, hãy nhấn Cho phép; nếu không, hãy đóng thông báo").
  2. Công nghệ kiểm tra chất lượng tự động cho ứng dụng di động, sử dụng mô hình AI để xác minh các luồng người dùng phức tạp. Nó có thể tạo ra các kịch bản kiểm thử dựa trên điều kiện ("Nếu nút 'Thêm vào giỏ hàng' có màu đỏ và không bị che khuất, hãy nhấn vào; nếu không, kiểm tra xem có thông báo lỗi không") và tự động phát hiện lỗi hoặc hành vi không mong muốn.
  3. Một tính năng "hướng dẫn thông minh" trên điện thoại, giúp người dùng thực hiện các tác vụ phức tạp bằng cách phân tích giao diện hiện tại và đưa ra các hướng dẫn có điều kiện ("Nếu bạn thấy biểu tượng camera và không có thông báo nào xuất hiện, hãy nhấn vào; sau đó, nếu có tùy chọn 'Chụp ảnh', hãy chọn nó"). Hệ thống sẽ tự động điều chỉnh hướng dẫn dựa trên trạng thái trực quan thay đổi của màn hình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.12266
ArXiv Abstracthttps://arxiv.org/abs/2603.12266
PDF Downloadhttps://arxiv.org/pdf/2603.12266.pdf
Github Repositoryhttps://github.com/Accio-Lab/MM-CondChain

10. V-Bridge: Bridging Video Generative Priors to Versatile Few-shot Image Restoration (13 votes)​

Tác giả: Shenghe Zheng, Junpeng Jiang, Wenbo Li

Xuất bản lúc: 2026-03-13

Tag: Video Generation, Image Restoration, Few-shot Learning, Generative Models, Diffusion Models, Foundation Models, Low-level Vision

I. Main Problem:​

Các phương pháp khôi phục hình ảnh truyền thống thường đòi hỏi lượng dữ liệu huấn luyện khổng lồ (thậm chí hàng triệu mẫu) cho từng loại suy thoái riêng biệt, dẫn đến việc kém hiệu quả về dữ liệu và khả năng tổng quát hóa hạn chế. Chúng cũng chưa khai thác được các priors thị giác phong phú, có thể chuyển giao từ các mô hình tạo video quy mô lớn, vốn đã được huấn luyện trên kho dữ liệu đa dạng và phong phú.

II. Main Idea:​

V-Bridge đề xuất diễn giải lại quá trình khôi phục hình ảnh không phải là một bài toán hồi quy tĩnh, mà là một quá trình tạo sinh tiến hóa dần dần, mô phỏng sự tinh chỉnh từ ảnh bị suy thoái đến ảnh chất lượng cao. Bằng cách tận dụng các priors tạo video từ các mô hình đã được huấn luyện trước, V-Bridge sử dụng một chiến lược huấn luyện "few-shot" với lượng dữ liệu cực kỳ ít. Framework này bao gồm ba phần chính: 1) Xây dựng dữ liệu chuỗi giả-thời gian từ các cặp ảnh chất lượng thấp-cao; 2) Áp dụng chiến lược huấn luyện chương trình học theo độ phân giải từ thô đến tinh để thu hẹp khoảng cách độ phân giải giữa tiền huấn luyện video và khôi phục ảnh độ phân giải cao; và 3) Một module hiệu chỉnh trôi (drift correction) nhẹ để tăng cường các chi tiết tinh tế và cải thiện độ trung thực màu sắc.

III. Main Results:​

V-Bridge đạt hiệu suất khôi phục hình ảnh cạnh tranh hoặc vượt trội so với các phương pháp hiện có, chỉ với 1.000 mẫu huấn luyện đa nhiệm (ít hơn 2% so với các phương pháp khác, và thậm chí 0.1% đến 7% so với một số phương pháp). Cụ thể, phương pháp này đạt được mức tăng 1.6dB về PSNR so với các baseline được huấn luyện với lượng dữ liệu gấp 15 đến 1.000 lần. V-Bridge cũng cho thấy khả năng tổng quát hóa vượt trội đối với các tác vụ chưa từng thấy và dữ liệu ngoài phân phối (OOD), chứng minh các priors tạo video có thể chuyển giao mạnh mẽ. Module hiệu chỉnh trôi (Drift Correction) đóng góp đáng kể, cải thiện PSNR thêm 1.4 dB và SSIM thêm 0.024, đặc biệt trong việc khôi phục chi tiết tần số cao và độ trung thực hình ảnh.

IV. Conclusion & Future Works:​

Công trình này khẳng định các mô hình tạo video quy mô lớn chứa đựng các priors thị giác mạnh mẽ và có thể chuyển giao, có thể được kích hoạt hiệu quả cho các tác vụ thị giác cấp thấp như khôi phục hình ảnh với lượng dữ liệu cực kỳ hạn chế. V-Bridge mở ra một mô hình thiết kế mới cho các mô hình nền tảng trong các tác vụ thị giác, đặc biệt là trong việc khôi phục hình ảnh, bằng cách phá vỡ ranh giới truyền thống giữa mô hình tạo sinh và thị giác cấp thấp. Hướng nghiên cứu tương lai có thể tập trung vào việc khám phá thêm tiềm năng của các priors video trong các tác vụ thị giác cấp thấp khác và tối ưu hóa thêm hiệu quả dữ liệu, cũng như mở rộng sang các bài toán tạo sinh có điều kiện phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc áp dụng các priors từ mô hình tạo video cho các tác vụ thị giác cấp thấp khác như nâng cao độ phân giải (super-resolution) hoặc loại bỏ hiện tượng nén ảnh (de-compression) trong môi trường dữ liệu hạn chế, đánh giá khả năng chuyển giao của V-Bridge.
  2. Khám phá các phương pháp mới để tích hợp hiệu quả hơn các priors động học từ video vào việc mô hình hóa quá trình khôi phục hình ảnh, có thể thông qua các kiến trúc Transformer cải tiến hoặc cơ chế chú ý không gian-thời gian để đạt được độ chính xác cao hơn và hiệu quả tính toán tốt hơn.
  3. Phát triển các chiến lược huấn luyện chương trình học (curriculum learning) thích ứng và tự động hóa để tối ưu hóa việc sử dụng dữ liệu ít ỏi và tận dụng tối đa khả năng của các mô hình nền tảng tạo video cho nhiều tác vụ, bao gồm cả việc tự động xác định các giai đoạn huấn luyện và độ phân giải tối ưu.

2. Patent:​

  1. Hệ thống nâng cấp ảnh tự động trên điện thoại thông minh: Một ứng dụng hoặc tính năng tích hợp trên điện thoại di động sử dụng công nghệ tương tự V-Bridge để tự động cải thiện chất lượng ảnh chụp bị mờ, nhiễu, hoặc thiếu sáng chỉ với một lần chạm. Người dùng có thể chụp ảnh trong điều kiện khó khăn và ứng dụng sẽ xử lý hậu kỳ để tạo ra ảnh rõ nét, chi tiết và sống động hơn, tận dụng mô hình nền tảng khôi phục đa nhiệm với dữ liệu huấn luyện tối thiểu.
  2. Công cụ chỉnh sửa video theo thời gian thực với ít dữ liệu: Phát triển một tính năng trong ứng dụng chỉnh sửa video trên điện thoại cho phép người dùng khôi phục hoặc nâng cao chất lượng các đoạn video bị suy thoái (ví dụ: video quay trong điều kiện ánh sáng yếu hoặc bị rung) một cách nhanh chóng. Hệ thống sẽ học cách cải thiện chất lượng video bằng cách phân tích các khung hình liên tiếp và áp dụng các priors tạo video đã học được, giảm thiểu nhu cầu về dữ liệu huấn luyện cụ thể cho từng loại suy thoái và cung cấp kết quả tức thì.
  3. Tối ưu hóa hiển thị hình ảnh trên thiết bị di động dựa trên AI: Một công nghệ tích hợp vào hệ điều hành điện thoại thông minh, tự động điều chỉnh và khôi phục chất lượng hình ảnh và video hiển thị trên màn hình dựa trên nội dung và điều kiện môi trường. Ví dụ, khi xem ảnh cũ bị hỏng hoặc video chất lượng thấp, hệ thống sẽ sử dụng các priors tạo sinh để tái tạo các chi tiết bị thiếu hoặc giảm nhiễu, mang lại trải nghiệm xem tốt hơn mà không yêu cầu người dùng phải chỉnh sửa thủ công hoặc có kiến thức chuyên môn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.13089
ArXiv Abstracthttps://arxiv.org/abs/2603.13089
PDF Downloadhttps://arxiv.org/pdf/2603.13089.pdf
Github Repositoryhttps://github.com/Zhengsh123/V-Bridge

11. EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery (12 votes)​

Tác giả: Yougang Lyu, Xi Zhang, Xinhao Yi, Yuyue Zhao, Shuyu Guo, Wenxiang Hu, Jan Piotrowski, Jakub Kaliski, Jacopo Urbani, Zaiqiao Meng, Lun Zhou, Xiaohui Yan

Xuất bản lúc: 2026-03-09

Tag: LLMs, Multi-Agent Systems, Self-Evolving Agents, Scientific Discovery, Persistent Memory, Code Generation, Idea Generation

I. Main Problem:​

Các hệ thống nhà khoa học AI hiện tại chủ yếu dựa vào các quy trình tĩnh, được thiết kế thủ công và không thể điều chỉnh chiến lược tạo ý tưởng hoặc mã của chúng dựa trên lịch sử tương tác tích lũy. Điều này dẫn đến việc bỏ qua các hướng nghiên cứu tiềm năng, lặp lại các thí nghiệm thất bại và theo đuổi những ý tưởng không khả thi trong quá trình khám phá khoa học từ đầu đến cuối.

II. Main Idea:​

EvoScientist giới thiệu một khuôn khổ nhà khoa học AI đa tác nhân tự tiến hóa, liên tục cải thiện các chiến lược nghiên cứu thông qua bộ nhớ liên tục và khả năng tự tiến hóa. Hệ thống bao gồm ba tác nhân chuyên biệt: Researcher Agent (RA) tạo ý tưởng khoa học, Engineer Agent (EA) thực hiện thí nghiệm và Evolution Manager Agent (EMA) chắt lọc thông tin chi tiết từ các tương tác trước đó thành kiến thức có thể tái sử dụng. EvoScientist sử dụng hai module bộ nhớ liên tục: bộ nhớ ý tưởng (ideation memory) tóm tắt các hướng nghiên cứu khả thi và ghi lại các hướng không thành công, và bộ nhớ thử nghiệm (experimentation memory) ghi lại các chiến lược xử lý dữ liệu và huấn luyện mô hình hiệu quả. Các bộ nhớ này cho phép RA và EA truy xuất các chiến lược liên quan, từ đó cải thiện chất lượng ý tưởng và tăng tỷ lệ thành công thực thi mã theo thời gian thông qua ba cơ chế tự tiến hóa: tiến hóa hướng ý tưởng, tiến hóa xác thực ý tưởng và tiến hóa chiến lược thử nghiệm.

III. Main Results:​

EvoScientist vượt trội hơn 7 hệ thống nhà khoa học AI mã nguồn mở và thương mại hiện có trong việc tạo ý tưởng khoa học, đạt hiệu suất cao hơn về tính mới, tính khả thi, mức độ liên quan và độ rõ ràng thông qua đánh giá tự động và con người. Ngoài ra, EvoScientist cải thiện đáng kể tỷ lệ thành công thực thi mã thông qua sự tiến hóa đa tác nhân. Trong đánh giá từ đầu đến cuối, tất cả sáu bài báo khoa học được EvoScientist tạo ra đều được chấp nhận tại ICAIS 2025, và hai bài đã nhận được các giải thưởng lớn (Best Paper Award và AI Reviewer’s Appraisal Award). Các nghiên cứu loại bỏ cho thấy tiến hóa hướng ý tưởng và tiến hóa xác thực ý tưởng đóng vai trò quan trọng trong việc cải thiện tính mới và tính khả thi của ý tưởng.

IV. Conclusion & Future Works:​

EvoScientist là một khuôn khổ đa tác nhân tự tiến hóa giải quyết hạn chế cốt lõi của các hệ thống nhà khoa học AI hiện có bằng cách cho phép cải thiện liên tục thông qua bộ nhớ liên tục và tự tiến hóa. Hệ thống này đã chứng minh khả năng vượt trội trong việc tạo ý tưởng và thực thi mã. Các hướng nghiên cứu trong tương lai bao gồm mở rộng khả năng của EvoScientist sang các lĩnh vực khoa học đòi hỏi thí nghiệm vật lý (ví dụ: khoa học vật liệu và khám phá thuốc), cần tích hợp với quy trình phòng thí nghiệm và phản hồi thực tế. Ngoài ra, cần tăng cường khả năng phân tích lý thuyết và nền tảng hình thức của hệ thống. EvoScientist nên được sử dụng như một hệ thống hỗ trợ ra quyết định và tất cả các kết quả đầu ra cần được chuyên gia con người xác minh để đảm bảo tính chính xác và giải quyết các vấn đề đạo đức như khả năng tái tạo thành kiến.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng EvoScientist cho các lĩnh vực khoa học thực nghiệm: Tích hợp EvoScientist với các quy trình phòng thí nghiệm vật lý và phản hồi thực tế để khám phá trong các lĩnh vực như khoa học vật liệu hoặc dược phẩm, vượt ra ngoài các nhiệm vụ tính toán.
  2. Tự động hóa phân tích lý thuyết và hình thành khung lý thuyết: Phát triển các mô-đun trong EvoScientist để không chỉ tạo ra bằng chứng thực nghiệm mà còn tự động hóa việc suy luận và xây dựng các khung lý thuyết sâu sắc từ các phát hiện, bổ trợ cho vai trò của nhà nghiên cứu con người.
  3. Nâng cao độ tin cậy và khả năng thích ứng của việc thực thi mã: Nghiên cứu các cơ chế tiên tiến hơn cho Engineer Agent để cải thiện tỷ lệ thành công thực thi mã, bao gồm các kỹ thuật tự động gỡ lỗi phức tạp hơn và khả năng thích ứng với các môi trường thực thi đa dạng.

2. Patent:​

  1. Hệ thống trợ lý di động tự học cho quản lý tác vụ: Một ứng dụng di động sử dụng hệ thống tác nhân đa trí tuệ và bộ nhớ liên tục để học hỏi từ các tương tác, thành công và thất bại của người dùng trong việc quản lý lịch trình, đặt chỗ hoặc tự động hóa các tác vụ hàng ngày, liên tục cải thiện độ chính xác và hiệu quả theo thời gian.
  2. Ứng dụng chỉnh sửa ảnh/video thông minh thích ứng: Một ứng dụng trên điện thoại di động có khả năng ghi nhớ phong cách chỉnh sửa ưa thích của người dùng, các lỗi chỉnh sửa thường gặp và các chiến lược hiệu quả để tự động đề xuất hoặc áp dụng các cải tiến cho ảnh/video mới, giúp người dùng đạt được kết quả mong muốn nhanh hơn.
  3. Nền tảng học tập cá nhân hóa với phản hồi tiến hóa: Một ứng dụng giáo dục trên thiết bị di động sử dụng các tác nhân tự tiến hóa để liên tục điều chỉnh lộ trình học tập, bài tập và phương pháp giảng dạy dựa trên hiệu suất, lỗi và tiến độ của người học, tối ưu hóa trải nghiệm học tập cá nhân và tăng cường khả năng tiếp thu kiến thức.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.08127
ArXiv Abstracthttps://arxiv.org/abs/2603.08127
PDF Downloadhttps://arxiv.org/pdf/2603.08127.pdf
Github Repositoryhttps://github.com/EvoScientist/EvoScientist

12. From Sparse to Dense: Multi-View GRPO for Flow Models via Augmented Condition Space (11 votes)​

Tác giả: Jiazi Bu, Pengyang Ling, Yujie Zhou, Yibin Wang, Yuhang Zang, Tianyi Wei, Xiaohang Zhan, Jiaqi Wang, Tong Wu, Xingang Pan, Dahua Lin

Xuất bản lúc: 2026-03-13

Tag: Reinforcement Learning, GRPO, Diffusion Models, Flow Models, Text-to-Image, Preference Alignment, Condition Enhancement, Multi-View

I. Main Problem:​

Các mô hình GRPO (Group Relative Policy Optimization) tiêu chuẩn cho việc tạo ảnh từ văn bản (T2I) thường đánh giá một nhóm mẫu được tạo ra dựa trên một điều kiện duy nhất. Phương pháp đánh giá "một góc nhìn thưa thớt" này dẫn đến việc khám phá các mối quan hệ giữa các mẫu không đầy đủ, hạn chế hiệu quả căn chỉnh và trần hiệu suất của mô hình. Nó không đủ để đánh giá sự đa sắc thái trong mối quan hệ giữa các mẫu và bỏ qua bản chất đa diện của ngữ nghĩa hình ảnh.

II. Main Idea:​

MV-GRPO (Multi-View GRPO) được đề xuất để giải quyết vấn đề đánh giá thưa thớt bằng cách tăng cường không gian điều kiện, tạo ra một ánh xạ phần thưởng đa góc nhìn dày đặc. Cụ thể, MV-GRPO sử dụng một "Condition Enhancer" linh hoạt (có thể là VLM trực tuyến hoặc LLM ngoại tuyến) để tạo ra các chú thích đa dạng nhưng có ngữ nghĩa gần giống với chú thích gốc. Các chú thích mở rộng này cho phép ước tính lại lợi thế đa góc nhìn, nắm bắt các thuộc tính ngữ nghĩa đa dạng và cung cấp tín hiệu tối ưu hóa phong phú hơn. Điều quan trọng là, bằng cách suy ra phân phối xác suất của các mẫu gốc được điều kiện hóa bởi các chú thích mới này, chúng có thể được đưa vào quá trình huấn luyện mà không cần tạo lại mẫu tốn kém. Phương pháp này giúp khám phá toàn diện hơn các mối quan hệ nội nhóm và thiết lập các đối lập nội tại bằng cách xác định sự dịch chuyển thứ hạng giữa các điều kiện khác nhau.

III. Main Results:​

MV-GRPO đạt được hiệu suất căn chỉnh vượt trội so với các phương pháp hiện đại, bao gồm Flux, Flow-GRPO, DanceGRPO, TempFlow-GRPO và DiffusionNFT. Nó cho thấy sự vượt trội nhất quán trong cả hai thiết lập phần thưởng đơn (HPS-v3 hoặc UnifiedReward-v2) và đa phần thưởng (HPS-v3 + CLIP). Đặc biệt, MV-GRPO với bộ tăng cường điều kiện VLM trực tuyến đạt hiệu suất tốt nhất trên hầu hết các chỉ số, xuất sắc về các chỉ số HPS, ImageReward, tính nhất quán (UR-v2-C) và phong cách (UR-v2-S). Bộ tăng cường LLM ngoại tuyến mang lại kết quả tốt thứ hai. Các thí nghiệm cũng chứng minh rằng MV-GRPO cải thiện đáng kể chất lượng hình ảnh và khả năng tổng quát hóa, đặc biệt về chi tiết tinh xảo và tính chân thực của ảnh. Phân tích lý thuyết cho thấy sự dịch chuyển xác suất giữa các điều kiện gốc và điều kiện tăng cường là tối thiểu, biện minh cho việc sử dụng các quỹ đạo được tạo ra dưới điều kiện gốc để tối ưu hóa với các góc nhìn tăng cường.

IV. Conclusion & Future Works:​

MV-GRPO giải quyết thành công vấn đề đánh giá phần thưởng một góc nhìn thưa thớt trong các mô hình GRPO dựa trên dòng chảy bằng cách giới thiệu một mô hình giám sát đa góc nhìn dày đặc thông qua việc tăng cường không gian điều kiện. Cách tiếp cận này giúp cải thiện đáng kể chất lượng hình ảnh và khả năng tổng quát hóa. Hướng nghiên cứu trong tương lai có thể tập trung vào việc tăng cường hơn nữa khả năng căn chỉnh ưu tiên dưới nhiều điều kiện khác nhau và nâng cao nhận thức của mô hình về các nhiễu loạn có điều kiện, cũng như khám phá các chiến lược Condition Enhancer tiên tiến hơn để tối ưu hóa việc tạo ra các điều kiện tăng cường.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các chiến lược tăng cường điều kiện thích ứng động (Dynamic Adaptive Condition Enhancement Strategies): Khám phá các phương pháp tiên tiến để Condition Enhancer tự động điều chỉnh mức độ đa dạng và tính liên quan ngữ nghĩa của các điều kiện tăng cường dựa trên chất lượng mẫu được tạo ra hoặc phản hồi của mô hình. Điều này có thể bao gồm việc sử dụng các mô hình học tăng cường để tối ưu hóa việc tạo điều kiện hoặc tích hợp phản hồi từ các reward model để hướng dẫn quá trình tăng cường.
  2. Mở rộng MV-GRPO cho các tác vụ tạo đa phương thức và tương tác (Extending MV-GRPO for Multimodal and Interactive Generation Tasks): Áp dụng khung MV-GRPO cho các miền tạo nội dung phức tạp hơn như tạo video, tạo 3D, hoặc các hệ thống tạo tương tác (ví dụ: người dùng chỉnh sửa ảnh/video bằng văn bản). Điều này sẽ yêu cầu phát triển các Condition Enhancer mới có khả năng xử lý các điều kiện đầu vào đa phương thức và các reward model có khả năng đánh giá các mối quan hệ đa dạng trong không gian đa phương thức.
  3. Phân tích ảnh hưởng của sự dịch chuyển xác suất trong không gian điều kiện mở rộng (Analyzing the Impact of Probability Drift in Augmented Condition Space): Mặc dù bài báo đã chứng minh sự dịch chuyển xác suất là tối thiểu, một nghiên cứu sâu hơn có thể khám phá các trường hợp mà sự dịch chuyển này trở nên đáng kể và tác động của nó đến hiệu suất tối ưu hóa. Điều này có thể dẫn đến việc phát triển các cơ chế bù trừ hoặc thích ứng để duy trì tính ổn định của quá trình huấn luyện khi các điều kiện tăng cường có sự khác biệt lớn hơn so với điều kiện gốc.

2. Patent:​

  1. Hệ thống gợi ý chỉnh sửa ảnh thông minh trên điện thoại di động: Ứng dụng công nghệ Condition Enhancer để phân tích một bức ảnh do người dùng chụp trên điện thoại. Dựa trên nội dung ảnh, hệ thống sẽ tự động tạo ra các gợi ý chỉnh sửa văn bản đa dạng (ví dụ: "thêm ánh sáng vàng", "thay đổi bố cục thành cận cảnh", "tạo phong cách ảnh cổ điển"). Người dùng có thể chọn một trong các gợi ý này để áp dụng các bộ lọc hoặc công cụ chỉnh sửa tự động, giúp họ dễ dàng tạo ra các phiên bản ảnh đẹp hơn mà không cần kiến thức chuyên sâu.
  2. Chức năng tạo biến thể sản phẩm tự động cho ứng dụng thương mại điện tử: Tích hợp Condition Enhancer vào các ứng dụng thương mại điện tử. Khi người bán tải lên ảnh một sản phẩm, hệ thống sẽ tự động tạo ra các mô tả sản phẩm tương tự nhưng có các thuộc tính khác nhau (ví dụ: "áo sơ mi xanh", "áo sơ mi xanh kẻ sọc", "áo sơ mi xanh với cổ áo cách điệu"). Sau đó, AI có thể sử dụng các mô tả này để tạo ra các hình ảnh biến thể của sản phẩm (ví dụ: áo sơ mi với màu sắc hoặc họa tiết khác nhau) mà không cần chụp ảnh lại, giúp người bán tiết kiệm thời gian và chi phí.
  3. Trợ lý sáng tạo nội dung đa dạng trên mạng xã hội: Một tính năng trong các ứng dụng mạng xã hội cho phép người dùng nhập một ý tưởng ban đầu (ví dụ: "chụp ảnh một bữa ăn ngon"). Trợ lý sẽ sử dụng Condition Enhancer để tạo ra nhiều gợi ý sáng tạo khác nhau cho nội dung đó (ví dụ: "chụp ảnh bữa ăn với ánh sáng tự nhiên", "chụp ảnh bữa ăn từ góc trên cao", "chụp ảnh bữa ăn với hiệu ứng làm mờ nền"). Các gợi ý này có thể bao gồm cả ý tưởng về văn bản caption đi kèm, giúp người dùng tạo ra các bài đăng độc đáo và thu hút hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.12648
ArXiv Abstracthttps://arxiv.org/abs/2603.12648
PDF Downloadhttps://arxiv.org/pdf/2603.12648.pdf
Github RepositoryN/A

13. HomeSafe-Bench: Evaluating Vision-Language Models on Unsafe Action Detection for Embodied Agents in Household Scenarios (10 votes)​

Tác giả: Jiayue Pu, Zhongxiang Sun, Zilu Zhang, Xiao Zhang, Jun Xu

Xuất bản lúc: 2026-03-12

Tag: VLMs, Embodied Agents, Household Safety, Unsafe Action Detection, Benchmarking, Real-time Monitoring, Hierarchical Systems

I. Main Problem:​

Việc đánh giá an toàn hiện tại cho các tác nhân robot trong môi trường gia đình còn chưa đầy đủ, thường chỉ giới hạn ở hình ảnh tĩnh, văn bản hoặc các mối nguy hiểm chung, không thể đánh giá chính xác việc phát hiện hành động không an toàn động trong bối cảnh phức tạp này. Các hạn chế của hệ thống như độ trễ nhận thức và thiếu kiến thức thông thường có thể dẫn đến lỗi nguy hiểm, đồng thời các bộ dữ liệu video hiện có thiếu sự đa dạng cho kịch bản gia đình hoặc gắn chặt nhận thức an toàn với lập kế hoạch hành động, ngăn cản việc đánh giá độc lập các mô hình Vision-Language Models (VLMs) như các bộ giám sát an toàn.

II. Main Idea:​

Để giải quyết vấn đề trên, nghiên cứu giới thiệu HomeSafe-Bench, một bộ dữ liệu đánh giá đầy thách thức được thiết kế để kiểm tra các Vision-Language Models (VLMs) trong việc phát hiện hành động không an toàn của các tác nhân robot trong các kịch bản gia đình. HomeSafe-Bench được xây dựng thông qua một quy trình kết hợp mô phỏng vật lý với tạo video nâng cao, bao gồm 438 trường hợp đa dạng trên sáu khu vực chức năng với chú thích đa chiều chi tiết. Ngoài ra, nghiên cứu đề xuất Hierarchical Dual-Brain Guard for Household Safety (HD-Guard), một kiến trúc luồng phân cấp để giám sát an toàn theo thời gian thực. HD-Guard phối hợp một FastBrain nhẹ (ví dụ: MiniCPM-o 4.5) để sàng lọc liên tục tần số cao với một SlowBrain quy mô lớn bất đồng bộ (ví dụ: Qwen3-VL-30B-A3B-Thinking) để suy luận đa phương thức sâu sắc, cân bằng hiệu quả giữa hiệu suất suy luận và độ chính xác phát hiện.

III. Main Results:​

HD-Guard đạt được sự cân bằng vượt trội giữa độ trễ và hiệu suất, phù hợp để triển khai trong thế giới thực. Các mô hình mã nguồn mở như InternVL3.5-8B vượt trội hơn các mô hình mã nguồn đóng hàng đầu (ví dụ: GPT-5.1) về an toàn tổng thể và độ nhạy phát hiện. Tuy nhiên, các mô hình hoạt động tốt nhất thường có tỷ lệ cảnh báo sai cao, gây khó khăn cho việc triển khai thực tế. Việc tăng kích thước mô hình một mình không đảm bảo cải thiện hiệu suất an toàn. HD-Guard tăng điểm an toàn lên 38% so với FastBrain độc lập trong khi duy trì độ trễ gần như tương đương (3.10s so với 3.07s), và hoạt động nhanh hơn 2 lần so với Qwen3-Omni. Phân tích lỗi cho thấy các VLMs hiện tại thường bỏ sót các thực thể hình ảnh quan trọng, thể hiện khả năng định vị thời gian yếu và gặp khó khăn trong suy luận nguyên nhân cho các mối nguy hiểm vật lý. HD-Guard giảm đáng kể lỗi suy luận (0% cho nhiệm vụ D3 so với 45.6% của Qwen3-VL-30B) và cải thiện nhận thức hình ảnh (giảm bỏ sót thực thể hình ảnh từ 30.4% xuống 0.5%).

IV. Conclusion & Future Works:​

Nghiên cứu giới thiệu HomeSafe-Bench và HD-Guard, giải quyết nhu cầu cấp thiết về đánh giá an toàn mạnh mẽ và giám sát theo thời gian thực cho các tác nhân robot trong môi trường gia đình. HD-Guard giảm thiểu hiệu quả các hạn chế của các VLM hiện tại thông qua thiết kế hai não phân cấp, đạt được sự cân bằng thực tế giữa độ trễ thấp và phát hiện nguy hiểm đáng tin cậy. Tuy nhiên, thách thức còn lại là HD-Guard hiện thiếu bộ nhớ ngữ cảnh dài để theo dõi trạng thái đối tượng lịch sử, do SlowBrain chỉ xử lý hai khung hình cuối cùng để đảm bảo hiệu quả thời gian thực. Điều này có thể dẫn đến việc bỏ sót các mối nguy hiểm mà các tín hiệu vật lý quan trọng chỉ có thể quan sát được trong các khung hình trước đó. Công việc trong tương lai nên tập trung vào việc cải thiện khả năng định vị thời gian và suy luận nguyên nhân, đặc biệt đối với các mối nguy hiểm phức tạp, và tích hợp bộ nhớ ngữ cảnh dài hơn trong khi vẫn duy trì hiệu quả thời gian thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về khả năng suy luận theo thời gian dài (long-context temporal reasoning) cho các mô hình Vision-Language Models (VLMs) trong giám sát an toàn: Mở rộng khả năng của SlowBrain để xử lý chuỗi video dài hơn, cho phép mô hình theo dõi trạng thái đối tượng và các tín hiệu vật lý quan trọng từ các khung hình sớm hơn mà không ảnh hưởng đáng kể đến độ trễ, nhằm cải thiện việc phát hiện các mối nguy hiểm phức tạp dựa trên ngữ cảnh lịch sử.
  2. Phát triển các chiến lược cân bằng hiệu quả hơn giữa độ trễ và độ chính xác cho hệ thống giám sát an toàn dựa trên AI: Khám phá các phương pháp mới để tối ưu hóa việc phân bổ tài nguyên giữa FastBrain và SlowBrain, có thể thông qua học tăng cường hoặc các cơ chế điều chỉnh động, để đạt được ranh giới Pareto tốt hơn nữa trong các môi trường thay đổi liên tục và giảm thiểu cảnh báo giả.
  3. Đánh giá và cải thiện khả năng phát hiện 'false alarm' và 'over-reaction' trong các mô hình Vision-Language Models (VLMs) cho ứng dụng an toàn gia đình: Tập trung vào việc giảm tỷ lệ cảnh báo sai và phản ứng thái quá của các mô hình VLM, đặc biệt là trong các trường hợp không thực sự nguy hiểm, để tăng tính thực tiễn và chấp nhận được của hệ thống an toàn trong triển khai thực tế.

2. Patent:​

  1. Hệ thống giám sát an toàn nhà cửa thông minh sử dụng camera điện thoại: Một ứng dụng di động cho phép camera điện thoại liên tục phân tích môi trường xung quanh (ví dụ: bếp, phòng khách) để phát hiện các hành động hoặc tình huống nguy hiểm tiềm tàng (ví dụ: trẻ em đến gần bếp đang nóng, vật sắc nhọn rơi). Ứng dụng sẽ sử dụng một hệ thống xử lý nhanh để sàng lọc liên tục và kích hoạt một hệ thống phân tích sâu hơn trên đám mây hoặc trên thiết bị khi phát hiện rủi ro tiềm ẩn, sau đó gửi cảnh báo tức thì đến người dùng.
  2. Trợ lý an toàn cá nhân dựa trên thiết bị đeo tay hoặc điện thoại cho người cao tuổi và trẻ em: Phát triển một hệ thống tích hợp với thiết bị đeo tay hoặc điện thoại thông minh để giám sát các hoạt động của người dùng (ví dụ: người cao tuổi, trẻ nhỏ) trong nhà. Nếu hệ thống phát hiện các hành vi bất thường hoặc có khả năng gây nguy hiểm (ví dụ: ngã, tiếp xúc với vật dụng nguy hiểm), nó sẽ tự động gửi cảnh báo đến người thân hoặc dịch vụ khẩn cấp. Công nghệ này sử dụng phân tích hình ảnh và dữ liệu cảm biến để nhận diện tình huống và đánh giá mức độ nghiêm trọng.
  3. Tính năng 'An toàn vật nuôi' tích hợp trong ứng dụng camera an ninh di động: Tích hợp vào các ứng dụng camera an ninh nhà cửa hiện có trên điện thoại, một tính năng chuyên biệt để giám sát vật nuôi. Hệ thống sẽ nhận diện các hành vi nguy hiểm của vật nuôi (ví dụ: nhai dây điện, leo lên bàn bếp, tiếp cận hóa chất) và gửi cảnh báo đến điện thoại của chủ sở hữu, thậm chí có thể kích hoạt các thiết bị thông minh khác (ví dụ: phát ra âm thanh xua đuổi, tắt nguồn thiết bị nguy hiểm) để ngăn chặn rủi ro, đảm bảo an toàn cho vật nuôi và đồ đạc trong nhà.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.11975
ArXiv Abstracthttps://arxiv.org/abs/2603.11975
PDF Downloadhttps://arxiv.org/pdf/2603.11975.pdf
Github Repositoryhttps://github.com/pujiayue/HomeSafe-Bench

14. HybridStitch: Pixel and Timestep Level Model Stitching for Diffusion Acceleration (10 votes)​

Tác giả: Desen Sun, Jason Hon, Jintao Zhang, Sihang Liu

Xuất bản lúc: 2026-03-08

Tag: Diffusion model, Mixture of models, Acceleration, Text-to-Image

I. Main Problem:​

Mặc dù các mô hình khuếch tán (diffusion models) đã chứng tỏ khả năng vượt trội trong việc tạo ảnh từ văn bản (Text-to-Image - T2I), chúng vẫn đối mặt với chi phí tính toán rất lớn, đặc biệt đối với các mô hình lớn chứa hàng chục tỷ tham số. Các phương pháp tăng tốc trước đây thường thay thế một phần các bước khử nhiễu bằng mô hình nhỏ hơn, nhưng chúng chỉ tập trung tiết kiệm tính toán theo từng bước thời gian (timestep) và bỏ qua sự khác biệt về nhu cầu tính toán trong một bước thời gian duy nhất. Cụ thể, các phương pháp này xử lý toàn bộ hình ảnh như một khối thống nhất, không nhận ra rằng một số vùng ảnh (ví dụ: nền) dễ xử lý hơn và có thể chuyển sang mô hình nhẹ hơn sớm hơn, trong khi các vùng phức tạp hơn cần được tinh chỉnh bởi mô hình lớn hơn. Việc chuyển đổi ở cấp độ toàn bộ hình ảnh dẫn đến chất lượng giảm sút hoặc độ trễ tăng lên.

II. Main Idea:​

Để giải quyết vấn đề đa dạng cấp độ pixel, nghiên cứu này đề xuất HybridStitch, một phương pháp tăng tốc tạo ảnh T2I mới bằng cách kết hợp mô hình lớn và nhỏ ở cả cấp độ pixel và timestep. HybridStitch coi quá trình tạo ảnh như chỉnh sửa: nó chia hình ảnh thành hai vùng – một vùng dễ xử lý có thể chuyển sang mô hình nhỏ sớm hơn, và một vùng phức tạp hơn cần được tinh chỉnh bởi mô hình lớn.

Cụ thể, HybridStitch hoạt động qua ba giai đoạn:

  1. Giai đoạn đầu tiên: Chỉ sử dụng mô hình lớn để xử lý nhiễu Gaussian ban đầu, xây dựng bố cục tổng thể của hình ảnh.
  2. Giai đoạn thứ hai: Kết hợp cả mô hình lớn và nhỏ. Mô hình nhỏ xử lý toàn bộ trạng thái tiềm ẩn để tạo bản nháp, trong khi mô hình lớn chỉ xử lý các vùng được che (mask) được coi là khó tạo. Các vùng này được xác định bằng cách chọn top-K giá trị lớn nhất trong tensor khác biệt giữa các bước khử nhiễu. Mô hình lớn sử dụng bộ nhớ đệm KV (KV cache) từ bước trước để duy trì ngữ cảnh đầy đủ. Đầu ra của mô hình lớn sẽ được cập nhật vào vị trí tương ứng trong đầu ra của mô hình nhỏ. Mặt nạ (mask) và bộ nhớ đệm KV được cập nhật sau mỗi bước.
  3. Giai đoạn thứ ba: Chỉ sử dụng mô hình nhỏ khi tất cả các pixel đều đáp ứng điều kiện chuyển đổi và sẵn sàng chuyển sang mô hình nhỏ hơn.

HybridStitch là một kỹ thuật tăng tốc không cần huấn luyện lại (train-free acceleration technique). Nó sử dụng khoảng cách L1 để xác định sự khác biệt giữa hai bước liên tiếp và kích hoạt chuyển đổi giai đoạn khi sự khác biệt này giảm xuống dưới một ngưỡng cụ thể.

III. Main Results:​

HybridStitch đạt được những kết quả đáng kể:

  • Tăng tốc độ: Đạt được tốc độ tăng 1.83 lần trên Stable Diffusion 3, nhanh hơn tất cả các phương pháp kết hợp mô hình hiện có.
  • Chất lượng hình ảnh: Vượt trội hơn T-Stitch và SRDiffusion trên tất cả các chỉ số chất lượng, đạt giảm FID lên tới 5% và 4.4% tương ứng. Đặc biệt, cấu hình HybridStitch-30% đạt hiệu quả tốt nhất (1.83x speedup) và điểm FID tốt thứ hai, cho thấy khả năng cân bằng giữa chất lượng và độ trễ.
  • Độ trễ: Giảm độ trễ lên tới 18.06% so với SRDiffusion, trong khi vẫn duy trì hoặc thậm chí cải thiện chất lượng.
  • LPIPS: Đạt điểm LPIPS thấp hơn (tốt hơn) so với T-Stitch và SRDiffusion, cho thấy hình ảnh được tạo ra gần với kết quả của mô hình lớn gốc hơn.
  • Hiệu suất ổn định: Các cấu hình mask khác nhau của HybridStitch cho thấy điểm chất lượng tương tự, chứng minh hiệu suất ổn định với các ngưỡng phù hợp.

IV. Conclusion & Future Works:​

HybridStitch trình bày một phương pháp hiệu quả để tăng tốc các mô hình khuếch tán T2I bằng cách kết hợp mô hình lớn và nhỏ một cách thông minh ở cấp độ pixel và timestep. Phương pháp này giải quyết hạn chế của các cách tiếp cận trước đây vốn bỏ qua sự đa dạng về nhu cầu tính toán trong một bước khử nhiễu duy nhất. Tương lai có thể khám phá việc tinh chỉnh thêm chiến lược mặt nạ (mask) bằng cách thu nhỏ kích thước mặt nạ hoặc chuyển hẳn sang mô hình nhỏ hơn ở các bước sau, cũng như tích hợp các kỹ thuật tăng tốc dựa trên huấn luyện để tối ưu hóa hơn nữa hiệu suất.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa chiến lược mặt nạ thích ứng cho HybridStitch: Nghiên cứu và phát triển các thuật toán nâng cao để tạo và cập nhật mặt nạ một cách động, có thể dựa trên học tăng cường (reinforcement learning) hoặc phân tích độ phức tạp theo ngữ cảnh, nhằm tối ưu hóa đồng thời tốc độ và chất lượng trên nhiều loại hình ảnh và lời nhắc khác nhau.
  2. Mở rộng HybridStitch sang các tác vụ khuếch tán đa phương tiện: Áp dụng và điều chỉnh phương pháp HybridStitch cho các mô hình khuếch tán trong các tác vụ khác như tạo video, chỉnh sửa hình ảnh hoặc tạo nội dung 3D, giải quyết các thách thức bổ sung về tính nhất quán không gian-thời gian và hiệu quả tính toán.
  3. HybridStitch với kiến trúc mô hình khuếch tán lai (Hybrid Diffusion Architectures): Khám phá việc tích hợp HybridStitch với các kiến trúc mô hình khuếch tán lai, nơi các mô hình lớn và nhỏ được thiết kế đặc biệt để hoạt động cùng nhau, có thể bao gồm các kỹ thuật nén mô hình như lượng tử hóa hoặc cắt tỉa (pruning) để đạt được hiệu quả tối đa trên các thiết bị tài nguyên hạn chế.

2. Patent:​

  1. Hệ thống Tăng tốc Tạo ảnh AI Thông minh trên Điện thoại Di động: Một công nghệ phần mềm tích hợp vào điện thoại di động, cho phép tạo ảnh từ văn bản nhanh chóng và hiệu quả. Hệ thống này tự động xác định các vùng phức tạp và đơn giản trong hình ảnh đang được tạo, sau đó linh hoạt chuyển đổi giữa việc sử dụng mô hình AI mạnh hơn (cho vùng phức tạp) và mô hình AI nhẹ hơn (cho vùng đơn giản). Điều này giúp tiết kiệm tài nguyên xử lý và pin điện thoại, đồng thời đảm bảo hình ảnh đầu ra vẫn giữ được chất lượng cao, mang lại trải nghiệm tạo ảnh mượt mà cho người dùng.
  2. Tính năng Tinh chỉnh Ảnh AI theo Vùng trên Thiết bị Di động: Một ứng dụng hoặc chức năng trên điện thoại cho phép người dùng chọn một khu vực cụ thể trên hình ảnh đã tạo hoặc đang tạo để cải thiện chi tiết. Khi người dùng khoanh vùng một khu vực, hệ thống sẽ chỉ kích hoạt mô hình AI mạnh hơn để tinh chỉnh vùng đó, sử dụng bộ nhớ tạm thông minh để duy trì ngữ cảnh toàn bộ ảnh mà không cần xử lý lại từ đầu. Điều này giúp người dùng tập trung sức mạnh xử lý vào các chi tiết quan trọng nhất, tối ưu hóa hiệu quả và tốc độ chỉnh sửa ảnh trên điện thoại.
  3. Công nghệ Tiết kiệm Năng lượng cho AI Tạo ảnh trên Điện thoại Di động: Một hệ thống quản lý năng lượng thông minh cho các ứng dụng tạo ảnh AI trên điện thoại. Hệ thống này tự động điều chỉnh cường độ sử dụng mô hình AI dựa trên mức pin hiện tại của thiết bị và độ phức tạp ước tính của hình ảnh mong muốn. Khi pin yếu, nó sẽ ưu tiên các chiến lược xử lý lai (như HybridStitch) để sử dụng mô hình nhẹ hơn cho phần lớn hình ảnh và chỉ dùng mô hình mạnh hơn cho các chi tiết thiết yếu, giúp kéo dài thời gian sử dụng pin mà vẫn cung cấp khả năng tạo ảnh chất lượng tốt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.07815
ArXiv Abstracthttps://arxiv.org/abs/2603.07815
PDF Downloadhttps://arxiv.org/pdf/2603.07815.pdf
Github RepositoryN/A