Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-03-06

Báo cáo được tạo tự động vào lúc 2026-03-09 09:06:28 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. MOOSE-Star: Unlocking Tractable Training for Scientific Discovery by Breaking the Complexity Barrier (83 votes)​

Tác giả: Zonglin Yang, Lidong Bing

Xuất bản lúc: 2026-03-04

Tag: LLMs, Scientific Discovery, Machine Learning, Deep Learning, Natural Language Processing, Data Efficiency, Scalability

I. Main Problem:​

Các nghiên cứu hiện có về mô hình ngôn ngữ lớn (LLMs) cho khám phá khoa học chủ yếu tập trung vào suy luận hoặc huấn luyện dựa trên phản hồi, bỏ qua việc mô hình hóa trực tiếp quá trình suy luận tạo sinh, P(hypothesis|background) (P(h|b)). Huấn luyện trực tiếp P(h|b) là không khả thi về mặt toán học do độ phức tạp tổ hợp (O(N^k)) khi truy xuất và kết hợp các nguồn cảm hứng từ một cơ sở tri thức rộng lớn.

II. Main Idea:​

MOOSE-STAR là một khung thống nhất cho phép huấn luyện khả thi và suy luận có thể mở rộng bằng cách phá vỡ rào cản phức tạp. Khung này đạt được việc giảm độ phức tạp từ hàm mũ xuống hàm logarit (O(logN)) bằng cách:

  1. Huấn luyện trên các tác vụ con được phân tách từ phương trình xác suất của quá trình khám phá.
  2. Sử dụng tìm kiếm phân cấp có hướng dẫn động lực (motivation-guided hierarchical search) để cho phép truy xuất logarit và cắt tỉa các không gian con không liên quan.
  3. Sử dụng thành phần ràng buộc (bounded composition) để tăng cường khả năng chống nhiễu khi truy xuất. Để hỗ trợ điều này, nhóm nghiên cứu đã phát hành TOMATO-STAR, một tập dữ liệu gồm 108.717 bài báo được phân tách (tiêu tốn 38.400 giờ GPU) để huấn luyện.

III. Main Results:​

MOOSE-STAR giảm độ phức tạp từ hàm mũ xuống hàm logarit (O(logN)). Trong khi lấy mẫu vét cạn gặp phải "bức tường phức tạp" đối với các giả thuyết yêu cầu kết hợp nhiều nguồn cảm hứng, MOOSE-STAR thể hiện khả năng mở rộng liên tục trong thời gian kiểm tra.

  • Truy xuất cảm hứng (IR): MS-IR-7B cải thiện độ chính xác từ 28.42% lên 54.37%.
  • Tổng hợp giả thuyết (HC): MS-HC-7B vượt trội đáng kể so với mô hình cơ sở, với dữ liệu huấn luyện "bounded" giúp tăng cường hiệu suất.
  • Tìm kiếm phân cấp: Giảm số lần gọi suy luận IR trung bình khoảng 3 lần (67.78 so với 218.00) so với phương pháp vét cạn, đồng thời đạt được thứ hạng đề xuất tốt hơn.
  • Lập kế hoạch động lực (Motivation Planning): Việc tích hợp động lực cải thiện hiệu quả tìm kiếm, với biến thể "detailed" đạt hiệu suất tốt nhất (63.05 lần gọi suy luận IR, 742.50 Thứ hạng đề xuất).
  • Phân tích khả năng mở rộng: Tỷ lệ thành công của lấy mẫu vét cạn giảm xuống 0.00% khi độ phức tạp (k) tăng lên, trong khi mô-đun HC phân tách duy trì tỷ lệ thành công 47.33% mạnh mẽ, mở khóa công cụ dữ liệu cho RFT. MOOSE-STAR đạt 100% độ bao phủ tập kiểm tra với khoảng 6.000 lần gọi suy luận, trong khi phương pháp vét cạn bão hòa ở khoảng 41.3%.

IV. Conclusion & Future Works:​

Nghiên cứu giải quyết sự khó khăn trong việc huấn luyện LLM cho khám phá khoa học bằng cách chứng minh rằng mô hình hóa P(h|b) từ đầu đến cuối là không khả thi do độ phức tạp tổ hợp. MOOSE-STAR, thông qua sự kết hợp của Tìm kiếm phân cấp, Thành phần ràng buộc và Lập kế hoạch động lực, đã giảm độ phức tạp tìm kiếm từ hàm mũ xuống hàm logarit trong trường hợp tốt nhất. Điều này cho phép MOOSE-STAR thể hiện khả năng mở rộng liên tục trong thời gian kiểm tra, biến việc khám phá thành một quy trình tìm kiếm có thể quản lý được, trong khi các phương pháp vét cạn gặp phải "bức tường phức tạp". Việc phát hành TOMATO-STAR sẽ tạo điều kiện cho các nghiên cứu trong tương lai. Các hướng nghiên cứu tiềm năng bao gồm việc khám phá sâu hơn về cách mô hình có thể học được "logic khám phá" tổng quát hóa để xác định các mối liên hệ khoa học thực sự mới lạ, cũng như nghiên cứu các cấu trúc phân cấp và thuật toán tìm kiếm thay thế để tối ưu hóa hơn nữa hiệu quả.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu sâu hơn về "logic khám phá" có thể tổng quát hóa: Làm thế nào để mô hình MOOSE-STAR có thể học được khả năng suy luận trừu tượng để xác định các mối liên hệ khoa học ý nghĩa, thực sự mới lạ (OOD), không chỉ dựa vào việc ghi nhớ các kết nối đã thấy.
  2. Khám phá các cấu trúc phân cấp và thuật toán tìm kiếm thay thế: Thay vì chỉ sử dụng phân cụm K-means và tìm kiếm Best-First, nghiên cứu các phương pháp khác để xây dựng cây tri thức và chiến lược duyệt cây hiệu quả hơn, đặc biệt cho các không gian tri thức cực lớn.
  3. Mở rộng ứng dụng của MOOSE-STAR sang các lĩnh vực khám phá khác: Áp dụng khung MOOSE-STAR cho các lĩnh vực ngoài khoa học tự nhiên như thiết kế kỹ thuật, chẩn đoán y tế, hoặc tạo ra các ý tưởng sáng tạo trong nghệ thuật, nơi yêu cầu sự kết hợp các "cảm hứng" từ nhiều nguồn khác nhau.

2. Patent:​

  1. Ứng dụng Trợ lý Sáng tạo Nội dung Thông minh: Một ứng dụng di động giúp người dùng tạo ra ý tưởng và nội dung độc đáo. Người dùng nhập chủ đề hoặc mục tiêu (nền tảng), ứng dụng sẽ tự động phân tích và đề xuất các "nguồn cảm hứng" liên quan (ví dụ: xu hướng, phong cách, dữ kiện) từ kho tri thức trực tuyến. Sau đó, ứng dụng hỗ trợ người dùng kết hợp các cảm hứng này để tạo ra bản nháp bài viết, kịch bản video hoặc ý tưởng thiết kế, tối ưu hóa quá trình sáng tạo.
  2. Hệ thống Hướng dẫn Học tập Cá nhân hóa: Một ứng dụng trên điện thoại giúp học sinh, sinh viên giải quyết các bài tập phức tạp. Khi người dùng nhập một bài toán hoặc câu hỏi (nền tảng), ứng dụng sẽ tự động chia nhỏ vấn đề thành các bước nhỏ hơn. Sau đó, nó tìm kiếm và gợi ý các "ý tưởng giải quyết" (ví dụ: công thức, ví dụ tương tự, phương pháp) từ cơ sở dữ liệu học tập và hướng dẫn người dùng từng bước để xây dựng lời giải hoàn chỉnh.
  3. Trợ lý Sửa chữa & Nâng cấp Gia đình Thông minh: Một ứng dụng di động cung cấp hướng dẫn từng bước cho các dự án tự làm (DIY) hoặc sửa chữa trong nhà. Người dùng mô tả vấn đề hoặc mục tiêu dự án (nền tảng), ứng dụng sẽ đề xuất các công cụ, vật liệu và kỹ thuật cần thiết (nguồn cảm hứng). Nếu có sự cố bất ngờ hoặc cần một giải pháp thay thế, ứng dụng sẽ nhanh chóng tìm kiếm các "phương án linh hoạt" (xử lý thông tin không hoàn hảo) và điều chỉnh hướng dẫn để người dùng hoàn thành công việc một cách hiệu quả.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.03756
ArXiv Abstracthttps://arxiv.org/abs/2603.03756
PDF Downloadhttps://arxiv.org/pdf/2603.03756.pdf
Github Repositoryhttps://github.com/ZonglinY/MOOSE-Star

2. SkillNet: Create, Evaluate, and Connect AI Skills (64 votes)​

Tác giả: Yuan Liang, Ruobin Zhong, Haoming Xu, Chen Jiang, Yi Zhong, Runnan Fang, Jia-Chen Gu, Shumin Deng, Yunzhi Yao, Mengru Wang, Shuofei Qiao, Xin Xu, Tongtong Wu, Kun Wang, Yang Liu, Zhen Bi, Jungang Lou, Yuchen Eleanor Jiang, Hangcheng Zhu, Gang Yu, Haiwen Hong, Longtao Huang, Hui Xue, Chenxi Wang, Yijun Wang, Zifei Shan, Xi Chen, Zhaopeng Tu, Feiyu Xiong, Xin Xie, Peng Zhang, Zhengke Gui, Lei Liang, Jun Zhou, Chiyu Wu, Jin Shang, Yu Gong, Junyu Lin, Changliang Xu, Hongjie Deng, Wen Zhang, Keyan Ding, Qiang Zhang, Fei Huang, Ningyu Zhang, Jeff Z. Pan, Guilin Qi, Haofen Wang, Huajun Chen

Xuất bản lúc: 2026-02-26

Tag: AI Agents, Skill Acquisition, Knowledge Management, Multi-dimensional Evaluation, LLMs, Open Infrastructure

I. Main Problem:​

Các tác nhân AI hiện tại có thể linh hoạt gọi công cụ và thực hiện các tác vụ phức tạp, nhưng sự tiến bộ lâu dài của chúng bị cản trở bởi việc thiếu tích lũy và chuyển giao kỹ năng một cách có hệ thống. Không có cơ chế thống nhất để củng cố kỹ năng, các tác nhân thường xuyên "phát minh lại bánh xe", tái khám phá các giải pháp trong các bối cảnh cô lập mà không tận dụng các chiến lược trước đó. Cụ thể, có hai vấn đề chính: 1) Không có cơ chế thống nhất để thu thập và củng cố kỹ năng từ kinh nghiệm. 2) Không có khuôn khổ nguyên tắc để xác thực và duy trì chất lượng kỹ năng ở quy mô lớn.

II. Main Idea:​

Để khắc phục những hạn chế này, chúng tôi giới thiệu SkillNet, một cơ sở hạ tầng mở được thiết kế để tạo, đánh giá và tổ chức các kỹ năng AI ở quy mô lớn. SkillNet cấu trúc các kỹ năng trong một bản thể luận thống nhất hỗ trợ việc tạo kỹ năng từ các nguồn không đồng nhất, thiết lập các kết nối quan hệ phong phú và thực hiện đánh giá đa chiều trên các khía cạnh An toàn (Safety), Hoàn chỉnh (Completeness), Khả thi (Executability), Khả năng bảo trì (Maintainability) và Nhận thức chi phí (Cost-awareness). Cơ sở hạ tầng này tích hợp một kho lưu trữ hơn 200.000 kỹ năng, một nền tảng tương tác và một bộ công cụ Python linh hoạt. SkillNet chuyển đổi kinh nghiệm phân mảnh từ các nguồn đa dạng (như quỹ đạo thực thi, kho mã nguồn mở và tài liệu) thành một mạng lưới kỹ năng có cấu trúc. Nó sử dụng một quy trình tự động hóa để tạo kỹ năng, lọc và củng cố dữ liệu, và một mô-đun phân tích kỹ năng để khám phá và mô hình hóa các mối quan hệ cấu trúc giữa các kỹ năng (ví dụ: similar_to, belong_to, compose_with, depend_on).

III. Main Results:​

Các đánh giá thực nghiệm trên ALFWorld, WebShop và ScienceWorld cho thấy SkillNet cải thiện đáng kể hiệu suất của tác nhân, tăng phần thưởng trung bình lên 40% và giảm số bước thực thi xuống 30% trên nhiều mô hình nền tảng (DeepSeek V3, Gemini 2.5 Pro, o4 Mini). Các cải thiện về hiệu suất vẫn mạnh mẽ trên các mô hình nền tảng có năng lực khác nhau, từ các mô hình nhỏ gọn (+15.7 R cho o4 Mini) đến các LLM quy mô lớn (+28.5 R cho Gemini 2.5 Pro). Ngoài ra, các kết quả nhất quán được quan sát trong cả cài đặt đã thấy và chưa thấy cho thấy khả năng tổng quát hóa mạnh mẽ của SkillNet. Khung đánh giá tự động dựa trên LLM của SkillNet cho thấy độ tin cậy cao, với Sai số tuyệt đối trung bình (MAE) dưới 0.03 và Quadratic Weighted Kappa (QWK) gần như hoàn hảo (1.000) trên tất cả các chiều so với đánh giá của con người.

IV. Conclusion & Future Works:​

Bằng cách hình thức hóa các kỹ năng như những tài sản có thể tiến hóa và kết hợp, SkillNet cung cấp một nền tảng vững chắc cho các tác nhân chuyển từ kinh nghiệm tạm thời sang sự thành thạo bền vững. Nó cho phép nâng cao năng lực của tác nhân một cách tích lũy thay vì từng giai đoạn, cuối cùng thúc đẩy các tác nhân chuyên biệt hóa theo lĩnh vực và liên tục tự cải thiện. Trong tương lai, SkillNet sẽ tiếp tục mở rộng kho kỹ năng thông qua các tài nguyên internet mở, phát triển nội bộ và đóng góp từ cộng đồng, đảm bảo khả năng mở rộng và phạm vi phủ sóng liên tục.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cải thiện Tự động trích xuất và Tinh chỉnh Kỹ năng từ Dữ liệu Nhiễu: Nghiên cứu về các phương pháp tiên tiến, có thể là sử dụng các LLM với khả năng tự điều chỉnh hoặc vòng lặp con người để tinh chỉnh, nhằm tự động trích xuất và tinh chỉnh các kỹ năng từ các nguồn dữ liệu rất nhiễu và không có cấu trúc (ví dụ: nhật ký trò chuyện không chính thức, tài liệu lỗi thời, hoặc các đoạn mã không đầy đủ).
  2. Thuật toán Sáng tạo để Tổng hợp Kỹ năng Động cho Các Tác vụ Mới lạ: Phát triển các thuật toán lập kế hoạch cho tác nhân tiên tiến có thể tự động tổng hợp và điều chỉnh các kỹ năng hiện có từ SkillNet để giải quyết các tác vụ hoàn toàn mới lạ, phức tạp mà không được định nghĩa rõ ràng trước đó, đặc biệt trong các kịch bản zero-shot hoặc few-shot.
  3. Hệ thống Học Kỹ năng Liên tục và Tự Tiến hóa cho Tác nhân: Thiết kế và triển khai một hệ thống cho phép các tác nhân liên tục học các kỹ năng mới hoặc tinh chỉnh các kỹ năng hiện có trong thời gian thực thông qua tương tác liên tục với môi trường, tự động tích hợp những kỹ năng được cập nhật này vào bản thể luận của SkillNet mà không cần sự can thiệp rõ ràng của con người.

2. Patent:​

  1. Trợ lý AI trên di động để Tự động hóa Tác vụ Cá nhân hóa: Một tính năng trên điện thoại di động có khả năng quan sát hành vi của người dùng trên các ứng dụng (ví dụ: "đặt cà phê mỗi sáng", "chuyển đổi tài liệu sang PDF và chia sẻ với các liên hệ cụ thể") và tự động tạo, đề xuất các "kỹ năng" để tự động hóa. Hệ thống sẽ học từ tương tác của người dùng, đánh giá hiệu quả và an toàn của kỹ năng được đề xuất, sau đó cung cấp để thực hiện chỉ với một chạm hoặc tự động hóa theo lịch trình, giúp giảm bớt các bước thủ công lặp đi lặp lại.
  2. Hệ thống Chẩn đoán và Tự sửa chữa Động cho Thiết bị Di động: Một hệ thống AI chạy trên thiết bị di động để giám sát hiệu suất điện thoại, phát hiện các sự cố phổ biến (ví dụ: ứng dụng bị treo, hao pin, sự cố kết nối mạng) và sử dụng thư viện "kỹ năng khắc phục sự cố" để chẩn đoán và tự động áp dụng các bản sửa lỗi. Ví dụ, nếu một ứng dụng thường xuyên bị treo, hệ thống có thể đề xuất "xóa bộ nhớ cache" hoặc "cài đặt lại ứng dụng", hoặc thậm chí tự động thực hiện sau khi người dùng đồng ý. Các kỹ năng này sẽ được đánh giá về độ an toàn và hiệu quả trước khi triển khai.
  3. Kiểm soát Nhà thông minh Nhận biết Ngữ cảnh với Tích hợp Kỹ năng: Một ứng dụng di động nâng cao để điều khiển nhà thông minh học các thói quen và sở thích của người dùng. Thay vì chỉ "bật đèn", nó có thể cung cấp các kỹ năng như "chuẩn bị xem phim" (làm mờ đèn, đóng rèm, bật TV, điều chỉnh nhiệt độ) hoặc "thói quen buổi sáng" (pha cà phê, mở rèm, bật tin tức). Các "kỹ năng" này sẽ được tổng hợp từ các hành động của thiết bị thông minh riêng lẻ, học từ thói quen của người dùng hoặc được xác định trước, được đánh giá về hiệu quả và sự hài lòng của người dùng, và có thể truy cập qua lệnh thoại hoặc một chạm trên điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.04448
ArXiv Abstracthttps://arxiv.org/abs/2603.04448
PDF Downloadhttps://arxiv.org/pdf/2603.04448.pdf
Github Repositoryhttps://github.com/zjunlp/SkillNet

3. DARE: Aligning LLM Agents with the R Statistical Ecosystem via Distribution-Aware Retrieval (45 votes)​

Tác giả: Maojun Sun, Yue Wu, Yifei Xie, Ruijian Han, Binyan Jiang, Defeng Sun, Yancheng Yuan, Jian Huang

Xuất bản lúc: 2026-03-05

Tag: LLM Agents, RAG, Retrieval, Embeddings, Statistical Computing, R Ecosystem

I. Main Problem:​

Các tác tử Mô hình Ngôn ngữ Lớn (LLM) gặp khó khăn trong việc sử dụng kiến thức thống kê và truy xuất công cụ, đặc biệt là trong hệ sinh thái R. Các phương pháp tăng cường truy xuất hiện có chủ yếu tập trung vào ngữ nghĩa cấp hàm và bỏ qua thông tin phân phối dữ liệu, dẫn đến kết quả không tối ưu. Điều này gây ra việc sử dụng không hiệu quả các phương pháp thống kê nghiêm ngặt trong R và khiến các tác tử LLM thường xuyên đưa ra các hàm R sai, cấu hình tham số không chính xác hoặc không xác định được gói thống kê phù hợp.

II. Main Idea:​

Các tác giả đề xuất DARE (Distribution-Aware Retrieval Embedding), một mô hình truy xuất nhẹ và plug-and-play, tích hợp thông tin phân phối dữ liệu vào biểu diễn hàm để cải thiện việc truy xuất gói R. Các đóng góp chính bao gồm: (i) RPKB, một Cơ sở Tri thức Gói R được tuyển chọn từ 8.191 gói CRAN chất lượng cao; (ii) DARE, một mô hình nhúng kết hợp các tính năng phân phối với siêu dữ liệu hàm để tăng cường mức độ liên quan của truy xuất; và (iii) RCodingAgent, một tác tử LLM định hướng R để tạo mã R đáng tin cậy và một bộ các tác vụ phân tích thống kê để đánh giá các tác tử LLM một cách có hệ thống trong các kịch bản phân tích thực tế. DARE sử dụng kiến trúc dual-encoder đối nghịch, được huấn luyện dựa trên cấu hình dữ liệu, để học cách phân biệt giữa các hàm có ngữ nghĩa tương tự nhưng không tương thích về mặt thống kê trong các ngữ cảnh dữ liệu khác nhau.

III. Main Results:​

DARE đạt NDCG@10 là 93.47%, vượt trội so với các mô hình nhúng mã nguồn mở tiên tiến nhất tới 17% trong tác vụ truy xuất gói, trong khi sử dụng số lượng tham số ít hơn đáng kể (23M so với lên tới 568M). DARE cũng đạt Recall@1 là 87.39% và Recall@10 là 98.63%. Về hiệu suất, DARE đạt thông lượng 8.512 truy vấn/giây (QPS) với độ trễ cực thấp là 3.7ms, nhanh hơn khoảng ba đến bốn lần so với các mô hình nền tảng lớn hơn. Việc tích hợp DARE vào RCodingAgent mang lại những cải thiện đáng kể trong các tác vụ phân tích hạ nguồn, tăng tỷ lệ thành công lên tới 56.25% trên cả các LLM tiên tiến và nhẹ, chứng tỏ hiệu quả của nó trong việc kích hoạt các quy trình công việc thống kê tự động đáng tin cậy.

IV. Conclusion & Future Works:​

Công trình này giúp thu hẹp khoảng cách giữa tự động hóa LLM và hệ sinh thái thống kê R trưởng thành. Các hướng nghiên cứu trong tương lai bao gồm: (1) Nâng cao năng lực R bản địa của LLM bằng cách xây dựng các kho ngữ liệu tập trung vào R quy mô lớn; (2) Phát triển các chiến lược học công cụ có cấu trúc và thích ứng hơn, chẳng hạn như trừu tượng hóa công cụ động, biểu đồ suy luận cấp hàm hoặc cơ chế chọn công cụ dựa trên bộ nhớ; (3) Mở rộng và duy trì cơ sở tri thức thống kê (RPKB) thông qua sự đóng góp của cộng đồng; (4) Tích hợp RCodingAgent vào một hệ thống tác tử mixture-of-experts để thực hiện phân tích thống kê chuyên biệt dựa trên R.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển bộ dữ liệu R-centric quy mô lớn để nâng cao năng lực lập trình và suy luận thống kê của LLM, tập trung vào việc tuyển chọn các hướng dẫn, tài liệu gói và quy trình làm việc phân tích có thể thực thi.
  2. Nghiên cứu các chiến lược học công cụ có cấu trúc và thích ứng hơn, như trừu tượng hóa công cụ động, biểu đồ suy luận cấp hàm hoặc cơ chế chọn công cụ dựa trên bộ nhớ, để hỗ trợ việc sử dụng công cụ thống kê phức tạp trong các tác tử LLM.
  3. Thiết kế kiến trúc hệ thống tác tử lai (mixture-of-experts) tích hợp RCodingAgent như một chuyên gia phân tích thống kê dựa trên R, phối hợp với các tác tử khác để giải quyết quy trình công việc phân tích dữ liệu đầu cuối phức tạp và cải thiện khả năng mở rộng.

2. Patent:​

  1. Hệ thống hỗ trợ phân tích dữ liệu thống kê trên điện thoại di động với khả năng tự động gợi ý công cụ: Một ứng dụng di động cho phép người dùng nhập mô tả dữ liệu và mục tiêu phân tích bằng ngôn ngữ tự nhiên. Ứng dụng sẽ sử dụng một phiên bản DARE được tối ưu hóa cho thiết bị di động để nhận diện đặc điểm phân phối dữ liệu và gợi ý các hàm hoặc gói R thống kê phù hợp nhất từ một cơ sở tri thức đã nén, giúp người dùng thực hiện phân tích dữ liệu phức tạp mà không cần kiến thức chuyên sâu về R.
  2. Công cụ tạo mã R thông minh dựa trên ngữ cảnh dữ liệu cho nhà khoa học dữ liệu di động: Một tính năng tích hợp trong môi trường phát triển di động hoặc ứng dụng ghi chú/mã hóa, nơi người dùng có thể mô tả yêu cầu thống kê và đặc điểm dữ liệu của họ. Hệ thống sẽ sử dụng thuật toán giống DARE để truy xuất các hàm R phù hợp và tự động tạo ra các đoạn mã R chính xác, có tính đến các ràng buộc về phân phối dữ liệu, giảm lỗi và tăng tốc độ phát triển trên thiết bị di động.
  3. Trợ lý ảo phân tích dữ liệu giọng nói có nhận biết phân phối dữ liệu: Một trợ lý ảo trên điện thoại di động cho phép người dùng ra lệnh bằng giọng nói về các tác vụ phân tích dữ liệu thống kê. Trợ lý sẽ không chỉ hiểu ý định ngữ nghĩa mà còn phân tích các mô tả về dữ liệu (ví dụ: "dữ liệu genomic, chiều cao lớn") để chọn các công cụ thống kê R phù hợp nhất, sau đó hiển thị kết quả hoặc mã R tương ứng, làm cho việc phân tích dữ liệu trở nên dễ tiếp cận hơn cho người dùng phổ thông.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.04743
ArXiv Abstracthttps://arxiv.org/abs/2603.04743
PDF Downloadhttps://arxiv.org/pdf/2603.04743.pdf
Github Repositoryhttps://github.com/AMA-CMFAI/DARE

4. AgentVista: Evaluating Multimodal Agents in Ultra-Challenging Realistic Visual Scenarios (33 votes)​

Tác giả: Zhaochen Su, Jincheng Gao, Hangyu Guo, Zhenhua Liu, Lueyang Zhang, Xinyu Geng, Shijue Huang, Peng Xia, Guanyu Jiang, Cheng Wang, Yue Zhang, Yi R. Fung, Junxian He

Xuất bản lúc: 2026-02-26

Tag: Multimodal AI, AI Agents, Benchmarking, Visual Reasoning, Tool Learning

I. Main Problem:​

Các benchmark đa phương thức hiện có chủ yếu đánh giá khả năng suy luận thị giác một lượt hoặc các kỹ năng công cụ cụ thể, không nắm bắt được tính thực tế, độ tinh tế của hình ảnh và việc sử dụng công cụ dài hạn mà các tác nhân thực tế yêu cầu. Cụ thể, chúng gặp hai vấn đề chính: ❶ Đánh giá theo khả năng cụ thể, tập trung vào các kỹ năng riêng lẻ (như thao tác hình ảnh, duyệt web, tạo mã), gây khó khăn trong việc đánh giá các tác nhân tổng quát cần kết hợp nhiều kỹ năng trong các quy trình làm việc dài hạn. ❷ Sự đánh đổi giữa tính thực tế và độ khó, khi nhiều benchmark tăng độ khó bằng cách đơn giản hóa trạng thái thị giác hoặc dựa vào các mẫu công cụ không giống với quy trình làm việc hàng ngày, làm lệch trọng tâm khỏi việc đặt nền tảng thực tế và tương tác.

II. Main Idea:​

Nghiên cứu giới thiệu AGENTVISTA, một benchmark mới được thiết kế để đánh giá các tác nhân đa phương thức tổng quát trên các nhiệm vụ đa dạng, thực tế và thách thức. AGENTVISTA bao gồm 209 nhiệm vụ trải rộng trên 25 lĩnh vực phụ thuộc 7 danh mục, ghép nối các kịch bản thị giác thực tế và giàu chi tiết với việc sử dụng công cụ lai tự nhiên. Các nhiệm vụ đòi hỏi tương tác công cụ dài hạn qua nhiều phương thức, bao gồm tìm kiếm web, tìm kiếm hình ảnh, điều hướng trang và các hoạt động dựa trên mã để xử lý hình ảnh và lập trình tổng quát. Benchmark này được xây dựng dựa trên ba nguyên tắc cốt lõi: nhiệm vụ lấy thị giác làm trung tâm với hình ảnh thực tế, sử dụng công cụ lai xen kẽ tự nhiên, và dễ xác minh, ổn định theo thời gian.

III. Main Results:​

AGENTVISTA là một benchmark cực kỳ thách thức cho các tác nhân đa phương thức hiện tại. Ngay cả mô hình hoạt động tốt nhất trong đánh giá, GEMINI-3-PRO với các công cụ, cũng chỉ đạt độ chính xác tổng thể 27.27%. Các trường hợp khó có thể yêu cầu hơn 25 lượt gọi công cụ, với GPT-5.2 trung bình 13.85 lượt, cho thấy sự phức tạp đáng kể. Có một khoảng cách đáng kể giữa các mô hình mã nguồn mở và mã nguồn đóng. Hiệu suất khác nhau đáng kể giữa các dòng mô hình và các miền khác nhau, cho thấy các tác nhân hiện tại chưa đạt được năng lực đồng đều. Đầu vào đa hình ảnh thường dẫn đến độ chính xác cao hơn so với đầu vào một hình ảnh, gợi ý rằng nút thắt chính vẫn là việc sử dụng công cụ dài hạn và theo dõi ràng buộc, chứ không phải bản thân sự hiện diện của nhiều hình ảnh. Phân tích lỗi cho thấy nhận diện hình ảnh sai là chế độ lỗi chính trên tất cả các mô hình, tiếp theo là ảo giác kiến thức.

IV. Conclusion & Future Works:​

AGENTVISTA là một benchmark thực tế và cực kỳ thách thức để đánh giá các tác nhân đa phương thức tổng quát, đòi hỏi việc sử dụng công cụ dài hạn, xen kẽ và được đặt nền tảng trên bằng chứng thị giác. Kết quả cho thấy các mô hình hiện tại còn rất nhiều dư địa để cải thiện, đặc biệt trong việc hiểu biết thị giác chi tiết và sử dụng công cụ dài hạn. Nghiên cứu trong tương lai nên tập trung vào việc cải thiện khả năng định vị thị giác (visual grounding) và việc sử dụng công cụ dài hạn để phát triển các tác nhân đa phương thức đáng tin cậy hơn, có thể giải quyết các nhiệm vụ phức tạp, nhiều bước trong thế giới thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các phương pháp tăng cường khả năng định vị thị giác (visual grounding) cho các tác nhân đa phương thức, đặc biệt trong việc nhận diện các chi tiết hình ảnh tinh tế và quan trọng trong môi trường thị giác phức tạp, thực tế, nhằm giảm thiểu lỗi nhận diện hình ảnh sai.
  2. Phát triển các kiến trúc tác nhân đa phương thức mới tập trung vào việc cải thiện việc sử dụng công cụ dài hạn và tương tác xen kẽ giữa các loại công cụ khác nhau (ví dụ: tìm kiếm web, xử lý hình ảnh, lập trình) một cách tự nhiên và hiệu quả, vượt qua giới hạn về số lượt gọi công cụ.
  3. Khám phá các kỹ thuật giảm thiểu ảo giác kiến thức và tăng cường tính nhất quán, độ tin cậy trong suy luận dựa trên kiến thức cho các tác nhân đa phương thức, đặc biệt khi phải kết hợp thông tin từ nhiều nguồn và công cụ, nhằm giải quyết vấn đề ảo giác kiến thức.

2. Patent:​

  1. Hệ thống Hỗ trợ Mua sắm Thông minh trên Điện thoại Di động: Một ứng dụng di động cho phép người dùng chụp ảnh sản phẩm (ví dụ: một loại sàn nhà, một thành phần thực phẩm) để phân tích phong cách, thành phần hoặc thông số kỹ thuật. Sau đó, ứng dụng sẽ sử dụng các công cụ tìm kiếm trực tuyến để tìm kiếm các sản phẩm tương tự, so sánh giá cả, đánh giá, hoặc kiểm tra các hạn chế (ví dụ: dị ứng hạt) và tính toán chi phí dự kiến dựa trên kích thước hoặc số lượng người dùng cung cấp, giúp đưa ra quyết định mua sắm sáng suốt.
  2. Ứng dụng Hướng dẫn Khắc phục Sự cố Thiết Bị bằng Hình ảnh: Một ứng dụng trên điện thoại thông minh cho phép người dùng chụp ảnh một bộ phận hoặc sự cố trên thiết bị (ví dụ: dây điện bị lỏng, linh kiện máy móc bị hỏng). Ứng dụng sẽ phân tích hình ảnh để xác định vấn đề, so sánh với các sơ đồ kỹ thuật hoặc hướng dẫn trực tuyến, và cung cấp các bước hướng dẫn sửa chữa hoặc khắc phục sự cố chi tiết, từng bước, có thể bao gồm cả việc xác định bộ phận bị lỗi hoặc hướng dẫn cách lắp ráp.
  3. Trợ lý Lập kế hoạch Du lịch và Điều hướng Đa Phương Thức: Một ứng dụng di động cho phép người dùng chụp ảnh bản đồ giao thông, lịch trình xe buýt hoặc các biển báo địa điểm. Ứng dụng sẽ giải thích thông tin thị giác này, kết hợp với tìm kiếm web để kiểm tra lịch trình, thời gian đóng cửa của các địa điểm, và tính toán lộ trình tối ưu cũng như tổng chi phí di chuyển, đặc biệt hữu ích khi người dùng cần tuân thủ các ràng buộc về thời gian hoặc địa điểm cụ thể.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.23166
ArXiv Abstracthttps://arxiv.org/abs/2602.23166
PDF Downloadhttps://arxiv.org/pdf/2602.23166.pdf
Github Repositoryhttps://github.com/hkust-nlp/AgentVista

5. RoboPocket: Improve Robot Policies Instantly with Your Phone (30 votes)​

Tác giả: Junjie Fang, Wendi Chen, Han Xue, Fangyuan Zhou, Tian Le, Yi Wang, Yuting Zhang, Jun Lv, Chuan Wen, Cewu Lu

Xuất bản lúc: 2026-03-05

Tag: Imitation Learning, Robotics, Data Collection, Augmented Reality, Policy Learning, Real-time Feedback, Mobile Computing, Online Finetuning

I. Main Problem:​

Vấn đề cốt lõi trong việc mở rộng quy mô học bắt chước (imitation learning) cho robot là sự kém hiệu quả của quá trình thu thập dữ liệu. Các phương pháp hiện có gặp phải những hạn chế sau:

  1. Nút thắt nhận thức trong giao diện cầm tay: Các giao diện cầm tay "không cần robot" (robot-free) hoạt động theo cơ chế vòng hở (open-loop), khiến người điều khiển thu thập dữ liệu một cách mù quáng mà không biết được điểm yếu của chính sách robot, dẫn đến việc bao phủ các phân phối trạng thái quan trọng không hiệu quả và chất lượng dữ liệu thấp.
  2. Phụ thuộc vào robot vật lý: Các phương pháp tương tác như DAgger yêu cầu robot vật lý để thực hiện, điều này tốn kém, chậm chạp, khó mở rộng và tiềm ẩn rủi ro về an toàn ("nghịch lý triển khai").
  3. Quy trình làm việc phân mảnh: Quy trình học robot hiện tại đòi hỏi các vai trò khác biệt (thu thập dữ liệu, huấn luyện, kiểm thử) thường do một chuyên gia cấp tiến sĩ đảm nhiệm, khiến việc thu thập dữ liệu quy mô lớn trở nên không khả thi.

II. Main Idea:​

RoboPocket giới thiệu một hệ thống di động cho phép "Lặp lại Chính sách Tức thì Không cần Robot" (Robot-Free Instant Policy Iteration) chỉ với một điện thoại thông minh thông thường, giải quyết các vấn đề về hiệu quả và khả năng mở rộng trong học robot. Các đổi mới cốt lõi bao gồm:

  1. Suy luận từ xa với Tầm nhìn Dự đoán Thực tế Tăng cường (AR Visual Foresight): Điện thoại thông minh truyền dữ liệu quan sát đến một máy chủ suy luận từ xa và hiển thị quỹ đạo dự đoán của chính sách thông qua Thực tế Tăng cường (AR) trực tiếp trên màn hình của người dùng. "Tầm nhìn dự đoán" này cho phép người dùng không chuyên chủ động xác định các lỗi chính sách tiềm ẩn và các trạng thái ngoài phân phối (Out-Of-Distribution - OOD) trong thời gian thực, mà không cần robot vật lý.
  2. Xác minh dữ liệu chủ động và phản hồi vòng kín: Hệ thống cung cấp phản hồi thời gian thực về chất lượng dữ liệu (ví dụ: độ ổn định của SLAM, tính khả thi động học) và cho phép người dùng xem lại quỹ đạo đã ghi thông qua tính năng phát lại AR. "Hướng dẫn nhận thức" này giúp người dùng tự điều chỉnh và thu thập dữ liệu sửa lỗi chất lượng cao, có mục tiêu.
  3. Điều chỉnh tinh chỉnh trực tuyến không đồng bộ (Asynchronous Online Finetuning): Dữ liệu sửa lỗi đã thu thập được tải lên theo thời gian thực và được sử dụng để liên tục cập nhật chính sách thông qua một quy trình điều chỉnh tinh chỉnh trực tuyến (tương tự RLPD). Các trọng số chính sách được cập nhật sau đó được đồng bộ hóa tức thì trở lại máy chủ suy luận, cho phép hình ảnh hóa AR phản ánh hành vi được cải thiện của chính sách chỉ trong vài phút.
  4. Thiết kế phần cứng và phần mềm: Sử dụng iPhone Pro làm trung tâm điện toán biên (edge-compute hub), một tay kẹp thích ứng in 3D chi phí thấp (đồng hình với tay kẹp công nghiệp), và các bổ sung cảm biến tùy chỉnh (ống kính mắt cá, cảm biến độ rộng tay kẹp). Phần mềm đảm bảo chất lượng dữ liệu thông qua xác minh chủ động và hỗ trợ đồng bộ hóa không gian-thời gian đa thiết bị.

III. Main Results:​

  1. Hiệu quả dữ liệu vượt trội: RoboPocket tuân thủ các quy luật mở rộng dữ liệu (Data Scaling Laws) và tăng gấp đôi hiệu quả dữ liệu (lên đến 2 lần) so với các chiến lược mở rộng ngoại tuyến (offline scaling strategies).
  2. Cải thiện hiệu suất chính sách: Phương pháp "Robot-Free Instant Policy Iteration" của RoboPocket vượt trội so với các phương pháp học bắt chước thuần túy (IL Only) trên bốn nhiệm vụ thao tác phức tạp (sắp xếp khối, rót gia vị, gấp khăn, đóng gói đồ ăn nhẹ). Nó đạt được hiệu suất tương đương với sự can thiệp thủ công của chuyên gia (IL + Manual PI) mà không cần robot vật lý. Độ biến động thấp hơn đáng kể trong nhiệm vụ rót gia vị (0.08 so với 0.30 của Offline PI) và đạt được những cải tiến ổn định trong nhiệm vụ gấp khăn (0.88), nơi can thiệp thủ công lại làm giảm hiệu suất.
  3. Khả năng mở rộng và tổng quát hóa: Trong các thử nghiệm phân tán với 4 người dùng ở 4 môi trường khác nhau, RoboPocket cho phép cải thiện hiệu suất chính sách lên đến 2 lần chỉ với 12 chỉnh sửa tương tác mỗi người (ví dụ: tỷ lệ thành công cảnh 2 tăng từ 0.42 lên 0.82), chứng minh khả năng tổng quát hóa mạnh mẽ trong môi trường thực tế đa dạng.
  4. Độ chính xác và hiệu quả thu thập dữ liệu: Độ chính xác định vị 3D trung bình là 2.8mm và lỗi xoay 0.4° cho thiết lập một thiết bị (vượt trội so với 6.1mm và 3.5° của UMI). Thời gian thu thập dữ liệu nhanh hơn đáng kể (3 phút 51 giây cho việc thu thập dữ liệu so với 8 phút 34 giây của UMI, chưa kể thời gian xử lý SLAM).

IV. Conclusion & Future Works:​

RoboPocket là một hệ thống đột phá biến điện thoại thông minh thông thường thành một nền tảng vòng kín (closed-loop) cho việc lặp lại chính sách robot tức thì mà không cần robot vật lý. Bằng cách tận dụng AR Visual Foresight, phương pháp này trao quyền cho người dùng không chuyên để xác định điểm yếu của chính sách và cung cấp các chỉnh sửa mục tiêu. Các kết quả thực nghiệm xác nhận rằng mô hình này tuân thủ các quy luật mở rộng dữ liệu và tối ưu hóa hiệu quả dữ liệu (lên đến 2 lần) trong cả môi trường tập trung và phân tán so với các phương pháp cơ sở vòng hở (open-loop baselines).

Hạn chế:

  1. Thiết kế tay kẹp song song hàm (parallel-jaw gripper) giới hạn khả năng ứng dụng cho các tác vụ yêu cầu thao tác trong tay với độ khéo léo cao.
  2. Bộ phận cầm tay hiện tại tương đối cồng kềnh, có thể gây mỏi trong các phiên thu thập dữ liệu kéo dài.

Hướng phát triển trong tương lai: Khám phá các giao diện tự nhiên và nhẹ hơn, chẳng hạn như kính AR góc nhìn thứ nhất, để giảm gánh nặng vật lý hơn nữa và cho phép một vòng phản hồi liền mạch, lấy người dùng làm trung tâm (egocentric feedback loop) cho việc học robot tổng quát (generalist robot learning).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển giao diện AR góc nhìn thứ nhất cho thu thập dữ liệu robot: Nghiên cứu về việc sử dụng kính AR nhẹ (ví dụ: AR glasses) thay vì điện thoại cầm tay để cung cấp phản hồi trực quan nhập vai hơn, giảm mỏi cho người dùng và mở rộng khả năng thu thập dữ liệu cho các tác vụ phức tạp hơn yêu cầu sự khéo léo cao.
  2. Tối ưu hóa học tăng cường trực tuyến với dữ liệu không đồng nhất từ người dùng không chuyên: Khám phá các thuật toán học tăng cường (RL) và học bắt chước (IL) có khả năng xử lý hiệu quả dữ liệu thu thập từ nhiều người dùng với các mức độ kỹ năng và môi trường khác nhau, tập trung vào việc tổng hợp và trọng số hóa dữ liệu để tối đa hóa hiệu suất chính sách.
  3. Mở rộng RoboPocket cho thao tác robot đa ngón và xử lý vật thể biến dạng: Thiết kế và thử nghiệm các bộ phận kẹp và giao diện điều khiển mới hỗ trợ các robot có nhiều ngón hơn hoặc khả năng xử lý vật thể biến dạng, vượt qua giới hạn của kẹp song song hàm hiện tại để giải quyết các tác vụ phức tạp hơn trong thế giới thực.

2. Patent:​

  1. Hệ thống hướng dẫn thu thập dữ liệu robot bằng thực tế tăng cường trên điện thoại di động: Một ứng dụng điện thoại thông minh sử dụng camera và cảm biến để hiển thị quỹ đạo dự đoán của robot dưới dạng hình ảnh AR (ví dụ: chuỗi đồng xu) trong môi trường thực. Người dùng được hướng dẫn di chuyển điện thoại theo quỹ đạo này, đồng thời nhận phản hồi thời gian thực về chất lượng dữ liệu và các lỗi tiềm ẩn, giúp thu thập dữ liệu hiệu quả và chính xác cho việc huấn luyện robot.
  2. Thiết bị kẹp cầm tay thông minh có phản hồi xúc giác và thị giác cho huấn luyện robot: Một thiết bị kẹp cầm tay có thể in 3D, được thiết kế để mô phỏng chính xác chuyển động và cảm giác của tay kẹp robot công nghiệp. Thiết bị này tích hợp cảm biến đo độ mở kẹp và cung cấp phản hồi xúc giác (ví dụ: rung) hoặc thị giác (trên màn hình điện thoại) khi người dùng thực hiện các thao tác, giúp người dùng cảm nhận và thu thập dữ liệu về lực nắm và tương tác vật lý một cách chân thực, từ đó cải thiện độ chính xác của chính sách robot.
  3. Nền tảng học tăng cường liên tục và phân tán cho robot dựa trên dữ liệu di động: Một nền tảng đám mây cho phép nhiều người dùng thu thập dữ liệu tương tác từ các thiết bị di động (ví dụ: RoboPocket) trong các môi trường khác nhau. Dữ liệu này được tải lên và sử dụng để cập nhật chính sách robot một cách liên tục và không đồng bộ. Chính sách được cập nhật sau đó được phân phối lại tức thì đến các thiết bị di động, tạo ra một vòng lặp phản hồi nhanh chóng, giúp robot học hỏi và thích nghi hiệu quả với các kịch bản mới trong thời gian thực.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.05504
ArXiv Abstracthttps://arxiv.org/abs/2603.05504
PDF Downloadhttps://arxiv.org/pdf/2603.05504.pdf
Github RepositoryN/A

6. HiFi-Inpaint: Towards High-Fidelity Reference-Based Inpainting for Generating Detail-Preserving Human-Product Images (26 votes)​

Tác giả: Yichen Liu, Donghao Zhou, Jie Wang, Xin Gao, Guisheng Liu, Jiatong Li, Quanwei Zhang, Qiang Lyu, Lanqing Guo, Shilei Wen, Weiqiang Wang, Pheng-Ann Heng

Xuất bản lúc: 2026-03-02

Tag: Diffusion Models, Inpainting, Reference-Based Inpainting, Attention Mechanism, Loss Functions, Dataset Generation, Human-Product Images

I. Main Problem:​

Việc tạo ra hình ảnh sản phẩm-người có độ chân thực cao, đặc biệt là duy trì các chi tiết tinh xảo của sản phẩm (hình dạng, màu sắc, hoa văn, kết cấu), là một thách thức lớn trong quảng cáo, thương mại điện tử và tiếp thị kỹ thuật số. Các phương pháp inpainting dựa trên tham chiếu hiện có gặp phải ba hạn chế chính: thiếu dữ liệu đào tạo quy mô lớn, đa dạng; các mô hình hiện tại khó tập trung vào việc bảo toàn chi tiết sản phẩm; và việc giám sát thô không đủ để đạt được hướng dẫn chính xác.

II. Main Idea:​

Để giải quyết các vấn đề trên, chúng tôi đề xuất HiFi-Inpaint, một framework inpainting dựa trên tham chiếu có độ chân thực cao, được thiết kế riêng để tạo ra hình ảnh sản phẩm-người bảo toàn chi tiết. Các ý tưởng chính bao gồm:

  • Bộ dữ liệu HP-Image-40K: Xây dựng một bộ dữ liệu mới, quy mô lớn (hơn 40.000 mẫu) và đa dạng, được tạo ra thông qua quy trình tự tổng hợp và lọc tự động để đảm bảo chất lượng cao.
  • Shared Enhancement Attention (SEA): Giới thiệu cơ chế chú ý tăng cường chung để tinh chỉnh các đặc trưng sản phẩm chi tiết bằng cách sử dụng các khối DiT thị giác luồng kép chia sẻ tham số, kết hợp các token bản đồ tần số cao.
  • Detail-Aware Loss (DAL): Đề xuất hàm mất mát nhận biết chi tiết để thực thi giám sát chính xác ở cấp độ pixel bằng cách sử dụng các bản đồ tần số cao, bổ sung cho nhược điểm của việc chỉ dựa vào MSE loss trong không gian latent.
  • Thiết kế một framework DiT được hướng dẫn bằng bản đồ tần số cao, sử dụng cơ chế hợp nhất token để tích hợp hiệu quả các điều kiện hình ảnh đa dạng (văn bản, hình ảnh người bị che, hình ảnh sản phẩm tham chiếu).

III. Main Results:​

HiFi-Inpaint đạt hiệu suất tiên tiến, tạo ra hình ảnh sản phẩm-người bảo toàn chi tiết cao:

  • Định lượng: Đạt điểm cao nhất về CLIP-I (0.950) và DINO (0.919) cho sự tương đồng hình ảnh, cũng như SSIM (0.634) và SSIM-HF (0.429) cao nhất cho sự tương đồng cấu trúc và bảo toàn chi tiết. Nó cũng đạt được điểm cạnh tranh về CLIP-T và chất lượng hình ảnh (LAION-Aes 4.40, Q-Align-IQ 4.36).
  • Định tính: Tạo ra hình ảnh chân thực và được kết hợp tự nhiên, với sản phẩm được tích hợp liền mạch vào nền và các chi tiết tinh xảo (văn bản, hoa văn, yếu tố thương hiệu) được bảo toàn trung thực, vượt trội so với các phương pháp hiện có, đặc biệt là trong việc duy trì hình dạng đối tượng và chi tiết văn bản ngay cả với vùng mặt nạ nhỏ.
  • Nghiên cứu người dùng: HiFi-Inpaint được người dùng đánh giá cao hơn đáng kể so với các phương pháp khác về độ phù hợp văn bản, tính nhất quán hình ảnh và chất lượng tạo ra, với tỷ lệ lựa chọn cao nhất trên cả ba tiêu chí.

IV. Conclusion & Future Works:​

Bài viết này giới thiệu HiFi-Inpaint, một framework inpainting dựa trên tham chiếu mới để tạo ra hình ảnh sản phẩm-người chất lượng cao. Framework này sử dụng Shared Enhancement Attention (SEA) để nắm bắt các đặc trưng sản phẩm chi tiết và Detail-Aware Loss (DAL) để cho phép giám sát chính xác ở cấp độ pixel. Bộ dữ liệu HP-Image-40K được trình bày để hỗ trợ quá trình đào tạo. Các thí nghiệm chứng minh rằng phương pháp này đạt hiệu suất vượt trội, bảo toàn hiệu quả các chi tiết sản phẩm phức tạp trong khi tạo ra hình ảnh có tính nhất quán cao về mặt thị giác. Công việc trong tương lai sẽ tập trung vào việc nâng cao sự đa dạng và tính chân thực của hình ảnh được tạo ra, cũng như mở rộng phương pháp này sang việc tạo video.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc mở rộng HiFi-Inpaint để tạo video sản phẩm-người mẫu chất lượng cao, tập trung vào việc duy trì tính nhất quán chi tiết sản phẩm qua các khung hình và xử lý các tương tác động.
  2. Khám phá các kỹ thuật tăng cường tính đa dạng và chân thực của hình ảnh sản phẩm-người được tạo ra, bao gồm việc tổng hợp các tư thế người mẫu, bối cảnh và tương tác phức tạp hơn, cũng như tích hợp các yếu tố môi trường (ánh sáng, đổ bóng) một cách tự nhiên.
  3. Phát triển các phương pháp kiểm soát nâng cao cho quá trình inpainting dựa trên tham chiếu, cho phép người dùng điều chỉnh chi tiết vị trí, kích thước, góc độ và các thuộc tính khác của sản phẩm trong hình ảnh được tạo ra thông qua giao diện trực quan hoặc mô tả ngữ nghĩa.

2. Patent:​

  1. Ứng dụng "Thử đồ ảo" thông minh trên di động: Một tính năng trong ứng dụng mua sắm trên điện thoại cho phép người dùng tải lên ảnh của chính họ và ảnh sản phẩm (ví dụ: quần áo, phụ kiện). Hệ thống sẽ tự động đặt sản phẩm vào vị trí phù hợp trên cơ thể người dùng trong ảnh, hiển thị một cách chân thực các chi tiết của sản phẩm như logo, hoa văn và chất liệu, giúp người dùng hình dung sản phẩm khi được sử dụng mà không cần thử trực tiếp.
  2. Công cụ tạo hình ảnh quảng cáo sản phẩm tự động trên điện thoại: Một ứng dụng di động dành cho các nhà bán lẻ hoặc người dùng cá nhân, cho phép họ tạo ra hình ảnh quảng cáo chuyên nghiệp. Người dùng chỉ cần chụp ảnh sản phẩm và chọn một ảnh người mẫu (hoặc ảnh của chính họ), ứng dụng sẽ tự động tích hợp sản phẩm vào cảnh với người mẫu một cách tự nhiên, bảo toàn mọi chi tiết của sản phẩm. Điều này giúp tạo ra nội dung marketing chất lượng cao một cách nhanh chóng và dễ dàng chỉ bằng điện thoại thông minh.
  3. Tính năng chỉnh sửa ảnh sản phẩm "thông minh" trong ứng dụng chỉnh sửa ảnh: Một tính năng tích hợp vào các ứng dụng chỉnh sửa ảnh trên điện thoại, cho phép người dùng dễ dàng thêm hoặc thay thế một sản phẩm trong ảnh hiện có. Ví dụ, người dùng có thể chụp ảnh mình đang cầm một vật gì đó, sau đó chọn một hình ảnh sản phẩm mới từ thư viện. Ứng dụng sẽ tự động thay thế vật thể cũ bằng sản phẩm mới, đảm bảo các chi tiết như nhãn hiệu, họa tiết được giữ nguyên và tích hợp liền mạch vào bối cảnh ảnh, mang lại kết quả tự nhiên và chuyên nghiệp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.02210
ArXiv Abstracthttps://arxiv.org/abs/2603.02210
PDF Downloadhttps://arxiv.org/pdf/2603.02210.pdf
Github Repositoryhttps://github.com/Correr-Zhou/HiFi-Inpaint

7. Large Multimodal Models as General In-Context Classifiers (19 votes)​

Tác giả: Marco Garosi, Matteo Farina, Alessandro Conti, Massimiliano Mancini, Elisa Ricci

Xuất bản lúc: 2026-02-26

Tag: LMMs, VLMs, In-Context Learning, Classification, Closed-world, Open-world, Pseudo-labeling, Training-free methods, CIRCLE

I. Main Problem:​

Các nghiên cứu trước đây cho rằng các mô hình Vision-Language Models (VLM) dạng CLIP là lựa chọn tối ưu cho tác vụ phân loại do hiệu suất zero-shot vượt trội, trong khi Large Multimodal Models (LMM) phù hợp hơn cho các tác vụ phức tạp. Luận điểm này bỏ qua khả năng học theo ngữ cảnh (In-Context Learning - ICL) quan trọng của LMMs. Cụ thể, hiệu suất zero-shot của LMMs thấp hơn so với CLIP trong phân loại thế giới đóng. Trong phân loại thế giới mở, LMMs gặp khó khăn khi thông tin ngữ cảnh không hoàn hảo và thường dự đoán các thuật ngữ chung chung thay vì các danh mục chính xác.

II. Main Idea:​

Công trình này lập luận rằng khả năng học theo ngữ cảnh (ICL) của LMMs đã bị bỏ qua trong tác vụ phân loại. Các tác giả thực hiện đánh giá các LMMs tiên tiến trên nhiều bộ dữ liệu cho phân loại thế giới đóng và phát hiện rằng, mặc dù hiệu suất zero-shot thấp hơn CLIP, LMMs với một vài ví dụ trong ngữ cảnh có thể sánh ngang hoặc vượt qua các VLM đối chiếu sử dụng bộ điều hợp dựa trên bộ nhớ đệm (cache-based adapters). Để giải quyết vấn đề trong phân loại thế giới mở, nơi tính chất sinh tạo của LMMs phù hợp hơn nhưng gặp khó khăn với ngữ cảnh không hoàn hảo, các tác giả đề xuất CIRCLE (CIRCLE Iteratively Refines Contextual Learning Examples). Đây là một phương pháp đơn giản, không cần huấn luyện, gán nhãn giả cho các ví dụ trong ngữ cảnh và lặp lại tinh chỉnh chúng bằng chính ngữ cảnh có sẵn. CIRCLE sử dụng quy trình lặp lại tuần hoàn (circular iterative procedure) để cập nhật nhãn giả, cho phép mô hình tự điều chỉnh và suy luận mức độ chi tiết trực quan cần thiết cho tác vụ.

III. Main Results:​

Phân loại thế giới đóng:​

  • LMMs với ICL cho thấy sự cải thiện đáng kể về hiệu suất, có thể sánh ngang hoặc vượt qua các VLM đối chiếu sử dụng cache-based adapters khi có đủ ngữ cảnh (ví dụ: Qwen2-VL-7B ngang bằng CLIP-ViT-L/14 với 16 ví dụ trong ngữ cảnh).
  • LMMs thể hiện hiệu quả mẫu (sample efficiency) cao hơn, với mức tăng hiệu suất so với zero-shot lên đến +29.2% (Phi-3.5-Vision) và +17.7% (Qwen2-VL-7B), trong khi CLIP ViT-B/32 đạt đỉnh khoảng +25%.

Phân loại thế giới mở:​

  • Phương pháp ICL ngây thơ (naive ICL) có thể làm giảm hiệu suất của LMMs.
  • CIRCLE cải thiện đáng kể hiệu suất của mô hình cơ sở, vượt trội so với các VLM và các phương pháp ICL khác trên tất cả các chỉ số chính xác (Llama Inclusion - LI) và liên quan ngữ nghĩa (Semantic Similarity - SS, Best Concept Similarity - bCS, Median Concept Similarity - mCS).
  • Ví dụ, trên các tác vụ 'Prototypical', CIRCLE cải thiện điểm LI của Qwen2-VL lên 91.5 (so với 81.1 của Pseudo ICL) và cải thiện Phi-3.5-V zero-shot lên +31.4%.
  • CIRCLE cũng chứng minh sự mạnh mẽ trong môi trường học theo ngữ cảnh trực tuyến (streaming ICL) khó khăn.

IV. Conclusion & Future Works:​

Bài viết này chứng minh rằng LMMs thể hiện hiệu quả dữ liệu mạnh mẽ trong phân loại hình ảnh thế giới đóng thông qua ICL, nhưng dự đoán của chúng dễ bị ảnh hưởng bởi nhiễu ngữ cảnh. Trong môi trường thế giới mở, ICL tiêu chuẩn thất bại. Để giải quyết vấn đề này, CIRCLE (Iteratively Refines Contextual Learning Examples) được giới thiệu như một cơ chế tự tinh chỉnh không cần huấn luyện, mô hình hóa các phụ thuộc giữa các ví dụ không có nhãn trong ngữ cảnh, cho phép LMM xây dựng một cấu trúc ngữ nghĩa nhất quán, phù hợp với tác vụ. Các thí nghiệm cho thấy sự tinh chỉnh này là cần thiết: CIRCLE giúp ổn định đầu ra của LMM và đưa ra các dự đoán có độ chính xác cao, vượt trội hơn tất cả các phương pháp cơ sở trong cài đặt thế giới mở, chứng tỏ rằng tinh chỉnh có mục tiêu là cần thiết để khai thác khả năng phân biệt của LMMs.

Hạn chế:​

  • Việc thiếu giám sát trong CIRCLE có thể khiến quá trình tinh chỉnh hội tụ về các diễn giải nhãn nhất quán về mặt ngữ nghĩa nhưng không phù hợp với tác vụ.
  • Cập nhật bộ nhớ động của biến thể streaming có thể gây ra chi phí tính toán đáng kể khi xử lý các luồng dữ liệu lớn hoặc liên tục.

Hướng nghiên cứu tương lai:​

  • Hướng 1: Kết hợp huấn luyện nhẹ (lightweight training) hoặc tinh chỉnh tham số hiệu quả (parameter-efficient tuning) để ổn định quá trình tinh chỉnh và có khả năng khôi phục cấu trúc tác vụ với dữ liệu không nhãn mơ hồ.
  • Hướng 2: Cải thiện hiệu quả của cơ chế streaming (ví dụ: thông qua nén bộ nhớ, cập nhật chọn lọc, chiến lược truy xuất có thể mở rộng) để triển khai rộng rãi hơn trong các kịch bản tài nguyên hạn chế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các phương pháp tinh chỉnh tham số hiệu quả (Parameter-efficient tuning) cho LMMs trong học theo ngữ cảnh để cải thiện độ ổn định và căn chỉnh ngữ nghĩa khi dữ liệu không có nhãn, đặc biệt tập trung vào các tình huống có nhãn mơ hồ.
  2. Phát triển các chiến lược nén bộ nhớ và cập nhật chọn lọc tiên tiến cho hệ thống học theo ngữ cảnh trực tuyến (Streaming ICL) của LMMs nhằm giảm thiểu chi phí tính toán và tối ưu hóa cho việc triển khai trên các thiết bị tài nguyên hạn chế.
  3. Khám phá các kỹ thuật tự giám sát (self-supervision) hoặc tự sinh nhãn (self-labeling) mới cho phương pháp CIRCLE nhằm đảm bảo tính nhất quán ngữ nghĩa và độ chính xác của nhãn giả trong các tác vụ phân loại thế giới mở phức tạp.

2. Patent:​

  1. Hệ thống phân loại hình ảnh thông minh trên điện thoại di động: Một ứng dụng hoặc tính năng tích hợp trên điện thoại cho phép người dùng chụp ảnh bất kỳ vật thể nào. Hệ thống sử dụng một mô hình AI lớn để tự động nhận diện và phân loại vật thể đó dựa trên các ví dụ học theo ngữ cảnh được thu thập từ chính những gì người dùng đã chụp hoặc quan tâm trước đây. Điều này cho phép phân loại các vật thể độc đáo hoặc chuyên biệt mà các ứng dụng thông thường không thể nhận ra, giúp người dùng dễ dàng sắp xếp ảnh hoặc tìm kiếm thông tin liên quan.
  2. Trợ lý mua sắm di động với khả năng nhận diện sản phẩm linh hoạt: Một tính năng trong ứng dụng mua sắm trên điện thoại cho phép người dùng chụp ảnh một sản phẩm (ví dụ: quần áo, đồ trang sức, đồ gia dụng) và nhận được thông tin chi tiết, gợi ý sản phẩm tương tự hoặc nơi mua hàng. Hệ thống sẽ sử dụng một mô hình AI lớn để hiểu ngữ cảnh của ảnh và tinh chỉnh khả năng nhận diện dựa trên các sản phẩm đã xem hoặc quan tâm trước đó của người dùng, ngay cả khi không có nhãn rõ ràng ban đầu, mang lại trải nghiệm mua sắm cá nhân hóa và hiệu quả hơn.
  3. Công cụ quản lý thư viện ảnh tự động và thông minh: Một chức năng tích hợp trong ứng dụng thư viện ảnh của điện thoại giúp tự động sắp xếp và gắn thẻ ảnh/video thành các danh mục chi tiết (ví dụ: "cây cảnh trong nhà", "món ăn tự nấu", "phong cảnh hoàng hôn"). Hệ thống AI sẽ sử dụng các ví dụ trong ngữ cảnh (ảnh và mô tả ngắn gọn đã có) để tinh chỉnh cách phân loại, giúp người dùng dễ dàng tìm kiếm và quản lý bộ sưu tập ảnh cá nhân mà không cần gắn thẻ thủ công, tiết kiệm thời gian và công sức.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.23229
ArXiv Abstracthttps://arxiv.org/abs/2602.23229
PDF Downloadhttps://arxiv.org/pdf/2602.23229.pdf
Github Repositoryhttps://github.com/marco-garosi/CIRCLE

8. Interactive Benchmarks (18 votes)​

Tác giả: Baoqing Yue, Zihan Zhu, Yifan Zhang, Jichen Feng, Hufei Yang, Mengdi Wang

Xuất bản lúc: 2026-03-05

Tag: LLMs, Evaluation, Benchmarks, Interactive Learning, Reinforcement Learning, Game Theory, Logical Reasoning, Mathematical Reasoning, Strategic Reasoning

I. Main Problem:​

Các benchmark tiêu chuẩn ngày càng trở nên không đáng tin cậy do bão hòa, tính chủ quan và khả năng khái quát hóa kém. Các giao thức đánh giá hiện có thường bỏ qua một thành phần cốt lõi của trí tuệ: khả năng chủ động thu thập thông tin, khi nào cần thu thập và làm thế nào để làm điều đó một cách hiệu quả. Các mô hình hiện tại thường chỉ đóng vai trò là người tiếp nhận thông tin thụ động.

II. Main Idea:​

Bài báo đề xuất "Interactive Benchmarks", một mô hình đánh giá thống nhất nhằm đánh giá khả năng suy luận của mô hình trong một quy trình tương tác dưới các ràng buộc về ngân sách. Khung này được triển khai trong hai thiết lập:

  • Interactive Proofs: Mô hình tương tác với một giám khảo để suy luận các sự thật khách quan trong logic và toán học (ví dụ: Situation Puzzle, các bài toán Math).
  • Interactive Games: Mô hình suy luận chiến lược để tối đa hóa tiện ích dài hạn trong môi trường trò chơi (ví dụ: Texas Hold'em Poker, Trust Game). Ý tưởng chính là đánh giá khả năng của mô hình trong việc chủ động thu thập thông tin, cập nhật niềm tin và đưa ra quyết định tốt hơn trong điều kiện không chắc chắn.

III. Main Results:​

  • Các benchmark tương tác cung cấp một đánh giá mạnh mẽ và đáng tin cậy về trí tuệ của mô hình, cho thấy vẫn còn nhiều không gian để cải thiện trong các kịch bản tương tác.
  • Interactive Proofs (Logic - Situation Puzzle): Tất cả các mô hình đều không thể trả lời đúng nếu không có tương tác (độ chính xác 0%). Gemini-3-flash đạt độ chính xác cao nhất (30.4%), tiếp theo là GPT-5-mini (17.4%). Kimi-k2-thinking hiệu quả nhất về số lượt tương tác trung bình (12.3 lượt).
  • Interactive Proofs (Math): Đánh giá tương tác vượt trội hơn đáng kể so với phương pháp pass@k (độ chính xác cao hơn khoảng 20%-50% dưới cùng ngân sách token), cho thấy pass@k đánh giá thấp khả năng thực tế của mô hình. Grok-4.1-fast đạt độ chính xác cao nhất (76.9%), theo sau là GPT-5-mini (73.1%).
  • Interactive Games (Texas Hold'em): Gemini-3-flash hoạt động tốt nhất về tổng thể, đạt mức thắng trung bình cao nhất (31.8 ± 42.4) và duy trì hiệu suất ổn định nhất. Grok-4.1-fast và GPT-5-mini cũng cạnh tranh nhưng có phương sai cao hơn.

IV. Conclusion & Future Works:​

Các benchmark tương tác cung cấp một đánh giá mạnh mẽ và đáng tin cậy về trí tuệ của mô hình, đồng thời tiết lộ rằng vẫn còn nhiều cơ hội để cải thiện đáng kể trong các kịch bản tương tác. Điều này ngụ ý rằng các hướng nghiên cứu trong tương lai nên tập trung vào việc nâng cao khả năng chủ động thu thập thông tin và suy luận chiến lược của mô hình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các thiết lập chứng minh tương tác phức tạp hơn, ví dụ như suy luận pháp lý hoặc khám phá khoa học, nơi các mô hình cần tương tác với nhiều nguồn dữ liệu hoặc hệ thống chuyên gia để xác thực các giả thuyết.
  2. Phát triển các chiến lược benchmark tương tác thích ứng, trong đó hành vi của giám khảo hoặc độ phức tạp của môi trường tự động điều chỉnh dựa trên hiệu suất của mô hình, nhằm đẩy các mô hình đến giới hạn khả năng của chúng.
  3. Điều tra tác động của các ràng buộc ngân sách khác nhau (ví dụ: thời gian, số lượng token, độ phức tạp truy vấn) đối với hiệu suất của mô hình trong các tác vụ tương tác và đề xuất các phương pháp phân bổ ngân sách tối ưu.

2. Patent:​

  1. Một trợ lý học tập tương tác trên điện thoại di động giúp học sinh giải quyết các bài toán logic hoặc toán học phức tạp. Ứng dụng sẽ đóng vai trò là "giám khảo", cung cấp phản hồi nhị phân (có/không/không liên quan) cho các câu hỏi của người dùng về các bước trung gian hoặc giả thuyết, giúp họ chủ động khám phá lời giải dưới một ngân sách câu hỏi nhất định, giống như cách mô hình tương tác với giám khảo trong "Interactive Proofs".
  2. Một ứng dụng huấn luyện chiến lược chơi bài poker trên điện thoại thông minh, nơi người dùng (đóng vai trò là "người chơi") tương tác với các AI đối thủ được thiết kế để mô phỏng các phong cách chơi khác nhau (hung hăng, thận trọng). Ứng dụng sẽ phân tích các quyết định của người dùng (gấp, tố, theo) và cung cấp phản hồi dựa trên xác suất, tỷ lệ cược và tâm lý đối thủ, giúp cải thiện khả năng ra quyết định chiến lược trong các tình huống không chắc chắn, tương tự "Interactive Games".
  3. Một nền tảng học kỹ năng đàm phán và xây dựng lòng tin trên di động. Ứng dụng này sẽ cho phép người dùng tham gia vào các trò chơi "Trust Game" lặp đi lặp lại với các AI có chiến lược khác nhau. AI sẽ điều chỉnh hành vi của mình dựa trên lịch sử tương tác của người dùng (hợp tác/phản bội), và người dùng sẽ nhận được điểm số và phân tích về khả năng xây dựng lòng tin, thích ứng chiến lược của họ theo thời gian, giúp họ cải thiện kỹ năng xã hội và đàm phán trong các tình huống thực tế.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.04737
ArXiv Abstracthttps://arxiv.org/abs/2603.04737
PDF Downloadhttps://arxiv.org/pdf/2603.04737.pdf
Github Repositoryhttps://github.com/interactivebench/interactivebench

9. DreamWorld: Unified World Modeling in Video Generation (15 votes)​

Tác giả: Boming Tan, Xiangdong Zhang, Ning Liao, Yuqing Zhang, Shaofeng Zhang, Xue Yang, Qi Fan, Yanyong Zhang

Xuất bản lúc: 2026-02-28

Tag: Video Generation, Diffusion Models, World Models, Multi-modal Learning, Temporal Consistency, Spatial Consistency, Semantic Consistency, Deep Learning

I. Main Problem:​

Các mô hình tạo video hiện có chỉ đạt được tính hợp lý ở cấp độ bề mặt, thiếu sự hiểu biết mạch lạc và thống nhất về thế giới. Chúng thường chỉ tích hợp một dạng kiến thức liên quan đến thế giới hoặc dựa vào các chiến lược căn chỉnh cứng nhắc, điều này không đủ để xây dựng một mô hình thế giới toàn diện đòi hỏi phải mô hình hóa đồng thời nhiều chiều dữ liệu không đồng nhất (ví dụ: lẽ thường vật lý, tính nhất quán 3D và thời gian). Việc mở rộng các phương pháp hiện có để căn chỉnh đồng thời nhiều nguồn kiến thức (ngữ nghĩa, không gian, động lực học) dẫn đến khó khăn trong tối ưu hóa đa mục tiêu, gây ra sự không ổn định về hình ảnh và nhấp nháy theo thời gian.

II. Main Idea:​

Giới thiệu DreamWorld, một framework thống nhất tích hợp kiến thức thế giới bổ trợ vào các trình tạo video thông qua "Joint World Modeling Paradigm". Phương pháp này đồng thời dự đoán các pixel video và các đặc trưng từ các mô hình nền tảng để nắm bắt động lực học thời gian, hình học không gian và tính nhất quán ngữ nghĩa. Để giải quyết vấn đề không ổn định khi tối ưu hóa các mục tiêu không đồng nhất, DreamWorld đề xuất hai cơ chế chính: "Consistent Constraint Annealing (CCA)" để điều chỉnh dần các ràng buộc cấp độ thế giới trong quá trình huấn luyện, và "Multi-Source Inner-Guidance" để áp dụng các tiên nghiệm thế giới đã học trong quá trình suy luận.

III. Main Results:​

DreamWorld cải thiện đáng kể tính nhất quán của thế giới trong các video được tạo ra:

  • Đạt điểm Tổng thể (Total Score) 80.97 trên VBench, vượt trội so với Wan2.1-T2V-1.3B (FT) (78.71) và VideoJAM (78.76), đặc biệt cải thiện về động lực học thời gian, hiểu biết ngữ nghĩa và quan hệ không gian.
  • Dẫn đầu trên VBench 2.0 với điểm tổng hợp 52.97, vượt qua các baseline Wan2.1 quy mô lớn và VideoJAM.
  • Đạt trạng thái nghệ thuật (state-of-the-art) trên VideoPhy với Semantic Adherence (SA) 52.9% và Physical Commonsense (PC) 26.2%, chứng minh khả năng tuân thủ các định luật vật lý.
  • Đạt điểm Tổng thể (Total Score) 51.48 trên WorldScore, cân bằng hiệu quả giữa độ trung thực tĩnh và sự tiến hóa động.
  • Các nghiên cứu loại bỏ (ablation studies) xác nhận hiệu quả của việc tích hợp kiến thức thế giới đa nguồn, CCA trong việc loại bỏ các hiện vật hình ảnh và nhấp nháy, và Multi-Source Inner-Guidance trong việc cải thiện hiệu suất tổng thể.

IV. Conclusion & Future Works:​

DreamWorld là một framework thống nhất giúp thu hẹp khoảng cách giữa tổng hợp video chất lượng cao và tính nhất quán nội tại của thế giới. Nó giải quyết các hạn chế của việc chắt lọc một mô hình chuyên gia duy nhất và căn chỉnh đa nguồn một cách ngây thơ. "Joint World Modeling Paradigm", "Consistent Constraint Annealing (CCA)" và "Multi-Source Inner-Guidance" là các yếu tố then chốt. DreamWorld thiết lập một tiêu chuẩn mới trên các benchmark tiêu chuẩn, khẳng định tiềm năng của nó như một nền tảng vững chắc cho các trình mô phỏng thế giới đa năng thế hệ tiếp theo. Hạn chế và công việc trong tương lai: Hiện tại, phương pháp này bị hạn chế bởi tài nguyên tính toán và sự đa dạng của tập dữ liệu huấn luyện. Nghiên cứu trong tương lai có thể tập trung vào việc tối ưu hóa hiệu quả của việc tích hợp đa nguồn này và kết hợp việc quản lý dữ liệu đa dạng hơn để nâng cao tính phổ quát của thế giới được mô phỏng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa Hiệu quả Tích hợp Kiến thức Thế giới Đa Nguồn trong Mô hình Phát sinh Video: Nghiên cứu các phương pháp nén và tối ưu hóa kiến trúc để tích hợp nhiều nguồn kiến thức thế giới (ví dụ: dòng quang học, ngữ nghĩa DINOv2, hình học VGGT) một cách hiệu quả hơn, giảm gánh nặng tính toán trong khi vẫn duy trì hoặc cải thiện chất lượng tạo video. Điều này có thể bao gồm việc khám phá các kỹ thuật chưng cất kiến thức hoặc các kiến trúc lai.
  2. Tăng cường Tính Phổ Quát của Mô hình Thế giới thông qua Quản lý Dữ liệu Đa Dạng và Tổng hợp: Tập trung vào việc xây dựng các tập dữ liệu huấn luyện đa dạng và phong phú hơn, không chỉ về số lượng mà còn về các kịch bản, đối tượng và tương tác vật lý. Nghiên cứu cách tổng hợp dữ liệu tổng hợp (synthetic data) chất lượng cao để bổ sung cho dữ liệu thực, đặc biệt là trong các tình huống hiếm gặp hoặc phức tạp, nhằm cải thiện khả năng khái quát hóa và tính phổ quát của mô hình thế giới.
  3. Mô hình Thế giới Tương tác và Khả năng Điều khiển Tinh tế trong Tạo Video: Phát triển các cơ chế mới cho phép người dùng hoặc các tác nhân AI tương tác và kiểm soát các yếu tố trong thế giới được tạo ra một cách tinh tế hơn. Điều này có thể bao gồm việc cho phép chỉnh sửa động lực học vật lý, thay đổi thuộc tính đối tượng hoặc điều khiển quỹ đạo chuyển động với độ chính xác cao, mở rộng ứng dụng của mô hình thế giới từ việc chỉ tạo video sang mô phỏng tương tác.

2. Patent:​

  1. Hệ thống tạo video thông minh cho điện thoại di động với khả năng hiểu ngữ cảnh vật lý: Một ứng dụng di động cho phép người dùng tạo video từ văn bản hoặc hình ảnh, trong đó các đối tượng và hành động trong video tự động tuân thủ các quy tắc vật lý cơ bản (ví dụ: nước chảy xuống, vật thể rơi theo trọng lực, không xuyên qua nhau). Hệ thống sẽ sử dụng một phiên bản nhẹ của "Joint World Modeling Paradigm" và các kiến thức vật lý được nén để tạo ra các video chân thực hơn, tránh các lỗi hình ảnh vô lý thường thấy ở các công cụ tạo video hiện tại trên điện thoại.
  2. Công cụ chỉnh sửa video di động với "Consistent Constraint Annealing" để tự động sửa lỗi và làm mượt chuyển động: Một tính năng trong ứng dụng chỉnh sửa video trên điện thoại cho phép người dùng tự động sửa các lỗi hình ảnh như nhấp nháy, biến dạng không tự nhiên hoặc sự không nhất quán về ánh sáng/màu sắc giữa các khung hình. Sử dụng một thuật toán tương tự CCA, hệ thống sẽ điều chỉnh các ràng buộc để ưu tiên chất lượng hình ảnh và độ mượt mà của chuyển động, giúp người dùng tạo ra các video chuyên nghiệp hơn chỉ với vài thao tác đơn giản trên điện thoại.
  3. Trợ lý tạo nội dung video thực tế ảo/tăng cường (AR/VR) trên điện thoại có hướng dẫn đa nguồn: Một ứng dụng di động cho phép người dùng tạo các cảnh quay hoặc môi trường AR/VR động một cách dễ dàng. Ứng dụng này sẽ sử dụng cơ chế "Multi-Source Inner-Guidance" để đảm bảo các yếu tố được tạo ra (ví dụ: vật thể di chuyển, hiệu ứng ánh sáng, tương tác môi trường) tuân thủ các quy tắc thực tế về động lực học, không gian và ngữ nghĩa. Người dùng có thể chỉ định các yếu tố bằng văn bản hoặc cử chỉ, và hệ thống sẽ tự động điều chỉnh để tạo ra trải nghiệm AR/VR sống động và chân thực, ngay cả khi di chuyển điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.00466
ArXiv Abstracthttps://arxiv.org/abs/2603.00466
PDF Downloadhttps://arxiv.org/pdf/2603.00466.pdf
Github Repositoryhttps://github.com/ABU121111/DreamWorld

10. SageBwd: A Trainable Low-bit Attention (14 votes)​

Tác giả: Jintao Zhang, Marco Chen, Haoxu Wang, Kai Jiang, Ion Stoica, Joseph E. Gonzalez, Jianfei Chen, Jun Zhu

Xuất bản lúc: 2026-03-02

Tag: low-bit attention, quantization, INT8, trainable attention, pre-training, gradient noise, QK-norm, FlashAttention, LLMs

I. Main Problem:​

Thách thức chính là làm cho cơ chế chú ý low-bit có thể áp dụng hiệu quả cho quá trình huấn luyện mô hình, đặc biệt là tiền huấn luyện quy mô lớn. Mặc dù chú ý low-bit (ví dụ: INT8) hiệu quả trong việc tăng tốc suy luận, nhưng quá trình backward-pass trong huấn luyện lại nhạy cảm hơn đáng kể với lỗi lượng tử hóa. Điều này dẫn đến khoảng cách hiệu suất so với chú ý độ chính xác đầy đủ (FPA) và tiềm ẩn sự mất ổn định. Cụ thể, SageBwd, một cơ chế chú ý INT8 có thể huấn luyện trước đây, đã cho thấy một khoảng cách hiệu suất dai dẳng trong quá trình tiền huấn luyện.

II. Main Idea:​

Bài báo này điều tra nguyên nhân của khoảng cách hiệu suất trong tiền huấn luyện của SageBwd và xác định các điều kiện để nó có thể đạt được hiệu suất ngang bằng với chú ý độ chính xác đầy đủ (FPA). Các ý tưởng cốt lõi bao gồm:

  1. Xác định nguồn lỗi lượng tử hóa chính: Gradient softmax dS của backward-pass được phát hiện là tensor nhạy cảm nhất do độ lớn của nó rất nhỏ một cách có hệ thống, khiến nó rất dễ bị nhiễu lượng tử hóa INT8.
  2. Tận dụng QK-norm: QK-norm được chứng minh là rất quan trọng để ổn định quá trình huấn luyện ở số lượng tokens lớn mỗi bước bằng cách kiểm soát các giá trị ngoại lệ của query-key và nén dải động, từ đó cải thiện độ chính xác lượng tử hóa.
  3. Hiểu rõ vai trò của Tokens-Per-Step (TPS): Giảm TPS (tức là sử dụng kích thước batch nhỏ hơn) làm tăng nhiễu gradient, điều này có thể làm giảm tác động của các lỗi lượng tử hóa có hệ thống trong dS, cho phép SageBwd đạt hiệu suất FPA.
  4. Nghiên cứu về các kỹ thuật làm mịn (smoothing): K-smoothing được xác nhận là cần thiết cho sự ổn định, trong khi Q-smoothing mang lại lợi ích hạn chế trong quá trình tiền huấn luyện do khả năng thêm nhiễu lượng tử hóa từ các hiệu chỉnh gradient. Bằng cách hiểu rõ các yếu tố này, các tác giả chứng minh cách SageBwd có thể đạt được hiệu suất ngang FPA trong quá trình tiền huấn luyện.

III. Main Results:​

  • SageBwd đạt hiệu suất tương đương với chú ý độ chính xác đầy đủ (FPA) trong quá trình tiền huấn luyện khi sử dụng 260K tokens mỗi bước (TPS).
  • Ở 2.1M TPS, QK-norm là cần thiết để tránh sự mất ổn định và phân kỳ của quá trình huấn luyện.
  • Nguồn chính của lỗi lượng tử hóa trong quá trình backward-pass là gradient softmax dS do độ lớn nhỏ của nó, với lỗi lan truyền sang dQ và dK.
  • K-smoothing là cần thiết cho sự ổn định của quá trình tiền huấn luyện, trong khi Q-smoothing mang lại lợi ích hạn chế.
  • SageBwd cho thấy tốc độ xử lý kernel (throughput) nhanh hơn FlashAttention2 tới 1.67 lần trên RTX4090.

IV. Conclusion & Future Works:​

Kết luận: Bài báo này mở rộng SageBwd, một cơ chế chú ý low-bit có thể huấn luyện được. Nghiên cứu chỉ ra rằng để SageBwd đạt hiệu suất ngang FPA trong tiền huấn luyện, cần hai yếu tố chính: (i) kiểm soát các giá trị ngoại lệ trong Q và K thông qua QK-norm để ổn định ở số lượng token lớn mỗi bước, và (ii) nhận diện rằng gradient softmax dS có độ lớn nhỏ là nút thắt cổ chai về độ chính xác chính, ảnh hưởng đến dQ và dK. Thực nghiệm cho thấy số lượng token mỗi bước nhỏ hơn giúp quá trình huấn luyện chịu đựng tốt hơn với nhiễu này, trong khi số lượng token lớn hơn sẽ bộc lộ nhiễu và dẫn đến một khoảng cách hiệu suất ổn định nhưng kém tối ưu.

Công việc tương lai:

  • Phát triển các phương pháp giảm thiểu lỗi lượng tử hóa trong backward-pass, đặc biệt dọc theo đường dS, mà không phụ thuộc vào việc giảm kích thước batch hoặc tăng nhiễu gradient.
  • Tiếp tục tối ưu hóa cấp độ kernel để cải thiện tốc độ hơn nữa cho SageBwd.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các kỹ thuật giảm thiểu lỗi lượng tử hóa trong backward-pass cho các tensor có độ lớn nhỏ (như dS), tập trung vào việc duy trì độ ổn định huấn luyện mà không cần giảm kích thước batch.
  2. Khám phá tác động của độ dài chuỗi (sequence length) đến lỗi lượng tử hóa và nhiễu gradient trong quá trình huấn luyện low-bit attention, cũng như cách nó tương tác với tokens-per-step.
  3. Phát triển các phương pháp làm mịn (smoothing) hoặc chuẩn hóa (normalization) tiên tiến hơn cho Q và K, có thể tự động điều chỉnh theo các đặc điểm của dữ liệu và giai đoạn huấn luyện, nhằm cải thiện độ chính xác lượng tử hóa mà không cần sửa đổi phức tạp trong backward-pass.

2. Patent:​

  1. Hệ thống điều chỉnh hiệu suất huấn luyện AI trên điện thoại di động: Một ứng dụng di động cho phép người dùng điều chỉnh cài đặt huấn luyện mô hình AI (ví dụ: số lượng thông tin được xử lý mỗi lần cập nhật) để cân bằng giữa tốc độ và độ chính xác. Hệ thống sẽ tự động phát hiện khi mô hình gặp lỗi trong quá trình huấn luyện cục bộ (ví dụ: huấn luyện cá nhân hóa trên thiết bị) và gợi ý các điều chỉnh để duy trì hiệu suất tối ưu mà không làm giảm đáng kể chất lượng mô hình.
  2. Công nghệ ổn định huấn luyện AI trên thiết bị với chuẩn hóa QK động: Một công nghệ tích hợp vào chip AI di động hoặc framework học máy trên thiết bị, tự động áp dụng và điều chỉnh phương pháp chuẩn hóa Query-Key (QK-norm) trong quá trình huấn luyện mô hình. Công nghệ này sẽ theo dõi động thái của các trọng số Query và Key để ngăn chặn các giá trị quá lớn và đảm bảo tính ổn định của quá trình huấn luyện với dữ liệu ít bit, đặc biệt khi người dùng chạy các tác vụ huấn luyện nặng trên điện thoại.
  3. Tối ưu hóa bộ nhớ và tính toán cho AI trên điện thoại bằng cách giảm lỗi gradient: Một phương pháp phần mềm hoặc phần cứng trên điện thoại di động để giảm thiểu tác động của lỗi lượng tử hóa trong việc tính toán gradient, đặc biệt là gradient của hàm softmax. Điều này giúp các mô hình AI có thể được huấn luyện hiệu quả hơn với dữ liệu ít bit, giảm yêu cầu về bộ nhớ và năng lượng, từ đó kéo dài thời lượng pin và cho phép các tính năng AI phức tạp hơn chạy trực tiếp trên thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.02170
ArXiv Abstracthttps://arxiv.org/abs/2603.02170
PDF Downloadhttps://arxiv.org/pdf/2603.02170.pdf
Github RepositoryN/A

11. Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling (13 votes)​

Tác giả: Yong Liu, Xingjian Su, Shiyu Wang, Haoran Zhang, Haixuan Liu, Yuxuan Wang, Zhou Ye, Yang Xiang, Jianmin Wang, Mingsheng Long

Xuất bản lúc: 2026-03-05

Tag: Time Series, Foundation Model, Mixture-of-Experts, Transformer, Forecasting, Deep Learning, Pre-training, Data Augmentation, Scaling

I. Main Problem:​

Vấn đề chính là nút thắt cổ chai về khả năng mở rộng (scalability bottleneck) trong các mô hình nền tảng chuỗi thời gian (time series foundation models) được tiền huấn luyện hiện có. Các mô hình này gặp khó khăn trong việc mở rộng hiệu quả về quy mô mô hình, kích thước tập dữ liệu và hiệu quả huấn luyện, dẫn đến hiệu suất dự báo hạn chế, đặc biệt đối với các dự đoán dài hạn. Các phương pháp hiện tại (dự báo song song hoặc tự hồi quy) hoặc thiếu các phép tính nối tiếp cần thiết hoặc phải chịu chi phí tính toán đáng kể và sự tích lũy lỗi.

II. Main Idea:​

Timer-S1 giới thiệu một phương pháp "Serial Scaling" (Mở rộng theo chuỗi) được áp dụng trên ba khía cạnh: kiến trúc mô hình, tập dữ liệu và quy trình huấn luyện.

  1. Kiến trúc mô hình: Sử dụng kiến trúc Mixture-of-Experts (MoE) với 8.3 tỷ tham số và giới thiệu các khối TimeSTP (Serial-Token Prediction) hiệu quả. TimeSTP thực hiện các phép tính nối tiếp để dự đoán từng bước một cách tuần tự, tránh được chi phí tính toán lớn và sự tích lũy lỗi của các mô hình tự hồi quy truyền thống, đồng thời cho phép dự đoán đa bước trong một lần chạy duy nhất mà không cần cơ chế "lăn" (rolling-style inference). Quan trọng là, các khối TimeSTP được giữ lại sau huấn luyện để giảm khoảng cách giữa huấn luyện và suy luận.
  2. Tập dữ liệu: Xây dựng TimeBench, một tập dữ liệu khổng lồ với hơn một nghìn tỷ điểm dữ liệu thời gian, được tuyển chọn kỹ lưỡng từ nhiều miền thực tế và dữ liệu tổng hợp. Áp dụng kỹ thuật tăng cường dữ liệu (data augmentation) như lấy mẫu lại (resampling) và đảo giá trị (value-flipping) để giảm thiểu sai lệch dự đoán.
  3. Quy trình huấn luyện: Áp dụng một quy trình huấn luyện đa giai đoạn bao gồm tiền huấn luyện (pre-training) với mục tiêu Serial-Token Prediction, tiếp tục tiền huấn luyện (continued pre-training - CPT) để cải thiện hiệu suất dự đoán ngắn hạn bằng mục tiêu STP có trọng số suy giảm theo thời gian dự báo, và mở rộng ngữ cảnh dài (long-context extension - LCE) lên 11.5K bằng RoPE để xử lý các chuỗi dài hơn.

III. Main Results:​

Timer-S1 đạt hiệu suất dự báo tiên tiến (state-of-the-art) trên bảng xếp hạng GIFT-Eval, đạt điểm MASE và CRPS tốt nhất đối với một mô hình tiền huấn luyện (CRPS: 0.485, MASE: 0.693). Phân tích cho thấy mô hình này mang lại lợi ích đáng kể cho các dự báo tầm trung và dài hạn. Các thử nghiệm bổ sung xác nhận quy luật mở rộng (scaling law), hiệu quả của dự đoán token nối tiếp (STP) so với các mục tiêu huấn luyện tiêu chuẩn, và lợi ích của các thành phần chính như thiết kế mô-đun TimeSTP, tăng cường dữ liệu và tiền huấn luyện.

IV. Conclusion & Future Works:​

Timer-S1 là một mô hình nền tảng chuỗi thời gian mạnh mẽ, giải quyết vấn đề khả năng mở rộng thông qua "Serial Scaling" trên kiến trúc, dữ liệu và quy trình huấn luyện. Mô hình này giới thiệu khái niệm dự báo nối tiếp hiệu quả, tận dụng các khối TimeSTP và một tập dữ liệu TimeBench khổng lồ, cùng với chiến lược hậu huấn luyện đa giai đoạn. Các hướng nghiên cứu trong tương lai bao gồm việc phát hành Timer-S1 để tạo điều kiện cho các nghiên cứu tiếp theo, khám phá cách tiếp cận chung để mở rộng các mô hình nền tảng chuỗi thời gian hiện có, tối ưu hóa hơn nữa khả năng xử lý ngữ cảnh dài, tích hợp các yếu tố ngoại sinh, và cải thiện khả năng thích ứng với các miền dữ liệu mới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về tích hợp yếu tố ngoại sinh và khả năng thích ứng miền: Mở rộng Timer-S1 để tích hợp hiệu quả các yếu tố ngoại sinh (exogenous factors) và khám phá các phương pháp tinh chỉnh hoặc thích ứng mô hình đã tiền huấn luyện cho các miền dữ liệu chuỗi thời gian cụ thể (ví dụ: tài chính, y tế) mà không làm mất đi khả năng khái quát hóa.
  2. Tối ưu hóa kiến trúc Serial-Token Prediction cho hiệu quả tính toán: Nghiên cứu các biến thể của khối TimeSTP và cơ chế Serial-Token Prediction để cải thiện hơn nữa hiệu quả tính toán và giảm độ trễ suy luận, đặc biệt trong các kịch bản dự báo cực dài hạn hoặc yêu cầu tài nguyên hạn chế.
  3. Phát triển các chiến lược hậu huấn luyện tiên tiến cho các nhiệm vụ dự báo chuyên biệt: Khám phá các phương pháp tiếp tục tiền huấn luyện (continued pre-training) và mở rộng ngữ cảnh (long-context extension) mới, có thể điều chỉnh linh hoạt hơn để tối ưu hóa mô hình cho các loại nhiệm vụ dự báo khác nhau (ví dụ: dự báo đột biến, phát hiện bất thường) hoặc các yêu cầu về độ chính xác (ngắn hạn so với dài hạn).

2. Patent:​

  1. Hệ thống dự đoán tiêu thụ năng lượng thông minh trên điện thoại: Một ứng dụng di động sử dụng mô hình dự báo chuỗi thời gian để phân tích lịch sử sử dụng pin của người dùng và dự đoán chính xác thời điểm điện thoại sẽ hết pin, hoặc thời gian sử dụng còn lại dựa trên các hoạt động hiện tại. Hệ thống này có thể đưa ra khuyến nghị tối ưu hóa cài đặt (ví dụ: giảm độ sáng, tắt ứng dụng nền) để kéo dài thời lượng pin, hoặc nhắc nhở sạc vào thời điểm tối ưu.
  2. Ứng dụng quản lý sức khỏe cá nhân với dự báo xu hướng sinh trắc học: Một tính năng trên điện thoại thông minh hoặc đồng hồ thông minh sử dụng thuật toán dự báo chuỗi thời gian để phân tích dữ liệu sinh trắc học liên tục (nhịp tim, số bước chân, chất lượng giấc ngủ). Nó có thể dự đoán các xu hướng sức khỏe trong tương lai gần (ví dụ: nguy cơ căng thẳng tăng cao, kiểu ngủ bị gián đoạn) và đưa ra cảnh báo sớm hoặc gợi ý hành vi để duy trì sức khỏe tối ưu.
  3. Dự báo nhu cầu và tối ưu hóa tài nguyên mạng di động: Một công nghệ tích hợp vào hệ điều hành điện thoại để dự đoán nhu cầu sử dụng dữ liệu di động và tình trạng mạng tại vị trí hiện tại hoặc sắp tới của người dùng. Dựa trên dự báo này, điện thoại có thể tự động chuyển đổi giữa Wi-Fi và dữ liệu di động, tối ưu hóa cài đặt mạng để tiết kiệm pin hoặc đảm bảo chất lượng kết nối cho các tác vụ quan trọng (ví dụ: cuộc gọi video), hoặc thậm chí gợi ý thời điểm tốt nhất để tải xuống các tệp lớn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.04791
ArXiv Abstracthttps://arxiv.org/abs/2603.04791
PDF Downloadhttps://arxiv.org/pdf/2603.04791.pdf
Github RepositoryN/A