Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-02-02

Báo cáo được tạo tự động vào lúc 2026-02-03 11:50:22 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. Golden Goose: A Simple Trick to Synthesize Unlimited RLVR Tasks from Unverifiable Internet Text (52 votes)​

Tác giả: Ximing Lu, David Acuna, Jaehun Jung, Jian Hu, Di Zhang, Shizhe Diao, Yunheng Zou, Shaokun Zhang, Brandon Cui, Mingjie Liu, Hyunwoo Kim, Prithviraj Ammanabrolu, Jan Kautz, Yi Dong, Yejin Choi

Xuất bản lúc: 2026-01-30

Tag: Reinforcement Learning, Large Language Models, Data Augmentation, Question Answering

I. Main Problem:​

Reinforcement Learning with Verifiable Rewards (RLVR) là một thành phần cốt lõi để nâng cao khả năng suy luận phức tạp của các Mô hình Ngôn ngữ Lớn (LLMs). Tuy nhiên, việc mở rộng quy mô RL đang bị cản trở bởi dữ liệu có thể kiểm chứng (verifiable data) hiện có bị giới hạn, dẫn đến tình trạng hiệu suất mô hình bão hòa sau một thời gian huấn luyện kéo dài. Việc tạo dữ liệu RLVR rất khó khăn do yêu cầu định dạng nghiêm ngặt để tính toán phần thưởng có thể kiểm chứng, giới hạn dữ liệu đào tạo ở các vấn đề có lời giải đúng có thể dễ dàng xác thực tự động (ví dụ: toán học, lập trình). Dữ liệu này thường đắt đỏ để thu thập, khó mở rộng và giới hạn trong các lĩnh vực hẹp, loại trừ các nhiệm vụ suy luận dạng tự do hoặc giải pháp mở khó kiểm chứng tự động (ví dụ: chứng minh định lý toán học, suy luận chẩn đoán y tế).

II. Main Idea:​

Bài báo đề xuất "Golden Goose", một kỹ thuật đơn giản để tổng hợp các nhiệm vụ RLVR không giới hạn từ văn bản internet không thể kiểm chứng (unverifiable internet text). Phương pháp này xây dựng một phiên bản câu hỏi trắc nghiệm (MCQ) của nhiệm vụ điền vào chỗ trống (fill-in-the-middle task). Cụ thể, từ một văn bản nguồn, một LLM được nhắc để xác định và che đi các bước suy luận chính yếu (thay bằng [MASK]), sau đó tạo ra một tập hợp các phương án gây nhiễu (distractors) đa dạng, hợp lý nhưng không chính xác. Điều này cho phép tận dụng các tài liệu phong phú về suy luận nhưng không thể kiểm chứng (như sách giáo khoa khoa học, vấn đề lập trình thiếu bộ kiểm tra, hoặc các trích xuất từ web) để tạo ra bộ dữ liệu RLVR quy mô lớn.

III. Main Results:​

  • Phương pháp Golden Goose đã tổng hợp GooseReason-0.7M, một bộ dữ liệu RLVR quy mô lớn với hơn 0.7 triệu nhiệm vụ bao gồm toán học, lập trình và các lĩnh vực khoa học tổng quát.
  • GooseReason-0.7M đã hồi sinh các mô hình đã bão hòa trên dữ liệu RLVR hiện có, mang lại những cải tiến mạnh mẽ và liên tục cho các mô hình 1.5B và 4B-Instruct trong quá trình huấn luyện RL liên tục.
  • Các mô hình này đạt được kết quả trạng thái nghệ thuật (state-of-the-art) mới trên 15 điểm chuẩn đa dạng.
  • Trong lĩnh vực STEM, GooseReason đạt được mức tăng tuyệt đối 3.48% so với 0.13% khi tiếp tục dùng dữ liệu cũ, lấp đầy khoảng trống dữ liệu trong lĩnh vực khoa học tổng quát.
  • GooseReason hiệu quả trong việc khôi phục các LLM mạnh hơn bị bão hòa sớm, ví dụ, nó cải thiện Qwen-4B-Instruct 2.27% (so với mức suy giảm 0.79% trước đó).
  • GooseReason cũng cải thiện khả năng khái quát hóa suy luận trên các nhiệm vụ không được đề cập rõ ràng trong dữ liệu của nó (ví dụ: câu đố logic).
  • Được triển khai trong môi trường thực tế để tổng hợp dữ liệu RLVR cho lĩnh vực an ninh mạng (GooseReason-Cyber) từ FineWeb. Huấn luyện Qwen3-4B-Instruct trên dữ liệu này đã thiết lập trạng thái nghệ thuật mới trong an ninh mạng, vượt trội so với một mô hình 7B chuyên biệt có quá trình tiền huấn luyện và hậu huấn luyện chuyên sâu.

IV. Conclusion & Future Works:​

Golden Goose là một phương pháp hiệu quả và đơn giản để tổng hợp không giới hạn các nhiệm vụ Reinforcement Learning with Verifiable Rewards (RLVR) từ văn bản internet không thể kiểm chứng. Nó giải quyết vấn đề khan hiếm dữ liệu RLVR, cho phép huấn luyện RL liên tục và đạt được hiệu suất vượt trội cho các Mô hình Ngôn ngữ Lớn trên nhiều lĩnh vực. Điều này mở ra tiềm năng to lớn trong việc tự động mở rộng dữ liệu RLVR bằng cách khai thác các nguồn văn bản phong phú, giàu suy luận trên internet.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của các chiến lược tạo phương án gây nhiễu khác nhau (ví dụ: dựa trên lỗi thường gặp, dựa trên kiến thức) đến hiệu quả học tập của mô hình.
  2. Mở rộng phương pháp Golden Goose để tạo nhiệm vụ RLVR cho các loại hình dữ liệu đa phương tiện (ví dụ: video hướng dẫn, bản đồ) thay vì chỉ văn bản.
  3. Khám phá việc áp dụng phương pháp này để tăng cường khả năng suy luận đa bước trong các bài toán khoa học phức tạp, yêu cầu chuỗi các bước logic.

2. Patent:​

  1. Một hệ thống trên điện thoại di động có khả năng tự động tạo các bài tập trắc nghiệm suy luận từ các đoạn văn bản tin tức hoặc hướng dẫn người dùng, giúp nâng cao hiểu biết và tương tác của người dùng với nội dung.
  2. Một ứng dụng học tập trên điện thoại thông minh sử dụng trí tuệ nhân tạo để phân tích nội dung học liệu của người dùng, tự động che đi các bước giải hoặc giải thích quan trọng và tạo ra các lựa chọn sai để người dùng thực hành và củng cố kiến thức.
  3. Một tính năng bảo mật trên điện thoại di động có khả năng tạo ra các câu hỏi trắc nghiệm từ các chính sách bảo mật hoặc hướng dẫn sử dụng phần mềm, giúp người dùng dễ dàng hiểu và tuân thủ các quy tắc bảo mật phức tạp, đặc biệt là trong các ứng dụng ngân hàng hoặc quản lý dữ liệu nhạy cảm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.22975
ArXiv Abstracthttps://arxiv.org/abs/2601.22975
PDF Downloadhttps://arxiv.org/pdf/2601.22975.pdf
Github RepositoryN/A

2. ASTRA: Automated Synthesis of agentic Trajectories and Reinforcement Arenas (49 votes)​

Tác giả: Xiaoyu Tian, Haotian Wang, Shuaiting Chen, Hao Zhou, Kaichi Yu, Yudian Zhang, Jade Ouyang, Junxi Yin, Jiong Chen, Baoyan Guo, Lei Zhang, Junjie Tao, Yuansheng Song, Ming Cui, Chengwei Liu

Xuất bản lúc: 2026-01-29

Tag: LLM Agent, Tool-use, Reinforcement Learning, Supervised Fine-tuning, Data Synthesis, Environment Synthesis, Multi-turn Decision Making

I. Main Problem:​

Việc huấn luyện các tác nhân (agents) sử dụng công cụ dựa trên mô hình ngôn ngữ lớn (LLM) vẫn còn nhiều thách thức. Các phương pháp hiện có đòi hỏi sự can thiệp thủ công, dựa vào môi trường mô phỏng không thể kiểm chứng, chỉ sử dụng hoặc huấn luyện giám sát (SFT) hoặc học tăng cường (RL), và gặp khó khăn trong việc học ổn định, dài hạn và đa lượt.

II. Main Idea:​

Bài báo giới thiệu ASTRA, một khuôn khổ tự động hóa hoàn toàn từ đầu đến cuối để huấn luyện các tác nhân LLM sử dụng công cụ thông qua tổng hợp dữ liệu quy mô lớn và học tăng cường có thể kiểm chứng. ASTRA tích hợp hai thành phần bổ trợ: thứ nhất, một quy trình tận dụng cấu trúc tĩnh của biểu đồ gọi công cụ để tổng hợp các quỹ đạo đa dạng, có cấu trúc vững chắc, nhằm trang bị năng lực sử dụng công cụ rộng rãi (dùng cho SFT); thứ hai, một khuôn khổ tổng hợp môi trường nắm bắt cấu trúc phức tạp của lý luận ngữ nghĩa của con người, chuyển đổi các dấu vết hỏi-đáp đã phân tích thành các môi trường độc lập, có thể thực thi bằng mã và có thể kiểm chứng bằng luật, cho phép học tăng cường đa lượt xác định (dùng cho RL). Phương pháp huấn luyện thống nhất này kết hợp SFT với RL trực tuyến sử dụng phần thưởng cấp độ quỹ đạo để cân bằng giữa việc hoàn thành tác vụ và hiệu quả tương tác.

III. Main Results:​

Các mô hình được huấn luyện bằng ASTRA đạt hiệu suất tiên tiến (state-of-the-art) trên nhiều tiêu chuẩn sử dụng công cụ của tác nhân ở cùng quy mô, tiệm cận các hệ thống nguồn đóng trong khi vẫn giữ được khả năng suy luận cốt lõi. Bài báo công bố toàn bộ quy trình, môi trường và các mô hình đã huấn luyện.

IV. Conclusion & Future Works:​

ASTRA cung cấp một khuôn khổ tự động, end-to-end để huấn luyện các tác nhân LLM sử dụng công cụ, giải quyết các thách thức về khả năng mở rộng, khả năng kiểm chứng và sự ổn định trong học tập dài hạn mà các phương pháp hiện có gặp phải. Việc công bố các quy trình, môi trường và mô hình đã huấn luyện hỗ trợ khả năng tái tạo và nghiên cứu trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu khả năng mở rộng ASTRA để tích hợp nhiều loại công cụ và API phức tạp hơn từ các miền khác nhau, đánh giá hiệu suất của tác nhân trong các kịch bản thực tế.
  2. Khám phá các phương pháp mới để tự động hóa việc tạo phần thưởng và đánh giá hiệu quả tương tác của tác nhân trong môi trường học tăng cường đa lượt.
  3. Phát triển các kỹ thuật mới để đảm bảo tính công bằng và không thiên vị của các quỹ đạo và môi trường được tổng hợp, đặc biệt khi áp dụng cho các tác vụ nhạy cảm.

2. Patent:​

  1. Một hệ thống trên điện thoại thông minh tự động tạo ra các chuỗi tác vụ phức tạp sử dụng các ứng dụng đã cài đặt, dựa trên yêu cầu ngôn ngữ tự nhiên của người dùng, và cung cấp phản hồi từng bước đã được xác minh.
  2. Một phương pháp trên điện thoại di động để tổng hợp các môi trường tương tác thực tế, dựa trên thói quen sử dụng ứng dụng của người dùng, cho phép huấn luyện các trợ lý ảo thông minh hơn.
  3. Một công nghệ cho phép điện thoại tự động phân tích và đề xuất các cách sử dụng kết hợp nhiều ứng dụng để hoàn thành một mục tiêu cụ thể, ví dụ: tìm kiếm nhà hàng, đặt bàn và chia sẻ vị trí với bạn bè chỉ bằng một câu lệnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.21558
ArXiv Abstracthttps://arxiv.org/abs/2601.21558
PDF Downloadhttps://arxiv.org/pdf/2601.21558.pdf
Github Repositoryhttps://github.com/LianjiaTech/astra

3. Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation (42 votes)​

Tác giả: Andrei Panferov, Erik Schultheis, Soroush Tabesh, Dan Alistarh

Xuất bản lúc: 2026-01-30

Tag: LLM Pre-Training, Quantization, Low-Precision Training, NVFP4, Gradient Estimation, Blackwell GPU

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là chi phí tính toán ngày càng tăng của việc huấn luyện các mô hình ngôn ngữ lớn (LLMs). Các phương pháp huấn luyện lượng tử hóa hiện có sử dụng định dạng NVFP4 (được hỗ trợ bởi GPU NVIDIA Blackwell) vẫn còn hy sinh một phần dung lượng biểu diễn để đạt được ước lượng gradient lượng tử hóa không thiên vị chính xác hơn thông qua làm tròn ngẫu nhiên (SR), dẫn đến giảm đáng kể độ chính xác so với huấn luyện FP16 và FP8 tiêu chuẩn. Điều này đặt ra thách thức trong việc thực hiện quá trình tiền huấn luyện LLM hoàn toàn lượng tử hóa ở độ chính xác 4-bit mà vẫn duy trì chất lượng tối ưu hóa và đảm bảo sự hội tụ ổn định do sự nhạy cảm của luồng chuyển ngược với độ thiên vị.

II. Main Idea:​

Bài báo đề xuất cải thiện quá trình huấn luyện lượng tử hóa trong NVFP4 bằng cách giới thiệu một quy trình lượng tử hóa không thiên vị mới cho các định dạng vi tỉ lệ, gọi là MS-EDEN. MS-EDEN có lỗi lượng tử hóa thấp hơn hơn 2 lần so với làm tròn ngẫu nhiên (SR) bằng cách di chuyển tính ngẫu nhiên từ các giá trị FP4 riêng lẻ sang các yếu tố vi tỉ lệ, đồng thời giữ được tính không thiên vị về mặt kỳ vọng. Quy trình này sau đó được tích hợp vào một lược đồ lượng tử hóa hoàn toàn NVFP4 mới cho các lớp tuyến tính, được gọi là Quartet II. Quartet II kết hợp một luồng chuyển tiếp có dung lượng cao sử dụng tỉ lệ NVFP4 gốc cùng với heuristic chọn tỉ lệ "Four-over-Six" và một luồng chuyển ngược không thiên vị dựa trên MS-EDEN và các phép quay khối ngẫu nhiên kích thước bên trong hiệu quả, nhằm đạt được ước lượng gradient tốt hơn một cách nhất quán.

III. Main Results:​

  • Ước lượng Gradient: Quartet II đạt được ước lượng gradient tốt hơn một cách nhất quán trên tất cả các phép nhân ma trận chính, cả trong luồng chuyển tiếp và luồng chuyển ngược.
  • Giảm lỗi lượng tử hóa: Phương pháp lượng tử hóa MS-EDEN mới cho các định dạng vi tỉ lệ có lỗi lượng tử hóa thấp hơn hơn 2 lần so với làm tròn ngẫu nhiên (SR).
  • Xác thực và Hiệu suất: Đề xuất được xác thực trên quá trình huấn luyện LLM đầu cuối với tới 1.9 tỷ tham số trên 38 tỷ token, cho thấy cải thiện độ chính xác nhất quán so với các công thức NVFP4 trước đó.
  • Tăng tốc phần cứng: Bài báo cung cấp các nhân (kernels) để thực thi hiệu quả trên GPU NVIDIA Blackwell, mang lại tốc độ tăng tốc lên tới 4.2 lần so với BF16.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng phương pháp mới dựa trên MS-EDEN và Quartet II cải thiện đáng kể quá trình tiền huấn luyện LLM đầy đủ lượng tử hóa trong NVFP4, giải quyết vấn đề về ước lượng gradient không thiên vị và giảm lỗi lượng tử hóa. Điều này dẫn đến độ chính xác cao hơn và hiệu suất tính toán tốt hơn trên phần cứng chuyên dụng. Các hướng nghiên cứu tiếp theo có thể bao gồm việc khám phá các cơ chế không thiên vị tiên tiến hơn nữa hoặc mở rộng ứng dụng của các kỹ thuật này sang các định dạng bit thấp khác để tối ưu hóa hiệu suất và khả năng mở rộng.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu so sánh định lượng chi tiết hiệu suất của MS-EDEN với các phương pháp làm tròn ngẫu nhiên hiện có trên các loại mô hình học sâu khác ngoài LLM.
  • Phát triển một phương pháp tự động điều chỉnh các siêu tham số trong Quartet II để tối ưu hóa sự cân bằng giữa độ chính xác và tốc độ cho các kiến trúc mạng thần kinh đa dạng.
  • Phân tích tác động của các phép quay khối ngẫu nhiên kích thước bên trong được sử dụng trong Quartet II đối với sự ổn định và tốc độ hội tụ của quá trình huấn luyện LLM.

2. Patent:​

  • Một hệ thống xử lý dữ liệu di động sử dụng phương pháp điều chỉnh độ chính xác của các phép tính AI để tối ưu hóa thời lượng pin và tăng tốc độ phản hồi của các ứng dụng thông minh trên điện thoại.
  • Một kiến trúc phần cứng chuyên dụng trong thiết bị cầm tay được thiết kế để thực hiện các phép toán với độ chính xác dữ liệu linh hoạt, cho phép các mô hình ngôn ngữ lớn hoạt động trơn tru mà không yêu cầu tài nguyên quá lớn.
  • Một công nghệ phần mềm nhúng vào hệ điều hành điện thoại cho phép các nhà phát triển ứng dụng sử dụng một thuật toán nội bộ để ước lượng và điều chỉnh độ chính xác tính toán của các tác vụ học máy, đảm bảo trải nghiệm người dùng tối ưu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.22813
ArXiv Abstracthttps://arxiv.org/abs/2601.22813
PDF Downloadhttps://arxiv.org/pdf/2601.22813.pdf
Github Repositoryhttps://github.com/IST-DASLab/Quartet-II

4. THINKSAFE: Self-Generated Safety Alignment for Reasoning Models (35 votes)​

Tác giả: Seanie Lee, Sangwoo Park, Yumin Choi, Gyeongman Kim, Minki Kang, Jihun Yun, Dongmin Park, Jongho Park, Sung Ju Hwang

Xuất bản lúc: 2026-01-30

Tag: Safety Alignment, Reasoning Models, Self-Generated Data, LLM

I. Main Problem:​

Các mô hình lý luận lớn (LRMs) đạt hiệu suất cao thông qua việc tối ưu hóa bằng học tăng cường (RL) trên các nhiệm vụ lý luận, tạo ra các chuỗi suy nghĩ (CoT) dài. Tuy nhiên, việc tối ưu hóa quá mức này thường ưu tiên tuân thủ, khiến các mô hình dễ bị tấn công bởi các lời nhắc có hại, làm giảm khả năng an toàn của chúng. Các phương pháp hiện tại dựa vào chưng cất từ mô hình giáo viên bên ngoài, nhưng điều này lại gây ra sự sai lệch phân phối, làm suy giảm khả năng lý luận tự nhiên của mô hình học sinh.

II. Main Idea:​

Bài báo đề xuất THINKSAFE, một khuôn khổ điều chỉnh an toàn tự sinh không cần mô hình giáo viên bên ngoài. Ý tưởng chính là mặc dù việc tuân thủ các hướng dẫn làm triệt tiêu cơ chế an toàn, các mô hình vẫn giữ được kiến thức tiềm ẩn để nhận diện sự nguy hiểm. THINKSAFE khai thác điều này thông qua "chỉ đạo từ chối" nhẹ nhàng, hướng dẫn mô hình tạo ra các dấu vết lý luận an toàn "trong phân phối". Việc tinh chỉnh dựa trên các phản hồi tự sinh này giúp điều chỉnh lại mô hình một cách hiệu quả trong khi giảm thiểu sự dịch chuyển phân phối.

III. Main Results:​

THINKSAFE cải thiện đáng kể độ an toàn trong khi vẫn giữ được khả năng lý luận, thể hiện trên các họ mô hình DeepSeek-R1-Distill và Qwen3. Nó đạt được độ an toàn vượt trội và khả năng lý luận tương đương với GRPO (một phương pháp học tăng cường trực tuyến), với chi phí tính toán giảm đáng kể. THINKSAFE tránh được sự đánh đổi giữa an toàn và khả năng lý luận thường thấy ở các phương pháp chưng cất từ mô hình giáo viên và vượt trội hơn so với phương pháp tự chưng cất ngây thơ.

IV. Conclusion & Future Works:​

THINKSAFE cung cấp một giải pháp hiệu quả và tiết kiệm chi phí để khôi phục khả năng an toàn cho các mô hình lý luận lớn bằng cách tận dụng khả năng tự sinh dữ liệu điều chỉnh. Phương pháp này giải quyết vấn đề đánh đổi giữa an toàn và hiệu suất lý luận, duy trì khả năng bản địa của mô hình mà không cần đến sự giám sát bên ngoài. Các hướng nghiên cứu tiếp theo không được đề cập trong đoạn văn trích dẫn.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu sâu hơn về các kỹ thuật "chỉ đạo từ chối" khác nhau và tác động của chúng đối với việc khai thác kiến thức an toàn tiềm ẩn của mô hình.
  • Khám phá việc áp dụng khung THINKSAFE cho các loại mô hình ngôn ngữ lớn khác hoặc cho các tác vụ không chỉ là lý luận, ví dụ như sinh văn bản sáng tạo hay đối thoại.
  • Điều tra cơ chế mà các mô hình giữ lại "kiến thức tiềm ẩn" để nhận diện nguy hiểm và cách thức để tối ưu hóa việc kích hoạt kiến thức này.

2. Patent:​

  • Một hệ thống trợ lý ảo trên điện thoại thông minh có khả năng tự động nhận diện và từ chối các yêu cầu có hại từ người dùng, đồng thời giải thích lý do từ chối một cách lịch sự, không cần kết nối với máy chủ ngoài để kiểm duyệt.
  • Một tính năng bảo mật trên thiết bị di động cho phép các ứng dụng tự động lọc và từ chối các nội dung do người dùng tạo ra có khả năng gây hại, bằng cách tạo ra các lý do từ chối phù hợp dựa trên quy tắc an toàn đã học.
  • Một phương pháp điều khiển giọng nói cho thiết bị thông minh (ví dụ: loa thông minh, điện thoại) cho phép thiết bị tự động học cách từ chối các lệnh có thể dẫn đến hành vi không an toàn hoặc bất hợp pháp, sử dụng phản hồi nội bộ thay vì dữ liệu từ bên ngoài.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.23143
ArXiv Abstracthttps://arxiv.org/abs/2601.23143
PDF Downloadhttps://arxiv.org/pdf/2601.23143.pdf
Github Repositoryhttps://github.com/seanie12/ThinkSafe.git

5. PaperBanana: Automating Academic Illustration for AI Scientists (30 votes)​

Tác giả: Dawei Zhu, Rui Meng, Yale Song, Xiyu Wei, Sujian Li, Tomas Pfister, Jinsung Yoon

Xuất bản lúc: 2026-01-30

Tag: Automated Academic Illustration, AI Scientist, Language Models, Visual Language Models, Image Generation, Agentic Framework

I. Main Problem:​

Việc tạo ra các hình minh họa chuẩn mực để xuất bản học thuật, đặc biệt là các sơ đồ phương pháp, vẫn là một nút thắt cổ chai tốn nhiều công sức trong quy trình nghiên cứu, ngay cả khi đã có những tiến bộ nhanh chóng của các nhà khoa học AI tự hành được hỗ trợ bởi các mô hình ngôn ngữ lớn. Các nhà khoa học AI hiện tại gặp khó khăn trong việc truyền đạt trực quan các phát hiện của mình theo các tiêu chuẩn học thuật nghiêm ngặt. Các phương pháp tạo sơ đồ dựa trên mã hiện có còn hạn chế về khả năng thể hiện các yếu tố hình ảnh phức tạp, trong khi các mô hình tạo hình ảnh gần đây vẫn khó tạo ra hình minh họa học thuật nhất quán đáp ứng các tiêu chuẩn học thuật cao.

II. Main Idea:​

Bài báo giới thiệu PaperBanana, một khung tác tử (agentic framework) tự động hóa việc tạo ra các hình minh họa học thuật sẵn sàng để xuất bản. PaperBanana điều phối một nhóm gồm năm tác tử chuyên biệt (Retriever, Planner, Stylist, Visualizer và Critic) được hỗ trợ bởi các Mô hình Ngôn ngữ Thị giác (VLM) và mô hình tạo hình ảnh tiên tiến. Quy trình hoạt động bao gồm:

  1. Retriever Agent: Lấy các ví dụ tham chiếu liên quan.
  2. Planner Agent: Chuyển đổi nội dung khoa học thành mô tả văn bản chi tiết về hình minh họa.
  3. Stylist Agent: Tự động tổng hợp một hướng dẫn thẩm mỹ từ các tài liệu tham khảo và tinh chỉnh mô tả để đảm bảo phong cách học thuật chuyên nghiệp.
  4. Visualizer Agent: Biến mô tả đã được tối ưu hóa phong cách thành đầu ra hình ảnh bằng cách sử dụng mô hình tạo hình ảnh, hoặc tạo mã Python Matplotlib cho các biểu đồ thống kê.
  5. Critic Agent: Cùng với Visualizer, kiểm tra hình ảnh được tạo ra, xác định lỗi và cung cấp phản hồi tinh chỉnh lặp đi lặp lại trong ba vòng để cải thiện chất lượng. Để đánh giá khung công việc này, bài báo còn giới thiệu PaperBananaBench, một bộ dữ liệu chuẩn gồm 292 trường hợp kiểm thử cho sơ đồ phương pháp được tuyển chọn từ các ấn phẩm NeurIPS 2025.

III. Main Results:​

Các thử nghiệm toàn diện trên PaperBananaBench đã chứng minh rằng PaperBanana vượt trội hơn các phương pháp cơ sở hàng đầu một cách nhất quán trên tất cả bốn tiêu chí đánh giá:

  • Độ trung thực: Tăng 2.8%
  • Độ súc tích: Tăng 37.2%
  • Độ dễ đọc: Tăng 12.9%
  • Tính thẩm mỹ: Tăng 6.6%
  • Điểm tổng thể tổng hợp: Tăng 17.0% Phương pháp này cũng mở rộng hiệu quả để tạo ra các biểu đồ thống kê chất lượng cao. Bài báo cũng minh họa khả năng của PaperBanana bằng cách sử dụng chính nó để tạo ra một số hình minh họa trong bản thảo.

IV. Conclusion & Future Works:​

PaperBanana mở đường cho việc tự động hóa hoàn toàn việc tạo ra các hình minh họa học thuật chất lượng cao sẵn sàng để xuất bản. Khung tác tử kết hợp với bộ dữ liệu chuẩn mới PaperBananaBench đã tạo ra một bước tiến đáng kể trong lĩnh vực trực quan hóa khoa học tự động. Các hướng nghiên cứu tiếp theo bao gồm tăng cường các hình minh họa do con người tạo ra và khám phá các mô hình tạo hình ảnh trực tiếp cho biểu đồ thống kê.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tích hợp các yếu tố tương tác vào hình minh họa được tạo tự động để nâng cao trải nghiệm người dùng và khả năng khám phá dữ liệu.
  2. Khám phá việc áp dụng khung PaperBanana để tạo ra hình minh họa cho các lĩnh vực khoa học khác ngoài AI, như sinh học hoặc hóa học.
  3. Phát triển một phương pháp cho phép hệ thống tự động thích ứng với các yêu cầu phong cách cụ thể của từng nhà xuất bản hoặc tạp chí.

2. Patent:​

  1. Một ứng dụng trên điện thoại di động giúp người dùng nhập mô tả văn bản về một quy trình hoặc khái niệm, sau đó tự động tạo ra một sơ đồ giải thích minh họa rõ ràng, có thể tùy chỉnh dễ dàng trên màn hình cảm ứng.
  2. Một hệ thống được tích hợp vào các ứng dụng xử lý văn bản trên điện thoại, có khả năng phân tích dữ liệu thống kê thô và tự động tạo ra các biểu đồ chất lượng cao, chuẩn mực học thuật, phù hợp với nội dung văn bản.
  3. Một phương pháp trên thiết bị di động cho phép người dùng chụp ảnh một sơ đồ phác thảo hoặc một hình ảnh minh họa chất lượng thấp, sau đó AI sẽ tự động cải thiện và chuyển đổi nó thành một hình minh họa chuyên nghiệp, sắc nét, áp dụng các tiêu chuẩn thiết kế đã học.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.23265
ArXiv Abstracthttps://arxiv.org/abs/2601.23265
PDF Downloadhttps://arxiv.org/pdf/2601.23265.pdf
Github RepositoryN/A

6. TTCS: Test-Time Curriculum Synthesis for Self-Evolving (25 votes)​

Tác giả: Chengyi Yang, Zhishang Xiang, Yunbo Tang, Zongpei Teng, Chengsong Huang, Fei Long, Yuhan Liu, Jinsong Su

Xuất bản lúc: 2026-01-30

Tag: LLMs, Test-Time Training, Curriculum Learning, Self-Evolving, Reinforcement Learning

I. Main Problem:​

Các phương pháp Test-Time Training (TTT) hiện có gặp khó khăn khi xử lý các vấn đề lý luận phức tạp. Cụ thể, có hai hạn chế chính:

  1. Nhãn giả không đáng tin cậy: Các câu hỏi kiểm tra thô thường quá khó, dẫn đến việc tạo ra các nhãn giả (pseudo-labels) chất lượng thấp và không chính xác, gây ra tín hiệu nhiễu cho quá trình huấn luyện.
  2. Thiếu mẫu học được: Kích thước giới hạn của tập hợp câu hỏi kiểm tra khiến quá trình cập nhật trực tuyến trở nên không ổn định, vì các câu hỏi quá khó nằm ngoài khả năng hiện tại của mô hình, không cung cấp các mẫu học tập hiệu quả.

II. Main Idea:​

Bài nghiên cứu đề xuất TTCS (Test-Time Curriculum Synthesis for Self-Evolving), một khung huấn luyện tự tiến hóa trong thời gian kiểm tra. TTCS bao gồm hai thành phần chính cùng phát triển từ cùng một mô hình tiền huấn luyện:

  1. Bộ tổng hợp câu hỏi (question synthesizer): Tạo ra các biến thể câu hỏi có độ khó tăng dần, hình thành một chương trình học có cấu trúc, được điều chỉnh theo khả năng hiện tại của bộ giải.
  2. Bộ giải lý luận (reasoning solver): Cập nhật chính nó bằng cách sử dụng phần thưởng tự nhất quán (self-consistency rewards) từ nhiều phản hồi được lấy mẫu trên cả câu hỏi gốc và câu hỏi tổng hợp. Hai thành phần này cùng phát triển thông qua một vòng lặp tối ưu hóa lặp đi lặp lại: phản hồi của bộ giải hướng dẫn bộ tổng hợp tạo ra các câu hỏi phù hợp với khả năng của mô hình, và các biến thể câu hỏi được tạo ra giúp ổn định quá trình huấn luyện của bộ giải. Cả hai tác nhân đều được tối ưu hóa trực tuyến thông qua Group Relative Policy Optimization (GRPO).

III. Main Results:​

TTCS đã chứng minh khả năng tăng cường đáng kể năng lực lý luận. Cụ thể:

  • Cải thiện nhất quán khả năng lý luận trên các điểm chuẩn toán học đầy thách thức.
  • Khả năng chuyển giao sang các tác vụ miền tổng quát trên các kiến trúc mô hình ngôn ngữ lớn (LLM backbones) khác nhau.
  • Mở ra một con đường có thể mở rộng để xây dựng chương trình học tự động trong thời gian kiểm tra cho các mô hình tự tiến hóa.
  • Hoạt động hiệu quả mà không cần sự giám sát bên ngoài hoặc các mô hình giáo viên mạnh mẽ hơn.

IV. Conclusion & Future Works:​

TTCS cung cấp một giải pháp hiệu quả cho các hạn chế của việc huấn luyện trong thời gian kiểm tra đối với các nhiệm vụ lý luận phức tạp. Bằng cách kết hợp bộ tổng hợp câu hỏi thích ứng với khả năng và bộ giải tự tiến hóa trực tuyến, TTCS tạo ra một chương trình học tự động giúp chuyển đổi các phản hồi nhiễu thành một lộ trình đáng tin cậy cho quá trình tự tiến hóa của mô hình. Bài báo không nêu rõ các hướng nghiên cứu trong tương lai, nhưng gợi ý về một con đường có thể mở rộng để tự động xây dựng chương trình học trong thời gian kiểm tra.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu cách tích hợp các phương pháp tổng hợp câu hỏi đa dạng hơn, bao gồm các kỹ thuật dựa trên sinh mẫu hoặc đối nghịch, để tạo ra chương trình học phong phú hơn cho mô hình.
  • Đánh giá hiệu quả của TTCS trong các lĩnh vực ứng dụng cụ thể khác như lập trình, khoa học dữ liệu hoặc giải quyết vấn đề kỹ thuật.
  • Khám phá việc sử dụng các kiến trúc bộ giải và bộ tổng hợp khác nhau (ví dụ: các mô hình chuyên biệt hóa) trong khung TTCS để tối ưu hóa hiệu suất và hiệu quả.

2. Patent:​

  • Một hệ thống ứng dụng di động tự động tạo ra các bài tập hoặc câu hỏi cá nhân hóa, có độ khó tăng dần dựa trên tiến độ học tập của người dùng, giúp nâng cao kỹ năng học tập trên điện thoại thông minh.
  • Một tính năng trợ lý ảo trên điện thoại thông minh có khả năng tự động tạo ra các kịch bản đối thoại hoặc tình huống phức tạp để rèn luyện khả năng hiểu và phản hồi của trợ lý, từ đó cải thiện chất lượng tương tác tổng thể.
  • Một công cụ phát triển ứng dụng di động tích hợp khả năng tự động sinh ra các trường hợp kiểm thử mã nguồn có độ khó khác nhau, phù hợp với trình độ của lập trình viên để hỗ trợ gỡ lỗi và cải thiện chất lượng phần mềm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.22628
ArXiv Abstracthttps://arxiv.org/abs/2601.22628
PDF Downloadhttps://arxiv.org/pdf/2601.22628.pdf
Github Repositoryhttps://github.com/XMUDeepLIT/TTCS

7. Do Reasoning Models Enhance Embedding Models? (22 votes)​

Tác giả: Wun Yu Chan, Shaojin Chen, Huihao Jing, Kwun Hang Lau, Elton Chun-Chai Li, Zihao Wang, Haoran Li, Yangqiu Song

Xuất bản lúc: 2026-01-29

Tag: Reasoning Models, Embedding Models, Large Language Models, Reinforcement Learning, Contrastive Learning, Representational Similarity Analysis

I. Main Problem:​

Vấn đề cốt lõi mà bài nghiên cứu đề cập là liệu các mô hình suy luận được tối ưu hóa thông qua học tăng cường với phần thưởng có thể kiểm chứng (RLVR) có cải thiện chất lượng của các mô hình nhúng văn bản hay không. Cụ thể, nghiên cứu tìm hiểu tại sao các mô hình nhúng được khởi tạo từ các mô hình suy luận đã tinh chỉnh bằng RLVR không cho thấy lợi thế về hiệu suất so với các mô hình cơ sở sau khi học tương phản.

II. Main Idea:​

Bài nghiên cứu giới thiệu khuôn khổ Phân tích Tương đồng Biểu diễn Phân cấp (Hierarchical Representation Similarity Analysis - HRSA) để chẩn đoán động lực bên trong của các biểu diễn và lý giải kết quả "hiệu ứng vô hiệu". HRSA phân tích sự tương đồng của mô hình ở ba cấp độ trừu tượng: cấp độ biểu diễn (coordinate basis và features), cấp độ hình học (hình dạng của manifold tiềm ẩn), và cấp độ chức năng (ánh xạ đầu vào-đầu ra).

III. Main Results:​

  • Các mô hình nhúng được khởi tạo từ các mô hình suy luận đã tinh chỉnh bằng RLVR không mang lại lợi thế hiệu suất nhất quán so với các mô hình cơ sở của chúng trên các bộ điểm chuẩn MTEB và BRIGHT, cho thấy "hiệu ứng vô hiệu".
  • HRSA tiết lộ rằng RLVR duy trì phần lớn hình học tổng thể của manifold tiềm ẩn và khả năng đọc tuyến tính (linear readout), nhưng gây ra sự tổ chức lại hình học cục bộ không thể đảo ngược và trôi dạt cơ sở tọa độ có thể đảo ngược.
  • Quá trình học tương phản sau đó dẫn đến hiện tượng "Tái điều chỉnh Manifold" (Manifold Realignment), nơi các mô hình được khởi tạo từ cơ sở và từ suy luận thể hiện sự căn chỉnh mạnh mẽ, ngay cả khi có sự thay đổi cơ sở tọa độ.
  • Các phát hiện cho thấy RLVR chủ yếu tối ưu hóa các quỹ đạo trong một không gian ngữ nghĩa hiện có, thay vì cấu trúc lại cơ bản không gian đó, khác với Supervised Fine-Tuning (SFT).

IV. Conclusion & Future Works:​

Mặc dù các mô hình suy luận được tối ưu hóa bằng RLVR không cải thiện chất lượng mô hình nhúng một cách nội tại, quá trình này bảo tồn hiệu quả ngữ nghĩa của mô hình cơ sở. Khuôn khổ HRSA được đề xuất cung cấp một bộ công cụ để nghiên cứu khả năng diễn giải trong tương lai, giúp chẩn đoán lý do tại sao các mô hình hoạt động tương tự. Phát hiện về Manifold Realignment cho thấy học tương phản có thể ghi đè lên sự trôi dạt có thể đảo ngược do RLVR gây ra, dẫn đến sự căn chỉnh mạnh mẽ giữa các mô hình.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu sâu hơn về cách các phương pháp học tăng cường khác nhau ảnh hưởng đến hình học cục bộ của manifold tiềm ẩn và mức độ tái điều chỉnh có thể đạt được thông qua học tương phản.
  • Phát triển các metric mới trong khuôn khổ HRSA để định lượng chính xác hơn sự khác biệt giữa các mô hình ở từng cấp độ, đặc biệt là trong các ứng dụng đặc thù.
  • Khám phá liệu việc kết hợp các tín hiệu suy luận trực tiếp vào mục tiêu học tương phản có thể phá vỡ "hiệu ứng vô hiệu" và cải thiện hiệu suất nhúng hay không.

2. Patent:​

  • Một phương pháp tăng cường khả năng hiểu ngôn ngữ tự nhiên của trợ lý ảo trên điện thoại bằng cách sử dụng công nghệ học tăng cường để tinh chỉnh cách từ ngữ được mã hóa mà không làm mất đi kiến thức ngữ nghĩa cốt lõi.
  • Một hệ thống phân tích nội bộ cho các ứng dụng AI trên thiết bị di động, cho phép chẩn đoán chính xác sự thay đổi trong cách mô hình biểu diễn thông tin sau khi cập nhật phần mềm, đảm bảo hiệu suất ổn định và đáng tin cậy.
  • Một công nghệ tự động điều chỉnh và tối ưu hóa các mô hình AI trên điện thoại di động, cho phép chúng duy trì khả năng tìm kiếm và phân loại thông tin hiệu quả ngay cả khi được đào tạo từ các phiên bản mô hình khác nhau.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.21192
ArXiv Abstracthttps://arxiv.org/abs/2601.21192
PDF Downloadhttps://arxiv.org/pdf/2601.21192.pdf
Github Repositoryhttps://github.com/HKUST-KnowComp/Reasoning-Embedding

8. Causal World Modeling for Robot Control (19 votes)​

Tác giả: Lin Li, Qihang Zhang, Yiming Luo, Shuai Yang, Ruilin Wang, Fei Han, Mingrui Yu, Zelin Gao, Nan Xue, Xing Zhu, Yujun Shen, Yinghao Xu

Xuất bản lúc: 2026-01-29

Tag: Diffusion, World Model, Robot Control, Causal Modeling

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) hiện có gặp phải vấn đề lồng ghép biểu diễn (representation entanglement), khi một mạng lưới thần kinh phải học đồng thời hiểu biết cảnh quan thị giác, động lực vật lý và điều khiển động cơ từ một tín hiệu giám sát duy nhất. Điều này dẫn đến hiệu quả mẫu thấp và khả năng khái quát hóa hạn chế, vì mô hình dựa vào khớp mẫu thay vì hiểu biết nguyên tắc về động lực vật lý. Ngoài ra, các phương pháp mô hình hóa thế giới trước đây cho robot điều khiển vòng lặp kín gặp hạn chế về độ trễ phản ứng, bộ nhớ dài hạn hạn chế và thiếu tính nhân quả.

II. Main Idea:​

Bài nghiên cứu giới thiệu LingBot-VA, một khung khuếch tán tự hồi quy (autoregressive diffusion framework) học đồng thời dự đoán khung hình và thực thi chính sách. LingBot-VA giải quyết các hạn chế bằng cách thống nhất dự đoán động lực hình ảnh và suy luận hành động trong một chuỗi xen kẽ duy nhất. Mô hình sử dụng ba thiết kế chính: (1) một không gian tiềm ẩn chung tích hợp các token hình ảnh và hành động, được điều khiển bởi kiến trúc Mixture-of-Transformers (MoT); (2) cơ chế triển khai vòng lặp kín cho phép thu nhận phản hồi môi trường liên tục; và (3) đường ống suy luận không đồng bộ, song song hóa dự đoán hành động và thực thi động cơ để hỗ trợ điều khiển hiệu quả.

III. Main Results:​

LingBot-VA thể hiện hiệu suất vượt trội so với các chính sách VLA hiện đại, đặc biệt trong các tác vụ thao tác dài hạn đòi hỏi tính nhất quán về thời gian. Mô hình cho thấy triển vọng đáng kể trong thao tác dài hạn, hiệu quả dữ liệu trong huấn luyện sau và khả năng khái quát hóa mạnh mẽ đối với các cấu hình mới. Các thử nghiệm trên cả mô phỏng và kịch bản thế giới thực chứng minh hiệu suất tốt nhất trong lớp, bao gồm các tác vụ dài hạn, đối tượng biến dạng và thao tác chính xác. Mô hình cũng hỗ trợ dự đoán động lực hình ảnh và suy luận động lực ngược từ video robot, đồng thời thể hiện bộ nhớ thời gian dài và khả năng thích ứng với ít shot mạnh mẽ.

IV. Conclusion & Future Works:​

LingBot-VA cung cấp một nền tảng mới và độc lập cho học robot bằng cách xây dựng mô hình thế giới nhân quả dựa trên video, cho phép robot "tưởng tượng" tương lai gần và hiểu mối quan hệ nhân quả giữa hành động và động lực hình ảnh. Phương pháp này giải quyết các thách thức về lồng ghép biểu diễn và độ trễ trong các mô hình VLA trước đây thông qua kiến trúc thống nhất, hiệu quả và có tính nhân quả. Phần nghiên cứu tiếp theo không được đề cập trong đoạn văn trích dẫn.

V. Brainstorming Space:​

1. Publish Papers:​

  • Khám phá việc tích hợp các dạng dữ liệu cảm biến bổ sung (ví dụ: xúc giác, âm thanh) vào không gian tiềm ẩn chung của LingBot-VA để cải thiện khả năng hiểu biết môi trường.
  • Phát triển một phương pháp huấn luyện LingBot-VA bán giám sát, tận dụng dữ liệu video không nhãn khổng lồ để tăng cường khả năng khái quát hóa mà không cần dữ liệu robot có nhãn đắt đỏ.
  • So sánh hiệu quả của các kiến trúc Transformer khác nhau (ví dụ: Sparse Attention, Perceiver IO) trong mô hình hóa thế giới nhân quả tự hồi quy cho robot.

2. Patent:​

  • Một hệ thống điều khiển robot có khả năng dự đoán các chuyển động và kết quả trực quan trong tương lai, sau đó tính toán và thực hiện chuỗi hành động tối ưu để đạt được mục tiêu, đặc biệt hữu ích trong các dây chuyền sản xuất tự động.
  • Một phương pháp điều khiển thiết bị thông minh cho phép người dùng ra lệnh bằng các cử chỉ phức tạp, nơi thiết bị có thể dự đoán ý định và chuyển động tiếp theo của người dùng để phản hồi nhanh chóng và chính xác.
  • Một tính năng trên điện thoại thông minh cho phép phân tích thời gian thực các video được quay để dự đoán quỹ đạo chuyển động của đối tượng, hỗ trợ tự động lấy nét và ổn định hình ảnh cho các cảnh quay hành động.
  • Một ứng dụng trên điện thoại di động giúp người dùng lập kế hoạch các công việc gia đình bằng cách cho phép họ "mô phỏng" các hành động trong môi trường ảo, sau đó điện thoại sẽ hướng dẫn robot gia đình thực hiện chuỗi tác vụ đó.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.21998
ArXiv Abstracthttps://arxiv.org/abs/2601.21998
PDF Downloadhttps://arxiv.org/pdf/2601.21998.pdf
Github RepositoryN/A

9. FourierSampler: Unlocking Non-Autoregressive Potential in Diffusion Language Models via Frequency-Guided Generation (18 votes)​

Tác giả: Siyang He, Qiqi Wang, Xiaoran Liu, Hongnan Ma, Yiwei Shi, Yuerong Song, Ying Zhu, Tianyi Liang, Zengfeng Huang, Ziwei He, Xipeng Qiu

Xuất bản lúc: 2026-01-30

Tag: Diffusion Language Models, Non-Autoregressive Generation, Frequency Analysis, Decoding Strategy

I. Main Problem:​

Các mô hình ngôn ngữ khuếch tán lớn (dLLMs) có tiềm năng tạo sinh phi tự hồi quy (non-autoregressive) đáng kể, cho phép tạo văn bản theo bất kỳ thứ tự nào và tận dụng ngữ cảnh hai chiều toàn cục. Tuy nhiên, các chiến lược giải mã hiện tại thể hiện sự thiên vị vị trí mạnh mẽ, không khai thác hết khả năng tạo sinh linh hoạt này. Điều này dẫn đến chất lượng tạo sinh không tối ưu và các vấn đề như "lời nguyền đảo ngược", đồng thời các phương pháp cải thiện hiện có thường dựa vào can thiệp bên ngoài hoặc đào tạo tốn kém.

II. Main Idea:​

Bài báo đề xuất FourierSampler, một chiến lược giải mã mới dựa trên việc phân tích đặc điểm tần số nội tại của các dLLM.

  • Phân tích miền tần số: Bài nghiên cứu lần đầu tiên chỉ ra rằng các thành phần tần số thấp trong trạng thái ẩn của dLLM mã hóa thông tin cấu trúc toàn cục và các phụ thuộc tầm xa, trong khi các thành phần tần số cao chịu trách nhiệm đặc trưng hóa các chi tiết cục bộ.
  • Cơ chế "từ cấu trúc đến chi tiết": Dựa trên phát hiện này, FourierSampler sử dụng cơ chế cửa sổ trượt trong miền tần số (frequency-domain sliding window) để động điều hướng mô hình thực hiện quá trình tạo sinh theo thứ tự "từ cấu trúc đến chi tiết". Nghĩa là, nó ưu tiên giải mã nội dung cấu trúc (được chi phối bởi tín hiệu tần số thấp) trước, sau đó bổ sung các nội dung chi tiết (được chi phối bởi tín hiệu tần số cao).
  • Thành phần chính: Phương pháp này sử dụng "Translated Fourier Score" để xếp hạng các vị trí token dựa trên năng lượng trong dải tần số được giữ lại, và "Adaptive Fourier Calibrator" để cân bằng hướng dẫn tần số với độ tin cậy gốc của mô hình.

III. Main Results:​

  • FourierSampler vượt trội hơn các chiến lược tăng cường suy luận khác trên các dLLM LLaDA và SDAR.
  • Đạt được cải thiện tương đối 20.4% trên LLaDA1.5-8B và 16.0% trên LLaDA-8B-Instruct.
  • Đạt được cải thiện tương đối lên đến 45.1% trên SDAR-1.7B-Chat và 26.5% trên SDAR-4B-Chat.
  • Phương pháp này cũng đáng chú ý khi vượt qua các mô hình tự hồi quy có kích thước tương tự như Llama3.1-8B-Instruct.
  • Các kết quả cho thấy FourierSampler mang lại những cải tiến ổn định trong các tác vụ liên quan đến code và toán học.

IV. Conclusion & Future Works:​

Bài báo đã thực hiện phân tích tần số đầu tiên trong các dLLM, thiết lập mối tương quan ngữ nghĩa giữa các thành phần tần số thấp (cấu trúc) và tần số cao (chi tiết), cung cấp hướng dẫn nội bộ cho quá trình giải mã. FourierSampler là một lược đồ lấy mẫu giải mã hiệu quả, thúc đẩy dLLM đạt được quá trình tạo sinh "từ cấu trúc đến chi tiết" và vượt trội so với các phương pháp hiện có cũng như các mô hình tự hồi quy tương đương. Nghiên cứu này mở ra những hiểu biết mới để nâng cao khả năng giải mã dLLM, hướng tới việc khám phá sâu hơn các phương pháp tối ưu hóa giải mã dựa trên đặc tính tần số.

V. Brainstorming Space:​

1. Publish Papers:​

  • Khám phá việc áp dụng phân tích tần số tương tự để cải thiện khả năng tạo sinh phi tự hồi quy trong các mô hình đa phương thức, ví dụ như tạo sinh văn bản-hình ảnh hoặc văn bản-âm thanh.
  • Nghiên cứu cơ chế điều chỉnh động cửa sổ tần số dựa trên ngữ cảnh hoặc độ phức tạp của nhiệm vụ thay vì chỉ là cửa sổ trượt tuyến tính.
  • Đánh giá tác động của FourierSampler lên các khía cạnh khác của dLLM như hiệu quả suy luận hoặc khả năng điều khiển tạo sinh.

2. Patent:​

  • Một phương pháp dự đoán và hoàn thành văn bản trên điện thoại thông minh, trong đó hệ thống ưu tiên tạo ra cấu trúc ngữ pháp cơ bản của câu trước khi điền vào các từ và chi tiết cụ thể.
  • Ứng dụng trợ lý viết văn bản trên thiết bị di động, sử dụng phân tích cấu trúc của đoạn văn để đưa ra gợi ý giúp người dùng xây dựng bố cục tổng thể trước khi tập trung vào từng chi tiết nhỏ.
  • Hệ thống hỗ trợ lập trình trên điện thoại, trong đó hệ thống cung cấp khung sườn mã và cấu trúc điều khiển (ví dụ: vòng lặp, điều kiện) trước, sau đó gợi ý các chi tiết như tên biến hoặc tham số hàm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.23182
ArXiv Abstracthttps://arxiv.org/abs/2601.23182
PDF Downloadhttps://arxiv.org/pdf/2601.23182.pdf
Github Repositoryhttps://github.com/ShirleYoung/FourierSampler

10. Statistical Estimation of Adversarial Risk in Large Language Models under Best-of-N Sampling (14 votes)​

Tác giả: Mingqian Feng, Xiaodong Liu, Weiwei Yang, Chenliang Xu, Christopher White, Jianfeng Gao

Xuất bản lúc: 2026-01-30

Tag: Large Language Models, Adversarial Risk, Best-of-N Sampling, Jailbreak, Safety, Statistical Estimation, Beta Distribution, Scaling Law

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLM) thường được đánh giá về mức độ an toàn dưới các điều kiện tấn công đơn lẻ hoặc ngân sách thấp, điều này làm đánh giá thấp rủi ro trong thế giới thực. Trong thực tế, những kẻ tấn công có thể khai thác lấy mẫu song song quy mô lớn (Best-of-N sampling) để liên tục thăm dò mô hình cho đến khi tạo ra phản hồi có hại. Dù các công trình gần đây đã chỉ ra rằng tỷ lệ thành công tấn công tăng lên khi lấy mẫu lặp lại, các phương pháp có nguyên tắc để dự đoán rủi ro tấn công quy mô lớn vẫn còn hạn chế.

II. Main Idea:​

Bài báo đề xuất SABER (Scaling-Aware Best-of-N Estimation of Risk), một khuôn khổ để mô hình hóa lỗ hổng jailbreak dưới chiến lược lấy mẫu Best-of-N. SABER mô hình hóa xác suất thành công ở cấp độ mẫu (sample-level success probabilities) bằng cách sử dụng phân phối Beta, là phân phối tiên nghiệm liên hợp của phân phối Bernoulli. Từ đó, nó suy ra một định luật mở rộng phân tích (analytic scaling law) cho phép ngoại suy đáng tin cậy tỷ lệ thành công tấn công (ASR@N) ở N lớn từ các phép đo ngân sách nhỏ. Định luật này chỉ ra rằng sự khuếch đại rủi ro ở N lớn được điều chỉnh bởi hành vi đuôi trái của phân phối lỗ hổng cấp độ mẫu, trong đó tham số alpha của phân phối Beta kiểm soát tốc độ mở rộng.

III. Main Results:​

  • Sử dụng chỉ 100 mẫu (n=100), công cụ ước tính SABER dự đoán ASR@1000 với sai số tuyệt đối trung bình là 1.66, so với 12.04 của phương pháp cơ sở, thể hiện sự giảm 86.2% sai số ước tính.
  • Các kết quả cho thấy các hồ sơ mở rộng rủi ro không đồng nhất và rằng các mô hình có vẻ mạnh mẽ dưới đánh giá tiêu chuẩn (ASR@1) có thể trải nghiệm sự khuếch đại rủi ro phi tuyến tính và nhanh chóng dưới áp lực đối kháng song song.
  • Các phương pháp tấn công khác nhau có các phân phối ASR ở cấp độ mẫu không đồng nhất, dẫn đến các hồ sơ mở rộng rủi ro khác biệt cơ bản.

IV. Conclusion & Future Works:​

Công trình này cung cấp một phương pháp luận chi phí thấp và có khả năng mở rộng để đánh giá an toàn LLM một cách thực tế. Bằng cách giới thiệu một khuôn khổ ước tính rủi ro có cơ sở toán học, chi phí thấp và có thể mở rộng, nó thúc đẩy cách đo lường và báo cáo rủi ro jailbreak. Thay vì chỉ dựa vào đánh giá vét cạn tốn kém, nghiên cứu này cung cấp một phương pháp có nguyên tắc để dự báo rủi ro tấn công, đặt nền móng cho các tiêu chuẩn đánh giá an toàn LLM thế hệ tiếp theo phản ánh tốt hơn các thiết lập tấn công thực tế. Mã nguồn và script đánh giá sẽ được phát hành sau khi công bố để hỗ trợ nghiên cứu trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu mở rộng việc áp dụng phân phối Beta và định luật mở rộng để ước tính rủi ro trong các loại tấn công khác không chỉ giới hạn ở jailbreak.
  • Phát triển các chiến lược phòng thủ chủ động cho LLM dựa trên việc dự đoán hồ sơ mở rộng rủi ro để vô hiệu hóa các cuộc tấn công Best-of-N.
  • Khám phá tác động của các tham số phân phối Beta đến các chiến lược tinh chỉnh và tối ưu hóa LLM để cải thiện khả năng phục hồi an toàn.

2. Patent:​

  • Một hệ thống phần mềm cho phép các nhà phát triển đánh giá nhanh chóng rủi ro an toàn của các mô hình trí tuệ nhân tạo bằng cách ngoại suy kết quả từ các thử nghiệm tấn công giới hạn sang các kịch bản tấn công quy mô lớn.
  • Một ứng dụng di động có khả năng dự đoán lỗ hổng của các trợ lý ảo hoặc các tính năng AI khác trên điện thoại, giúp người dùng hoặc nhà sản xuất xác định và giảm thiểu các rủi ro bảo mật tiềm ẩn trước khi triển khai.
  • Một phương pháp tích hợp vào hệ điều hành điện thoại để tự động điều chỉnh cài đặt bảo mật của các ứng dụng sử dụng AI dựa trên phân tích thống kê về rủi ro tấn công lặp lại, nhằm bảo vệ dữ liệu người dùng và thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.22636
ArXiv Abstracthttps://arxiv.org/abs/2601.22636
PDF Downloadhttps://arxiv.org/pdf/2601.22636.pdf
Github RepositoryN/A

11. ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought (13 votes)​

Tác giả: Fanmeng Wang, Haotian Liu, Guojiang Zhao, Hongteng Xu, Zhifeng Gao

Xuất bản lúc: 2026-01-30

Tag: Latent Reasoning, Variational Auto-Encoder, Chain-of-Thought, Multi-modal

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) với kỹ thuật Chain-of-Thought (CoT) tuy tăng cường hiệu suất nhưng tạo ra các chuỗi suy luận tường minh gây ra sự dư thừa tính toán đáng kể, chi phí cao và độ trễ suy luận, hạn chế khả năng mở rộng. Các phương pháp suy luận tiềm ẩn (latent reasoning) hiện có cố gắng nén quá trình này nhưng thường bị suy giảm hiệu suất nghiêm trọng do thiếu hướng dẫn nén phù hợp, dẫn đến mất mát thông tin và trôi dạt ngữ nghĩa.

II. Main Idea:​

Bài báo đề xuất ReGuLaR (Rendered CoT-Guided variational Latent Reasoning), một mô hình suy luận tiềm ẩn mới giải quyết vấn đề trên. ReGuLaR xây dựng suy luận tiềm ẩn trong khuôn khổ Variational Auto-Encoding (VAE), lấy mẫu trạng thái suy luận tiềm ẩn hiện tại từ phân phối hậu nghiệm dựa trên các trạng thái trước đó. Để hướng dẫn quá trình nén và giảm thiểu mất mát thông tin, các chuỗi suy luận tường minh được "render" thành hình ảnh. Từ các hình ảnh này, các biểu diễn thị giác-ngữ nghĩa dày đặc được trích xuất để điều chỉnh phân phối hậu nghiệm của trạng thái suy luận tiềm ẩn trong quá trình huấn luyện. Đây là nghiên cứu đầu tiên áp dụng khung VAE cho suy luận tiềm ẩn và hỗ trợ suy luận đa phương thức bằng cách hiển thị các yếu tố phi văn bản cùng với văn bản.

III. Main Results:​

Các thử nghiệm rộng rãi cho thấy ReGuLaR vượt trội đáng kể so với các phương pháp suy luận tiềm ẩn hiện có về cả hiệu quả tính toán và hiệu quả suy luận. ReGuLaR đạt được hiệu suất hiện đại với độ dài suy luận tối thiểu và thậm chí còn vượt qua Chain-of-Thought tường minh trong các kịch bản suy luận phức tạp thông qua khả năng suy luận đa phương thức, cung cấp một giải pháp mới và sâu sắc cho suy luận tiềm ẩn.

IV. Conclusion & Future Works:​

ReGuLaR cung cấp một giải pháp hiệu quả cho suy luận tiềm ẩn bằng cách kết hợp khung VAE với sự hướng dẫn từ biểu diễn hình ảnh của các chuỗi suy luận tường minh. Phương pháp này không chỉ cải thiện hiệu suất và hiệu quả tính toán so với các phương pháp tiềm ẩn trước đây mà còn vượt qua cả CoT tường minh trong các tình huống đa phương thức phức tạp. (Không có phần "Future Works" cụ thể nào được đề cập trong đoạn trích.)

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu các phương pháp mã hóa hình ảnh (image encoding) tiên tiến hơn để nén thông tin từ chuỗi suy luận thành biểu diễn thị giác-ngữ nghĩa một cách hiệu quả hơn.
  • Khám phá việc tích hợp các hình thức thông tin đa phương thức khác (ví dụ: âm thanh, video) cùng với văn bản được render để hướng dẫn suy luận tiềm ẩn, mở rộng khả năng của mô hình.
  • Phát triển các chiến lược tối ưu hóa để điều chỉnh số lượng hình ảnh được render (K) so với độ dài chuỗi suy luận ban đầu (L) nhằm đạt được sự cân bằng tối ưu giữa hiệu quả và độ chính xác.

2. Patent:​

  • Một hệ thống xử lý ngôn ngữ trên điện thoại di động giúp tăng tốc độ phản hồi của trợ lý ảo bằng cách chuyển đổi quá trình suy luận nội bộ phức tạp thành các biểu diễn dữ liệu nhỏ gọn được hướng dẫn bởi hình ảnh, giảm thiểu độ trễ cho người dùng.
  • Một công nghệ tối ưu hóa tương tác người-máy trên thiết bị di động, cho phép các ứng dụng phức tạp như chatbot hoặc công cụ tìm kiếm thực hiện suy luận sâu mà không tốn nhiều tài nguyên pin và bộ nhớ bằng cách hiển thị và nén các bước suy nghĩ thành định dạng thị giác.
  • Một phương pháp tăng cường khả năng học tập và thích ứng của các ứng dụng thông minh trên điện thoại, trong đó các mô hình ngôn ngữ có thể học cách suy luận từ dữ liệu đa phương thức (văn bản và hình ảnh) được tạo ra từ chuỗi tư duy của người dùng, mang lại trải nghiệm cá nhân hóa và thông minh hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.23184
ArXiv Abstracthttps://arxiv.org/abs/2601.23184
PDF Downloadhttps://arxiv.org/pdf/2601.23184.pdf
Github Repositoryhttps://github.com/FanmengWang/ReGuLaR

12. DreamActor-M2: Universal Character Image Animation via Spatiotemporal In-Context Learning (12 votes)​

Tác giả: Mingshuang Luo, Shuang Liang, Zhengkun Rong, Yuxuan Luo, Tianshu Hu, Ruibing Hou, Hong Chang, Yong Li, Yuan Zhang, Mingyuan Gao

Xuất bản lúc: 2026-01-29

Tag: Diffusion, Image Animation, In-Context Learning, Generative Models, Video Generation

I. Main Problem:​

Bài báo giải quyết hai thách thức chính trong hoạt hình ảnh nhân vật (character image animation):

  1. Các chiến lược đưa thông tin chuyển động hiện tại chưa tối ưu, dẫn đến sự đánh đổi giữa việc bảo toàn danh tính nhân vật và tính nhất quán của chuyển động (hiệu ứng "see-saw").
  2. Sự phụ thuộc quá mức vào các thông tin tư thế rõ ràng (ví dụ: bộ xương), điều này không đủ để nắm bắt các động lực phức tạp và hạn chế khả năng tổng quát hóa cho các nhân vật tùy ý, phi nhân dạng.

II. Main Idea:​

Bài báo giới thiệu DreamActor-M2, một khung hoạt hình phổ quát giải quyết vấn đề điều kiện chuyển động như một bài toán "in-context learning". Phương pháp này tuân theo một mô hình hai giai đoạn:

  1. Giai đoạn 1 (Pose-based DreamActor-M2): Thu hẹp khoảng cách phương thức đầu vào bằng cách hợp nhất các tín hiệu hình ảnh tham chiếu và chuyển động vào một không gian tiềm ẩn thống nhất. Điều này cho phép mô hình đồng thời suy luận về danh tính không gian và động lực thời gian, tận dụng kiến thức sinh tạo từ các mô hình nền tảng và sử dụng xương 2D tăng cường làm ngữ cảnh chuyển động ban đầu. Một mô-đun hướng dẫn ngữ nghĩa chuyển động dựa trên MLLMs cũng được tích hợp để cải thiện sự liên kết ngữ nghĩa.
  2. Giai đoạn 2 (End-to-End DreamActor-M2): Giới thiệu một quy trình tổng hợp dữ liệu tự khởi tạo (self-bootstrapped) để tạo ra các cặp huấn luyện giả lập giữa các danh tính khác nhau. Điều này tạo điều kiện chuyển đổi liền mạch từ kiểm soát phụ thuộc vào tư thế sang hoạt hình trực tiếp, dựa trên đầu vào RGB từ đầu đến cuối, loại bỏ sự phụ thuộc vào các ước tính tư thế bên ngoài và tăng cường khả năng tổng quát hóa.

III. Main Results:​

DreamActor-M2 đạt được hiệu suất tiên tiến, mang lại độ chân thực hình ảnh vượt trội và khả năng tổng quát hóa mạnh mẽ trên các miền khác nhau. Bài báo cũng giới thiệu AWBench, một bộ tiêu chuẩn đa năng bao gồm nhiều loại nhân vật và kịch bản chuyển động để đánh giá toàn diện.

IV. Conclusion & Future Works:​

DreamActor-M2 đề xuất một chiến lược điều kiện chuyển động "in-context" theo không gian-thời gian, một quy trình tổng hợp và huấn luyện tự khởi tạo cho hoạt hình không cần tư thế từ đầu đến cuối, và một bộ tiêu chuẩn mới toàn diện để đánh giá. Những đóng góp này giúp giải quyết các hạn chế hiện có, tăng cường độ chân thực và khả năng tổng quát hóa trong hoạt hình ảnh nhân vật.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu cách tích hợp thêm các cảm biến chuyển động vật lý (ví dụ: IMU) để tạo ra các chuyển động nhân vật siêu thực trong môi trường ảo.
  • Phát triển một phương pháp tối ưu hóa việc tạo dữ liệu giả lập để cải thiện hiệu suất của mô hình đối với các loại nhân vật cực kỳ hiếm hoặc chưa từng thấy.
  • Khám phá việc ứng dụng khung DreamActor-M2 để tạo hoạt hình cho các đối tượng không phải nhân vật, ví dụ như logo hoặc biểu tượng động.

2. Patent:​

  • Một hệ thống ứng dụng trên điện thoại di động cho phép người dùng quay video của mình và chuyển động đó được áp dụng ngay lập tức lên một nhân vật hoạt hình tùy chỉnh của họ.
  • Một công nghệ trên điện thoại thông minh cho phép người dùng tải lên hình ảnh bất kỳ (ví dụ: thú cưng, đồ vật) và tạo ra hoạt ảnh chuyển động cho nó dựa trên một video mẫu.
  • Một ứng dụng trên điện thoại tích hợp camera, có khả năng nhận diện chuyển động của người dùng trong thời gian thực và điều khiển một nhân vật ảo trong game hoặc ứng dụng giải trí theo chuyển động đó mà không cần thiết bị cảm biến phụ trợ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.21716
ArXiv Abstracthttps://arxiv.org/abs/2601.21716
PDF Downloadhttps://arxiv.org/pdf/2601.21716.pdf
Github RepositoryN/A

13. DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment (12 votes)​

Tác giả: Haoyou Deng, Keyu Yan, Chaojie Mao, Xiang Wang, Yu Liu, Changxin Gao, Nong Sang

Xuất bản lúc: 2026-01-28

Tag: Flow Matching, Reinforcement Learning, Dense Reward, Text-to-Image Generation, GRPO, Model Alignment

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là "vấn đề phần thưởng thưa thớt" (sparse reward problem) trong các phương pháp dựa trên GRPO (Group Relative Policy Optimization) hiện có để căn chỉnh các mô hình khớp luồng (flow matching models) trong việc tạo ảnh từ văn bản. Cụ thể, phần thưởng cuối cùng của toàn bộ quá trình khử nhiễu được áp dụng cho tất cả các bước trung gian, dẫn đến sự không khớp giữa tín hiệu phản hồi tổng thể và đóng góp chi tiết, tinh tế tại mỗi bước khử nhiễu. Điều này làm sai lệch quá trình tối ưu hóa chính sách. Ngoài ra, còn có sự không phù hợp giữa cài đặt khám phá đồng nhất (uniform exploration setting) và cường độ nhiễu thay đổi theo thời gian, dẫn đến không gian khám phá không thích hợp.

II. Main Idea:​

Bài nghiên cứu giới thiệu DenseGRPO, một framework mới nhằm căn chỉnh ưu tiên của con người bằng cách sử dụng "phần thưởng dày đặc" (dense rewards), đánh giá đóng góp chi tiết của từng bước khử nhiễu.

  1. Dự đoán mức tăng phần thưởng theo bước: Đề xuất dự đoán mức tăng phần thưởng theo từng bước (step-wise reward gain) làm phần thưởng dày đặc cho mỗi bước khử nhiễu. Phương pháp này áp dụng một mô hình phần thưởng lên các hình ảnh sạch trung gian thông qua một cách tiếp cận dựa trên phương trình vi phân thông thường (ODE-based approach), đảm bảo sự phù hợp giữa tín hiệu phản hồi và đóng góp của các bước riêng lẻ.
  2. Hiệu chỉnh không gian khám phá: Dựa trên các phần thưởng dày đặc đã ước tính, phát hiện ra sự không phù hợp giữa cài đặt khám phá đồng nhất và cường độ nhiễu thay đổi theo thời gian trong các phương pháp dựa trên GRPO hiện có. Để khắc phục, đề xuất một lược đồ "nhận biết phần thưởng" (reward-aware scheme) nhằm hiệu chỉnh không gian khám phá bằng cách điều chỉnh thích ứng mức độ ngẫu nhiên theo timestep cụ thể trong bộ lấy mẫu SDE, đảm bảo không gian khám phá phù hợp ở tất cả các timestep.

III. Main Results:​

Các thí nghiệm rộng rãi trên nhiều bộ benchmark tiêu chuẩn đã chứng minh hiệu quả của DenseGRPO. Kết quả cho thấy DenseGRPO đạt được hiệu suất tiên tiến (state-of-the-art) và nhấn mạnh vai trò quan trọng của các phần thưởng dày đặc hợp lệ trong việc căn chỉnh mô hình khớp luồng.

IV. Conclusion & Future Works:​

DenseGRPO giải quyết vấn đề phần thưởng thưa thớt trong các phương pháp GRPO hiện có bằng cách giới thiệu phần thưởng dày đặc dựa trên ODE và một lược đồ hiệu chỉnh không gian khám phá nhận biết phần thưởng. Phương pháp này giúp tối ưu hóa chính sách hiệu quả hơn và căn chỉnh tốt hơn với ưu tiên của con người trong tạo ảnh từ văn bản. Hướng nghiên cứu tiếp theo có thể bao gồm mở rộng các nguyên tắc của phần thưởng dày đặc và lược đồ khám phá thích ứng này sang các miền tạo sinh khác hoặc cải thiện hiệu quả tính toán của việc ước tính phần thưởng dày đặc.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cách mở rộng việc áp dụng phần thưởng dày đặc của DenseGRPO cho việc căn chỉnh các mô hình tạo sinh video hoặc âm thanh để cải thiện tính chân thực và sự phù hợp với ưu tiên của người dùng.
  2. Khám phá việc tích hợp các phương pháp học tăng cường khác (không chỉ GRPO) với phần thưởng dày đặc được ước tính bằng ODE để xem xét sự tương thích và hiệu suất.
  3. Phát triển một phương pháp tự động học để điều chỉnh tham số cho lược đồ ngẫu nhiên nhận biết phần thưởng trong bộ lấy mẫu SDE, thay vì dựa vào các quy tắc được định nghĩa trước.

2. Patent:​

  1. Một hệ thống tạo ảnh thông minh trên điện thoại di động, cho phép người dùng tùy chỉnh ảnh theo từng bước nhỏ trong quá trình tạo, với phản hồi tức thì về sự hài lòng để điều chỉnh hướng tạo ảnh mà không cần đợi kết quả cuối cùng.
  2. Công nghệ tích hợp AI vào ứng dụng chỉnh sửa ảnh trên điện thoại để cung cấp các gợi ý cải thiện ảnh theo thời gian thực, trong đó mỗi chỉnh sửa nhỏ được đánh giá mức độ tăng giá trị hoặc giảm lỗi, hướng dẫn người dùng đến kết quả tối ưu.
  3. Một phương pháp tối ưu hóa quá trình tạo hình ảnh cho các avatar ảo hoặc nhân vật trong game trên thiết bị di động, tự động điều chỉnh các chi tiết nhỏ trong thiết kế dựa trên một hệ thống đánh giá phần thưởng cho từng thành phần, đảm bảo chất lượng cao và sự đồng nhất về phong cách.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.20218
ArXiv Abstracthttps://arxiv.org/abs/2601.20218
PDF Downloadhttps://arxiv.org/pdf/2601.20218.pdf
Github RepositoryN/A

14. SSL: Sweet Spot Learning for Differentiated Guidance in Agentic Optimization (11 votes)​

Tác giả: Jinyang Wu, Changpeng Yang, Yuhao Shen, Fangzhi Xu, Bolin Ni, Chonghua Liao, Yuchen Liu, Hongzhen Wang, Shuai Nie, Shuai Zhang, Haoran Luo, Jiaming Xu

Xuất bản lúc: 2026-01-30

Tag: Reinforcement Learning, Reward Shaping, Agent Optimization

I. Main Problem:​

Các phương pháp học tăng cường với phần thưởng có thể kiểm chứng (RLVR) hiện tại thường sử dụng phần thưởng nhị phân (thành công/thất bại). Điều này bỏ qua sự khác biệt về chất lượng giữa các quỹ đạo đạt được cùng một kết quả, dẫn đến ba thách thức chính: (i) Tính mơ hồ trong tối ưu hóa do thiếu hướng dẫn cụ thể; (ii) Hiệu quả học tập kém do không khai thác được kiến thức từ các quỹ đạo đa dạng; và (iii) Chính sách yếu do có thể khớp quá mức với các mẫu ngẫu nhiên thay vì hiểu nhiệm vụ một cách mạnh mẽ.

II. Main Idea:​

Bài báo giới thiệu SweetSpotLearning (SSL), một framework mới cung cấp hướng dẫn khác biệt cho việc tối ưu hóa tác tử. Lấy cảm hứng từ khái niệm "sweet spot" trong tennis, SSL áp dụng nguyên tắc phần thưởng phân cấp, được khuếch đại dần dần để hướng các chính sách đến vùng "sweet-spot" của không gian giải pháp. SSL gán các phần thưởng có thứ bậc cho các quỹ đạo dựa trên mức độ gần với việc hoàn thành nhiệm vụ một cách tối ưu. Cụ thể, nó định nghĩa các vùng "sweet-spot" theo thứ tự, tính toán điểm gần mục tiêu ở cấp độ bước, sau đó tổng hợp thành điểm cấp độ quỹ đạo, và cuối cùng phân loại điểm này thành các phần thưởng phân cấp. Nguyên tắc này thích ứng với nhiều loại nhiệm vụ: phần thưởng theo cấp độ khoảng cách cho nhiệm vụ nhận diện thị giác và điều hướng, và phần thưởng theo cấp độ tiến độ cho nhiệm vụ suy luận phức tạp.

III. Main Results:​

Về mặt lý thuyết, SSL được chứng minh là bảo toàn thứ tự giải pháp tối ưu và nâng cao tỷ lệ tín hiệu trên nhiễu của gradient, thúc đẩy tối ưu hóa có định hướng hơn. Về mặt thực nghiệm, SSL cho thấy sự cải thiện nhất quán so với các phương pháp cơ sở mạnh mẽ trên 12 bộ dữ liệu chuẩn, bao gồm nhận diện GUI, lập kế hoạch ngắn/dài hạn và suy luận phức tạp. Nó đạt được hiệu quả mẫu tăng gấp 2.5 lần (ví dụ: ngang bằng hoặc vượt GRPO với chỉ 40% số mẫu) và khả năng chuyển giao giữa các nhiệm vụ hiệu quả. Các ưu điểm chính bao gồm: hướng dẫn tối ưu hóa rõ ràng, hiệu quả được nâng cao và khả năng chuyển giao cùng hiệu suất vượt trội.

IV. Conclusion & Future Works:​

SSL thiết lập một nguyên tắc chung để đào tạo các tác tử có năng lực và mạnh mẽ bằng cách cung cấp hướng dẫn khác biệt thông qua hệ thống phần thưởng phân cấp, nhạy cảm với chất lượng. Công trình này tích hợp mô hình "sweet-spot" vào học tăng cường với các đảm bảo lý thuyết và chứng minh tính ứng dụng rộng rãi trên nhiều tác vụ khác nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu áp dụng SSL vào các lĩnh vực mới như robot học hoặc tạo ngôn ngữ tự nhiên, tập trung vào việc định lượng chất lượng kết quả.
  • Phát triển các phương pháp tự động hóa việc định nghĩa các vùng "sweet-spot" thay vì dựa vào các thiết lập thủ công.
  • Khám phá việc kết hợp SSL với các kỹ thuật tạo phần thưởng phức tạp hơn hoặc học tăng cường đa mục tiêu để tối ưu hóa đồng thời nhiều tiêu chí chất lượng.

2. Patent:​

  • Một hệ thống hướng dẫn người dùng trên điện thoại thông minh, cung cấp phản hồi theo cấp độ về hiệu quả thao tác, giúp người dùng thực hiện các hành động phức tạp một cách tối ưu hơn.
  • Công nghệ tối ưu hóa hành vi của trợ lý ảo trên thiết bị di động, nơi hệ thống điều chỉnh phản ứng của trợ lý dựa trên chất lượng chi tiết của kết quả hoàn thành nhiệm vụ, không chỉ dựa trên việc hoàn thành hay không.
  • Phương pháp huấn luyện các ứng dụng di động tự động thực hiện chuỗi hành động, trong đó ứng dụng được thưởng dựa trên mức độ tối ưu và trực tiếp của chuỗi hành động để đạt được mục tiêu cuối cùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.22491
ArXiv Abstracthttps://arxiv.org/abs/2601.22491
PDF Downloadhttps://arxiv.org/pdf/2601.22491.pdf
Github RepositoryN/A