🤗 Daily Hugging Face Paper Digest - 2026-02-10

Báo cáo được tạo tự động vào lúc 2026-02-12 09:48:12 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. QuantaAlpha: An Evolutionary Framework for LLM-Driven Alpha Mining (176 votes)

Tác giả: Jun Han, Shuo Zhang, Wei Li, Zhi Yang, Yifan Dong, Tu Hu, Jialuo Yuan, Xiaomin Yu, Yumo Zhu, Fangqi Lou, Xin Guo, Zhaowei Liu, Tianyi Jiang, Ruichuan An, Jingping Liu, Biao Wu, Rongze Chen, Kunyi Wang, Yifan Wang, Sen Hu, Xinbing Kong, Liwen Zhang, Ronghao Chen, Huacan Wang

Xuất bản lúc: 2026-02-06

Tag: LLMs, Evolutionary Algorithms, Agentic Systems, Quantitative Finance

I. Main Problem:

Thị trường tài chính nhiễu loạn và phi tĩnh tại, khiến việc khai thác alpha (alpha mining) rất nhạy cảm với nhiễu trong kết quả backtesting và các thay đổi đột ngột của chế độ thị trường. Các framework dựa trên tác tử (agentic frameworks) gần đây cải thiện tự động hóa alpha mining nhưng thường thiếu khả năng tìm kiếm đa vòng có thể kiểm soát và tái sử dụng kinh nghiệm đã được xác thực một cách đáng tin cậy. Cụ thể, các hệ thống hiện có đối mặt với ba hạn chế: (i) khả năng kiểm soát mong manh do phản hồi backtest nhiễu gây ra sự trôi dạt ngữ nghĩa và hướng cập nhật đến các mối tương quan giả tạo; (ii) độ tin cậy hạn chế do tái tạo ngẫu nhiên dựa trên các ngữ cảnh tạm thời, thiếu nguồn gốc có thể theo dõi; và (iii) thăm dò hạn chế do khai thác quá mức các vùng lân cận cục bộ, dẫn đến dư thừa, crowding yếu tố và hạn chế phạm vi tìm kiếm tổng thể.

II. Main Idea:

QuantaAlpha đề xuất một framework khai thác alpha theo hướng tiến hóa, coi mỗi lần chạy khai thác end-to-end là một quỹ đạo (trajectory) và cải thiện các yếu tố thông qua các thao tác đột biến (mutation) và lai ghép (crossover) ở cấp độ quỹ đạo. Framework này định vị các bước không tối ưu trong mỗi quỹ đạo để sửa đổi có mục tiêu và kết hợp lại các phân đoạn có phần thưởng cao bổ sung để tái sử dụng các mẫu hiệu quả, cho phép thăm dò và tinh chỉnh có cấu trúc qua các lần lặp khai thác. Trong quá trình tạo yếu tố, QuantaAlpha đảm bảo tính nhất quán ngữ nghĩa giữa giả thuyết, biểu thức yếu tố và mã thực thi, đồng thời hạn chế độ phức tạp và dư thừa của yếu tố được tạo ra để giảm thiểu crowding. Cụ thể:

Khởi tạo kế hoạch đa dạng (Diversified Planning Initialization): Tạo nhiều hướng nghiên cứu bổ sung để đạt được phạm vi phủ sóng rộng ban đầu trong không gian giả thuyết.
Tự tiến hóa (Self-Evolution): Thực hiện đột biến bằng cách định vị bước gây lỗi qua tự phản ánh và chỉ viết lại phân đoạn tương ứng, giữ nguyên phần còn lại của quỹ đạo. Lai ghép bằng cách kết hợp các phân đoạn bổ sung từ các quỹ đạo cha mẹ có phần thưởng cao để tái sử dụng cấu trúc giả thuyết, mẫu xây dựng và hành vi sửa chữa đã được xác thực.
Xác minh tính nhất quán: Sử dụng bộ xác minh dựa trên LLM để đánh giá sự phù hợp giữa giả thuyết, mô tả ngữ nghĩa, biểu thức tượng trưng và mã được tạo.
Kiểm soát độ phức tạp và dư thừa: Áp dụng các ràng buộc cấu trúc rõ ràng để thúc đẩy tính tiết kiệm và sự mới lạ của yếu tố, từ chối và viết lại bất kỳ yếu tố nào vi phạm giới hạn đã quy định.

III. Main Results:

QuantaAlpha vượt trội hơn tất cả các mô hình cơ sở mạnh mẽ và các hệ thống tác tử trước đây trên cả sức mạnh dự đoán yếu tố và hiệu suất cấp chiến lược trên chỉ số CSI 300.
Khi sử dụng GPT-5.2, QuantaAlpha đạt Hệ số thông tin (IC) là 0.1501, Tỷ suất lợi nhuận hàng năm (ARR) là 27.75% và Mức giảm tối đa (MDD) là 7.98%.
Các yếu tố được khai thác trên CSI 300 chuyển giao hiệu quả sang CSI 500 và S&P 500, mang lại lợi nhuận vượt trội tích lũy lần lượt là 160% và 137% trong bốn năm, cho thấy khả năng mạnh mẽ của QuantaAlpha dưới sự thay đổi phân phối thị trường.
QuantaAlpha cải thiện IC thêm 0.0535 và ARR thêm 12.21% so với AlphaAgent, đồng thời giảm MDD 4.91% khi sử dụng GPT-5.2.
Nghiên cứu loại bỏ cho thấy tất cả các thành phần tiến hóa (khởi tạo kế hoạch đa dạng, đột biến, lai ghép) và các kiểm soát (tính nhất quán, độ phức tạp, dư thừa) đều đóng góp đáng kể vào hiệu suất.
QuantaAlpha duy trì IC và Rank IC mạnh mẽ qua quá trình chuyển đổi chế độ thị trường (ví dụ: năm 2023), trong khi các phương pháp cơ sở bị suy giảm đáng kể.

IV. Conclusion & Future Works:

QuantaAlpha cung cấp một framework khai thác alpha theo hướng tiến hóa mạnh mẽ, giải quyết các thách thức về sự nhiễu loạn và phi tĩnh tại của thị trường tài chính thông qua cơ chế tự tiến hóa cấp độ quỹ đạo. Các yếu tố được phát hiện bởi QuantaAlpha không chỉ cho thấy sức mạnh dự đoán vượt trội và hiệu suất chiến lược trên dữ liệu trong phân phối mà còn thể hiện khả năng khái quát hóa mạnh mẽ và duy trì hiệu quả dưới các thay đổi phân phối thị trường đáng kể. Khả năng này cho thấy QuantaAlpha có thể tìm ra các yếu tố cấu trúc bền vững và ít nhạy cảm với phong cách vốn hóa thị trường, là một bước tiến quan trọng trong nghiên cứu định lượng.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về cơ chế tiến hóa (mutation và crossover) để tối ưu hóa hiệu quả tìm kiếm và tái sử dụng kinh nghiệm trong môi trường thị trường biến động cao.
Phát triển các phương pháp kiểm soát sự phức tạp và dư thừa của yếu tố (factor) một cách động, thích ứng với các điều kiện thị trường thay đổi để duy trì khả năng khái quát hóa.
Mở rộng khung QuantaAlpha để tích hợp các loại dữ liệu tài chính phi cấu trúc khác (ví dụ: tin tức, mạng xã hội) và xem xét tác động của chúng đến các chiến lược khai thác alpha.

2. Patent:

Ứng dụng quản lý danh mục đầu tư di động thông minh: Một ứng dụng di động cho phép người dùng cá nhân tạo và quản lý danh mục đầu tư của họ. Ứng dụng sẽ sử dụng một hệ thống trí tuệ nhân tạo để phân tích xu hướng thị trường và đưa ra các đề xuất về việc điều chỉnh danh mục, chẳng hạn như mua thêm cổ phiếu tiềm năng hoặc bán bớt những mã có rủi ro cao, dựa trên các "yếu tố dự đoán" được học hỏi từ dữ liệu lịch sử.
Hệ thống cảnh báo rủi ro thị trường cá nhân hóa: Một ứng dụng điện thoại cảnh báo người dùng về những biến động thị trường hoặc rủi ro tiềm ẩn đối với các khoản đầu tư của họ. Hệ thống này sẽ học hỏi từ các "mô hình thị trường" đã được xác thực để nhận diện các dấu hiệu chuyển đổi chế độ thị trường hoặc các yếu tố có thể ảnh hưởng tiêu cực đến tài sản, giúp người dùng đưa ra quyết định kịp thời thông qua các thông báo đẩy.
Công cụ tạo ý tưởng đầu tư tự động trên thiết bị di động: Một tính năng trên ứng dụng tài chính di động cho phép người dùng nhập các ý tưởng hoặc tiêu chí đầu tư của họ (ví dụ: "tìm cổ phiếu công nghệ có tăng trưởng ổn định"). Công cụ này sẽ sử dụng trí tuệ nhân tạo để "suy luận" và đề xuất các "chiến lược giao dịch" khả thi hoặc các mã cổ phiếu cụ thể phù hợp với tiêu chí, đồng thời giải thích lý do đằng sau đề xuất đó, giúp người dùng khám phá các cơ hội đầu tư mới một cách dễ dàng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.07085
ArXiv Abstract	https://arxiv.org/abs/2602.07085
PDF Download	https://arxiv.org/pdf/2602.07085.pdf
Github Repository	https://github.com/QuantaAlpha/QuantaAlpha

2. Weak-Driven Learning: How Weak Agents make Strong Agents Stronger (168 votes)

Tác giả: Zehao Chen, Gongxun Li, Tianxiang Ai, Yifei Li, Zixuan Huang, Wang Zhou, Fuzhen Zhuang, Xianglong Liu, Jianxin Li, Deqing Wang, Yikun Ban

Xuất bản lúc: 2026-02-09

Tag: LLMs, Post-training optimization, Supervised Fine-Tuning, Knowledge Distillation, Machine Learning

I. Main Problem:

Tình trạng bão hòa hiệu suất trong tối ưu hóa hậu huấn luyện các mô hình ngôn ngữ lớn (LLMs) là một vấn đề chính. Khi các mô hình trở nên tự tin cao, việc huấn luyện thêm mang lại hiệu quả giảm dần. Các phương pháp hiện có như Supervised Fine-Tuning (SFT), Knowledge Distillation (KD) và Curriculum Learning chỉ củng cố dự đoán mục tiêu mà bỏ qua các tín hiệu giám sát thông tin tiềm ẩn trong các trạng thái yếu lịch sử của chính mô hình. Việc giảm dần gradient giám sát gần điểm hội tụ dẫn đến bão hòa tối ưu hóa và làm cứng các logit, hạn chế khả năng cải thiện thêm.

II. Main Idea:

Nghiên cứu đề xuất WMSS (Weak Agents Can Make Strong Agents Stronger), một phương pháp hậu huấn luyện mới nhằm giải quyết vấn đề bão hòa. Phương pháp này tận dụng các checkpoint yếu (ví dụ: các trạng thái lịch sử của chính mô hình) để hướng dẫn tối ưu hóa tiếp theo. WMSS xác định các khoảng trống học tập có thể phục hồi thông qua động học entropy và củng cố chúng bằng học bù.

Điểm cốt lõi của "Học tập dẫn dắt bởi tác nhân yếu" (Weak-Driven Learning) là đảo ngược quy trình học tập truyền thống: một tác nhân yếu truyền tải sự không chắc chắn có cấu trúc và phơi bày các chế độ thất bại, buộc tác nhân mạnh đã có phải tinh chỉnh thêm ranh giới quyết định của mình.

WMSS hoạt động thông qua ba giai đoạn:

Khởi tạo: Thiết lập tác nhân yếu từ mô hình cơ sở ban đầu và tác nhân mạnh từ mô hình được tinh chỉnh bằng SFT.
Kích hoạt dữ liệu được tăng cường bằng chương trình giảng dạy (Curriculum-Enhanced Data Activation): Lấy mẫu các ví dụ huấn luyện dựa trên động học entropy (độ khó lịch sử, củng cố kiến thức, và sửa chữa các lỗi hồi quy).
Huấn luyện chung (Joint Training) thông qua trộn Logit: Trộn tuyến tính các logit của tác nhân mạnh và tác nhân yếu (zmix = λ zstrong + (1−λ) zweak) và tối ưu hóa tác nhân mạnh bằng phân phối logit đã trộn. Điều này giúp tái giới thiệu các giá trị âm khó (hard negatives), khuếch đại các gradient thông tin và ngăn chặn hiện tượng gradient biến mất, cho phép tối ưu hóa liên tục vượt qua điểm bão hòa của các phương pháp thông thường.

III. Main Results:

WMSS đạt được những cải thiện hiệu suất đáng kể mà không tốn thêm chi phí suy luận nào. Phương pháp này liên tục cải thiện hiệu suất trên các bộ dữ liệu thử thách về lý luận toán học và tạo mã.

Trên Qwen3-4B-Base: Độ chính xác lý luận toán học tăng từ 64.1% lên 69.1% (tăng tuyệt đối +5.0%), và độ chính xác tạo mã tăng từ 63.1% lên 66.8%.
Trên Qwen3-8B-Base: Độ chính xác toán học tăng từ 66.7% lên 72.9% (tăng +6.2%), và hiệu suất tạo mã tăng từ 71.2% lên 77.6%.

Các cải tiến rõ rệt nhất được ghi nhận trên các tác vụ khó và cấp độ thi đấu (ví dụ: trên AIME2025, WMSS tăng hiệu suất của Qwen3-4B-Base từ 12.2% lên 20.0%; Qwen3-8B-Base từ 15.6% lên 20.0%).

Phân tích logit cho thấy WMSS hoạt động thông qua cơ chế "đàn áp chi phối" (suppression-dominant), giảm đáng kể giá trị trung bình của logit không mục tiêu (zbg) tới 56.9% (từ 2.09 xuống 0.90), mở rộng khoảng cách giữa mục tiêu và nền (∆gap) thêm +1.41 điểm, dẫn đến các ranh giới quyết định sắc nét hơn và hiệu suất được cải thiện rõ rệt.

IV. Conclusion & Future Works:

Nghiên cứu này đã giới thiệu WMSS, một mô hình huấn luyện đảo ngược logic chưng cất truyền thống. Nó chứng minh rằng các checkpoint yếu lịch sử chứa đựng các tín hiệu hiệu chỉnh quan trọng cần thiết để phá vỡ sự đình trệ tối ưu hóa của Supervised Fine-Tuning (SFT) tiêu chuẩn. Phương pháp này đạt được khả năng mở rộng đáng kể, đặc biệt là tăng gấp đôi hiệu suất trên AIME2025.

Công trình này cung cấp một bằng chứng khái niệm cho quá trình tự tiến hóa tự chủ: sự điều chỉnh hiệu quả không nhất thiết đòi hỏi sự giám sát bên ngoài hoặc các mô hình lớn hơn. Thay vào đó, "phần thừa" của quá trình huấn luyện—những nhầm lẫn và yếu tố gây nhiễu trong lịch sử—có thể được tái sử dụng làm nhiên liệu để phá vỡ các giới hạn hiệu suất. Điều này mở ra một biên giới mới, hiệu quả về dữ liệu cho việc hậu huấn luyện các mô hình ngôn ngữ lớn, cho thấy chìa khóa để tạo ra các tác nhân mạnh hơn có thể nằm ở việc hiểu rõ hơn về các phiên bản yếu hơn của chính chúng.

V. Brainstorming Space:

1. Publish Papers:

Khám phá các phương pháp khác nhau để chọn hoặc tạo ra các "tác nhân yếu" vượt ra ngoài các checkpoint lịch sử đơn thuần, ví dụ như tác nhân yếu tổng hợp (synthetic weak agents) hoặc tác nhân được huấn luyện trên các tập con dữ liệu khó cụ thể.
Nghiên cứu ứng dụng của Học tập dẫn dắt bởi tác nhân yếu (Weak-Driven Learning) trong các lĩnh vực khác ngoài Large Language Models, như thị giác máy tính hoặc học tăng cường (reinforcement learning), nơi vấn đề bão hòa hiệu suất cũng là một thách thức.
Phát triển các chiến lược trộn logit (λ) thích nghi hoặc các phương pháp học chương trình giảng dạy phức tạp hơn dựa trên độ tin cậy của mô hình và các mẫu lỗi theo thời gian thực để tối ưu hóa hiệu quả học tập.

2. Patent:

Một ứng dụng bàn phím thông minh hoặc trợ lý viết trên điện thoại sử dụng một phiên bản "yếu" của mô hình ngôn ngữ (ví dụ: từ bản cập nhật trước hoặc được huấn luyện ít chuyên sâu hơn) để xác định các lỗi phổ biến, tinh vi mà mô hình "mạnh" hiện tại có thể bỏ qua. Sau đó, nó đưa ra các gợi ý tinh tế để cải thiện độ rõ ràng hoặc chính xác của văn bản theo thời gian thực. Điều này giúp người dùng viết tốt hơn bằng cách sửa các "điểm yếu" mà mô hình mạnh có thể không tập trung vào.
Một ứng dụng học tập cá nhân hóa trên điện thoại theo dõi tiến độ học tập của người dùng và xác định các khái niệm mà họ đang gặp khó khăn (các "điểm yếu"). Sau đó, ứng dụng sử dụng những điểm yếu này, so sánh chúng với kiến thức hiện tại mạnh hơn của người dùng, để tạo ra các bài tập bù trừ có mục tiêu nhằm củng cố kiến thức, thay vì chỉ lặp lại những gì người dùng đã biết rõ.
Một ứng dụng chỉnh sửa ảnh thông minh trên điện thoại sử dụng một phiên bản cũ hơn, ít tinh chỉnh hơn của mô hình xử lý hình ảnh để làm nổi bật các khiếm khuyết tinh tế hoặc cơ hội nghệ thuật (ví dụ: đường chân trời hơi lệch, sự mất cân bằng màu sắc) mà một bộ lọc hiện đại, được tối ưu hóa cao có thể bỏ qua. Điều này cho phép mô hình mạnh tinh chỉnh các gợi ý nghệ thuật của nó bằng cách tích cực học hỏi từ các "lỗi" hoặc "sơ suất" của chính phiên bản yếu hơn của nó, cung cấp các cải tiến ảnh cá nhân hóa và tinh tế hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.08222
ArXiv Abstract	https://arxiv.org/abs/2602.08222
PDF Download	https://arxiv.org/pdf/2602.08222.pdf
Github Repository	https://github.com/chenzehao82/Weak-Driven-Learning

3. MOVA: Towards Scalable and Synchronized Video-Audio Generation (143 votes)

Tác giả: SII-OpenMOSS Team, Donghua Yu, Mingshu Chen, Qi Chen, Qi Luo, Qianyi Wu, Qinyuan Cheng, Ruixiao Li, Tianyi Liang, Wenbo Zhang, Wenming Tu, Xiangyu Peng, Yang Gao, Yanru Huo, Ying Zhu, Yinze Luo, Yiyang Zhang, Yuerong Song, Zhe Xu, Zhiyu Zhang, Chenchen Yang, Cheng Chang, Chushu Zhou, Hanfu Chen, Hongnan Ma, Jiaxi Li, Jingqi Tong, Junxi Liu, Ke Chen, Shimin Li, Songlin Wang, Wei Jiang, Zhaoye Fei, Zhiyuan Ning, Chunguo Li, Chenhui Li, Ziwei He, Zengfeng Huang, Xie Chen, Xipeng Qiu

Xuất bản lúc: 2026-02-09

Tag: Video Generation, Audio Generation, Multimodal AI, Diffusion Models, Mixture-of-Experts, Deep Learning, Generative AI

I. Main Problem:

Các mô hình tạo nội dung nghe nhìn hiện tại thường bỏ qua thành phần âm thanh hoặc dựa vào các quy trình phân tầng (cascaded pipelines) không hiệu quả, dẫn đến chi phí tăng, lỗi tích lũy và chất lượng tổng thể suy giảm. Các hệ thống tiên tiến hiện có (như Veo3, Sora, Wan2.6) đều là mã nguồn đóng, hạn chế sự phát triển của nghiên cứu trong lĩnh vực này. Ngoài ra, việc tạo video-audio đồng bộ còn đối mặt với ba thách thức lớn: 1) Quy trình dữ liệu cần chú thích nghe nhìn chi tiết. 2) Khó khăn trong việc tích hợp các phương thức (modality fusion) do sự khác biệt về mật độ thông tin và hiệu quả cơ chế hợp nhất. 3) Việc xác minh khả năng mở rộng (scalability verification) khi hầu hết các mô hình mã nguồn mở hiện có chỉ hoạt động tốt trên quy mô nhỏ.

II. Main Idea:

Giới thiệu MOVA (MOSS Video and Audio), một mô hình mã nguồn mở có khả năng tạo nội dung nghe nhìn chất lượng cao, đồng bộ, bao gồm lời nói khớp môi chân thực, hiệu ứng âm thanh môi trường phù hợp và âm nhạc tương thích với nội dung. MOVA sử dụng kiến trúc Mixture-of-Experts (MoE) với tổng cộng 32 tỷ tham số (18 tỷ hoạt động trong quá trình suy luận) và hỗ trợ tác vụ tạo sinh IT2VA (Image-Text to Video-Audio).

Kiến trúc chính bao gồm một tháp video đã được huấn luyện trước (Wan2.2 I2VA14B) và một tháp âm thanh đã được huấn luyện trước (mô hình khuếch tán văn bản thành âm thanh 1.3B), được kết nối thông qua một module Bridge hai chiều sử dụng cơ chế cross-attention. Để giải quyết vấn đề trôi lệch thời gian, MOVA sử dụng phương pháp “Aligned RoPE” để đồng bộ hóa các lưới thời gian của video và audio.

Đồng thời, nhóm tác giả xây dựng một quy trình xử lý dữ liệu ba giai đoạn: 1) Tiền xử lý video để chuẩn hóa, phân đoạn và phát hiện hoạt động giọng nói/chuyển cảnh. 2) Đánh giá chất lượng nghe nhìn để lọc ra các clip chất lượng cao, đồng bộ. 3) Chú thích nghe nhìn chi tiết bằng cách sử dụng các mô hình đa phương thức (MiMo-VL cho video, Qwen3-Omni cho âm thanh) và một LLM (GPT-OSS-120B) để hợp nhất các chú thích.

Chiến lược huấn luyện gồm hai giai đoạn: 1) Huấn luyện trước tháp âm thanh độc lập. 2) Huấn luyện chung (joint training) toàn bộ mô hình với tốc độ học không đồng nhất (higher LR cho Bridge) và lịch trình nhiễu kép (dual sigma shift) để tối ưu hóa khả năng đồng bộ. Quá trình này diễn ra qua ba pha với dữ liệu và độ phân giải được tinh chỉnh dần.

III. Main Results:

MOVA thành công trong việc tạo ra nội dung nghe nhìn chất lượng cao, đồng bộ, bao gồm lời nói đa ngôn ngữ khớp môi chính xác, hiệu ứng âm thanh vật lý và văn bản cảnh. Mô hình hỗ trợ cả tỷ lệ khung hình 16:9 và 9:16. Việc huấn luyện liên tục cho thấy sự cải thiện về khả năng đồng bộ khớp môi và đồng bộ âm thanh-video.

Trong giai đoạn huấn luyện trước tháp âm thanh, mô hình đạt hiệu suất cạnh tranh trên benchmark AudioCaps với chỉ số IS (10.54) cao hơn AudioLDM2 (7.79), chỉ số FD openl3 (72.25) tương đương và KL divergence (1.47) tốt hơn AudioLDM2 (1.66), cho thấy tính đa dạng, độ trung thực ngữ nghĩa và sự phù hợp phân phối tốt hơn.

Trên AudioBox Benchmark (đánh giá theo ưu tiên của con người), MOVA đạt kết quả tốt nhất về Tính nhất quán (Consistency, CU = 5.56) và Chất lượng cảm nhận (Perceptual Quality, PQ = 6.20), vượt qua các mô hình tiên tiến như AudioLDM2 và Tango2. Mã nguồn và trọng số mô hình đã được phát hành công khai, khuyến khích nghiên cứu và sáng tạo trong cộng đồng.

IV. Conclusion & Future Works:

MOVA là một mô hình mã nguồn mở tiên phong, thể hiện khả năng tạo video và âm thanh đồng bộ và có khả năng mở rộng. Thành công này đạt được thông qua kiến trúc dual-tower MoE, quy trình xử lý dữ liệu toàn diện và chiến lược huấn luyện tiến bộ. Việc phát hành mã nguồn và trọng số mô hình nhằm mục đích thúc đẩy nghiên cứu và xây dựng một cộng đồng các nhà sáng tạo sôi động, từ đó mở ra nhiều hướng phát triển và ứng dụng tiềm năng trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về cơ chế tương tác đa phương thức (modality fusion) hiệu quả hơn giữa video và audio, đặc biệt là trong các kịch bản động và phức tạp để nâng cao chất lượng đồng bộ.
Khám phá các phương pháp mới để tự động tạo dữ liệu chú thích đa phương thức chất lượng cao, giảm sự phụ thuộc vào các quy trình thủ công hoặc bán tự động, giúp mở rộng quy mô dữ liệu huấn luyện.
Mở rộng khả năng của MOVA để hỗ trợ các tác vụ tạo sinh có điều kiện nâng cao hơn, ví dụ như điều khiển cảm xúc, phong cách nghệ thuật, hoặc tương tác người dùng theo thời gian thực.

2. Patent:

Hệ thống tạo video ngắn tự động có nhạc nền và hiệu ứng âm thanh đồng bộ trên điện thoại thông minh: Ứng dụng này cho phép người dùng nhập văn bản mô tả hoặc hình ảnh ban đầu, sau đó thiết bị sẽ tự động tạo ra một đoạn video ngắn với hình ảnh và âm thanh (bao gồm lời thoại được đồng bộ với cử động môi và hiệu ứng âm thanh môi trường) phù hợp, hoàn toàn đồng bộ, giúp người dùng dễ dàng tạo nội dung chuyên nghiệp chỉ với vài thao tác trên điện thoại của mình.
Công nghệ điều chỉnh âm thanh video thông minh dựa trên ngữ cảnh thị giác trên thiết bị di động: Khi người dùng quay video hoặc chỉnh sửa video có sẵn trên điện thoại, hệ thống sẽ phân tích nội dung hình ảnh để tự động đề xuất hoặc điều chỉnh âm lượng, loại bỏ tiếng ồn, hoặc thêm hiệu ứng âm thanh phù hợp với cảnh quay (ví dụ: tiếng sóng biển khi quay bãi biển, tiếng chim hót khi quay rừng), đảm bảo trải nghiệm âm thanh chân thực và đồng bộ với hình ảnh, tăng cường chất lượng video chỉ bằng điện thoại.
Ứng dụng tạo hình ảnh động kèm giọng nói lip-sync cho tin nhắn hoặc avatar cá nhân trên điện thoại: Người dùng có thể chọn một hình ảnh tĩnh hoặc avatar của mình, nhập đoạn văn bản mong muốn, và ứng dụng sẽ tạo ra một đoạn hoạt hình ngắn trong đó avatar hoặc hình ảnh đó "nói" đoạn văn bản đã nhập với cử động môi được đồng bộ chính xác, có thể dùng làm biểu tượng cảm xúc động, tin nhắn video ngắn hoặc ảnh đại diện sinh động trên các nền tảng mạng xã hội ngay trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.08794
ArXiv Abstract	https://arxiv.org/abs/2602.08794
PDF Download	https://arxiv.org/pdf/2602.08794.pdf
Github Repository	https://github.com/OpenMOSS/MOVA

4. Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models (128 votes)

Tác giả: Xiaomin Yu, Yi Xin, Wenjie Zhang, Chonghan Liu, Hanzhen Zhao, Xiaoxing Hu, Xinlei Yu, Ziyue Qiao, Hao Tang, Xue Yang, Xiaobin Hu, Chengwei Qin, Hui Xiong, Yu Qiao, Shuicheng Yan

Xuất bản lúc: 2026-02-02

Tag: MLLMs, Multimodal Learning, Representation Learning, Modality Alignment, Contrastive Learning

I. Main Problem:

Dù học tăng cường đa phương thức (multimodal contrastive learning) đã thành công trong việc căn chỉnh biểu diễn thị giác và ngôn ngữ, một bất thường hình học dai dẳng, được gọi là Modality Gap, vẫn tồn tại. Cụ thể, các embedding của các phương thức khác nhau biểu thị ngữ nghĩa giống hệt nhau lại chiếm các vùng không gian biểu diễn bị lệch một cách có hệ thống. Các phương pháp trước đây để thu hẹp khoảng cách này chủ yếu bị hạn chế bởi các giả định đẳng hướng (isotropic assumptions) quá đơn giản, cản trở việc áp dụng chúng trong các kịch bản quy mô lớn. Điều này dẫn đến sự thiếu chính xác trong việc mô hình hóa hình dạng hình học của Modality Gap và hạn chế khả năng mở rộng hiệu quả của Multimodal Large Language Models (MLLMs) khi sử dụng dữ liệu không ghép đôi (unpaired data) dồi dào.

II. Main Idea:

Bài báo giải quyết các hạn chế hiện có bằng cách mô tả chính xác hình dạng hình học của Modality Gap và tận dụng nó để mở rộng quy mô mô hình hiệu quả.

Lý thuyết Modality Gap Khung cố định (Fixed-frame Modality Gap Theory): Đề xuất phân tách Modality Gap trong một khung tham chiếu cố định thành các Stable Bias (thiên vị ổn định) và Anisotropic Residuals (phần dư bất đẳng hướng).
Chiến lược ReAlign: Một chiến lược căn chỉnh phương thức không cần huấn luyện, bảo toàn hình học, bao gồm ba bước:
- Anchor Alignment: Căn chỉnh neo, khớp các thống kê bậc một (giá trị trung bình).
- Trace Alignment: Căn chỉnh vết, khớp tỷ lệ phương sai toàn cục.
- Centroid Alignment: Căn chỉnh trọng tâm, sửa chữa độ trôi hình học do phép chiếu hình cầu gây ra, giải quyết vấn đề "Phantom Drift". ReAlign sử dụng thống kê từ dữ liệu không ghép đôi lớn để căn chỉnh biểu diễn văn bản vào phân phối biểu diễn hình ảnh thông qua các phép biến đổi tuyến tính và chuẩn hóa.
Mô hình đào tạo ReVision: Một mô hình đào tạo có thể mở rộng cho MLLM, tích hợp ReAlign vào giai đoạn tiền huấn luyện (pretraining).
- Tiền huấn luyện thay thế phương thức (Modality Substitution Pretraining): Sử dụng toán tử ReAlign để chuyển đổi văn bản dài quy mô lớn thành các biểu diễn giả hình ảnh (pseudo-visual representations). Một bộ điều hợp (adapter) được huấn luyện trên các biểu diễn này (trong khi xương sống LLM được đóng băng), cho phép mô hình hấp thụ kiến thức thế giới phong phú và ngữ nghĩa hình ảnh hoàn toàn từ dữ liệu văn bản mà không cần các cặp hình ảnh-văn bản đắt đỏ.
- Điều chỉnh hướng dẫn thị giác (Visual Instruction Tuning): Hình ảnh thực được đưa vào để học có giám sát tiêu chuẩn nhằm bổ sung các chi tiết thị giác tinh tế có thể bị mất trong quá trình căn chỉnh thuần túy thống kê, từ đó tinh chỉnh khả năng của mô hình để tuân thủ các hướng dẫn phức tạp.

III. Main Results:

Giảm Modality Gap hiệu quả hơn: ReAlign giảm Modality Gap xuống quy mô 10^-4 (ví dụ: 2.64x10^-4 trên Bunny, 1.39x10^-4 trên DenseFusion), vượt trội hơn C3 vốn bị trì trệ ở mức xấp xỉ 0.0023 do giả định đẳng hướng. ReAlign phá vỡ "nút thắt cổ chai hình học" này bằng cách khớp vết ma trận hiệp phương sai (covariance trace) một cách thích ứng, thể hiện khả năng thích ứng vượt trội.
Cải thiện hiệu suất MLLM: ReVision đạt điểm trung bình cao nhất (51.16) trong các kịch bản đào tạo MLLM quy mô lớn, vượt trội đáng kể so với C3 Align (48.06).
Giảm ảo giác (Hallucination): ReVision thể hiện lợi thế rõ rệt trong các chỉ số ảo giác (CRPE: 81.78, HallBench: 46.58), điều này được cho là nhờ việc điều chỉnh "Phantom Drift", giúp ngăn chặn việc overfitting vào các sai lệch hướng giả tạo và dẫn đến grounding hình ảnh trung thực hơn.
Bảo toàn hệ thống phân cấp ngữ nghĩa: ReAlign bảo toàn sự phân rã phổ (spectral decay), duy trì sự phong phú về cấu trúc của các đặc trưng, trái ngược với nhiễu đẳng hướng của C3 gây ra hiệu ứng làm trắng (whitening effect) và làm xói mòn hệ thống phân cấp ngữ nghĩa tinh tế cần thiết cho suy luận phức tạp.
Xác thực khả năng mở rộng: Khung công việc chứng minh rằng dữ liệu không ghép đôi được căn chỉnh thống kê có thể thay thế hiệu quả các cặp hình ảnh-văn bản đắt đỏ, mang lại một con đường mạnh mẽ cho việc mở rộng quy mô MLLM hiệu quả, với việc tiền huấn luyện chỉ bằng văn bản vượt trội hơn các phương pháp cơ bản truyền thống được huấn luyện trên dữ liệu hình ảnh-văn bản ghép đôi quy mô lớn.

IV. Conclusion & Future Works:

Bài báo đã thiết lập một Khung Modality Gap Khung cố định (Fixed-frame Modality Gap Framework) phân tách Modality Gap thành các Stable Bias và Anisotropic Residuals, vượt qua các giả định đẳng hướng đơn giản hóa quá mức. Chiến lược ReAlign không cần huấn luyện được giới thiệu để căn chỉnh thống kê chính xác các biểu diễn. Dựa trên đó, mô hình đào tạo ReVision có thể mở rộng đã được đề xuất, tận dụng ReAlign để thay thế hiệu quả dữ liệu ghép đôi đắt đỏ bằng văn bản không ghép đôi dồi dào, từ đó mang lại một con đường hiệu quả cho việc mở rộng quy mô MLLM. Các kết quả thử nghiệm xác nhận hiệu quả và khả năng mở rộng của mô hình này.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về các dạng bất đẳng hướng (anisotropy) khác nhau trong các embedding đa phương thức và ảnh hưởng của chúng đến các tác vụ hạ nguồn (downstream tasks).
Mở rộng ReAlign để xử lý các phương thức đa dạng hơn (ví dụ: dữ liệu âm thanh, dữ liệu 3D) với dữ liệu không ghép đôi.
Điều tra việc xây dựng không gian con động thích ứng (adaptive dynamic subspace construction) để phân tách Modality Gap thay vì khung tham chiếu cố định.

2. Patent:

Tìm kiếm và Tổ chức Ảnh Thông minh: Một hệ thống trên điện thoại có khả năng hiểu nội dung ảnh ngay cả khi không có chú thích, bằng cách căn chỉnh các đặc điểm hình ảnh với kho kiến thức văn bản nội bộ. Người dùng có thể tìm kiếm "ảnh mèo của tôi đang chơi" ngay cả khi chưa bao giờ thêm chú thích, và điện thoại sẽ tự động hiểu ngữ cảnh hình ảnh.
Trợ lý Đa phương thức Ngoại tuyến: Một trợ lý ảo trên thiết bị có thể xử lý các truy vấn hình ảnh đơn giản (ví dụ: "Đây là vật gì?") bằng cách sử dụng kiến thức thu được từ lượng lớn văn bản, mà không cần kết nối internet để truy cập dữ liệu hình ảnh-văn bản ghép đôi. Điều này tận dụng việc căn chỉnh trước kiến thức văn bản sang các biểu diễn giả hình ảnh.
Tạo Nội dung Cá nhân hóa từ Văn bản: Một tính năng điện thoại có thể tạo ra các mô tả giống hình ảnh hoặc thậm chí là các khái niệm thị giác cơ bản (ví dụ: biểu tượng cảm xúc, nhãn dán, hoặc phác thảo đơn giản) trực tiếp từ các đầu vào văn bản, dựa trên sự hiểu biết nội bộ về cách văn bản liên quan đến các khái niệm thị giác đã được học từ văn bản không ghép đôi. Tính năng này có thể được sử dụng để nhắn tin hoặc tạo nội dung cá nhân hóa.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.07026
ArXiv Abstract	https://arxiv.org/abs/2602.07026
PDF Download	https://arxiv.org/pdf/2602.07026.pdf
Github Repository	https://github.com/Yu-xm/ReVision.git

5. Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning (64 votes)

Tác giả: Yalcin Tur, Jalal Naghiyev, Haoquan Fang, Wei-Chuan Tsai, Jiafei Duan, Dieter Fox, Ranjay Krishna

Xuất bản lúc: 2026-02-08

Tag: VLA, Recurrent Neural Networks, Latent Reasoning, Robotics, Adaptive Compute, Transformers

I. Main Problem:

Các mô hình Vision–Language–Action (VLA) hiện tại dựa vào độ sâu tính toán cố định, tiêu tốn cùng một lượng tài nguyên cho cả những điều chỉnh đơn giản và các thao tác phức tạp nhiều bước. Mặc dù Chain-of-Thought (CoT) prompting cho phép tính toán biến đổi, nhưng nó làm tăng bộ nhớ tuyến tính và không phù hợp với không gian hành động liên tục. Các phương pháp suy luận hiện có thường thực hiện suy luận ở cấp độ token, dẫn đến sự thiếu hiệu quả hoặc không phù hợp với yêu cầu điều khiển robot liên tục. Hơn nữa, việc suy luận trong không gian đầu ra yêu cầu chuyển đổi lặp đi lặp lại giữa không gian tiềm ẩn (latent space) và không gian đầu ra rời rạc, gây ra tắc nghẽn thông tin và nhiễu lượng tử hóa, hạn chế độ trung thực của suy luận.

II. Main Idea:

Giới thiệu Recurrent-Depth VLA (RD-VLA), một kiến trúc đạt được khả năng thích ứng tính toán thông qua tinh chỉnh lặp lại tiềm ẩn (latent iterative refinement) thay vì tạo token rõ ràng. RD-VLA sử dụng một đầu hành động lặp lại, gắn trọng số, hỗ trợ độ sâu suy luận tùy ý với lượng bộ nhớ không đổi. Mô hình được huấn luyện bằng truncated backpropagation through time (TBPTT) để giám sát hiệu quả quá trình tinh chỉnh. Tại thời điểm suy luận, RD-VLA tự động phân bổ tính toán bằng cách sử dụng tiêu chí dừng thích ứng dựa trên sự hội tụ tiềm ẩn (latent convergence). Kiến trúc này phân tách đầu hành động thành ba giai đoạn: một ngăn xếp mã hóa ban đầu (Prelude), một khối lặp lại gắn trọng số (Recurrent Core) để tinh chỉnh lặp lại, và một lớp chiếu cuối cùng (Coda). Điều này cho phép suy luận robot diễn ra hoàn toàn trong không gian biểu diễn, bỏ qua nhu cầu giải mã các token trung gian hoặc thực hiện các lần lặp khử nhiễu tốn kém trong không gian hành động. Tiêu chí dừng thích ứng dựa trên khoảng cách Kullback-Leibler (KL) giữa các phân phối hành động của các lần lặp liên tiếp, được ước tính bằng Mean Squared Error (MSE).

III. Main Results:

Các thử nghiệm trên các tác vụ thao tác đầy thách thức cho thấy độ sâu lặp lại là rất quan trọng: các tác vụ thất bại hoàn toàn (0% thành công) với suy luận một lần lặp đạt hơn 90% thành công với bốn lần lặp, trong khi các tác vụ đơn giản hơn nhanh chóng đạt mức bão hòa. RD-VLA cung cấp một con đường có khả năng mở rộng cho tính toán tại thời điểm thử nghiệm trong robot, thay thế suy luận dựa trên token bằng suy luận tiềm ẩn để đạt được mức sử dụng bộ nhớ không đổi và tăng tốc độ suy luận lên đến 80 lần so với các mô hình VLA dựa trên suy luận trước đây. RD-VLA đạt 93.0% thành công với số lần lặp cố định và 92.5% với tính toán thích ứng dựa trên sự không chắc chắn trên benchmark LIBERO, vượt trội hơn các VLA end-to-end mạnh mẽ và tất cả các VLA tập trung vào suy luận. Trên benchmark CALVIN, RD-VLA đạt độ dài tác vụ trung bình là 3.39 và tỷ lệ thành công tác vụ 5 là 45.3%, thể hiện khả năng khái quát hóa tầm xa mạnh mẽ. Cuối cùng, RD-VLA chuyển giao hiệu quả sang các thiết lập robot thế giới thực, đạt hiệu suất mạnh mẽ trên các tác vụ tầm xa đầy thách thức như nướng bánh mì và gấp khăn.

IV. Conclusion & Future Works:

RD-VLA là kiến trúc tiên phong trong việc áp dụng suy luận lặp lại tiềm ẩn cho các chính sách thị giác-vận động, chứng minh khả năng mở rộng tính toán tại thời điểm thử nghiệm mà không chịu gánh nặng bộ nhớ và độ trễ của việc tạo Chain-of-Thought tự hồi quy. Mô hình này sử dụng hiệu quả các lần lặp để tinh chỉnh trạng thái nội bộ, với hiệu suất tăng tuyến tính logarit theo độ sâu tính toán. Kiến trúc này mở ra những khả năng mới cho các tác nhân robot: khả năng 'suy nghĩ' lâu hơn cho các tác vụ khó hơn và khả năng tự đo lường sự không chắc chắn thông qua sự hội tụ tiềm ẩn. Công việc này mở ra một không gian thiết kế mới cho các chính sách robot hiệu quả, có khả năng suy luận. Các hướng nghiên cứu trong tương lai bao gồm tối ưu hóa các chế độ cho tính toán thích ứng và khám phá các quy luật mở rộng của sự lặp lại tiềm ẩn, cũng như giải quyết giới hạn của khả năng khái quát hóa độ sâu (sự bão hòa trạng thái hoặc suy giảm hiệu suất khi mở rộng số lần lặp vượt quá ngưỡng tối ưu) và thiết kế các cơ chế can thiệp cụ thể tại thời điểm thử nghiệm (ví dụ: tự động dừng thực thi hoặc yêu cầu hỗ trợ của người vận hành nếu phương sai giữa các trạng thái lặp lại vượt quá ngưỡng an toàn).

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các đổi mới kiến trúc hoặc các giao thức huấn luyện cụ thể để giải quyết giới hạn khái quát hóa độ sâu của các mô hình lặp, nhằm ngăn chặn sự bão hòa trạng thái hoặc suy giảm hiệu suất khi số lần lặp tăng quá mức.
Phát triển các triển khai cụ thể cho khả năng can thiệp tại thời điểm thử nghiệm, như việc tự động dừng thực thi hoặc yêu cầu hỗ trợ từ người vận hành dựa trên các chỉ số không chắc chắn nội bộ được suy ra từ các trạng thái lặp lại.
Khám phá các phương pháp lai (hybrid approaches) nơi độ sâu lặp lại được điều chỉnh trên mỗi token để nâng cao khả năng suy luận Chain-of-Thought trong các tác nhân robot, kết hợp lợi ích của cả hai phương pháp.

2. Patent:

Một hệ thống trợ lý ảo trên điện thoại thông minh có khả năng tự động điều chỉnh mức độ suy luận cần thiết cho các yêu cầu của người dùng. Ví dụ, khi người dùng yêu cầu lập kế hoạch một lịch trình phức tạp với nhiều ràng buộc, hệ thống sẽ tự động thực hiện nhiều bước suy luận bên trong để đưa ra một kế hoạch tối ưu và chi tiết hơn. Ngược lại, đối với các yêu cầu đơn giản như tìm kiếm thông tin nhanh, hệ thống sẽ phản hồi gần như ngay lập tức với ít bước suy luận hơn, giúp tối ưu hóa hiệu suất và sử dụng pin hiệu quả trên điện thoại.
Một ứng dụng chỉnh sửa ảnh hoặc video trên điện thoại sử dụng cơ chế tinh chỉnh lặp lại bên trong để đạt được sự hiểu biết sâu sắc hơn về nội dung hình ảnh. Điều này cho phép ứng dụng thực hiện các chỉnh sửa thông minh và ngữ cảnh hơn, ví dụ như tự động cải thiện bố cục, màu sắc hoặc ánh sáng một cách tinh tế dựa trên phân tích nhiều lần trong không gian biểu diễn ẩn, thay vì chỉ áp dụng các bộ lọc cố định. Ứng dụng có thể "suy nghĩ" nhiều lần để đưa ra đề xuất loại bỏ vật thể không mong muốn hoặc tạo hiệu ứng chuyển động mượt mà phù hợp với chủ thể chính.
Một hệ thống điều khiển robot hoặc thiết bị thông minh qua điện thoại có khả năng suy luận thích ứng với độ phức tạp của tác vụ. Khi người dùng ra lệnh cho robot thực hiện một chuỗi hành động phức tạp trong môi trường thay đổi, hệ thống sẽ sử dụng nhiều bước suy luận hơn để lập kế hoạch an toàn và hiệu quả. Ví dụ, trong một ứng dụng robot hút bụi, khi phát hiện môi trường phức tạp hoặc có vật cản mới, robot sẽ tự động "suy nghĩ" lâu hơn để tìm đường đi tối ưu và tránh va chạm. Đối với các tác vụ đơn giản, robot sẽ phản ứng nhanh chóng, cải thiện độ tin cậy và trải nghiệm người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.07845
ArXiv Abstract	https://arxiv.org/abs/2602.07845
PDF Download	https://arxiv.org/pdf/2602.07845.pdf
Github Repository	https://github.com/rd-vla/rd-vla

6. AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents (64 votes)

Tác giả: Alisia Lupidi, Bhavul Gauri, Thomas Simon Foster, Bassel Al Omari, Despoina Magka, Alberto Pepe, Alexis Audran-Reiss, Muna Aghamelu, Nicolas Baldwin, Lucia Cipolina-Kun, Jean-Christophe Gagnon-Audet, Chee Hau Leow, Sandra Lefdal, Hossam Mossalam, Abhinav Moudgil, Saba Nazir, Emanuel Tewolde, Isabel Urrego, Jordi Armengol Estape, Amar Budhiraja, Gaurav Chaurasia, Abhishek Charnalia, Derek Dunfield, Karen Hambardzumyan, Daniel Izcovich, Martin Josifoski, Ishita Mediratta, Kelvin Niu, Parth Pathak, Michael Shvartsman, Edan Toledo, Anton Protopopov, Roberta Raileanu, Alexander Miller, Tatiana Shavrina, Jakob Foerster, Yoram Bachrach

Xuất bản lúc: 2026-02-06

Tag: LLM Agents, Benchmarking, AI Research, Machine Learning

I. Main Problem:

Các tác nhân mô hình ngôn ngữ lớn (LLM) có tiềm năng đáng kể trong việc thúc đẩy nghiên cứu khoa học, nhưng vẫn thiếu một khuôn khổ tiêu chuẩn để đo lường chính xác hiệu suất của chúng trong công việc thực tế của một nhà khoa học nghiên cứu. Nghiên cứu ML từ lâu đã gặp khó khăn với khả năng tái sản xuất và nhiễu thống kê, và mô hình tác nhân còn phức tạp hơn với các vấn đề như nhiễm độc dữ liệu (do LLM được huấn luyện trên lượng lớn dữ liệu internet), chuẩn hóa môi trường (khó so sánh thành công giữa các nghiên cứu khác nhau) và chi phí tính toán cao (làm cho các thử nghiệm mở rộng trở nên khó khăn). Những yếu tố này đã làm trầm trọng thêm 'khủng hoảng đánh giá' của các tác nhân nghiên cứu AI.

II. Main Idea:

Để giải quyết những hạn chế này, các tác giả giới thiệu AIRS-Bench (AI Research Science Benchmark), một bộ gồm 20 nhiệm vụ được lấy từ các bài báo Machine Learning tiên tiến. AIRS-Bench được thiết kế để đánh giá khả năng của tác nhân trong toàn bộ vòng đời nghiên cứu — bao gồm tạo ý tưởng, phân tích thử nghiệm và tinh chỉnh lặp đi lặp lại — mà không cung cấp mã cơ sở (baseline code). Định dạng nhiệm vụ của AIRS-Bench linh hoạt, cho phép dễ dàng tích hợp các nhiệm vụ mới và so sánh chặt chẽ giữa các khuôn khổ tác nhân khác nhau. Các tác giả thiết lập đường cơ sở bằng cách sử dụng các mô hình tiên tiến kết hợp với cả giàn giáo tuần tự và song song. Họ cũng đưa ra một tiêu chuẩn cấu hình nhiệm vụ và các chỉ số đánh giá cố định để đảm bảo khả năng tái sản xuất và giảm thiểu sự không nhất quán về thời gian chạy và môi trường. Ngoài ra, một giao thức đánh giá được định nghĩa, bao gồm tỷ lệ gửi hợp lệ trung bình, điểm hiệu suất được chuẩn hóa và xếp hạng Elo để đánh giá toàn diện các tác nhân.

III. Main Results:

Các tác nhân vượt qua trạng thái nghệ thuật (SOTA) của con người trong bốn nhiệm vụ nhưng không đạt được SOTA trong mười sáu nhiệm vụ khác. Ngay cả khi các tác nhân vượt qua các điểm chuẩn của con người, chúng vẫn chưa đạt đến giới hạn hiệu suất lý thuyết cho các nhiệm vụ cơ bản. Những phát hiện này chỉ ra rằng AIRS-Bench còn lâu mới bão hòa và có nhiều chỗ cho sự cải thiện đáng kể. Phân tích thực nghiệm cho thấy sự biến động lớn về hiệu suất giữa các mô hình và scaffold khác nhau. Các tác nhân đã được chứng minh là có thể khám phá ra các kết hợp tiếp cận hiệu quả, vượt qua SOTA. Điều này củng cố ý tưởng rằng AIRS-Bench là một công cụ mạnh mẽ để thúc đẩy sự phát triển của các tác nhân nghiên cứu AI.

IV. Conclusion & Future Works:

AIRS-Bench còn rất nhiều tiềm năng để phát triển các tác nhân nghiên cứu AI, và các tác giả đã công khai các định nghĩa nhiệm vụ và mã đánh giá của AIRS-Bench để thúc đẩy sự phát triển hơn nữa trong nghiên cứu khoa học tự động. Trong tương lai, có thể mở rộng AIRS-Bench sang các lĩnh vực khoa học bổ sung. Bộ điểm chuẩn này được định vị tốt để theo dõi tiến trình hướng tới việc phát triển các tác nhân nghiên cứu AI đạt trạng thái nghệ thuật.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các chiến lược học tập và suy luận mới cho các tác nhân LLM để cải thiện hiệu suất trên 16 nhiệm vụ mà chúng chưa đạt được SOTA của con người.
Nghiên cứu và thiết kế các kiến trúc scaffold và thuật toán tìm kiếm tiên tiến hơn, có khả năng khám phá không gian giải pháp hiệu quả hơn và đạt được giới hạn hiệu suất lý thuyết.
Mở rộng bộ nhiệm vụ AIRS-Bench sang các lĩnh vực khoa học khác hoặc tích hợp các loại dữ liệu phức tạp hơn (ví dụ: dữ liệu đa phương thức) để thử thách các tác nhân AI ở cấp độ cao hơn.

2. Patent:

Một ứng dụng di động cho phép người dùng nhập một vấn đề nghiên cứu đơn giản (ví dụ: 'làm cách nào để tối ưu hóa thời lượng pin điện thoại của tôi?'). Ứng dụng sẽ sử dụng một mô hình ngôn ngữ lớn được tối ưu hóa để đưa ra các ý tưởng thử nghiệm, hướng dẫn người dùng thu thập dữ liệu (ví dụ: ghi lại mức sử dụng pin), sau đó phân tích dữ liệu và đề xuất các cải tiến cụ thể cho thiết bị của họ.
Một công cụ trên điện thoại hoặc máy tính bảng cho phép người dùng mô tả một ý tưởng ứng dụng bằng ngôn ngữ tự nhiên. Hệ thống này, sử dụng khả năng tạo mã của mô hình AI, sẽ tự động tạo ra các đoạn mã cơ bản, thiết kế giao diện người dùng đơn giản và thậm chí kiểm tra các chức năng cơ bản trên một môi trường giả lập, cho phép người dùng nhanh chóng hình dung và tinh chỉnh ý tưởng của họ mà không cần kiến thức lập trình sâu rộng.
Một ứng dụng điện thoại thông minh tích hợp một hệ thống AI mạnh mẽ có thể giải các bài toán phức tạp từ nhiều lĩnh vực (ví dụ: toán học, tài chính, khoa học) bằng cách không chỉ đưa ra câu trả lời mà còn giải thích từng bước giải. Hơn nữa, nó có thể nhận dữ liệu đầu vào (ví dụ: từ bảng tính hoặc hình ảnh) và tự động tạo ra các phân tích thống kê, biểu đồ trực quan và dự đoán xu hướng, hỗ trợ người dùng trong việc ra quyết định dựa trên dữ liệu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06855
ArXiv Abstract	https://arxiv.org/abs/2602.06855
PDF Download	https://arxiv.org/pdf/2602.06855.pdf
Github Repository	https://github.com/facebookresearch/airs-bench

7. InternAgent-1.5: A Unified Agentic Framework for Long-Horizon Autonomous Scientific Discovery (59 votes)

Tác giả: Shiyang Feng, Runmin Ma, Xiangchao Yan, Yue Fan, Yusong Hu, Songtao Huang, Shuaiyu Zhang, Zongsheng Cao, Tianshuo Peng, Jiakang Yuan, Zijie Guo, Zhijie Zhong, Shangheng Du, Weida Wang, Jinxin Shi, Yuhao Zhou, Xiaohan He, Zhiyin Yu, Fangchen Yu, Qihao Zheng, Jiamin Wu, Mianxin Liu, Chi Zhang, Shaowei Hou, Shuya Li, Yankai Jiang, Wenjie Lou, Lilong Wang, Zifu Wang, Jiong Wang, Wanghan Xu, Yue Deng, Dongrui Liu, Yiheng Wang, Wenlong Zhang, Fenghua Ling, Shufei Zhang, Xiaosong Wang, Shuangjia Zheng, Xun Huang, Siqi Sun, Shuyue Hu, Peng Ye, Chunfeng Song, Bin Wang, Conghui He, Yihao Liu, Xin Li, Qibin Hou, Tao Chen, Xiangyu Yue, Bin Wang, Liang He, Dahua Lin, Bowen Zhou, Bo Zhang, Lei Bai

Xuất bản lúc: 2026-02-09

Tag: AI for Science, LLMs, Agentic Systems, Autonomous Discovery, Knowledge Graphs, Memory Mechanisms

I. Main Problem:

Các hệ thống AI Scientist hiện tại còn bị hạn chế bởi thiết kế chuyên biệt theo lĩnh vực, khả năng suy luận chưa đầy đủ, quy trình tối ưu hóa đơn giản và thiếu hỗ trợ cho các hoạt động tự động hóa dài hạn. Cụ thể, chúng thường có kiến trúc chuyên biệt cho từng miền, khả năng nền tảng chưa đồng đều, quy trình tối ưu hóa tuyến tính không tích hợp thông tin rộng hơn, và bộ nhớ hạn chế, gây khó khăn cho việc khám phá khoa học liên ngành và tự chủ trong thời gian dài.

II. Main Idea:

InternAgent-1.5 giới thiệu một khuôn khổ thống nhất được thiết kế để khám phá khoa học từ đầu đến cuối trên cả miền tính toán và thực nghiệm. Hệ thống này được xây dựng trên một kiến trúc có cấu trúc gồm ba hệ thống con phối hợp: Generation (tạo ra giả thuyết và kế hoạch), Verification (đánh giá kế hoạch thông qua thực nghiệm) và Evolution (cập nhật kiến thức và chiến lược dựa trên kết quả). Các hệ thống con này được hỗ trợ bởi các khả năng nền tảng gồm nghiên cứu sâu (deep research), tối ưu hóa giải pháp (solution refinement) và bộ nhớ dài hạn (long horizon memory), cho phép InternAgent-1.5 hoạt động liên tục qua các chu trình khám phá mở rộng, duy trì hành vi mạch lạc và cải thiện liên tục.

III. Main Results:

InternAgent-1.5 đạt được hiệu suất hàng đầu trên các điểm chuẩn về suy luận khoa học như GAIA, HLE, GPQA và FrontierScience, chứng minh khả năng nền tảng mạnh mẽ. Hệ thống này tự động thiết kế các phương pháp cạnh tranh cho các bài toán học máy cốt lõi (khám phá thuật toán) và thực hiện các thí nghiệm tính toán hoặc thí nghiệm trong phòng thí nghiệm hoàn chỉnh, tạo ra các phát hiện khoa học trong các lĩnh vực trái đất, đời sống, sinh học và vật lý (khám phá thực nghiệm). Các kết quả này cho thấy InternAgent-1.5 cung cấp một khuôn khổ tổng quát và có thể mở rộng cho khám phá khoa học tự chủ.

IV. Conclusion & Future Works:

InternAgent-1.5 cung cấp một khuôn khổ tổng quát và có thể mở rộng cho khám phá khoa học tự chủ, thể hiện khả năng vượt trội trong cả khám phá thuật toán và thực nghiệm. Với kiến trúc thống nhất, khả năng nền tảng tiên tiến, tối ưu hóa tự động bền vững và những đột phá trong khám phá khoa học, hệ thống này đặt nền móng vững chắc cho các tác nhân khoa học có khả năng tự cải thiện trong thời gian dài.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng về ứng dụng của InternAgent-1.5 trong các lĩnh vực khoa học mới và phức tạp, đặc biệt là những lĩnh vực yêu cầu sự kết hợp sâu rộng giữa mô hình hóa tính toán và thí nghiệm ướt.
Phát triển các phương pháp tiên tiến để tăng cường khả năng tự học và thích nghi của bộ nhớ dài hạn (long horizon memory) trong InternAgent-1.5, nhằm nâng cao hiệu quả và tính bền vững của chu trình khám phá khoa học.
Khám phá các chiến lược tối ưu hóa song song đa vòng (multi-round parallel optimization) tiên tiến hơn, đặc biệt là việc tích hợp các mô hình học tăng cường để tự động điều chỉnh và tối ưu hóa quy trình thử nghiệm trong các không gian thiết kế lớn và không có cấu trúc.

2. Patent:

Một ứng dụng trợ lý nghiên cứu thông minh trên điện thoại di động giúp người dùng (sinh viên, nhà khoa học) nhanh chóng tìm kiếm và tổng hợp thông tin liên ngành từ các nguồn dữ liệu khoa học khác nhau, dựa trên một biểu đồ tri thức đa ngành. Ứng dụng sẽ gợi ý các ý tưởng nghiên cứu sơ bộ và lập kế hoạch thí nghiệm đơn giản một cách tự động.
Một hệ thống tối ưu hóa việc học cá nhân trên điện thoại thông minh, sử dụng AI để phân tích phong cách học và hiệu suất của người dùng, sau đó tự động điều chỉnh lộ trình học tập, gợi ý tài liệu phù hợp và nhận diện các lỗ hổng kiến thức để liên tục cải thiện hiệu quả học tập theo thời gian.
Một ứng dụng 'Lập kế hoạch Thử nghiệm Tự động' dành cho điện thoại di động, cho phép người dùng nhập vào một vấn đề hoặc mục tiêu (ví dụ: 'cách trồng cây tốt hơn'). Ứng dụng sẽ sử dụng một cơ sở dữ liệu tri thức lớn để tạo ra các kế hoạch thí nghiệm chi tiết, gợi ý vật liệu cần thiết và giúp theo dõi kết quả, từ đó lặp lại và tinh chỉnh để tìm ra phương pháp tốt nhất.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.08990
ArXiv Abstract	https://arxiv.org/abs/2602.08990
PDF Download	https://arxiv.org/pdf/2602.08990.pdf
Github Repository	https://github.com/InternScience/InternAgent

8. LLaDA2.1: Speeding Up Text Diffusion via Token Editing (54 votes)

Tác giả: Tiwei Bie, Maosong Cao, Xiang Cao, Bingsen Chen, Fuyuan Chen, Kun Chen, Lun Du, Daozhuo Feng, Haibo Feng, Mingliang Gong, Zhuocheng Gong, Yanmei Gu, Jian Guan, Kaiyuan Guan, Hongliang He, Zenan Huang, Juyong Jiang, Zhonghui Jiang, Zhenzhong Lan, Chengxi Li, Jianguo Li, Zehuan Li, Huabin Liu, Lin Liu, Guoshan Lu, Yuan Lu, Yuxin Ma, Xingyu Mou, Zhenxuan Pan, Kaida Qiu, Yuji Ren, Jianfeng Tan, Yiding Tian, Zian Wang, Lanning Wei, Tao Wu, Yipeng Xing, Wentao Ye, Liangyu Zha, Tianze Zhang, Xiaolu Zhang, Junbo Zhao, Da Zheng, Hao Zhong, Wanli Zhong, Jun Zhou, Junlin Zhou, Liwang Zhu, Muzhi Zhu, Yihong Zhuang

Xuất bản lúc: 2026-02-09

Tag: LLMs, Diffusion Models, Token Editing, Reinforcement Learning, Inference Acceleration, Natural Language Generation

I. Main Problem:

Trong khi LLaDA2.0 đã chứng minh tiềm năng mở rộng của các mô hình block-diffusion 100B và khả năng song song hóa vốn có của chúng, sự cân bằng tinh tế giữa tốc độ giải mã và chất lượng tạo sinh vẫn là một thách thức khó nắm bắt. Khung trạng hấp thụ tiêu chuẩn của dLLM, vốn áp đặt quá trình chuyển đổi cứng nhắc từ [MASK] sang token cố định, đối mặt với những hạn chế cố hữu về độ chính xác, khi tính độc lập của giải mã song song thường khuếch đại sự không nhất quán ở cấp độ token. Hơn nữa, hiện tượng Exposure Bias—nơi các lỗi tích lũy khi mô hình dựa vào các dự đoán không hoàn hảo của chính nó—là không thể tránh khỏi trong dLLM, làm chậm đáng kể quá trình tạo sinh. Việc áp dụng các phương pháp gradient chính sách cho các mô hình diffusion cũng gặp phải trở ngại cơ bản: tính không thể tính toán được log-likelihood ở cấp độ chuỗi, gây khó khăn cho việc mở rộng RL cho dLLM.

II. Main Idea:

LLaDA2.1 giới thiệu một sự thay đổi mô hình bằng cách kết hợp liền mạch chỉnh sửa Token-to-Token (T2T) vào lược đồ Mask-to-Token (M2T) thông thường, tạo ra một cơ chế giải mã ngưỡng chung, có thể cấu hình. Cơ chế này tạo ra hai chế độ hoạt động riêng biệt: Speedy Mode (S Mode) giúp hạ thấp ngưỡng M2T để bỏ qua các ràng buộc truyền thống và dựa vào T2T để tinh chỉnh đầu ra; và Quality Mode (Q Mode) sử dụng các ngưỡng bảo thủ để đạt được hiệu suất chuẩn cao hơn với hiệu quả suy giảm có thể kiểm soát. Để nâng cao hơn nữa khả năng của mô hình, LLaDA2.1 triển khai khung Học tăng cường (RL) quy mô lớn đầu tiên được tùy chỉnh cho dLLM, được hỗ trợ bởi các kỹ thuật chuyên biệt để ước tính gradient ổn định, cụ thể là khung ELBO-based Block-level Policy Optimization (EBPO) và Vectorized Likelihood Estimation. Mô hình cũng áp dụng cơ chế Multiple Block Editing (MBE) cho phép mô hình xem xét lại và chỉnh sửa các khối đã tạo trước đó dựa trên nội dung của các khối mới được giải mã. Đồng thời, LLaDA2.1 tích hợp các tối ưu hóa hạ tầng như Alpha-MoE và lượng tử hóa FP8 từng khối để tăng tốc suy luận.

III. Main Results:

LLaDA2.1-Mini (16B) và LLaDA2.1-Flash (100B) mang lại hiệu suất mạnh mẽ và tốc độ giải mã cực nhanh trên 33 điểm chuẩn nghiêm ngặt. LLaDA2.1-Flash (100B) đạt 892 TPS trên HumanEval+, 801 TPS trên BigCodeBench và 663 TPS trên LiveCodeBench cho các tác vụ lập trình. S Mode của LLaDA2.1 cải thiện đáng kể TPF (token per forward) so với LLaDA2.0, trong khi Q Mode của LLaDA2.1 vượt trội hơn LLaDA2.0 trên cả hai mô hình mini và flash về điểm số. Lượng tử hóa FP8 giúp LLaDA2.1-flash đạt TPS cao nhất là 891.74 trên HumanEval+ và LLaDA2.1-mini đạt 1586.93 TPS. Cơ chế Multiple Block Editing (MBE) mang lại những cải thiện hiệu suất nhất quán trên các điểm chuẩn (đặc biệt là các tác vụ suy luận và lập trình) với chi phí giảm nhẹ thông lượng.

IV. Conclusion & Future Works:

LLaDA2.1 giới thiệu tính năng chỉnh sửa giúp hạ thấp đáng kể ngưỡng giải mã của dLLM thông qua sửa lỗi tích lũy, mang lại lợi ích đáng kể về tốc độ suy luận. Tuy nhiên, vẫn tồn tại sự đánh đổi rõ ràng giữa tốc độ và độ chính xác, đặc biệt là với sự khác biệt về hiệu suất giữa các miền khác nhau, đòi hỏi phải điều chỉnh các tham số ngưỡng tùy theo miền. Dù dLLM hỗ trợ khả năng song song cao, nhưng cũng đi kèm với tỷ lệ lỗi cao hơn, làm nổi bật tầm quan trọng của việc chỉnh sửa kịp thời. Nghiên cứu về khả năng chỉnh sửa của dLLM vẫn đang ở giai đoạn đầu. Công việc trong tương lai sẽ bao gồm việc tích hợp chỉnh sửa vào học tăng cường để nâng cao hơn nữa hiệu suất của dLLM có thể chỉnh sửa, cũng như khám phá cách cân bằng tốc độ phác thảo với chất lượng cấu trúc ban đầu để giảm thiểu các hiện vật 'lặp lại n-gram'. LLaDA2.1 là nền tảng vững chắc cho các mô hình ngôn ngữ diffusion rời rạc có khả năng tự sửa lỗi, và tác giả kỳ vọng những dLLM có thể chỉnh sửa mạnh mẽ hơn sẽ mang lại nhiều kết quả ấn tượng hơn nữa.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa chiến lược chỉnh sửa token động (T2T) cho dLLM để giảm thiểu đánh đổi giữa tốc độ và độ chính xác trong các miền dữ liệu phi cấu trúc và các trường hợp trò chuyện tổng quát.
Nghiên cứu tích hợp các cơ chế chỉnh sửa nâng cao vào khung học tăng cường (RL) cho dLLM nhằm cải thiện khả năng tự sửa lỗi, khả năng suy luận và tuân thủ hướng dẫn.
Khám phá các phương pháp mới để cân bằng tốc độ phác thảo và chất lượng cấu trúc ban đầu trong các mô hình diffusion ngôn ngữ rời rạc, đặc biệt là giảm thiểu các hiện vật như lặp lại n-gram do lấy mẫu song song độc lập.

2. Patent:

Một hệ thống tự động điều chỉnh chế độ tạo văn bản (ưu tiên tốc độ hoặc chất lượng) trên điện thoại di động dựa trên ngữ cảnh người dùng (ví dụ: đang lái xe, trong cuộc họp) hoặc loại ứng dụng đang được sử dụng (ví dụ: ứng dụng nhắn tin nhanh, trình soạn thảo email). Hệ thống này sẽ tự động chuyển đổi giữa các chế độ để mang lại trải nghiệm tối ưu mà không cần người dùng can thiệp thủ công.
Một giao diện người dùng trên điện thoại thông minh cho phép người dùng 'chỉnh sửa ngược' các phần văn bản được tạo ra bởi AI một cách dễ dàng. Khi người dùng thay đổi một từ hoặc cụm từ, công nghệ này sẽ ngầm kích hoạt một cơ chế sửa lỗi thông minh để tự động kiểm tra và điều chỉnh các phần văn bản xung quanh, đảm bảo rằng toàn bộ đoạn văn bản vẫn mạch lạc và chính xác, đặc biệt hữu ích khi tạo hoặc sửa tin nhắn, ghi chú nhanh.
Một công nghệ tối ưu hóa tài nguyên phần cứng và phần mềm trên điện thoại di động để tăng tốc độ phản hồi của các ứng dụng AI tạo văn bản. Công nghệ này sử dụng các kỹ thuật như xử lý song song thông minh và nén dữ liệu hiệu quả để đảm bảo rằng các chatbot hoặc trợ lý AI trên điện thoại có thể cung cấp phản hồi gần như tức thì mà không làm tiêu hao pin quá mức hoặc gây nóng thiết bị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.08676
ArXiv Abstract	https://arxiv.org/abs/2602.08676
PDF Download	https://arxiv.org/pdf/2602.08676.pdf
Github Repository	https://github.com/inclusionAI/LLaDA2.X

9. RLinf-USER: A Unified and Extensible System for Real-World Online Policy Learning in Embodied AI (47 votes)

Tác giả: Hongzhi Zang, Shu'ang Yu, Hao Lin, Tianxing Zhou, Zefang Huang, Zhen Guo, Xin Xu, Jiakai Zhou, Yuze Sheng, Shizhe Zhang, Feng Gao, Wenhao Tang, Yufeng Yue, Quanlu Zhang, Xinlei Chen, Chao Yu, Yu Wang

Xuất bản lúc: 2026-02-08

Tag: Embodied AI, Reinforcement Learning, Online Learning, Robotics, System Design, Distributed Systems

I. Main Problem:

Việc học chính sách trực tuyến trực tiếp trong thế giới vật lý là một hướng đi đầy hứa hẹn nhưng cũng rất thách thức đối với embodied intelligence. Không giống như mô phỏng, các hệ thống trong thế giới thực không thể được tăng tốc, thiết lập lại chi phí thấp, hoặc sao chép hàng loạt một cách tùy tiện, gây khó khăn cho việc thu thập dữ liệu quy mô lớn, triển khai không đồng nhất và huấn luyện hiệu quả trong thời gian dài. Những thách thức này cho thấy việc học chính sách trong thế giới thực không chỉ là vấn đề thuật toán mà về cơ bản là một vấn đề hệ thống.

Các thách thức cụ thể bao gồm:

Robot thường được coi là môi trường bên ngoài, gây khó khăn trong việc lập lịch trình chung cho robot và các bộ tăng tốc trong triển khai phân tán.
Việc học trực tuyến trong thế giới thực ngày càng dựa vào cơ sở hạ tầng đám mây-biên (cloud-edge), đặc biệt đối với các mô hình Vision-Language-Action (VLA) quy mô lớn, với quá trình rollout ở biên và huấn luyện trên đám mây. Các thành phần này trải rộng trên các miền mạng không đồng nhất và bị cô lập, gây ra sự bất đối xứng về băng thông và độ trễ xuyên miền.
Thế giới vật lý không thể được tăng tốc, làm cho hiệu quả dữ liệu trở thành nút thắt cổ chai chính. Các đường ống đồng bộ thường được sử dụng trong mô phỏng do đó dẫn đến hiệu quả học tập kém.
Việc học embodied đang chuyển sang huấn luyện dựa trên dữ liệu với các luồng hình ảnh chiều cao và thời gian dài, làm tăng đáng kể khối lượng dữ liệu và thời gian thí nghiệm. Tuy nhiên, các bộ đệm và đường ống hiện có vẫn tập trung vào bộ nhớ và có tuổi thọ ngắn, thiếu hỗ trợ cho việc lưu trữ bền vững (persistence), phục hồi (recovery) và tái sử dụng dữ liệu lịch sử.

II. Main Idea:

USER (Unified and extensible System for Real-world online policy learning) là một hệ thống thống nhất và có khả năng mở rộng được đề xuất để giải quyết các thách thức của việc học chính sách trực tuyến trong thế giới thực.

Các ý tưởng và cách tiếp cận chính của USER bao gồm:

Lớp trừu tượng phần cứng thống nhất (Unified Hardware Abstraction Layer): USER xem robot vật lý như các tài nguyên phần cứng hạng nhất cùng với GPU và các bộ tăng tốc khác. Điều này cho phép tự động phát hiện, quản lý và lập lịch trình các robot không đồng nhất, tích hợp chúng vào hệ thống phân tán.
Mặt phẳng giao tiếp thích ứng (Adaptive Communication Plane): Để giải quyết các vấn đề giao tiếp đám mây-biên, USER giới thiệu:
- Mạng đám mây-biên dựa trên đường hầm (tunneling-based networking) để kết nối xuyên miền.
- Các kênh dữ liệu phân tán (distributed data channels) để định vị lưu lượng truy cập và giảm thiểu truyền dữ liệu xuyên miền không cần thiết.
- Đồng bộ trọng số nhận biết bộ xử lý luồng (streaming-multiprocessor-aware weight synchronization) để điều chỉnh chi phí phía GPU.
Khung học tập hoàn toàn không đồng bộ (Fully Asynchronous Learning Framework): USER tổ chức quá trình học tập như một khung hoàn toàn không đồng bộ, trong đó quá trình tạo dữ liệu, huấn luyện, truyền dữ liệu và đồng bộ trọng số diễn ra độc lập, không bị ràng buộc bởi các giai đoạn đồng bộ chặt chẽ. Điều này giúp robot thực thi liên tục và tăng thông lượng.
Bộ đệm lưu trữ bền vững có bộ nhớ đệm (Persistent, Cache-Aware Buffer): Hỗ trợ nạp dữ liệu quỹ đạo theo luồng (streaming trajectory ingestion), phục hồi lỗi và tái sử dụng dữ liệu lịch sử. Bộ đệm này sử dụng các chỉ mục bền vững trên đĩa để lưu trữ dữ liệu lớn trong khi duy trì bộ nhớ đệm trong RAM để truy cập nhanh các mẫu gần đây, cho phép các thí nghiệm dài hạn với khả năng phục hồi mạnh mẽ.
Các trừu tượng có khả năng mở rộng cho phần thưởng, thuật toán và chính sách: USER cung cấp các trừu tượng mở rộng cho phần thưởng (dựa trên luật, phản hồi của con người, hoặc mô hình phần thưởng được học), thuật toán (học bắt chước trực tuyến hoặc học tăng cường như CNN/MLP, chính sách sinh tạo, và các mô hình Vision-Language-Action lớn) trong một đường ống thống nhất.

III. Main Results:

USER đã được đánh giá rộng rãi trong cả môi trường mô phỏng và thế giới thực, cho thấy khả năng vượt trội trong việc giải quyết các thách thức của học chính sách trực tuyến:

Khả năng mở rộng của khung học tập: USER đạt hiệu suất cao trên nhiều tác vụ thao tác (Peg Insertion, Charger, Cap Tightening, Pick-and-Place, Table Clean-up). Nó hỗ trợ nhiều chính sách (CNN, mô hình dựa trên luồng, mô hình VLA như π0), thuật toán (SAC, RLPD, SAC-Flow, HG-DAgger) và nguồn phần thưởng (dựa trên luật, do con người cung cấp, mô hình phần thưởng được học) trong một đường ống thống nhất. Ví dụ, RLPD đạt tỷ lệ thành công gần như hoàn hảo trong vòng 2000 giây, và HG-DAgger với mô hình π0 đạt tỷ lệ thành công 96% trong khoảng 30 phút với chỉ ~200 mẫu trực tuyến cho tác vụ Pick-and-Place. Mô hình phần thưởng được huấn luyện cũng cho hiệu suất tương đương với phần thưởng của con người.
Lớp trừu tượng phần cứng thống nhất: USER cho phép huấn luyện đa robot (hai cánh tay robot Franka cùng thực hiện các tác vụ khác nhau hội tụ trong khoảng 2500 giây) và học trên các robot không đồng nhất (một cánh tay Franka 7-DoF và một cánh tay robot ARX 6-DoF giá thành thấp cùng học một chính sách thống nhất trong khoảng hai giờ cho tác vụ nhấn nút đa màu).
Mặt phẳng giao tiếp thích ứng: Kênh dữ liệu phân tán của USER giúp giảm thời gian tạo episode lên đến 3 lần trong các triển khai xuyên miền (ví dụ: giữa hai thành phố), đồng thời đạt hiệu quả giao tiếp tương đương với các thiết lập cùng miền bằng cách khai thác các liên kết băng thông cao cục bộ.
Bộ đệm lưu trữ bền vững có bộ nhớ đệm: Thiết kế này cân bằng hiệu quả và dung lượng, cho thấy tỷ lệ bộ nhớ đệm (cache ratio) lớn hơn giúp cải thiện thông lượng. Nó đạt được thông lượng cao hơn so với bộ đệm dựa trên đĩa tiêu chuẩn trong khi vẫn giữ dung lượng lớn.
Đường ống hoàn toàn không đồng bộ: Cải thiện đáng kể hiệu quả học tập và tốc độ hội tụ. Ví dụ, nó giảm thời gian hội tụ từ hơn 8000 giây xuống còn khoảng 1500 giây cho chính sách CNN trên tác vụ Peg Insertion. Thông lượng tạo dữ liệu được cải thiện 1.20 lần (với mô hình π0) và 1.55 lần (với mô hình CNN), trong khi thông lượng huấn luyện tăng 5.70 lần (với mô hình π0) và 4.61 lần (với mô hình CNN) so với đường ống đồng bộ. Nghiên cứu cũng chỉ ra rằng khoảng thời gian đồng bộ trọng số tối ưu là rất quan trọng để duy trì sự ổn định của quá trình học.

IV. Conclusion & Future Works:

USER là một hệ thống thống nhất và có khả năng mở rộng, giải quyết các thách thức cốt lõi của việc học chính sách trực tuyến trong thế giới thực bằng cách xem robot như tài nguyên phần cứng hạng nhất, tích hợp giao tiếp thích ứng, bộ đệm lưu trữ bền vững có bộ nhớ đệm và một đường ống huấn luyện hoàn toàn không đồng bộ. Bằng cách duy trì sự độc lập với kiến trúc chính sách và phương pháp tối ưu hóa, USER hỗ trợ nhiều mô hình học tập đa dạng – từ học bắt chước và học tăng cường đến học có sự tham gia của con người – được triển khai trên các robot không đồng nhất trong một đường ống thống nhất.

Các kết quả thực nghiệm trên các tác vụ mô phỏng và thế giới thực đã chứng minh rằng USER cho phép học chính sách hiệu quả trên các đội robot đa dạng và không đồng nhất, cung cấp giao tiếp xuyên miền biên-đám mây mạnh mẽ, và duy trì bộ đệm dung lượng cao, thông lượng cao cho quá trình huấn luyện dài hạn. Tóm lại, USER cung cấp một nền tảng hệ thống có thể tái sử dụng và mở rộng cho việc học chính sách trực tuyến trong thế giới thực, mở đường cho các nghiên cứu và ứng dụng robot tiên tiến hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược tối ưu hóa đồng bộ trọng số trong hệ thống học chính sách không đồng bộ: Khám phá tác động của các khoảng thời gian đồng bộ trọng số khác nhau và phát triển các thuật toán thích ứng để tối ưu hóa hiệu suất học tập và sự ổn định của chính sách trong các môi trường robot thực tế không đồng nhất.
Phát triển các phương pháp quản lý dữ liệu hiệu quả cho dữ liệu đa phương thức quy mô lớn từ robot không đồng nhất: Nghiên cứu cách sử dụng hiệu quả bộ đệm lưu trữ bền vững có bộ nhớ đệm của USER để lưu trữ và truy xuất các luồng dữ liệu hình ảnh, ngôn ngữ và hành động, đặc biệt đối với các mô hình Vision-Language-Action lớn, nhằm cải thiện khả năng tái sử dụng dữ liệu và phục hồi sự cố.
Nghiên cứu các kiến trúc mô hình Vision-Language-Action mới được tối ưu hóa cho triển khai biên và huấn luyện đám mây trong hệ thống USER: Phát triển các mô hình VLA hiệu quả về tài nguyên có thể tận dụng kiến trúc điện toán biên-đám mây thích ứng của USER để thực hiện suy luận nhanh chóng trên robot biên và huấn luyện quy mô lớn trên đám mây, giải quyết các thách thức về băng thông và độ trễ.

2. Patent:

Hệ thống quản lý và lập lịch tài nguyên phần cứng tự động cho robot và thiết bị tăng tốc tích hợp trên điện thoại thông minh: Một ứng dụng di động cho phép người dùng đăng ký và quản lý các thiết bị robot thông minh (ví dụ: robot hút bụi, camera an ninh di động) và các thiết bị tăng tốc điện toán (ví dụ: bộ xử lý AI chuyên dụng trong điện thoại) như các tài nguyên thống nhất. Hệ thống này có thể tự động phát hiện, lập lịch và phân bổ các tài nguyên này để thực hiện các tác vụ AI học tập hoặc tự động hóa tại nhà, ví dụ như huấn luyện một mô hình nhỏ trên điện thoại để nhận diện các vật thể mới trong nhà bằng camera của robot.
Phương pháp truyền dữ liệu biên-đám mây thích ứng sử dụng công nghệ tạo đường hầm an toàn cho các ứng dụng Vision-Language Action trên điện thoại thông minh: Một phần mềm hoặc dịch vụ trên điện thoại thông minh cho phép các thiết bị thông minh tại nhà hoặc robot nhỏ (kết nối qua điện thoại) truyền dữ liệu quan sát (ví dụ: video từ camera robot) một cách hiệu quả và an toàn đến một dịch vụ đám mây để xử lý bằng các mô hình Vision-Language Action lớn, sau đó nhận lại phản hồi hoặc hành động. Công nghệ này sẽ tự động điều chỉnh việc truyền dữ liệu để tối ưu hóa băng thông và độ trễ qua các mạng không ổn định (ví dụ: Wi-Fi gia đình, mạng di động).
Thiết kế bộ đệm dữ liệu liên tục và có bộ nhớ đệm cho dữ liệu cảm biến đa dạng từ thiết bị di động: Một kiến trúc phần mềm tích hợp vào hệ điều hành điện thoại hoặc ứng dụng, cho phép các ứng dụng thu thập và lưu trữ dữ liệu cảm biến (ví dụ: gia tốc kế, con quay hồi chuyển, GPS, microphone, camera) liên tục trong thời gian dài. Hệ thống này sẽ sử dụng bộ nhớ đệm trong RAM để truy cập nhanh dữ liệu gần đây và lưu trữ bền vững trên đĩa để hỗ trợ các ứng dụng AI học tập dài hạn (ví dụ: theo dõi hành vi người dùng, phát hiện sự kiện bất thường) ngay cả khi ứng dụng bị đóng hoặc điện thoại khởi động lại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.07837
ArXiv Abstract	https://arxiv.org/abs/2602.07837
PDF Download	https://arxiv.org/pdf/2602.07837.pdf
Github Repository	https://github.com/RLinf/RLinf/blob/main/examples/embodiment/run_realworld_async.sh

10. Towards Agentic Intelligence for Materials Science (43 votes)

Tác giả: Huan Zhang, Yizhan Li, Wenhao Huang, Ziyu Hou, Yu Song, Xuye Liu, Farshid Effaty, Jinya Jiang, Sifan Wu, Qianggang Ding, Izumi Takahara, Leonard R. MacGillivray, Teruyasu Mizoguchi, Tianshu Yu, Lizi Liao, Yuyu Luo, Yu Rong, Jia Li, Ying Diao, Heng Ji, Bang Liu

Xuất bản lúc: 2026-01-29

Tag: AI, Materials Science, Agentic Systems, LLMs, Foundation Models, Reinforcement Learning, Multimodal

I. Main Problem:

Khám phá vật liệu mới bị cản trở bởi sự thiếu vắng một khuôn khổ tích hợp kết nối các khả năng AI riêng lẻ với kết quả thực nghiệm. Các mô hình hiện tại thường là thụ động, tách biệt theo tác vụ và thiếu khả năng suy luận dài hạn cũng như tích hợp dữ liệu đa quy mô, đa phương thức cần thiết cho một chu trình khám phá vật liệu tự động, đầu cuối.

II. Main Idea:

Bài khảo sát đề xuất một góc nhìn tập trung vào chu trình (pipeline-centric view), coi toàn bộ quá trình khám phá vật liệu là một hệ thống đầu cuối (end-to-end) được tối ưu hóa cho các kết quả thực tế. Trọng tâm là chuyển từ các giai đoạn cố định sang các thành phần liên kết, có thể huấn luyện được, với tín hiệu phản hồi trực tiếp từ kết quả thực nghiệm. Mục tiêu là phác thảo lộ trình hướng tới các tác nhân LLM tự động, an toàn để khám phá vật liệu mới.

III. Main Results:

Bài báo trình bày một lăng kính tích hợp, thống nhất thuật ngữ và quy trình làm việc giữa AI và khoa học vật liệu. Nó phân tích điểm mạnh của LLM trong AI và ứng dụng của chúng trong khoa học vật liệu (thiết kế, tối ưu hóa, tích hợp công cụ). Bài báo cũng đối chiếu các phương pháp thụ động với thiết kế tác nhân (agentic design), thúc đẩy các hệ thống tự trị với bộ nhớ và khả năng sử dụng công cụ để đạt được các mục tiêu dài hạn, qua đó phác thảo một lộ trình thực tế cho các tác nhân LLM tự động trong khám phá vật liệu.

IV. Conclusion & Future Works:

Bài khảo sát kết luận rằng khoa học vật liệu cần một sự thay đổi mô hình hệ thống, chuyển từ các mô hình AI thụ động sang các tác nhân AI Khoa học (AI Scientist) chủ động tham gia vào chu trình khám phá khép kín. Sự chuyển đổi này, với bản chất tương tác, sẽ hướng toàn bộ quy trình tới mục tiêu cuối cùng là khám phá vật liệu mới và hữu ích một cách tự động và an toàn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu và phát triển các mô hình ngôn ngữ lớn đa phương thức (multimodal LLMs) tích hợp hiệu quả dữ liệu văn bản, hình ảnh, và cấu trúc vật liệu để nâng cao khả năng dự đoán và thiết kế vật liệu.
Thiết kế và triển khai các hệ thống tác nhân AI (agentic AI systems) có khả năng suy luận dài hạn, quản lý bộ nhớ và sử dụng công cụ bên ngoài (như phần mềm mô phỏng DFT hoặc robot thí nghiệm) để thực hiện quy trình khám phá vật liệu tự động hoàn toàn.
Phát triển các phương pháp gán tín dụng (credit assignment) và tối ưu hóa đầu cuối (end-to-end optimization) cho toàn bộ chu trình khám phá vật liệu, đảm bảo rằng các lựa chọn thiết kế ban đầu (như dữ liệu tiền huấn luyện) được điều chỉnh dựa trên thành công thực nghiệm trong thế giới thực.

2. Patent:

Một ứng dụng di động thông minh cho phép người dùng mô tả nhu cầu về vật liệu (ví dụ: cần một loại vải chống nước, bền bỉ cho áo khoác ngoài hoặc một vật liệu nhẹ, cứng cáp cho vỏ điện thoại) bằng ngôn ngữ tự nhiên hoặc hình ảnh, và hệ thống AI sẽ đề xuất các vật liệu phù hợp nhất hiện có trên thị trường, cùng với các nhà cung cấp hoặc sản phẩm liên quan.
Hệ thống hỗ trợ chuẩn đoán và sửa chữa vật liệu trên điện thoại di động: Một ứng dụng sử dụng camera và khả năng xử lý ngôn ngữ tự nhiên để người dùng chụp ảnh vết nứt trên màn hình điện thoại hoặc mô tả hư hại trên đồ vật. AI sẽ phân tích loại vật liệu, mức độ hư hại và đề xuất vật liệu sửa chữa cụ thể (ví dụ: loại keo dán, vật liệu vá) cùng hướng dẫn từng bước.
Ứng dụng thiết kế sản phẩm cá nhân hóa dựa trên vật liệu trên điện thoại di động: Cho phép người dùng phác thảo hoặc mô tả một món đồ đơn giản (ví dụ: giá đỡ điện thoại tùy chỉnh, móc treo chìa khóa) và chỉ định các thuộc tính mong muốn (nhẹ, bền, chịu nhiệt, thân thiện môi trường). Hệ thống AI tác nhân sẽ gợi ý các vật liệu phù hợp, đồng thời có thể tạo ra các mô hình 3D sơ bộ và thông số in 3D tối ưu cho vật liệu đã chọn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.00169
ArXiv Abstract	https://arxiv.org/abs/2602.00169
PDF Download	https://arxiv.org/pdf/2602.00169.pdf
Github Repository	N/A

11. Alleviating Sparse Rewards by Modeling Step-Wise and Long-Term Sampling Effects in Flow-Based GRPO (41 votes)

Tác giả: Yunze Tong, Mushui Liu, Canyu Zhao, Wanggui He, Shiyi Zhang, Hongwei Zhang, Peng Zhang, Jinlong Liu, Ju Huang, Jiamang Wang, Hao Jiang, Pipei Huang

Xuất bản lúc: 2026-02-06

Tag: Reinforcement Learning, Flow Matching, Generative Models, Text-to-Image, GRPO

I. Main Problem:

Các mô hình GRPO dựa trên Flow Matching hiện tại cho tạo ảnh từ văn bản gặp phải hai vấn đề chính:

Thưởng thưa thớt và gán phần thưởng không đồng bộ theo từng bước: Phần thưởng cuối cùng (outcome-based reward) được gán đồng nhất cho tất cả các bước khử nhiễu trong một quỹ đạo, không phân biệt đóng góp cục bộ của từng bước. Điều này dẫn đến tín hiệu học tập thưa thớt (reward sparsity) và sự không nhất quán giữa tiến trình cục bộ và mục tiêu toàn cục.
Bỏ qua các tương tác ngầm và hiệu ứng dài hạn trong quỹ đạo: Các phương pháp hiện có chủ yếu so sánh các quỹ đạo ở cùng một mốc thời gian và bỏ qua các phụ thuộc bên trong quỹ đạo, nơi các hành động khử nhiễu sớm có thể ảnh hưởng đến các trạng thái sau thông qua các tương tác ngầm, bị trì hoãn. Các "điểm chuyển hướng" (turning points) quan trọng, nơi xu hướng phần thưởng cục bộ thay đổi để phù hợp với xu hướng tổng thể, không được mô hình hóa đầy đủ.

II. Main Idea:

Đề xuất TurningPoint-GRPO (TP-GRPO) để giải quyết vấn đề thưởng thưa thớt và mô hình hóa hiệu ứng lấy mẫu theo bước cũng như dài hạn trong GRPO dựa trên Flow Matching. TP-GRPO có hai cải tiến chính:

Phần thưởng gia tăng theo bước (Increment-Based Step-wise Reward): Thay thế phần thưởng dựa trên kết quả cuối cùng bằng phần thưởng gia tăng theo cấp độ bước. Phần thưởng này được định nghĩa là sự khác biệt giữa phần thưởng thu được sau và trước một bước lấy mẫu SDE đơn lẻ (R(xODE(t-1)) - R(xODE(t))), cung cấp tín hiệu học tập dày đặc hơn và cụ thể hơn cho từng hành động khử nhiễu.
Mô hình hóa tương tác ngầm dựa trên tổng hợp (Aggregation-Based Implicit Interaction Modeling): Xác định "điểm chuyển hướng" (turning points) – các bước mà xu hướng phần thưởng cục bộ đảo chiều và làm cho sự tiến hóa phần thưởng sau đó phù hợp với xu hướng quỹ đạo tổng thể. Tại các điểm này, TP-GRPO gán một phần thưởng dài hạn tổng hợp (R(x0) - R(xODE(t))) để nắm bắt tác động bị trì hoãn của chúng. Các điểm chuyển hướng được phát hiện đơn thuần thông qua sự thay đổi dấu hiệu của phần thưởng gia tăng, giúp phương pháp hiệu quả và không cần siêu tham số. Một cơ chế cũng được đề xuất để mở rộng mô hình hóa hiệu ứng dài hạn cho bước lấy mẫu khởi tạo.

III. Main Results:

TP-GRPO đã được chứng minh là khai thác tín hiệu phần thưởng hiệu quả hơn và cải thiện nhất quán chất lượng tạo ảnh trên ba nhiệm vụ đánh giá chính:

Tạo ảnh tổng hợp (Compositional Image Generation): TP-GRPO (w/o constraint: 0.9714, w constraint: 0.9725) vượt trội so với Flow-GRPO (0.9673) về điểm GenEval.
Kết xuất văn bản hình ảnh (Visual Text Rendering): TP-GRPO (w/o constraint: 0.9718, w constraint: 0.9651) đạt được độ chính xác OCR cao hơn Flow-GRPO (0.9579).
Căn chỉnh sở thích con người (Human Preference Alignment): TP-GRPO (w/o constraint: 24.73, w constraint: 24.67) cho thấy điểm PickScore cao hơn Flow-GRPO (24.02). Các đường cong huấn luyện cũng cho thấy TP-GRPO đạt hiệu suất vượt trội và hội tụ nhanh hơn, đặc biệt trên nhiệm vụ PickScore (đạt hiệu suất tương đương Flow-GRPO ở bước ~700 so với ~2300). Phân tích sâu hơn cho thấy phương pháp này mạnh mẽ với các siêu tham số như kích thước cửa sổ lấy mẫu SDE và mức độ nhiễu. Các ví dụ định tính minh họa sự cải thiện về số lượng đối tượng chính xác, kết xuất văn bản tốt hơn và tính thẩm mỹ nâng cao.

IV. Conclusion & Future Works:

Bài báo kết luận rằng TP-GRPO đã thành công trong việc khắc phục hai hạn chế chính của các phương pháp GRPO dựa trên Flow Matching hiện có: sự thưa thớt và không đồng bộ của phần thưởng theo từng bước, và việc bỏ qua các tương tác nội quỹ đạo cũng như hiệu ứng bị trì hoãn của các điểm chuyển hướng. Bằng cách sử dụng phần thưởng gia tăng theo cấp độ bước và mô hình hóa các điểm chuyển hướng với phần thưởng dài hạn tổng hợp, TP-GRPO cung cấp một phương pháp hiệu quả và không cần siêu tham số để cải thiện đáng kể chất lượng tạo ảnh. Hướng nghiên cứu trong tương lai có thể tập trung vào việc khám phá các cơ chế phức tạp hơn để mô hình hóa các tương tác ngầm và hiệu ứng dài hạn, hoặc áp dụng cách tiếp cận này cho các mô hình tạo sinh khác ngoài Flow Matching.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng TP-GRPO để tự động phát hiện và điều chỉnh trọng số cho các điểm chuyển hướng dựa trên mức độ ảnh hưởng của chúng đến chất lượng cuối cùng, thay vì chỉ dựa vào sự thay đổi dấu hiệu, nhằm tối ưu hóa hơn nữa việc gán tín hiệu phần thưởng.
Áp dụng phương pháp mô hình hóa hiệu ứng dài hạn và phần thưởng theo bước của TP-GRPO cho các kiến trúc tạo sinh khác như mô hình Diffusion hoặc GAN, để xem xét liệu các khái niệm về "điểm chuyển hướng" và phần thưởng gia tăng có thể cải thiện hiệu suất trong các bối cảnh khác hay không.
Phát triển một phương pháp thích ứng động cho kích thước cửa sổ lấy mẫu SDE và mức độ nhiễu trong quá trình huấn luyện GRPO, sử dụng phản hồi từ việc phát hiện điểm chuyển hướng để tối ưu hóa quá trình khám phá và hội tụ của mô hình.

2. Patent:

Một hệ thống tạo ảnh thông minh trên điện thoại di động sử dụng công nghệ tạo ảnh từ văn bản được cải tiến bằng cách áp dụng "phần thưởng gia tăng theo bước" để tối ưu hóa từng hành động nhỏ trong quá trình tạo ảnh, đảm bảo chất lượng hình ảnh tốt nhất cho các yêu cầu phức tạp từ người dùng.
Ứng dụng chỉnh sửa ảnh tự động trên điện thoại di động có khả năng phân tích chuỗi các thao tác chỉnh sửa của người dùng (ví dụ: thay đổi màu sắc, thêm đối tượng) và sử dụng khái niệm "điểm chuyển hướng" để xác định những thay đổi quan trọng ảnh hưởng lớn đến kết quả cuối cùng, sau đó đề xuất các điều chỉnh tối ưu hóa theo kinh nghiệm.
Công cụ tạo hình đại diện hoặc sticker cá nhân hóa trên điện thoại di động, được hỗ trợ bởi thuật toán tối ưu hóa "hiệu ứng dài hạn" từ TP-GRPO, cho phép người dùng đưa ra các mô tả phức tạp và hệ thống sẽ tạo ra hình ảnh chất lượng cao, có tính thẩm mỹ và phù hợp với ý định tổng thể, ngay cả khi các bước tạo hình ban đầu có vẻ không hoàn hảo.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06422
ArXiv Abstract	https://arxiv.org/abs/2602.06422
PDF Download	https://arxiv.org/pdf/2602.06422.pdf
Github Repository	https://github.com/YunzeTong/TurningPoint-GRPO

12. Improving Data and Reward Design for Scientific Reasoning in Large Language Models (37 votes)

Tác giả: Zijie Chen, Zhenghao Lin, Xiao Liu, Zhenzhong Lan, Yeyun Gong, Peng Cheng

Xuất bản lúc: 2026-02-09

Tag: LLMs, Reinforcement Learning, Supervised Fine-Tuning, Scientific Reasoning

I. Main Problem:

Việc giải quyết các câu hỏi khoa học mở còn nhiều thách thức đối với các mô hình ngôn ngữ lớn (LLMs), chủ yếu do sự giám sát và đánh giá vốn dĩ không đáng tin cậy. Nút thắt cổ chai nằm ở việc xây dựng dữ liệu và thiết kế phần thưởng cho quá trình hậu huấn luyện khoa học. Các quy trình hậu huấn luyện hiện có gặp khó khăn trong việc gợi ra khả năng suy luận khoa học chất lượng cao một cách đáng tin cậy vì việc giám sát và đánh giá không đáng tin cậy đối với các câu hỏi khoa học mở.

II. Main Idea:

Các tác giả phát triển một quy trình xử lý dữ liệu quy mô lớn, có hệ thống để tạo ra bộ dữ liệu Dr. SCI, bao gồm 1 triệu câu hỏi thuộc tám môn học STEM, với phân tách rõ ràng giữa câu hỏi có thể kiểm chứng và câu hỏi mở, chú thích độ khó có thể mở rộng, và các tiêu chí đánh giá chi tiết cho câu trả lời mở. Dựa trên bộ dữ liệu này, nhóm nghiên cứu đề xuất quy trình hậu huấn luyện Dr. SCI, tái thiết kế quy trình SFT→RL tiêu chuẩn thông qua ba thành phần:

Exploration-Expanding SFT: Mở rộng phạm vi mẫu suy luận của mô hình trước khi áp dụng RL bằng cách chọn dữ liệu dựa trên sự mới lạ của 4-gram.
Dynamic Difficulty Curriculum: Điều chỉnh dữ liệu huấn luyện phù hợp với khả năng khoa học đang phát triển của mô hình bằng cách thay thế các câu hỏi đã thành thạo bằng các câu hỏi khó hơn.
SciRubric-Guided RL: Cho phép học tăng cường ổn định trên các câu hỏi khoa học mở thông qua đánh giá dựa trên tiêu chí với độ chính xác của câu trả lời cuối cùng được thể hiện rõ ràng.

III. Main Results:

Mô hình Qwen3-4B-Base được huấn luyện bằng quy trình Dr. SCI đạt 63.2 điểm trên GPQA-diamond và 32.4 điểm trên GPQA-general, liên tục cải thiện so với các mô hình nền tảng mạnh mẽ như o1-mini và GPT-4o, thể hiện những cải tiến đáng kể trong suy luận khoa học, đặc biệt trong các cài đặt câu hỏi mở. Các mô hình 4B của nhóm nghiên cứu liên tục vượt trội hơn các mô hình cơ sở hậu huấn luyện mạnh mẽ có cùng kiến trúc, và trong nhiều trường hợp, vượt qua các mô hình lớn hơn lên đến 32B tham số. Cụ thể, Dr. SCI-4B-think vượt trội hơn o1-mini trên GPQA-Diamond, SuperGPQA và HLE, trong khi Dr. SCI-4B-instruct vượt trội hơn GPT-4o trên GPQA-Diamond, GPQA-General và HLE. Các nghiên cứu cắt bỏ cho thấy từng thành phần (Exploration-Expanding SFT, Dynamic Difficulty Curriculum, và SciRubric-Guided RL) đều đóng góp vào việc cải thiện hiệu suất.

IV. Conclusion & Future Works:

Nghiên cứu giới thiệu Dr. SCI như một nền tảng có nguyên tắc cho quá trình hậu huấn luyện suy luận khoa học, giải quyết các nút thắt thực tế chính như việc tuyển chọn dữ liệu yếu kém, độ khó không được hiệu chỉnh tốt, và đánh giá không đáng tin cậy cho các câu hỏi khoa học mở. Dr. SCI kết hợp một quy trình xử lý dữ liệu có thể mở rộng với giám sát và kiểm soát chất lượng chi tiết; cùng với một khuôn khổ hậu huấn luyện thống nhất tích hợp Exploration-Expanding SFT, Dynamic Difficulty Curriculum và SciRubric-Guided RL, cho phép học tăng cường ổn định và hiệu quả trên cả cài đặt câu hỏi có thể kiểm chứng và câu hỏi mở. Kết quả thực nghiệm cho thấy Dr. SCI mang lại những cải tiến đáng kể từ mô hình xương sống 4B nhỏ gọn và liên tục vượt trội so với các mô hình cơ sở hậu huấn luyện mạnh mẽ, bao gồm cả các mô hình lớn hơn và độc quyền. Điều này chứng minh rằng việc xử lý dữ liệu có nguyên tắc và phần thưởng nhận biết độ chính xác là rất quan trọng để thúc đẩy suy luận khoa học mở.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp đo lường tính mới và đa dạng hóa mẫu suy luận thay thế cho 4-gram trong Exploration-Expanding SFT, ví dụ như dựa trên cấu trúc ngữ pháp hoặc ngữ nghĩa.
Phát triển các chiến lược học theo chương trình động (Dynamic Difficulty Curriculum) phức tạp hơn, bao gồm các thuật toán thích ứng tiên tiến hoặc chương trình học cá nhân hóa để tối ưu hóa hiệu quả huấn luyện.
Áp dụng khung SciRubric-Guided RL vào các lĩnh vực mở khác ngoài suy luận khoa học, chẳng hạn như suy luận pháp lý, viết sáng tạo hoặc chẩn đoán y tế, nơi việc đánh giá chính xác là một thách thức.

2. Patent:

Ứng dụng "Gia sư Khoa học Cá nhân" trên điện thoại: Một ứng dụng di động sử dụng công nghệ mô hình ngôn ngữ lớn để trả lời các câu hỏi khoa học mở của học sinh. Ứng dụng này sẽ đánh giá câu trả lời của học sinh dựa trên các tiêu chí chi tiết (như "các bước giải quyết", "khái niệm chính được sử dụng", "độ chính xác của kết quả cuối cùng") và cung cấp phản hồi có hướng dẫn để giúp học sinh cải thiện, giống như một gia sư thực thụ. Nó cũng có thể điều chỉnh độ khó của câu hỏi dựa trên tiến độ học tập của người dùng.
Hệ thống "Trợ lý Nghiên cứu Thông minh" cho điện thoại: Phát triển một trợ lý trên điện thoại giúp các nhà nghiên cứu hoặc sinh viên đọc và hiểu các bài báo khoa học. Khi người dùng đặt câu hỏi mở về nội dung của bài báo, trợ lý sẽ đưa ra câu trả lời chi tiết và đánh giá độ chính xác của câu trả lời đó dựa trên các tiêu chí cụ thể được rút ra từ tài liệu, đồng thời chỉ ra những điểm cần bổ sung hoặc sửa chữa để câu trả lời hoàn thiện hơn.
Công cụ "Kiểm tra Kiến thức Chuyên môn" thích ứng trên điện thoại: Một ứng dụng di động tạo ra các bài kiểm tra hoặc câu đố về các chủ đề chuyên môn (ví dụ: y học, kỹ thuật) với độ khó được điều chỉnh tự động. Ứng dụng sẽ theo dõi khả năng của người dùng và liên tục cung cấp các câu hỏi khó hơn khi họ thành thạo các khái niệm, đảm bảo rằng việc học luôn hiệu quả và phù hợp với trình độ của từng cá nhân. Nó cũng có thể sử dụng các tiêu chí đánh giá để phân tích chi tiết câu trả lời của người dùng, không chỉ đúng/sai.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.08321
ArXiv Abstract	https://arxiv.org/abs/2602.08321
PDF Download	https://arxiv.org/pdf/2602.08321.pdf
Github Repository	N/A

13. GEBench: Benchmarking Image Generation Models as GUI Environments (36 votes)

Tác giả: Haodong Li, Jingwei Wu, Quan Sun, Guopeng Li, Juanxi Tian, Huanyu Zhang, Yanlin Lai, Ruichuan An, Hongbo Peng, Yuhong Dai, Chenxi Li, Chunmei Qing, Jia Wang, Ziyang Meng, Zheng Ge, Xiangyu Zhang, Daxin Jiang

Xuất bản lúc: 2026-02-09

Tag: Image Generation, GUI, Benchmarking, VLM

I. Main Problem:

Các mô hình tạo ảnh gần đây có khả năng dự đoán trạng thái Giao diện người dùng (GUI) trong tương lai dựa trên hướng dẫn của người dùng. Tuy nhiên, các tiêu chuẩn đánh giá hiện có chủ yếu tập trung vào độ trung thực hình ảnh chung và các chuyển đổi trạng thái liên tục trong video, bỏ qua việc đánh giá các chuyển đổi trạng thái rời rạc và tính nhất quán theo thời gian trong bối cảnh GUI cụ thể. Điều này tạo ra một khoảng trống quan trọng trong việc xác minh khả năng của các mô hình tạo ảnh như một Môi trường GUI đáng tin cậy, đặc biệt là trong việc xử lý các thao tác kích hoạt hành động, định vị tọa độ chính xác, nhận dạng biểu tượng và hiển thị văn bản chất lượng cao.

II. Main Idea:

Để giải quyết khoảng trống này, nhóm nghiên cứu giới thiệu GEBench, một bộ tiêu chuẩn toàn diện được thiết kế để đánh giá khả năng tương tác động và tính nhất quán theo thời gian của các mô hình tạo ảnh trong việc tạo ra GUI. GEBench bao gồm 700 mẫu được tuyển chọn cẩn thận, trải dài trên năm danh mục tác vụ khác nhau, bao gồm tương tác một bước, chuỗi tương tác nhiều bước, kịch bản thực tế và hư cấu, cũng như định vị điểm tiếp xúc. Để hỗ trợ đánh giá có hệ thống, nhóm nghiên cứu đề xuất GE-Score, một chỉ số năm chiều đánh giá Mức độ Đạt mục tiêu (Goal Achievement), Logic Tương tác (Interaction Logic), Tính nhất quán nội dung (Content Consistency), Tính hợp lý của UI (UI Plausibility) và Chất lượng Hình ảnh (Visual Quality), được hướng dẫn bởi các mô hình Vision Language Models (VLM).

III. Main Results:

Đánh giá mở rộng chỉ ra rằng các mô hình hiện tại hoạt động tốt trong các chuyển đổi một bước nhưng gặp khó khăn với tính nhất quán theo thời gian và định vị không gian trên các chuỗi tương tác dài hơn. Cụ thể, Nano Banana Pro (Google, 2025b) đạt hiệu suất mạnh mẽ nhất, đặc biệt trên tập dữ liệu tiếng Trung với GE-Score 69.62, trong khi GPT-image-1.5 (OpenAI, 2025) dẫn đầu trên tập dữ liệu tiếng Anh với 63.16. Các mô hình thương mại nhìn chung vượt trội hơn các mô hình mã nguồn mở. Kết quả cũng xác định việc diễn giải biểu tượng, hiển thị văn bản tiếng Trung và độ chính xác định vị điểm là những nút thắt chính, dẫn đến sự lệch bố cục và sự không nhất quán về logic. Đặc biệt, điểm GOAL trong các tác vụ Grounding rất thấp, ngay cả với mô hình hàng đầu chỉ đạt 23.9%. Nghiên cứu cũng xác nhận độ tin cậy của khung đánh giá VLM-as-a-Judge với hệ số tương quan Pearson là 0.9892 với đánh giá của chuyên gia con người.

IV. Conclusion & Future Works:

Các mô hình tạo ảnh hiện tại có khả năng tốt trong các chuyển đổi GUI một bước nhưng còn yếu về tính nhất quán theo thời gian và định vị không gian chính xác trong các chuỗi tương tác dài hơn. Các hạn chế chính nằm ở việc diễn giải biểu tượng, hiển thị văn bản và độ chính xác định vị. Hướng nghiên cứu trong tương lai nên tập trung vào việc phát triển các hệ thống GUI tạo sinh có độ trung thực cao, duy trì tính nhất quán theo thời gian và cải thiện khả năng định vị chính xác, đồng thời nâng cao khả năng xử lý văn bản và nhận dạng biểu tượng để tạo ra môi trường GUI đáng tin cậy và mạch lạc hơn.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao tính nhất quán theo thời gian và khả năng lập kế hoạch logic dài hạn cho việc tạo GUI đa bước.
Cải thiện khả năng định vị không gian chính xác và căn chỉnh điểm tiếp xúc cho các tương tác người dùng trong GUI.
Phát triển các phương pháp tiên tiến để diễn giải biểu tượng và hiển thị văn bản chất lượng cao trong các mô hình tạo sinh GUI.

2. Patent:

Một ứng dụng trợ lý thông minh trên điện thoại có thể hiểu hướng dẫn bằng lời nói của người dùng (ví dụ: "Đặt cà phê") và tự động hiển thị các màn hình tiếp theo như thể người dùng đang thao tác trong ứng dụng, giúp hoàn thành tác vụ mà không cần mở ứng dụng gốc.
Một công cụ thiết kế giao diện di động cho phép các nhà phát triển tạo ra bản mẫu giao diện ứng dụng chỉ bằng cách mô tả các yếu tố và chức năng bằng văn bản, sau đó hệ thống sẽ tự động vẽ ra các màn hình tương ứng.
Một hệ thống kiểm thử ứng dụng di động tự động, có khả năng giả lập các bước người dùng tương tác với một ứng dụng (như chạm vào một nút cụ thể) và dự đoán màn hình tiếp theo sẽ trông như thế nào, từ đó phát hiện sớm các lỗi hoặc sự cố về trải nghiệm người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.09007
ArXiv Abstract	https://arxiv.org/abs/2602.09007
PDF Download	https://arxiv.org/pdf/2602.09007.pdf
Github Repository	N/A

14. Demo-ICL: In-Context Learning for Procedural Video Knowledge Acquisition (29 votes)

Tác giả: Yuhao Dong, Shulin Tian, Shuai Liu, Shuangrui Ding, Yuhang Zang, Xiaoyi Dong, Yuhang Cao, Jiaqi Wang, Ziwei Liu

Xuất bản lúc: 2026-02-09

Tag: Video Understanding, In-Context Learning (ICL), Multimodal Large Language Models (MLLMs), Procedural Knowledge Acquisition, Deep Learning

I. Main Problem:

Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) hiện tại chủ yếu đánh giá khả năng hiểu video dựa trên kiến thức tĩnh, nội bộ của chúng, thay vì khả năng học hỏi và thích nghi từ các ngữ cảnh động, mới lạ chỉ từ vài ví dụ. Điều này tạo ra một khoảng cách so với cách học của con người, nơi khả năng học một quy trình hoặc kỹ năng mới từ các minh họa và áp dụng kiến thức đó vào các video mục tiêu mới, liên quan là rất quan trọng. Cụ thể, ICL dựa trên video vẫn còn ít được khám phá, và các mô hình hiện tại sử dụng ngữ cảnh chỉ để tham chiếu chứ không phải để thích nghi và học hỏi. Ngoài ra, các MLLMs còn gặp khó khăn trong việc hiểu video chi tiết, trừu tượng hóa và tóm tắt các clip thành kiến thức chính xác để suy luận và thích ứng, đặc biệt trong nhiệm vụ ICL dựa trên video minh họa.

II. Main Idea:

Để giải quyết vấn đề trên, nghiên cứu này giới thiệu Demo-driven Video In-Context Learning (Demo-driven ICL), một nhiệm vụ mới tập trung vào việc học từ các minh họa trong ngữ cảnh để trả lời câu hỏi về video mục tiêu. Để đánh giá nhiệm vụ này, nhóm nghiên cứu đề xuất Demo-ICL-Bench, một bộ dữ liệu thách thức được xây dựng từ 1200 video hướng dẫn trên YouTube với các câu hỏi và hai loại minh họa: tóm tắt phụ đề video (minh họa văn bản) và video hướng dẫn tương ứng (minh họa video).

Để giải quyết thách thức này, các tác giả phát triển Demo-ICL, một MLLM với chiến lược huấn luyện hai giai đoạn:

Video-supervised fine-tuning (Huấn luyện tinh chỉnh có giám sát video): Trang bị cho mô hình khả năng hiểu video chi tiết và suy luận trong ngữ cảnh chung, sử dụng một tập dữ liệu lớn bao gồm các cặp văn bản-hình ảnh và nguồn video đa dạng, đặc biệt là video hướng dẫn.
Information-assisted Direct Preference Optimization (DPO) (Tối ưu hóa sở thích trực tiếp có hỗ trợ thông tin): Tăng cường cụ thể khả năng học hỏi từ các ví dụ trong ngữ cảnh của mô hình. DPO này tích hợp thông tin hỗ trợ được tạo tự động (ví dụ: dấu thời gian video cho ICL văn bản-minh họa, hướng dẫn văn bản cho ICL video-minh họa) để tạo ra các phản hồi ưu tiên chất lượng cao, vượt qua giới hạn của DPO truyền thống.

III. Main Results:

Kết quả chính:

Thử thách của Demo-ICL-Bench: Các MLLM tiên tiến như Gemini-2.5-Pro chỉ đạt 46.6% độ chính xác với minh họa văn bản và 32.0% với minh họa video, chứng minh sự khó khăn của bộ dữ liệu mới.
Hiệu quả của Demo-ICL: Mô hình Demo-ICL vượt trội so với các MLLM hiện có trên nhiệm vụ Demo-driven ICL và thể hiện hiệu suất cạnh tranh trên các tiêu chuẩn hiểu video chung như VideoMMMU và VideoMME.
- Text-demo ICL: Mọi mô hình đều cải thiện khi có minh họa văn bản; Demo-ICL (DPO) đạt mức tăng đáng kể (+14.0 điểm cho mô hình 7B) và đạt kết quả tiên tiến nhất trong số các mô hình cùng kích thước.
- Video-demo ICL: Nhiệm vụ này khó khăn hơn; một số MLLM thậm chí còn giảm hiệu suất, trong khi Demo-ICL luôn được hưởng lợi từ các minh họa video, mặc dù mức tăng ít rõ rệt hơn so với ICL văn bản-minh họa.
- Demonstration Selection: Các mô hình hiện tại gặp khó khăn trong việc chọn video liên quan và trả lời câu hỏi, cho thấy khoảng cách đáng kể so với hiệu suất của con người.
Nghiên cứu cắt bỏ (Ablation Study):
- Thử thách của Video-demo ICL: Các tín hiệu hình ảnh chi tiết rất quan trọng (128 khung hình cải thiện hiệu suất). Việc căn chỉnh thời gian, trừu tượng hóa và chuyển giao kiến thức từ video là những thách thức chính. Việc thay thế clip bằng bản ghi ASR và phụ đề mang lại cải thiện đáng kể, cho thấy MLLM hiện tại còn thiếu khả năng hiểu video chi tiết.
- Hiệu quả của chiến lược huấn luyện: Huấn luyện tinh chỉnh có giám sát video hướng dẫn, DPO có hỗ trợ thông tin và chiến lược huấn luyện lặp lại đều đóng góp vào việc cải thiện hiệu suất trên Demo-ICL-Bench.

IV. Conclusion & Future Works:

Nghiên cứu này giới thiệu nhiệm vụ mới Demo-driven Video In-Context Learning và bộ dữ liệu Demo-ICL-Bench, tập trung vào khả năng học hỏi từ các minh họa hướng dẫn trong ngữ cảnh. Mô hình Demo-ICL được đề xuất, với chiến lược huấn luyện hai giai đoạn, đã chứng minh hiệu suất vượt trội trong việc hiểu video và thu nhận kiến thức trong ngữ cảnh so với các MLLM hiện có. Điều này mở ra tiềm năng cho những phát triển trong tương lai trong lĩnh vực này.

Các hướng nghiên cứu trong tương lai cần tập trung vào việc giải quyết những thách thức đã xác định, đặc biệt là trong nhiệm vụ Video-demo ICL, bao gồm việc tăng cường khả năng hiểu video chi tiết, căn chỉnh thời gian hiệu quả và trừu tượng hóa kiến thức từ các minh họa video thô, giảm sự phụ thuộc vào các tín hiệu văn bản.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao khả năng căn chỉnh thời gian chi tiết và chuyển giao kiến thức cụ thể cho việc học trong ngữ cảnh từ video sang video.
Phát triển các cơ chế tìm kiếm và lựa chọn video mạnh mẽ hơn cho các nhiệm vụ lựa chọn minh họa trong các nhóm video phức tạp, nhiễu loạn.
Khám phá các kiến trúc hoặc mô hình huấn luyện mới cho phép MLLM trừu tượng hóa và tóm tắt kiến thức thủ tục trực tiếp từ các minh họa video thô, giảm sự phụ thuộc vào các tín hiệu văn bản.

2. Patent:

Hệ thống trợ lý học kỹ năng thủ công bằng điện thoại: Một ứng dụng trên điện thoại di động có thể ghi lại video người dùng đang thực hiện một kỹ năng thủ công (ví dụ: đan len, gấp giấy origami). Dựa trên một video hướng dẫn mẫu (được cung cấp bởi người dùng hoặc từ cơ sở dữ liệu), hệ thống sẽ phân tích video của người dùng, xác định bước hiện tại và cung cấp gợi ý, chỉnh sửa hoặc hướng dẫn bước tiếp theo bằng văn bản hoặc giọng nói để giúp người dùng hoàn thành công việc một cách chính xác.
Chức năng "học từ bạn bè" cho ứng dụng mạng xã hội: Một tính năng tích hợp trong ứng dụng mạng xã hội cho phép người dùng chia sẻ video về cách họ thực hiện một nhiệm vụ (ví dụ: cách sắp xếp nhà cửa, mẹo trang điểm). Người dùng khác có thể xem video này và sau đó quay video của chính họ. Hệ thống sẽ sử dụng video của bạn bè như một minh họa trong ngữ cảnh để hướng dẫn người dùng mới thực hiện nhiệm vụ tương tự, cung cấp phản hồi về độ chính xác hoặc gợi ý các bước tiếp theo trên điện thoại.
Ứng dụng hướng dẫn lắp ráp sản phẩm thông minh: Một ứng dụng trên điện thoại giúp người dùng lắp ráp các sản phẩm phức tạp (ví dụ: đồ nội thất tự lắp ráp, mô hình lắp ghép). Người dùng quay video quá trình lắp ráp của họ, và ứng dụng sẽ so sánh với video hướng dẫn lắp ráp của nhà sản xuất. Nếu phát hiện người dùng thực hiện sai bước hoặc bỏ lỡ một chi tiết, ứng dụng sẽ cung cấp cảnh báo, chỉ dẫn trực quan trên màn hình điện thoại hoặc gợi ý video minh họa chi tiết hơn cho bước đó, đảm bảo quá trình lắp ráp diễn ra suôn sẻ và chính xác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.08439
ArXiv Abstract	https://arxiv.org/abs/2602.08439
PDF Download	https://arxiv.org/pdf/2602.08439.pdf
Github Repository	https://github.com/dongyh20/Demo-ICL

15. Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory (27 votes)

Tác giả: Haozhen Zhang, Haodong Yue, Tao Feng, Quanyu Long, Jianzhu Bao, Bowen Jin, Weizhi Zhang, Xiao Li, Jiaxuan You, Chengwei Qin, Wenya Wang

Xuất bản lúc: 2026-02-05

Tag: LLMs, Agent Memory, Reinforcement Learning, Cost Optimization

I. Main Problem:

Bộ nhớ đang trở nên trung tâm đối với các tác nhân LLM hoạt động ngoài một cửa sổ ngữ cảnh đơn lẻ. Tuy nhiên, hầu hết các hệ thống hiện có đều dựa vào việc xây dựng bộ nhớ ngoại tuyến, không nhận biết truy vấn, điều này có thể kém hiệu quả và bỏ qua thông tin quan trọng đối với truy vấn. Các công trình trước đây thường gây ra chi phí đáng kể và kiểm soát hạn chế đối với sự đánh đổi hiệu suất-chi phí. Thách thức cốt lõi là làm thế nào để kích hoạt các đánh đổi hiệu suất-chi phí rõ ràng và có thể kiểm soát được cho việc trích xuất bộ nhớ thời gian chạy, đặc biệt là xác định đơn vị ngân sách phù hợp và cách thực hiện kiểm soát ngân sách một cách có hệ thống.

II. Main Idea:

Đề xuất BudgetMem, một framework bộ nhớ tác nhân thời gian chạy cho phép kiểm soát hiệu suất-chi phí rõ ràng, nhận biết truy vấn. BudgetMem cấu trúc quá trình xử lý bộ nhớ thành một tập hợp các module bộ nhớ, mỗi module được cung cấp ở ba cấp ngân sách (thấp/trung bình/cao). Một bộ định tuyến nhẹ thực hiện định tuyến cấp ngân sách giữa các module để cân bằng hiệu suất tác vụ và chi phí xây dựng bộ nhớ, được triển khai dưới dạng một chính sách mạng thần kinh nhỏ gọn được huấn luyện bằng học tăng cường. BudgetMem nghiên cứu ba chiến lược bổ sung để thực hiện các cấp ngân sách: triển khai (implementation tiering - độ phức tạp phương pháp), lý luận (reasoning tiering - hành vi suy luận), và dung lượng (capacity tiering - kích thước mô hình module).

III. Main Results:

BudgetMem vượt trội hơn các phương pháp cơ sở mạnh mẽ khi hiệu suất được ưu tiên (cài đặt ngân sách cao) và mang lại các đường biên hiệu suất-chi phí tốt hơn trong các điều kiện ngân sách eo hẹp hơn. Trên các bộ dữ liệu LoCoMo, LongMemEval và HotpotQA, BudgetMem đạt được những cải tiến đáng kể so với các baseline cạnh tranh, mang lại chất lượng cao hơn mà không tốn quá nhiều chi phí. Phân tích sâu hơn cho thấy các chiến lược phân cấp triển khai (implementation tiering) và dung lượng (capacity tiering) bao phủ một phạm vi chi phí rộng hơn và phù hợp để mở rộng phạm vi ngân sách, trong khi phân cấp lý luận (reasoning tiering) hiệu quả nhất để tinh chỉnh chất lượng trong một vùng chi phí tương đối tập trung. Việc điều chỉnh quy mô phần thưởng cũng được chứng minh là quan trọng để học ổn định và kiểm soát chi phí-hiệu suất một cách có ý nghĩa.

IV. Conclusion & Future Works:

BudgetMem là một framework bộ nhớ tác nhân thời gian chạy, cho phép kiểm soát hiệu suất-chi phí một cách rõ ràng trong quá trình trích xuất bộ nhớ theo yêu cầu. Nó trang bị cho mỗi module bộ nhớ các cấp ngân sách Thấp/Trung bình/Cao và sử dụng một bộ định tuyến nhẹ để lựa chọn cấp độ dưới mục tiêu nhận biết chi phí. Các thử nghiệm chứng minh hiệu suất mạnh mẽ trong các cài đặt ưu tiên hiệu suất và các đường biên hiệu suất-chi phí được cải thiện dưới ngân sách eo hẹp. Công trình này cung cấp cái nhìn sâu sắc về thời điểm mỗi chiến lược phân cấp mang lại lợi ích tốt nhất. Tác động chính của BudgetMem là cải thiện khả năng sử dụng và kiểm soát bộ nhớ tác nhân trong các hạn chế ngân sách thực tế, giúp các ứng dụng yêu cầu độ trễ hoặc chi phí có thể dự đoán được và hạ thấp rào cản sử dụng bộ nhớ tác nhân trong môi trường tài nguyên hạn chế.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng framework BudgetMem sang các pipeline LLM mô-đun khác ngoài trích xuất bộ nhớ, ví dụ như hệ thống đa tác nhân hoặc quy trình suy luận phức tạp, để tối ưu hóa chi phí và hiệu suất trên phạm vi rộng hơn.
Nghiên cứu các chiến lược phân cấp thích ứng và động (adaptive, dynamic tiering strategies) có thể học và điều chỉnh trong thời gian thực dựa trên phản hồi của người dùng hoặc sự thay đổi của môi trường, thay vì một chính sách học tăng cường cố định.
Khám phá các mô hình chi phí tinh vi hơn, bao gồm các yếu tố ngoài số lượng token như mức tiêu thụ GPU, dấu chân carbon, hoặc độ trễ thực tế, để đưa ra quyết định định tuyến ngân sách chính xác hơn.

2. Patent:

Trợ lý ảo thông minh tiết kiệm tài nguyên: Một ứng dụng trợ lý ảo trên điện thoại có khả năng tự động điều chỉnh mức độ 'suy nghĩ' hoặc chi phí xử lý thông tin dựa trên các yếu tố như dung lượng pin còn lại, gói dữ liệu di động, hoặc độ khẩn cấp của câu hỏi người dùng. Ví dụ, nó có thể chọn chế độ trả lời nhanh gọn (chi phí thấp) cho các câu hỏi đơn giản hoặc chế độ phân tích chi tiết (chi phí cao) cho các yêu cầu phức tạp hơn, giúp tiết kiệm pin và dữ liệu.
Ứng dụng tóm tắt nội dung linh hoạt: Một ứng dụng trên điện thoại di động có chức năng tóm tắt các văn bản dài (bài báo, email, cuộc trò chuyện). Ứng dụng này có thể cung cấp các cấp độ tóm tắt khác nhau – từ tóm tắt nhanh gọn (chi phí thấp, chất lượng cơ bản) đến tóm tắt chi tiết, sâu sắc (chi phí cao, chất lượng cao) – với khả năng tự động chuyển đổi cấp độ dựa trên cài đặt của người dùng hoặc điều kiện tài nguyên của thiết bị (ví dụ: đang sạc, kết nối Wi-Fi).
Hệ thống quản lý tác vụ AI trên thiết bị: Một hệ thống AI tích hợp trong điện thoại giúp tự động hóa các tác vụ hàng ngày như sắp xếp lịch, quản lý email, hoặc soạn thảo tin nhắn. Hệ thống này sử dụng cơ chế định tuyến ngân sách để quyết định có nên thực hiện một hành động nhanh chóng, hiệu quả (chi phí thấp) hay một hành động toàn diện, tốn nhiều tài nguyên hơn (chi phí cao), tùy thuộc vào mức độ quan trọng của tác vụ và tài nguyên sẵn có của điện thoại, từ đó tối ưu hóa hiệu suất và tuổi thọ pin.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06025
ArXiv Abstract	https://arxiv.org/abs/2602.06025
PDF Download	https://arxiv.org/pdf/2602.06025.pdf
Github Repository	https://github.com/ViktorAxelsen/BudgetMem

16. LOCA-bench: Benchmarking Language Agents Under Controllable and Extreme Context Growth (24 votes)

Tác giả: Weihao Zeng, Yuzhen Huang, Junxian He

Xuất bản lúc: 2026-02-08

Tag: LLMs, Language Agents, Benchmarking, Context Management

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) ngày càng có khả năng thực hiện các tác vụ dài hơi, phức tạp trong thế giới thực. Tuy nhiên, độ tin cậy của chúng thường suy giảm khi lượng ngữ cảnh tăng lên, một hiện tượng được gọi là “suy giảm hiệu suất theo ngữ cảnh” (context rot). Các hệ thống kiểm thử ngữ cảnh dài hiện có chủ yếu tập trung vào các thiết lập một bước, đánh giá khả năng truy xuất thông tin từ một đoạn văn bản dài. Trong các kịch bản thực tế, LLM thường cần hoạt động như các tác nhân ngôn ngữ (language agents), khám phá môi trường, tuân thủ hướng dẫn và kế hoạch, trích xuất thông tin hữu ích và dự đoán hành động chính xác trong một ngữ cảnh đang phát triển một cách linh hoạt. Do đó, cần có một phương pháp để đánh giá các tác nhân ngôn ngữ trong những thiết lập động và ngữ cảnh dài này.

II. Main Idea:

Để giải quyết vấn đề trên, nghiên cứu giới thiệu LOCA-bench (một hệ thống kiểm thử cho các tác nhân ngữ cảnh dài - LOng-Context Agents) nhằm đánh giá các tác nhân ngôn ngữ trong điều kiện ngữ cảnh được kiểm soát và mở rộng tối đa. LOCA-bench tận dụng khả năng kiểm soát tự động và có thể mở rộng các trạng thái môi trường để điều chỉnh độ dài ngữ cảnh của tác nhân, cho phép mở rộng ngữ cảnh tiềm năng đến vô hạn một cách có kiểm soát trong khi vẫn giữ nguyên ngữ nghĩa nhiệm vụ cơ bản. LOCA-bench đánh giá các tác nhân ngôn ngữ như sự kết hợp giữa mô hình và khung hỗ trợ (scaffolds), bao gồm các chiến lược quản lý ngữ cảnh khác nhau. Hệ thống này được xây dựng dựa trên các nhiệm vụ từ kịch bản thực tế, nơi các mô hình phải tích cực khám phá môi trường thông qua các công cụ được thiết kế dựa trên nguồn thực. Nghiên cứu cũng cung cấp một bộ công cụ kỹ thuật ngữ cảnh (context engineering toolkit) với các chiến lược như xóa kết quả công cụ cũ, loại bỏ nội dung suy nghĩ, nén lịch sử hội thoại, nhận thức ngữ cảnh (context awareness), công cụ bộ nhớ (memory tools), và gọi công cụ theo lập trình (programmatic tool calling).

III. Main Results:

Nghiên cứu chỉ ra rằng hiệu suất của các tác nhân ngôn ngữ thường suy giảm đáng kể khi trạng thái môi trường trở nên phức tạp hơn, dẫn đến ngữ cảnh dài hơn. Hầu hết các mô hình, bao gồm cả các mô hình tiên tiến (frontier models) và mã nguồn mở, đều trải qua sự sụt giảm hiệu suất mạnh mẽ khi độ dài ngữ cảnh tăng lên, và khoảng cách hiệu suất giữa chúng ngày càng rõ rệt ở các ngữ cảnh dài hơn. Tuy nhiên, các kỹ thuật quản lý ngữ cảnh nâng cao có thể cải thiện đáng kể tỷ lệ thành công tổng thể. Các mô hình tiên tiến thường hưởng lợi nhiều hơn từ các chiến lược kỹ thuật ngữ cảnh này. Đặc biệt, phương pháp gọi công cụ theo lập trình (programmatic tool calling) cho thấy sự cải thiện nhất quán về độ chính xác và giảm độ dài quỹ đạo, do giảm mức tiêu thụ ngữ cảnh và cung cấp quy trình làm việc có cấu trúc hơn. Các chế độ lỗi phổ biến được quan sát trong ngữ cảnh dài bao gồm suy luận phức tạp kém đi, khó tuân thủ hướng dẫn, khám phá không đủ và các lỗi không nhất quán giống như “ảo giác” (hallucination-like inconsistencies).

IV. Conclusion & Future Works:

LOCA-bench là một hệ thống kiểm thử tiên phong để đánh giá khả năng hoạt động của các mô hình trong các kịch bản tác nhân thực tế, dài hạn và ngữ cảnh cực lớn, có thể kiểm soát được. Nghiên cứu này không chỉ xác nhận sự suy giảm hiệu suất theo ngữ cảnh ("context rot") mà còn nhấn mạnh tầm quan trọng của các chiến lược kỹ thuật ngữ cảnh hiệu quả trong việc duy trì và cải thiện hiệu suất. Đặc biệt, programmatic tool calling được chứng minh là một chiến lược mạnh mẽ để giảm áp lực ngữ cảnh và tăng cường độ chính xác. Việc mã nguồn mở LOCA-bench cung cấp một nền tảng vững chắc cho cộng đồng nghiên cứu để tiếp tục đánh giá các mô hình và phương pháp khung hỗ trợ (scaffolds) trong các kịch bản tác nhân ngữ cảnh dài, định hướng cho thiết kế trong tương lai của quá trình huấn luyện và suy luận của tác nhân.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về các chế độ lỗi cụ thể (ví dụ: "ảo giác", suy giảm khả năng suy luận) của các tác nhân ngôn ngữ trong ngữ cảnh dài và đề xuất các phương pháp giảm thiểu hiệu quả.
Phát triển các chiến lược quản lý ngữ cảnh thích ứng mới, tự động điều chỉnh dựa trên độ phức tạp của nhiệm vụ và hiệu suất của tác nhân trong thời gian thực.
Khám phá tác động của các kiến trúc tác nhân khác nhau (ví dụ: các mô-đun bộ nhớ chuyên biệt, thành phần lập kế hoạch) đến sự mạnh mẽ trong ngữ cảnh dài, sử dụng khung LOCA-bench.

2. Patent:

Trợ lý cá nhân nhận biết ngữ cảnh đa ứng dụng cho điện thoại: Một trợ lý di động có khả năng quản lý và tóm tắt lịch sử tương tác dài xuyên suốt nhiều ứng dụng khác nhau trên điện thoại (ví dụ: email, lịch, ghi chú, tin nhắn) để giúp người dùng hoàn thành các tác vụ nhiều bước phức tạp như lên kế hoạch du lịch hoặc quản lý dự án, đồng thời tự động ưu tiên và loại bỏ thông tin ít liên quan để duy trì luồng hội thoại mà không cần người dùng can thiệp.
Hệ thống xử lý và tóm tắt tài liệu thông minh trên điện thoại di động: Một ứng dụng di động cho phép người dùng tải lên các tài liệu rất dài (ví dụ: hợp đồng pháp lý, báo cáo nghiên cứu, báo cáo tài chính) và tương tác với AI để đặt câu hỏi, trích xuất thông tin cụ thể, và tạo ra các bản tóm tắt ngắn gọn. AI sẽ tự động quản lý ngữ cảnh nội bộ của nó để đảm bảo độ chính xác ngay cả với các đầu vào cực lớn, hiển thị kết quả trực quan trên màn hình điện thoại.
Tác nhân quản lý tác vụ chủ động với bộ nhớ ngữ cảnh dài hạn: Một tác nhân di động trên điện thoại có thể quan sát hoạt động của người dùng trên các ứng dụng khác nhau (với sự cho phép của người dùng) và chủ động đề xuất các bước tiếp theo hoặc hoàn thành các nhiệm vụ nhỏ dựa trên sự hiểu biết sâu sắc về các dự án hoặc cuộc trò chuyện dài hạn đang diễn ra. Tác nhân này sẽ sử dụng một "công cụ bộ nhớ" để lưu trữ và truy xuất ngữ cảnh dài hạn kéo dài hàng ngày hoặc hàng tuần, giúp cải thiện hiệu quả và giảm gánh nặng nhận thức cho người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.07962
ArXiv Abstract	https://arxiv.org/abs/2602.07962
PDF Download	https://arxiv.org/pdf/2602.07962.pdf
Github Repository	https://github.com/hkust-nlp/LOCA-bench

17. TermiGen: High-Fidelity Environment and Robust Trajectory Synthesis for Terminal Agents (23 votes)

Tác giả: Kaijie Zhu, Yuzhou Nie, Yijiang Li, Yiming Huang, Jialian Wu, Jiang Liu, Ximeng Sun, Zhenfei Yin, Lun Wang, Zicheng Liu, Emad Barsoum, William Yang Wang, Wenbo Guo

Xuất bản lúc: 2026-02-06

Tag: LLMs, AI Agents, Data Synthesis, Supervised Fine-Tuning, Error Correction

I. Main Problem:

Vấn đề chính là sự khan hiếm các môi trường huấn luyện có độ chân thực cao, có thể thực thi cho các Mô hình Ngôn ngữ Lớn (LLMs) mã nguồn mở để thực hiện các tác vụ terminal phức tạp. Các môi trường được tổng hợp từ kho lưu trữ thực tế thiếu sự đa dạng và khả năng mở rộng, trong khi các quỹ đạo được tổng hợp bởi LLMs dễ bị "hallucinations" (ảo giác). Hơn nữa, các phương pháp tinh chỉnh hướng dẫn tiêu chuẩn sử dụng các quỹ đạo chuyên gia thường không thể hiện những lỗi đơn giản mà các mô hình nhỏ hơn hay mắc phải, dẫn đến sự không khớp về phân phối dữ liệu, khiến các mô hình học sinh khó phục hồi sau các lỗi trong quá trình thực thi.

II. Main Idea:

TermiGen đề xuất một quy trình đầu cuối (end-to-end) để tổng hợp các môi trường có thể xác minh và các quỹ đạo chuyên gia mạnh mẽ. Quy trình này gồm hai giai đoạn chính:

Tổng hợp Môi trường và Tác vụ độ chân thực cao (High-fidelity Task and Environment Synthesis): Sử dụng một khuôn khổ đa tác tử (multi-agent framework) để tạo ra các tác vụ và container Docker hợp lệ về mặt chức năng thông qua một vòng lặp tinh chỉnh lặp đi lặp lại. Quá trình này bao gồm định nghĩa tác vụ dựa trên một hệ thống phân loại có cấu trúc, tổng hợp các tệp tin và Dockerfile cần thiết, sau đó xác thực môi trường và tác vụ thông qua vòng lặp xây dựng Docker lặp đi lặp lại và cơ chế Generator-Judge để tạo và xác thực các bài kiểm tra đơn vị.
Thu thập Quỹ đạo Sửa lỗi có kiểm soát (Controlled Error-Correction Trajectory Collection): Áp dụng giao thức Generator-Critic để chủ động tiêm các lỗi có kiểm soát vào quá trình thu thập quỹ đạo. Điều này tạo ra dữ liệu phong phú về các chu trình sửa lỗi (lỗi → chẩn đoán → khắc phục), giúp mô hình học cách chẩn đoán thất bại và phục hồi hệ thống từ các lỗi trong thời gian chạy.

III. Main Results:

Mô hình TermiGen-Qwen2.5-Coder-32B đạt tỷ lệ hoàn thành 31,3% trên TerminalBench, thiết lập một tiêu chuẩn mới cho các mô hình mã nguồn mở và vượt trội hơn các mô hình độc quyền có khả năng như o4-mini.
Việc huấn luyện trên các môi trường được căn cứ và có thể xác minh mang lại hiệu suất vượt trội so với việc huấn luyện trên các quỹ đạo tổng hợp từ môi trường mô phỏng (cải thiện 2,5% với cùng kích thước dữ liệu).
Chiến lược tiêm lỗi có kiểm soát của TermiGen giúp cải thiện đáng kể khả năng tự sửa lỗi của tác tử, vượt trội hơn so với việc chỉ huấn luyện trên các quỹ đạo chuyên gia tiêu chuẩn (cải thiện 3,2% với cùng kích thước dữ liệu).
Việc bao gồm các quỹ đạo lỗi không đạt được mục tiêu cuối cùng vẫn cải thiện hiệu suất của mô hình, cho thấy giá trị của dữ liệu không hoàn hảo trong việc học tính kiên cường.

IV. Conclusion & Future Works:

TermiGen là khuôn khổ đầu cuối đầu tiên tích hợp việc tổng hợp môi trường terminal có thể xác minh và chiến lược chưng cất tiêm lỗi, giúp thu hẹp khoảng cách giữa các mô hình mã nguồn mở và các mô hình độc quyền. Tuy nhiên, công việc trong tương lai có thể mở rộng:

Học tăng cường (Reinforcement Learning): Áp dụng các phương pháp học tăng cường để cho phép các tác tử khám phá các giải pháp mới và học hỏi từ thử và sai, vượt ra ngoài phân phối dữ liệu huấn luyện cố định.
Bộ nhớ tác tử (Agent Memory): Thiết kế các tác tử phức tạp hơn với thành phần bộ nhớ để tận dụng hiệu quả lịch sử tương tác dài hạn.
Môi trường thực tế quy mô lớn: Nghiên cứu cách các tác tử được huấn luyện trong các môi trường sandbox cô lập có thể chuyển giao hiệu quả sang các tác vụ cơ sở hạ tầng thực tế, quy mô lớn (ví dụ: cụm phân tán, lưu lượng truy cập cao) với tính ngẫu nhiên và quy mô lớn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu tích hợp các kỹ thuật học tăng cường (Reinforcement Learning) vào TermiGen để cho phép tác tử tự động khám phá và tối ưu hóa giải pháp trong các môi trường terminal động.
Phát triển các kiến trúc tác tử với khả năng quản lý bộ nhớ dài hạn, giúp tác tử duy trì ngữ cảnh và rút ra bài học từ các chuỗi tương tác terminal phức tạp, kéo dài.
Mở rộng khả năng tổng hợp môi trường của TermiGen để mô phỏng các hệ thống sản xuất thực tế, quy mô lớn (ví dụ: cụm máy chủ phân tán, hệ thống với lưu lượng truy cập cao) nhằm đánh giá khả năng chuyển giao của tác tử.

2. Patent:

Một hệ thống huấn luyện trợ lý ảo thông minh trên điện thoại di động có khả năng tự sửa lỗi. Hệ thống này sẽ tạo ra các kịch bản lỗi phổ biến khi thực hiện các lệnh quản lý ứng dụng hoặc cấu hình hệ thống trên điện thoại, sau đó huấn luyện trợ lý cách nhận diện lỗi dựa trên thông báo từ hệ điều hành và đưa ra các bước khắc phục phù hợp, ví dụ như đề xuất cài đặt lại ứng dụng hoặc điều chỉnh quyền truy cập.
Một công cụ phát triển phần mềm trên điện thoại thông minh, cung cấp môi trường giả lập (sandbox) an toàn dựa trên công nghệ cô lập hệ thống. Công cụ này cho phép các nhà phát triển hoặc người dùng nâng cao chạy thử và gỡ lỗi các lệnh hệ thống hoặc tập lệnh phức tạp trong một môi trường ảo hoàn toàn độc lập, đảm bảo rằng mọi lỗi hoặc thay đổi không mong muốn sẽ không ảnh hưởng đến hệ điều hành thực của điện thoại.
Một công nghệ tăng cường độ tin cậy cho các trợ lý giọng nói trên điện thoại di động, đặc biệt trong việc xử lý các yêu cầu liên quan đến các tác vụ quản trị hệ thống hoặc ứng dụng. Công nghệ này sẽ tạo ra các tình huống lỗi có chủ đích trong quá trình huấn luyện, dạy trợ lý cách chẩn đoán nguyên nhân khi một lệnh không thành công và đưa ra phản hồi rõ ràng cùng các gợi ý khắc phục cho người dùng, thay vì chỉ báo lỗi chung chung.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.07274
ArXiv Abstract	https://arxiv.org/abs/2602.07274
PDF Download	https://arxiv.org/pdf/2602.07274.pdf
Github Repository	https://github.com/ucsb-mlsec/terminal-bench-env

18. GISA: A Benchmark for General Information-Seeking Assistant (22 votes)

Tác giả: Yutao Zhu, Xingshuo Zhang, Maosen Zhang, Jiajie Jin, Liancheng Zhang, Xiaoshuai Song, Kangzhi Zhao, Wencong Zeng, Ruiming Tang, Han Li, Ji-Rong Wen, Zhicheng Dou

Xuất bản lúc: 2026-02-09

Tag: LLMs, Benchmarks, Search Agents, Information Retrieval, Evaluation

I. Main Problem:

Các benchmark hiện có cho tác nhân tìm kiếm thường gặp phải nhiều hạn chế nghiêm trọng. Thứ nhất, chúng thường xây dựng các truy vấn ngược từ câu trả lời, tạo ra các nhiệm vụ không tự nhiên và không phản ánh nhu cầu tìm kiếm thông tin thực tế của con người. Thứ hai, các benchmark này chủ yếu tập trung vào việc đánh giá khả năng "tìm kiếm sâu" (deep search) để định vị thông tin cụ thể, nhưng lại bỏ qua khả năng "tìm kiếm rộng" (wide search) cần thiết để tổng hợp thông tin từ nhiều nguồn đa dạng. Việc tích hợp cân bằng cả hai khả năng này vẫn là một thách thức. Thứ ba, hầu hết các benchmark dựa vào các bộ dữ liệu tĩnh với câu trả lời ổn định, dễ khiến các mô hình ngôn ngữ lớn (LLM) ghi nhớ câu trả lời trong quá trình huấn luyện, từ đó không đánh giá được khả năng tìm kiếm thông tin cập nhật hoặc theo thời gian thực.

II. Main Idea:

Để giải quyết những hạn chế của các benchmark hiện có, các tác giả giới thiệu GISA, một benchmark mới được thiết kế cho các Trợ lý Tìm kiếm Thông tin Tổng quát (General Information-Seeking Assistants). GISA bao gồm 373 truy vấn được con người xây dựng một cách cẩn thận, phản ánh các kịch bản tìm kiếm thông tin chân thực. Các tính năng chính của GISA bao gồm:

Định dạng câu trả lời đa dạng với đánh giá xác định: GISA sử dụng bốn loại định dạng câu trả lời có cấu trúc (item, set, list, và table) để cho phép đánh giá chính xác và có thể tái tạo bằng các tiêu chí khớp nghiêm ngặt, tránh sự chủ quan của các phương pháp đánh giá dựa trên LLM.
Thống nhất khả năng tìm kiếm sâu và rộng: GISA tích hợp cả hai chiều tìm kiếm—khám phá các đường suy luận sâu và tổng hợp thông tin từ nhiều nguồn đa dạng—trong cùng một nhiệm vụ thống nhất.
Đánh giá động và chống ghi nhớ: Để ngăn chặn việc ghi nhớ dữ liệu từ quá trình tiền huấn luyện của LLM, GISA phân loại các truy vấn thành tập con ổn định (stable) và tập con trực tiếp (live), trong đó tập con "live" yêu cầu truy cập thông tin thời gian thực và được cập nhật định kỳ.
Giám sát cấp độ quy trình thông qua quỹ đạo tìm kiếm của con người: GISA cung cấp các quỹ đạo tìm kiếm hoàn chỉnh của con người cho mỗi truy vấn, đóng vai trò là tham chiếu tiêu chuẩn vàng cho mô hình hóa phần thưởng quy trình và học bắt chước (imitation learning).

III. Main Results:

Ngay cả mô hình hoạt động tốt nhất cũng chỉ đạt 19.30% điểm khớp chính xác (Exact Match) tổng thể trên GISA, cho thấy các tác nhân tìm kiếm hiện tại còn rất xa mới có thể giải quyết đáng tin cậy các tác vụ tìm kiếm thông tin phức tạp.
Hiệu suất suy giảm đáng kể khi phạm vi thông tin yêu cầu tăng lên. Các tác nhân hoạt động tương đối tốt với các câu hỏi dạng item nhưng gặp khó khăn đáng kể với các nhiệm vụ dạng table, vốn đòi hỏi thu thập và tổ chức thông tin trên nhiều chiều.
Chế độ suy luận (thinking mode) mang lại những cải tiến nhất quán về hiệu suất. Ví dụ, Claude 4.5 Sonnet cải thiện từ 16.36% lên 19.30% EM tổng thể khi chế độ suy luận được bật.
Các hệ thống tìm kiếm thương mại không vượt trội hơn các tác nhân LLM dựa trên ReAct, thường gặp vấn đề về việc tuân thủ hướng dẫn hoặc không đủ khả năng cho các tác vụ phức tạp của GISA.
So sánh với hành vi của con người cho thấy, con người thực hiện ít truy vấn hơn (trung bình 3.53) nhưng duyệt nhiều trang hơn (19.03), trong khi các mô hình tìm kiếm thường xuyên hơn (7.57 truy vấn) nhưng duyệt ít trang hơn (4.63). Điều này chỉ ra sự khác biệt trong chiến lược tìm kiếm.

IV. Conclusion & Future Works:

Kết luận: GISA là một benchmark thách thức, làm nổi bật những hạn chế hiện tại của các tác nhân tìm kiếm thông tin dựa trên LLM và các sản phẩm tìm kiếm thương mại. Kết quả cho thấy còn rất nhiều dư địa để cải thiện đáng kể.

Hướng phát triển tương lai:

Cải thiện hành vi tìm kiếm của tác nhân: Cần nghiên cứu để làm cho hành vi của mô hình phù hợp hơn với chiến lược tìm kiếm của con người, đặc biệt là trong việc khám phá nội dung sâu hơn và tinh chỉnh truy vấn mạch lạc hơn. Điều này bao gồm cải thiện khả năng phân tách vấn đề, tự điều chỉnh và kỹ năng duyệt web sâu hơn.
Tăng cường khả năng lập kế hoạch và tinh chỉnh truy vấn: Phát triển các cơ chế nâng cao để tác nhân có thể tạo ra các truy vấn hiệu quả hơn và lập kế hoạch tìm kiếm phức tạp, giảm thiểu việc sử dụng công cụ quá mức mà không cải thiện hiệu suất.
Phát triển cơ chế xác minh và phân giải xung đột: Cần có các cơ chế xác minh câu trả lời tốt hơn cho các tác nhân tìm kiếm, đặc biệt trong các tình huống cần tổng hợp thông tin từ nhiều nguồn mâu thuẫn hoặc khi áp dụng kỹ thuật suy luận mở rộng (inference-time scaling).

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp học tăng cường (Reinforcement Learning) hoặc học bắt chước (Imitation Learning) để tác nhân LLM có thể mô phỏng hiệu quả quỹ đạo tìm kiếm của con người, đặc biệt trong việc khám phá nội dung sâu và tận dụng siêu liên kết.
Thiết kế các kiến trúc tác nhân LLM mới có khả năng lập kế hoạch tìm kiếm động (dynamic search planning) và tinh chỉnh truy vấn tự động (autonomous query refinement) dựa trên phản hồi từ các kết quả tìm kiếm trung gian, nhằm nâng cao khả năng giải quyết các tác vụ deep và wide search.
Phát triển các hệ thống xác minh thông tin dựa trên LLM có khả năng phát hiện và phân giải xung đột dữ liệu từ nhiều nguồn web, đặc biệt khi thông tin cần cập nhật liên tục hoặc có tính thời gian thực.

2. Patent:

Một ứng dụng di động có khả năng cung cấp tóm tắt thông tin động (dynamic information summary) cho các sự kiện đang diễn ra hoặc thông tin thay đổi thường xuyên (ví dụ: tỉ số trận đấu, tin tức nóng hổi, giá cổ phiếu). Ứng dụng sẽ tự động tìm kiếm và cập nhật dữ liệu từ nhiều nguồn web theo thời gian thực, sau đó trình bày kết quả dưới dạng bảng hoặc danh sách có cấu trúc, giúp người dùng luôn nắm bắt thông tin mới nhất mà không cần thực hiện nhiều lần tìm kiếm thủ công.
Một trợ lý nghiên cứu sâu (deep-dive research assistant) trên điện thoại, giúp người dùng thu thập thông tin toàn diện về các chủ đề phức tạp. Thay vì chỉ hiển thị kết quả tìm kiếm, trợ lý này sẽ tự động duyệt qua nhiều trang web, theo dõi các siêu liên kết và tổng hợp thông tin thành một câu trả lời có cấu trúc (ví dụ: một báo cáo hoặc bảng so sánh chi tiết), mô phỏng khả năng "tìm kiếm sâu" của con người. Nó cũng có thể chỉ ra các thông tin mâu thuẫn và đề xuất các khía cạnh cần khám phá thêm.
Công cụ so sánh thông tin sản phẩm/dịch vụ có cấu trúc trên điện thoại. Tính năng này cho phép người dùng nhập một truy vấn về so sánh các sản phẩm hoặc dịch vụ (ví dụ: "so sánh ba mẫu điện thoại thông minh mới nhất" hoặc "các tính năng của các dịch vụ streaming khác nhau"). Ứng dụng sẽ tự động thực hiện "tìm kiếm rộng" (wide search) để thu thập các thông số kỹ thuật và tính năng liên quan, sau đó tổng hợp chúng vào một bảng so sánh dễ đọc. Điều này giúp người dùng tránh việc phải mở nhiều tab và trích xuất thông tin thủ công.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.08543
ArXiv Abstract	https://arxiv.org/abs/2602.08543
PDF Download	https://arxiv.org/pdf/2602.08543.pdf
Github Repository	N/A

19. AgentCPM-Report: Interleaving Drafting and Deepening for Open-Ended Deep Research (20 votes)

Tác giả: Yishan Li, Wentong Chen, Yukun Yan, Mingwei Li, Sen Mei, Xiaorong Wang, Kunpeng Liu, Xin Cong, Shuo Wang, Zhong Zhang, Yaxi Lu, Zhenghao Liu, Yankai Lin, Zhiyuan Liu, Maosong Sun

Xuất bản lúc: 2026-02-06

Tag: LLMs, Reinforcement Learning, AI Agent, Deep Research, Information Retrieval

I. Main Problem:

Việc tạo ra các báo cáo nghiên cứu sâu đòi hỏi khả năng thu thập thông tin quy mô lớn và tổng hợp phân tích sâu sắc, điều này đặt ra thách thức đáng kể cho các mô hình ngôn ngữ hiện tại. Hầu hết các phương pháp hiện có tuân theo mô hình "plan-then-write" (lập kế hoạch rồi viết), có hiệu suất phụ thuộc nặng nề vào chất lượng của dàn ý ban đầu. Tuy nhiên, việc xây dựng một dàn ý toàn diện đòi hỏi khả năng suy luận mạnh mẽ, khiến các hệ thống nghiên cứu sâu hiện tại phụ thuộc gần như hoàn toàn vào các mô hình lớn, nguồn đóng (closed-source) hoặc trực tuyến. Sự phụ thuộc này tạo ra rào cản thực tế cho việc triển khai, đồng thời gây lo ngại về an toàn và quyền riêng tư đối với dữ liệu do người dùng tạo. Hơn nữa, mô hình "plan-then-write" cứng nhắc dẫn đến "trần hiểu biết sâu sắc" (insight ceiling), tạo ra các báo cáo có cấu trúc vững chắc nhưng thiếu chiều sâu trí tuệ.

II. Main Idea:

Công trình này giới thiệu AgentCPM-Report, một giải pháp cục bộ nhẹ nhưng hiệu suất cao, bao gồm một khung làm việc mô phỏng quá trình viết của con người và một tác nhân nghiên cứu sâu với 8B tham số. Khung này sử dụng chính sách Writing As Reasoning Policy (WARP), cho phép các mô hình tự động sửa đổi dàn ý trong quá trình tạo báo cáo. Dưới chính sách này, tác nhân luân phiên giữa Evidence-Based Drafting (soạn thảo dựa trên bằng chứng) và Reasoning-Driven Deepening (làm sâu sắc dựa trên suy luận), cùng hỗ trợ việc thu thập thông tin, tinh chỉnh kiến thức và tiến hóa dàn ý lặp đi lặp lại. Để trang bị hiệu quả khả năng này cho các mô hình nhỏ, nhóm nghiên cứu giới thiệu chiến lược huấn luyện Multi-Stage Agentic Training, bao gồm khởi động lạnh (cold-start), học tăng cường kỹ năng nguyên tử (atomic skill RL) và học tăng cường quy trình tổng thể (holistic pipeline RL). Để giải quyết vấn đề dừng tối ưu và phần thưởng thưa thớt, họ cũng áp dụng cơ chế trajectory pruning để lọc tín hiệu giám sát chất lượng cao.

III. Main Results:

AgentCPM-Report đã chứng minh hiệu suất vượt trội so với các hệ thống nguồn đóng hàng đầu, với những cải thiện đáng kể về Insight và Comprehensiveness. Cụ thể, trên DeepResearch Bench, nó đạt điểm Insight là 52.64 và Comprehensiveness là 50.54, vượt qua Gemini-2.5-Pro-deepresearch (lần lượt là 49.45 và 49.51). Trên DeepResearch Gym, nó đạt điểm 100.0 cao nhất ở các chỉ số Depth, Breadth và Insightfulness. Chiến lược Multi-Stage Agentic Training mang lại sự cải thiện ổn định và toàn diện. Kết quả cho thấy hệ thống tác nhân quy mô nhỏ (8B tham số) có thể cạnh tranh với các hệ thống quy mô lớn, đạt điểm Overall 50.11 trên DeepResearch Bench, vượt qua Gemini-2.5-Pro-deepresearch (49.71). Phân tích cũng xác nhận rằng khung WARP tự nó đã hiệu quả, vượt trội so với mô hình "plan-then-write" ngay cả khi sử dụng mô hình nền lớn hơn, và trajectory pruning cải thiện đáng kể chất lượng dữ liệu huấn luyện, giúp mô hình học được chính sách dừng tối ưu hơn.

IV. Conclusion & Future Works:

Công trình này giải quyết các hạn chế của các hệ thống nghiên cứu sâu hiện có, vốn tách rời cứng nhắc lập kế hoạch và viết, dẫn đến "trần hiểu biết sâu sắc" và sự phụ thuộc vào các mô hình lớn, nguồn đóng. AgentCPM-Report, một hệ thống nghiên cứu sâu hoàn toàn cục bộ dựa trên Writing As Reasoning Policy (WARP), định hình lại nghiên cứu sâu như một quá trình tinh chỉnh lặp đi lặp lại cấp độ chính sách. Chiến lược huấn luyện multi-stage agentic training được giới thiệu để hỗ trợ việc ra quyết định dài hạn và không gian hành động mở rộng của WARP. Mặc dù chỉ dựa vào mô hình 8B tham số, AgentCPM-Report vẫn vượt trội hơn nhiều hệ thống nguồn đóng, chứng minh rằng thiết kế chính sách hiệu quả là một giải pháp thay thế khả thi cho việc mở rộng quy mô mô hình trong việc nâng cao khả năng nghiên cứu sâu. Các công việc trong tương lai bao gồm:

Trình bày báo cáo tốt hơn: Cần tách rời việc tạo bảng và hình ảnh ra khỏi nội dung văn bản, giao cho một tác nhân kết xuất chuyên dụng để cải thiện chất lượng trình bày, đặc biệt với các mô hình nhỏ, và phát triển các phương pháp đánh giá dựa trên thị giác.
Nhiều nguồn thông tin hơn: Mở rộng cơ sở tri thức hiện tại (chỉ văn bản, cục bộ) để hỗ trợ nội dung đa phương thức (hình ảnh, video), các nguồn cục bộ và cá nhân hóa, cũng như khả năng cập nhật liên tục, nhằm tạo ra các kịch bản nghiên cứu phong phú và thực tế hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về cơ chế học tăng cường để tối ưu hóa quyết định dừng (optimal stopping problem) cho các tác nhân AI trong các tác vụ tạo nội dung dài hạn, với trọng tâm là cân bằng giữa độ sâu thông tin và chi phí tính toán.
Phát triển khung làm việc cho việc tạo báo cáo nghiên cứu đa phương thức, tích hợp văn bản, hình ảnh và video một cách mạch lạc, vượt ra ngoài các nguồn văn bản truyền thống và giải quyết các thách thức về sự gắn kết giữa các phương thức.
Khám phá các phương pháp tự động để đánh giá trực quan chất lượng trình bày của báo cáo do AI tạo ra, bao gồm bố cục và tính thẩm mỹ của các yếu tố phi văn bản như bảng biểu và hình ảnh, nhằm cung cấp phản hồi chính xác hơn cho quá trình huấn luyện.

2. Patent:

Hệ thống Trợ lý Nghiên cứu Cá nhân hóa trên Thiết bị Di động: Một ứng dụng điện thoại thông minh cho phép người dùng nhập các chủ đề nghiên cứu mở. Tác nhân AI hoạt động hoàn toàn cục bộ trên điện thoại sẽ tự động tìm kiếm, phác thảo nội dung và đào sâu thông tin liên tục theo thời gian. Ứng dụng này sẽ lưu trữ và đồng bộ hóa tất cả dữ liệu nghiên cứu cá nhân của người dùng một cách an toàn và riêng tư ngay trên thiết bị, không yêu cầu tải dữ liệu lên đám mây hoặc kết nối internet liên tục, giúp người dùng nghiên cứu mọi lúc mọi nơi.
Công cụ Tóm tắt và Mở rộng Tài liệu Thông minh cho Điện thoại: Một tính năng tích hợp trên điện thoại cho phép người dùng quét hình ảnh tài liệu, chụp ảnh màn hình hoặc dán URL bài báo. Hệ thống AI trên điện thoại sẽ tự động tóm tắt các điểm chính của tài liệu và đề xuất các phần mở rộng hoặc đào sâu thông tin dựa trên kiến thức được truy xuất và xử lý cục bộ. Điều này giúp người dùng nhanh chóng nắm bắt các khái niệm phức tạp và phát triển ý tưởng của mình mà không cần phụ thuộc vào dịch vụ trực tuyến.
Hệ thống Tạo Nội dung Giải thích Đa Phương tiện theo Ngữ cảnh cho Thiết bị Cầm tay: Một tiện ích trên điện thoại thông minh cho phép người dùng yêu cầu tạo các đoạn nội dung nghiên cứu ngắn hoặc giải thích các khái niệm phức tạp. Hệ thống không chỉ tạo văn bản giải thích mà còn tự động gợi ý hoặc tạo các biểu đồ, bảng biểu hoặc hình ảnh minh họa đơn giản, trực quan dựa trên ngữ cảnh và dữ liệu có sẵn cục bộ. Các nội dung này được tối ưu hóa hiển thị cho màn hình di động, giúp người dùng dễ dàng hiểu các thông tin phức tạp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06540
ArXiv Abstract	https://arxiv.org/abs/2602.06540
PDF Download	https://arxiv.org/pdf/2602.06540.pdf
Github Repository	https://github.com/OpenBMB/AgentCPM/tree/main/AgentCPM-Report

20. Theory of Space: Can Foundation Models Construct Spatial Beliefs through Active Exploration? (20 votes)

Tác giả: Pingyue Zhang, Zihan Huang, Yue Wang, Jieyu Zhang, Letian Xue, Zihan Wang, Qineng Wang, Keshigeyan Chandrasegaran, Ruohan Zhang, Yejin Choi, Ranjay Krishna, Jiajun Wu, Li Fei-Fei, Manling Li

Xuất bản lúc: 2026-02-04

Tag: Foundation Models, Embodied AI, Spatial AI, Active Exploration, Cognitive Maps

I. Main Problem:

Trí tuệ không gian vật thể thường hoạt động trong điều kiện quan sát một phần, yêu cầu các tác nhân phải chủ động thu thập thông tin còn thiếu thay vì thụ động tiếp nhận dữ liệu hoàn chỉnh. Khả năng của các mô hình nền tảng đa phương thức (multimodal foundation models) trong việc hỗ trợ khám phá chủ động, tự định hướng dưới điều kiện quan sát một phần chưa được nghiên cứu có hệ thống. Cụ thể, không rõ liệu và bằng cách nào các mô hình này có thể quyết định "quan sát điều gì tiếp theo" để xây dựng và duy trì nhận thức không gian mạch lạc theo thời gian.

II. Main Idea:

Đề xuất khung THEORY OFSPACE, định nghĩa là khả năng của tác nhân chủ động thu thập thông tin thông qua khám phá tự định hướng, đồng thời xây dựng, sửa đổi và khai thác niềm tin không gian từ các quan sát tuần tự, một phần. Khung này được triển khai với một bộ benchmark sử dụng môi trường văn bản và hình ảnh, tập trung vào khám phá dựa trên sự tò mò để xây dựng một niềm tin không gian hoàn chỉnh, chính xác, tách rời khỏi các nhiệm vụ cụ thể. Điểm đổi mới cốt lõi là việc thăm dò niềm tin không gian (spatial belief probing): mô hình được yêu cầu tiết lộ niềm tin không gian nội bộ của mình dưới dạng bản đồ nhận thức (cognitive map) ở mỗi bước, cho phép đo lường chất lượng mô hình không gian cơ bản. THEORY OFSPACE được xác định bởi ba hoạt động cốt lõi: Xây dựng (Construct) một niềm tin không gian toàn cục, Sửa đổi (Revise) niềm tin này trong môi trường động, và Khai thác (Exploit) niềm tin để hỗ trợ các tác vụ không gian. Để đánh giá, họ đề xuất một mô hình mới, yêu cầu tác nhân tự chủ động chọn hành động (di chuyển, xoay, quan sát, kết thúc) để xây dựng mô hình nội bộ đa năng với chi phí tối thiểu, bao gồm cả việc kiểm tra khả năng phát hiện và sửa đổi niềm tin sai lệch (false belief).

III. Main Results:

Khoảng cách Chủ động-Thụ động (Active-Passive Gap): Hiệu suất suy giảm đáng kể khi các tác nhân phải tự chủ động thu thập thông tin. Ví dụ, GPT-5.2 giảm từ 0.57 (thụ động) xuống 0.46 (chủ động); GEMINI-3 PRO giảm từ 60.5 xuống 57.3.
Không hiệu quả (Inefficiency): Các mô hình khám phá một cách không có hệ thống và với mức độ dư thừa cao, không đạt được hiệu quả như các tác nhân proxy dựa trên chương trình (proxy đạt mức bao phủ mục tiêu trong ~9 bước, trong khi các mô hình nền tảng cần ≥14 bước mà không cải thiện độ chính xác).
Khoảng cách phương thức (Modality Gap): Hiệu suất trong môi trường văn bản vượt trội hơn đáng kể so với môi trường thị giác đối với tất cả các mô hình.
Chẩn đoán qua thăm dò niềm tin (Belief Probing Diagnosis): Nhận thức đóng vai trò là điểm nghẽn ban đầu, nhưng niềm tin toàn cục còn bị ảnh hưởng nghiêm trọng bởi sự mất ổn định, khiến kiến thức không gian bị suy giảm theo thời gian.
Quán tính niềm tin (Belief Inertia): Các tác nhân (đặc biệt trong các mô hình dựa trên thị giác) gặp khó khăn trong việc ghi đè thông tin cũ với bằng chứng giác quan mới, duy trì tọa độ ban đầu đã lỗi thời.
Khoảng cách mở rộng theo độ phức tạp (Complexity-Widened Gap): Sự khác biệt về hiệu suất giữa khám phá chủ động và thụ động tăng lên theo quy mô môi trường (số lượng phòng). GEMINI-3 PRO là mô hình ít suy giảm nhất.
Hiệu suất của con người: Con người vượt trội hơn các mô hình nền tảng trong cả hai lĩnh vực, đặc biệt là trong môi trường thị giác.

IV. Conclusion & Future Works:

Các mô hình nền tảng cho thấy khả năng đầy hứa hẹn trong môi trường văn bản thuần túy nhưng lại bộc lộ những hạn chế đáng kể trong môi trường thị giác theo khuôn khổ THEORY OFSPACE. Khám phá chủ động vẫn là một nút thắt cổ chai chính. Các mô hình thất bại trong việc tự chủ cấu trúc quá trình thu thập thông tin và khả năng điều chỉnh bộ nhớ không gian. Hướng nghiên cứu tương lai là mở rộng THEORY OFSPACE vượt ra ngoài thiết lập tác nhân đơn lẻ để đến khám phá đa tác nhân, nơi phát sinh thêm các thách thức về phối hợp và điều chỉnh (hoặc chia sẻ) niềm tin không gian giữa các tác nhân.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện các chiến lược khám phá chủ động cho Foundation Models: Nghiên cứu phát triển các chính sách khám phá có hệ thống và hiệu quả hơn cho các mô hình nền tảng, có thể tích hợp ước lượng độ không chắc chắn một cách rõ ràng.
Giải quyết sự bất ổn định và quán tính trong niềm tin không gian: Phát triển các cơ chế giúp Foundation Models duy trì niềm tin không gian ổn định theo thời gian và sửa đổi chúng một cách mạnh mẽ trong môi trường động, đặc biệt là đối với các mô hình dựa trên thị giác.
Xây dựng niềm tin không gian đa tác nhân: Mở rộng khuôn khổ THEORY OFSPACE sang các kịch bản có nhiều tác nhân, tập trung vào khám phá hợp tác, chia sẻ niềm tin không gian và chiến lược phối hợp.

2. Patent:

Ứng dụng định vị trong nhà linh hoạt với khả năng nhận diện vật cản: Một ứng dụng điện thoại liên tục xây dựng và cập nhật bản đồ bên trong của môi trường trong nhà (ví dụ: trung tâm thương mại, văn phòng) bằng cách sử dụng camera và cảm biến của điện thoại. Nếu các vật thể di chuyển hoặc vật cản mới xuất hiện, ứng dụng sẽ phát hiện những thay đổi này và cập nhật bản đồ theo thời gian thực để cung cấp các đường dẫn điều hướng được sửa đổi, hiệu quả, đảm bảo người dùng tránh các tuyến đường bị chặn mới.
Công cụ xây dựng bố cục nhà thông minh qua khám phá: Một ứng dụng cho phép người dùng đi bộ quanh nhà của họ với điện thoại, và ứng dụng chủ động học hỏi và xây dựng bố cục 2D hoặc 3D chi tiết của các phòng, đồ nội thất và vật thể. Ứng dụng sẽ hướng dẫn người dùng đến các khu vực cần thêm thông tin để đảm bảo bản đồ hoàn chỉnh và chính xác, sau đó có thể được sử dụng để đặt đồ nội thất bằng thực tế tăng cường hoặc lập bản đồ cho robot hút bụi tự động.
Tính năng "Tìm đồ thất lạc" cá nhân hóa với bộ nhớ không gian: Một tính năng trên điện thoại giúp người dùng ghi nhớ nơi họ đặt các vật phẩm (ví dụ: chìa khóa, ví) lần cuối trong một môi trường quen thuộc (nhà, văn phòng). Bằng cách liên tục quan sát môi trường và xây dựng bộ nhớ không gian, nếu người dùng hỏi "Chìa khóa của tôi ở đâu?", điện thoại có thể sử dụng hiểu biết không gian đã học được để gợi ý các vị trí có khả năng hoặc hướng dẫn người dùng dựa trên quan sát cuối cùng về chìa khóa, ngay cả khi người dùng đã di chuyển chúng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.07055
ArXiv Abstract	https://arxiv.org/abs/2602.07055
PDF Download	https://arxiv.org/pdf/2602.07055.pdf
Github Repository	https://github.com/mll-lab-nu/Theory-of-Space

21. WorldCompass: Reinforcement Learning for Long-Horizon World Models (18 votes)

Tác giả: Zehan Wang, Tengfei Wang, Haiyu Zhang, Xuhui Zuo, Junta Wu, Haoyuan Wang, Wenqiang Sun, Zhenwei Wang, Chenjie Cao, Hengshuang Zhao, Chunchao Guo, Zhou Zhao

Xuất bản lúc: 2026-02-09

Tag: Reinforcement Learning (RL), World Models, Video Generation, Diffusion Models, Post-training

I. Main Problem:

Các mô hình thế giới dựa trên video nguồn mở hiện tại chủ yếu bị giới hạn ở giai đoạn tiền huấn luyện, dựa vào giám sát pixel từ dữ liệu hình ảnh thô để học cách tuân theo hành động đầu vào một cách gián tiếp. Điều này dẫn đến khả năng kém trong việc tuân thủ tín hiệu tương tác một cách chính xác và nhất quán, đặc biệt đối với các chuỗi hành động dài (long-horizon) hoặc phức tạp. Các khuôn khổ RL hiện có cho mô hình khuếch tán không thể áp dụng trực tiếp cho việc tạo video tự hồi quy, dài hạn của mô hình thế giới do sự thay đổi kiến trúc cơ bản (tạo chuỗi tuần tự so với song song). Thách thức về sự thưa thớt của tín hiệu phần thưởng trong chiến lược rollout cấp chuỗi và vấn đề 'phần thưởng giả' (reward hacking) cũng tồn tại.

II. Main Idea:

WorldCompass đề xuất một khuôn khổ hậu huấn luyện (post-training) dựa trên Học tăng cường (RL) mới, được thiết kế đặc biệt để 'điều khiển' quá trình khám phá thế giới của các mô hình thế giới dựa trên video, cải thiện độ chính xác và tính nhất quán dựa trên tín hiệu tương tác. Các đổi mới cốt lõi bao gồm:

Chiến lược rollout cấp clip (Clip-level rollout Strategy): Thay vì tạo toàn bộ chuỗi video, WorldCompass tạo và đánh giá nhiều mẫu tại một clip mục tiêu duy nhất. Điều này giúp tăng đáng kể hiệu quả rollout (giảm độ phức tạp từ O(N·G) xuống O(N+G)) và cung cấp tín hiệu phần thưởng chi tiết hơn, đồng thời giảm thiểu sai lệch phơi nhiễm (exposure bias).
Hàm phần thưởng bổ sung (Complementary Reward Functions): Thiết kế hai hàm phần thưởng riêng biệt để đánh giá độ chính xác khi tuân theo tương tác (Interaction Following Score) và chất lượng hình ảnh (Visual Quality Score). Hàm 'Interaction Following Score' sử dụng mô hình nền tảng 3D để ước tính quỹ đạo camera (dịch chuyển và xoay) và so sánh với hành động đầu vào. Hàm 'Visual Quality Score' sử dụng HPSv3 để đánh giá sự phù hợp văn bản-hình ảnh và chất lượng thẩm mỹ. Sự kết hợp này cung cấp giám sát trực tiếp và ngăn chặn hiệu quả hành vi 'phần thưởng giả'.
Thuật toán RL hiệu quả (Efficient RL Algorithm): Sử dụng chiến lược tinh chỉnh nhận biết tiêu cực (negative-aware fine-tuning strategy) lấy cảm hứng từ DiffusionNFT, kết hợp với các tối ưu hóa hiệu quả. Dữ liệu rollout được lấy mẫu từ các nhiễu ban đầu khác nhau và mô hình được huấn luyện trực tiếp với mục tiêu khớp luồng. Các tối ưu hóa bao gồm chọn ngẫu nhiên tập hợp con các bước thời gian (timesteps), chiến lược chọn 'Best-of-N' cho các mẫu rollout (chỉ chọn 3 mẫu tốt nhất và 3 mẫu tệ nhất), và chiến lược tối ưu hóa tuần tự (progressive optimization) cho độ dài clip để tạo hiệu ứng học theo chương trình.

III. Main Results:

WorldCompass đã được đánh giá trên mô hình thế giới tiên tiến WorldPlay và cho thấy những cải thiện đáng kể về độ chính xác tương tác và độ chân thực của hình ảnh trong nhiều tình huống khác nhau (thời lượng khác nhau, độ phức tạp hành động khác nhau).

Cải thiện độ chính xác tương tác: Đối với các hành động phức tạp kết hợp, độ chính xác trung bình được cải thiện từ khoảng 20% lên 55%. Đối với các hành động cơ bản, độ chính xác tương tác tăng khoảng 10% (từ 60% lên 70%).
Cải thiện chất lượng hình ảnh: Huấn luyện RL cũng nâng cao chất lượng hình ảnh tổng thể của các video được tạo ra.
Nghiên cứu cắt bỏ (Ablation study) xác nhận:
- Chiến lược rollout cấp clip là yếu tố then chốt, trong khi rollout cấp mẫu làm giảm khả năng tuân thủ hành động.
- Các hàm phần thưởng bổ sung là cần thiết để ngăn chặn 'phần thưởng giả'; việc chỉ tối ưu hóa một trong hai sẽ dẫn đến suy giảm ở khía cạnh còn lại.
- Thuật toán tinh chỉnh nhận biết tiêu cực hiệu quả hơn so với DanceGRPO trong việc khám phá các quỹ đạo camera đa dạng.
- Các chiến lược tối ưu hóa hiệu quả (chọn tập hợp con các bước thời gian và lấy mẫu Best-of-N) giảm chi phí huấn luyện 50% trong khi vẫn duy trì hiệu suất cạnh tranh.
Kết quả định tính: Các so sánh trực quan cho thấy mô hình sau huấn luyện WorldCompass tăng cường khả năng tuân theo tương tác, cải thiện chất lượng hình ảnh và tính nhất quán không gian.

IV. Conclusion & Future Works:

WorldCompass giới thiệu một khuôn khổ học tăng cường trực tuyến tiên phong được thiết kế riêng cho các mô hình thế giới. Bằng cách nhận diện bản chất tương tác, dài hạn và tự hồi quy của các tác vụ mô hình thế giới, phương pháp này tái thiết kế quy trình huấn luyện RL cho các mô hình khuếch tán để giải quyết tốt hơn những đặc điểm độc đáo này. Với chiến lược rollout cấp clip, các hàm phần thưởng bổ sung và thuật toán tinh chỉnh nhận biết tiêu cực, WorldCompass đã chứng minh khả năng nâng cao đáng kể mô hình thế giới tiên tiến, WorldPlay, đặc biệt là khi xử lý các chuỗi hành động kết hợp đầy thách thức. Công việc này đóng góp vào việc thúc đẩy lĩnh vực học máy.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng WorldCompass để hỗ trợ các loại hành động tương tác phức tạp hơn, bao gồm các tương tác vật lý tinh vi hoặc tương tác với đối tượng cụ thể trong môi trường 3D, vượt ra ngoài các dịch chuyển và xoay camera.
Khám phá việc tích hợp WorldCompass với các mô hình ngôn ngữ lớn (LLMs) để cho phép thế giới mô hình hiểu và phản hồi các lệnh ngôn ngữ tự nhiên, tạo ra trải nghiệm tương tác trực quan hơn.
Phát triển các phương pháp đánh giá (hàm phần thưởng) tự động và tự giám sát mới để giảm sự phụ thuộc vào các mô hình nền tảng 3D bên ngoài, nhằm nâng cao khả năng khái quát hóa và giảm chi phí.

2. Patent:

Một hệ thống cho phép người dùng điện thoại điều khiển các nhân vật hoặc camera trong môi trường trò chơi ảo một cách chính xác hơn thông qua các cử chỉ hoặc giọng nói, giúp nhân vật thực hiện đúng ý người dùng muốn, ngay cả với các chuỗi hành động phức tạp.
Ứng dụng di động tạo ra các video tương tác chất lượng cao, nơi người dùng có thể định hướng câu chuyện hoặc hành động của camera chỉ bằng cách nhập văn bản hoặc chọn hành động đơn giản, và Trí tuệ nhân tạo (AI) sẽ đảm bảo video hiển thị đẹp mắt và tuân thủ chặt chẽ các chỉ dẫn của người dùng.
Công nghệ tăng cường thực tế (AR) trên điện thoại giúp người dùng 'điều khiển' và 'khám phá' các mô hình 3D trong không gian thực ảo, với khả năng duy trì sự ổn định hình ảnh và tuân thủ chính xác các hành động di chuyển của người dùng, tạo ra trải nghiệm tương tác mượt mà và thực tế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.09022
ArXiv Abstract	https://arxiv.org/abs/2602.09022
PDF Download	https://arxiv.org/pdf/2602.09022.pdf
Github Repository	N/A

22. LatentChem: From Textual CoT to Latent Thinking in Chemical Reasoning (17 votes)

Tác giả: Xinwu Ye, Yicheng Mao, Jia Zhang, Yimeng Liu, Li Hao, Fang Wu, Zhiwei Li, Yuxuan Liao, Zehong Wang, Zhiyuan Liu, Zhenfei Yin, Li Yuan, Philip Torr, Huan Sun, Xiangxiang Zeng, Mengdi Wang, Le Cong, Shenghua Gao, Xiangru Tang

Xuất bản lúc: 2026-02-06

Tag: LLMs, Chemical Reasoning, Latent Space, Chain-of-Thought (CoT), Reinforcement Learning

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) trong lĩnh vực hóa học chủ yếu dựa vào Chain-of-Thought (CoT) rõ ràng bằng ngôn ngữ tự nhiên để thực hiện suy luận hóa học phức tạp. Tuy nhiên, suy luận hóa học vốn dĩ là liên tục và có cấu trúc, và việc ép buộc nó vào các token ngôn ngữ rời rạc tạo ra sự không khớp về biểu diễn cơ bản (fundamental representation mismatch), hạn chế cả hiệu quả và hiệu suất. Các tác giả đặt giả thuyết rằng việc ép buộc logic hóa học vào 'nút cổ chai' ngôn ngữ dẫn đến khoảng cách liên tục-rời rạc cơ bản (continuity–discretization gap) trong suy luận hóa học.

II. Main Idea:

Các tác giả giới thiệu LatentChem, một giao diện suy luận tiềm ẩn (latent reasoning interface) được thiết kế để tách biệt tính toán hóa học khỏi quá trình tạo văn bản. LatentChem cho phép các mô hình thực hiện suy luận đa bước trực tiếp trong không gian tiềm ẩn liên tục (continuous latent space) trong khi chỉ phát ra ngôn ngữ cho các kết quả cuối cùng. Kiến trúc bao gồm ba thành phần chính: ChemAdapter để nhận thức ban đầu, ChemUpdater để tinh chỉnh nhận thức động, và Latent Projector để đảm bảo tính liên tục của suy luận. ChemUpdater cho phép các 'thought vectors' tiềm ẩn chủ động truy vấn lại các đặc trưng phân tử trong một vòng lặp động. Một quy trình huấn luyện bốn giai đoạn được thiết kế để truyền tải khả năng suy luận tiềm ẩn, với giai đoạn cuối cùng sử dụng Group Relative Policy Optimization (GRPO) để tinh chỉnh chính sách của mô hình, cho phép mô hình tự khám phá và tối ưu hóa quỹ đạo suy luận dựa trên phản hồi nhiệm vụ mà không cần giám sát việc tạo CoT rõ ràng.

III. Main Results:

LatentChem cho thấy một hành vi tự phát đáng chú ý: khi được tối ưu hóa chỉ để thành công nhiệm vụ, các mô hình tự nội hóa suy luận, dần dần từ bỏ các suy dẫn văn bản dài dòng để chuyển sang tính toán tiềm ẩn. Sự chuyển đổi này không chỉ là phong cách mà còn mang lại lợi thế về mặt tính toán. LatentChem đạt tỷ lệ thắng không hòa là 59.88% so với các đường cơ sở dựa trên CoT mạnh trên ChemCoTBench, đồng thời mang lại tốc độ suy luận trung bình nhanh hơn 10.84 lần. Trong các nhiệm vụ tối ưu hóa phân tử và phản ứng, yếu tố giảm hiệu suất này thậm chí vượt quá 28 lần. Phân tích cần thiết về mặt nhân quả xác nhận rằng các trạng thái tiềm ẩn nội hóa mã hóa các tiền chất quan trọng cho giải pháp cuối cùng. Khi ngân sách suy luận tiềm ẩn bị hạn chế, mô hình tự phát ngoại hóa suy luận thành văn bản để bù đắp. Phân tích không gian tiềm ẩn bằng t-SNE cho thấy sự phân vùng chức năng tức thì, với các biểu diễn phân kỳ nhanh chóng thành các cụm đặc trưng cho nhiệm vụ trong hai bước tiềm ẩn đầu tiên. Phân tích tương đồng biểu diễn (RSA) cũng chỉ ra rằng các cập nhật tiềm ẩn vẫn bảo toàn tính trung thực về cấu trúc của thông tin hóa học.

IV. Conclusion & Future Works:

Các kết quả của nghiên cứu cung cấp bằng chứng thực nghiệm mạnh mẽ rằng suy luận hóa học được thực hiện một cách tự nhiên và hiệu quả hơn dưới dạng động lực tiềm ẩn liên tục (continuous latent dynamics) thay vì các quỹ đạo ngôn ngữ rời rạc (discretized linguistic trajectories). Mô hình LatentChem đã thành công trong việc tách rời suy luận khỏi ngôn ngữ, mở khóa một mô hình suy luận hiệu quả và bản địa hơn cho LLM hóa học, cải thiện đáng kể cả tốc độ và độ chính xác. Về các hướng nghiên cứu trong tương lai, có thể khám phá việc mở rộng áp dụng LatentChem cho các lĩnh vực khoa học khác đòi hỏi suy luận liên tục, tối ưu hóa sâu hơn cơ chế ChemUpdater để đạt được sự tinh chỉnh phân tử thông minh hơn, hoặc phát triển các phương pháp để tự động điều chỉnh ngân sách suy luận tiềm ẩn tùy thuộc vào độ phức tạp của nhiệm vụ.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng LatentChem sang các bài toán hóa học phức tạp hơn, chẳng hạn như thiết kế phân tử de novo với nhiều ràng buộc hoặc dự đoán đường phản ứng đa bước, bao gồm việc tích hợp dữ liệu đa phương thức như quang phổ học hoặc hình ảnh 3D.
Phát triển các thuật toán học tăng cường tiên tiến hơn cho giai đoạn huấn luyện GRPO của LatentChem, tập trung vào việc tạo ra các phần thưởng (reward) tinh vi hơn để khuyến khích sự khám phá không gian tiềm ẩn một cách hiệu quả và kiểm soát tốt hơn hành vi 'nội hóa' suy luận.
Khám phá các phương pháp để cung cấp khả năng giải thích (interpretability) cho các suy luận tiềm ẩn của LatentChem, giúp các nhà khoa học hiểu được cách mô hình đưa ra quyết định mà không cần dựa vào chuỗi CoT ngôn ngữ rõ ràng.

2. Patent:

Một ứng dụng điện thoại di động thông minh cho phép người dùng chụp ảnh cấu trúc hóa học hoặc nhập tên hợp chất, sau đó nhận được các đề xuất cải thiện tính chất (ví dụ: độ hòa tan, độ ổn định) mà không cần phải biết hóa học chuyên sâu. Ứng dụng sẽ sử dụng công nghệ 'suy luận tiềm ẩn' để thực hiện tính toán phức tạp ở chế độ nền và chỉ hiển thị kết quả đã tối ưu hóa hoặc các gợi ý thực tế trên giao diện người dùng.
Hệ thống 'Tư vấn Chẩn đoán Dược phẩm' tích hợp vào điện thoại. Người dùng có thể nhập các triệu chứng bệnh hoặc loại thuốc đang dùng. Ứng dụng sử dụng 'tính toán tiềm ẩn' để phân tích và đề xuất các phương án điều trị tối ưu hoặc cảnh báo về các tương tác thuốc tiềm ẩn, hiển thị kết quả một cách trực quan và dễ hiểu, không cần giải thích các bước suy luận hóa học phức tạp.
Một ứng dụng di động 'Thiết kế Vật liệu Xanh' cho phép người dùng xác định các yêu cầu về hiệu suất vật liệu (ví dụ: độ bền, khả năng tái chế, chi phí thấp) thông qua giao diện kéo và thả đơn giản. Công nghệ 'suy luận tiềm ẩn' sẽ nhanh chóng khám phá và đề xuất các công thức vật liệu hoặc cấu trúc phân tử phù hợp với các tiêu chí bền vững, giúp người dùng thông thường hoặc các doanh nghiệp nhỏ đổi mới vật liệu một cách dễ dàng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.07075
ArXiv Abstract	https://arxiv.org/abs/2602.07075
PDF Download	https://arxiv.org/pdf/2602.07075.pdf
Github Repository	https://github.com/xinwuye/LatentChem

23. Context Compression via Explicit Information Transmission (14 votes)

Tác giả: Jiangnan Ye, Hanqi Yan, Zhenyi Shen, Heng Chang, Ye Mao, Yulan He

Xuất bản lúc: 2026-02-03

Tag: LLMs, Context Compression, Natural Language Processing, Deep Learning, Information Transmission

I. Main Problem:

Chi phí suy luận ngữ cảnh dài với Large Language Models (LLMs) rất cao do cơ chế attention bậc hai và bộ nhớ cache key-value ngày càng tăng, thúc đẩy nhu cầu nén ngữ cảnh. Các phương pháp nén ngữ cảnh mềm hiện có, sử dụng mô hình LLM làm bộ nén, gặp phải hai hạn chế cấu trúc: (i) ghi đè biểu diễn tiến bộ qua các lớp (lệch phân phối giữa các lớp) và (ii) phân bổ dung lượng nén không phối hợp giữa các token (thiếu sự phối hợp toàn cầu).

II. Main Idea:

Đề xuất ComprExIT (Context Compression via Explicit Information Transmission), một khuôn khổ nhẹ nhàng đưa ra một mô hình nén ngữ cảnh mềm mới: truyền thông tin tường minh qua các trạng thái ẩn của LLM đã được "đóng băng" (frozen LLM hidden states). Điều này tách rời quá trình nén khỏi cơ chế tự attention nội bộ của mô hình. ComprExIT thực hiện: (i) Truyền thông tin theo chiều sâu (depth-wise transmission): chọn lọc truyền thông tin đa lớp vào các "neo token" (token anchors), giảm thiểu việc ghi đè biểu diễn tiến bộ. (ii) Truyền thông tin theo chiều rộng (width-wise transmission): tổng hợp các neo token thành một số lượng nhỏ "slot" thông qua kế hoạch truyền thông tin được tối ưu hóa toàn cầu, đảm bảo phân bổ thông tin phối hợp. Phương pháp này tận dụng các trạng thái ẩn đã được tính toán từ một LLM "đóng băng", thay vì huấn luyện LLM để tự nén. Cụ thể bao gồm:

Neo Token (Token Anchors): được xây dựng bằng cách điều khiển luồng thông tin rõ ràng qua các lớp tại mỗi vị trí token, kết hợp các trạng thái lớp bằng các trọng số và điểm gating đã học.
Slot Nén (Compression Slots): thông tin được truyền từ N neo token đến K slot nén thô bằng một kế hoạch truyền thông tin được tối ưu hóa toàn cầu (giải quyết bài toán vận chuyển tối ưu bằng thuật toán Sinkhorn), sử dụng ma trận tiện ích và dung lượng thông tin cho các bên gửi/nhận.
Các biểu diễn nén cuối cùng được thu được bằng cách tổng hợp các neo token được chiếu vào các slot, sau đó là một MLP nhẹ để căn chỉnh.

III. Main Results:

ComprExIT liên tục vượt trội hơn các phương pháp nén ngữ cảnh hiện đại trên sáu bộ dữ liệu benchmark trả lời câu hỏi, đồng thời chỉ thêm khoảng 1% tham số phụ trợ. Phương pháp này đạt hoặc thậm chí vượt qua hiệu suất của mô hình đã tinh chỉnh không nén trên một số bộ dữ liệu (ví dụ: TriviaQA và SearchQA cho mô hình 1B; NewsQA, TriviaQA, SearchQA và HotpotQA cho mô hình 3B). Nó thể hiện khả năng mạnh mẽ hơn về độ bền và tổng quát hóa trên các bộ dữ liệu QA ngoài miền (OOD) và duy trì hiệu suất mạnh mẽ ngay cả với các mô hình nền nhỏ hơn (1B), nơi các phương pháp khác suy giảm nghiêm trọng. ComprExIT cũng chứng minh khả năng nén zero-shot hiệu quả khi chỉ được huấn luyện bằng mục tiêu dự đoán token tiếp theo (NTP). Các nghiên cứu loại bỏ (ablation studies) xác nhận tầm quan trọng của phân bổ phối hợp và tổng hợp lớp theo chiều sâu. Phân tích sâu hơn cho thấy ComprExIT duy trì tương quan thấp giữa các slot và xếp hạng hiệu quả cao hơn trong phân bổ, cho thấy việc sử dụng thông tin phối hợp và hiệu quả hơn. Điểm gating cho thấy ưu tiên các lớp đầu và giữa, và hạn chế các lớp cuối. Cuối cùng, ComprExIT cho thấy hội tụ nhanh hơn và đạt mức tổn thất thấp hơn trong quá trình huấn luyện NTP.

IV. Conclusion & Future Works:

Kết luận: Công trình này giới thiệu ComprExIT, một mô hình mới cho nén ngữ cảnh mềm bằng cách xây dựng quá trình nén thành việc truyền thông tin tường minh qua các trạng thái ẩn của LLM đã được "đóng băng". ComprExIT giảm thiểu sự lệch phân phối do ghi đè biểu diễn tiến bộ và cho phép tổng hợp thông tin ngữ cảnh có thể kiểm soát hơn. Các thí nghiệm cho thấy phương pháp này liên tục vượt trội so với các phương pháp nén trước đây. Công việc tương lai:

Mở rộng nghiên cứu sang các mô hình lớn hơn với các tỷ lệ nén và độ dài ngữ cảnh khác nhau.
Thử nghiệm phương pháp này trên các họ mô hình khác.
Khám phá thêm các lựa chọn thiết kế trong mô hình mới này để nén ngữ cảnh vượt ra ngoài các công thức dựa trên attention tiêu chuẩn. Tuyên bố tác động: Giảm chi phí tính toán và bộ nhớ khi xử lý các tài liệu dài, giúp LLM dễ tiếp cận hơn trong các môi trường tài nguyên thấp. Tuy nhiên, có nguy cơ bỏ sót thông tin quan trọng, cần cải thiện độ trung thực của các biểu diễn nén.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng ComprExIT sang các LLM lớn hơn (ví dụ: trên 7B tham số) và đánh giá lợi ích về hiệu suất và hiệu quả của nó đối với các ngữ cảnh cực dài (ví dụ: hơn 100 nghìn token) và tỷ lệ nén cao hơn. Điều này có thể bao gồm nghiên cứu các chiến lược tối ưu hóa cho vận chuyển tối ưu quy mô lớn.
Nghiên cứu tỷ lệ nén thích ứng và độ dài ngữ cảnh động cho ComprExIT, trong đó tỷ lệ nén không cố định mà điều chỉnh dựa trên mức độ quan trọng của nội dung hoặc yêu cầu của tác vụ hạ nguồn. Điều này có thể liên quan đến việc tích hợp dự đoán độ nổi bật vào kế hoạch truyền thông tin.
Mở rộng ComprExIT sang các kiến trúc LLM khác ngoài Llama-3 (ví dụ: Mistral, Falcon, Gemini) và khám phá ứng dụng của nó trong các ngữ cảnh đa phương thức (ví dụ: nén các bản ghi video dài hoặc chuỗi hình ảnh cho các mô hình thị giác-ngôn ngữ).

2. Patent:

Tóm tắt thông báo thông minh: Một tính năng AI trên điện thoại thông minh sử dụng truyền thông tin tường minh để nén các tin nhắn, email hoặc bài báo dài thành một bản tóm tắt ngắn gọn hiển thị trực tiếp trong bảng thông báo. Điều này giúp người dùng nhanh chóng nắm bắt các điểm chính mà không cần mở ứng dụng, tiết kiệm thời gian và công sức.
Trợ lý di động nhận biết ngữ cảnh: Một trợ lý ảo trên điện thoại di động xử lý các cuộc trò chuyện hoặc lịch sử tài liệu mở rộng của người dùng (ví dụ: nhật ký trò chuyện, ghi chú, trang web đã xem) bằng cách nén ngữ cảnh liên quan thông qua truyền thông tin tường minh. Điều này giúp trợ lý đưa ra các phản hồi hoặc đề xuất chính xác và cá nhân hóa hơn mà không yêu cầu xử lý đám mây liên tục, cải thiện quyền riêng tư và khả năng phản hồi.
Ứng dụng đọc tài liệu/trang web di động tối ưu: Một ứng dụng điện thoại thông minh sử dụng truyền thông tin tường minh để tự động tóm tắt các tài liệu hoặc trang web dài. Khi người dùng cuộn, ứng dụng sẽ thông minh làm nổi bật hoặc trình bày các bản tóm tắt nén của các phần chính, cho phép đọc và hiểu nhanh hơn, đặc biệt hữu ích cho các bài nghiên cứu hoặc báo cáo dài trên màn hình nhỏ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.03784
ArXiv Abstract	https://arxiv.org/abs/2602.03784
PDF Download	https://arxiv.org/pdf/2602.03784.pdf
Github Repository	N/A

24. Fundamental Reasoning Paradigms Induce Out-of-Domain Generalization in Language Models (12 votes)

Tác giả: Mingzi Cao, Xingwei Tan, Mahmud Akhter, Marco Valentino, Maria Liakata, Xi Wang, Nikolaos Aletras

Xuất bản lúc: 2026-02-09

Tag: LLMs, Reasoning, Out-of-Domain Generalization, Fine-tuning, Mixture-of-Experts, Symbolic Reasoning

I. Main Problem:

Các nghiên cứu trước đây về cải thiện khả năng suy luận của Large Language Models (LLMs) thường không phân biệt rõ ràng các mô hình suy luận cơ bản (diễn dịch, quy nạp, suy diễn) và cách chúng tác động đến khả năng khái quát hóa Out-of-Domain (OOD). Việc sử dụng dữ liệu kết hợp kiến thức thế giới thực và suy luận cũng khiến khó xác định liệu các cải tiến có thực sự đến từ khả năng suy luận hay chỉ là ghi nhớ sự kiện. Điều này đặt ra hai câu hỏi chính: 1) Mức độ các kỹ năng suy luận riêng biệt cải thiện khả năng suy luận tổng thể, và 2) Phương pháp hiệu quả nhất để truyền đạt các khả năng này vào LLMs là gì.

II. Main Idea:

Nghiên cứu này đề xuất thu thập một bộ dữ liệu mới gồm các quỹ đạo suy luận (reasoning trajectories) từ các tác vụ symbolic, mỗi tác vụ tập trung vào một trong ba mô hình suy luận cơ bản (diễn dịch, quy nạp, suy diễn), nhằm loại bỏ sự phụ thuộc vào kiến thức thế giới thực. Sau đó, các nhà nghiên cứu điều tra các phương pháp hiệu quả để truyền đạt những kỹ năng này vào LLMs, bao gồm fine-tuning đơn giản (Full FT, LoRA FT), các cách tiếp cận phức tạp hơn để tăng độ sâu mô hình (Up-scaling), hoặc chuyển đổi mô hình dày đặc sang kiến trúc Mixture-of-Experts (MoE) thông qua Upcycling. Cuối cùng, các mô hình được truyền đạt được đánh giá toàn diện trên các tác vụ OOD thực tế sử dụng ngôn ngữ tự nhiên và chứa kiến thức thế giới thực, cũng như các tác vụ symbolic in-domain và OOD, nhằm phân tích sự tương tác giữa các mô hình suy luận và hành vi của LLMs.

III. Main Results:

Phương pháp này mang lại khả năng khái quát hóa OOD mạnh mẽ với mức tăng hiệu suất đáng kể (lên tới 14.60%) trên các tác vụ thực tế. Khả năng suy luận diễn dịch (Deduction) thường mang lại mức tăng hiệu suất OOD cao nhất và là kỹ năng dễ chuyển giao nhất. Quan sát thấy sự cải thiện mạnh mẽ giữa các mô hình suy luận (cross-paradigm improvements). Phương pháp truyền đạt hiệu quả nhất phụ thuộc vào mô hình, nhưng Upcycling đạt kết quả tốt nhất về tổng thể. Việc truyền đạt kiến thức suy luận không gắn với kiến thức thế giới thực cho phép LLMs “học sinh” vượt trội hơn cả mô hình “giáo viên” trên các tác vụ thực tế. Tuy nhiên, đối với các tác vụ OOD thực tế, học sinh học tốt hơn từ giáo viên cùng “gia đình” mô hình. Ngoài ra, việc truyền đạt kỹ năng suy luận tương ứng với tác vụ thực tế không phải lúc nào cũng mang lại hiệu suất tốt nhất (ví dụ: trong các tác vụ suy diễn (abduction-heavy tasks), suy luận diễn dịch hoặc quy nạp có thể hiệu quả hơn).

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng việc truyền đạt các kiểu suy luận cơ bản mà không phụ thuộc vào kiến thức thế giới thực mang lại lợi ích OOD đáng kể và có thể chuyển giao. Suy luận diễn dịch là mô hình mạnh mẽ nhất, và Upcycling cung cấp cải thiện tổng thể lớn nhất, giúp các LLM “học sinh” tiếp thu các thiên kiến quy nạp cấu trúc, thậm chí vượt trội hơn cả “giáo viên” của chúng trên các tác vụ thực tế. Trong tương lai, các nhà nghiên cứu dự định mở rộng khuôn khổ này để khám phá các cách kết hợp nhiều mô hình suy luận một cách có nguyên tắc mà không làm giảm đóng góp riêng lẻ của chúng. Các hướng nghiên cứu khác bao gồm điều tra tác động của các loại dữ liệu symbolic khác nhau và mở rộng nghiên cứu sang các ngôn ngữ ngoài tiếng Anh để hiểu sự khác biệt trong biểu hiện ngôn ngữ và chiến lược nhận thức.

V. Brainstorming Space:

1. Publish Papers:

Khám phá các kiến trúc và thuật toán mới để kết hợp có nguyên tắc các mô hình suy luận cơ bản (diễn dịch, quy nạp, suy diễn) nhằm tối ưu hóa khả năng khái quát hóa Out-of-Domain của LLMs, vượt qua các hạn chế của phương pháp kết hợp đơn thuần hiện tại.
Nghiên cứu tác động của việc sử dụng các loại tác vụ symbolic đa dạng hơn hoặc các bộ dữ liệu symbolic với độ phức tạp tăng dần trong quá trình truyền đạt kỹ năng suy luận, nhằm xác định phương pháp hiệu quả nhất để cải thiện khả năng khái quát hóa.
Mở rộng nghiên cứu về khả năng khái quát hóa Out-of-Domain của LLMs với các mô hình suy luận cơ bản sang các ngôn ngữ không phải tiếng Anh, phân tích sự khác biệt trong biểu hiện ngôn ngữ và chiến lược nhận thức giữa các nền văn hóa để phát triển LLMs toàn cầu hơn.

2. Patent:

Một hệ thống hỗ trợ ra quyết định thông minh trên điện thoại di động, được huấn luyện để thực hiện suy luận logic chặt chẽ tách biệt khỏi kiến thức đời sống. Ứng dụng này có thể giúp người dùng phân tích các văn bản phức tạp như điều khoản hợp đồng hoặc chính sách bảo hiểm bằng cách áp dụng suy luận diễn dịch, từ đó đưa ra các kết luận chính xác và giảm thiểu rủi ro hiểu sai do thông tin bên ngoài không liên quan.
Một trợ lý cá nhân trên điện thoại có khả năng dự đoán xu hướng và hành vi người dùng, sử dụng suy luận quy nạp để học hỏi từ các mẫu dữ liệu lịch sử như thói quen sử dụng ứng dụng hoặc sở thích mua sắm. Hệ thống này có thể đề xuất các hành động hoặc sản phẩm phù hợp, cá nhân hóa trải nghiệm mà không cần truy cập vào thông tin quá cụ thể về thế giới, chỉ dựa trên các quy tắc học được từ dữ liệu.
Một tính năng chẩn đoán vấn đề thông minh cho điện thoại, sử dụng suy luận suy diễn để đưa ra lời giải thích hợp lý nhất cho các sự cố kỹ thuật. Bằng cách phân tích các triệu chứng người dùng báo cáo và các quy tắc hoạt động đã biết của thiết bị, ứng dụng có thể gợi ý nguyên nhân và giải pháp khả thi, giúp người dùng tự khắc phục lỗi hoặc hiểu rõ hơn về tình trạng của điện thoại một cách logic và có căn cứ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.08658
ArXiv Abstract	https://arxiv.org/abs/2602.08658
PDF Download	https://arxiv.org/pdf/2602.08658.pdf
Github Repository	https://github.com/voalmciaf/FR-OOD

25. NanoQuant: Efficient Sub-1-Bit Quantization of Large Language Models (11 votes)

Tác giả: Hyochan Chong, Dongkyu Kim, Changdong Kim, Minseop Choi

Xuất bản lúc: 2026-02-06

Tag: LLMs, Quantization, PTQ, Sub-1-bit, Low-rank factorization, Inference optimization

I. Main Problem:

Hiện tại, việc triển khai các mô hình ngôn ngữ lớn (LLM) là rất tốn kém do kích thước khổng lồ của chúng. Các phương pháp lượng tử hóa chỉ trọng số (weight-only quantization) hiện có gặp khó khăn trong việc nén mô hình xuống mức nhị phân (1-bit) hoặc dưới 1-bit một cách hiệu quả:

Các phương pháp lượng tử hóa hậu huấn luyện (PTQ) nhị phân hiện tại bị giới hạn cấu trúc ở mức tối thiểu 1 bit trên mỗi tham số và phát sinh chi phí lưu trữ bổ sung (ví dụ: các hệ số tỉ lệ và mặt nạ nhóm), khiến tốc độ bit hiệu quả vượt quá 2 hoặc thậm chí 3 bit.
Các phương pháp huấn luyện nhận biết lượng tử hóa (QAT) nhị phân có thể đạt được mức nén dưới 1-bit bằng cách sử dụng biểu diễn hạng thấp. Tuy nhiên, chúng đòi hỏi lượng dữ liệu và điện toán khổng lồ (hàng trăm triệu hoặc tỷ token, nhiều GPU trong nhiều ngày), làm cho chúng không thực tế cho môi trường hạn chế tài nguyên và không thể áp dụng cho các mô hình lớn hơn (ví dụ: 70B tham số). Do đó, một phương pháp PTQ dưới 1-bit hiệu quả về dữ liệu và điện toán là một thách thức lớn.

II. Main Idea:

NANOQUANT đề xuất một phương pháp lượng tử hóa hậu huấn luyện (PTQ) đầu tiên có khả năng nén các mô hình ngôn ngữ lớn (LLM) xuống cả mức nhị phân (1-bit) và dưới 1-bit. Ý tưởng chính bao gồm:

Lượng tử hóa dưới 1-bit thông qua phân tách hạng thấp nhị phân: NANOQUANT công thức hóa lượng tử hóa dưới 1-bit như một bài toán phân tách hạng thấp nhị phân. Các trọng số có độ chính xác đầy đủ (full-precision) được nén thành các ma trận nhị phân hạng thấp (U±1, V±1) và các hệ số tỉ lệ (s1, s2).
Khởi tạo chính xác bằng ADMM: Sử dụng phương pháp Nhân tử phương thay thế hiệu quả (ADMM - Alternating Direction Method of Multipliers) để khởi tạo chính xác các ma trận nhị phân tiềm ẩn và các hệ số tỉ lệ. Điều này bao gồm:
- Tiền điều kiện nhận biết Hessian (Hessian-Aware Preconditioning): Áp dụng các bộ tiền điều kiện chéo từ thống kê kích hoạt và gradient, cùng với chuẩn hóa co rút (shrinkage regularization) để tăng tính mạnh mẽ.
- Phân tách nhị phân tiềm ẩn (LB-ADMM): Giải quyết bài toán phân tách hạng thấp nhị phân thông qua ADMM, cập nhật các yếu tố liên tục, các biến phụ trợ và các biến kép.
- Cân bằng độ lớn tiềm ẩn: Cân bằng các yếu tố tiềm ẩn và tính toán các vector tỉ lệ để đảm bảo khởi tạo ổn định.
Quy trình tái cấu trúc phân cấp:
- Tái cấu trúc khối (Block Reconstruction Pipeline): Tối ưu hóa tuần tự từng lớp tuyến tính trong mỗi khối transformer. Quá trình này bao gồm giảm thiểu lỗi lan truyền, khởi tạo nhị phân hạng thấp, và tinh chỉnh các thành phần đã được phân tách bằng Straight-Through Estimator (STE) để tối ưu hóa cục bộ cấu trúc dấu hiệu và độ lớn.
- Tái cấu trúc mô hình (Model Reconstruction): Sau khi các tham số nhị phân được đóng băng và đóng gói, chỉ các vector tỉ lệ dấu phẩy động toàn cục được tối ưu hóa để căn chỉnh logits của mô hình đã lượng tử hóa với các dự đoán ban đầu, sử dụng khoảng cách Kullback-Leibler (KL) để giảm thiểu lỗi.
Tối ưu hóa nhân CUDA tùy chỉnh: Triển khai các nhân CUDA GEMV và GEMM nhị phân tùy chỉnh để tăng tốc đáng kể thông lượng suy luận, giảm dung lượng bộ nhớ và tăng cường hiệu quả năng lượng.

III. Main Results:

NANOQUANT đạt được những kết quả vượt trội, thiết lập một giới hạn Pareto mới trong lượng tử hóa hậu huấn luyện (PTQ) bộ nhớ thấp:

Nén hiệu quả: Là phương pháp PTQ đầu tiên nén các LLM xuống mức 1-bit và dưới 1-bit thực sự.
- Nén mô hình Llama2-70B từ 138.04 GB xuống 5.35 GB, đạt hệ số nén 25.8 lần. Điều này cho phép một mô hình 70B tham số hoạt động trên GPU tiêu dùng 8GB.
- Các phương pháp PTQ nhị phân trước đây thường yêu cầu từ 2.51 đến 4.13 bit/trọng số do chi phí lưu trữ bổ sung, trong khi NANOQUANT đạt được 1-bit và dưới 1-bit thực sự.
Độ chính xác hàng đầu: Đạt được độ chính xác trạng thái của nghệ thuật (SOTA) ngay cả ở tốc độ nén dưới 1-bit.
- Duy trì perplexity chức năng trên các họ mô hình đa dạng (Llama2, Llama3, Gemma3, Qwen3, Rnj-1) với số bit ít hơn so với các phương pháp cạnh tranh (xem Bảng 2).
- Đạt hiệu suất cạnh tranh với các phương pháp PTQ nhị phân bit cao hơn và tiếp cận độ chính xác của các phương pháp QAT nhị phân trong các tác vụ lý luận zero-shot, mặc dù sử dụng lượng dữ liệu hiệu chuẩn ít hơn hàng bậc (chỉ 128 mẫu WikiText-2, tương đương 0.26M token).
Hiệu suất suy luận vượt trội:
- Trên phần cứng tiêu dùng (NVIDIA RTX 3050 8GB), NANOQUANT tăng tốc độ thông lượng suy luận cho Llama-3.2-3B lên tới 4.02 lần, giảm mức sử dụng bộ nhớ cao nhất 5.4 lần và cải thiện hiệu quả năng lượng 3.9 lần trên mỗi token so với baseline BF16.
- Trên phần cứng trung tâm dữ liệu (NVIDIA H100 80GB), giảm tới 10 lần mức sử dụng bộ nhớ, cho phép suy luận theo lô đơn nhanh hơn và hiệu quả năng lượng cao hơn.
Tính ổn định của khởi tạo: Khởi tạo bằng Latent-Binary ADMM (LB-ADMM) của NANOQUANT vượt trội so với các chiến lược khởi tạo nhị phân hạng thấp khác (Dual-SVID, DBF ADMM) về perplexity và độ chính xác zero-shot.

IV. Conclusion & Future Works:

Kết luận: NANOQUANT là một phương pháp lượng tử hóa hậu huấn luyện (PTQ) hiệu quả và chính xác, cho phép lượng tử hóa trọng số 1-bit và dưới 1-bit cho các mô hình ngôn ngữ lớn (LLM) lên đến 70B tham số chỉ với một GPU duy nhất. Phương pháp này giúp nén nhanh chóng và lưu trữ trọng số cực kỳ nhỏ gọn, giảm đáng kể dung lượng bộ nhớ cần thiết cho suy luận LLM. Các nhân CUDA nhị phân tùy chỉnh càng cải thiện hiệu quả năng lượng và tốc độ giải mã. NANOQUANT đạt được khả năng nén mô hình lên tới 25.8 lần, giúp mô hình 70B tham số có thể chạy trên GPU 8GB. Điều này dân chủ hóa quyền truy cập vào các mô hình ngôn ngữ quy mô lớn bằng cách cho phép nén và suy luận nhanh chóng, hiệu quả cho các nhà nghiên cứu và nhà phát triển trong môi trường hạn chế tài nguyên, đồng thời thúc đẩy giới hạn của lượng tử hóa LLM cực độ.

Công việc tương lai:

Tối ưu hóa thời gian chạy nén và khám phá khả năng mở rộng của phương pháp với các bộ dữ liệu hiệu chuẩn lớn hơn.
Nâng cao hiệu suất trên các tác vụ lý luận phức tạp hơn bằng cách mở rộng quy mô dữ liệu và ngân sách điện toán.
Tối ưu hóa thêm các nhân CUDA tùy chỉnh cho các kiến trúc thế hệ tiếp theo như NVIDIA Blackwell hoặc phần cứng chuyên biệt cho thiết bị biên để đạt được tốc độ nhanh hơn nữa.
Tiếp tục thách thức để NANOQUANT vượt trội hơn hiệu suất của các phương pháp PTQ bit cao hơn (2 hoặc 3 bit) trong chế độ dưới nhị phân.

V. Brainstorming Space:

1. Publish Papers:

Lượng tử hóa động thích ứng dưới 1-bit cho LLMs: Nghiên cứu các phương pháp lượng tử hóa dưới 1-bit thích ứng với các đặc điểm cụ thể của dữ liệu đầu vào hoặc ngữ cảnh, thay vì một lược đồ lượng tử hóa tĩnh. Điều này có thể bao gồm việc sử dụng các kỹ thuật học tăng cường hoặc các cơ chế tự động điều chỉnh để tối ưu hóa tốc độ bit hiệu quả và độ chính xác trong quá trình suy luận.
Khám phá biểu diễn nhị phân hạng thấp cho các kiến trúc LLM mới: Điều tra cách các kỹ thuật phân tách nhị phân hạng thấp của NANOQUANT có thể được điều chỉnh và tối ưu hóa cho các kiến trúc LLM mới nổi hoặc các mô hình hỗn hợp chuyên gia (MoE), đặc biệt tập trung vào việc duy trì hiệu suất đồng thời giảm hơn nữa chi phí điện toán và bộ nhớ.
Tối ưu hóa NANOQUANT cho suy luận đa mô hình và đa tác vụ: Mở rộng NANOQUANT để hỗ trợ suy luận hiệu quả cho nhiều LLM hoặc các tác vụ khác nhau trên một thiết bị, tập trung vào các chiến lược chia sẻ tài nguyên hoặc điều chỉnh động các mô hình đã lượng tử hóa để xử lý tải công việc đa dạng một cách tối ưu.

2. Patent:

Hệ thống trợ lý AI di động cực kỳ hiệu quả: Phát triển một hệ thống AI trên điện thoại di động cho phép chạy các tác vụ trợ lý ảo phức tạp (ví dụ: tạo văn bản, tóm tắt, dịch thuật) trực tiếp trên thiết bị mà không cần kết nối đám mây liên tục. Hệ thống này sử dụng công nghệ nén mô hình "dưới 1-bit" để giảm đáng kể kích thước mô hình AI và nhu cầu bộ nhớ, giúp các điện thoại thông minh thông thường có thể chứa và vận hành các mô hình AI lớn một cách mượt mà và tiết kiệm pin. Người dùng có thể trải nghiệm phản hồi gần như tức thì và quyền riêng tư được cải thiện vì dữ liệu không cần gửi lên đám mây.
Ứng dụng dịch thuật và tóm tắt thời gian thực trên điện thoại: Một ứng dụng điện thoại thông minh tích hợp khả năng dịch thuật và tóm tắt văn bản hoặc giọng nói theo thời gian thực, hoạt động hoàn toàn ngoại tuyến. Bằng cách tận dụng công nghệ nén trọng số "dưới 1-bit", ứng dụng có thể lưu trữ các mô hình ngôn ngữ lớn mạnh mẽ trực tiếp trên điện thoại, cho phép dịch các cuộc hội thoại hoặc tóm tắt tài liệu dài mà không cần Internet, cực kỳ hữu ích khi đi du lịch hoặc trong các khu vực có kết nối kém, đồng thời bảo vệ dữ liệu cá nhân của người dùng.
Công cụ tạo nội dung thông minh và tiết kiệm năng lượng cho điện thoại: Một bộ công cụ dành cho người sáng tạo nội dung trên điện thoại di động, cung cấp các tính năng như gợi ý viết kịch bản, tạo ý tưởng tiêu đề, hoặc hỗ trợ viết email/bài đăng mạng xã hội. Các mô hình AI được tích hợp trong công cụ này được tối ưu hóa bằng cách nén "dưới 1-bit" để hoạt động với hiệu suất cao nhưng tiêu thụ rất ít năng lượng. Điều này cho phép người dùng sử dụng các tính năng AI nâng cao trong thời gian dài mà không lo hết pin điện thoại, giúp quá trình sáng tạo nội dung trở nên liên tục và tiện lợi hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06694
ArXiv Abstract	https://arxiv.org/abs/2602.06694
PDF Download	https://arxiv.org/pdf/2602.06694.pdf
Github Repository	N/A

26. RelayGen: Intra-Generation Model Switching for Efficient Reasoning (11 votes)

Tác giả: Jiwon Song, Yoongon Kim, Jae-Joon Kim

Xuất bản lúc: 2026-02-06

Tag: LLMs, Reasoning, Efficiency, Inference, Model Switching, Speculative Decoding

I. Main Problem:

Các mô hình suy luận lớn (LRM) đạt hiệu suất cao trên các tác vụ suy luận phức tạp bằng cách tạo ra các chuỗi suy luận dài, nhiều bước, nhưng chi phí suy luận thực tế (inference-time scaling) đòi hỏi chi phí triển khai đáng kể.
Một thách thức chính là độ khó khi tạo ra các phần khác nhau trong một đầu ra duy nhất thường thay đổi, trong khi các phương pháp tối ưu hiệu suất hiện có hoặc bỏ qua sự thay đổi nội tại này hoặc dựa vào định tuyến cấp token có giám sát với độ phức tạp hệ thống cao.

II. Main Idea:

Giới thiệu RelayGen, một framework chuyển đổi mô hình cấp phân đoạn (segment-level) chạy thời gian thực, không cần huấn luyện (training-free), khai thác sự biến đổi độ khó trong suy luận dạng dài.
Thông qua phân tích ngoại tuyến về sự không chắc chắn khi tạo bằng cách sử dụng biên độ xác suất token, RelayGen chứng minh rằng kiểm soát cấp phân đoạn thô có thể đủ để nắm bắt các chuyển đổi độ khó.
RelayGen xác định các tín hiệu chuyển đổi (switch cues) đặc trưng cho mô hình, báo hiệu sự chuyển tiếp sang các phân đoạn có độ khó thấp hơn, và tự động ủy quyền việc tiếp tục tạo cho một mô hình nhỏ hơn, trong khi vẫn giữ các phần suy luận có độ khó cao cho mô hình lớn.
Thiết kế của RelayGen tương thích hoàn toàn với các phương pháp giải mã suy đoán (speculative decoding) do cơ chế chuyển đổi cấp phân đoạn thô.

III. Main Results:

RelayGen giảm đáng kể độ trễ suy luận trong khi vẫn giữ được phần lớn độ chính xác của các mô hình lớn.
Khi kết hợp với giải mã suy đoán (Eagle-3), RelayGen đạt tốc độ tăng cường đầu cuối lên tới 2.2 lần (2.2×) với mức suy giảm độ chính xác dưới 2%, mà không yêu cầu huấn luyện bổ sung hay các thành phần định tuyến được học.
Trên các benchmark suy luận như AIME 2025, MATH500 và GPQA-Diamond, RelayGen luôn vượt trội hơn Speculative Thinking và đạt độ chính xác tương đương hoặc tốt hơn R2R (một phương pháp định tuyến cấp token có học).
Các nghiên cứu đánh giá cho thấy RelayGen không quá nhạy cảm với kích thước của bộ dữ liệu hiệu chuẩn và vẫn hiệu quả với các cặp mô hình không đồng nhất.

IV. Conclusion & Future Works:

Công trình này chỉ ra rằng độ khó tạo ra bên trong các chuỗi suy luận dài của các mô hình suy luận lớn là không đồng nhất, và không phải tất cả các phần của một đầu ra duy nhất đều yêu cầu toàn bộ khả năng của một mô hình lớn.
RelayGen chứng minh rằng suy luận nhận biết độ khó cho các tác vụ dạng dài có thể được giải quyết hiệu quả thông qua các cơ chế chạy thời gian thực, cấp phân đoạn, dựa trên kinh nghiệm, thay vì định tuyến có giám sát, cấp độ hạt mịn.
Hạn chế và công việc tương lai:
- RelayGen nhắm đến các thiết lập mà suy luận dạng dài được thể hiện rõ ràng và độ khó tạo ra thay đổi theo các chuỗi mở rộng. Đối với các tác vụ không yêu cầu suy luận bền vững hoặc đầu ra thiếu cấu trúc chuỗi dài rõ ràng, cơ hội cho việc chuyển đổi mô hình cấp phân đoạn có thể bị hạn chế.
- RelayGen giả định một khoảng cách khả năng vừa phải giữa mô hình lớn và nhỏ. Nếu mô hình nhỏ thiếu khả năng suy luận cần thiết ngay cả đối với các phân đoạn tương đối dễ, việc offload có thể làm giảm hiệu suất tổng thể.
- Nghiên cứu hiện tại tập trung vào dữ liệu suy luận tiếng Anh; việc khám phá hệ thống các mở rộng đa ngôn ngữ sẽ là công việc trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc mở rộng RelayGen để hỗ trợ các tác vụ không yêu cầu suy luận dài hoặc có cấu trúc đầu ra không rõ ràng, tìm kiếm các tín hiệu chuyển đổi độ khó mới dựa trên các đặc điểm khác ngoài biên độ xác suất token.
Khám phá việc tích hợp RelayGen với các kỹ thuật nén mô hình hoặc lượng tử hóa để tối ưu hóa hơn nữa việc sử dụng tài nguyên của mô hình nhỏ trong các phân đoạn ít khó khăn, đặc biệt là trong môi trường tài nguyên hạn chế.
Phân tích và điều chỉnh RelayGen cho các ngôn ngữ khác ngoài tiếng Anh, đặc biệt là các ngôn ngữ có cấu trúc ngữ pháp và diễn ngôn khác biệt, để xác định các 'switch cues' hiệu quả và đánh giá hiệu suất đa ngôn ngữ của phương pháp.

2. Patent:

Hệ thống trợ lý ảo thông minh trên điện thoại tiết kiệm pin: Một ứng dụng trợ lý ảo trên điện thoại di động có thể tự động chuyển đổi giữa một phần mềm ngôn ngữ lớn, mạnh mẽ để xử lý các yêu cầu phức tạp (ví dụ: giải toán, viết luận) và một phần mềm ngôn ngữ nhỏ hơn, tiết kiệm năng lượng cho các tác vụ đơn giản hơn (ví dụ: trả lời câu hỏi thực tế nhanh, đặt báo thức). Việc chuyển đổi này được thực hiện dựa trên phân tích độ khó của yêu cầu, giúp kéo dài thời lượng pin điện thoại mà vẫn đảm bảo trải nghiệm người dùng mượt mà.
Chức năng tóm tắt văn bản thông minh cho điện thoại: Một tính năng được tích hợp vào các ứng dụng đọc sách hoặc trình duyệt web trên điện thoại, cho phép người dùng tóm tắt các tài liệu hoặc bài viết dài. Hệ thống sẽ nhận diện tự động các phần văn bản cần suy luận sâu và phức tạp để sử dụng một phần mềm xử lý ngôn ngữ mạnh hơn, sau đó chuyển sang một phần mềm nhẹ hơn để tóm tắt các đoạn dễ hơn hoặc phần kết luận, giúp tóm tắt nhanh chóng, chính xác và giảm tải cho bộ xử lý của điện thoại.
Tối ưu hóa gợi ý và hoàn thành văn bản trên bàn phím điện thoại: Một công nghệ bàn phím thông minh trên điện thoại có khả năng tối ưu hóa việc sử dụng tài nguyên khi người dùng soạn tin nhắn, email hoặc văn bản dài. Khi người dùng đang viết những đoạn có nội dung phức tạp hoặc chuyên sâu, bàn phím sẽ kích hoạt một phần mềm ngôn ngữ lớn để đưa ra các gợi ý từ và câu chính xác. Ngược lại, khi chuyển sang các phần ít phức tạp hơn như lời chào, lời kết hoặc các câu thông thường, nó sẽ tự động sử dụng một phần mềm ngôn ngữ nhỏ hơn, giúp việc gõ phím nhanh hơn, tiết kiệm năng lượng và mang lại trải nghiệm liền mạch.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06454
ArXiv Abstract	https://arxiv.org/abs/2602.06454
PDF Download	https://arxiv.org/pdf/2602.06454.pdf
Github Repository	https://github.com/jiwonsong-dev/RelayGen

📰 Summary of Papers
1. QuantaAlpha: An Evolutionary Framework for LLM-Driven Alpha Mining (176 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. Weak-Driven Learning: How Weak Agents make Strong Agents Stronger (168 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. MOVA: Towards Scalable and Synchronized Video-Audio Generation (143 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models (128 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning (64 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents (64 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. InternAgent-1.5: A Unified Agentic Framework for Long-Horizon Autonomous Scientific Discovery (59 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. LLaDA2.1: Speeding Up Text Diffusion via Token Editing (54 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. RLinf-USER: A Unified and Extensible System for Real-World Online Policy Learning in Embodied AI (47 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. Towards Agentic Intelligence for Materials Science (43 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. Alleviating Sparse Rewards by Modeling Step-Wise and Long-Term Sampling Effects in Flow-Based GRPO (41 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. Improving Data and Reward Design for Scientific Reasoning in Large Language Models (37 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. GEBench: Benchmarking Image Generation Models as GUI Environments (36 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. Demo-ICL: In-Context Learning for Procedural Video Knowledge Acquisition (29 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- Kết quả chính:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory (27 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. LOCA-bench: Benchmarking Language Agents Under Controllable and Extreme Context Growth (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. TermiGen: High-Fidelity Environment and Robust Trajectory Synthesis for Terminal Agents (23 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. GISA: A Benchmark for General Information-Seeking Assistant (22 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. AgentCPM-Report: Interleaving Drafting and Deepening for Open-Ended Deep Research (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. Theory of Space: Can Foundation Models Construct Spatial Beliefs through Active Exploration? (20 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. WorldCompass: Reinforcement Learning for Long-Horizon World Models (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. LatentChem: From Textual CoT to Latent Thinking in Chemical Reasoning (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. Context Compression via Explicit Information Transmission (14 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
24. Fundamental Reasoning Paradigms Induce Out-of-Domain Generalization in Language Models (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
25. NanoQuant: Efficient Sub-1-Bit Quantization of Large Language Models (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
26. RelayGen: Intra-Generation Model Switching for Efficient Reasoning (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. QuantaAlpha: An Evolutionary Framework for LLM-Driven Alpha Mining (176 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Weak-Driven Learning: How Weak Agents make Strong Agents Stronger (168 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. MOVA: Towards Scalable and Synchronized Video-Audio Generation (143 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models (128 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning (64 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents (64 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. InternAgent-1.5: A Unified Agentic Framework for Long-Horizon Autonomous Scientific Discovery (59 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. LLaDA2.1: Speeding Up Text Diffusion via Token Editing (54 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. RLinf-USER: A Unified and Extensible System for Real-World Online Policy Learning in Embodied AI (47 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. QuantaAlpha: An Evolutionary Framework for LLM-Driven Alpha Mining (176 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Weak-Driven Learning: How Weak Agents make Strong Agents Stronger (168 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. MOVA: Towards Scalable and Synchronized Video-Audio Generation (143 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models (128 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning (64 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents (64 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. InternAgent-1.5: A Unified Agentic Framework for Long-Horizon Autonomous Scientific Discovery (59 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. LLaDA2.1: Speeding Up Text Diffusion via Token Editing (54 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. RLinf-USER: A Unified and Extensible System for Real-World Online Policy Learning in Embodied AI (47 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: