🤗 Daily Hugging Face Paper Digest - 2026-04-16

Báo cáo được tạo tự động vào lúc 2026-04-17 10:08:01 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. Seedance 2.0: Advancing Video Generation for World Complexity (117 votes)

Tác giả: Team Seedance, De Chen, Liyang Chen, Xin Chen, Ying Chen, Zhuo Chen, Zhuowei Chen, Feng Cheng, Tianheng Cheng, Yufeng Cheng, Mojie Chi, Xuyan Chi, Jian Cong, Qinpeng Cui, Fei Ding, Qide Dong, Yujiao Du, Haojie Duanmu, Junliang Fan, Jiarui Fang, Jing Fang, Zetao Fang, Chengjian Feng, Yu Gao, Diandian Gu, Dong Guo, Hanzhong Guo, Qiushan Guo, Boyang Hao, Hongxiang Hao, Haoxun He, Jiaao He, Qian He, Tuyen Hoang, Heng Hu, Ruoqing Hu, Yuxiang Hu, Jiancheng Huang, Weilin Huang, Zhaoyang Huang, Zhongyi Huang, Jishuo Jin, Ming Jing, Ashley Kim, Shanshan Lao, Yichong Leng, Bingchuan Li, Gen Li, Haifeng Li, Huixia Li, Jiashi Li, Ming Li, Xiaojie Li, Xingxing Li, Yameng Li, Yiying Li, Yu Li, Yueyan Li, Chao Liang, Han Liang, Jianzhong Liang, Ying Liang, Wang Liao, J. H. Lien, Shanchuan Lin, Xi Lin, Feng Ling, Yue Ling, Fangfang Liu, Jiawei Liu, Jihao Liu, Jingtuo Liu, Shu Liu, Sichao Liu, Wei Liu, Xue Liu, Zuxi Liu, Ruijie Lu, Lecheng Lyu, Jingting Ma, Tianxiang Ma, Xiaonan Nie, Jingzhe Ning, Junjie Pan, Xitong Pan, Ronggui Peng, Xueqiong Qu, Yuxi Ren, Yuchen Shen, Guang Shi, Lei Shi, Yinglong Song, Fan Sun, Li Sun, Renfei Sun, Wenjing Tang, Boyang Tao, Zirui Tao, Dongliang Wang, Feng Wang, Hulin Wang, Ke Wang, Qingyi Wang, Rui Wang, Shuai Wang, Shulei Wang, Weichen Wang, Xuanda Wang, Yanhui Wang, Yue Wang, Yuping Wang, Yuxuan Wang, Zijie Wang, Ziyu Wang, Guoqiang Wei, Meng Wei, Di Wu, Guohong Wu, Hanjie Wu, Huachao Wu, Jian Wu, Jie Wu, Ruolan Wu, Shaojin Wu, Xiaohu Wu, Xinglong Wu, Yonghui Wu, Ruiqi Xia, Xin Xia, Xuefeng Xiao, Shuang Xu, Bangbang Yang, Jiaqi Yang, Runkai Yang, Tao Yang, Yihang Yang, Zhixian Yang, Ziyan Yang, Fulong Ye, Bingqian Yi, Xing Yin, Yongbin You, Linxiao Yuan, Weihong Zeng, Xuejiao Zeng, Yan Zeng, Siyu Zhai, Zhonghua Zhai, Bowen Zhang, Chenlin Zhang, Heng Zhang, Jun Zhang, Manlin Zhang, Peiyuan Zhang, Shuo Zhang, Xiaohe Zhang, Xiaoying Zhang, Xinyan Zhang, Xinyi Zhang, Yichi Zhang, Zixiang Zhang, Haiyu Zhao, Huating Zhao, Liming Zhao, Yian Zhao, Guangcong Zheng, Jianbin Zheng, Xiaozheng Zheng, Zerong Zheng, Kuan Zhu, Feilong Zuo

Xuất bản lúc: 2026-04-15

Tag: Video Generation, Multi-modal AI, Audio-Video Synthesis, Deep Learning, Generative AI, Controllable Generation

I. Main Problem:

Các mô hình tạo video trước đây gặp phải những hạn chế đáng kể, bao gồm việc chỉ tạo ra các clip video ngắn, khả năng kiểm soát hạn chế đối với nội dung được tạo và thiếu hỗ trợ nguyên bản cho các tín hiệu điều khiển đa dạng (văn bản, hình ảnh, âm thanh, video). Ngoài ra, các thách thức còn nằm ở việc đạt được chất lượng cao, sự tự nhiên, tính nhất quán về thời gian và độ tin cậy vật lý, đặc biệt trong các cảnh chuyển động và tương tác phức tạp của con người, cũng như sự thiếu hụt về độ chi tiết và tính nhất quán (ví dụ: khúc xạ ánh sáng, biểu cảm khuôn mặt). Những hạn chế này làm tăng chi phí và thời gian trong quy trình sản xuất nội dung chuyên nghiệp.

II. Main Idea:

Seedance 2.0 giới thiệu một mô hình tạo video và âm thanh đa phương thức mới, sử dụng kiến trúc thống nhất, hiệu quả cao và quy mô lớn để tạo ra nội dung đa phương thức chung. Mô hình này hỗ trợ bốn phương thức đầu vào: văn bản, hình ảnh, âm thanh và video, tích hợp bộ công cụ tham chiếu và chỉnh sửa nội dung đa phương thức toàn diện. Các ý tưởng chính bao gồm: cải thiện đáng kể khả năng kiểm soát đa phương thức (điều khiển chủ thể, thao tác chuyển động, chuyển đổi phong cách, thiết kế hiệu ứng đặc biệt và mở rộng video); khả năng tạo ra sự phức tạp trong thế giới thực, đặc biệt là trong mô hình hóa chuyển động của con người, tính nhất quán về thời gian và độ tin cậy vật lý; tạo ra âm thanh-video có độ trung thực cao với khả năng âm thanh hai tai được đồng bộ hóa, hỗ trợ nhiều bản nhạc; và khả năng kể chuyện đa cảnh quay chuyên nghiệp, cho phép lập kế hoạch chuỗi cảnh quay và thiết kế mẫu trình bày hình ảnh một cách tự động. Ngoài ra, Seedance 2.0 còn có phiên bản "Fast" được tăng tốc cho các kịch bản có độ trễ thấp.

III. Main Results:

Seedance 2.0 đã đạt được những cải tiến đáng kể và hiệu suất dẫn đầu trong ngành. Mô hình này đạt điểm cao nhất trên tất cả các khía cạnh được đánh giá trong các tác vụ Text-to-Video (T2V), Image-to-Video (I2V) và Reference-to-Video (R2V), vượt trội so với các mô hình cạnh tranh. Trên bảng xếp hạng Arena.AI, Seedance 2.0 xếp hạng #1 cho cả T2V và I2V, với điểm Elo lần lượt là 1450 (±15) và 1449 (±11), thậm chí vượt trội hơn các đối thủ ở độ phân giải thấp hơn (720p so với 1080p). Trong đánh giá SeedVideoBench 2.0, Seedance 2.0 đứng đầu trên tất cả sáu khía cạnh của T2V, đạt tỷ lệ khả dụng 97.55% về chất lượng chuyển động và hơn 51% tỷ lệ hài lòng trên mọi khía cạnh. Mô hình này dẫn đầu trên 29/30 danh mục chi tiết về chất lượng chuyển động và 27/30 danh mục về tuân thủ Video Prompt. Về mặt thẩm mỹ video, Seedance 2.0 đứng đầu hoặc đồng hạng nhất trên 28/30 danh mục, thể hiện khả năng vượt trội trong phong cách hình ảnh, kịch bản dài, bố cục và chi tiết chân thực. Đồng bộ hóa âm thanh-hình ảnh và độ biểu cảm của âm thanh cũng được cải thiện đáng kể.

IV. Conclusion & Future Works:

Seedance 2.0 đánh dấu một bước tiến đáng kể trong công nghệ tạo video, chuyển đổi sang tổng hợp âm thanh-video đa phương thức, mạnh mẽ và có khả năng kiểm soát cao. Mặc dù đã đạt được hiệu suất dẫn đầu và khả năng ứng dụng thực tế, Seedance 2.0 vẫn còn một số điểm chưa hoàn hảo. Các hướng nghiên cứu trong tương lai sẽ tiếp tục khám phá sự liên kết sâu sắc giữa các mô hình tạo sinh và thế giới vật lý, thúc đẩy mô hình hóa chính xác động lực học thế giới thực, đào sâu sự hiểu biết về các quy tắc vật lý và ngữ nghĩa, và cải thiện các đầu ra để phục vụ người sáng tạo tốt hơn. An toàn vẫn là một yếu tố cốt lõi, với các nỗ lực liên tục để đánh giá và giảm thiểu rủi ro tiềm ẩn, đảm bảo phát triển có trách nhiệm và phù hợp về đạo đức.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về mô hình hóa động lực học thế giới thực nâng cao cho video tổng hợp: Tập trung vào việc giải quyết các vấn đề như độ tin cậy vật lý trong các trường hợp phức tạp, tương tác đa chủ thể và các hiện tượng tự nhiên để giảm thiểu các lỗi biến dạng và chuyển động không thực tế.
Phát triển các kỹ thuật kiểm soát đa phương thức cho việc chỉnh sửa video chuyên sâu: Khám phá các phương pháp mới để cải thiện tính nhất quán của chủ thể trong các cảnh đa chủ thể, độ chính xác phục hồi văn bản và hiệu suất của các tác vụ chỉnh sửa phức tạp.
Cải thiện đồng bộ hóa âm thanh-hình ảnh và chất lượng âm thanh trong các cảnh phức tạp: Nghiên cứu các giải pháp cho các lỗi đồng bộ hóa môi trường âm thanh, tiếng ồn và méo tiếng, đặc biệt trong các cảnh có nhiều người nói hoặc các ngữ cảnh âm thanh phức tạp.

2. Patent:

Ứng dụng tạo video quảng cáo di động tự động: Một hệ thống trên điện thoại di động cho phép người dùng nhập văn bản mô tả sản phẩm, hình ảnh sản phẩm và tệp âm thanh (nhạc nền hoặc giọng nói). Hệ thống sẽ tự động tạo ra một video quảng cáo ngắn, chuyên nghiệp, với chuyển động mượt mà, ánh sáng đẹp và âm thanh sống động, phù hợp để chia sẻ lên mạng xã hội hoặc các nền tảng quảng cáo. Người dùng có thể chỉnh sửa các chi tiết nhỏ như phong cách hình ảnh hoặc tốc độ chuyển động.
Công cụ chỉnh sửa và mở rộng video thông minh trên điện thoại: Một tính năng trong ứng dụng chỉnh sửa video di động cho phép người dùng chọn một đoạn video hoặc hình ảnh, sau đó dùng lệnh văn bản để thay đổi chủ thể, thêm hiệu ứng đặc biệt hoặc kéo dài cảnh quay một cách liền mạch. Ví dụ, người dùng có thể yêu cầu "thay thế chiếc xe màu đỏ bằng một chiếc xe thể thao màu xanh" hoặc "kéo dài cảnh hoàng hôn thêm 5 giây với chim bay qua". Hệ thống sẽ duy trì sự nhất quán của các yếu tố không bị chỉnh sửa.
Trợ lý kể chuyện video cá nhân hóa bằng giọng nói: Một ứng dụng di động cho phép người dùng ghi âm câu chuyện hoặc kịch bản bằng giọng nói. Hệ thống sẽ phân tích ngữ điệu và nội dung, sau đó tự động tạo ra một chuỗi các cảnh quay video với hình ảnh, chuyển động và âm thanh (bao gồm cả nhạc nền, hiệu ứng âm thanh và lời thoại được đồng bộ hóa) phù hợp với câu chuyện. Người dùng có thể cung cấp thêm hình ảnh hoặc video tham khảo để tùy chỉnh phong cách.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.14148
ArXiv Abstract	https://arxiv.org/abs/2604.14148
PDF Download	https://arxiv.org/pdf/2604.14148.pdf
Github Repository	N/A

2. GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents (105 votes)

Tác giả: Mingyu Ouyang, Siyuan Hu, Kevin Qinghong Lin, Hwee Tou Ng, Mike Zheng Shou

Xuất bản lúc: 2026-04-08

Tag: MLLMs, Game Agents, Benchmark, Multimodal, Evaluation

I. Main Problem:

Các tác nhân MLLM (Multimodal Large Language Model) vẫn gặp phải những thách thức về độ trễ, phản hồi thưa thớt và các lỗi không thể đảo ngược khi cố gắng trở thành tác nhân tổng quát hóa trong tương tác thế giới thực. Việc đánh giá một cách có hệ thống các khả năng nhận thức chi tiết, lập kế hoạch dài hạn và kiểm soát chính xác trong trò chơi điện tử hiện đang bị cản trở bởi các giao diện hành động không đồng nhất và phương pháp xác minh dựa trên phỏng đoán. Nhiều benchmark hiện có vẫn dựa vào các phương pháp heuristic, OCR, hoặc VLM-as-judge, khiến kết quả khó xác minh, tái lập và chẩn đoán.

II. Main Idea:

Để giải quyết các vấn đề trên, nghiên cứu giới thiệu GameWorld, một bộ benchmark được thiết kế để đánh giá chuẩn hóa và có thể xác minh các MLLM như các tác nhân trò chơi tổng quát trong môi trường trình duyệt. GameWorld bao gồm 34 trò chơi đa dạng và 170 nhiệm vụ, mỗi nhiệm vụ được ghép nối với các số liệu có thể xác minh trạng thái để đánh giá dựa trên kết quả. Hai giao diện tác nhân được nghiên cứu: (i) tác nhân sử dụng máy tính (Computer-use agents) điều khiển trực tiếp bàn phím và chuột, và (ii) tác nhân đa phương thức tổng quát (Generalist multimodal agents) hoạt động trong không gian hành động ngữ nghĩa thông qua Semantic Action Parsing xác định. GameWorld sử dụng một môi trường sandbox dựa trên trình duyệt để tạm dừng thực thi trò chơi trong quá trình suy luận của mô hình, tách biệt độ trễ suy luận khỏi gameplay, và một trình đánh giá dựa trên kết quả có thể xác minh trạng thái phổ quát sử dụng trạng thái API trò chơi được tuần tự hóa để tạo ra tín hiệu tiến độ và thành công xác định.

III. Main Results:

Kết quả đánh giá trên 18 cặp mô hình-giao diện cho thấy ngay cả tác nhân hoạt động tốt nhất cũng còn xa mới đạt được khả năng của con người trong trò chơi điện tử. Các tác nhân hiện tại thường có thể đạt được tiến bộ đáng kể nhưng vẫn chưa hoàn thành nhiệm vụ đáng tin cậy và đạt hiệu suất cấp độ con người. Hiệu suất của tác nhân trò chơi phần lớn kế thừa điểm mạnh của các mô hình nền tảng cơ bản, với kết quả tương đối mạnh hơn trong các trò chơi điều khiển phản ứng và suy luận biểu tượng, nhưng có điểm yếu rõ ràng trong việc định thời gian cơ bản, điều hướng không gian và các nhiệm vụ phối hợp dài hạn. Tương tác thời gian thực là một thách thức riêng biệt vì tốc độ suy luận, tính đúng đắn và thời gian hành động được gắn kết chặt chẽ hơn. Hai giao diện tác nhân thể hiện các điểm nghẽn khả năng tương tự và các đánh đổi khác biệt về vòng bộ nhớ ngữ cảnh và độ tin cậy tuân thủ hướng dẫn. Các thử nghiệm lặp lại toàn bộ benchmark chứng minh tính mạnh mẽ của GameWorld, với các phép đo tổng hợp ổn định và ít biến đổi giữa các lần chạy.

IV. Conclusion & Future Works:

GameWorld đặt nền tảng vững chắc để thúc đẩy nghiên cứu về các tác nhân trò chơi đa phương tiện và hơn thế nữa. Các nghiên cứu trong tương lai cần tập trung vào việc cải thiện khả năng của tác nhân để đạt được hiệu suất cấp độ con người trong trò chơi điện tử. Cụ thể, cần giải quyết các thách thức về độ trễ trong tương tác thời gian thực, nâng cao độ nhạy của bộ nhớ ngữ cảnh, cải thiện tính hợp lệ của hành động và độ tin cậy trong việc tuân thủ hướng dẫn. Ngoài ra, cần phát triển các chiến lược mới để xử lý tốt hơn các nhiệm vụ liên quan đến định thời gian cơ bản, điều hướng không gian và phối hợp dài hạn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về giảm độ trễ và lập kế hoạch thời gian thực cho tác nhân MLLM trong trò chơi: Tập trung vào phát triển các kiến trúc MLLM mới hoặc kỹ thuật tối ưu hóa để giảm độ trễ suy luận và cho phép tác nhân đưa ra quyết định chính xác trong môi trường trò chơi thời gian thực, đặc biệt là trong các trò chơi yêu cầu phản ứng nhanh như Runner hoặc Arcade.
Phát triển MLLM với khả năng nhận thức không gian và lập kế hoạch dài hạn nâng cao: Khám phá các phương pháp để cải thiện khả năng của MLLM trong việc hiểu không gian 2D/3D từ quan sát hình ảnh, thực hiện điều hướng chính xác và duy trì các mục tiêu phụ trong các nhiệm vụ dài hạn, đặc biệt là trong các trò chơi Platformer và Simulation.
So sánh hiệu quả của giao diện điều khiển cấp thấp và ngữ nghĩa cho tác nhân trò chơi: Một nghiên cứu sâu hơn về ưu và nhược điểm của việc sử dụng điều khiển bàn phím/chuột cấp thấp trực tiếp so với sử dụng phân tích hành động ngữ nghĩa, đặc biệt là trong việc cân bằng giữa tính chính xác và khả năng lập kế hoạch chiến lược, cũng như ảnh hưởng của bộ nhớ ngữ cảnh đến từng loại giao diện.

2. Patent:

Hệ thống trợ lý chơi game thông minh trên điện thoại di động: Một ứng dụng trên điện thoại có thể quan sát màn hình trò chơi (thông qua camera hoặc ghi màn hình) và cung cấp gợi ý hoặc hướng dẫn theo thời gian thực cho người chơi. Ví dụ, trong một trò chơi giải đố, nó có thể phân tích trạng thái trò chơi và đề xuất nước đi tiếp theo; hoặc trong một trò chơi hành động, nó có thể chỉ ra các mối đe dọa hoặc vật phẩm quan trọng. Ứng dụng này sẽ sử dụng công nghệ phân tích hình ảnh và suy luận để hiểu bối cảnh trò chơi và đưa ra lời khuyên hữu ích, giúp người dùng cải thiện kỹ năng chơi game hoặc vượt qua các thử thách khó.
Công cụ tạo kịch bản hành động tự động cho trò chơi di động: Phát minh một công cụ cho phép người dùng điện thoại di động "ghi lại" các chuỗi hành động mong muốn trong một trò chơi (ví dụ: nhấn nút, vuốt màn hình tại các vị trí cụ thể) và sau đó công cụ này có thể tự động lặp lại các hành động đó một cách chính xác. Người dùng có thể chỉnh sửa các kịch bản này, thêm điều kiện (ví dụ: chỉ thực hiện hành động khi thấy một vật phẩm cụ thể) để tạo ra các "macro" chơi game thông minh. Điều này hữu ích cho các nhiệm vụ lặp đi lặp lại hoặc để tự động hóa các phần của trò chơi.
Giao diện điều khiển game di động bằng ngôn ngữ tự nhiên và cử chỉ: Một hệ thống trên điện thoại di động cho phép người dùng điều khiển trò chơi bằng cách nói các lệnh đơn giản (ví dụ: "nhảy", "đi sang phải") hoặc thực hiện các cử chỉ cụ thể trên màn hình hoặc trước camera. Hệ thống sẽ dịch các lệnh ngôn ngữ hoặc cử chỉ này thành các thao tác điều khiển trò chơi (nhấn, vuốt, chạm) một cách chính xác và theo ngữ cảnh. Điều này mang lại trải nghiệm chơi game trực quan và dễ tiếp cận hơn, đặc biệt cho những người dùng gặp khó khăn với các điều khiển cảm ứng truyền thống hoặc muốn tương tác rảnh tay.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.07429
ArXiv Abstract	https://arxiv.org/abs/2604.07429
PDF Download	https://arxiv.org/pdf/2604.07429.pdf
Github Repository	https://github.com/gameworld-project/gameworld

3. RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time (96 votes)

Tác giả: Haozhe Wang, Cong Wei, Weiming Ren, Jiaming Liu, Fangzhen Lin, Wenhu Chen

Xuất bản lúc: 2026-04-13

Tag: Visual Generation, Reward Models, Reinforcement Learning, Prompt Engineering, LLMs, VLM, Image Editing, Text-to-Image

I. Main Problem:

Các mô hình phần thưởng (reward models) hiện tại cho việc sinh ảnh thường quy đổi các đánh giá phong phú của con người thành một điểm số duy nhất không có giải thích, bỏ qua lý do đằng sau sự ưu tiên. Điều này khiến các mô hình sinh ảnh trở thành công cụ đánh giá thụ động và dễ bị "reward hacking" (khai thác phần thưởng) – tức là phần thưởng tăng lên mà chất lượng thực tế không được cải thiện. Ngoài ra, việc chú thích lý do (rationales) của con người để huấn luyện các mô hình phần thưởng dựa trên lý do là cực kỳ tốn kém ở quy mô lớn.

II. Main Idea:

Các tác giả giới thiệu RationalRewards, một mô hình phần thưởng dựa trên lý do, tạo ra các phê bình có cấu trúc, đa chiều trước khi chấm điểm. Điều này biến mô hình phần thưởng từ một công cụ đánh giá thụ động thành một giao diện tối ưu hóa linh hoạt cho việc sinh ảnh. RationalRewards mở khóa khả năng tối ưu hóa theo hai cách bổ sung:

Trong quá trình huấn luyện (Parameter Space): Các lý do có cấu trúc, đa chiều cung cấp phản hồi có ý nghĩa, chi tiết cho học tăng cường (RL), thay thế các gradient vô hình dễ bị "reward hacking" bằng các giải thích về việc cần cải thiện gì và tại sao.
Trong quá trình kiểm thử (Prompt Space): Ngoài việc đóng vai trò là tín hiệu phần thưởng, RationalRewards hoạt động như một công cụ tối ưu hóa prompt sau khi sinh ảnh. Nó phê bình một hình ảnh đã được tạo, xác định các thiếu sót cụ thể và chuyển chúng thành các sửa đổi prompt có mục tiêu trong một vòng lặp "Generate–Critique–Refine" (Sinh–Phê bình–Tinh chỉnh) mà không cần cập nhật tham số.

Để huấn luyện mô hình này mà không cần chú thích lý do tốn kém, các tác giả giới thiệu Preference-Anchored Rationalization (PARROT), một khuôn khổ huấn luyện biến phân để phục hồi các lý do chất lượng cao từ dữ liệu ưu tiên có sẵn. PARROT bao gồm ba giai đoạn: (1) một VLM giáo viên tạo ra các lý do ứng cử viên được neo vào nhãn ưu tiên đã biết, (2) một bộ lọc nhất quán loại bỏ các "ảo giác" và giữ lại các lý do có khả năng dự đoán, và (3) một mô hình học sinh được huấn luyện để tạo ra các lý do mà không cần nhìn thấy câu trả lời. Một chiến lược "Pointwise Projection" được sử dụng để chuyển đổi từ dữ liệu huấn luyện so sánh cặp sang đánh giá từng điểm.

III. Main Results:

RationalRewards (8B) đạt hiệu suất dự đoán ưu tiên vượt trội so với các mô hình phần thưởng mã nguồn mở khác, cạnh tranh với Gemini-2.5-Pro, trong khi sử dụng dữ liệu huấn luyện ít hơn 10–20 lần so với các mô hình cơ sở tương đương. Là một phần thưởng RL, nó liên tục cải thiện các mô hình sinh ảnh từ văn bản sang hình ảnh và chỉnh sửa hình ảnh vượt trội hơn các phương pháp thay thế chỉ dùng điểm số vô hướng. Đáng chú ý nhất, vòng lặp Generate–Critique–Refine của RationalRewards trong thời gian kiểm thử, không yêu cầu cập nhật tham số, đạt hoặc vượt qua việc tinh chỉnh dựa trên RL trên một số điểm chuẩn. Điều này cho thấy rằng lý do có cấu trúc có thể mở khóa các khả năng tiềm ẩn trong các mô hình sinh ảnh hiện có mà các prompt không tối ưu không thể khai thác. PARROT cũng được chứng minh là hiệu quả hơn việc chưng cất trực tiếp từ một mô hình giáo viên lớn hơn.

IV. Conclusion & Future Works:

RationalRewards là một mô hình phần thưởng dựa trên lý do thay thế cách chấm điểm vô hướng bằng các phê bình có cấu trúc, đa chiều theo kiểu chain-of-thought. PARROT là một khuôn khổ biến phân giúp việc này khả thi bằng cách coi các lý do là các biến tiềm ẩn có thể phục hồi từ dữ liệu ưu tiên có sẵn. Ba phát hiện chính là: (1) việc lý giải có cấu trúc hoạt động như một "thiên kiến quy nạp" mạnh mẽ, cho phép một mô hình 8B đạt độ chính xác dự đoán ưu tiên cạnh tranh với Gemini-2.5-Pro và GPT-5 với lượng dữ liệu huấn luyện ít hơn 10–20 lần; (2) các lý do đa chiều của RationalRewards cung cấp phần thưởng RL có cơ sở ngữ nghĩa, vượt trội hơn các mô hình phần thưởng vô hướng và các VLM chung chung; (3) vòng lặp Generate–Critique–Refine trong thời gian kiểm thử có thể khớp hoặc vượt qua việc tinh chỉnh dựa trên RL, cho thấy các phê bình có cấu trúc có thể mở khóa các khả năng tiềm ẩn trong các mô tạo sinh bị bỏ qua bởi các prompt không tối ưu. Nghiên cứu trong tương lai bao gồm xác thực giả thuyết về "khả năng tiềm ẩn" ở cấp độ biểu diễn và RationalRewards sẽ tạo điều kiện cho các nghiên cứu rộng hơn và đáng tin cậy hơn về các phương pháp RL cho Diffusion.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về "Giả thuyết khả năng tiềm ẩn" (Latent Capability Hypothesis) trong các mô hình sinh ảnh: Khám phá sâu hơn về việc các mô hình sinh ảnh đã sở hữu khả năng tạo ra đầu ra chất lượng cao nhưng bị hạn chế bởi các prompt không tối ưu, bao gồm phân tích ở cấp độ biểu diễn để xác định cách các phê bình có cấu trúc kích hoạt những khả năng này.
Mở rộng RationalRewards sang các lĩnh vực sinh dữ liệu đa phương thức khác: Áp dụng khuôn khổ RationalRewards để cung cấp phản hồi có cấu trúc và cải thiện chất lượng trong việc sinh video, sinh âm thanh hoặc các dạng nội dung đa phương thức khác, vượt ra ngoài hình ảnh và chỉnh sửa hình ảnh.
Phát triển các phương pháp học tăng cường (RL) mới dựa trên phần thưởng có cấu trúc: Thiết kế các thuật toán RL tiên tiến có thể tận dụng tối đa các tín hiệu phần thưởng đa chiều, có cấu trúc từ RationalRewards để tối ưu hóa việc tinh chỉnh các mô hình tạo sinh, từ đó giảm thiểu hiện tượng "reward hacking" và đạt được hiệu suất ổn định hơn.

2. Patent:

Hệ thống Tối ưu hóa Ảnh Chụp Di Động Thông Minh: Một ứng dụng trên điện thoại di động cho phép người dùng chụp ảnh và sau đó sử dụng công nghệ "phê bình và tinh chỉnh" để tự động cải thiện chất lượng ảnh. Hệ thống sẽ phân tích ảnh, đưa ra các nhận xét bằng ngôn ngữ tự nhiên (ví dụ: "Bức ảnh này hơi tối, cần tăng độ sáng và làm nổi bật chủ thể hơn") và áp dụng các chỉnh sửa mục tiêu để tạo ra phiên bản tốt hơn mà không cần người dùng phải có kiến thức chỉnh sửa ảnh chuyên sâu.
Công cụ Sáng tạo Nội dung AI trên Di Động với Phản hồi Thông minh: Tích hợp tính năng vào các ứng dụng chỉnh sửa ảnh hoặc video trên điện thoại di động, cho phép người dùng tạo hoặc chỉnh sửa hình ảnh/video bằng AI thông qua mô tả văn bản. Sau khi AI tạo ra bản nháp, hệ thống sẽ cung cấp phản hồi đa chiều (ví dụ: về độ chân thực của văn bản, chất lượng hình ảnh, tính vật lý) và gợi ý cách điều chỉnh prompt để người dùng dễ dàng đạt được kết quả mong muốn mà không cần kiến thức chuyên sâu về prompt engineering.
Trợ lý Thiết kế Giao diện Người dùng (UI) Tích hợp AI trên thiết bị di động: Một công cụ hỗ trợ thiết kế UI trên máy tính bảng hoặc điện thoại di động. Khi người dùng phác thảo ý tưởng hoặc mô tả yêu cầu, AI sẽ tạo ra các phiên bản UI. Sau đó, công nghệ RationalRewards sẽ đánh giá các thiết kế này dựa trên các tiêu chí như tính thẩm mỹ, khả năng sử dụng và mức độ tuân thủ yêu cầu, cung cấp các phê bình có cấu trúc để hướng dẫn người dùng tinh chỉnh thiết kế một cách hiệu quả.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.11626
ArXiv Abstract	https://arxiv.org/abs/2604.11626
PDF Download	https://arxiv.org/pdf/2604.11626.pdf
Github Repository	https://github.com/TIGER-AI-Lab/RationalRewards

4. SpatialEvo: Self-Evolving Spatial Intelligence via Deterministic Geometric Environments (60 votes)

Tác giả: Dinging Li, Yingxiu Zhao, Xinrui Cheng, Kangheng Lin, Hongbo Peng, Hongxing Li, Zixuan Wang, Yuhong Dai, Haodong Li, Jia Wang, Yukang Shi, Liang Zhao, Jianjian Sun, Zheng Ge, Xiangyu Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

Xuất bản lúc: 2026-04-15

Tag: Spatial Reasoning, Self-Evolution, Vision-Language Models, 3D Scenes, Reinforcement Learning, Geometric Validation, Curriculum Learning

I. Main Problem:

Khả năng suy luận không gian trên các cảnh 3D là một năng lực cốt lõi của trí tuệ thể hiện, nhưng việc cải tiến mô hình liên tục bị tắc nghẽn bởi chi phí chú thích hình học cao. Các phương pháp tự tiến hóa hiện có dựa vào sự đồng thuận của mô hình để xây dựng nhãn giả, dẫn đến việc huấn luyện củng cố thay vì sửa chữa các lỗi hình học của chính mô hình. Ngoài ra, các tập dữ liệu tĩnh không thể phản hồi những điểm yếu của mô hình, không thể tạo ra các ví dụ khó hơn khi mô hình mạnh lên, và không thể mở rộng mà không có sự đầu tư tương ứng vào chú thích thủ công.

II. Main Idea:

Chúng tôi giới thiệu SpatialEvo, một framework tự tiến hóa cho suy luận không gian 3D, tập trung vào Môi trường Hình học Xác định (Deterministic Geometric Environment - DGE). DGE tận dụng một thuộc tính độc đáo của suy luận không gian 3D: ground truth là một hệ quả xác định của hình học cơ bản, có thể tính toán chính xác từ đám mây điểm và tư thế camera mà không cần sự can thiệp của mô hình.

DGE chính thức hóa 16 loại tác vụ suy luận không gian dưới các quy tắc xác thực hình học rõ ràng và chuyển đổi các cảnh 3D không được chú thích thành các oracle tương tác không nhiễu, thay thế sự đồng thuận của mô hình bằng phản hồi vật lý khách quan. Một chính sách chia sẻ tham số duy nhất cùng tiến hóa giữa vai trò người hỏi (questioner) và người giải (solver) dưới các ràng buộc của DGE: người hỏi tạo ra các câu hỏi không gian hợp lệ về mặt vật lý dựa trên quan sát cảnh, trong khi người giải đưa ra các câu trả lời chính xác dựa trên ground truth được DGE xác minh. Một bộ lập lịch thích ứng tác vụ tự động tập trung huấn luyện vào các danh mục yếu nhất của mô hình, tạo ra một chương trình học động mà không cần thiết kế thủ công.

III. Main Results:

SpatialEvo đạt điểm trung bình cao nhất ở cả hai quy mô 3B và 7B trên chín bộ benchmark. Cụ thể:

Điểm trung bình: 51.1 (3B) và 54.7 (7B), vượt trội so với tất cả các baseline.
Cải thiện đáng kể về suy luận không gian cốt lõi: Đạt được những cải tiến đáng kể trên VSI-Bench, EmbSpatial và ViewSpatial, các benchmark liên quan trực tiếp đến các loại tác vụ cấp cảnh đa góc nhìn và phụ thuộc vào góc nhìn được DGE đề cập. Ví dụ, trên VSI-Bench, SpatialEvo đạt 39.2 (3B) và 46.1 (7B).
Duy trì khả năng tổng quát: Duy trì hiệu suất cạnh tranh trên MMStar và RealWorldQA, chứng tỏ rằng việc chuyên biệt hóa không gian không làm suy giảm khả năng hiểu biết hình ảnh tổng quát. Trên MMStar, SpatialEvo đạt 55.2 (3B) và 62.5 (7B), gần với baseline không được điều chỉnh.
Xác nhận vai trò của DGE: Các nghiên cứu cắt bỏ (ablation studies) xác nhận rằng việc thay thế ground truth của DGE bằng các nhãn giả dựa trên đa số phiếu tạo ra sự sụt giảm hiệu suất lớn nhất, trực tiếp xác nhận vai trò của phản hồi vật lý xác định.

IV. Conclusion & Future Works:

SpatialEvo là framework đầu tiên đưa mô hình tự tiến hóa vào suy luận không gian 3D, sử dụng môi trường hình học xác định để thay thế sự đồng thuận của mô hình bằng phản hồi môi trường khách quan, đảm bảo quá trình tiến hóa liên tục không nhiễu. Framework này bao gồm một quy trình xác thực hình học tự động cho 16 loại tác vụ và cơ chế đồng tiến hóa chính sách dựa trên không gian với lịch trình tác vụ thích ứng. Kết quả thực nghiệm cho thấy SpatialEvo đạt được sự cân bằng tối ưu giữa chuyên môn hóa không gian và duy trì khả năng tổng quát. Hướng phát triển trong tương lai có thể tập trung vào việc mở rộng các loại tác vụ được hỗ trợ, tối ưu hóa hiệu quả tính toán, và tích hợp các phương thức cảm biến đa dạng hơn để nâng cao hơn nữa trí tuệ không gian.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Deterministic Geometric Environment (DGE) để hỗ trợ các loại kịch bản 3D phức tạp hơn (ví dụ: ngoài trời, môi trường động, vật thể biến dạng) và nhiều loại tác vụ suy luận không gian hơn (ví dụ: tương tác vật lý, lập kế hoạch đường đi).
Nghiên cứu các kiến trúc mô hình VLM hiệu quả hơn hoặc các phương pháp huấn luyện tối ưu hóa để giảm chi phí tính toán của vòng lặp tự tiến hóa, đặc biệt cho các mô hình lớn hơn hoặc triển khai trên thiết bị biên.
Khám phá việc tích hợp các phương thức cảm biến khác (ví dụ: âm thanh, xúc giác) vào khuôn khổ SpatialEvo để nâng cao khả năng nhận thức không gian tổng thể và suy luận ngữ cảnh sâu hơn cho trí tuệ thể hiện.

2. Patent:

Hệ thống định vị & hỗ trợ điều hướng trong nhà chính xác: Một ứng dụng di động sử dụng camera và cảm biến độ sâu (ví dụ: LiDAR trên iPhone) để tạo bản đồ 3D thời gian thực của môi trường. Dữ liệu này được xử lý bởi một phiên bản nhẹ của DGE để trả lời các câu hỏi không gian chính xác (ví dụ: "cách cửa bao xa?", "vật thể này ở đâu so với vật thể kia?") hoặc hướng dẫn người dùng đến một vị trí cụ thể trong nhà với độ chính xác cao hơn GPS.
Công cụ đo lường và lập kế hoạch không gian bằng AR: Một ứng dụng AR trên điện thoại cho phép người dùng đo kích thước vật thể, khoảng cách, diện tích phòng hoặc sắp xếp lại đồ đạc ảo trong không gian 3D. Công nghệ DGE sẽ cung cấp các phép đo chính xác và xác thực tính hợp lệ của các câu hỏi/yêu cầu không gian được tạo ra bởi người dùng (ví dụ: "tôi có thể đặt cái bàn này vào góc đó không?").
Trợ lý ảo không gian cho người khiếm thị: Một ứng dụng di động sử dụng camera và DGE để mô tả môi trường 3D xung quanh người dùng bằng ngôn ngữ tự nhiên, trả lời các câu hỏi về vị trí, khoảng cách, và hướng của vật thể. Nó có thể cảnh báo về chướng ngại vật hoặc hướng dẫn người dùng di chuyển an toàn trong môi trường chưa quen thuộc, mang lại khả năng nhận thức không gian nâng cao.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.14144
ArXiv Abstract	https://arxiv.org/abs/2604.14144
PDF Download	https://arxiv.org/pdf/2604.14144.pdf
Github Repository	https://github.com/ZJU-REAL/SpatialEvo

5. OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language World Models (47 votes)

Tác giả: Xiaomeng Hu, Yinger Zhang, Fei Huang, Jianhong Tu, Yang Su, Lianghao Deng, Yuxuan Liu, Yantao Liu, Dayiheng Liu, Tsung-Yi Ho

Xuất bản lúc: 2026-04-13

Tag: LLMs, AI Agents, Benchmarking, Robustness, Language Environment Simulators, Multi-agent Systems, Tool Use

I. Main Problem:

Các benchmark hiện có chỉ có thể đánh giá các tác nhân AI trong một số ít lĩnh vực có môi trường công khai (ví dụ: duyệt web, vận hành hệ điều hành, kho mã, API hạn chế). Điều này dẫn đến khoảng trống đánh giá lớn đối với phần lớn các tác vụ chuyên nghiệp giá trị cao trong thế giới thực (ví dụ: phân loại bệnh nhân cấp cứu, giám sát an toàn lò phản ứng hạt nhân, xử lý nhập khẩu hải quan). Các hạn chế chính bao gồm:

Phần lớn không thể kiểm tra: Các lĩnh vực chuyên nghiệp quan trọng (y tế, tài chính, pháp lý, sản xuất, năng lượng) bị ràng buộc bởi các hệ thống doanh nghiệp không có API công khai hoặc quyền truy cập bên ngoài.
Chi phí mở rộng cấm đoán: Việc thêm một lĩnh vực mới vào các benchmark hiện có đòi hỏi chi phí kỹ thuật đáng kể, khiến việc mở rộng lên hàng chục hoặc hàng trăm lĩnh vực là không khả thi.
Không có đánh giá tính mạnh mẽ: Các benchmark hiện có chỉ đánh giá tác nhân trên "con đường hạnh phúc" (happy path), không có đánh giá có hệ thống về cách tác nhân xử lý các lỗi môi trường trong thế giới thực (ví dụ: API hết thời gian, dữ liệu không đầy đủ, dịch vụ xuống cấp âm thầm).

II. Main Idea:

Nghiên cứu giới thiệu OCCUBENCH, một bộ benchmark đột phá bao gồm 100 kịch bản tác vụ chuyên nghiệp trong thế giới thực, trải dài 10 danh mục ngành và 65 lĩnh vực chuyên biệt. Điều này được thực hiện thông qua Language Environment Simulators (LESs), sử dụng các Mô hình Ngôn ngữ Lớn (LLM) để mô phỏng môi trường chuyên biệt và tạo phản hồi công cụ. LES biến việc xây dựng môi trường từ một vấn đề kỹ thuật thành một vấn đề cấu hình, mở rộng phạm vi benchmark.

Một quy trình tổng hợp đa tác nhân tự động tạo ra các trường hợp đánh giá với khả năng giải quyết được đảm bảo, độ khó được hiệu chỉnh và sự đa dạng dựa trên tài liệu. OCCUBENCH đánh giá các tác nhân theo hai chiều bổ sung:

Hoàn thành tác vụ: Khả năng ra quyết định đa bước trên 10 danh mục ngành, tiết lộ hồ sơ năng lực liên ngành của từng mô hình.
Tính mạnh mẽ của môi trường: Hiệu suất dưới sự cố ý đưa lỗi vào có kiểm soát, bao gồm lỗi rõ ràng (thời gian chờ, lỗi 500), suy giảm ngầm (dữ liệu bị cắt ngắn, thiếu trường) và lỗi hỗn hợp, định lượng khả năng phục hồi của tác nhân đối với nhiễu môi trường trong thế giới thực.

III. Main Results:

Các kết quả chính từ việc đánh giá 15 mô hình tiên tiến trên 8 nhóm mô hình bao gồm:

Không có mô hình nào thống trị tất cả các ngành: Mỗi mô hình có một hồ sơ năng lực nghề nghiệp riêng biệt. Ví dụ, GPT-5.2 dẫn đầu về tổng thể nhưng điểm Thương mại thấp (67%), trong khi Qwen 3.5 Plus dẫn đầu ở Y tế và Thương mại (cả hai đều 81%).
Lỗi ngầm khó hơn lỗi rõ ràng: Hiệu suất trung bình dưới lỗi ngầm (E2: 53.4%) giảm nhiều hơn so với lỗi rõ ràng (E1: 62.6%) và lỗi hỗn hợp (E3: 54.4%) từ môi trường sạch (E0: 67.5%). Lỗi ngầm thiếu tín hiệu lỗi rõ ràng, yêu cầu tác nhân phải tự phát hiện sự suy giảm dữ liệu, một khả năng mà hầu hết các mô hình đều thiếu.
Mở rộng quy mô cải thiện hiệu suất: Các mô hình lớn hơn, các thế hệ mới hơn và nỗ lực suy luận cao hơn (ví dụ: GPT-5.2 cải thiện 27.5 điểm khi tăng nỗ lực suy luận từ tối thiểu đến tối đa) luôn cải thiện hiệu suất.
Tác nhân mạnh mẽ không nhất thiết là trình mô phỏng mạnh mẽ: GPT-5.2 xếp hạng nhất là tác nhân (79.6%) nhưng lại tạo ra chất lượng mô phỏng môi trường kém nhất. Chất lượng của trình mô phỏng là rất quan trọng đối với độ tin cậy của việc đánh giá dựa trên LES.

IV. Conclusion & Future Works:

OCCUBENCH cung cấp bộ đánh giá có hệ thống đầu tiên trên nhiều ngành cho các tác nhân AI trong các tác vụ nghề nghiệp chuyên nghiệp. Nghiên cứu chỉ ra rằng các tác nhân hiện tại vẫn gặp khó khăn đáng kể trong các môi trường bất lợi, đặc biệt là với các lỗi ngầm không có tín hiệu rõ ràng. Chất lượng của trình mô phỏng LES là yếu tố then chốt để đảm bảo độ tin cậy của việc đánh giá. Điều này cho thấy một khoảng cách đáng kể giữa khả năng trong môi trường sạch và sự sẵn sàng triển khai trong thế giới thực.

Các hướng nghiên cứu trong tương lai có thể tập trung vào:

Nâng cao khả năng của tác nhân trong việc phát hiện và xử lý các lỗi ngầm mà không có tín hiệu lỗi rõ ràng.
Phát triển các LES phức tạp hơn để mô phỏng các môi trường chuyên nghiệp với độ chính xác và đa dạng cao hơn.
Khám phá cách tích hợp khả năng "tự kiểm tra" dữ liệu đầu vào và phản hồi công cụ vào kiến trúc tác nhân để cải thiện tính mạnh mẽ.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao khả năng phát hiện và xử lý lỗi ngầm cho tác nhân AI: Nghiên cứu các kiến trúc tác nhân hoặc chiến lược học tập mới cho phép các mô hình ngôn ngữ lớn tự động nhận diện và khắc phục các trường hợp suy giảm dữ liệu hoặc thiếu thông tin mà không có tín hiệu lỗi rõ ràng từ môi trường, tập trung vào việc phát triển các cơ chế "tự kiểm tra" dữ liệu.
Thiết kế Language Environment Simulators (LESs) thế hệ tiếp theo với mô hình hóa trạng thái động và tương tác đa tác nhân: Phát triển các LES tiên tiến hơn có khả năng duy trì trạng thái môi trường phức tạp hơn theo thời gian, hỗ trợ tương tác giữa nhiều tác nhân AI, và mô phỏng các kịch bản tương tác xã hội hoặc hợp tác trong các tác vụ chuyên nghiệp, vượt ra ngoài việc chỉ tạo phản hồi công cụ.
Đánh giá tác động của các chiến lược suy luận (reasoning strategies) khác nhau lên hiệu suất và tính mạnh mẽ của tác nhân AI: Phân tích một cách có hệ thống cách các chiến lược suy luận khác nhau (ví dụ: Chain-of-Thought, Tree-of-Thought, Self-Correction) ảnh hưởng đến khả năng hoàn thành tác vụ và khả năng chống chịu lỗi của các tác nhân AI trong các môi trường chuyên nghiệp đa dạng, đặc biệt là dưới điều kiện lỗi ngầm và lỗi hỗn hợp.

2. Patent:

Hệ thống "Kiểm soát chất lượng dữ liệu thông minh" trên điện thoại di động: Một tính năng được tích hợp vào hệ điều hành hoặc ứng dụng trên điện thoại di động, sử dụng trí tuệ nhân tạo để tự động kiểm tra tính toàn vẹn và hợp lệ của dữ liệu nhận được từ các ứng dụng hoặc dịch vụ (ví dụ: thông tin đặt chỗ, dữ liệu cảm biến, tin nhắn). Nếu phát hiện dữ liệu bị thiếu hoặc không nhất quán một cách ngầm mà không có lỗi rõ ràng, hệ thống sẽ cảnh báo người dùng hoặc tự động đề xuất hành động kiểm tra lại/làm mới dữ liệu, giúp người dùng tránh các quyết định sai lầm dựa trên thông tin không đầy đủ.
Ứng dụng "Trợ lý chuyên nghiệp thích ứng với lỗi" cho điện thoại: Một ứng dụng trợ lý AI trên điện thoại di động được thiết kế để hỗ trợ người dùng trong các tác vụ chuyên nghiệp (ví dụ: quản lý lịch trình, xử lý tài liệu, tương tác khách hàng). Ứng dụng này có khả năng nhận diện và phục hồi sau các lỗi hệ thống hoặc lỗi dữ liệu ngầm mà không làm gián đoạn trải nghiệm người dùng, bằng cách tự động thử lại các thao tác, tìm kiếm thông tin thay thế từ các nguồn đáng tin cậy khác hoặc chủ động hỏi người dùng để làm rõ thông tin khi phát hiện sự cố.
Công nghệ "Mô phỏng kịch bản nghề nghiệp cá nhân" trên thiết bị di động: Phát triển một công nghệ cho phép người dùng trên điện thoại di động tạo ra các môi trường mô phỏng đơn giản cho các kịch bản công việc cụ thể của họ. Ví dụ, một nhân viên chăm sóc khách hàng có thể mô phỏng các tình huống tương tác với khách hàng giả định để luyện tập cách giải quyết vấn đề, hoặc một quản lý dự án có thể mô phỏng các tình huống quản lý tài nguyên hoặc xử lý sự cố nhỏ, nhằm nâng cao kỹ năng ra quyết định và ứng phó với các tình huống khó khăn trong một môi trường an toàn và riêng tư.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.10866
ArXiv Abstract	https://arxiv.org/abs/2604.10866
PDF Download	https://arxiv.org/pdf/2604.10866.pdf
Github Repository	https://github.com/GregxmHu/OccuBench

6. Memory Transfer Learning: How Memories are Transferred Across Domains in Coding Agents (24 votes)

Tác giả: Kangsan Kim, Minki Kang, Taeil Kim, Yanlai Yang, Mengye Ren, Sung Ju Hwang

Xuất bản lúc: 2026-04-15

Tag: Memory Transfer Learning, Coding Agents, Self-Evolving Agents, LLMs, Transfer Learning, Meta-knowledge, Abstraction

I. Main Problem:

Các phương pháp tự tiến hóa dựa trên bộ nhớ hiện có cho các tác nhân mã hóa thường giới hạn việc sử dụng bộ nhớ trong các miền tác vụ đồng nhất. Điều này cản trở khả năng khai thác các nền tảng cơ sở hạ tầng chung (như môi trường chạy và ngôn ngữ lập trình) tồn tại trong các vấn đề mã hóa đa dạng trong thế giới thực, dẫn đến việc bỏ lỡ một kho bộ nhớ phong phú hơn từ các miền không đồng nhất.

II. Main Idea:

Nghiên cứu "Memory Transfer Learning" (MTL) bằng cách khai thác một kho bộ nhớ thống nhất từ các miền không đồng nhất. Các tác giả đánh giá hiệu suất trên 6 điểm chuẩn mã hóa bằng cách sử dụng bốn dạng biểu diễn bộ nhớ (Trajectory, Workflow, Summary, Insight), từ dấu vết cụ thể đến những hiểu biết trừu tượng. Ý tưởng chính là kiến thức cấp cao, trừu tượng (meta-knowledge) có khả năng chuyển giao tốt hơn so với các chi tiết cấp thấp, cụ thể của tác vụ, đồng thời việc mở rộng kho bộ nhớ và số lượng miền nguồn sẽ tăng cường hiệu quả chuyển giao.

III. Main Results:

Bộ nhớ xuyên miền cải thiện hiệu suất trung bình 3.7% trên các điểm chuẩn mã hóa. Lợi ích chủ yếu đến từ việc chuyển giao meta-knowledge (kiến thức về quy trình, ví dụ: các quy trình xác thực) thay vì mã cụ thể của tác vụ. Mức độ trừu tượng quyết định khả năng chuyển giao: các "insight" cấp cao khái quát hóa tốt, trong khi các "trajectory" cấp thấp thường gây ra chuyển giao tiêu cực do quá cụ thể. Hiệu quả chuyển giao tăng theo kích thước của kho bộ nhớ và số lượng miền. Bộ nhớ có thể được chuyển giao ngay cả giữa các mô hình khác nhau, mặc dù bộ nhớ tự tạo ra hiệu suất tốt nhất. MTL vượt trội so với các phương pháp tự tiến hóa hiện có (ReasoningBank, AgentKB) về hiệu quả và hiệu suất.

IV. Conclusion & Future Works:

Nghiên cứu này là cuộc điều tra toàn diện đầu tiên về Memory Transfer Learning cho các tác nhân mã hóa, chứng minh rằng việc tận dụng bộ nhớ từ các miền không đồng nhất có thể cải thiện đáng kể hiệu suất. Ba nguyên tắc thiết kế chính được rút ra: giá trị chính của bộ nhớ chuyển giao nằm ở meta-knowledge, mức độ trừu tượng quyết định khả năng chuyển giao, và hiệu quả chuyển giao tăng theo kích thước và sự đa dạng của kho bộ nhớ. Công trình này hy vọng sẽ mở rộng phạm vi sử dụng bộ nhớ ngoài các cài đặt đơn miền và kích thích nghiên cứu sâu hơn về các chiến lược sử dụng bộ nhớ mạnh mẽ cho các tác nhân mã hóa tự tiến hóa. Các hướng nghiên cứu trong tương lai bao gồm việc thiết kế các phương pháp truy xuất bộ nhớ tiên tiến hơn để tránh chuyển giao tiêu cực, sử dụng các phương pháp thích ứng bộ nhớ tốt hơn (như mô-đun viết lại bộ nhớ), và khám phá định tuyến miền (domain routing) cũng như truy xuất bộ nhớ theo từng bước (step-wise memory retrieval).

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp truy xuất bộ nhớ thông minh hơn để tránh chuyển giao tiêu cực, tập trung vào việc xác định các ký ức thực sự hữu ích thay vì chỉ dựa vào sự tương đồng ngữ nghĩa, đặc biệt trong các môi trường tác nhân động.
Phát triển các chiến lược thích ứng bộ nhớ động, bao gồm các mô-đun viết lại bộ nhớ hoặc điều chỉnh theo từng bước, để các tác nhân có thể điều chỉnh kiến thức đã học phù hợp với các tác vụ mục tiêu mới và giảm thiểu rủi ro chuyển giao tiêu cực.
Khám phá cơ chế "domain routing" (định tuyến miền) và "step-wise memory retrieval" (truy xuất bộ nhớ theo từng bước) để tối ưu hóa việc sử dụng bộ nhớ trong các môi trường tác nhân đa bước và không đồng nhất, nâng cao khả năng khái quát hóa của tác nhân.

2. Patent:

Hệ thống gợi ý hành động tự động hóa trên điện thoại di động: Một ứng dụng trên điện thoại thông minh sử dụng "meta-knowledge" (kiến thức chung về quy trình, không phải tác vụ cụ thể) từ các tác vụ người dùng khác nhau (ví dụ: cài đặt ứng dụng, tùy chỉnh cài đặt, xử lý lỗi) để tự động gợi ý hoặc thực hiện các chuỗi hành động phức tạp. Ví dụ, nếu người dùng thường xuyên gặp lỗi kết nối Wi-Fi, hệ thống sẽ học các bước khắc phục sự cố chung và tự động đề xuất hoặc thực hiện chúng khi phát hiện vấn đề tương tự.
Trợ lý lập trình di động thông minh đa ngôn ngữ: Một công cụ hỗ trợ phát triển ứng dụng di động cho phép các nhà phát triển tận dụng "insight" (thông tin chi tiết trừu tượng) từ các dự án mã hóa đa dạng, ngay cả khi chúng sử dụng các ngôn ngữ hoặc framework khác nhau. Công cụ này sẽ không chỉ gợi ý cú pháp mà còn cung cấp các nguyên tắc thiết kế, quy trình kiểm thử và các mẫu giải pháp kiến trúc chung để tăng tốc độ phát triển và giảm lỗi.
Cơ chế sửa lỗi ứng dụng tự động dựa trên kinh nghiệm tổng hợp: Một tính năng tích hợp trong hệ điều hành di động hoặc nền tảng phát triển ứng dụng, nơi các "kinh nghiệm" (dưới dạng các quy trình kiểm tra và xác thực trừu tượng) từ việc sửa lỗi trên hàng triệu ứng dụng khác nhau được tổng hợp. Khi một ứng dụng gặp sự cố hoặc lỗi, hệ thống sẽ sử dụng các kinh nghiệm tổng hợp này để tự động phân tích nguyên nhân và đề xuất các bản vá hoặc giải pháp cho nhà phát triển, hoặc thậm chí tự động sửa các lỗi nhỏ trong thời gian chạy.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.14004
ArXiv Abstract	https://arxiv.org/abs/2604.14004
PDF Download	https://arxiv.org/pdf/2604.14004.pdf
Github Repository	https://github.com/KangsanKim07/MemoryTransferLearning

7. From P(y|x) to P(y): Investigating Reinforcement Learning in Pre-train Space (23 votes)

Tác giả: Yuqiao Tan, Minzheng Wang, Bo Liu, Zichen Liu, Tian Liang, Shizhu He, Jun Zhao, Kang Liu

Xuất bản lúc: 2026-04-15

Tag: Reinforcement Learning, Large Language Models, LLMs, Pre-training, Policy Gradient, Negative Sample Reinforcement, Dual Space RL, Policy Reincarnation, Reasoning

I. Main Problem:

Các phương pháp học tăng cường với phần thưởng có thể kiểm chứng (RLVR) hiện tại, dù cải thiện đáng kể khả năng suy luận của LLM bằng cách tối ưu hóa phân phối có điều kiện P(y|x), nhưng tiềm năng của chúng bị giới hạn bởi phân phối đầu ra hiện có của mô hình cơ sở. Mặc dù việc tối ưu hóa phân phối biên P(y) trong Pre-train Space có thể mã hóa khả năng suy luận và bảo toàn khả năng khám phá rộng, nhưng quá trình tiền huấn luyện truyền thống dựa vào các kho ngữ liệu tĩnh, dẫn đến sự dịch chuyển phân phối (distribution shift) làm cản trở việc tăng cường suy luận có mục tiêu.

II. Main Idea:

Bài báo giới thiệu PreRL (Pre-train Space RL), một phương pháp áp dụng các cập nhật trực tuyến dựa trên phần thưởng trực tiếp vào phân phối biên P(y). Các tác giả đã chứng minh về mặt lý thuyết và thực nghiệm sự đồng nhất gradient mạnh mẽ giữa logP(y) và logP(y|x), xác lập PreRL là một phương pháp thay thế khả thi cho RL tiêu chuẩn, giúp bảo toàn khả năng khám phá nội tại của mô hình. Đặc biệt, Negative Sample Reinforcement (NSR) trong PreRL được phát hiện là một cơ chế cực kỳ hiệu quả để thúc đẩy suy luận, nhanh chóng loại bỏ các không gian suy luận không chính xác và kích thích các hành vi phản tư nội sinh. Dựa trên những phát hiện này, bài báo đề xuất Dual Space RL (DSRL), một chiến lược Policy Reincarnation. DSRL khởi tạo các mô hình bằng NSR-PreRL để mở rộng chân trời suy luận, sau đó chuyển sang RL tiêu chuẩn để tối ưu hóa chi tiết, tạo ra một chính sách được tinh chỉnh hướng tới các không gian suy luận chính xác.

III. Main Results:

Đồng nhất Gradient: Phân tích thực nghiệm trên Qwen3-4B cho thấy tích vô hướng gradient giữa ∇θ logπθ(y) và ∇θ logπθ(y|x) luôn không âm, với giá trị trung bình là +9.2. Ngoài ra, sự tương đồng cosine gradient rất tích cực và sự khác biệt log-probability giữa logP(y|x) và logP(y) rất nhỏ, xác nhận sự đồng nhất mạnh mẽ giữa hai mục tiêu này.
Hiệu quả của NSR-PreRL: NSR-PreRL tăng cường suy nghĩ chuyển đổi (transition thoughts) lên 14.89 lần và suy nghĩ phản tư (reflection thoughts) lên 6.54 lần, cho thấy khả năng kích thích suy luận nội sinh mạnh mẽ. Nó cũng đạt được độ chính xác 86% với số bước huấn luyện ít hơn 3 lần so với RL tiêu chuẩn.
DSRL vượt trội: DSRL nhất quán vượt trội các baseline RL mạnh (như GRPO, PPO, Reinforce++, RLOO, Dr.GRPO, DAPO) trên nhiều benchmark suy luận toán học (MATH500, AMC23, AIME24, AIME25, Minerva, OlympiadBench). Ví dụ, DSRL cải thiện điểm trung bình của Qwen3-4B lên 57.54 và Qwen3-8B lên 58.47, vượt qua GRPO đáng kể.
Khả năng tổng quát hóa: DSRL cho thấy khả năng tổng quát hóa tốt hơn trên các benchmark ngoài phân phối (OOD) như GPQA-Diamond, MMLU-Pro, BBH, và HumanEval, với những cải thiện đáng kể trên các tác vụ đòi hỏi kiến thức chuyên sâu và tạo mã.

IV. Conclusion & Future Works:

Kết luận: Bài báo giới thiệu Pre-train Space RL (PreRL) để tích hợp học tăng cường dựa trên phần thưởng vào không gian tiền huấn luyện. Các tác giả đã chứng minh về mặt lý thuyết và thực nghiệm sự đồng nhất gradient mạnh mẽ giữa mục tiêu có điều kiện logP(y|x) và mục tiêu biên logP(y). Phân tích PreRL cho thấy Negative Sample Reinforcement (NSR) là một yếu tố thúc đẩy cực kỳ hiệu quả bằng cách chọn lọc loại bỏ các đường suy luận không chính xác và khơi gợi khả năng suy luận nội sinh. Dựa trên điều này, Dual Space RL (DSRL) được giới thiệu, sử dụng chiến lược Policy Reincarnation để kết hợp NSR-PreRL với RL tiêu chuẩn. Bằng cách khởi tạo với NSR-PreRL để loại bỏ các lỗi cơ bản và mở rộng chân trời khám phá, DSRL nhất quán vượt trội các baseline mạnh mẽ trên nhiều benchmark. Cuối cùng, công trình này chứng minh rằng việc tối ưu hóa không gian tiền huấn luyện thiết lập một nền tảng suy luận mạnh mẽ hơn, dẫn đến hiệu suất cuối cùng vượt trội.

Hướng phát triển trong tương lai (dựa trên nội dung bài báo):

Khám phá các chiến lược tối ưu hóa Positive Sample Reinforcement (PSR) trong không gian tiền huấn luyện để tránh sự sụp đổ của học on-policy, có thể thông qua việc tích hợp dữ liệu off-policy chất lượng cao hoặc các kỹ thuật điều chỉnh phân phối.
Nghiên cứu cơ chế điều chỉnh độ dài phản hồi do NSR-PreRL gây ra, nhằm duy trì hiệu quả huấn luyện liên tục mà không dẫn đến đầu ra quá dài.
Mở rộng ứng dụng của Dual Space RL sang các miền tác vụ khác ngoài suy luận toán học, chẳng hạn như tạo mã, tóm tắt hoặc đối thoại, để kiểm tra tính tổng quát của phương pháp.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa PreRL với Dữ liệu Off-policy và Kỹ thuật Điều chỉnh Phân phối: Nghiên cứu cách tích hợp dữ liệu off-policy chất lượng cao và các phương pháp điều chỉnh phân phối tiên tiến để cải thiện hiệu suất của PSR-PreRL, giải quyết vấn đề sụp đổ học on-policy và tận dụng tiềm năng của việc tối ưu hóa P(y) cho các mẫu dương.
Kiểm soát Độ dài Đầu ra trong Pre-train Space RL: Phát triển các kỹ thuật hoặc cơ chế phần thưởng mới trong khuôn khổ PreRL để quản lý và kiểm soát độ dài của phản hồi được tạo ra, ngăn chặn tình trạng tạo ra đầu ra quá dài trong khi vẫn duy trì khả năng khám phá và suy luận sâu sắc của NSR-PreRL.
Mở rộng Dual Space RL cho các Tác vụ Đa Phương thức và Đa Ngôn ngữ: Áp dụng chiến lược DSRL cho các mô hình ngôn ngữ lớn đa phương thức (ví dụ: mô hình Vision-Language) hoặc đa ngôn ngữ để xem xét liệu việc tối ưu hóa không gian tiền huấn luyện có thể tăng cường khả năng suy luận và tổng quát hóa trên nhiều loại dữ liệu và ngôn ngữ khác nhau hay không.

2. Patent:

Hệ thống Trợ lý AI Di động với Khả năng Suy luận Nâng cao: Một hệ thống trợ lý AI trên điện thoại di động sử dụng phương pháp Dual Space RL để cải thiện khả năng suy luận và giải quyết vấn đề. Khi người dùng đặt câu hỏi phức tạp (ví dụ: "Lập kế hoạch lộ trình du lịch tối ưu có tính đến chi phí và thời gian"), AI sẽ sử dụng giai đoạn "khám phá suy luận" để nhanh chóng loại bỏ các giải pháp không khả thi và khám phá các ý tưởng rộng, sau đó chuyển sang giai đoạn "tối ưu hóa chi tiết" để tinh chỉnh và đưa ra câu trả lời chính xác, phù hợp với ngữ cảnh người dùng.
Công cụ Tự động Sửa lỗi và Gợi ý Tối ưu hóa trên Thiết bị: Phát minh một công cụ tích hợp vào bàn phím hoặc trình soạn thảo trên điện thoại, sử dụng nguyên lý Negative Sample Reinforcement. Khi người dùng gõ văn bản, viết mã, hoặc giải quyết bài toán, công cụ này sẽ tự động nhận diện các lỗi sai phổ biến hoặc các cách diễn đạt kém hiệu quả và đưa ra các gợi ý sửa lỗi hoặc tối ưu hóa theo thời gian thực, giúp người dùng học hỏi và cải thiện kỹ năng mà không cần phải trải qua quá trình huấn luyện dài dòng.
Nền tảng Học tập Cá nhân hóa dựa trên Phản hồi Thông minh: Một ứng dụng học tập trên di động sử dụng cơ chế Policy Reincarnation của DSRL. Khi người dùng học một kỹ năng mới (ví dụ: lập trình, học ngoại ngữ, giải toán), ứng dụng sẽ ban đầu giúp người học nhanh chóng nhận ra và loại bỏ các lỗi sai cơ bản hoặc những hiểu lầm phổ biến. Sau khi người học đã nắm vững nền tảng, ứng dụng sẽ chuyển sang chế độ cung cấp các bài tập và phản hồi tinh chỉnh, giúp người học đạt được sự thành thạo cao hơn và khám phá các khía cạnh phức tạp hơn của kiến thức.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.14142
ArXiv Abstract	https://arxiv.org/abs/2604.14142
PDF Download	https://arxiv.org/pdf/2604.14142.pdf
Github Repository	https://github.com/Trae1ounG/Pretrain_Space_RLVR

8. Exploration and Exploitation Errors Are Measurable for Language Model Agents (22 votes)

Tác giả: Jaden Park, Jungtaek Kim, Jongwon Jeong, Robert D. Nowak, Kangwook Lee, Yong Jae Lee

Xuất bản lúc: 2026-04-14

Tag: Language Model Agents, Exploration-Exploitation, Policy-agnostic evaluation, Reinforcement Learning, Decision-making, Grid environments, Task DAGs, Prompt Engineering, Harness Engineering

I. Main Problem:

Các tác vụ ra quyết định mở rộng phức tạp cho tác nhân mô hình ngôn ngữ (LM) đòi hỏi khả năng vừa thăm dò không gian vấn đề vừa khai thác kiến thức đã thu được một cách hiệu quả. Tuy nhiên, việc phân biệt và định lượng có hệ thống các lỗi thăm dò và khai thác từ các hành động quan sát được mà không cần truy cập vào chính sách nội bộ của tác nhân vẫn là một thách thức lớn. Các phương pháp đánh giá hiện có thường chỉ dựa vào tỷ lệ thành công, thiếu kiểm soát có hệ thống đối với cấu trúc phụ thuộc của nhiệm vụ và có thể làm lẫn lộn thông tin ngữ nghĩa từ kiến thức được đào tạo trước với khả năng lập luận trong môi trường.

II. Main Idea:

Để giải quyết vấn đề này, nghiên cứu này thiết kế các môi trường có thể kiểm soát được, lấy cảm hứng từ các kịch bản AI hiện thân thực tế. Các môi trường này bao gồm một bản đồ lưới 2D có thể quan sát một phần và một Đồ thị Hướng không Chu trình (DAG) nhiệm vụ không xác định, có thể điều chỉnh để nhấn mạnh độ khó thăm dò hoặc khai thác. Để cho phép đánh giá độc lập với chính sách, một thước đo lỗi thăm dò và khai thác được thiết kế để định lượng các lỗi từ các hành động của tác nhân. Thước đo này dựa trên các khái niệm lý thuyết đồ thị cổ điển về tính dư thừa và tái sử dụng, phát hiện các hành vi dư thừa về mặt cấu trúc trong các phân đoạn quỹ đạo của tác nhân khi không có tiến triển nào được thực hiện đối với nhiệm vụ. Nghiên cứu cũng đánh giá các tác nhân LM tiên tiến và phân tích ảnh hưởng của các cấu hình khác nhau như loại prompt và kỹ thuật "harness engineering" (kỹ thuật ràng buộc) tối thiểu.

III. Main Results:

Tỷ lệ lỗi thăm dò thấp là một yếu tố dự báo mạnh mẽ cho sự thành công (R^2 = 0.947 cho lỗi thăm dò so với tỷ lệ thành công, trong khi R^2 = 0.006 cho lỗi khai thác).
Các tác nhân LM có tỷ lệ thành công tương tự có thể thể hiện các hành vi định tính khác nhau (ví dụ: Claude Opus 4.6 khai thác nhiều hơn, Gemini 3.1 Pro thăm dò nhiều hơn, ngay cả khi đạt 100% thành công).
Các prompt tập trung vào thăm dò hoặc khai thác giúp giảm lỗi tương ứng. Prompt tập trung vào thăm dò đạt tỷ lệ thành công cao nhất.
Kỹ thuật "harness engineering" cải thiện đáng kể hiệu suất của tác nhân LM, bao gồm tỷ lệ thành công, lỗi thăm dò và khai thác, và số bước trung bình.
Việc tái giới thiệu thông tin ngữ nghĩa ảnh hưởng đến các mô hình khác nhau theo cách khác nhau: nó có thể khuyến khích thăm dò (GPT-4.1) hoặc thiên về khai thác thiển cận (Gemini 3.1 Flash Lite).

IV. Conclusion & Future Works:

Nghiên cứu này giới thiệu một thước đo độc lập với chính sách để định lượng lỗi thăm dò và khai thác trong các tác nhân LM từ quỹ đạo hành động. Các thử nghiệm chỉ ra rằng lỗi thăm dò thấp có mối liên hệ chặt chẽ với sự thành công, và các tác nhân LM có tỷ lệ thành công tương tự vẫn có thể thể hiện các hành vi định tính khác nhau. Thiết kế prompt, kỹ thuật "harness engineering" và thông tin ngữ nghĩa ảnh hưởng đáng kể đến cách các tác nhân LM cân bằng giữa thăm dò và khai thác. Khung công tác này cung cấp nền tảng để định lượng thăm dò và khai thác trong các tác nhân LM vượt ra ngoài tỷ lệ thành công, mang lại một góc nhìn phân tích chi tiết hơn để đánh giá và cải thiện các tác nhân LM trong các tác vụ mở phức tạp. Hướng nghiên cứu trong tương lai bao gồm mở rộng khung công tác này sang các cài đặt thực tế hơn bằng cách kết hợp thông tin ngữ nghĩa, cấu trúc môi trường phong phú hơn ngoài bản đồ lưới 2D và các phụ thuộc nhiệm vụ phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Khung Đánh giá cho Môi trường Đa phương thức và Động: Phát triển các môi trường đánh giá đại diện cho các tác vụ thế giới thực phức tạp hơn (ví dụ: môi trường 3D, môi trường động với các đối tượng tương tác, tích hợp thông tin thị giác và âm thanh) vượt ra ngoài bản đồ lưới 2D và DAG tĩnh, bao gồm cả thông tin ngữ nghĩa phong phú và các ràng buộc thời gian thực.
Thiết kế Kiến trúc Agent Tự điều chỉnh cho Cân bằng Thăm dò-Khai thác: Nghiên cứu và phát triển các kiến trúc LM agent mới có khả năng tự động học và điều chỉnh chiến lược thăm dò và khai thác dựa trên trạng thái môi trường hiện tại, tiến độ nhiệm vụ, độ bất định của môi trường và các ràng buộc tài nguyên, thay vì chỉ dựa vào các prompt cố định.
Tối ưu hóa Hệ thống Quản lý Bộ nhớ Ngoài và Kiến thức Nền cho Agent LM: Khám phá sâu hơn cách các hệ thống quản lý bộ nhớ ngoài (harness engineering) và việc tích hợp kiến thức nền (semantic priors) có thể được tối ưu hóa thông qua các cơ chế học tăng cường hoặc học meta để cải thiện khả năng thăm dò và khai thác của LM agent, đặc biệt trong các tác vụ yêu cầu lập luận dài hạn, học hỏi liên tục và khả năng thích ứng với các miền mới.

2. Patent:

Hệ thống Trợ lý Cá nhân Thông minh với Định hướng Mục tiêu Thăm dò-Khai thác Tối ưu trên Thiết bị Di động: Một ứng dụng trợ lý cá nhân trên điện thoại di động có khả năng phân tích mục tiêu của người dùng (ví dụ: "tìm một nhà hàng Ý mới gần đây"). Hệ thống sẽ tự động cân bằng giữa việc "thăm dò" các lựa chọn mới chưa từng được xem xét (nhà hàng mới, phong cách ẩm thực khác) và "khai thác" kiến thức đã có (nhà hàng yêu thích, sở thích đã biết) để đưa ra các gợi ý tối ưu và đường đi hiệu quả nhất, đồng thời tránh các hành động lặp lại không cần thiết hoặc kém hiệu quả.
Công cụ Hỗ trợ Lập trình và Gỡ lỗi Tự động cho Nhà phát triển Di động: Một công cụ tích hợp trong môi trường phát triển ứng dụng di động (IDE) cho phép các nhà phát triển xác định và sửa lỗi trong mã nguồn. Hệ thống sẽ sử dụng AI để "thăm dò" các phần khác nhau của mã, nhật ký lỗi và tài liệu liên quan để tìm nguyên nhân gốc rễ của sự cố, đồng thời "khai thác" các quy tắc lập trình đã biết, các mẫu lỗi phổ biến và các giải pháp đã được xác minh để đề xuất các bản sửa lỗi hiệu quả, giảm thiểu thời gian gỡ lỗi và tăng năng suất.
Hệ thống Điều hướng và Khám phá Đô thị Thông minh trên Điện thoại: Một ứng dụng bản đồ di động không chỉ cung cấp tuyến đường ngắn nhất mà còn có thể gợi ý các điểm dừng hoặc tuyến đường thay thế để "khám phá" các địa điểm mới (ví dụ: quán cà phê độc đáo, cửa hàng thủ công, công viên ít người biết) dựa trên sở thích của người dùng và các địa điểm đã biết (khai thác), đồng thời tránh các tuyến đường lặp lại không cần thiết hoặc kém hiệu quả. Hệ thống này sẽ học hỏi từ hành vi di chuyển và khám phá của người dùng để cá nhân hóa các đề xuất, mang lại trải nghiệm độc đáo và tối ưu hóa việc sử dụng thời gian.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.13151
ArXiv Abstract	https://arxiv.org/abs/2604.13151
PDF Download	https://arxiv.org/pdf/2604.13151.pdf
Github Repository	https://github.com/jjj-madison/measurable-explore-exploit

9. Target Policy Optimization (19 votes)

Tác giả: Jean Kaddour

Xuất bản lúc: 2026-04-07

Tag: RL, Policy Optimization, LLMs, Sparse Reward, Reinforcement Learning, Contextual Bandit, Transformers

I. Main Problem:

Các phương pháp độ dốc chính sách (policy-gradient) tiêu chuẩn thường kết hợp việc phân phối lại xác suất mong muốn với cơ chế tối ưu hóa để thực hiện thay đổi đó. Sự kết hợp này có thể làm cho quá trình học trở nên mong manh, đặc biệt khi phần thưởng thưa thớt (sparse reward), dẫn đến việc cập nhật có thể vượt mức hoặc dưới mức tùy thuộc vào tốc độ học, cắt xén (clipping) và các lựa chọn tối ưu hóa khác.

II. Main Idea:

Giới thiệu Target Policy Optimization (TPO), một phương pháp tách biệt hai câu hỏi: (1) những hành động nào nên tăng xác suất và (2) các tham số nên di chuyển như thế nào để thực hiện thay đổi đó. TPO xây dựng một phân phối mục tiêu qi ∝ p_old_i * exp(ui) từ các hành động được lấy mẫu và điểm số đã chuẩn hóa ui, sau đó điều chỉnh chính sách để phù hợp với phân phối mục tiêu này bằng cách sử dụng cross-entropy. Độ dốc mất mát pθ - q sẽ biến mất khi chính sách khớp với mục tiêu, đảm bảo cập nhật ổn định và hiệu quả. Phương pháp này không yêu cầu hàm Q đã học hay tối ưu hóa ràng buộc.

III. Main Results:

TPO ngang bằng với các phương pháp đường cơ sở như PG, PPO, GRPO và DG trên các tác vụ dễ dàng, và vượt trội đáng kể khi phần thưởng thưa thớt. Cụ thể:

Trên bài toán contextual bandit MNIST, TPO hội tụ nhanh nhất và đạt lỗi thấp nhất (2.9%).
Trên bài toán token-reversal với phần thưởng dày đặc, TPOtoken đạt 1% lỗi nhanh hơn đáng kể so với các phương pháp khác (ví dụ, V=16: TPOtoken 102 bước so với GRPOtoken 148, PPO 259, DG 393).
Trên các biến thể tác vụ với phần thưởng tuần tự (sparse hơn), lợi thế của TPOtoken được mở rộng, nó hội tụ trên tất cả các tác vụ trong khi GRPOtoken và PPO không thành công.
Với phần thưởng cuối cùng (terminal reward), TPO đạt lỗi thấp nhất ở mọi độ dài chuỗi được kiểm tra, cho thấy khả năng xử lý tín hiệu thưa thớt vượt trội.
Trên các mô hình LLM tỷ tham số (Qwen3-1.7B và DeepSeek-R1-Distill-Qwen-1.5B) trong RLVR, TPO học nhanh hơn và đạt độ chính xác/điểm số cao hơn, đặc biệt trên các tác vụ khó hơn như graph coloring và Knights & Knaves, nơi GRPO đôi khi thất bại hoàn toàn. Các nghiên cứu loại bỏ (ablation studies) cũng xác nhận tầm quan trọng của cơ chế neo p_old và khớp mục tiêu của TPO.

IV. Conclusion & Future Works:

TPO cung cấp một cách tiếp cận mạnh mẽ để tối ưu hóa chính sách bằng cách tách biệt việc xây dựng mục tiêu khỏi quá trình điều chỉnh chính sách. Các cải tiến của TPO dưới phần thưởng thưa thớt được giải thích bởi một số đặc tính củng cố: gradient tự triệt tiêu khi chính sách khớp mục tiêu, tín hiệu tập trung vào các nhóm thông tin và mục tiêu cố định hỗ trợ tái sử dụng đa kỷ nguyên ổn định. Điều này cho thấy tiềm năng lớn trong các ứng dụng RL thực tế, đặc biệt là trong các kịch bản phần thưởng thưa thớt.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng Target Policy Optimization (TPO) cho không gian hành động liên tục hoặc rời rạc rất lớn, có thể bằng cách kết hợp với các phương pháp xấp xỉ hàm Q hoặc kỹ thuật lấy mẫu thích nghi để duy trì hiệu quả trong các môi trường phức tạp hơn.
Khám phá sự tích hợp của TPO với học tăng cường dựa trên mô hình (Model-Based RL), tập trung vào cách TPO có thể tối ưu hóa chính sách khi có một mô hình động lực học đã biết hoặc được học, đặc biệt để cải thiện hiệu quả lấy mẫu và hiệu suất trong các môi trường phần thưởng thưa thớt.
Phân tích lý thuyết sâu hơn về thuộc tính hội tụ và độ bền của TPO, bao gồm ảnh hưởng của tham số nhiệt độ η và cơ chế neo p_old dưới các cấu trúc phần thưởng khác nhau và kiến trúc chính sách đa dạng, nhằm cung cấp hiểu biết chặt chẽ hơn về hiệu quả của nó.

2. Patent:

Hệ thống gợi ý văn bản thông minh trên điện thoại di động: Một bàn phím hoặc tính năng tự động hoàn thành trên điện thoại sử dụng TPO để dự đoán các từ, cụm từ hoặc câu tiếp theo. Hệ thống sẽ học cách ưu tiên các lựa chọn được người dùng đánh giá là "tốt hơn" dựa trên ngữ cảnh và lịch sử tương tác, đặc biệt hữu ích cho các cụm từ độc đáo hoặc ít phổ biến, cải thiện đáng kể trải nghiệm gõ phím.
Tối ưu hóa hành động của trợ lý ảo di động: Một trợ lý ảo trên điện thoại sử dụng TPO để học và thực hiện các tác vụ đa bước phức tạp một cách hiệu quả hơn. Ví dụ, khi người dùng yêu cầu một chuỗi hành động như "tìm nhà hàng, đặt bàn và thêm vào lịch", TPO sẽ tối ưu hóa các bước hành động của trợ lý bằng cách tập trung vào các chuỗi dẫn đến hoàn thành tác vụ thành công, ngay cả khi các bước trung gian không có phản hồi rõ ràng.
Cải thiện đề xuất nội dung cá nhân hóa trên ứng dụng di động: Các ứng dụng trên điện thoại (ví dụ: tin tức, mua sắm, video) có thể sử dụng TPO để cá nhân hóa đề xuất nội dung. Hệ thống sẽ học cách điều chỉnh chính sách đề xuất để ưu tiên các mục mà người dùng có khả năng tương tác tích cực (nhấp, xem, mua) cao nhất, ngay cả khi những tương tác này rất hiếm đối với các loại nội dung cụ thể hoặc sở thích đặc biệt của người dùng, mang lại trải nghiệm cá nhân hóa sâu sắc hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.06159
ArXiv Abstract	https://arxiv.org/abs/2604.06159
PDF Download	https://arxiv.org/pdf/2604.06159.pdf
Github Repository	https://github.com/JeanKaddour/tpo

10. Sema Code: Decoupling AI Coding Agents into Programmable, Embeddable Infrastructure (18 votes)

Tác giả: Huacan Wang, Jie Zhou, Ningyan Zhu, Shuo Zhang, Feiyu Chen, Jiarou Wu, Ge Chen, Chen Liu, Wangyi Chen, Xiaofeng Mou, Yi Xu

Xuất bản lúc: 2026-04-13

Tag: AI agents, LLMs, Software Engineering, Framework, Decoupling, Multi-tenant

I. Main Problem:

Các giải pháp AI coding agent hiện có đang bị khóa chặt khả năng suy luận của chúng vào một hình thức triển khai cụ thể (như CLI, plugin IDE, ứng dụng web). Hạn chế này tạo ra rào cản lớn khi các doanh nghiệp muốn tái sử dụng các khả năng này trong các môi trường kỹ thuật không đồng nhất. Cụ thể, logic suy luận cốt lõi không thể tách rời khỏi các hình thức sản phẩm cụ thể, gây khó khăn trong việc nhúng các tính năng nâng cao vào dịch vụ backend, thay thế mô hình nền tảng hoặc phục vụ nhiều kênh từ một engine thông minh duy nhất.

II. Main Idea:

Sema Code đề xuất một framework AI coding mở, được xây dựng trên nguyên tắc có thể nhúng, có thể cắm thêm và ưu tiên framework. Ý tưởng cốt lõi là tách rời hoàn toàn engine agent khỏi tất cả các lớp client, xuất bản nó dưới dạng một thư viện npm độc lập mà bất kỳ runtime nào cũng có thể điều khiển theo chương trình. Kiến trúc này dựa trên nguyên tắc phân tách ba lớp (client, core engine, service) và thiết kế tám cơ chế chính: cô lập engine đa người thuê, hàng đợi đầu vào FIFO với tái tạo phiên an toàn, nén ngữ cảnh thích ứng, lập lịch cộng tác đa agent, quản lý quy trình dựa trên Todo thông minh, kiểm soát quyền không đồng bộ bốn lớp, tích hợp hệ sinh thái ba cấp (MCP, Skills, Plugins) và framework tác vụ nền với quyền thực thi và quan sát tách biệt.

III. Main Results:

Sema Code đã chứng minh tính linh hoạt kiến trúc bằng cách sử dụng cùng một engine Sema Core để đồng thời cấp nguồn cho một tiện ích mở rộng VSCode và một cổng nhắn tin đa kênh (SemaClaw) để thống nhất các tương tác agent trên các nền tảng như Telegram và Feishu. Điều này cho thấy hai hình thức sản phẩm khác biệt cơ bản có thể chia sẻ một nhân suy luận giống hệt nhau, chỉ khác biệt ở lớp client. Các cơ chế được thiết kế đã giải quyết thành công các thách thức kỹ thuật trong việc biến một engine agent phức tạp thành một lõi chia sẻ, có thể lập trình được, đảm bảo an toàn trạng thái, hiệu quả tài nguyên và khả năng mở rộng trong môi trường đa người dùng.

IV. Conclusion & Future Works:

Sema Code đã thành công trong việc tạo ra một framework AI coding có thể nhúng và sẵn sàng cho sản xuất, khác biệt với các hệ thống sản phẩm hiện có bằng cách xuất bản engine cốt lõi dưới dạng thư viện độc lập và khác với các framework chung bằng cách cung cấp giải pháp kỹ thuật toàn diện cho AI coding. Mặc dù văn bản trích xuất không bao gồm phần kết luận hoặc các hướng công việc tương lai rõ ràng, nhưng việc xây dựng một hệ sinh thái ba cấp (MCP, Skill, Plugin) cho thấy tiềm năng mở rộng các khả năng của agent và tích hợp với nhiều công nghệ hơn trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện hiệu quả quản lý ngữ cảnh cho AI Agent bằng thuật toán nén ngữ cảnh thích ứng và chiến lược giảm cấp kép.
Thiết kế kiến trúc Multi-Agent cộng tác với không gian trạng thái cô lập và kiểm soát ngắt chia sẻ cho tác vụ lập trình phức tạp.
Hệ thống quản lý quyền truy cập bốn lớp không đồng bộ để tăng cường bảo mật và tính linh hoạt trong các tác vụ lập trình AI.

2. Patent:

Hệ thống trợ lý lập trình di động nhúng: Một thư viện AI lập trình độc lập có thể nhúng trực tiếp vào các ứng dụng chỉnh sửa mã trên điện thoại di động, cho phép các nhà phát triển tạo ra các tính năng hỗ trợ lập trình thông minh (như gợi ý mã, sửa lỗi tự động) mà không cần phụ thuộc vào một ứng dụng AI tổng thể nào. Hệ thống này sẽ xử lý các tác vụ AI cục bộ hoặc thông qua API đám mây, nhưng được điều khiển hoàn toàn bởi ứng dụng di động.
Quản lý tác vụ AI đa kênh cho thiết bị di động: Một nền tảng cho phép người dùng tương tác với cùng một công cụ AI lập trình thông qua nhiều kênh trên điện thoại di động, ví dụ như qua ứng dụng nhắn tin (Telegram, Feishu) và một plugin IDE di động. Hệ thống này đảm bảo ngữ cảnh và trạng thái công việc được đồng bộ hóa và duy trì an toàn giữa các kênh khác nhau, cho phép chuyển đổi liền mạch giữa các phương thức tương tác.
Hệ thống bảo mật quyền truy cập thông minh cho ứng dụng AI trên di động: Một cơ chế bốn lớp để kiểm soát quyền truy cập của các tác vụ AI trong ứng dụng di động, đặc biệt khi chúng tương tác với hệ thống tệp, thực thi lệnh shell hoặc gọi các API bên ngoài. Người dùng có thể thiết lập các chính sách bảo mật linh hoạt, yêu cầu xác nhận cho các hành động rủi ro cao nhưng tự động cho phép các tác vụ an toàn, giúp bảo vệ dữ liệu và thiết bị di động khỏi các lệnh độc hại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.11045
ArXiv Abstract	https://arxiv.org/abs/2604.11045
PDF Download	https://arxiv.org/pdf/2604.11045.pdf
Github Repository	https://github.com/midea-ai/sema-code-core

11. SemaClaw: A Step Towards General-Purpose Personal AI Agents through Harness Engineering (15 votes)

Tác giả: Ningyan Zhu, Huacan Wang, Jie Zhou, Feiyu Chen, Shuo Zhang, Ge Chen, Chen Liu, Jiarou Wu, Wangyi Chen, Xiaofeng Mou, Yi Xu

Xuất bản lúc: 2026-04-13

Tag: AI Agents, Multi-agent Systems, Harness Engineering, Context Management, Orchestration, Behavioral Safety, Long-term Memory, LLMs, ReAct

I. Main Problem:

Sự phát triển nhanh chóng của các tác nhân AI cá nhân mã nguồn mở (như OpenClaw) đã bộc lộ những thách thức kỹ thuật mà khả năng mô hình đơn thuần không thể giải quyết. Cụ thể, có ba vấn đề chính: Một là, các tác vụ thực tế đòi hỏi sự điều phối linh hoạt nhưng có cấu trúc, vượt ra ngoài các chuỗi công cụ tuyến tính cố định, cần khả năng phân rã và phục hồi lỗi hiệu quả. Hai là, an toàn hành vi ở cấp độ runtime là cần thiết khi tác nhân thực hiện các hành động có hậu quả (ví dụ: sửa đổi tệp), đòi hỏi các điểm kiểm soát ủy quyền rõ ràng. Ba là, tác nhân cần bộ nhớ dài hạn có cấu trúc để duy trì sở thích, quyết định và kiến thức qua nhiều phiên, thay vì chỉ tích lũy nhật ký hội thoại đơn thuần.

II. Main Idea:

Để giải quyết các thách thức trên, SemaClaw đề xuất một khung ứng dụng đa tác nhân mã nguồn mở tập trung vào 'harness engineering' – thiết kế cơ sở hạ tầng hoàn chỉnh để biến các tác nhân không ràng buộc thành hệ thống đáng tin cậy và có thể kiểm soát. SemaClaw được tổ chức theo kiến trúc hai lớp: sema-code-core (runtime tác nhân) và semaclaw (lớp harness ứng dụng). Các đóng góp chính bao gồm: 1) Phương pháp điều phối nhóm tác nhân lai hai giai đoạn dựa trên Đồ thị tuần tự không chu trình (DAG Teams) để kết hợp tính linh hoạt của phân rã tác vụ động với khả năng quan sát của thực thi theo cấu trúc đồ thị. 2) Hệ thống an toàn hành vi PermissionBridge nhúng các điểm kiểm soát quyền vào runtime, yêu cầu ủy quyền rõ ràng cho các hoạt động rủi ro cao. 3) Kiến trúc quản lý ngữ cảnh ba lớp bao gồm bộ nhớ làm việc nén, bộ nhớ ngoài dựa trên truy xuất và phân vùng persona neo vào SOUL.md, cùng với hạ tầng kiến thức cá nhân dựa trên wiki để xây dựng cơ sở kiến thức bền vững thuộc sở hữu người dùng. 4) Kiến trúc plugin bốn lớp (MCP tools, subagents, skills, hooks) để mở rộng khả năng tác nhân một cách có nguyên tắc.

III. Main Results:

Bài báo giới thiệu SemaClaw như một bước tiến quan trọng hướng tới các tác nhân AI cá nhân đa năng thông qua harness engineering. Mặc dù không trình bày các số liệu hiệu suất cụ thể, nghiên cứu nhấn mạnh rằng việc cải thiện cấu hình harness, ngay cả khi giữ nguyên mô hình, có thể tăng đáng kể tỷ lệ hoàn thành tác vụ (ví dụ: từ 52.8% lên 66.5% trong các thí nghiệm của LangChain trên Terminal Bench 2.0). SemaClaw cung cấp một khung làm việc có hệ thống để giải quyết các vấn đề về điều phối, an toàn và bộ nhớ, những yếu tố then chốt để các tác nhân AI có thể hoạt động đáng tin cậy trong môi trường thực tế.

IV. Conclusion & Future Works:

SemaClaw là một bước đi quan trọng trong việc hiện thực hóa các tác nhân AI cá nhân đa năng bằng cách giải quyết các thách thức kỹ thuật cốt lõi thông qua 'harness engineering'. Nó cung cấp một kiến trúc mạnh mẽ cho điều phối động, an toàn runtime và quản lý bộ nhớ dài hạn. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng khả năng của hệ thống wiki kiến thức cá nhân, cải thiện các cơ chế tự động hóa trong việc tạo và quản lý kỹ năng, và khám phá các phương pháp mới để tối ưu hóa việc sử dụng ngữ cảnh và hiệu quả token trong các tác vụ phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa Hiệu quả Ngữ cảnh trong Hệ thống Tác nhân Đa nhiệm: Nghiên cứu các chiến lược nén ngữ cảnh và quản lý bộ nhớ làm việc để cải thiện 'mật độ nhận thức' và giảm hiện tượng 'lost-in-the-middle' trong các tác nhân AI thực hiện các tác vụ dài hạn và phức tạp.
Khung An toàn Hành vi Thích ứng cho Tác nhân AI Tự trị: Phát triển một hệ thống PermissionBridge tiên tiến hơn, có khả năng học hỏi và thích ứng với các ngữ cảnh rủi ro khác nhau, đồng thời hỗ trợ các chính sách ủy quyền linh hoạt hơn dựa trên vai trò người dùng và độ nhạy cảm của dữ liệu.
Mô hình Cộng tác Tác nhân-Người dùng dựa trên Kiến thức Cá nhân Hóa: Khám phá cách tích hợp sâu hơn cơ sở kiến thức cá nhân hóa (wiki-based) vào quy trình ra quyết định của tác nhân, cho phép tác nhân chủ động đề xuất thông tin liên quan và học hỏi từ phản hồi của người dùng để liên tục cải thiện kiến thức và hành vi.

2. Patent:

Hệ thống 'Chốt Quyền' Tương tác trên Điện thoại Di động: Một hệ thống trên điện thoại thông minh cho phép người dùng đặt các 'chốt quyền' (PermissionBridge) cho các tác vụ AI cá nhân. Khi tác nhân muốn thực hiện một hành động rủi ro cao (ví dụ: gửi email, truy cập ảnh), một cửa sổ pop-up sẽ hiện lên yêu cầu xác nhận của người dùng với thông tin rõ ràng về hành động đó, giúp người dùng kiểm soát hoàn toàn tác nhân cá nhân của mình trên thiết bị di động.
Bộ Nhớ Tác nhân Cá nhân Hóa Tự Động Tổ Chức: Một ứng dụng di động tích hợp tác nhân AI có khả năng tự động tổ chức thông tin học được từ tương tác của người dùng vào một cơ sở kiến thức cá nhân (ví dụ: dạng wiki) trên thiết bị. Thông tin này được lưu trữ dưới dạng tệp đơn giản (như Markdown) mà người dùng có thể dễ dàng xem, chỉnh sửa và sở hữu hoàn toàn, đảm bảo tính bền vững và riêng tư của dữ liệu cá nhân.
Hệ thống Điều Phối Tác vụ Đa tác nhân Trực quan trên Di động: Một giao diện người dùng trên điện thoại di động cho phép người dùng trực quan hóa và kiểm soát quy trình thực hiện tác vụ của các tác nhân AI. Khi một tác vụ phức tạp được giao, hệ thống sẽ hiển thị một sơ đồ (DAG) các bước phụ và sự phụ thuộc của chúng, cho phép người dùng theo dõi tiến độ, can thiệp hoặc điều chỉnh thứ tự các bước một cách dễ dàng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.11548
ArXiv Abstract	https://arxiv.org/abs/2604.11548
PDF Download	https://arxiv.org/pdf/2604.11548.pdf
Github Repository	https://github.com/midea-ai/SemaClaw

12. Free Geometry: Refining 3D Reconstruction from Longer Versions of Itself (14 votes)

Tác giả: Yuhang Dai, Xingyi Yang

Xuất bản lúc: 2026-04-15

Tag: Test-Time Adaptation, Multi-View 3D Reconstruction, Self-supervised Learning, LoRA, Foundation Models, Computer Vision

I. Main Problem:

Các mô hình tái tạo 3D feed-forward hiệu quả nhưng cứng nhắc: một khi đã được huấn luyện, chúng thực hiện suy luận theo kiểu zero-shot và không thể thích ứng với cảnh kiểm tra. Điều này dẫn đến các lỗi hình học, đặc biệt trong điều kiện che khuất, phản xạ và các tín hiệu thị giác mơ hồ. Việc thu thập dữ liệu 3D ground truth chất lượng cao, quy mô lớn là quá tốn kém và không thực tế, khiến việc huấn luyện lại hoặc tinh chỉnh trực tiếp trở nên bất khả thi.

II. Main Idea:

Giới thiệu Free Geometry, một framework thích nghi tại thời điểm kiểm tra cho phép các mô hình tái tạo 3D feed-forward tự điều chỉnh mà không cần dữ liệu 3D ground truth. Ý tưởng chính là khi mô hình nhận được nhiều khung hình hơn (quan sát đầy đủ), nó sẽ tạo ra các tái tạo đáng tin cậy và nhất quán hơn. Tận dụng thuộc tính này, framework mặt nạ một tập hợp con các khung hình (quan sát một phần) để tạo ra một tác vụ tự giám sát. Free Geometry áp dụng sự giám sát ở cấp độ đặc trưng của bộ mã hóa (encoder features) thay vì đầu ra của bộ giải mã (decoder output), sử dụng các module LoRA nhẹ để cập nhật. Nó thực thi tính nhất quán đặc trưng giữa các biểu diễn từ quan sát đầy đủ (teacher) và quan sát một phần (student), đồng thời duy trì các mối quan hệ cặp đôi được ngụ ý bởi các khung hình bị giữ lại (masked frames) thông qua hai loại mất mát: Intra-frame Consistency Loss và Cross-frame Relational Loss.

III. Main Results:

Free Geometry đã cải thiện đáng kể các mô hình nền tảng hiện đại (ví dụ: Depth Anything 3 và VGGT) trên 4 bộ dữ liệu benchmark (ETH3D, ScanNet++, 7-Scenes, HiROOM), mang lại cải thiện trung bình 3.73% về độ chính xác tư thế camera và 2.88% trong dự đoán bản đồ điểm. Phương pháp này thích nghi nhanh chóng, chỉ mất dưới 2 phút cho mỗi bộ dữ liệu trên một GPU duy nhất, và các cải tiến này có thể chuyển giao sang các số lượng khung hình đầu vào khác nhau (ví dụ: 4, 8, 16 và 32), ngay cả khi thích nghi với cài đặt chuỗi đơn (ví dụ: huấn luyện 8→4).

IV. Conclusion & Future Works:

Công trình này đã xác định một quy tắc nhất quán "nhiều khung hình hơn - tốt hơn" trong các mô hình nền tảng tái tạo 3D đa khung hình feed-forward, cung cấp một tín hiệu tự giám sát thực tế, không cần nhãn để tinh chỉnh mô hình. Free Geometry là một framework thích nghi tại thời điểm kiểm tra dạng plug-and-play, thực hiện hiệu chuẩn hình học tự giám sát bằng cách thực thi tính nhất quán ở cấp độ đặc trưng giữa đầu vào toàn bộ khung hình và đầu vào khung hình bị che. Các thử nghiệm rộng rãi trên nhiều bộ dữ liệu benchmark và baseline đã chứng minh rằng phương pháp này mang lại sự thích nghi nhanh chóng, chi phí thấp và cải thiện nhất quán cả chất lượng tái tạo và độ chính xác tư thế. Trong tương lai, có thể mở rộng nghiên cứu để khám phá các chiến lược che khung hình động và ứng dụng Free Geometry cho các tác vụ 3D khác ngoài tái tạo và ước tính tư thế.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược che khung hình động và tác động của chúng đối với hiệu suất thích nghi của mô hình trong tái tạo 3D đa khung hình.
Mở rộng Free Geometry để áp dụng cho các tác vụ 3D khác như phát hiện đối tượng 3D, phân đoạn ngữ nghĩa 3D hoặc tổng hợp góc nhìn mới, tận dụng tín hiệu tự giám sát từ quan sát đầy đủ.
Phân tích sâu hơn về cơ sở lý thuyết của hiệu ứng "nhiều khung hình hơn - tốt hơn" trong các kiến trúc transformer đa khung hình, nhằm phát triển các phương pháp TTA mạnh mẽ hơn dựa trên sự hiểu biết này.

2. Patent:

Hệ thống Quét 3D Tự Tinh Chỉnh trên Điện thoại Thông minh: Một ứng dụng hoặc tính năng camera trên điện thoại di động cho phép người dùng quay video một vật thể hoặc môi trường. Hệ thống sẽ tự động cải thiện độ chính xác và chi tiết của mô hình 3D được tạo ra bằng cách liên tục đối chiếu và tinh chỉnh dữ liệu từ các khung hình video bổ sung, sử dụng kỹ thuật tự giám sát để bù đắp cho sự thiếu hụt dữ liệu 3D ground truth, giúp tạo ra các mô hình 3D chất lượng cao hơn cho AR/VR hoặc in 3D ngay trên thiết bị.
Tính năng Định vị và Lập bản đồ Tăng cường cho Ứng dụng AR trên Thiết bị Di động: Phát triển một công nghệ cho phép các ứng dụng Thực tế tăng cường (AR) trên điện thoại di động cải thiện độ chính xác của việc định vị và lập bản đồ môi trường theo thời gian thực. Khi người dùng di chuyển điện thoại và thu thập nhiều khung hình video hơn từ một cảnh, thuật toán sẽ tự động sử dụng thông tin bổ sung này để tinh chỉnh tư thế camera và bản đồ độ sâu, giảm thiểu lỗi trôi dạt và cải thiện sự ổn định của các đối tượng ảo trong không gian thực, đặc biệt hữu ích trong các môi trường phức tạp hoặc có nhiều vật cản.
Cảm biến Độ sâu Ảo Tăng cường cho Camera Điện thoại: Một hệ thống phần mềm nhúng vào camera điện thoại thông minh, cho phép camera điện thoại (không có cảm biến độ sâu chuyên dụng) tạo ra bản đồ độ sâu chất lượng cao hơn. Bằng cách phân tích một chuỗi các khung hình video liên tiếp, hệ thống sẽ sử dụng các khung hình bổ sung làm "giáo viên" để tự động sửa chữa và tinh chỉnh các ước tính độ sâu từ các khung hình riêng lẻ hoặc ít hơn, giúp cải thiện chất lượng ảnh chân dung, hiệu ứng bokeh hoặc các tính năng đo lường khoảng cách mà không cần phần cứng đắt tiền.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.14048
ArXiv Abstract	https://arxiv.org/abs/2604.14048
PDF Download	https://arxiv.org/pdf/2604.14048.pdf
Github Repository	https://github.com/hiteacherIamhumble/Free-Geometry

13. LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling (12 votes)

Tác giả: Yuxin Chen, Chumeng Liang, Hangke Sui, Ruihan Guo, Chaoran Cheng, Jiaxuan You, Ge Liu

Xuất bản lúc: 2026-04-15

Tag: Diffusion Models, Language Modeling, Continuous Diffusion, Flow Matching, Perplexity, Self-conditioning, Generative Models, NLP

I. Main Problem:

Các mô hình khuếch tán ngôn ngữ liên tục (DLMs) trước đây bị tụt hậu so với các mô hình khuếch tán rời rạc do không gian dữ liệu thưa thớt và không gian thiết kế chưa được khám phá đầy đủ. Đặc biệt, các DLM trong không gian nhúng (embedding-space DLMs) đối mặt với các thách thức như nền tảng lý thuyết chưa rõ ràng, thiếu phương pháp ước tính Perplexity (PPL) dựa trên ODE đáng tin cậy, và các lựa chọn thiết kế tối ưu cho việc huấn luyện vẫn chưa được xác định.

II. Main Idea:

Giới thiệu LangFlow, mô hình khuếch tán ngôn ngữ liên tục đầu tiên có thể cạnh tranh với khuếch tán rời rạc, bằng cách kết nối các DLM trong không gian nhúng với Flow Matching thông qua phân kỳ Bregman. Các đổi mới chính bao gồm:

Đạo hàm giới hạn NLL dựa trên ODE mới: Cung cấp một phương pháp đánh giá PPL có nguyên tắc cho các mô hình ngôn ngữ dựa trên dòng chảy liên tục.
Nguyên tắc lên lịch nhiễu đồng nhất thông tin: Đề xuất một lịch nhiễu học được dựa trên phân phối Gumbel, tối ưu hóa việc phân bổ nỗ lực huấn luyện và các bước lấy mẫu vào các vùng có độ tăng thông tin cao nhất.
Điều chỉnh giao thức huấn luyện với self-conditioning: Khám phá rằng self-conditioning cải thiện cả likelihood và chất lượng mẫu của các DLM trong không gian nhúng, với các tác động khác biệt đáng kể so với khuếch tán rời rạc. LangFlow sử dụng γ-path (tỷ lệ nhiễu trên tín hiệu logarit) để điều kiện thời gian, giúp việc học tập được neo vào mức độ nhiễu thay vì tham số thời gian tùy ý.

III. Main Results:

LangFlow đạt PPL 30.0 trên LM1B và 24.6 trên OpenWebText, ngang bằng với các DLM rời rạc hàng đầu.
Đạt Gen. PPL 92.2 trên LM1B (thứ hai) và 36.5 trên OpenWebText (thứ nhất).
Trong chuyển giao zero-shot, LangFlow vượt trội hơn các mô hình autoregressive trên 4/7 điểm chuẩn và vượt trội hơn khuếch tán masked trên 3/7 điểm chuẩn.
Tối ưu hóa lịch nhiễu bằng phân phối Gumbel đã cải thiện đáng kể chất lượng mẫu, giảm Gen. PPL từ ~1000 xuống 154.2.
Self-conditioning là yếu tố then chốt, cải thiện cả PPL và Gen. PPL cho khuếch tán liên tục, khác với sự đánh đổi ở khuếch tán rời rạc.

IV. Conclusion & Future Works:

LangFlow cung cấp bằng chứng rõ ràng đầu tiên cho thấy khuếch tán liên tục là một mô hình đầy hứa hẹn cho mô hình hóa ngôn ngữ. Khung làm việc thống nhất này thiết lập lại các đường cơ sở cho mô hình hóa ngôn ngữ khuếch tán liên tục, cho phép các mở rộng trong tương lai được xây dựng trên một nền tảng vững chắc hơn, có thể so sánh với khuếch tán rời rạc. Các hướng nghiên cứu trong tương lai có thể bao gồm việc khám phá thêm các kỹ thuật tăng tốc lấy mẫu hiệu quả hơn (ví dụ: Flow-based distillation), mở rộng sang các tác vụ ngôn ngữ khác hoặc các hình thái dữ liệu đa phương thức, và nghiên cứu sâu hơn về cơ chế khác biệt của self-conditioning trong khuếch tán liên tục.

V. Brainstorming Space:

1. Publish Papers:

Phân tích sâu cơ chế tự điều kiện trong mô hình khuếch tán liên tục: Một nghiên cứu chuyên sâu về lý do self-conditioning có tác động khác biệt và tích cực đến cả PPL và Gen. PPL trong khuếch tán liên tục so với khuếch tán rời rạc. Điều này có thể bao gồm việc khám phá các biến thể của self-conditioning, phân tích toán học hoặc thực nghiệm về cách nó tương tác với không gian nhúng và dòng chảy liên tục.
Khám phá các lịch nhiễu tối ưu hóa thông tin cho các hình thái dữ liệu khác: Áp dụng nguyên tắc đồng nhất thông tin để thiết kế lịch nhiễu cho các hình thái dữ liệu khác ngoài ngôn ngữ (ví dụ: dữ liệu đồ thị, dữ liệu chuỗi thời gian) trong các mô hình khuếch tán liên tục, và đánh giá hiệu suất của chúng so với các phương pháp lên lịch nhiễu truyền thống.
Khuếch tán liên tục cho mô hình hóa ngôn ngữ đa phương thức: Mở rộng LangFlow để xử lý các nhiệm vụ mô hình hóa ngôn ngữ đa phương thức (ví dụ: Vision-Language Action), nơi thông tin từ hình ảnh hoặc video được kết hợp với văn bản. Điều này có thể yêu cầu phát triển các kỹ thuật nhúng và khuếch tán liên tục mới để xử lý các không gian dữ liệu phức tạp hơn.

2. Patent:

Hệ thống tạo văn bản thông minh trên di động với lịch nhiễu thích ứng: Một công nghệ trên điện thoại di động sử dụng mô hình khuếch tán liên tục để tạo văn bản (ví dụ: trả lời tin nhắn, email, viết bài đăng mạng xã hội) với khả năng tự động điều chỉnh mức độ 'sáng tạo' hoặc 'độ nhiễu' của văn bản dựa trên ngữ cảnh hoặc sở thích của người dùng. Hệ thống sẽ sử dụng một lịch nhiễu học được (tương tự Gumbel scheduler) để tối ưu hóa quá trình tạo, đảm bảo văn bản chất lượng cao và phù hợp với ý định người dùng.
Công cụ chỉnh sửa văn bản dựa trên dòng chảy liên tục: Một ứng dụng di động cho phép người dùng chỉnh sửa văn bản (ví dụ: bài luận, kịch bản) bằng cách 'khuếch tán' các phần văn bản đã chọn về trạng thái nhiễu và sau đó 'khử nhiễu' chúng theo các ràng buộc hoặc gợi ý mới của người dùng (ví dụ: thay đổi giọng điệu, tóm tắt, mở rộng). Công nghệ này sử dụng cơ chế dòng chảy liên tục để tạo ra các đường dẫn chỉnh sửa mượt mà và linh hoạt, cho phép chỉnh sửa sáng tạo mà vẫn giữ được tính mạch lạc.
Trợ lý sáng tạo nội dung đa phương tiện trên di động: Một tính năng điện thoại thông minh tích hợp mô hình khuếch tán liên tục để hỗ trợ người dùng tạo nội dung đa phương tiện. Ví dụ, khi người dùng chụp ảnh hoặc quay video, trợ lý sẽ tự động đề xuất chú thích, tiêu đề hoặc kịch bản ngắn gọn, được tạo ra bằng cách khuếch tán thông tin từ hình ảnh/video vào không gian nhúng ngôn ngữ, sau đó khử nhiễu thành văn bản. Hệ thống sẽ học cách tối ưu hóa quá trình tạo này dựa trên các mẫu và phản hồi của người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.11748
ArXiv Abstract	https://arxiv.org/abs/2604.11748
PDF Download	https://arxiv.org/pdf/2604.11748.pdf
Github Repository	https://github.com/nealchen2003/LangFlow

14. TIP: Token Importance in On-Policy Distillation (10 votes)

Tác giả: Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang, Alborz Geramifard

Xuất bản lúc: 2026-04-15

Tag: Knowledge Distillation, On-Policy Distillation, Token Importance, Entropy, Divergence, LLMs, Agentic Planning, Mathematical Reasoning

I. Main Problem:

Trong quá trình chưng cất tri thức theo chính sách (On-Policy Knowledge Distillation - OPD), không phải tất cả các vị trí token đều mang tín hiệu học tập hữu ích như nhau, nhưng các quan điểm hiện có về tầm quan trọng của token còn chưa đầy đủ. Các phương pháp hiện tại không hiệu quả và bỏ sót các token quan trọng, đặc biệt là những token mà mô hình sinh viên quá tự tin nhưng lại sai lệch so với mô hình giáo viên, dẫn đến việc đào tạo tốn kém bộ nhớ và không tối ưu.

II. Main Idea:

Bài báo giới thiệu TIP (Token Importance in on-Policy distillation), một phân loại hai trục để xác định tầm quan trọng của token dựa trên: (1) độ entropy của mô hình sinh viên (student entropy), thể hiện mức độ bất định của mô hình, và (2) độ phân kỳ giữa mô hình giáo viên và sinh viên (teacher–student divergence), thể hiện mức độ bất đồng giữa hai mô hình. TIP xác định hai vùng token mang tín hiệu học tập hữu ích nhất: các vị trí có entropy cao của mô hình sinh viên (mô hình còn bối rối) và các vị trí có entropy thấp nhưng độ phân kỳ cao (mô hình quá tự tin và sai). Để khắc phục điểm mù của các phương pháp chỉ dựa vào entropy, bài báo đề xuất điểm số Soft-OR (st = ˆht + ˆδt − ˆht · ˆδt) không tham số, kết hợp cả hai trục để chọn lọc các token quan trọng nhất trong quá trình đào tạo, giảm chi phí bộ nhớ và cải thiện hiệu suất.

III. Main Results:

Hiệu quả bộ nhớ: Việc giữ lại 50% token dựa trên entropy giúp giảm bộ nhớ đỉnh lên tới 47% và đạt hoặc vượt hiệu suất đào tạo toàn bộ token. Với tỷ lệ giữ lại tích cực hơn, tiết kiệm bộ nhớ đạt tới 58%.2. Tầm quan trọng của token Q3: Đào tạo chỉ trên dưới 10% tổng số token thuộc nhóm 'quá tự tin' (Q3: entropy thấp, độ phân kỳ cao) gần như đạt được hiệu suất của baseline đào tạo toàn bộ token, cho thấy tín hiệu sửa lỗi dày đặc trong những token này.3. Ưu việt của Soft-OR: Điểm Soft-OR kết hợp entropy và độ phân kỳ liên tục cải thiện hiệu suất so với phương pháp chỉ dựa vào entropy trên các bài toán lý luận toán học (MATH-500, AIME) và duy trì tính cạnh tranh trên các tác vụ lập kế hoạch tác nhân (DeepPlanning).4. DeepPlanning: Trên DeepPlanning, đào tạo chỉ với 20% token Q3 đã vượt qua hiệu suất OPD toàn bộ token, cho thấy giá trị đặc biệt của việc sửa lỗi 'quá tự tin' trong các tác vụ lập kế hoạch dài hạn.5. Entropy của giáo viên không có thông tin: Entropy của mô hình giáo viên được tìm thấy là không mang tính phân biệt do các phân phối gần như xác định.

IV. Conclusion & Future Works:

TIP khẳng định rằng tầm quan trọng của token trong OPD được quyết định bởi cả entropy của mô hình sinh viên và độ phân kỳ giáo viên–sinh viên, và cả hai yếu tố này đều cần thiết. Phát hiện quan trọng nhất là 'điểm mù' Q3, nơi các token 'quá tự tin nhưng sai' chứa tín hiệu sửa lỗi dày đặc, đặc biệt quan trọng trong các tác vụ tác nhân.Các hướng nghiên cứu trong tương lai bao gồm: (1) Nghiên cứu các phương pháp chuẩn hóa thay thế cho Soft-OR để tăng tính ổn định, (2) Khám phá xem thứ tự các góc phần tư có thay đổi dưới các hàm mất mát khác như forward KL hoặc JSD hay không, và (3) Áp dụng khung TIP cho các thiết lập khác như RLHF, tinh chỉnh phần thưởng quy trình và giải mã suy đoán (speculative decoding).

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các phương pháp chuẩn hóa thay thế cho Soft-OR trong TIP: Khám phá và đánh giá các kỹ thuật chuẩn hóa khác nhau (ví dụ: chuẩn hóa theo trung bình động, chuẩn hóa toàn cục trên tập dữ liệu lớn) cho các đầu vào của Soft-OR (entropy sinh viên và độ phân kỳ giáo viên-sinh viên) để cải thiện tính ổn định và khả năng chống nhiễu của điểm số TIP, đặc biệt trong các tình huống có token ngoại lai.
Phân tích ảnh hưởng của các hàm mất mát khác nhau lên phân bố token quan trọng trong OPD: Mở rộng nghiên cứu của TIP bằng cách kiểm tra xem việc sử dụng các hàm mất mát khác ngoài Reverse KL (ví dụ: Forward KL, Jensen-Shannon Divergence, hoặc các hàm mất mát tùy chỉnh khác) có làm thay đổi phân bố và tầm quan trọng của các token trong bốn góc phần tư của TIP taxonomy hay không, từ đó đề xuất các chiến lược chọn token tối ưu cho từng loại hàm mất mát.
Áp dụng khung TIP cho các cơ chế học tăng cường có phản hồi của con người (RLHF) và tinh chỉnh phần thưởng quy trình: Điều tra cách các khái niệm về độ bất định của mô hình sinh viên và sự bất đồng giữa mô hình sinh viên và 'giáo viên' (ví dụ: mô hình phần thưởng hoặc phản hồi của con người) có thể được sử dụng để chọn lọc các token quan trọng trong quá trình huấn luyện RLHF hoặc tinh chỉnh phần thưởng quy trình, nhằm nâng cao hiệu quả và chất lượng của việc tinh chỉnh.

2. Patent:

Hệ thống tối ưu hóa việc học trên thiết bị di động bằng cách lọc token thông minh: Một ứng dụng di động hoặc tính năng hệ điều hành sử dụng cơ chế tương tự TIP để tinh chỉnh các mô hình ngôn ngữ nhỏ hơn trên thiết bị. Thay vì huấn luyện trên tất cả dữ liệu người dùng, hệ thống chỉ chọn những phần phản hồi mà mô hình đang học (mô hình sinh viên) còn bối rối hoặc đưa ra dự đoán sai một cách tự tin so với phản hồi 'đúng' (từ mô hình lớn hơn hoặc phản hồi đã được xác minh). Điều này giúp giảm đáng kể lượng dữ liệu cần xử lý và tài nguyên tính toán, cho phép cập nhật mô hình hiệu quả hơn mà không làm hao pin hoặc quá tải bộ nhớ của điện thoại.
Công cụ trợ lý viết thông minh dựa trên phát hiện 'lỗi tự tin': Một tính năng trong bàn phím hoặc ứng dụng soạn thảo văn bản trên điện thoại. Nó phân tích các câu mà người dùng đang gõ. Nếu mô hình dự đoán từ tiếp theo của người dùng với độ tin cậy cao nhưng lại phát hiện ra rằng dự đoán đó có thể sai lệch đáng kể so với một 'chuyên gia' (mô hình ngôn ngữ lớn hơn hoặc ngữ pháp chính xác), nó sẽ chủ động đưa ra gợi ý sửa đổi hoặc các lựa chọn thay thế. Điều này giúp người dùng tránh các lỗi ngữ pháp hoặc văn phong mà họ tự tin nhưng thực chất không chính xác, cải thiện chất lượng giao tiếp.
Tính năng học cá nhân hóa cho trợ lý ảo bằng cách tập trung vào điểm yếu: Một trợ lý ảo trên điện thoại có khả năng 'học' từ tương tác của người dùng. Khi người dùng đưa ra một yêu cầu hoặc câu hỏi mà trợ lý ảo đã từng trả lời sai hoặc không chắc chắn (độ bất định cao), hoặc khi nó tự tin đưa ra câu trả lời sai (lỗi tự tin), hệ thống sẽ ghi nhớ và ưu tiên học lại các tình huống đó. Dữ liệu từ những 'điểm yếu' này sẽ được sử dụng để tinh chỉnh mô hình trợ lý ảo cục bộ một cách hiệu quả hơn, giúp nó nhanh chóng cải thiện ở những lĩnh vực mà người dùng thường xuyên tương tác và cần sự chính xác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.14084
ArXiv Abstract	https://arxiv.org/abs/2604.14084
PDF Download	https://arxiv.org/pdf/2604.14084.pdf
Github Repository	https://github.com/HJSang/OPSD_OnPolicyDistillation

📰 Summary of Papers​

1. Seedance 2.0: Advancing Video Generation for World Complexity (117 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents (105 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time (96 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. SpatialEvo: Self-Evolving Spatial Intelligence via Deterministic Geometric Environments (60 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language World Models (47 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Memory Transfer Learning: How Memories are Transferred Across Domains in Coding Agents (24 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. From P(y|x) to P(y): Investigating Reinforcement Learning in Pre-train Space (23 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. Exploration and Exploitation Errors Are Measurable for Language Model Agents (22 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Target Policy Optimization (19 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Seedance 2.0: Advancing Video Generation for World Complexity (117 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents (105 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time (96 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. SpatialEvo: Self-Evolving Spatial Intelligence via Deterministic Geometric Environments (60 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language World Models (47 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Memory Transfer Learning: How Memories are Transferred Across Domains in Coding Agents (24 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. From P(y|x) to P(y): Investigating Reinforcement Learning in Pre-train Space (23 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. Exploration and Exploitation Errors Are Measurable for Language Model Agents (22 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Target Policy Optimization (19 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: