Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-02-03

Báo cáo được tạo tự động vào lúc 2026-02-09 10:19:49 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. Green-VLA: Staged Vision-Language-Action Model for Generalist Robots (236 votes)​

Tác giả: I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, A. Nutalapati, G. Sidorov, I. Efremov, M. Gerasyov, D. Pikurov, Y. Senchenko, S. Davidenko, D. Kulikov, M. Sultankin, K. Askarbek, O. Shamanin, D. Statovoy, E. Zalyaev, I. Zorin, A. Letkin, E. Rusakov, A. Silchenko, V. Vorobyov, S. Sobolnikov, A. Postnikov

Xuất bản lúc: 2026-01-31

Tag: Vision-Language Models, Robotics, Reinforcement Learning, Embodied AI

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) hiện tại gặp phải một số thách thức chính trong triển khai thực tế trên robot tổng quát:

  • Tính không đồng nhất của dữ liệu robot: Dữ liệu robot rất đa dạng về không gian quan sát, không gian hành động và tốc độ lấy mẫu.
  • Chất lượng dữ liệu thấp: Chất lượng dữ liệu biến đổi đáng kể, với các quỹ đạo bị rung (jitter), hình ảnh mờ, thực thi không nhất quán và đa dạng cảnh thấp.
  • Giới hạn của học theo hành vi (Behavior Cloning - BC): Phương pháp BC nhanh chóng bão hòa và không thể điều chỉnh chính sách cho các mục tiêu dài hạn và phần thưởng cấp độ tác vụ, dẫn đến các mô hình kém bền vững và khả năng khái quát hóa kém giữa các nền tảng robot (embodiments) và môi trường.
  • Độ trễ cao của các module suy luận: Các phương pháp suy luận hiện tại thường gây ra độ trễ suy luận đáng kể, ngăn cản việc sử dụng chúng trong điều khiển robot thời gian thực.

II. Main Idea:​

Green-VLA đề xuất một framework Vision-Language-Action (VLA) theo từng giai đoạn (staged) để triển khai trên robot hình người Green và duy trì khả năng khái quát hóa trên các nền tảng robot khác nhau. Các ý tưởng chính bao gồm:

  • Quy trình đào tạo năm giai đoạn:
    • (L0) Các mô hình VLM nền tảng.
    • (L1) Nền tảng đa phương thức (multimodal grounding) sử dụng dữ liệu web quy mô lớn để học các kiến thức vật lý và khả năng ứng dụng.
    • (R0) Huấn luyện trước đa nền tảng (multi-embodiment pretraining) với dữ liệu robot để nắm bắt các tri thức hành động chung.
    • (R1) Điều chỉnh chuyên biệt cho từng nền tảng robot (embodiment-specific adaptation) để tối ưu hóa hiệu suất.
    • (R2) Căn chỉnh chính sách dựa trên học tăng cường (RL-based policy alignment) để cải thiện hiệu suất dài hạn và sự bền vững.
  • Hệ thống dữ liệu và kiểm soát thống nhất:
    • Một pipeline xử lý dữ liệu có thể mở rộng bao gồm DataQA (đánh giá và lọc chất lượng quỹ đạo dựa trên độ rung, độ sắc nét, đa dạng và phương sai trạng thái) và bộ lọc căn chỉnh thời gian.
    • Giao diện hành động thống nhất, nhận biết nền tảng robot, cho phép một chính sách duy nhất điều khiển robot hình người, robot di động thao tác và cánh tay robot cố định.
    • Bộ điều khiển VLA được tăng cường với khả năng dự đoán tiến độ tập, phát hiện tình huống ngoài phân phối (out-of-distribution - OOD) và module hướng dẫn dựa trên dự đoán khớp (JPM) để định vị mục tiêu chính xác, đặc biệt trong các môi trường phức tạp.

III. Main Results:​

  • Hiệu suất vượt trội: Green-VLA đạt được hiệu suất tiên tiến trên các hệ thống song thủ (bimanual systems) và các tiêu chuẩn đánh giá, với khả năng khái quát hóa zero-shot sang các nền tảng robot mới.
  • Cải thiện đáng kể với RL Alignment (R2): Giai đoạn căn chỉnh bằng học tăng cường (R2) mang lại những cải tiến lớn nhất về tỷ lệ thành công (success rate), độ bền vững, hiệu quả thực thi tác vụ dài hạn, khả năng phục hồi lỗi và thực hiện tác vụ chính xác.
  • Thiết kế sẵn sàng triển khai: Framework được thiết kế để triển khai trên robot hình người Green, với khả năng điều khiển phần thân trên thống nhất (cánh tay, bàn tay, đầu, thân) và tích hợp kế hoạch tác vụ, đồng thời tương thích với nhiều nền tảng robot khác và các trình mô phỏng tiêu chuẩn.

IV. Conclusion & Future Works:​

Green-VLA cung cấp một phương pháp mạnh mẽ và có thể mở rộng cho robot tổng quát. Để hiện thực hóa đầy đủ tiềm năng của Green-VLA, các hướng phát triển trong tương lai bao gồm:

  • Hỗ trợ đa ngôn ngữ: Tích hợp khả năng tuân thủ hướng dẫn đa ngôn ngữ (tiếng Anh, tiếng Nga và các ngôn ngữ khác) để cải thiện tính toàn diện và hiệu quả dữ liệu trong triển khai toàn cầu.
  • Module suy luận nhẹ: Thêm một module suy luận nhẹ cho việc phân tách tác vụ, đồng thời duy trì khả năng kiểm soát độ trễ thấp, để kết hợp thế mạnh của lập kế hoạch chuỗi tư duy (chain-of-thought planning) với thực thi thời gian thực.
  • Bộ nhớ và phát lại quỹ đạo: Tích hợp bộ nhớ và phát lại quỹ đạo (embodied memory and trajectory replay) để cải thiện hơn nữa hiệu suất trong các tác vụ gia đình hoặc công nghiệp dài hạn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu và phát triển các module suy luận nhẹ (lightweight reasoning modules) cho robot, tập trung vào việc duy trì độ trễ thấp trong khi cải thiện khả năng phân tách tác vụ và lập kế hoạch dài hạn.
  2. Khám phá các phương pháp mới để tích hợp và tận dụng dữ liệu đa ngôn ngữ trong các mô hình Vision-Language-Action, nhằm nâng cao khả năng thích ứng và hiệu quả dữ liệu cho triển khai robot toàn cầu.
  3. Phát triển các kỹ thuật tiên tiến cho bộ nhớ nội tại (embodied memory) và phát lại quỹ đạo (trajectory replay) trong hệ thống VLA, nhằm cải thiện khả năng học hỏi từ kinh nghiệm và thực hiện các tác vụ dài hạn trong môi trường phức tạp.

2. Patent:​

  1. Hệ thống trợ lý ảo đa giai đoạn để học hỏi và thích nghi trên điện thoại: Một ứng dụng trợ lý ảo trên điện thoại thông minh học hỏi từ người dùng qua nhiều giai đoạn. Ban đầu, nó có thể hiểu các lệnh cơ bản từ dữ liệu web, sau đó thông qua việc tương tác thường xuyên với các ứng dụng khác trên điện thoại, nó sẽ hiểu sâu hơn về thói quen và sở thích của người dùng. Cuối cùng, nó sẽ được tinh chỉnh để đưa ra gợi ý hoặc tự động hóa các tác vụ phức tạp một cách chính xác cho từng người dùng, ví dụ: tự động sắp xếp lịch, gợi ý nội dung phù hợp, hoặc thực hiện các chuỗi hành động phức tạp trên điện thoại dựa trên cách người dùng sử dụng điện thoại hàng ngày và phản hồi của họ.
  2. Công cụ kiểm tra và tối ưu hóa chất lượng nội dung đa phương tiện tự động trên điện thoại: Một ứng dụng trên điện thoại thông minh tự động phân tích và đánh giá chất lượng của nội dung đa phương tiện (ảnh, video) mà người dùng tạo ra hoặc nhận được. Nó sẽ kiểm tra các yếu tố như độ sắc nét, độ rung, sự đa dạng của hình ảnh, hoặc tính nhất quán của video theo thời gian. Nếu phát hiện nội dung có chất lượng thấp hoặc có vấn đề, nó sẽ gợi ý cách cải thiện hoặc tự động sửa chữa. Ví dụ: một ứng dụng chỉnh sửa ảnh/video tích hợp trí tuệ nhân tạo, không chỉ cung cấp các bộ lọc mà còn tự động cảnh báo nếu ảnh bị mờ, rung, hoặc video có sự chuyển cảnh không mượt mà, sau đó đưa ra các tùy chọn để tối ưu hóa hình ảnh hoặc video đó trước khi chia sẻ.
  3. Hệ thống hướng dẫn hành động thông minh cho thiết bị gia dụng kết nối qua điện thoại: Một ứng dụng điều khiển thiết bị gia dụng thông minh (như robot hút bụi, máy giặt, điều hòa) qua điện thoại. Ứng dụng này không chỉ đơn thuần là gửi lệnh, mà còn sử dụng một hệ thống hướng dẫn để giúp người dùng thực hiện các tác vụ phức tạp hoặc đưa ra gợi ý thông minh dựa trên ngữ cảnh. Ví dụ, nếu robot hút bụi gặp chướng ngại vật (phát hiện tình huống bất thường), ứng dụng sẽ hiển thị hình ảnh từ camera robot và hướng dẫn người dùng di chuyển chướng ngại vật hoặc tự động điều chỉnh đường đi của robot để hoàn thành tác vụ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.00919
ArXiv Abstracthttps://arxiv.org/abs/2602.00919
PDF Downloadhttps://arxiv.org/pdf/2602.00919.pdf
Github Repositoryhttps://github.com/greenvla/GreenVLA

2. Kimi K2.5: Visual Agentic Intelligence (206 votes)​

Tác giả: Kimi Team, Tongtong Bai, Yifan Bai, Yiping Bao, S. H. Cai, Yuan Cao, Y. Charles, H. S. Che, Cheng Chen, Guanduo Chen, Huarong Chen, Jia Chen, Jiahao Chen, Jianlong Chen, Jun Chen, Kefan Chen, Liang Chen, Ruijue Chen, Xinhao Chen, Yanru Chen, Yanxu Chen, Yicun Chen, Yimin Chen, Yingjiang Chen, Yuankun Chen, Yujie Chen, Yutian Chen, Zhirong Chen, Ziwei Chen, Dazhi Cheng, Minghan Chu, Jialei Cui, Jiaqi Deng, Muxi Diao, Hao Ding, Mengfan Dong, Mengnan Dong, Yuxin Dong, Yuhao Dong, Angang Du, Chenzhuang Du, Dikang Du, Lingxiao Du, Yulun Du, Yu Fan, Shengjun Fang, Qiulin Feng, Yichen Feng, Garimugai Fu, Kelin Fu, Hongcheng Gao, Tong Gao, Yuyao Ge, Shangyi Geng, Chengyang Gong, Xiaochen Gong, Zhuoma Gongque, Qizheng Gu, Xinran Gu, Yicheng Gu, Longyu Guan, Yuanying Guo, Xiaoru Hao, Weiran He, Wenyang He, Yunjia He, Chao Hong, Hao Hu, Jiaxi Hu, Yangyang Hu, Zhenxing Hu, Ke Huang, Ruiyuan Huang, Weixiao Huang, Zhiqi Huang, Tao Jiang, Zhejun Jiang, Xinyi Jin, Yu Jing, Guokun Lai, Aidi Li, C. Li, Cheng Li, Fang Li, Guanghe Li, Guanyu Li, Haitao Li, Haoyang Li, Jia Li, Jingwei Li, Junxiong Li, Lincan Li, Mo Li, Weihong Li, Wentao Li, Xinhang Li, Xinhao Li, Yang Li, Yanhao Li, Yiwei Li, Yuxiao Li, Zhaowei Li, Zheming Li, Weilong Liao, Jiawei Lin, Xiaohan Lin, Zhishan Lin, Zichao Lin, Cheng Liu, Chenyu Liu, Hongzhang Liu, Liang Liu, Shaowei Liu, Shudong Liu, Shuran Liu, Tianwei Liu, Tianyu Liu, Weizhou Liu, Xiangyan Liu, Yangyang Liu, Yanming Liu, Yibo Liu, Yuanxin Liu, Yue Liu, Zhengying Liu, Zhongnuo Liu, Enzhe Lu, Haoyu Lu, Zhiyuan Lu, Junyu Luo, Tongxu Luo, Yashuo Luo, Long Ma, Yingwei Ma, Shaoguang Mao, Yuan Mei, Xin Men, Fanqing Meng, Zhiyong Meng, Yibo Miao, Minqing Ni, Kun Ouyang, Siyuan Pan, Bo Pang, Yuchao Qian, Ruoyu Qin, Zeyu Qin, Jiezhong Qiu, Bowen Qu, Zeyu Shang, Youbo Shao, Tianxiao Shen, Zhennan Shen, Juanfeng Shi, Lidong Shi, Shengyuan Shi, Feifan Song, Pengwei Song, Tianhui Song, Xiaoxi Song, Hongjin Su, Jianlin Su, Zhaochen Su, Lin Sui, Jinsong Sun, Junyao Sun, Tongyu Sun, Flood Sung, Yunpeng Tai, Chuning Tang, Heyi Tang, Xiaojuan Tang, Zhengyang Tang, Jiawen Tao, Shiyuan Teng, Chaoran Tian, Pengfei Tian, Ao Wang, Bowen Wang, Chensi Wang, Chuang Wang, Congcong Wang, Dingkun Wang, Dinglu Wang, Dongliang Wang, Feng Wang, Hailong Wang, Haiming Wang, Hengzhi Wang, Huaqing Wang, Hui Wang, Jiahao Wang, Jinhong Wang, Jiuzheng Wang, Kaixin Wang, Linian Wang, Qibin Wang, Shengjie Wang, Shuyi Wang, Si Wang, Wei Wang, Xiaochen Wang, Xinyuan Wang, Yao Wang, Yejie Wang, Yipu Wang, Yiqin Wang, Yucheng Wang, Yuzhi Wang, Zhaoji Wang, Zhaowei Wang, Zhengtao Wang, Zhexu Wang, Zihan Wang, Zizhe Wang, Chu Wei, Ming Wei, Chuan Wen, Zichen Wen, Chengjie Wu, Haoning Wu, Junyan Wu, Rucong Wu, Wenhao Wu, Yuefeng Wu, Yuhao Wu, Yuxin Wu, Zijian Wu, Chenjun Xiao, Jin Xie, Xiaotong Xie, Yuchong Xie, Yifei Xin, Bowei Xing, Boyu Xu, Jianfan Xu, Jing Xu, Jinjing Xu, L. H. Xu, Lin Xu, Suting Xu, Weixin Xu, Xinbo Xu, Xinran Xu, Yangchuan Xu, Yichang Xu, Yuemeng Xu, Zelai Xu, Ziyao Xu, Junjie Yan, Yuzi Yan, Guangyao Yang, Hao Yang, Junwei Yang, Kai Yang, Ningyuan Yang, Ruihan Yang, Xiaofei Yang, Xinlong Yang, Ying Yang, Yi Yang, Yi Yang, Zhen Yang, Zhilin Yang, Zonghan Yang, Haotian Yao, Dan Ye, Wenjie Ye, Zhuorui Ye, Bohong Yin, Chengzhen Yu, Longhui Yu, Tao Yu, Tianxiang Yu, Enming Yuan, Mengjie Yuan, Xiaokun Yuan, Yang Yue, Weihao Zeng, Dunyuan Zha, Haobing Zhan, Dehao Zhang, Hao Zhang, Jin Zhang, Puqi Zhang, Qiao Zhang, Rui Zhang, Xiaobin Zhang, Y. Zhang, Yadong Zhang, Yangkun Zhang, Yichi Zhang, Yizhi Zhang, Yongting Zhang, Yu Zhang, Yushun Zhang, Yutao Zhang, Yutong Zhang, Zheng Zhang, Chenguang Zhao, Feifan Zhao, Jinxiang Zhao, Shuai Zhao, Xiangyu Zhao, Yikai Zhao, Zijia Zhao, Huabin Zheng, Ruihan Zheng, Shaojie Zheng, Tengyang Zheng, Junfeng Zhong, Longguang Zhong, Weiming Zhong, M. Zhou, Runjie Zhou, Xinyu Zhou, Zaida Zhou, Jinguo Zhu, Liya Zhu, Xinhao Zhu, Yuxuan Zhu, Zhen Zhu, Jingze Zhuang, Weiyu Zhuang, Ying Zou, Xinxing Zu

Xuất bản lúc: 2026-02-02

Tag: Multimodal AI, Agentic AI, Large Language Models, Reinforcement Learning, Vision-Language Models

I. Main Problem:​

Các mô hình tác tử hiện có dựa trên thực thi tuần tự, dẫn đến độ trễ cao và khả năng mở rộng kém khi đối mặt với các tác vụ phức tạp, đòi hỏi nhiều bước suy luận và gọi công cụ. Việc tối ưu hóa chung giữa văn bản và thị giác cũng đặt ra thách thức, với các phương pháp truyền thống thường xem khả năng thị giác như một phần bổ trợ sau này cho khả năng ngôn ngữ.

II. Main Idea:​

Kimi K2.5 giới thiệu một mô hình tác tử đa phương thức mã nguồn mở tập trung vào tối ưu hóa chung giữa văn bản và thị giác thông qua các kỹ thuật như tiền huấn luyện kết hợp văn bản-thị giác sớm, Zero-Vision SFT và học tăng cường kết hợp văn bản-thị giác. Mô hình cũng đưa ra Agent Swarm, một khuôn khổ điều phối tác tử song song, tự định hướng, phân tách động các tác vụ phức tạp thành các bài toán con không đồng nhất và thực thi chúng đồng thời.

III. Main Results:​

Kimi K2.5 đạt được kết quả State-of-the-Art trên nhiều lĩnh vực bao gồm lập trình, thị giác, suy luận và các tác vụ tác tử. Agent Swarm giảm độ trễ lên tới 4.5 lần so với các mô hình tác tử đơn lẻ và cải thiện F1 item-level từ 72.8% lên 79.0%. Học tăng cường thị giác (Visual RL) được chứng minh là cải thiện hiệu suất văn bản trên các benchmark như MMLU-Pro (84.7% lên 86.4%), GPQA-Diamond (84.3% lên 86.4%) và LongBench v2 (56.7% lên 58.9%).

IV. Conclusion & Future Works:​

Kimi K2.5 đại diện cho một kiến trúc thống nhất cho trí tuệ tác tử tổng quát, tích hợp thị giác và ngôn ngữ, chế độ tư duy và tức thì, trò chuyện và tác tử. Các tác giả đã phát hành mã nguồn mở của mô hình Kimi K2.5 đã được huấn luyện để thúc đẩy nghiên cứu và ứng dụng thực tế của trí tuệ tác tử trong cộng đồng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu so sánh các chiến lược tiền huấn luyện kết hợp đa phương thức (thị giác-văn bản) và tác động của chúng đến khả năng chuyển giao chéo giữa các phương thức.
  2. Phát triển và tối ưu hóa các thuật toán học tăng cường cho khuôn khổ Agent Swarm để cải thiện khả năng phân tách tác vụ động và hiệu quả thực thi song song.
  3. Phân tích sâu hơn về cơ chế chuyển giao kiến thức từ học tăng cường thị giác sang hiệu suất văn bản, đặc biệt trong các tác vụ đòi hỏi suy luận cấu trúc và trích xuất thông tin.

2. Patent:​

  1. Hệ thống trợ lý cá nhân thông minh trên điện thoại có khả năng xử lý đồng thời yêu cầu bằng giọng nói, văn bản và hình ảnh để thực hiện các chuỗi tác vụ phức tạp. Ví dụ, người dùng có thể chụp ảnh một món đồ hỏng và nói "Tìm cách sửa cái này và đặt mua linh kiện cần thiết," hệ thống sẽ phân tích ảnh và giọng nói để tự động chia nhỏ thành các tác vụ nhỏ (chẩn đoán, tìm hướng dẫn, tìm mua) và thực hiện chúng song song.
  2. Ứng dụng học tập tương tác trên điện thoại thông minh, sử dụng AI để giải thích các khái niệm khoa học, công nghệ, kỹ thuật, toán học (STEM) từ hình ảnh (biểu đồ, công thức) và văn bản. Ứng dụng có thể tạo ra các 'chuyên gia ảo' để giải quyết từng phần của một bài toán lớn, hiển thị tiến trình và giải thích chi tiết cho người dùng.
  3. Công cụ tự động hóa công việc văn phòng hoặc quản lý dự án trên điện thoại, có khả năng nhận các yêu cầu đa phương thức (từ email, hình ảnh tài liệu, ghi chú giọng nói) để tự động tạo kế hoạch, phân công nhiệm vụ và theo dõi tiến độ. Hệ thống có thể điều phối nhiều 'tác tử' ảo để cùng lúc xử lý các khía cạnh khác nhau của một dự án, như tạo báo cáo, sắp xếp lịch họp và gửi thông báo.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02276
ArXiv Abstracthttps://arxiv.org/abs/2602.02276
PDF Downloadhttps://arxiv.org/pdf/2602.02276.pdf
Github Repositoryhttps://github.com/MoonshotAI/Kimi-K2.5

3. Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models (147 votes)​

Tác giả: Wenxuan Huang, Yu Zeng, Qiuchen Wang, Zhen Fang, Shaosheng Cao, Zheng Chu, Qingyu Yin, Shuang Chen, Zhenfei Yin, Lin Chen, Zehui Chen, Yao Hu, Philip Torr, Feng Zhao, Wanli Ouyang

Xuất bản lúc: 2026-01-29

Tag: LLMs, MLLMs, RAG, Reinforcement Learning, Multimodal AI, Deep Learning, Vision-Language Models, Agentic AI

I. Main Problem:​

MLLMs hiện tại gặp hai vấn đề chính khi thực hiện tìm kiếm đa phương thức sâu:

  1. Vấn đề Tỷ lệ Tìm thấy (Hit-Rate Problem): Các phương pháp hiện có định nghĩa tìm kiếm đa phương thức một cách đơn giản, giả định rằng một truy vấn hình ảnh cấp toàn bộ hoặc cấp thực thể duy nhất và một vài truy vấn văn bản là đủ để lấy bằng chứng cần thiết. Điều này không thực tế trong các tình huống thực tế với nhiều nhiễu hình ảnh và sự thay đổi đáng kể về kết quả truy xuất khi truy vấn các phần ảnh cắt có tỷ lệ khác nhau của cùng một thực thể.
  2. Hạn chế về Chiều sâu Suy luận và Chiều rộng Tìm kiếm: Các phương pháp hiện tại bị giới hạn về chiều sâu suy luận và chiều rộng tìm kiếm, thường chỉ tạo ra các quỹ đạo ngắn. Điều này gây khó khăn trong việc giải quyết các câu hỏi phức tạp yêu cầu tổng hợp bằng chứng từ nhiều nguồn hình ảnh và văn bản đa dạng, và không xem truy xuất là một quá trình thử và sai lặp đi lặp lại.

II. Main Idea:​

Vision-DeepResearch đề xuất một mô hình nghiên cứu sâu đa phương thức mới, giải quyết các hạn chế hiện có bằng cách:

  1. Tìm kiếm hình ảnh và văn bản đa lượt, đa thực thể và đa tỷ lệ: Hệ thống thực hiện các truy vấn hình ảnh dựa trên nhiều vùng cắt và tỷ lệ của cùng một thực thể, cũng như các truy vấn văn bản mở rộng, để cải thiện tỷ lệ tìm thấy thông tin trong môi trường tìm kiếm thực tế, nhiều nhiễu.
  2. Tạo quỹ đạo suy luận dài: Quy trình tạo dữ liệu chất lượng cao, tự động hóa cao để tổng hợp các trường hợp VQA thực tế và các quỹ đạo đa lượt. Dữ liệu này được sử dụng để nội hóa khả năng nghiên cứu sâu vào MLLM cơ bản thông qua điều chỉnh có giám sát (SFT) và huấn luyện học tăng cường (RL).
  3. Cầu nối giữa các phương thức: Chuyển đổi quỹ đạo tìm kiếm hình ảnh thành mô tả văn bản chi tiết để tận dụng khả năng suy luận kiểu ReAct mạnh mẽ của các mô hình LLM nền tảng chuyên về nghiên cứu sâu dựa trên văn bản.
  4. Kiến trúc RL không đồng bộ thông lượng cao: Thiết kế một kiến trúc triển khai không đồng bộ đa luồng để xử lý hiệu quả các quỹ đạo suy luận dài và các cuộc gọi công cụ thường xuyên trong quá trình huấn luyện RL, tăng thông lượng triển khai lên hơn 10 lần. Các kỹ thuật như che giấu câu trả lời và thực thể, kết hợp với chiến lược che giấu xen kẽ, được sử dụng để tạo ra các vấn đề VQA nhiều bước nhảy phức tạp hơn.

III. Main Results:​

Vision-DeepResearch đã đạt được các kết quả nổi bật:

  • Đạt hiệu suất State-of-The-Art (SoTA) trên sáu bộ điểm chuẩn thực tế, vượt trội đáng kể so với tất cả các MLLM nghiên cứu sâu đa phương thức trước đây và thậm chí cả các quy trình làm việc agent được xây dựng trên các mô hình nguồn đóng mạnh mẽ như GPT-5, Gemini-2.5-Pro và Claude-4-Sonnet.
  • Mô hình Vision-DeepResearch-8B cải thiện hiệu suất trung bình 10.4% so với Qwen3-VL-8B-Instruct (Agentic), với mức tăng đáng chú ý trên MMSearch (+17.6%) và LiveVQA (+13.7%).
  • Mô hình Vision-DeepResearch-30B-A3B đạt hiệu suất trung bình 56.9% (cải thiện +16.0%) với những cải tiến nhất quán trên VDR (+17.6%), FVQA (+16.5%) và MMSearch-Plus (+18.5%).
  • Các nghiên cứu về phương pháp luận cho thấy việc sử dụng tìm kiếm hình ảnh cắt đa tỷ lệ (CIS) kết hợp với tìm kiếm văn bản (TS) (CIS+TS) mang lại kết quả tốt nhất và cân bằng nhất (trung bình 40.0%), khẳng định sự cần thiết đồng thời của cả hai.
  • Huấn luyện RL trên nền tảng SFT là yếu tố then chốt, cải thiện hiệu suất trung bình 3.1% trên các bộ điểm chuẩn thử thách, chứng minh hiệu quả của việc tinh chỉnh quyết định suy luận dài.

IV. Conclusion & Future Works:​

Vision-DeepResearch đã thành công trong việc mở rộng các quỹ đạo nghiên cứu sâu đa phương thức lên hàng chục bước suy luận và hàng trăm tương tác với công cụ tìm kiếm, mang lại hiệu suất mạnh mẽ hơn đáng kể. Công trình này cung cấp những hiểu biết hữu ích cho cộng đồng nghiên cứu. Trong tương lai, nhóm nghiên cứu kỳ vọng mô hình sẽ tiếp tục được hưởng lợi từ việc tối ưu hóa RL quy mô lớn hơn để cải thiện hiệu suất hơn nữa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các chiến lược "deep-research" tối ưu cho các tác vụ Vision-Language chuyên biệt, như tìm kiếm thông tin y tế từ hình ảnh X-quang hoặc xác định các loại cây hiếm từ ảnh chụp.
  2. Phát triển các phương pháp huấn luyện RL hiệu quả hơn cho các tác vụ suy luận dài, đặc biệt tập trung vào việc xử lý vấn đề "gradient tiêu cực" và tối ưu hóa sự ổn định trong môi trường online phức tạp.
  3. Khám phá việc tích hợp thêm các công cụ tìm kiếm chuyên dụng hoặc cơ sở tri thức có cấu trúc vào Vision-DeepResearch để nâng cao khả năng trả lời các câu hỏi cực kỳ cụ thể hoặc đòi hỏi kiến thức chuyên sâu.

2. Patent:​

  1. Ứng dụng "Tìm kiếm Thông tin Hình ảnh Đa Chiều" trên điện thoại: Một tính năng trên ứng dụng camera của điện thoại cho phép người dùng chụp hoặc chọn một phần nhỏ của hình ảnh (ví dụ: một vật thể, một khuôn mặt, một nhãn hiệu) và hệ thống sẽ tự động thực hiện nhiều truy vấn tìm kiếm ở các tỷ lệ và góc độ khác nhau, sau đó tổng hợp thông tin liên quan từ cả hình ảnh và văn bản trên web. Ví dụ, người dùng chụp một phần nhỏ logo trên áo của một người, điện thoại sẽ tự động tìm kiếm thông tin về thương hiệu đó, lịch sử, sản phẩm liên quan.
  2. Hệ thống "Trợ lý Nghiên cứu Thông minh Đa Phương Thức" cho điện thoại: Một ứng dụng trợ lý ảo trên điện thoại có thể thực hiện các tác vụ nghiên cứu phức tạp liên quan đến hình ảnh và văn bản. Khi người dùng đưa ra một câu hỏi về một vật thể trong ảnh, trợ lý sẽ không chỉ tìm kiếm trực tiếp mà còn thực hiện các bước suy luận, điều chỉnh truy vấn, và tổng hợp thông tin từ nhiều nguồn web (bao gồm cả việc "ghé thăm" các trang web và tóm tắt nội dung) để cung cấp câu trả lời chi tiết, giống như một nhà nghiên cứu chuyên nghiệp.
  3. Công nghệ "Tối ưu hóa Tìm kiếm Nền Web Động" cho trình duyệt di động: Một công nghệ tích hợp vào trình duyệt web trên điện thoại, tự động tinh chỉnh các truy vấn tìm kiếm của người dùng theo thời gian thực dựa trên các kết quả trung gian. Nếu một tìm kiếm ban đầu không hiệu quả, hệ thống sẽ đề xuất các phiên bản truy vấn khác nhau (ví dụ: thay đổi từ khóa, tập trung vào các thực thể cụ thể hơn trong hình ảnh liên quan đến truy vấn) và học cách tạo ra các chuỗi tìm kiếm hiệu quả hơn để đạt được thông tin chính xác, giảm thiểu thời gian và công sức của người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.22060
ArXiv Abstracthttps://arxiv.org/abs/2601.22060
PDF Downloadhttps://arxiv.org/pdf/2601.22060.pdf
Github Repositoryhttps://github.com/Osilly/Vision-DeepResearch

4. Vision-DeepResearch Benchmark: Rethinking Visual and Textual Search for Multimodal Large Language Models (123 votes)​

Tác giả: Yu Zeng, Wenxuan Huang, Zhen Fang, Shuang Chen, Yufan Shen, Yishuo Cai, Xiaoman Wang, Zhenfei Yin, Lin Chen, Zehui Chen, Shiting Huang, Yiming Zhao, Yao Hu, Philip Torr, Wanli Ouyang, Shaosheng Cao

Xuất bản lúc: 2026-02-02

Tag: MLLMs, VQA, Benchmarking, Multimodal Search, Visual Grounding

I. Main Problem:​

I. Main Problem:​

Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) đã cải thiện khả năng VQA và hỗ trợ các hệ thống Vision-DeepResearch để tìm kiếm sự thật phức tạp dựa trên hình ảnh và văn bản. Tuy nhiên, việc đánh giá khả năng tìm kiếm hình ảnh và văn bản của các hệ thống này vẫn gặp khó khăn do hai hạn chế chính của các benchmark hiện có:

  1. Các benchmark hiện có không tập trung vào tìm kiếm hình ảnh: Các câu trả lời thường có thể được suy luận từ các tín hiệu chéo văn bản trong câu hỏi hoặc từ kiến thức thế giới có sẵn của MLLM, mà không cần xác minh hình ảnh thực sự. Điều này dẫn đến hiệu suất benchmark thường phản ánh khả năng ghi nhớ hoặc truy xuất chỉ dựa trên văn bản, thay vì nhu cầu thu thập thông tin hình ảnh.
  2. Kịch bản đánh giá quá lý tưởng:
    • Phía tìm kiếm hình ảnh: Thông tin cần thiết thường có được thông qua việc khớp gần như chính xác với toàn bộ hình ảnh, bỏ qua bản chất nhiễu, mơ hồ và lặp đi lặp lại của tìm kiếm hình ảnh thực tế.
    • Phía tìm kiếm văn bản: Các câu hỏi quá trực tiếp và nông cạn, đánh giá thấp thách thức của suy luận đa bước và tổng hợp bằng chứng.

II. Main Idea:​

II. Main Idea:​

Để giải quyết các vấn đề trên, bài báo đề xuất:

  1. VDR-Bench (Vision-DeepResearch Benchmark): Một benchmark quy mô lớn mới gồm 2.000 trường hợp VQA, được xây dựng thông qua một quy trình tuyển chọn đa giai đoạn cẩn thận và đánh giá chuyên gia nghiêm ngặt. Benchmark này được thiết kế để đánh giá hành vi của các hệ thống Vision-DeepResearch trong điều kiện thực tế, nhấn mạnh việc khám phá thực thể dựa trên hình ảnh trước tiên, xác minh bởi con người và mở rộng truy vấn đa bước. VDR-Bench tránh các trường hợp dễ có "đường tắt" và giảm thiểu sai lệch do truy xuất hoàn hảo.
  2. Quy trình tìm kiếm cắt-ảnh đa vòng (multi-round cropped-search workflow): Một chiến lược đơn giản nhưng hiệu quả để cải thiện khả năng truy xuất hình ảnh của MLLM. Chiến lược này lặp lại việc tinh chỉnh các truy vấn hình ảnh bằng cách cắt các vùng quan tâm, cho phép định vị thực thể chính xác hơn và giảm nhiễu truy xuất.
  3. Buộc hình ảnh đa lượt (Multi-turn Visual Forcing - MVF): Một phương pháp zero-shot để tăng cường hiệu suất của mô hình trong các tác vụ nghiên cứu sâu về hình ảnh. MVF hướng dẫn mô hình thực hiện truy xuất hình ảnh đa tỷ lệ, chi tiết và khuyến khích suy luận sâu hơn dựa trên bằng chứng hình ảnh đã truy xuất.
  4. Các chỉ số đánh giá mới: Sử dụng Độ chính xác câu trả lời (Answer Accuracy) và Nhắc lại thực thể (Entity Recall - ER) để đánh giá toàn diện tính đúng đắn của câu trả lời và tỷ lệ truy xuất thành công ở cấp độ thực thể.

III. Main Results:​

III. Main Results:​

  1. Xác nhận các hạn chế của benchmark hiện có: Phân tích định lượng đã chứng minh rằng các benchmark hiện có không tập trung vào tìm kiếm hình ảnh (tìm kiếm văn bản (TS) một mình mang lại lợi ích đáng kể, Caption + Direct Answer cạnh tranh) và có cài đặt truy xuất quá lý tưởng (tìm kiếm toàn bộ hình ảnh (WIS) một mình mang lại lợi ích đáng kể do "thiên vị khớp hoàn hảo").
  2. VDR-Bench thách thức các mô hình: Tất cả các mô hình đạt điểm tương đối thấp trong cài đặt "Direct Answer" trên VDR-Bench, cho thấy rằng việc tìm kiếm bên ngoài là cần thiết, chứ không chỉ dựa vào kiến thức có sẵn.
  3. Hiện tượng "tìm kiếm lười biếng" (lazy search): Các mô hình có kiến thức nền mạnh (ví dụ: Gemini 2.5 Pro) có xu hướng dựa vào suy luận văn bản hoặc tránh các công cụ tìm kiếm, dẫn đến việc kiến thức mạnh mẽ của chúng không chuyển đổi hiệu quả thành khả năng tìm kiếm hình ảnh được cải thiện. Ngược lại, các mô hình mã nguồn mở với kiến thức nền yếu hơn đôi khi lại thể hiện khả năng tìm kiếm mạnh mẽ đáng ngạc nhiên.
  4. Hiệu quả của các chiến lược đề xuất:
    • "Quy trình tìm kiếm cắt-ảnh đa vòng" (CIS+TS) được chứng minh là cải thiện hiệu suất mô hình trong các kịch bản truy xuất hình ảnh thực tế.
    • Buộc hình ảnh đa lượt (MVF) cải thiện đáng kể khả năng nghiên cứu sâu về hình ảnh của các mô hình khác nhau, với Gemini 2.5 Pro đạt mức tăng cao nhất (từ 16.2% lên 30.0% độ chính xác).
    • Có một mối liên hệ tích cực mạnh mẽ giữa độ chính xác câu trả lời tổng thể và khả năng nhớ thực thể, và MVF có xu hướng cải thiện cả hai chỉ số này.

IV. Conclusion & Future Works:​

IV. Conclusion & Future Works:​

Kết luận: Bài báo đã xác định hai hạn chế quan trọng trong các benchmark Vision-DeepResearch hiện có: sự phụ thuộc vào các "đường tắt" chỉ dựa trên văn bản hoặc kiến thức có sẵn, và cài đặt truy xuất hình ảnh một lần quá lý tưởng không phản ánh tìm kiếm hình ảnh thực tế. Để giải quyết những hạn chế này, chúng tôi đề xuất VDR-Bench, một benchmark ưu tiên hình ảnh được xây dựng với việc cắt-ảnh đa tỷ lệ, xác minh cấp độ thực thể và suy luận đa bước dựa trên biểu đồ tri thức. VDR-Bench đảm bảo tính cần thiết của thông tin hình ảnh và giảm thiểu việc khai thác các "đường tắt", mang lại một môi trường thử nghiệm thực tế và nghiêm ngặt hơn cho các hệ thống Vision-DeepResearch.

Công việc tương lai: Các thí nghiệm cho thấy hiệu suất mạnh mẽ phụ thuộc vào tìm kiếm hình ảnh lặp đi lặp lại và tổng hợp bằng chứng đa phương thức, và rằng một chiến lược tìm kiếm cắt-ảnh đa vòng đơn giản đã mang lại những cải thiện đáng kể. Những kết quả này cung cấp hướng dẫn thực tế cho việc thiết kế các hệ thống nghiên cứu sâu đa phương thức mạnh mẽ hơn trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển các chiến lược tối ưu hóa để khắc phục "hiện tượng tìm kiếm lười biếng" trong MLLM: Nghiên cứu các cơ chế khuyến khích hoặc ràng buộc MLLM chủ động sử dụng các công cụ tìm kiếm hình ảnh và văn bản, thay vì chỉ dựa vào kiến thức đã học, đặc biệt trong các tác vụ Vision-DeepResearch phức tạp. Điều này có thể bao gồm các kỹ thuật điều chỉnh lời nhắc (prompt engineering), học tăng cường (reinforcement learning), hoặc kiến trúc tác nhân (agentic architecture) mới.
  2. Nghiên cứu các phương pháp định vị thực thể hình ảnh tự động và hiệu quả hơn cho tìm kiếm đa vòng: Thay vì cắt-ảnh thủ công, phát triển các mô hình tự động có thể xác định, cắt và tinh chỉnh các truy vấn hình ảnh cho các thực thể quan trọng trong một hình ảnh, cải thiện độ chính xác và giảm nhiễu trong quá trình truy xuất hình ảnh lặp đi lặp lại.
  3. Thiết kế kiến trúc MLLM mới tích hợp sâu khả năng suy luận đa bước và tổng hợp bằng chứng đa phương thức: Tập trung vào việc xây dựng các mô hình có thể kết hợp thông tin từ nhiều lượt tìm kiếm hình ảnh và văn bản, thực hiện suy luận đa bước phức tạp trên biểu đồ tri thức và xác minh bằng chứng chéo phương thức một cách liền mạch, không chỉ đơn thuần là sử dụng công cụ bên ngoài.

2. Patent:​

  1. Hệ thống tìm kiếm thông tin chuyên sâu bằng hình ảnh trên điện thoại di động: Cho phép người dùng chụp ảnh hoặc chọn một hình ảnh từ thư viện, sau đó chọn một đối tượng cụ thể trong ảnh. Ứng dụng sẽ tự động tìm kiếm thông tin chi tiết về đối tượng đó (ví dụ: tên thương hiệu, mẫu mã sản phẩm, lịch sử kiến trúc, thông tin về người nổi tiếng) bằng cách sử dụng công nghệ nhận diện và tìm kiếm hình ảnh tinh vi trên web, thậm chí gợi ý các câu hỏi liên quan để người dùng tìm hiểu sâu hơn.
  2. Trợ lý mua sắm thông minh dựa trên hình ảnh với gợi ý nâng cao: Khi người dùng chụp ảnh một món đồ (quần áo, đồ nội thất, v.v.), ứng dụng không chỉ tìm kiếm các sản phẩm tương tự mà còn có thể phân tích các đặc điểm chi tiết của sản phẩm trong ảnh (như chất liệu, phong cách thiết kế độc đáo từ các góc cắt riêng) để cung cấp thông tin về nhà sản xuất, nguồn gốc, và gợi ý các sản phẩm liên quan từ các thương hiệu hoặc cửa hàng khác, giúp người dùng đưa ra quyết định mua sắm thông minh hơn.
  3. Công cụ học tập và khám phá thế giới qua hình ảnh thực tế: Ứng dụng cho phép học sinh hoặc người dùng tò mò chụp ảnh một đối tượng trong môi trường thực tế (ví dụ: một loài cây, một di tích lịch sử, một công cụ khoa học). Ứng dụng sẽ cung cấp thông tin chi tiết về đối tượng đó, không chỉ là tên mà còn là các sự kiện liên quan, lịch sử, chức năng, hoặc đặc điểm sinh học, bằng cách thực hiện nhiều lượt tìm kiếm và tổng hợp thông tin, giúp việc học hỏi trở nên trực quan và sâu sắc hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02185
ArXiv Abstracthttps://arxiv.org/abs/2602.02185
PDF Downloadhttps://arxiv.org/pdf/2602.02185.pdf
Github RepositoryN/A

5. Closing the Loop: Universal Repository Representation with RPG-Encoder (81 votes)​

Tác giả: Jane Luo, Chengyu Yin, Xin Zhang, Qingtao Li, Steven Liu, Yiming Huang, Jie Wu, Hao Liu, Yangyu Huang, Yu Kang, Fangkai Yang, Ying Xin, Scarlett Li

Xuất bản lúc: 2026-02-02

Tag: Software Engineering, Code Representation, LLMs, Graph-based Models, Code Generation

I. Main Problem:​

Các tác nhân (agents) hiện tại gặp khó khăn trong việc suy luận do các biểu diễn kho lưu trữ (repository) bị phân mảnh. Các phương pháp hiện có dựa vào tài liệu API hoặc đồ thị phụ thuộc bị cô lập, thiếu chiều sâu ngữ nghĩa hoặc khả năng điều hướng toàn cục. Cụ thể, tài liệu API giàu ngữ nghĩa nhưng thiếu khả năng điều hướng toàn cục, trong khi đồ thị phụ thuộc nắm bắt logic cấu trúc nhưng hạn chế thông tin ngữ nghĩa. Điều này dẫn đến một "khoảng trống suy luận" và chi phí bảo trì cao. Vấn đề cốt lõi là việc coi việc hiểu kho lưu trữ như một nhiệm vụ đơn lẻ, một chiều, bỏ qua tính đối xứng vốn có của kỹ thuật phần mềm (việc hiểu và tạo mã là các quá trình ngược nhau). Do đó, cần một Biểu diễn Trung gian thống nhất kết hợp mật độ ngữ nghĩa của tài liệu với sự chặt chẽ về cấu trúc của đồ thị phụ thuộc.

II. Main Idea:​

Công trình này đề xuất RPG-Encoder, một khuôn khổ tổng quát hóa Repository Planning Graph (RPG) từ một bản thiết kế tạo sinh tĩnh thành một biểu diễn thống nhất, có độ trung thực cao cho các kho lưu trữ hiện có. RPG-Encoder đóng vòng lặp suy luận thông qua ba cơ chế: (1) Mã hóa (Encoding): Mã hóa mã nguồn thô thành RPG, kết hợp các đặc trưng ngữ nghĩa được nâng cấp với các phụ thuộc của mã. (2) Phát triển (Evolution): Phát triển cấu trúc topo một cách tăng dần để tách chi phí bảo trì khỏi quy mô kho lưu trữ, giảm chi phí tới 95.7%. (3) Vận hành (Operation): Hoạt động như một giao diện thống nhất cho việc điều hướng nhận biết cấu trúc.

RPG được định nghĩa là một đồ thị phân cấp, hai chiều G = (V, E), với các Nút cấp cao (biểu thị thư mục kiến trúc) và Nút cấp thấp (gồm các triển khai nguyên tử như tệp, lớp và hàm). Mỗi nút kết hợp một đặc trưng ngữ nghĩa mô tả chức năng với siêu dữ liệu cấu trúc mã. Tập hợp các cạnh E tích hợp hai quan điểm: các cạnh chức năng (E_feature) thiết lập hệ thống phân cấp theo mục đích và các cạnh phụ thuộc (E_dep) ánh xạ các tương tác logic như import và lời gọi.

Quá trình Encoding gồm ba giai đoạn: Nâng cấp ngữ nghĩa (Semantic Lifting) để chiếu mã thành các Nút cấp thấp; Tái tổ chức cấu trúc ngữ nghĩa (Semantic Structure Reorganization) để xây dựng các Nút cấp cao thông qua trừu tượng hóa và tổng hợp phân cấp chức năng (sử dụng LLM); và Nền tảng tạo tác (Artifact Grounding) để neo hệ thống phân cấp trừu tượng vào các tạo tác vật lý và logic thực thi, chèn các cạnh phụ thuộc thông qua phân tích AST. Giai đoạn Evolution thực hiện cập nhật tăng dần bằng cách phân tích sự khác biệt trong commit để duy trì RPG. Giai đoạn Operation cung cấp các công cụ như SearchNode, FetchNode, và ExploreRPG để điều hướng và truy xuất dữ liệu.

III. Main Results:​

  • Hiểu kho lưu trữ (Repository Understanding): RPG-Encoder đạt hiệu suất SOTA trong các tác vụ định vị. Trên SWE-bench Verified, nó đạt 93.7% Acc@5 ở cấp độ hàm (với Claude-4.5-Sonnet), vượt qua baseline tốt nhất (OrcaLoca) 14.4 điểm. Trên SWE-bench Live Lite, nó vượt baseline tốt nhất hơn 10% về độ chính xác định vị (với GPT-5, đạt 87.8% Acc@5 ở cấp độ hàm, vượt CoSIL 11.6 điểm). Điều này xác nhận độ chính xác chi tiết vượt trội trong các codebase phức tạp.
  • Tái tạo kho lưu trữ (Repository Reconstruction): RPG-Encoder thể hiện độ trung thực cao trong việc tái tạo cấu trúc kho lưu trữ phức tạp. Trên RepoCraft, nó đạt 98.5% phạm vi tái tạo và tỷ lệ thành công 86.0% (với GPT-5-mini), vượt qua baseline dựa trên tài liệu hơn 33 điểm. RPG-Encoder tái tạo 550 nghìn token, một quy mô tương đương với các dự án "gold" do con người viết, trong khi baseline chỉ nắm bắt được khoảng 17% khối lượng gốc.
  • Hiệu quả (Efficiency): RPG-Encoder giảm 95.7% chi phí bảo trì thông qua các cập nhật tăng dần, tách biệt hiệu quả chi phí khỏi quy mô kho lưu trữ. Nó đạt hiệu quả chi phí cao nhất (Acc@5/Cost) trên SWE-bench Verified, với 4.63 (GPT-4.1) và 4.15 (GPT-5) ở chi phí thấp hơn.
  • Nghiên cứu cắt bỏ (Ablation Study): Các đặc trưng ngữ nghĩa và phụ thuộc được chứng minh là cùng củng cố lẫn nhau và cần thiết cho cả việc hiểu và tái tạo. Các ràng buộc phân cấp đảm bảo độ trung thực cấu trúc.

IV. Conclusion & Future Works:​

RPG-Encoder thành công trong việc tổng quát hóa Repository Planning Graph (RPG) thành một biểu diễn thống nhất, có độ trung thực cao cho các kho lưu trữ phần mềm hiện có. Nó đóng vòng lặp suy luận giữa ý định và triển khai bằng cách tích hợp các đặc trưng ngữ nghĩa và các phụ thuộc cấu trúc một cách hai chiều, cung cấp một nền tảng bền vững cho các tác nhân kỹ thuật phần mềm. Công trình này đạt hiệu suất SOTA trong việc hiểu kho lưu trữ và phạm vi tái tạo cao, giải quyết hiệu quả vấn đề phân mảnh và cung cấp một giải pháp bền vững cho các tác nhân kỹ thuật phần mềm. Văn bản được trích dẫn không đề cập rõ ràng đến các hướng nghiên cứu trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RPG-Encoder để hỗ trợ các codebase đa ngôn ngữ, khám phá cách thống nhất các đặc trưng ngữ nghĩa và đồ thị phụ thuộc trên các ngôn ngữ lập trình khác nhau để có một biểu diễn phổ quát hơn.
  2. Nghiên cứu ứng dụng các nguyên tắc của RPG-Encoder để tự động hóa các tác vụ tái cấu trúc (refactoring) và tối ưu hóa mã, sử dụng biểu diễn thống nhất để xác định các khu vực cần cải thiện và đề xuất thay đổi.
  3. Nghiên cứu tích hợp các dấu vết thực thi động và thông tin thời gian chạy vào cấu trúc RPG để tăng cường hơn nữa khả năng định vị lỗi, phân tích hiệu suất và phát hiện các vấn đề tiềm ẩn.

2. Patent:​

  1. Trợ lý Mã Thông Minh cho Nhà Phát triển Di động: Một ứng dụng di động dành cho các nhà phát triển, sử dụng một "bản đồ mã thông minh" được tạo tự động từ codebase để giúp họ nhanh chóng tìm các phần mã liên quan, hiểu cách các phần khác nhau của ứng dụng kết nối và gỡ lỗi hiệu quả hơn. Nó có thể trực quan hóa cấu trúc của ứng dụng và hiển thị các mối quan hệ chức năng và phụ thuộc, cho phép nhà phát triển điều hướng và hiểu các codebase phức tạp trực tiếp trên điện thoại hoặc máy tính bảng.
  2. Hệ thống Bảo trì Ứng dụng Di động Thích ứng: Một hệ thống chạy ngầm trên thiết bị hoặc đám mây, tự động phân tích các cập nhật mã của ứng dụng di động và đề xuất thông minh cách tích hợp các tính năng mới hoặc sửa lỗi mà không làm hỏng chức năng hiện có. Nó sẽ sử dụng một "bản thiết kế phát triển" liên tục cập nhật của ứng dụng để hiểu các thay đổi và dự đoán các xung đột tiềm ẩn, giảm công sức cho các nhà phát triển trong việc duy trì và nâng cấp ứng dụng của họ.
  3. Công cụ Giáo dục Tương tác cho Kiến trúc Ứng dụng Di động: Một ứng dụng di động tương tác cho phép sinh viên hoặc người học khám phá cấu trúc nội bộ của các ứng dụng di động mẫu. Nó sẽ sử dụng một "biểu diễn mã thống nhất" để trực quan hóa các thành phần của ứng dụng, chức năng của chúng và cách chúng tương tác, cung cấp một giao diện dễ hiểu để tìm hiểu về các kiến trúc ứng dụng phức tạp và cách các tính năng được triển khai.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02084
ArXiv Abstracthttps://arxiv.org/abs/2602.02084
PDF Downloadhttps://arxiv.org/pdf/2602.02084.pdf
Github Repositoryhttps://github.com/microsoft/RPG-ZeroRepo

6. UniReason 1.0: A Unified Reasoning Framework for World Knowledge Aligned Image Generation and Editing (74 votes)​

Tác giả: Dianyi Wang, Chaofan Ma, Feng Han, Size Wu, Wei Song, Yibin Wang, Zhixiong Zhang, Tianhang Wang, Siyuan Wang, Zhongyu Wei, Jiaqi Wang

Xuất bản lúc: 2026-02-02

Tag: Multimodal, Image Generation, Image Editing, Reasoning, Diffusion Models, LLMs

I. Main Problem:​

Các mô hình đa phương thức hợp nhất hiện tại thường gặp khó khăn với các tác vụ tổng hợp phức tạp đòi hỏi khả năng suy luận sâu sắc và xử lý việc tạo ảnh từ văn bản (text-to-image generation) cùng với chỉnh sửa ảnh (image editing) như những khả năng riêng lẻ thay vì các bước suy luận có liên kết với nhau. Chúng thiếu khả năng suy luận kiến thức thế giới ngầm định (ví dụ: lẽ thường, định luật vật lý, logic không gian-thời gian) vượt ra ngoài các pixel bề mặt. Các phương pháp hiện có cũng bị giới hạn vì suy luận chỉ xảy ra trước quá trình tạo, không có phản hồi hình ảnh để sửa lỗi, và việc suy luận chủ yếu dừng lại ở việc tái tổ chức ngữ nghĩa thay vì suy luận kiến thức thế giới tiềm ẩn.

II. Main Idea:​

Các tác giả đề xuất UniReason, một khuôn khổ hợp nhất hài hòa việc tạo ảnh từ văn bản và chỉnh sửa ảnh thông qua hai mô hình suy luận bổ trợ trong một kiến trúc chia sẻ. Cụ thể:

  1. Suy luận văn bản nâng cao kiến thức thế giới (World Knowledge-Enhanced Textual Reasoning): Nhằm mục đích thu hẹp khoảng cách kiến thức trước khi tổng hợp. Mô hình suy luận kiến thức thế giới ngầm định từ hướng dẫn chưa rõ ràng và tạo ra hướng dẫn có căn cứ, chi tiết cho quá trình tổng hợp hình ảnh. Để hỗ trợ điều này, một tập dữ liệu quy mô lớn (khoảng 300k mẫu) được xây dựng, bao gồm 5 lĩnh vực kiến thức chính: lẽ thường văn hóa, khoa học tự nhiên, suy luận không gian, thời gian và logic. Gemini-2.5 Pro được sử dụng để tạo các chuỗi suy luận văn bản và lọc dữ liệu chất lượng cao.

  2. Tinh chỉnh hình ảnh giống chỉnh sửa chi tiết (Fine-grained Editing-like Visual Refinement): Nhằm mục đích cải thiện chất lượng tổng hợp sau khi tạo ban đầu. Mô hình tự phản ánh để xác định sự khác biệt hoặc chi tiết còn thiếu, sau đó áp dụng các chỉnh sửa có mục tiêu. Quá trình này được coi là tương tự cấu trúc với chỉnh sửa hình ảnh, thúc đẩy việc học chung giữa tạo ảnh từ văn bản và chỉnh sửa ảnh. Một quy trình tác nhân (agent pipeline) được thiết kế để tạo dữ liệu đào tạo chất lượng cao, lặp lại các bước tạo, xác minh, tinh chỉnh và so sánh.

Khuôn khổ áp dụng chiến lược huấn luyện hai giai đoạn: giai đoạn đầu tiên củng cố khả năng tạo cơ bản, và giai đoạn thứ hai kích hoạt suy luận xen kẽ bằng cách huấn luyện đồng thời các nhánh hiểu và tạo.

III. Main Results:​

UniReason đạt hiệu suất vượt trội trên các điểm chuẩn chuyên sâu về suy luận như WISE, KrisBench và UniREditBench, đồng thời duy trì khả năng tổng hợp tổng quát cao cấp. Nó vượt trội so với các mô hình đa phương thức hợp nhất mã nguồn mở khác và cho thấy kết quả ngang bằng với các mô hình mã nguồn đóng như Seedream 4.0 và GPT-4o trong việc tạo ảnh từ văn bản. Đặc biệt, nó vượt trội hơn Gemini 2.0 trên KrisBench và Seedream 4.0 trên UniREditBench.

Mô hình thể hiện khả năng bao phủ kiến thức thế giới rộng rãi và nhất quán, đạt hiệu suất cao nhất trong các hạng mục Lẽ thường văn hóa, Suy luận không gian, Khoa học tự nhiên (bao gồm Vật lý và Hóa học). Các nghiên cứu về khảo sát (ablation study) xác nhận rằng cả chiến lược huấn luyện hai giai đoạn, suy luận văn bản nâng cao kiến thức và tinh chỉnh hình ảnh đều đóng góp đáng kể vào việc cải thiện hiệu suất, và hiệu quả tinh chỉnh tăng lên một cách đơn điệu theo mức độ thành thạo trong chỉnh sửa hình ảnh.

IV. Conclusion & Future Works:​

UniReason là một khuôn khổ suy luận hợp nhất hài hòa việc tạo ảnh từ văn bản và chỉnh sửa ảnh bằng cách khai thác các sức mạnh tổng hợp cấu trúc của chúng. Nó kết hợp Suy luận văn bản nâng cao kiến thức thế giới để suy luận lẽ thường và định luật vật lý ngầm định, cùng với Tinh chỉnh hình ảnh giống chỉnh sửa chi tiết để cho phép phản ánh và sửa chữa lặp đi lặp lại. Với việc xây dựng tập dữ liệu chất lượng cao và chiến lược huấn luyện hai giai đoạn, UniReason thể hiện khả năng tuân thủ hướng dẫn và độ chân thực hình ảnh vượt trội. Các thí nghiệm rộng rãi trên nhiều điểm chuẩn đã chứng minh hiệu suất nâng cao của phương pháp suy luận hợp nhất này trên cả tác vụ tạo ảnh từ văn bản và chỉnh sửa.

Công việc này tập trung vào việc cải thiện khả năng suy luận và căn chỉnh trong các mô hình tạo và chỉnh sửa hình ảnh. Mặc dù những tiến bộ như vậy có thể mang lại lợi ích cho nhiều ứng dụng sáng tạo và hỗ trợ, chúng cũng có thể gây ra rủi ro liên quan đến việc lạm dụng nội dung hình ảnh được tạo. Việc giải quyết những rủi ro này đòi hỏi các biện pháp bảo vệ cấp hệ thống và các thực hành triển khai có trách nhiệm nằm ngoài phạm vi của bài báo này.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng UniReason để xử lý các dạng đầu vào đa phương thức phức tạp hơn như video hoặc âm thanh, cho phép tạo và chỉnh sửa nội dung đa phương tiện động với suy luận kiến thức thế giới sâu sắc.
  2. Khám phá các phương pháp suy luận nhân quả (causal reasoning) hoặc suy luận phản thực tế (counterfactual reasoning) trong việc tạo hình ảnh để tăng cường khả năng kiểm soát và hiểu biết về mối quan hệ giữa các đối tượng và sự kiện trong hình ảnh được tạo.
  3. Nghiên cứu các kỹ thuật giảm chi phí tính toán và cải thiện hiệu quả của các mô hình hợp nhất lớn như UniReason, đặc biệt cho các ứng dụng yêu cầu xử lý theo thời gian thực hoặc trên các thiết bị tài nguyên hạn chế.

2. Patent:​

  1. Trình chỉnh sửa ảnh thông minh với hiểu biết ngữ cảnh: Một ứng dụng di động cho phép người dùng chỉnh sửa ảnh bằng các lệnh ngôn ngữ tự nhiên, tích hợp kiến thức thế giới thực. Ví dụ, người dùng có thể nói "làm cho thời tiết trong ảnh này trông như mùa đông" hoặc "thay đổi ánh sáng để nó trông như chụp vào lúc hoàng hôn", và trí tuệ nhân tạo của điện thoại sẽ áp dụng các thay đổi hình ảnh phù hợp dựa trên hiểu biết của nó về mùa, ánh sáng, v.v., vượt xa các bộ lọc màu đơn giản. Điều này cung cấp khả năng chỉnh sửa trực quan và mạnh mẽ hơn nhiều.
  2. Tạo cảnh thực tế tăng cường (AR) cho kể chuyện: Một ứng dụng di động cho phép người dùng mô tả một cảnh hoặc đối tượng bằng ngôn ngữ tự nhiên, và ứng dụng sẽ tạo ra nó, sau đó phủ lên thế giới thực thông qua camera của điện thoại, đồng thời duy trì sự nhất quán vật lý. Ví dụ, người dùng có thể yêu cầu "đặt một con rồng đang bay trên bầu trời phía trên tòa nhà này", và trí tuệ nhân tạo sẽ đảm bảo sự xuất hiện, bóng và tương tác của con rồng với môi trường xung quanh trông đáng tin cậy và tuân thủ các định luật vật lý cơ bản.
  3. Công cụ tạo ảnh cá nhân hóa cho mạng xã hội: Một ứng dụng điện thoại tạo ra hình ảnh tùy chỉnh dựa trên các lời nhắc của người dùng và các tùy chọn hoặc ngữ cảnh được suy luận ngầm định. Ví dụ, một người dùng có thể nhập "tạo một hình ảnh về tôi đang đi du lịch ở Paris", và ứng dụng không chỉ tạo ra khung cảnh mà còn khéo léo chỉnh sửa ngoại hình của người dùng hoặc tích hợp họ một cách tự nhiên vào cảnh, sử dụng kiến thức thế giới về các bức ảnh du lịch điển hình, các địa danh văn hóa và ánh sáng. Bước tinh chỉnh sau đó sẽ cho phép người dùng điều chỉnh thêm các chi tiết như "làm cho tôi trông vui vẻ hơn" hoặc "thêm một chiếc cà phê trên bàn".

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02437
ArXiv Abstracthttps://arxiv.org/abs/2602.02437
PDF Downloadhttps://arxiv.org/pdf/2602.02437.pdf
Github RepositoryN/A

7. SWE-Universe: Scale Real-World Verifiable Environments to Millions (57 votes)​

Tác giả: Mouxiang Chen, Lei Zhang, Yunlong Feng, Xuwu Wang, Wenting Zhao, Ruisheng Cao, Jiaxi Yang, Jiawei Chen, Mingze Li, Zeyao Ma, Hao Ge, Zongmeng Zhang, Zeyu Cui, Dayiheng Liu, Jingren Zhou, Jianling Sun, Junyang Lin, Binyuan Hui

Xuất bản lúc: 2026-02-02

Tag: LLMs, Reinforcement Learning, Software Engineering, Code Generation, Agentic Systems, Dataset Generation

I. Main Problem:​

Những thách thức phổ biến trong việc tự động xây dựng môi trường xác minh cho kỹ thuật phần mềm (SWE) thực tế. Cụ thể, các vấn đề bao gồm:

  • Tỷ lệ sản xuất thấp: Do tính chất phức tạp và đa dạng của các kho lưu trữ mã nguồn thực tế, cùng với các phụ thuộc phức tạp và cấu hình công cụ xây dựng riêng biệt.
  • Bộ xác minh yếu: Các bộ xác minh được tạo ra có thể có chất lượng thấp, chỉ cho phép các giải pháp "gian lận" (ví dụ: khớp chuỗi đơn giản thay vì biên dịch và thực thi mã thực sự), dẫn đến tín hiệu huấn luyện sai lệch.
  • Chi phí và kém hiệu quả: Sự phụ thuộc vào các LLM lớn, đắt đỏ để giải quyết các phụ thuộc và cấu hình xây dựng theo từng kho lưu trữ, khiến việc tạo ra môi trường quy mô lớn trở nên không khả thi về mặt kinh tế và vận hành.
  • Các nỗ lực hiện có chủ yếu tập trung vào Python hoặc bị giới hạn về quy mô đa ngôn ngữ do thiết lập thủ công.

II. Main Idea:​

Giới thiệu SWE-Universe, một khung làm việc có khả năng mở rộng và hiệu quả để tự động xây dựng các môi trường kỹ thuật phần mềm (SWE) có thể xác minh được trong thế giới thực từ các pull request (PRs) của GitHub. Ý tưởng chính bao gồm:

  • Sử dụng một "building agent" tự trị được hỗ trợ bởi mô hình tùy chỉnh hiệu quả (Qwen-Next-80A3 dựa trên kiến trúc Mixture-of-Experts - MoE).
  • Áp dụng quy trình tự xác minh lặp lại (iterative self-verification): Agent liên tục kiểm tra verifier (tức là script evaluation.sh) được tạo ra đối với cả trạng thái lỗi (buggy) và trạng thái đã sửa (fixed) của kho lưu trữ. Dựa trên phản hồi, agent sẽ chẩn đoán lỗi và điều chỉnh quy trình xây dựng.
  • Tích hợp tính năng "in-loop hacking detection": Một mô-đun sử dụng LLM để kiểm tra script evaluation.sh nhằm phát hiện các mẫu "gian lận" (ví dụ: sử dụng grep thay vì thực thi mã thực sự) và từ chối chúng ngay lập tức, buộc agent phải tạo ra các giải pháp thực sự kiểm tra mã.
  • Công cụ (bash, switch-to-resolved, switch-to-bug) cho phép agent chuyển đổi giữa các trạng thái kho lưu trữ để thực hiện tự xác minh.
  • Quá trình bắt đầu bằng việc thu thập và phân tách PR thành test patch và fix patch, sau đó áp dụng test patch và để agent tạo evaluation.sh.

III. Main Results:​

  • SWE-Universe đã xây dựng thành công 807.693 môi trường SWE đa ngôn ngữ có thể xác minh được, từ hơn 52.000 kho lưu trữ GitHub độc đáo, tạo ra bộ dữ liệu lớn nhất và đa dạng nhất hiện có.
  • Quá trình xác minh lặp lại đã cải thiện tỷ lệ xây dựng môi trường thành công từ 82,6% lên 94% trên một tập dữ liệu giữ lại.
  • Mô hình tùy chỉnh Qwen-Next-80A3 đạt tỷ lệ thành công 78,44% (không "hack") trên điểm chuẩn xây dựng đa ngôn ngữ, vượt qua các mô hình độc quyền hàng đầu như Claude-Opus-4.5 (77,81%). Mô hình này cũng cho thấy khoảng cách nhỏ nhất (4,06%) giữa tỷ lệ thành công có và không "hack", chứng tỏ độ tin cậy cao hơn.
  • Quá trình huấn luyện trung gian (mid-training) trên tập dữ liệu SWE-Universe đã nâng cao đáng kể hiệu suất của mô hình: Qwen3-Next-80A3 cải thiện từ 50,3% lên hơn 61% trên SWE-Bench Verified và từ khoảng 31% lên hơn 46% trên SWE-Bench Multilingual.
  • Học tăng cường Agentic (Agentic Reinforcement Learning) sử dụng các verifier của SWE-Universe làm tín hiệu phần thưởng đã cải thiện hiệu suất của Qwen3-30B-A3B trên SWE-Bench Multilingual từ khoảng 32% lên 42,0%.
  • Khi áp dụng phương pháp này cho mô hình Qwen3-Max-Thinking, nó đã đạt được 75,3% trên SWE-Bench Verified, xác nhận tính hiệu quả của quy trình tạo dữ liệu quy mô lớn ở cấp độ sản xuất.

IV. Conclusion & Future Works:​

SWE-Universe giải quyết thành công các nút thắt quan trọng trong việc tạo ra các môi trường kỹ thuật phần mềm thực tế như tỷ lệ sản xuất thấp, chất lượng không nhất quán và chi phí cao. Khung làm việc này cùng với bộ dữ liệu đa ngôn ngữ, quy mô lớn đã xây dựng nên một nguồn tài nguyên mạnh mẽ để thúc đẩy sự phát triển của các tác tử mã hóa (coding agents) có năng lực và linh hoạt hơn. Công trình đã chứng minh giá trị sâu sắc của tài nguyên này thông qua huấn luyện quy mô lớn dựa trên học có giám sát và học tăng cường, cho phép các mô hình đạt được hiệu suất tiên tiến.

Các hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng khả năng của khung làm việc để xử lý các loại vấn đề phức tạp hơn, tích hợp sâu hơn với các chu trình phát triển phần mềm tự động, hoặc khám phá các phương pháp huấn luyện tác tử tiên tiến hơn để tối ưu hóa việc sử dụng dữ liệu quy mô lớn này.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khả năng của SWE-Universe cho các loại vấn đề và kiến trúc phần mềm phức tạp: Nghiên cứu về cách thích nghi khung SWE-Universe để hỗ trợ việc tạo môi trường xác minh cho các dự án phần mềm có kiến trúc phức tạp hơn như microservices, hệ thống phân tán, hoặc các lỗi liên quan đến bảo mật và hiệu suất, vượt ra ngoài các lỗi chức năng cơ bản.
  2. Phát triển và đánh giá các chiến lược học tăng cường đa tác tử trên tập dữ liệu SWE-Universe: Khám phá các phương pháp học tăng cường tiên tiến, trong đó nhiều tác tử (agent) cộng tác hoặc cạnh tranh để giải quyết các nhiệm vụ SWE, tận dụng tín hiệu phần thưởng đáng tin cậy từ các verifier của SWE-Universe để cải thiện khả năng tổng quát hóa và hiệu suất của các tác tử mã hóa.
  3. Tự động hóa việc phát hiện và khắc phục các vấn đề chất lượng trong môi trường SWE được tạo ra bởi LLM: Nghiên cứu phát triển các tác tử đánh giá chất lượng (quality-judge agent) thông minh hơn, sử dụng các kỹ thuật học sâu và phân tích mã để không chỉ phát hiện các mô tả nhiệm vụ mơ hồ, môi trường Docker không khớp, hoặc kiểm thử sai lệch, mà còn đề xuất các cách tự động khắc phục chúng, nâng cao độ tin cậy của toàn bộ pipeline.

2. Patent:​

  1. Hệ thống trợ lý sửa lỗi mã nguồn thông minh trên ứng dụng di động: Một ứng dụng tích hợp vào môi trường phát triển mã nguồn (IDE) trên điện thoại di động hoặc máy tính bảng. Ứng dụng này sử dụng một mô hình trí tuệ nhân tạo để phân tích mã nguồn đang được viết, tự động đề xuất các bản sửa lỗi tiềm năng cho các vấn đề được phát hiện, và sau đó tạo ra một môi trường kiểm thử nhỏ gọn trong ứng dụng để xác minh bản sửa lỗi đó có hoạt động đúng hay không, trước khi người dùng thực sự áp dụng nó vào dự án. Điều này giúp các nhà phát triển di động sửa lỗi nhanh chóng và hiệu quả ngay trên thiết bị của họ.
  2. Công cụ tạo kịch bản kiểm thử ứng dụng di động tự động từ báo cáo lỗi: Một hệ thống dịch vụ đám mây có thể truy cập thông qua ứng dụng di động của nhà phát triển. Khi một người dùng cuối gửi báo cáo lỗi (ví dụ: mô tả văn bản, ảnh chụp màn hình, hoặc ghi lại thao tác) về một ứng dụng di động, hệ thống sẽ sử dụng AI để phân tích thông tin này, tự động tạo ra một kịch bản kiểm thử và một môi trường mô phỏng lỗi. Kịch bản này được dùng để xác minh các bản vá lỗi được đề xuất, đảm bảo rằng lỗi đã được khắc phục mà không gây ra tác dụng phụ, giúp rút ngắn chu trình phản hồi và sửa lỗi cho các ứng dụng di động.
  3. Nền tảng đào tạo tác tử AI sửa lỗi mã nguồn trên thiết bị di động với khả năng tự xác minh: Một nền tảng cho phép các nhà phát triển ứng dụng di động đào tạo các tác tử AI chuyên biệt để tự động sửa lỗi trong mã nguồn ứng dụng của họ. Nền tảng này sẽ tạo ra các bài tập sửa lỗi thực tế dựa trên các pull request công khai, và mỗi bài tập đi kèm với một bộ kiểm thử tự động. Điều đặc biệt là tác tử AI sẽ tự kiểm tra các giải pháp của mình trong một môi trường ảo hóa trên thiết bị hoặc đám mây, đảm bảo rằng giải pháp không chỉ hoạt động mà còn không chứa các "mánh khóe" kiểm thử, từ đó tạo ra một tác tử sửa lỗi đáng tin cậy cho các dự án di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02361
ArXiv Abstracthttps://arxiv.org/abs/2602.02361
PDF Downloadhttps://arxiv.org/pdf/2602.02361.pdf
Github RepositoryN/A

8. SPARKLING: Balancing Signal Preservation and Symmetry Breaking for Width-Progressive Learning (44 votes)​

Tác giả: Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

Xuất bản lúc: 2026-02-02

Tag: LLMs, Progressive Learning, Model Scaling, Optimization, Training Stability, Width Expansion

I. Main Problem:​

Việc huấn luyện các Mô hình Ngôn ngữ Lớn (LLM) vẫn còn rất tốn kém, thúc đẩy hướng nghiên cứu về Học tập Tăng tiến (PL) nhằm mở rộng quy mô mô hình dần dần trong quá trình huấn luyện. Trong khi việc mở rộng chiều sâu đã được khám phá rộng rãi, việc mở rộng chiều rộng vẫn còn ít được nghiên cứu, đặc biệt là việc mở rộng ở giai đoạn giữa quá trình huấn luyện. Điều này rất cần thiết để tối đa hóa tiết kiệm tính toán nhưng lại gặp phải những thách thức lớn do sự mất ổn định nghiêm trọng trong huấn luyện. Cụ thể, khởi tạo ngây thơ (naive initialization) làm gián đoạn thống kê kích hoạt, gây ra các đột biến mất mát (loss spikes), trong khi khởi tạo dựa trên sao chép (copy-based initialization) tạo ra đối xứng gradient, cản trở sự đa dạng hóa tính năng.

II. Main Idea:​

Đề xuất framework SPARKLING ("balancing Signal Preservation And symmetRy breaKing for width-progressiveLearnING") mới lạ để mở rộng chiều rộng ở giai đoạn giữa. Phương pháp này cân bằng hai nguyên tắc bổ trợ: Bảo toàn Tín hiệu (Signal Preservation) và Phá vỡ Đối xứng (Symmetry Breaking). Bảo toàn tín hiệu được thực hiện thông qua nhất quán thang đo RMS (RMS-scale consistency), giúp ổn định thống kê kích hoạt trong quá trình mở rộng. Phá vỡ đối xứng được đảm bảo bằng cách đặt lại trạng thái tối ưu hóa một cách bất đối xứng (asymmetric optimizer state resetting) và khởi động lại tốc độ học tập bất đối xứng (asymmetric learning rate re-warmup) cho các tham số mới được giới thiệu, nhằm giải quyết vấn đề đối xứng gradient do khởi tạo sao chép.

III. Main Results:​

  • SPARKLING liên tục vượt trội hơn so với việc huấn luyện từ đầu (training from scratch) và giảm chi phí huấn luyện lên tới 35% khi mở rộng chiều rộng gấp 2 lần (2× width expansion).
  • Đạt được hiệu suất trung bình tốt nhất trên các tác vụ downstream so với các biến thể mở rộng khác, và ngang bằng hoặc vượt trội hơn so với mô hình được huấn luyện từ đầu ở kích thước mở rộng trên hầu hết các tác vụ.
  • Khung công việc SPARKLING chứng tỏ tính tổng quát trên nhiều trục mở rộng chiều rộng (như hidden dimension và MoE expert intermediate dimension) và các họ thuật toán tối ưu (bao gồm AdamW và Muon).
  • Kỹ thuật giữ nguyên thang đo RMS (RMS-preserving rescaling) nhất quán cải thiện khả năng hội tụ ở giai đoạn cuối (late-stage convergence).
  • Đặt lại trạng thái tối ưu hóa bất đối xứng (asymmetric optimizer state resetting) và khởi động lại tốc độ học tập bất đối xứng (asymmetric learning rate re-warmup) là các thành phần quan trọng để phá vỡ đối xứng và cải thiện đáng kể khả năng hội tụ.

IV. Conclusion & Future Works:​

SPARKLING là một framework mạnh mẽ và hiệu quả cho việc mở rộng chiều rộng ở giai đoạn giữa quá trình huấn luyện, cân bằng giữa việc bảo toàn tín hiệu và phá vỡ đối xứng. Phương pháp này nhất quán cải thiện hiệu suất trên các tác vụ downstream trên nhiều trục mở rộng chiều rộng khác nhau, biến progressive learning trở nên khả thi và thực tế hơn cho các Mô hình Ngôn ngữ Lớn (LLMs).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng các nguyên tắc của SPARKLING (bảo toàn thang đo RMS và phá vỡ đối xứng) cho việc học tăng tiến theo chiều sâu (depth-progressive learning) hoặc các chiến lược mở rộng kiến trúc khác ngoài chiều rộng.
  2. Phát triển các cơ chế thích ứng hoặc học được cho việc đặt lại trạng thái tối ưu hóa bất đối xứng và khởi động lại tốc độ học tập, thay vì sử dụng các lịch trình cố định hoặc heuristic.
  3. Khám phá ứng dụng của SPARKLING để tối ưu hóa việc huấn luyện và mở rộng các mô hình nhỏ hơn hoặc mô hình chuyên biệt trong các miền cụ thể, nơi hiệu quả tính toán cũng là yếu tố then chốt.

2. Patent:​

  1. Cập nhật Trợ lý AI Động trên Điện thoại: Một ứng dụng điện thoại có khả năng nâng cấp dần dần các tính năng của trợ lý AI tích hợp trên thiết bị (ví dụ: hiểu ngôn ngữ tự nhiên, gợi ý cá nhân hóa). Việc này được thực hiện bằng cách thêm hoặc mở rộng các thành phần mô hình AI một cách có chọn lọc trong thời gian điện thoại không hoạt động, mà không cần tải lại toàn bộ mô hình hay huấn luyện lại từ đầu.
  2. Bộ lọc Camera Thông minh Thích ứng: Một ứng dụng máy ảnh trên điện thoại có thể tự động điều chỉnh và mở rộng độ phức tạp của các bộ lọc ảnh được hỗ trợ bởi AI (ví dụ: nhận diện vật thể, chuyển đổi phong cách). Các thành phần tính năng mới được thêm vào một cách hiệu quả tùy theo yêu cầu và tài nguyên của thiết bị, thay vì phải tải một mô hình AI lớn ngay từ đầu.
  3. Cải thiện Dự đoán Bàn phím Cá nhân hóa: Một ứng dụng bàn phím thông minh trên điện thoại bắt đầu với một mô hình ngôn ngữ cơ bản nhỏ và sau đó mở rộng dần khả năng dự đoán từ vựng hoặc học các mẫu ngôn ngữ riêng của người dùng. Việc mở rộng này được thực hiện hiệu quả ngay trên thiết bị bằng cách thêm "chiều rộng" cho mô hình mà không làm ảnh hưởng đến các mẫu đã học trước đó.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02472
ArXiv Abstracthttps://arxiv.org/abs/2602.02472
PDF Downloadhttps://arxiv.org/pdf/2602.02472.pdf
Github RepositoryN/A

9. FS-Researcher: Test-Time Scaling for Long-Horizon Research Tasks with File-System-Based Agents (44 votes)​

Tác giả: Chiwei Zhu, Benfeng Xu, Mingxuan Du, Shaohan Wang, Xiaorui Wang, Zhendong Mao, Yongdong Zhang

Xuất bản lúc: 2026-02-02

Tag: LLMs, Multi-Agent Systems, RAG, Knowledge Management, Long-Horizon Tasks

I. Main Problem:​

Các tác vụ nghiên cứu chuyên sâu (deep research) cho các tác nhân mô hình ngôn ngữ lớn (LLM agents) thường gặp phải các vấn đề chính sau:

  • Giới hạn ngữ cảnh: Các quỹ đạo tác vụ dài vượt quá giới hạn ngữ cảnh của mô hình, làm giảm ngân sách token cho việc thu thập bằng chứng và viết báo cáo.
  • Khó khăn trong mở rộng: Điều này ngăn cản khả năng mở rộng hiệu quả trong thời gian thử nghiệm.
  • Chất lượng báo cáo thấp: Các quy trình tĩnh hoặc quy trình tác nhân đơn lẻ thường dẫn đến việc không bao phủ đầy đủ các nguồn liên quan và tạo ra các báo cáo chất lượng thấp.
  • Giải pháp tạm thời: Các phương pháp hiện có chỉ kéo dài quỹ đạo bằng cách tóm tắt thông tin, nhưng lại tạo ra nút thắt cổ chai làm mất dữ liệu (lossy bottleneck), làm mất bằng chứng chi tiết và không thể tinh chỉnh lặp đi lặp lại do trạng thái nội bộ không bền vững.

II. Main Idea:​

Giới thiệu FS-Researcher, một khung làm việc tác nhân kép dựa trên hệ thống tệp, được thiết kế để mở rộng khả năng nghiên cứu chuyên sâu vượt ra ngoài giới hạn cửa sổ ngữ cảnh thông qua một không gian làm việc bền vững. Các thành phần chính bao gồm:

  • Context Builder agent (Tác nhân Xây dựng Ngữ cảnh): Hoạt động như một thủ thư kỹ thuật số, duyệt internet, viết ghi chú có cấu trúc và lưu trữ các nguồn thô vào một cơ sở tri thức phân cấp (hierarchical knowledge base) có thể phát triển vượt xa độ dài ngữ cảnh.
  • Report Writer agent (Tác nhân Viết Báo cáo): Soạn thảo báo cáo cuối cùng từng phần một, coi cơ sở tri thức đã xây dựng là nguồn thông tin duy nhất.
  • Hệ thống tệp (File System): Đóng vai trò là bộ nhớ ngoài bền vững và phương tiện phối hợp chung giữa các tác nhân và phiên làm việc, cho phép tinh chỉnh lặp đi lặp lại.
  • Ưu điểm của không gian làm việc dựa trên hệ thống tệp: Mô phỏng môi trường làm việc của con người, lưu trữ thông tin không giới hạn bởi ngữ cảnh, và duy trì các tạo tác trung gian (kế hoạch, nhật ký, lỗi) để tinh chỉnh.
  • Kiến trúc & Công cụ: Mỗi tác nhân sử dụng kiến trúc ReAct tiêu chuẩn và được trang bị các công cụ truy cập hệ thống tệp (ls, grep, read_file, insert/delete/replace) và công cụ duyệt web (search_web, read_webpage).
  • Không gian làm việc: Chứa các tệp kết quả (deliverables) và các tệp kiểm soát (control files) như Todos, Checklist, Logs, hỗ trợ quy trình làm việc đa phiên và tinh chỉnh liên tục.

III. Main Results:​

FS-Researcher đạt được các kết quả nổi bật sau:

  • Chất lượng báo cáo SOTA: Đạt chất lượng báo cáo tốt nhất hiện nay trên hai bộ benchmark nghiên cứu mở là DeepResearch Bench và DeepConsult, vượt trội so với các hệ thống Deep Research độc quyền và mã nguồn mở hàng đầu.
  • Hiệu suất vượt trội: Với Claude-Sonnet-4.5, FS-Researcher đạt 53.94 điểm RACE trên DeepResearch Bench, vượt trội đáng kể so với baseline mạnh nhất (RhinoInsight, +3.02), với cải thiện lớn về mức độ toàn diện và hiểu biết sâu sắc.
  • Mối tương quan tích cực với tài nguyên: Các phân tích cho thấy mối tương quan tích cực giữa chất lượng báo cáo cuối cùng và lượng tài nguyên tính toán được phân bổ cho Context Builder, xác nhận khả năng mở rộng hiệu quả theo mô hình hệ thống tệp.
  • Xác nhận hiệu quả các module: Các nghiên cứu ablation (loại bỏ module) xác nhận rằng Không gian làm việc bền vững (Persistent Workspace), Tác nhân kép (Dual-Agent) và Viết từng phần (Section-wise Writing) là những thiết kế quan trọng, với việc loại bỏ từng thành phần đều dẫn đến suy giảm đáng kể về chất lượng báo cáo, đặc biệt là ở Insight và Comprehensiveness.

IV. Conclusion & Future Works:​

Kết luận:​

FS-Researcher là một khung làm việc tác nhân kép dựa trên hệ thống tệp đột phá, giúp mở rộng khả năng giải quyết các tác vụ nghiên cứu dài hạn bằng cách sử dụng một không gian làm việc bền vững, vượt ra ngoài giới hạn ngữ cảnh của mô hình. Bằng cách phân tách rõ ràng việc thu thập bằng chứng (Context Builder) và tổng hợp báo cáo (Report Writer), FS-Researcher đạt được chất lượng báo cáo hàng đầu và xác nhận khả năng mở rộng hiệu quả trong thời gian thử nghiệm.

Hạn chế & Hướng phát triển:​

  • Phụ thuộc vào mô hình nền tảng mạnh: Hạn chế chính của công việc này là sự phụ thuộc vào các mô hình nền tảng tương đối mạnh mẽ. Các mô hình nhỏ hơn hoặc kém khả năng hơn có thể gặp khó khăn với việc lập kế hoạch đa bước, tìm kiếm web, viết báo cáo dài và các thao tác trên hệ thống tệp.
  • Thiết kế khung làm việc cho mô hình nhỏ: Hướng phát triển quan trọng trong tương lai là thiết kế một khung làm việc ít đòi hỏi hơn để hỗ trợ tốt hơn các mô hình nhỏ hơn, giảm thiểu các lỗi trong thao tác tệp hoặc sử dụng công cụ.
  • Cân nhắc đạo đức: Hệ thống có thể truyền bá thông tin không chính xác, sai lệch hoặc lỗi thời; lưu trữ nội dung nhạy cảm hoặc có bản quyền; và tăng bề mặt tấn công cho các cuộc tấn công prompt injection hoặc các trang web độc hại.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu và thiết kế khung làm việc FS-Researcher được tối ưu hóa cho các mô hình ngôn ngữ nhỏ hơn, tập trung vào việc giảm thiểu yêu cầu về lập kế hoạch đa bước và vận hành hệ thống tệp để tăng khả năng ứng dụng thực tế.
  2. Phát triển các chiến lược mới để tự động hóa việc đánh giá và tinh chỉnh kiến thức trong cơ sở tri thức, đặc biệt tập trung vào việc phát hiện và khắc phục thông tin sai lệch hoặc không nhất quán từ nhiều nguồn.
  3. Khám phá việc tích hợp các loại công cụ và giao diện hệ thống tệp phức tạp hơn để hỗ trợ các tác vụ không chỉ nghiên cứu mà còn các tác vụ kỹ thuật phần mềm dài hạn khác (ví dụ: phát triển mã, gỡ lỗi), đồng thời tối ưu hóa khả năng tương tác giữa tác nhân và công cụ.

2. Patent:​

  1. Một ứng dụng di động cho phép người dùng nhập một yêu cầu nghiên cứu hoặc chủ đề phức tạp, sau đó ứng dụng sẽ tự động tìm kiếm thông tin trên internet, tổng hợp dữ liệu và tạo ra một báo cáo chi tiết, có cấu trúc như một bài nghiên cứu. Người dùng có thể tinh chỉnh các yêu cầu và xem lại các nguồn gốc thông tin đã thu thập một cách dễ dàng.
  2. Hệ thống trợ lý cá nhân thông minh trên điện thoại di động có khả năng lưu trữ và quản lý thông tin dài hạn cho người dùng. Khi người dùng tương tác với trợ lý qua nhiều phiên làm việc, trợ lý sẽ xây dựng một 'hồ sơ kiến thức' cá nhân trên thiết bị, sử dụng dữ liệu duyệt web, ghi chú và tài liệu cá nhân để cung cấp câu trả lời chính xác và phân tích sâu hơn theo thời gian, vượt xa khả năng của các trợ lý thông thường.
  3. Một công cụ tổ chức và quản lý dự án trên thiết bị di động, sử dụng hệ thống tệp để lưu trữ tất cả tài liệu, ghi chú, kế hoạch và nhật ký tiến độ cho một dự án phức tạp. Công cụ này sẽ có khả năng tự động cập nhật trạng thái tác vụ, đề xuất các bước tiếp theo dựa trên kiến thức tích lũy và cho phép người dùng dễ dàng xem lại toàn bộ lịch sử dự án để tinh chỉnh công việc, giống như một không gian làm việc bền vững cho các tác vụ cá nhân.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01566
ArXiv Abstracthttps://arxiv.org/abs/2602.01566
PDF Downloadhttps://arxiv.org/pdf/2602.01566.pdf
Github RepositoryN/A

10. PixelGen: Pixel Diffusion Beats Latent Diffusion with Perceptual Loss (38 votes)​

Tác giả: Zehong Ma, Ruihan Xu, Shiliang Zhang

Xuất bản lúc: 2026-02-02

Tag: Diffusion Models, Image Generation, Perceptual Learning, Deep Learning

I. Main Problem:​

Pixel diffusion gặp khó khăn trong việc tối ưu hóa không gian pixel có chiều cao và chứa nhiều tín hiệu không liên quan đến nhận thức, khiến các phương pháp hiện có tụt hậu so với latent diffusion models. Trong khi đó, latent diffusion models bị hạn chế bởi các VAE (Variational Autoencoders), gây ra các artifact và tắc nghẽn trong quá trình tái tạo ảnh, ảnh hưởng đến chất lượng và tốc độ hội tụ của mô hình.

II. Main Idea:​

Đề xuất PixelGen, một khuôn khổ pixel diffusion đơn giản với giám sát nhận thức. PixelGen tạo ảnh trực tiếp trong không gian pixel một cách end-to-end, loại bỏ nhu cầu về VAE hoặc biểu diễn latent. Để giải quyết thách thức về không gian pixel phức tạp, PixelGen giới thiệu hai loss nhận thức bổ trợ:

  • LPIPS loss: Giúp mô hình học các mẫu cục bộ tốt hơn, đảm bảo chi tiết sắc nét và kết cấu thực tế.
  • P-DINO loss (DINO-based perceptual loss): Tăng cường ngữ nghĩa toàn cầu, cải thiện cấu trúc tổng thể và tính nhất quán đối tượng. Mô hình sử dụng công thức x-prediction và áp dụng chiến lược 'noise-gating' để tắt các loss nhận thức ở các bước thời gian nhiễu cao nhằm duy trì tính đa dạng của mẫu.

III. Main Results:​

PixelGen đã vượt qua các baseline latent diffusion mạnh mẽ với hiệu suất vượt trội:

  • Đạt FID 5.11 trên ImageNet-256 mà không cần classifier-free guidance (CFG) chỉ với 80 epoch huấn luyện, vượt xa các mô hình latent diffusion như REPA-XL/2 (FID 5.90 với 800 epoch) và DDT-XL/2 (FID 6.27 với 400 epoch).
  • Trong tác vụ tạo ảnh từ văn bản (text-to-image generation), PixelGen-XXL đạt tổng điểm GenEval là 0.79, ngang bằng hoặc vượt qua các mô hình diffusion quy mô lớn gần đây như FLUX.1-dev và DALL-E 3, mặc dù sử dụng ít tham số hơn.
  • Với cùng 200K bước huấn luyện, PixelGen giảm FID đáng kể từ 23.67 (JiT baseline) xuống 7.53, cho thấy hiệu quả của giám sát nhận thức.

IV. Conclusion & Future Works:​

PixelGen là một khuôn khổ pixel diffusion đơn giản, end-to-end với hai loss nhận thức bổ trợ (LPIPS cho độ chân thực cục bộ và P-DINO cho ngữ nghĩa toàn cầu), khuyến khích mô hình tập trung vào manifold nhận thức thay vì manifold ảnh phức tạp. Nó cải thiện đáng kể hiệu suất tạo ảnh, cho phép pixel diffusion vượt trội hơn các mô hình latent diffusion mà không cần CFG và đạt hiệu suất cạnh tranh với CFG.

Công việc trong tương lai bao gồm phát triển các bộ lấy mẫu (sampler) không gian pixel hoặc chiến lược CFG hiệu quả hơn, và kết hợp các mục tiêu nhận thức phong phú hơn như adversarial losses.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu và phát triển các bộ lấy mẫu (sampler) mới dành riêng cho không gian pixel nhằm tối ưu hóa tốc độ và chất lượng của quá trình tạo ảnh, đồng thời cải thiện khả năng tương thích với các chiến lược hướng dẫn.
  2. Khám phá các chiến lược hướng dẫn (CFG - Classifier-Free Guidance) tiên tiến hơn cho pixel diffusion, đặc biệt là các phương pháp tích hợp sâu sắc hơn với các loss nhận thức để nâng cao khả năng kiểm soát và chất lượng của ảnh tạo ra.
  3. Tích hợp các adversarial losses (ví dụ: từ GAN) vào khuôn khổ PixelGen để cải thiện độ chân thực và sắc nét của ảnh, đồng thời duy trì sự ổn định trong quá trình huấn luyện pixel diffusion.

2. Patent:​

  1. Một hệ thống tăng cường chất lượng hình ảnh thông minh trên điện thoại di động, sử dụng các nguyên lý tương tự PixelGen để phân tích và cải thiện tự động chi tiết cục bộ (như kết cấu da, vật thể nhỏ) và cấu trúc tổng thể của ảnh chụp. Điều này giúp người dùng có được những bức ảnh rõ nét hơn, đặc biệt là khi chụp trong điều kiện ánh sáng yếu hoặc bằng camera điện thoại có độ phân giải hạn chế, mà không cần chỉnh sửa thủ công.
  2. Công nghệ tạo ảnh từ văn bản thế hệ mới cho ứng dụng di động, cho phép người dùng nhập các mô tả bằng ngôn ngữ tự nhiên (ví dụ: "một con mèo lông xù đang nằm trên bãi cỏ xanh") và hệ thống sẽ tạo ra hình ảnh chất lượng cao trực tiếp trên điện thoại. Giải pháp này không yêu cầu các mô hình trung gian phức tạp như VAE, tối ưu hóa cho hiệu suất và tài nguyên của thiết bị di động.
  3. Phương pháp chỉnh sửa và biến đổi ảnh dựa trên ngữ nghĩa cho ứng dụng điện thoại. Người dùng có thể yêu cầu các thay đổi cấp cao như "làm cho bầu trời trong xanh hơn" hoặc "thêm chi tiết hoa văn trên áo", và hệ thống sẽ áp dụng các điều chỉnh có ý nghĩa về mặt nhận thức, đảm bảo kết quả trông tự nhiên và liền mạch. Điều này được thực hiện thông qua việc sử dụng các loss nhận thức để hướng dẫn quá trình chỉnh sửa, giống như cách PixelGen cân bằng giữa chi tiết cục bộ và ngữ nghĩa toàn cầu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02493
ArXiv Abstracthttps://arxiv.org/abs/2602.02493
PDF Downloadhttps://arxiv.org/pdf/2602.02493.pdf
Github Repositoryhttps://github.com/Zehong-Ma/PixelGen

11. Rethinking Generative Recommender Tokenizer: Recsys-Native Encoding and Semantic Quantization Beyond LLMs (40 votes)​

Tác giả: Yu Liang, Zhongjin Zhang, Yuxuan Zhu, Kerui Zhang, Zhiluohan Guo, Wenhang Zhou, Zonqi Yang, Kangle Wu, Yabo Ni, Anxiang Zeng, Cong Fu, Jianxin Wang, Jiazhi Xia

Xuất bản lúc: 2026-02-02

Tag: Generative AI, Recommender Systems, Representation Learning, Quantization

I. Main Problem:​

I. Main Problem:​

Các phương pháp khuyến nghị dựa trên Semantic ID (SID) hiện tại gặp vấn đề do tuân theo một quy trình "semantic-centric": biểu diễn item được học từ các mô hình nền tảng (LLMs) và được lượng tử hóa bằng các lược đồ chung chung. Thiết kế này không phù hợp với mục tiêu của khuyến nghị tạo sinh vì:

  1. Sự không tương thích trong trích xuất biểu diễn: Các mô hình nền tảng chủ yếu được tối ưu hóa cho sự tương đồng ngữ nghĩa, điều này thường mâu thuẫn với tín hiệu cộng tác. Ngay cả khi tinh chỉnh, chi phí cao và không có cách nguyên tắc nào để đánh giá liệu các biểu diễn đã học có phù hợp cho việc token hóa SID định hướng khuyến nghị hay không.
  2. Các phương pháp lượng tử hóa hiện có làm suy yếu khả năng dự đoán tuần tự: Chúng thường chỉ tập trung vào độ trung thực tái tạo hoặc cấu trúc phân cấp, mà không xem xét đồng thời cả hai. Việc chỉ mục hóa cục bộ trong các lược đồ phân cấp dẫn đến đa phương thức và sự mơ hồ ngữ nghĩa cao, làm giảm độ trung thực tái tạo và gây khó khăn cho việc mô hình hóa tự hồi quy. Các bộ lượng tử hóa dựa trên tái tạo thì lại bỏ qua sự phụ thuộc chỉ mục tuần tự giữa các cấp mã.

II. Main Idea:​

II. Main Idea:​

Để giải quyết các vấn đề trên, chúng tôi đề xuất ReSID, một framework SID nguyên tắc, "recommendation-native", tư duy lại việc học biểu diễn và lượng tử hóa từ góc độ bảo toàn thông tin và khả năng dự đoán tuần tự, mà không dựa vào LLMs. ReSID được xây dựng dựa trên hai nguyên tắc thiết kế chính:

  1. Giai đoạn học biểu diễn (E-stage) phải "collaboration-dominant": Biểu diễn phải được định hình chủ yếu bởi tín hiệu tương tác của người dùng, với thông tin ngữ nghĩa chỉ đóng vai trò hỗ trợ.
  2. Giai đoạn lượng tử hóa (Q-stage) phải bảo toàn tối đa thông tin liên quan đến nhiệm vụ và khuyến khích cấu trúc có thể dự đoán tuần tự: Lượng tử hóa SID không chỉ giảm thiểu sai lệch tái tạo mà còn giảm sự không chắc chắn nội tại trong giải mã tự hồi quy.

ReSID bao gồm hai thành phần chính:

  1. Field-Aware Masked Auto-Encoding (FAMAE): Học các biểu diễn item đủ tính dự đoán từ các đặc trưng có cấu trúc. Thay vì dựa vào LLMs để nhúng thông tin, FAMAE huấn luyện một bộ mã hóa Transformer bằng cách dự đoán các trường đặc trưng có cấu trúc bị che khuất, được điều kiện hóa bởi các trường còn lại và lịch sử người dùng. Phương pháp này đảm bảo thông tin liên quan đến nhiệm vụ được bảo toàn và cho phép các chỉ số đánh giá chất lượng nhúng "task-aware".
  2. Globally Aligned Orthogonal Quantization (GAOQ): Tạo ra các chuỗi SID nhỏ gọn và có thể dự đoán được bằng cách giảm đồng thời sự mơ hồ ngữ nghĩa và sự không chắc chắn có điều kiện tiền tố. GAOQ kết hợp lượng tử hóa vector phân cấp với chỉ mục được căn chỉnh toàn cục. Nó căn chỉnh các vector con cụm bằng cách trừ đi tâm cụm cha và gán chỉ mục bằng cách khớp các vector đã căn chỉnh này với các hướng tham chiếu gần như trực giao được chia sẻ, đảm bảo tính nhất quán ngữ nghĩa của chỉ mục trên các tiền tố khác nhau.

III. Main Results:​

III. Main Results:​

  • ReSID liên tục đạt hiệu suất tốt nhất trên tất cả các chỉ số và bộ dữ liệu. Đây là phương pháp dựa trên SID đầu tiên liên tục vượt trội hơn các bộ khuyến nghị tuần tự dựa trên ID item mạnh mẽ ngay cả khi chúng được tăng cường bằng thông tin phụ có cấu trúc, với mức cải thiện trung bình hơn 10%.
  • So với baseline SID tốt nhất trước đây (LETTER), ReSID đạt mức cải thiện trung bình 16.0%/13.8% trên Recall@5/10 và 16.2%/14.9% trên NDCG@5/10.
  • ReSID giảm chi phí token hóa lên đến 122 lần so với các phương pháp hiện có trên các bộ dữ liệu quy mô hàng triệu, cho thấy hiệu quả tính toán vượt trội.
  • Nghiên cứu loại bỏ cho thấy cả FAMAE và GAOQ đều đóng góp đáng kể vào hiệu suất tổng thể của ReSID, xác nhận các phân tích "predictive sufficiency" của FAMAE và tầm quan trọng của việc căn chỉnh chỉ mục toàn cục trong GAOQ.
  • Các chỉ số chất lượng nhúng "task-aware" được đề xuất (Khả năng mô hình hóa cộng tác và Ngữ nghĩa phân biệt/Cấu trúc không gian) có mối tương quan tích cực mạnh mẽ với hiệu suất khuyến nghị downstream, cung cấp các công cụ chẩn đoán nhẹ nhàng cho giai đoạn E.

IV. Conclusion & Future Works:​

IV. Conclusion & Future Works:​

  • Kết luận: ReSID là một framework SID "recommendation-native" nguyên tắc, căn chỉnh việc học biểu diễn và mục tiêu lượng tử hóa với các yêu cầu thông tin của khuyến nghị tạo sinh. Thông qua Field-Aware Masked Auto-Encoding (FAMAE) và Globally Aligned Orthogonal Quantization (GAOQ), ReSID tạo ra các Semantic ID (SIDs) nhỏ gọn và có thể dự đoán được một cách hiệu quả mà không cần các mô hình nền tảng. Cả phân tích lý thuyết và kết quả thực nghiệm rộng rãi đều chứng minh sự vượt trội của ReSID, trở thành phương pháp dựa trên SID đầu tiên vượt trội hơn các baseline dựa trên ID item mạnh mẽ được tăng cường thông tin phụ.
  • Công việc tương lai:
    • Việc phát triển các phương pháp chẩn đoán nguyên tắc cho GAOQ vẫn là một thách thức mở.
    • Các mô hình tạo sinh dựa trên SID hội tụ chậm hơn đáng kể (gấp hàng chục lần) so với các phương pháp dựa trên ID item như SASRec, đây là một vấn đề cần giải quyết trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu phát triển các chỉ số chẩn đoán định lượng và lý thuyết vững chắc cho các thuật toán lượng tử hóa vector phân cấp (như GAOQ) để đánh giá hiệu quả giảm sự mơ hồ ngữ nghĩa và cải thiện khả năng dự đoán tuần tự của mã hóa SID.
  2. Khám phá các phương pháp mới để tăng tốc quá trình hội tụ của các mô hình khuyến nghị tạo sinh dựa trên SID, bao gồm việc tích hợp các kỹ thuật học tăng cường (Reinforcement Learning) hoặc chiến lược huấn luyện đa tác vụ để cải thiện hiệu quả học tập.
  3. Mở rộng framework FAMAE để xử lý hiệu quả các đặc trưng đa phương thức (ví dụ: hình ảnh, video) từ item, phát triển các cơ chế che mặt và dự đoán phù hợp mà vẫn duy trì tính "recommendation-native" và khả năng mở rộng của mô hình.

2. Patent:​

  1. Hệ thống tạo mã sản phẩm thông minh cho ứng dụng mua sắm trên điện thoại: Một hệ thống sử dụng công nghệ tạo mã item nhỏ gọn (như của ReSID) để mã hóa hàng triệu sản phẩm trong danh mục mua sắm trực tuyến. Khi người dùng tương tác với sản phẩm hoặc duyệt qua các danh mục trên điện thoại của họ, hệ thống này sẽ nhanh chóng tạo và giải mã các mã sản phẩm để đề xuất các sản phẩm liên quan theo thời gian thực. Điều này giúp ứng dụng mua sắm phản hồi nhanh hơn, tiết kiệm dữ liệu di động và cung cấp gợi ý chính xác hơn dựa trên các đặc tính sản phẩm và hành vi trước đó của người dùng.
  2. Công cụ cá nhân hóa nội dung thông minh cho ứng dụng tin tức/truyền thông trên điện thoại di động: Một công cụ tích hợp vào các ứng dụng tin tức hoặc mạng xã hội, sử dụng phương pháp tạo biểu diễn và lượng tử hóa item (như FAMAE và GAOQ) để hiểu sâu về sở thích đọc hoặc xem của người dùng. Mỗi bài báo, video hoặc bài đăng sẽ được gán một chuỗi mã ngữ nghĩa nhỏ gọn. Dựa trên chuỗi mã này và lịch sử tương tác của người dùng trên điện thoại, công cụ có thể tự động sắp xếp và đề xuất nội dung mới, đảm bảo rằng thông tin được hiển thị luôn phù hợp, hấp dẫn và tải nhanh chóng trên mọi thiết bị di động.
  3. Mô hình gợi ý âm nhạc/podcast tự động cho ứng dụng nghe nhạc trên điện thoại thông minh: Phát triển một mô hình sử dụng kỹ thuật mã hóa item của ReSID để biến mỗi bài hát, podcast hoặc audio clip thành một chuỗi mã số có thể dự đoán được. Khi người dùng nghe nhạc trên điện thoại, hệ thống sẽ phân tích chuỗi mã của các bài đã nghe để dự đoán và tự động phát các bài tiếp theo một cách hợp lý và mượt mà, ngay cả khi không có kết nối internet ổn định. Công nghệ này tối ưu hóa việc tiêu thụ tài nguyên trên thiết bị di động và mang lại trải nghiệm nghe cá nhân hóa cao.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02338
ArXiv Abstracthttps://arxiv.org/abs/2602.02338
PDF Downloadhttps://arxiv.org/pdf/2602.02338.pdf
Github Repositoryhttps://github.com/FuCongResearchSquad/ReSID

12. WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora (40 votes)​

Tác giả: Pengyu Wang, Benfeng Xu, Licheng Zhang, Shaohan Wang, Mingxuan Du, Chiwei Zhu, Zhendong Mao

Xuất bản lúc: 2026-02-02

Tag: RAG, GraphRAG, LLMs, Benchmarking

I. Main Problem:​

Nhiều điểm chuẩn hiện có cho GraphRAG dựa vào các đoạn văn ngắn, được chọn lọc làm kiến thức bên ngoài, không đánh giá đầy đủ các hệ thống trong môi trường thực tế liên quan đến ngữ cảnh dài và tài liệu không đồng nhất quy mô lớn. Ngoài ra, nhiều điểm chuẩn làm cho nhiệm vụ gần giống với việc tra cứu và ghép nối hơn là tổng hợp đa tài liệu thực sự, bỏ qua khả năng quan trọng của GraphRAG trong việc tích hợp bằng chứng phân tán.

II. Main Idea:​

Để khắc phục hạn chế này, chúng tôi giới thiệu WildGraphBench, một điểm chuẩn được thiết kế để đánh giá hiệu suất GraphRAG trong môi trường 'hoang dã'. Chúng tôi tận dụng cấu trúc độc đáo của Wikipedia, nơi các câu chuyện mạch lạc được dựa trên các tài liệu tham khảo bên ngoài dài và không đồng nhất, để xây dựng một điểm chuẩn phản ánh các kịch bản thế giới thực. Cụ thể, chúng tôi lấy mẫu các bài viết từ 12 chủ đề cấp cao nhất, sử dụng các tài liệu tham khảo bên ngoài của chúng làm kho truy xuất và các câu lệnh được liên kết với trích dẫn làm dữ liệu ground truth. Điều này tạo ra hơn 1.100 câu hỏi thuộc ba mức độ phức tạp: QA một sự thật, QA đa sự thật và tóm tắt cấp độ phần. Chúng tôi cũng giới thiệu một phương pháp đánh giá dựa trên câu lệnh.

III. Main Results:​

Các thí nghiệm trên nhiều baseline cho thấy rằng các pipeline GraphRAG hiện tại giúp tổng hợp đa sự thật khi bằng chứng đến từ một số lượng nguồn vừa phải. Tuy nhiên, mô hình tổng hợp này có thể quá nhấn mạnh các câu lệnh cấp cao mà bỏ qua các chi tiết nhỏ, dẫn đến hiệu suất yếu hơn trong các nhiệm vụ tóm tắt. Các baseline RAG phẳng như NaiveRAG cạnh tranh tốt trong việc tìm kiếm một sự thật và đạt được độ phủ (recall) cao hơn trong các nhiệm vụ tóm tắt. GraphRAG không phải lúc nào cũng có lợi thế đối với các câu hỏi dễ. WildGraphBench có độ kết nối đồ thị dày đặc hơn so với các bộ dữ liệu khác, với mức độ trung bình cao nhất (3.11) và tỷ lệ nút bị cô lập thấp nhất (0.14), cho thấy nhiều liên kết chéo tài liệu hơn và ít thành phần ngắt kết nối hơn. Nó cũng cho thấy một khoảng cách lớn về mức độ tối đa, gợi ý sự hiện diện của các 'thực thể trung tâm' được nhiều trang khác nhau liên kết lặp đi lặp lại, khiến cho việc tổng hợp từ nhiều nguồn trở nên khó khăn hơn.

IV. Conclusion & Future Works:​

WildGraphBench là một điểm chuẩn được thiết kế để đánh giá GraphRAG trên các tập hợp dữ liệu nguồn 'hoang dã'. Trong khi truy xuất dựa trên đồ thị mang lại những cải thiện đáng kể trong tổng hợp bằng chứng đa sự thật, hiệu suất trên các nhiệm vụ tóm tắt vẫn còn thấp trên tất cả các phương pháp trong môi trường 'hoang dã' này, nhấn mạnh nhu cầu cấp thiết về các cơ chế thu thập và tổng hợp bằng chứng mạnh mẽ hơn trong các kịch bản thực tế. Điểm chuẩn này có những hạn chế như việc dựa vào Wikipedia phản ánh sự đồng thuận của biên tập viên chứ không phải sự thật tuyệt đối, và việc đánh giá dựa trên LLM có thể gây ra các thiên vị hệ thống. Do đó, cần có những cải tiến trong thiết kế phương pháp để cân bằng độ phủ và độ chính xác trong các tác vụ tóm tắt.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển các phương pháp đánh giá mạnh mẽ hơn cho RAG và GraphRAG, giảm thiểu các thiên vị có hệ thống (ví dụ: ưu tiên cách diễn đạt hoặc độ dài nhất định) so với đánh giá dựa trên LLM hiện tại.
  2. Nghiên cứu các cơ chế xây dựng đồ thị và tổng hợp thông tin có khả năng mở rộng và mạnh mẽ hơn cho GraphRAG, đặc biệt để cải thiện hiệu suất trong các nhiệm vụ tóm tắt từ các ngữ cảnh dài, nhiễu loạn và không đồng nhất.
  3. Khám phá các chiến lược tối ưu để cân bằng độ phủ bằng chứng (recall) và tỷ lệ thông tin sai lệch (precision) trong các hệ thống GraphRAG khi đối mặt với các nguồn dữ liệu 'hoang dã' và ngân sách truy xuất/tính toán hạn chế.

2. Patent:​

  1. Một ứng dụng di động có khả năng trả lời các câu hỏi phức tạp của người dùng bằng cách tổng hợp thông tin từ nhiều nguồn trực tuyến khác nhau (ví dụ: tin tức, blog, báo cáo), đồng thời hiển thị rõ ràng nguồn gốc của từng phần thông tin để người dùng kiểm chứng. Ứng dụng này sẽ đặc biệt hữu ích cho việc xác minh tin tức hoặc nghiên cứu nhanh.
  2. Một tính năng trợ lý thông minh trên điện thoại giúp tóm tắt các bài báo dài hoặc trang web có nhiều liên kết ngoài bằng cách tổng hợp các sự kiện chính từ tất cả các tài liệu tham khảo liên quan. Điều này giúp người dùng nắm bắt nhanh nội dung cốt lõi mà không cần đọc từng nguồn một.
  3. Một ứng dụng kiểm tra tính xác thực (fact-checking) trên điện thoại, cho phép người dùng nhập các tuyên bố hoặc đoạn văn bản và ứng dụng sẽ tự động tham chiếu chéo thông tin đó với nhiều nguồn web không được chọn lọc, sau đó làm nổi bật các bằng chứng hỗ trợ hoặc mâu thuẫn. Điều này giúp chống lại thông tin sai lệch và cung cấp cái nhìn tổng quan đáng tin cậy.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02053
ArXiv Abstracthttps://arxiv.org/abs/2602.02053
PDF Downloadhttps://arxiv.org/pdf/2602.02053.pdf
Github Repositoryhttps://github.com/BstWPY/WildGraphBench

13. Generative Visual Code Mobile World Models (38 votes)​

Tác giả: Woosung Koh, Sungjun Han, Segyu Lee, Se-Young Yun, Jamin Shin

Xuất bản lúc: 2026-02-02

Tag: Generative Models, Vision-Language Models, World Models, Mobile GUI, Code Generation

I. Main Problem:​

Các mô hình thế giới (World Models - WMs) giao diện người dùng đồ họa (GUI) di động hiện tại đối mặt với sự đánh đổi quan trọng: các WM dựa trên văn bản hy sinh độ trung thực về hình ảnh, trong khi các WM hình ảnh không thể kết xuất văn bản chính xác, dẫn đến sự phụ thuộc vào các pipeline chậm, phức tạp và cần nhiều mô hình bên ngoài (ví dụ: VIMO).

Cụ thể, VIMO là một pipeline nhiều giai đoạn phức tạp, yêu cầu các mô hình OCR và VLM (như GPT-4o) bên ngoài cho các tác vụ như nhận diện văn bản, lọc vùng bị che và điền văn bản, cũng như chuyển đổi hành động dựa trên tọa độ sang văn bản. Ngoài ra, VIMO không phát hành trọng số mô hình khuếch tán tùy chỉnh, gây khó khăn cho việc tái tạo và triển khai.

Các mô hình tạo ảnh nói chung cũng thất bại trong việc tạo ra các trạng thái tiếp theo khả thi, thường tạo ra văn bản không đọc được và bố cục méo mó, vì chúng có xu hướng sao chép trạng thái đầu vào với các chỉnh sửa nhỏ thay vì mô hình hóa chuyển đổi ngữ nghĩa.

II. Main Idea:​

Nghiên cứu đề xuất một mô hình mới: mô hình thế giới trực quan thông qua việc tạo mã nguồn có thể kết xuất. Theo đó, một mô hình Vision-Language Model (VLM) duy nhất sẽ dự đoán trạng thái GUI tiếp theo dưới dạng mã web có thể thực thi để hiển thị pixel, thay vì trực tiếp tạo ra pixel.

Cách tiếp cận này kết hợp ưu điểm của cả hai phương pháp: VLM duy trì kiến thức ngôn ngữ tiên nghiệm để kết xuất văn bản chính xác, đồng thời việc huấn luyện trước trên mã web có cấu trúc cho phép tạo hình ảnh có độ trung thực cao.

Nghiên cứu giới thiệu gWorld (8B, 32B), các mô hình thế giới GUI di động trực quan mã nguồn mở đầu tiên được xây dựng trên mô hình này. Đồng thời, một framework tạo dữ liệu mới được đề xuất để tự động tổng hợp dữ liệu huấn luyện dựa trên mã nguồn, bao gồm ba bước:

  1. Tái sử dụng quỹ đạo chính sách: Chuyển đổi quỹ đạo tác nhân di động ngoại tuyến thành các cặp (St, At) và trạng thái tiếp theo (St+1).
  2. Gán nhãn lại trạng thái đa phương thức tổng hợp: Chuyển đổi trạng thái St+1 từ pixel sang mã web có thể kết xuất bằng cách sử dụng một mô hình biên (frontier model).
  3. Dữ liệu lập luận với khả năng nhìn trước (look-ahead): Tổng hợp các dấu vết lập luận (Rt) bằng cách sử dụng quyền truy cập vào trạng thái đích để phân tách vấn đề mô hình hóa thế giới phức tạp thành các bài toán con đơn giản hơn.

Nghiên cứu cũng giới thiệu MWMBENCH, một benchmark toàn diện để đánh giá mô hình thế giới GUI di động, bao gồm 4 benchmark trong phân phối (in-distribution) và 2 benchmark ngoài phân phối (out-of-distribution), sử dụng không gian hành động tọa độ thực tế và đánh giá khả năng khái quát hóa zero-shot.

III. Main Results:​

  • gWorld (8B, 32B) thiết lập một biên Pareto mới về độ chính xác so với kích thước mô hình, vượt trội hơn 8 mô hình mã nguồn mở hàng đầu có kích thước lớn hơn tới 50.25 lần.
  • gWorld 32B và 8B lần lượt đạt hiệu suất tốt nhất và thứ hai (IAcc.) trên cả sáu benchmark (4 trong phân phối và 2 ngoài phân phối), chứng tỏ khả năng khái quát hóa mạnh mẽ ngay cả trên các benchmark ngoài phân phối.
  • Phương pháp tiếp cận dựa trên mã nguồn của chúng tôi hầu như loại bỏ lỗi cấu trúc (<1% Render Fail), mang lại mức tăng trung bình +45.7% và +27.1% về Độ chính xác hướng dẫn (IAcc.) so với các mô hình nền Qwen3 VL 8B và 32B tương ứng.
  • Quy luật mở rộng dữ liệu: Tăng kích thước bộ dữ liệu (37K, 77K, 129K, 240K) mang lại hiệu suất tăng lên một cách có thể dự đoán được, tuân thủ chặt chẽ định luật lũy thừa (R2 trung bình là 0.948).
  • Các nghiên cứu loại bỏ (ablation studies) xác nhận rằng mỗi thành phần của phương pháp đề xuất (gán nhãn lại trạng thái đa phương thức tổng hợp và dữ liệu lập luận với nhìn trước) đều đóng góp đáng kể vào chất lượng dữ liệu và hiệu suất mô hình.
  • Hiệu suất mô hình thế giới tốt hơn tương quan với hiệu suất mô hình chính sách tốt hơn: cứ 1.0 điểm phần trăm tăng trong hiệu suất mô hình thế giới sẽ chuyển thành 0.49 điểm phần trăm cải thiện trong hiệu suất chính sách tiếp theo.
  • gWorld 8B và 32B đạt điểm tương đồng trung bình DINO v1 là 81% và 81.9% trên MWMBENCH-AITW và MWMBENCH-ANDROIDCONTROL, vượt trội hơn VIMO (74%).
  • Việc kết xuất mã web gần như không tốn thêm chi phí (khoảng 0.3 giây mỗi lần kết xuất sau khi khởi động trình duyệt 1 giây).
  • Suy luận song song nhanh: gWorld 32B và 8B đạt thông lượng 5.000 và 20.000 token/giây, cho phép triển khai song song đáng kể.

IV. Conclusion & Future Works:​

Nghiên cứu giới thiệu gWorld, mô hình thế giới GUI di động trực quan mã nguồn mở đầu tiên hoạt động thông qua việc tạo mã có thể kết xuất. Mô hình này giải quyết các hạn chế của các mô hình thế giới trực quan trước đây về độ phức tạp và khó khăn trong việc kết xuất văn bản, cũng như các hạn chế của các mô hình tạo ảnh trong việc nắm bắt động lực học của giao diện.

gWorld thể hiện hiệu suất vượt trội, khả năng mở rộng tốt và tác động tích cực đến hiệu suất chính sách hạ nguồn. Các mô hình thế giới có tiềm năng lớn trong việc giải quyết các thách thức trong huấn luyện tác nhân GUI di động, bao gồm:

  • Mô phỏng các hành động rủi ro: Cho phép tác nhân mô phỏng các hành động quan trọng mà không cần thực hiện trong môi trường thực.
  • Mở rộng phạm vi trạng thái ứng dụng: Đệ quy tạo quỹ đạo từ các trạng thái đã thu thập để tăng cường khả năng khám phá các trạng thái sâu.
  • Tăng cường khả năng mở rộng của Học Tăng cường (RL) trực tuyến: Loại bỏ nút thắt cổ chai phụ thuộc vào thiết bị, cho phép tạo ra các quỹ đạo song song lớn và tăng cường khả năng tổng hợp dữ liệu tổng hợp quy mô lớn và Học tăng cường có thể mở rộng.

Nghiên cứu mong muốn các công trình trong tương lai sẽ mở rộng các ứng dụng sâu rộng của các mô hình thế giới GUI di động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển mô hình thế giới di động dựa trên mã nguồn có thể kết xuất cho các nền tảng giao diện người dùng gốc (native GUI) hoặc môi trường thực tế ảo/tăng cường (VR/AR), vượt ra ngoài việc tạo mã web.
  2. Nghiên cứu các phương pháp tự động hóa hoàn toàn quá trình tạo dữ liệu huấn luyện cho mô hình thế giới di động dựa trên mã nguồn, tập trung vào việc chuyển đổi từ pixel sang mã nguồn mà không cần sự can thiệp của các mô hình biên (frontier model) bên ngoài.
  3. Khám phá cách tích hợp sâu hơn các mô hình thế giới di động dựa trên mã nguồn vào các hệ thống tác nhân GUI phức tạp, bao gồm các chiến lược học tăng cường trực tuyến quy mô lớn và lập kế hoạch dài hạn trong các môi trường ứng dụng di động đa dạng.

2. Patent:​

  1. Hệ thống kiểm thử ứng dụng di động tự động thông minh: Một hệ thống có khả năng tự động kiểm tra các ứng dụng trên điện thoại bằng cách dự đoán giao diện màn hình tiếp theo sau mỗi thao tác (ví dụ: chạm, vuốt). Thay vì chạy ứng dụng thật, hệ thống tạo ra một bản mô tả bằng mã nguồn của màn hình dự kiến, giúp phát hiện lỗi hiển thị, lỗi chức năng hoặc các vấn đề về bố cục một cách nhanh chóng và hiệu quả, tiết kiệm thời gian và chi phí cho nhà phát triển ứng dụng di động.
  2. Trợ lý ảo giao diện di động cho người dùng: Một trợ lý thông minh trên điện thoại có khả năng hiểu được màn hình hiện tại và dự đoán các kết quả màn hình có thể xảy ra khi người dùng thực hiện một hành động. Điều này cho phép trợ lý đưa ra các gợi ý chính xác cho các bước tiếp theo, tự động điền thông tin hoặc hoàn thành các tác vụ phức tạp chỉ bằng một vài lời nói hoặc chạm. Nó có thể giúp người dùng tương tác với điện thoại một cách dễ dàng và hiệu quả hơn, đặc biệt hữu ích cho những người gặp khó khăn trong việc sử dụng màn hình cảm ứng.
  3. Công cụ tạo mẫu giao diện di động từ mô tả đơn giản: Một công cụ cho phép các nhà thiết kế và nhà phát triển tạo ra các bản mẫu (prototype) giao diện ứng dụng di động một cách nhanh chóng. Người dùng chỉ cần cung cấp hình ảnh phác thảo hoặc mô tả bằng văn bản về giao diện mong muốn, hệ thống sẽ tự động chuyển đổi thành mã nguồn có thể hiển thị chính xác trên trình duyệt web hoặc công cụ phát triển, giúp hình dung và thử nghiệm thiết kế sớm hơn trong quá trình phát triển ứng dụng di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01576
ArXiv Abstracthttps://arxiv.org/abs/2602.01576
PDF Downloadhttps://arxiv.org/pdf/2602.01576.pdf
Github Repositoryhttps://github.com/trillion-labs/gWorld

14. Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning (39 votes)​

Tác giả: Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng

Xuất bản lúc: 2026-02-01

Tag: LLMs, Reinforcement Learning, Supervised Fine-Tuning, Off-Policy Evaluation, Reasoning

I. Main Problem:​

Vấn đề chính mà nghiên cứu này giải quyết là sự không khớp phân phối giữa giai đoạn fine-tuning có giám sát (SFT) ngoại tuyến và giai đoạn học tăng cường (RL) trực tuyến trong quá trình hậu huấn luyện các mô hình ngôn ngữ lớn (LLM) suy luận. Cụ thể:

  1. Tối ưu hóa cô lập: Giai đoạn SFT thường được tối ưu hóa một cách cô lập chỉ để tối đa hóa hiệu suất SFT, bỏ qua tác động đến hiệu suất cuối cùng sau RL.
  2. Hiệu suất sai lệch: Các mô hình được khởi tạo từ các checkpoint SFT "mạnh hơn" có thể hoạt động kém hơn đáng kể so với các checkpoint SFT "yếu hơn" sau khi trải qua quá trình huấn luyện RL trực tuyến giống hệt nhau. Điều này cho thấy hiệu suất SFT không phải là thước đo đáng tin cậy cho hiệu suất sau RL.
  3. Không khớp phân phối: Phân phối dữ liệu tạo ra dữ liệu SFT ngoại tuyến (chính sách hành vi) khác biệt đáng kể so với chính sách được tối ưu hóa trong RL trực tuyến (chính sách mục tiêu), vốn học từ các lần chạy của chính nó. Sự không khớp này khiến các cập nhật của SFT không nhất quán với hướng học tập của RL.

II. Main Idea:​

Ý tưởng chính được các tác giả đề xuất là PEAR (Policy Evaluation–inspired Algorithm for Offline Learning Loss Reweighting), một phương pháp trọng số lại tổn thất trong giai đoạn SFT để tạo ra một khởi tạo mạnh mẽ và phù hợp hơn cho quá trình học tăng cường (RL) tiếp theo. PEAR giải quyết sự không khớp phân phối giữa chính sách hành vi (tạo dữ liệu SFT) và chính sách mục tiêu (tối ưu hóa trong RL) bằng cách:

  1. Sử dụng Trọng số Quan trọng (Importance Weighting): PEAR áp dụng các trọng số quan trọng dựa trên tỷ lệ khả năng giữa chính sách mục tiêu (mô hình đang được huấn luyện) và chính sách hành vi (mô hình tạo dữ liệu ngoại tuyến) để trọng số lại tổn thất SFT. Điều này giúp các cập nhật ngoại tuyến phản ánh tốt hơn các quỹ đạo mà RL trực tuyến sẽ thực sự khám phá.
  2. Các biến thể trọng số: PEAR cung cấp ba biến thể để tổng hợp các tỷ lệ khả năng, tùy theo mức độ chi tiết mong muốn:
    • Cấp độ chuỗi (Sequence-Level): Gán cùng một trọng số cho tất cả các token trong một chuỗi, dựa trên tỷ lệ khả năng của toàn bộ chuỗi.
    • Cấp độ token (Token-Level / Suffix-based): Trọng số từng token dựa trên tỷ lệ quan trọng của phần tiếp nối (suffix) sau token đó, đánh giá mức độ khả thi của phần còn lại của chuỗi dưới chính sách mục tiêu.
    • Cấp độ khối (Block-Level): Chia chuỗi thành các khối và gán cùng một trọng số tiếp nối được chiết khấu cho tất cả các token trong một khối, nhằm cải thiện sự ổn định so với trọng số cấp độ token.
  3. Tích hợp linh hoạt: PEAR có thể được sử dụng để bổ trợ cho các mục tiêu SFT tiêu chuẩn (như Negative Log-Likelihood hoặc Knowledge Distillation) với chi phí huấn luyện bổ sung thấp.
  4. Ổn định số học: Để tránh phương sai lớn và mất ổn định, PEAR tính toán các trọng số quan trọng trong không gian log và áp dụng cắt (clipping) cho các tỷ lệ xác suất và trọng số cuối cùng.
  5. Kết hợp ví dụ tiêu cực (Tùy chọn): Khi có dữ liệu về các phản hồi thất bại được xác minh, PEAR có thể thêm một thuật ngữ đẩy lùi để giảm khả năng tạo ra các quỹ đạo tiêu cực.

III. Main Results:​

Các kết quả chính của nghiên cứu là:

  1. Cải thiện đáng kể hiệu suất sau RL: PEAR nhất quán cải thiện hiệu suất sau khi huấn luyện RL so với SFT tiêu chuẩn trên các mô hình và tác vụ khác nhau. Cụ thể, đạt mức tăng Pass@8 lên tới 14.6% trên AIME-2025.
  2. Vượt trội so với các phương pháp SFT khác: Các mô hình được khởi tạo bằng PEAR (đặc biệt là biến thể cấp độ token) vượt trội hơn các mô hình được khởi tạo từ SFT thông thường và các kỹ thuật SFT hiện có khác trên các trò chơi logic suy luận (SynLogic Games) và các tác vụ suy luận toán học. Ví dụ, trên Qwen3-1.7B-Base, PEAR cải thiện tuyệt đối 40% độ chính xác trên trò chơi logic.
  3. Tính tổng quát và khả năng tương thích: Phương pháp trọng số của PEAR có thể được áp dụng thành công cho cả mục tiêu SFT dựa trên Negative Log-Likelihood (NLL) và Knowledge Distillation dựa trên KL, chứng tỏ tính tổng quát của nó.
  4. Tối ưu hóa tầm nhìn dài: Nghiên cứu chỉ ra rằng việc trọng số cho "tương lai" (sự tiếp nối của chuỗi) quan trọng hơn việc chỉ trọng số cho một hành động đơn lẻ; các phương pháp trọng số một bước kém hiệu quả hơn PEAR.
  5. Khả năng chuyển giao (Transferability): Các điểm kiểm tra được khởi tạo bằng PEAR cung cấp khởi tạo mạnh mẽ hơn cho RL trực tuyến ngay cả trên các phân phối tác vụ RL khác nhau (ví dụ: chuyển từ SynLogic sang Enigmata), cho thấy lợi ích của PEAR không bị quá khớp với miền ngoại tuyến.
  6. Giảm trôi dạt tham số: Các mô hình được khởi tạo bằng PEAR trải qua ít sự trôi dạt tham số hơn trong quá trình huấn luyện RL so với các phương pháp khởi tạo khác, cho thấy PEAR giúp các cập nhật ngoại tuyến phù hợp hơn với hướng học tập của RL trực tuyến.

IV. Conclusion & Future Works:​

Kết luận: Nghiên cứu kết luận rằng việc đánh giá các mục tiêu SFT không nên chỉ dựa trên độ chính xác của SFT mà phải dựa trên khả năng khởi tạo tốt cho giai đoạn RL tiếp theo. Hiệu suất SFT ngoại tuyến cao có thể là một thước đo không đáng tin cậy cho hiệu suất sau RL. PEAR (Policy Evaluation–inspired Algorithm for Offline Learning Loss Reweighting) được đề xuất để giải quyết sự không khớp chính sách giữa giai đoạn ngoại tuyến và trực tuyến. Bằng cách trọng số lại tổn thất SFT dựa trên khả năng của các phần tiếp nối được ghi lại dưới chính sách hiện tại, PEAR nhất quán cải thiện độ chính xác sau RL. Nguyên tắc thực tiễn được rút ra là giai đoạn ngoại tuyến nên ưu tiên các thành công có thể tái tạo dưới chính sách mục tiêu sẽ được tối ưu hóa trực tuyến.

Công việc tương lai: Văn bản trích xuất không nêu rõ các công việc tương lai cụ thể, nhưng gợi ý hướng nghiên cứu chung là "thiết kế và đánh giá SFT với RL hạ nguồn trong tâm trí thay vì cô lập", và "một bước hiệu quả hướng tới quá trình hậu huấn luyện LLM toàn diện hơn." Điều này ám chỉ việc tiếp tục phát triển các phương pháp SFT có nhận thức về RL để cải thiện quá trình hậu huấn luyện LLM một cách tổng thể.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các phương pháp trọng số động và thích ứng trong SFT: Khám phá các chiến lược tính toán trọng số trong quá trình huấn luyện SFT một cách động, thay vì chỉ dựa vào tỷ lệ xác suất tĩnh, để thích ứng tốt hơn với sự thay đổi của chính sách mục tiêu và chính sách hành vi. Điều này có thể bao gồm việc sử dụng mạng nơ-ron hoặc các kỹ thuật học máy khác để học các trọng số tối ưu theo thời gian.
  2. Mở rộng PEAR cho các dạng dữ liệu ngoại tuyến đa dạng: Áp dụng và điều chỉnh phương pháp trọng số lại cho các định dạng dữ liệu ngoại tuyến khác ngoài cặp prompt-response chuỗi đơn, chẳng hạn như dữ liệu có nhiều phản hồi tiềm năng, dữ liệu có độ dài rất dài, hoặc dữ liệu đa phương thức (ví dụ: kết hợp văn bản và hình ảnh).
  3. Tích hợp PEAR với các phương pháp RL ngoại tuyến: Nghiên cứu cách kết hợp phương pháp trọng số lại không chỉ để chuẩn bị cho RL trực tuyến mà còn để cải thiện hiệu suất của các phương pháp học tăng cường ngoại tuyến (Offline RL) ngay từ đầu, giảm thiểu sự phụ thuộc vào dữ liệu on-policy trong môi trường phức tạp hoặc tốn kém.

2. Patent:​

  1. Hệ thống điều chỉnh gợi ý thông minh cho bàn phím điện thoại: Phát triển một hệ thống bàn phím điện thoại thông minh sử dụng nguyên lý trọng số lại để cá nhân hóa gợi ý từ tiếp theo hoặc tự động sửa lỗi. Thay vì chỉ học từ lịch sử gõ của người dùng, hệ thống sẽ đánh giá mức độ khả thi của các gợi ý tiếp theo trong ngữ cảnh hội thoại hiện tại để đưa ra các gợi ý phù hợp và tự nhiên hơn, giúp người dùng gõ nhanh và chính xác hơn trên điện thoại.
  2. Ứng dụng quản lý tài chính cá nhân với gợi ý chiến lược đầu tư thích ứng: Xây dựng một ứng dụng quản lý tài chính cá nhân trên điện thoại có khả năng gợi ý các chiến lược đầu tư hoặc tiết kiệm. Ứng dụng sẽ học từ lịch sử giao dịch và mục tiêu tài chính của người dùng. Sau đó, nó sẽ sử dụng một cơ chế trọng số lại để ưu tiên các chiến lược phù hợp với tình hình thị trường hiện tại và xu hướng tài chính cá nhân mong muốn của người dùng, giúp người dùng đưa ra quyết định tài chính thông minh hơn.
  3. Hệ thống đề xuất lộ trình giao hàng/giao thức cá nhân hóa: Thiết kế một ứng dụng điện thoại cho người giao hàng hoặc tài xế công nghệ, nơi hệ thống không chỉ đề xuất lộ trình dựa trên dữ liệu giao hàng trước đây mà còn sử dụng một cơ chế trọng số lại để ưu tiên các lộ trình hoặc chuỗi tác vụ tối ưu hóa cho điều kiện giao thông, thời tiết, hoặc ưu tiên khách hàng hiện tại. Điều này giúp tài xế hoàn thành công việc hiệu quả hơn và thích ứng linh hoạt với các thay đổi bất ngờ trên đường.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01058
ArXiv Abstracthttps://arxiv.org/abs/2602.01058
PDF Downloadhttps://arxiv.org/pdf/2602.01058.pdf
Github RepositoryN/A

15. Thinking with Comics: Enhancing Multimodal Reasoning through Structured Visual Storytelling (34 votes)​

Tác giả: Andong Chen, Wenxin Zhu, Qiuyu Ding, Yuchen Song, Muyun Yang, Tiejun Zhao

Xuất bản lúc: 2026-02-02

Tag: LLMs, Multimodal Reasoning, Visual Storytelling, Comics, Chain-of-Thought, Image Generation, Video Generation

I. Main Problem:​

I. Main Problem:​

Vấn đề chính mà bài báo này nhằm giải quyết là những hạn chế rõ ràng trong các phương pháp suy luận đa phương thức hiện có:

  • Hình ảnh tĩnh: Khó thể hiện cấu trúc thời gian và các quy trình động, cũng như thiếu các tín hiệu văn bản rõ ràng làm phức tạp việc căn chỉnh đa phương thức.
  • Video: Cung cấp thông tin thời gian nhưng lại tạo ra sự dư thừa đáng kể và chi phí tính toán cao hơn đáng kể, hạn hưởng đến hiệu quả thực tế của chúng trong suy luận.

II. Main Idea:​

II. Main Idea:​

Các tác giả đề xuất Thinking with Comics (TwC), một mô hình suy luận trực quan mới sử dụng truyện tranh làm phương tiện có mật độ thông tin cao, nằm giữa hình ảnh và video. Truyện tranh bảo toàn cấu trúc thời gian, văn bản nhúng và tính mạch lạc của câu chuyện, đồng thời đòi hỏi chi phí suy luận thấp hơn đáng kể so với video.

Phương pháp này bao gồm hai đường dẫn chính:

  1. Suy luận trực quan từ đầu đến cuối (End-to-End Visualized Reasoning): Sử dụng mô hình tạo ảnh (ví dụ: Gemini-3 Pro Image) để trực tiếp tạo ra một bộ truyện tranh từ câu hỏi đầu vào, trong đó quá trình tạo truyện tranh chính là quá trình suy luận. Câu trả lời cuối cùng được trích xuất từ bảng cuối cùng.
  2. Truyện tranh làm ngữ cảnh điều kiện cho VLM (Comic as Conditioning Context for VLM): Đầu tiên, một bộ truyện tranh được tạo ra bằng mô hình tạo ảnh. Sau đó, truyện tranh này cùng với câu hỏi ban đầu được cung cấp làm đầu vào cho một Mô hình ngôn ngữ lớn đa phương thức (MLLM) để thực hiện suy luận chung. Truyện tranh đóng vai trò là một biến trung gian rõ ràng, cung cấp ngữ cảnh suy luận đa phương thức có cấu trúc.

III. Main Results:​

III. Main Results:​

Các kết quả chính cho thấy:

  • Hiệu suất vượt trội: Thinking with Comics vượt trội hơn Thinking with Images trong các tác vụ suy luận nhân quả và theo thời gian nhiều bước, đồng thời hiệu quả hơn đáng kể so với Thinking with Video.
  • Suy luận đa phương thức: Đạt độ chính xác 85.8% trên MathVista và 99.4% trên DocVQA, cho thấy khả năng suy luận mạnh mẽ trên cả tác vụ văn bản và trực quan.
  • Hiệu quả chi phí: Giảm 86.6% chi phí tạo phương tiện so với Thinking with Video cho một tác vụ suy luận điển hình (ví dụ: 0.134 USD so với 1.00 USD cho tác vụ 10 giây).
  • Vai trò của cấu trúc kể chuyện: Các cấu trúc kể chuyện bằng truyện tranh khác nhau (ví dụ: phong cách trinh thám) ảnh hưởng nhất quán đến hiệu suất, đặc biệt là trong các tác vụ suy luận logic, cho thấy đây là một "Visual System Prompt" hiệu quả.
  • Khả năng mở rộng: Độ chính xác suy luận đạt đến ngưỡng ổn định với 4-6 khung tranh, cho thấy khả năng thu thập logic động với sự dư thừa tối thiểu.
  • Phụ thuộc vào trình tự thời gian: Việc xáo trộn hoặc xóa các khung tranh làm giảm hiệu suất, xác nhận rằng mô hình phụ thuộc vào logic thời gian giữa các khung tranh.
  • Neo văn bản: Các yếu tố văn bản được nhúng (bong bóng thoại, lời kể) kết hợp với các tín hiệu hình ảnh để giảm sự mơ hồ về ngữ nghĩa và cải thiện độ chính xác.
  • Khả năng tổng quát hóa chéo mô hình: Mô hình TwC (Path II) cho thấy hiệu suất nhất quán trên các kiến trúc MLLM khác nhau (ví dụ: Claude, Qwen, GPT, Gemini), chứng minh tính ổn định và khả năng chuyển giao của nó.

IV. Conclusion & Future Works:​

IV. Conclusion & Future Works:​

Thinking with Comics được giới thiệu là một mô hình suy luận đa phương thức hiệu quả, sử dụng truyện tranh đa khung làm biểu diễn trung gian cho suy luận theo thời gian và nhiều bước. Phương pháp này cải thiện hiệu suất suy luận trong khi tránh được chi phí tính toán của việc tạo video. Các phân tích đã làm nổi bật vai trò của cấu trúc kể chuyện và văn bản nhúng.

Các hướng nghiên cứu trong tương lai bao gồm khám phá khả năng kiểm soát, độ trung thực và đánh giá của truyện tranh trong các tác vụ suy luận, cũng như xem xét ảnh hưởng của phong cách kể chuyện và các quy ước văn hóa trong truyện tranh để đảm bảo triển khai mạnh mẽ và công bằng trong các bối cảnh đa dạng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu sâu hơn về các cấu trúc kể chuyện (narrative structures) khác nhau trong truyện tranh và cách chúng ảnh hưởng đến các loại tác vụ suy luận cụ thể, bao gồm việc tự động tạo các "Visual System Prompt" hiệu quả dựa trên loại vấn đề.
  2. Phát triển các phương pháp để tăng cường khả năng kiểm soát (controllability) và độ trung thực (faithfulness) của quá trình tạo truyện tranh, đảm bảo rằng các khung tranh thể hiện chính xác các bước suy luận mong muốn mà không tạo ra thông tin sai lệch.
  3. Mở rộng mô hình Thinking with Comics để xử lý các dạng dữ liệu đa phương thức phức tạp hơn, chẳng hạn như tích hợp với âm thanh hoặc thông tin 3D, nhằm thực hiện suy luận trong các môi trường tương tác và mô phỏng thế giới ảo.

2. Patent:​

  1. Ứng dụng "Giải Toán bằng Truyện Tranh" trên điện thoại: Một ứng dụng di động cho phép người dùng chụp ảnh hoặc nhập văn bản một bài toán phức tạp. Hệ thống sẽ tạo ra một chuỗi truyện tranh minh họa từng bước giải quyết bài toán một cách trực quan và dễ hiểu, có kèm theo bong bóng thoại và lời kể để giải thích, giúp học sinh hoặc người dùng bình thường dễ dàng nắm bắt logic.
  2. Hệ thống "Hướng Dẫn Kỹ Thuật Trực Quan" cho thiết bị di động: Một công cụ trên điện thoại giúp người dùng hiểu cách vận hành hoặc sửa chữa các thiết bị gia dụng/điện tử bằng cách chuyển đổi hướng dẫn văn bản hoặc video dài thành một bộ truyện tranh ngắn gọn, có cấu trúc. Mỗi khung tranh sẽ thể hiện một bước hành động cụ thể với các điểm nhấn hình ảnh và chú thích văn bản đơn giản, giảm thiểu sự mơ hồ và tăng tốc độ học hỏi.
  3. Công cụ "Tóm Tắt Tin Tức/Câu Chuyện bằng Hình Ảnh Truyện Tranh" trên trình duyệt/di động: Một plugin hoặc ứng dụng trên điện thoại có khả năng tóm tắt các bài báo dài, tài liệu học thuật hoặc chuỗi sự kiện lịch sử thành một bộ truyện tranh dễ đọc. Nó sẽ tự động trích xuất các điểm chính và sắp xếp chúng thành một chuỗi các khung tranh có tính thời gian và logic, kèm theo văn bản neo (textual anchoring) trong các bong bóng thoại để làm rõ ý nghĩa, giúp người dùng nắm bắt thông tin nhanh chóng và hiệu quả hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02453
ArXiv Abstracthttps://arxiv.org/abs/2602.02453
PDF Downloadhttps://arxiv.org/pdf/2602.02453.pdf
Github Repositoryhttps://github.com/andongBlue/Think-with-Comics

16. Wiki Live Challenge: Challenging Deep Research Agents with Expert-Level Wikipedia Articles (32 votes)​

Tác giả: Shaohan Wang, Benfeng Xu, Licheng Zhang, Mingxuan Du, Chiwei Zhu, Xiaorui Wang, Zhendong Mao, Yongdong Zhang

Xuất bản lúc: 2026-02-02

Tag: LLMs, Agents, Evaluation, Benchmarking, RAG, Knowledge Retrieval, Factuality

I. Main Problem:​

Các Deep Research Agents (DRAs) hiện tại gặp phải các vấn đề như ảo giác (hallucinations) và thiên vị (biases) trong quá trình nghiên cứu và viết báo cáo. Các khung đánh giá hiện có thường dựa vào tài liệu tham khảo do LLM tạo hoặc các chiều đánh giá được suy ra từ LLM, dẫn đến thiếu độ tin cậy từ nội dung được chuyên gia xác minh và khó khăn trong việc cung cấp các đánh giá khách quan, chi tiết về các khía cạnh quan trọng.

II. Main Idea:​

Giới thiệu Wiki Live Challenge (WLC), một bộ benchmark “sống” tận dụng các bài viết Wikipedia Good Articles (GAs) mới nhất làm tài liệu tham khảo cấp chuyên gia, được con người xác minh để thách thức các DRA. Đề xuất Wiki Eval, một khung đánh giá toàn diện dựa trên các tiêu chí của Wikipedia Good Article, bao gồm:

  • Wiki Writing: Một phương pháp đánh giá chất lượng viết chi tiết với 39 tiêu chí được căn cứ trực tiếp vào các tiêu chuẩn của GA Wikipedia (Well-written, Neutral, Broad in its coverage), sử dụng phương pháp LLM-as-a-Judge.
  • Wiki Fact: Đánh giá khả năng thu thập thông tin và độ tin cậy của sự thật thông qua hai chỉ số: Mức độ bao phủ thông tin so với Wikipedia (Cov. Wiki) và liệu các phát biểu được tạo ra có thể được truy nguyên nghiêm ngặt từ các nguồn hỗ trợ hay không (Ref. Acc.). Thiết lập một bộ dữ liệu gồm 100 bài viết Good Articles gần đây, được tuyển chọn kỹ lưỡng và liên tục cập nhật để đảm bảo chất lượng cao và tránh nhiễm dữ liệu.

III. Main Results:​

  • Wiki Writing: Các hệ thống Deep Research Agent độc quyền như Gemini-3-pro Deep Research và LangChain (GPT-5) thể hiện ưu thế đáng kể, trong khi các framework mã nguồn mở như Deep Researcher và Tongyi DeepResearch tụt hậu đáng kể.
  • Wiki Fact - Coverage (Cov. Wiki): Tất cả các hệ thống DRA đều có hiệu suất kém về mức độ bao phủ sự thật Wikipedia. Ngay cả tác nhân hoạt động tốt nhất (Gemini-2.5-pro Deep Research) cũng chỉ đạt mức bao phủ trung bình 30.76%, cho thấy các mô hình hiện tại còn rất xa mới đạt được khả năng thu thập thông tin cấp chuyên gia.
  • Wiki Fact - Reference Accuracy (Ref. Acc.): LangChain (GPT-5) cho thấy hiệu suất vượt trội với độ bao phủ trích dẫn gần như hoàn chỉnh. Một số mô hình có tỷ lệ mâu thuẫn đáng kể giữa các phát biểu với các tài liệu tham khảo được trích dẫn (ví dụ: Qwen-3-max Deep Research với 6.87%).
  • Mâu thuẫn thực tế (Fact Conflicts): LangChain (GPT-4.1) có tỷ lệ mâu thuẫn cao nhất với các sự thật của Wikipedia (24.69%), cho thấy việc kết hợp thông tin không chính xác mặc dù có thể tuân thủ ngữ cảnh truy xuất của riêng nó. Gemini-3-pro Deep Research và LangChain (GPT-5) duy trì tỷ lệ mâu thuẫn thấp trên cả hai khía cạnh.
  • Độ khó theo danh mục: Độ khó của nhiệm vụ có mối tương quan vừa phải với lượt xem trang (r = +0.482), cho thấy thông tin trong các danh mục phổ biến hơn thường dễ tiếp cận hơn cho các DRA.

IV. Conclusion & Future Works:​

Wiki Live Challenge (WLC) và khung đánh giá Wiki Eval cung cấp một đánh giá toàn diện về khả năng của Deep Research Agents, qua đó đã chỉ ra một khoảng cách đáng kể giữa các tác nhân hiện tại và các bài viết Wikipedia do con người viết ở cấp độ chuyên gia. Các nhà nghiên cứu hy vọng WLC sẽ tạo điều kiện cho sự tiến bộ đáng tin cậy, chi tiết và có thể tái tạo trong lĩnh vực Deep Research Agents. Hạn chế: Quy mô bộ dữ liệu Good Articles bị giới hạn do ngày cắt kiến thức của mô hình. Sự thiếu minh bạch trong cơ chế trích dẫn của một số hệ thống độc quyền và khả năng không truy cập được các trang web được trích dẫn có thể ảnh hưởng đến đánh giá độ xác minh của trích dẫn. Công việc tương lai: Duy trì và mở rộng bộ benchmark để phản ánh tốt hơn các điều kiện thực tế đang phát triển.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các phương pháp tiên tiến để cải thiện khả năng tổng hợp kiến thức định lượng và thông tin chi tiết chuyên ngành của Deep Research Agents, đặc biệt trong các lĩnh vực khoa học và kỹ thuật nơi dữ liệu chính xác là cực kỳ quan trọng.
  2. Khám phá các chiến lược mới để Deep Research Agents có thể tự động xác định và điều chỉnh các thiên vị (biases) trong quá trình thu thập và tổng hợp thông tin, nhằm tạo ra các báo cáo khách quan và trung lập hơn.
  3. Phát triển một phương pháp đánh giá 'self-correction' cho các tác nhân AI, nơi tác nhân có thể tự nhận diện và sửa chữa các 'ảo giác' hoặc mâu thuẫn với nguồn tham khảo, sử dụng các tiêu chí xác minh chặt chẽ tương tự Wiki Eval.

2. Patent:​

  1. Một ứng dụng di động cho phép người dùng nhập bất kỳ chủ đề nào và nhận được một bản tóm tắt bài viết theo phong cách Wikipedia, với các trích dẫn nguồn được xác minh và đánh giá độ tin cậy của thông tin, rất hữu ích cho học sinh, sinh viên và người dùng cần thông tin đáng tin cậy.
  2. Tính năng 'Kiểm tra độ chính xác thông tin' tích hợp vào bàn phím điện thoại thông minh, tự động quét các câu văn người dùng đang gõ và gợi ý chỉnh sửa nếu phát hiện thông tin không chính xác hoặc có khả năng gây hiểu lầm bằng cách so sánh với các nguồn dữ liệu tin cậy.
  3. Một trợ lý nghiên cứu cá nhân hóa trên điện thoại, cho phép người dùng yêu cầu thông tin chi tiết về các chủ đề phức tạp. Trợ lý này không chỉ tổng hợp thông tin mà còn chỉ rõ các điểm mâu thuẫn tiềm ẩn giữa các nguồn và đưa ra đánh giá về độ tin cậy của từng thông tin, giúp người dùng đưa ra quyết định sáng suốt hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01590
ArXiv Abstracthttps://arxiv.org/abs/2602.01590
PDF Downloadhttps://arxiv.org/pdf/2602.01590.pdf
Github Repositoryhttps://github.com/WangShao2000/Wiki_Live_Challenge

17. RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System (30 votes)​

Tác giả: Yinjie Wang, Tianbao Xie, Ke Shen, Mengdi Wang, Ling Yang

Xuất bản lúc: 2026-02-02

Tag: Reinforcement Learning, LLMs, Agentic Systems, Dynamic Environments, Reward Modeling

I. Main Problem:​

Các phương pháp học tăng cường hiện tại gặp khó khăn với phần thưởng nhị phân thưa thớt trong các nhiệm vụ có quỹ đạo dài, yêu cầu các phương pháp tự động và có khả năng mở rộng để huấn luyện mô hình phần thưởng. Ngoài ra, chất lượng môi trường và việc căn chỉnh độ khó nhiệm vụ với khả năng của mô hình là rất quan trọng để mở rộng quy mô học tăng cường.

II. Main Idea:​

RLAnything đề xuất một khuôn khổ học tăng cường động, tự động định hình môi trường, chính sách (policy) và mô hình phần thưởng (reward model) thông qua tối ưu hóa vòng lặp kín. Cụ thể:

  1. Phản hồi tích hợp cho chính sách: Chính sách được huấn luyện bằng cách kết hợp phản hồi từng bước từ mô hình phần thưởng với tín hiệu kết quả cuối cùng có thể kiểm chứng.
  2. Phản hồi nhất quán cho mô hình phần thưởng: Mô hình phần thưởng được tối ưu hóa đồng thời thông qua phản hồi nhất quán dựa trên kết quả và tính nhất quán nội tại, tạo ra giám sát từng bước đáng tin cậy giúp cải thiện quá trình huấn luyện chính sách.
  3. Điều chỉnh môi trường tự động: Dựa trên các kết quả lý thuyết, khuôn khổ điều chỉnh độ khó của các nhiệm vụ môi trường bằng cách sử dụng phản hồi từ bộ đánh giá (critic feedback) từ cả chính sách và mô hình phần thưởng, cho phép điều chỉnh nhiệm vụ chính xác và tự động để cân bằng độ khó.

III. Main Results:​

  1. RLAnything mang lại những cải tiến đáng kể trên nhiều nhiệm vụ LLM và tác nhân đại diện, cụ thể là: tăng 9.1% cho Qwen3-VL-8B-Thinking trên OSWorld, và tăng 18.7% và 11.9% cho Qwen2.5-7B-Instruct lần lượt trên AlfWorld và LiveBench.
  2. Mỗi thành phần động được thêm vào đều cải thiện nhất quán hệ thống tổng thể, tăng cường hiệu suất ngoài phân phối (out-of-distribution performance).
  3. Các tín hiệu từ mô hình phần thưởng được tối ưu hóa vượt trội so với các kết quả dựa trên nhãn thủ công, cho thấy tiềm năng học hỏi chủ động từ kinh nghiệm và khả năng mở rộng môi trường.
  4. Hệ thống cho thấy khả năng ứng dụng rộng rãi trên các tác nhân sử dụng máy tính, tác nhân LLM dựa trên văn bản và LLM mã hóa.

IV. Conclusion & Future Works:​

RLAnything là một hệ thống học tăng cường hoàn toàn động, giúp tăng cường tín hiệu học tập và củng cố hệ thống tổng thể. Nó cho phép học hỏi chủ động từ kinh nghiệm và có tiềm năng tạo ra các tác nhân tự phát triển quy mô lớn trong môi trường thế giới thực, chẳng hạn như máy tính.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các chiến lược điều chỉnh môi trường phức tạp hơn, bao gồm tạo môi trường đa phương thức và học tập theo chương trình (curriculum learning) dựa trên các số liệu tinh vi hơn.
  2. Khám phá các kiến trúc hoặc loại mô hình phần thưởng khác nhau trong khuôn khổ RLAnything, ví dụ: mô hình phần thưởng chuyên biệt cho các loại nhiệm vụ khác nhau hoặc mô hình phần thưởng phân cấp.
  3. Áp dụng khuôn khổ RLAnything cho các miền thực tế mới, đầy thách thức vượt ra ngoài các tác vụ GUI, văn bản và mã hóa hiện tại, chẳng hạn như điều khiển robot trong môi trường vật lý động.

2. Patent:​

  1. Hệ thống huấn luyện trợ lý di động năng động: Một hệ thống trên điện thoại di động tự động huấn luyện trợ lý AI (ví dụ: để đặt báo thức, điều hướng ứng dụng) bằng cách tạo ra các nhiệm vụ mới, khó hơn hoặc dễ hơn một chút dựa trên hiệu suất của trợ lý và phản hồi về các hành động của nó. Điều này giúp cải thiện khả năng xử lý các yêu cầu đa dạng của người dùng mà không cần lập trình thủ công.
  2. Tự động hóa quy trình làm việc ứng dụng di động tự cải tiến: Một tính năng trên điện thoại di động học cách tự động hóa các tác vụ đa bước phức tạp trong hoặc giữa các ứng dụng (ví dụ: "đặt cà phê sau đó đặt lời nhắc"). Hệ thống tự động tinh chỉnh sự hiểu biết và thực hiện các quy trình làm việc này bằng cách phân tích hiệu suất từng bước và thành công tổng thể của nó, tạo ra dữ liệu "tự sửa lỗi".
  3. Bàn phím thông minh được cá nhân hóa với phản hồi phần thưởng thích ứng: Một bàn phím điện thoại di động học cách gợi ý từ, biểu tượng cảm xúc hoặc thậm chí cả cụm từ chính xác hơn bằng cách nhận phản hồi tức thì, theo ngữ cảnh cho mỗi gợi ý. Nếu một gợi ý được sử dụng, nó sẽ được thưởng; nếu bị bỏ qua hoặc xóa, nó sẽ bị phạt. Hệ thống tự động điều chỉnh độ khó và sự đa dạng của dự đoán dựa trên trình độ của người dùng và tác vụ, giúp nó thông minh hơn theo thời gian.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02488
ArXiv Abstracthttps://arxiv.org/abs/2602.02488
PDF Downloadhttps://arxiv.org/pdf/2602.02488.pdf
Github Repositoryhttps://github.com/Gen-Verse/Open-AgentRL

18. SLIME: Stabilized Likelihood Implicit Margin Enforcement for Preference Optimization (28 votes)​

Tác giả: Maksim Afanasyev, Illarion Iov

Xuất bản lúc: 2026-02-02

Tag: LLMs, Preference Optimization, RLHF, DPO

I. Main Problem:​

Các phương pháp tối ưu hóa ưu tiên trực tiếp hiện tại thường gặp phải sự không phù hợp mục tiêu nghiêm trọng: việc tối ưu hóa biên độ tương đối giữa các phản hồi được chọn và bị từ chối không đảm bảo bảo toàn khả năng sinh ra tuyệt đối (absolute likelihood) của phản hồi được chọn. Điều này dẫn đến hiện tượng "quên" (unlearning), nơi mô hình làm giảm xác suất của các đầu ra chất lượng cao để đáp ứng các ràng buộc biên độ, và "sập định dạng" (formatting collapse) do việc phạt quá mức các chuỗi bị từ chối. Ngoài ra, các phương pháp như Reinforcement Learning from Human Feedback (RLHF) qua Proximal Policy Optimization (PPO) nổi tiếng là không ổn định và tốn nhiều tài nguyên.

II. Main Idea:​

Công trình này giới thiệu SLIME (Stabilized Likelihood Implicit Margin Enforcement), một mục tiêu căn chỉnh không cần mô hình tham chiếu được thiết kế để tách rời việc học ưu tiên khỏi chất lượng tạo sinh. SLIME kết hợp một mục tiêu ba hướng:

  1. neo giữ khả năng sinh ra (likelihood anchoring) để tối đa hóa khả năng sinh ra (likelihood) của các phản hồi được ưu tiên.
  2. hình phạt ổn định (stabilizing penalty) ngăn chặn xác suất của các token bị từ chối sụp đổ về 0.
  3. cơ chế biên độ kép (dual-margin mechanism) kết hợp các ràng buộc cứng (hard) và mềm (soft) để định hình ranh giới một cách chính xác.

III. Main Results:​

SLIME đạt được hiệu suất vượt trội so với các phương pháp cơ sở hiện đại trong khi duy trì độ ổn định tạo sinh cao hơn. Cụ thể:

  • Trên Gemma3-4B, SLIME đạt điểm MT-Bench cao nhất là 6.15, cải thiện 30.6% so với SFT baseline (4.71) và vượt trội so với DPO (5.15) và SimPO (5.03). SLIME cũng đạt 13.1 trên Arena-Hard, cao hơn DPO (11.8) và SimPO (0.7).
  • Trên Llama3.2-3B, SLIME đạt điểm MT-Bench là 5.49, vượt DPO (4.92) 11.6% và SimPO (4.22) 30.1%. SLIME đạt 9.7 trên Arena-Hard, vượt DPO (11.1) và SimPO (7.6).
  • Trên Qwen3-4B, SLIME đạt 5.93 trên MT-Bench và điểm Arena-Hard mạnh nhất (39.8) trong số tất cả các phương pháp, cho thấy hiệu quả ngay cả khi bắt đầu từ một baseline mạnh hơn.
  • Nghiên cứu ablation xác nhận rằng các cơ chế ổn định và neo giữ của SLIME đóng góp đáng kể vào sự ổn định của quá trình đào tạo và độ mạnh mẽ của mô hình cuối cùng.

IV. Conclusion & Future Works:​

SLIME giải quyết các hạn chế cơ bản của các phương pháp căn chỉnh dựa trên biên độ hiện có bằng cách tách rời việc học ưu tiên khỏi việc bảo toàn chất lượng tạo sinh. Các thử nghiệm chứng minh SLIME vượt trội hơn DPO và SimPO trên nhiều benchmark, đồng thời tránh được hiện tượng "quên" xảy ra ở các phương pháp chỉ dựa vào biên độ.

Các hướng nghiên cứu trong tương lai bao gồm:

  • Mở rộng SLIME sang các cài đặt trực tuyến với lấy mẫu theo chính sách (on-policy sampling) để kết hợp lợi ích ổn định với ưu điểm khám phá của các phương pháp gradient chính sách.
  • Nghiên cứu sự tương tác giữa SLIME và các kỹ thuật hiệu quả khác, như lượng tử hóa (quantization) hoặc tỉa thưa (pruning), để tối ưu hóa việc triển khai thực tế.
  • Phân tích lý thuyết để thiết lập các đảm bảo chính thức về việc bảo toàn khả năng sinh ra (likelihood preservation) dưới sự tối ưu hóa của SLIME.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc mở rộng phương pháp SLIME sang môi trường học tăng cường trực tuyến (online reinforcement learning) để tích hợp các lợi ích về sự ổn định trong học ưu tiên với khả năng khám phá của các phương pháp học chính sách (policy gradient methods).
  2. Phân tích sâu sắc về cách SLIME tương tác và có thể được tối ưu hóa khi kết hợp với các kỹ thuật tăng cường hiệu quả mô hình khác, chẳng hạn như lượng tử hóa (quantization) hoặc tỉa thưa (pruning), nhằm mục đích triển khai trên các thiết bị tài nguyên hạn chế.
  3. Phát triển một khuôn khổ lý thuyết để cung cấp các đảm bảo chính thức về việc bảo toàn khả năng sinh ra (likelihood preservation) của các phản hồi được chọn trong quá trình tối ưu hóa bằng SLIME, củng cố các bằng chứng thực nghiệm hiện có.

2. Patent:​

  1. Bàn phím thông minh bảo tồn phong cách cá nhân: Một ứng dụng bàn phím điện thoại có tính năng tự động sửa lỗi và gợi ý từ tiếp theo. Thay vì chỉ học theo những gì người dùng gõ thường xuyên (phản hồi được chọn) và bỏ qua hoàn toàn các cách diễn đạt khác (phản hồi bị từ chối) có thể vẫn đúng ngữ pháp hoặc phù hợp trong bối cảnh khác, công nghệ này giúp bàn phím giữ lại một "nền tảng" kiến thức ngôn ngữ rộng hơn. Điều này đảm bảo rằng ngay cả khi người dùng có phong cách viết rất đặc trưng, bàn phím vẫn có thể gợi ý các cấu trúc câu chuẩn hoặc từ vựng đa dạng khi cần, tránh tình trạng "quên" các quy tắc ngôn ngữ cơ bản hoặc khiến gợi ý trở nên quá cứng nhắc.
  2. Hệ thống đề xuất nội dung cá nhân hóa ổn định: Một ứng dụng tin tức hoặc mạng xã hội trên điện thoại sử dụng phản hồi của người dùng (thích, không thích, bỏ qua) để cá nhân hóa nội dung. Công nghệ sẽ tối ưu hóa việc đề xuất nội dung người dùng thích mà không "phạt" quá nặng những nội dung bị từ chối. Ví dụ, nếu người dùng không thích một bài viết về "chính trị", hệ thống sẽ giảm khả năng hiển thị bài viết tương tự nhưng sẽ không loại bỏ hoàn toàn các bài viết liên quan đến "tin tức thời sự" nếu chúng vẫn có giá trị hoặc thuộc một chủ đề rộng hơn mà người dùng đôi khi quan tâm. Điều này giúp giữ cho luồng tin tức đa dạng hơn, tránh "sập định dạng" khiến người dùng chỉ thấy một loại nội dung duy nhất và hạn chế khám phá những chủ đề mới.
  3. Trợ lý viết văn bản thông minh cho điện thoại: Một ứng dụng trợ lý viết trên điện thoại có khả năng tối ưu hóa văn bản theo mục tiêu cụ thể (ví dụ: viết email chuyên nghiệp, tin nhắn thân mật). Công nghệ sẽ học các mẫu câu "tốt" được người dùng chọn (ví dụ: cách hành văn trang trọng cho email công việc) nhưng đồng thời duy trì khả năng sinh ra các cách diễn đạt "không tốt" (ví dụ: cách nói suồng sã) mà không xóa bỏ hoàn toàn chúng khỏi "ký ức" mô hình. Điều này cho phép trợ lý linh hoạt chuyển đổi giữa các phong cách khi người dùng thay đổi mục đích, đảm bảo chất lượng tổng thể của ngôn ngữ được bảo toàn, tránh việc mô hình trở nên quá chuyên biệt và mất đi sự linh hoạt trong giao tiếp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02383
ArXiv Abstracthttps://arxiv.org/abs/2602.02383
PDF Downloadhttps://arxiv.org/pdf/2602.02383.pdf
Github Repositoryhttps://github.com/fpsigma/trl-slime

19. Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention (27 votes)​

Tác giả: Dvir Samuel, Issar Tzachor, Matan Levy, Micahel Green, Gal Chechik, Rami Ben-Ari

Xuất bản lúc: 2026-02-02

Tag: Autoregressive Video Diffusion, Attention Optimization, KV Cache Compression, Sparse Attention, Approximate Nearest Neighbor

I. Main Problem:​

Các mô hình khuếch tán video tự hồi quy (autoregressive video diffusion models) gặp phải một nút thắt cổ chai nghiêm trọng trong các lớp attention khi suy luận. Khi quá trình tạo video diễn ra, bộ nhớ đệm KV cache tăng lên, gây ra độ trễ ngày càng tăng và tiêu tốn bộ nhớ GPU leo thang. Điều này không chỉ hạn chế ngữ cảnh thời gian sử dụng mà còn ảnh hưởng đến tính nhất quán dài hạn của video được tạo ra.

II. Main Idea:​

Các tác giả đề xuất một framework attention thống nhất, không cần huấn luyện, dựa trên việc xác định ba nguồn dư thừa chính trong mô hình khuếch tán video tự hồi quy: các khóa bộ nhớ đệm gần như trùng lặp giữa các khung hình, các truy vấn/khóa tiến hóa chậm và mang tính ngữ nghĩa, và cross-attention lãng phí tài nguyên trên các prompt dài. Framework bao gồm ba thành phần:

  1. TempCache: Nén bộ nhớ đệm KV bằng cách tận dụng sự tương ứng theo thời gian để giới hạn sự phát triển của cache. Nó xác định và hợp nhất các khóa có nội dung tương tự theo thời gian, chỉ giữ lại các khóa đại diện gần đây.
  2. AnnCA (Approximate Nearest-Neighbor Cross-Attention): Tăng tốc cross-attention bằng cách chọn các token prompt chỉ có liên quan đến khung hình hiện tại thông qua khớp Approximate Nearest Neighbor (ANN) nhanh chóng.
  3. AnnSA (Approximate Nearest-Neighbor Self-Attention): Làm thưa tự-attention (self-attention) bằng cách giới hạn mỗi truy vấn chỉ tập trung vào các khóa khớp ngữ nghĩa, cũng sử dụng ANN hạng nhẹ. Các kỹ thuật ANN như Locality-Sensitive Hashing (LSH) và Quantized Similarity Search được sử dụng trong thời gian suy luận mà không yêu cầu huấn luyện lại mô hình.

III. Main Results:​

Phương pháp đề xuất mang lại kết quả vượt trội:

  • Tăng tốc đầu cuối lên tới ×5–×10 trong quá trình tạo video dài nhiều phút.
  • Duy trì chất lượng hình ảnh gần như y hệt so với các phương pháp FlashAttention-3 dày đặc (dense), với các điểm số VBench/LongVGenBench cao.
  • Duy trì thông lượng ổn định và lượng sử dụng bộ nhớ GPU đỉnh gần như không đổi trong suốt quá trình tạo video dài (lên đến 3000 khung hình). Trong khi đó, các phương pháp trước đây dần chậm lại và tiêu tốn bộ nhớ ngày càng tăng.
  • Thành phần TempCache nén bộ nhớ đệm KV một cách mạnh mẽ (xuống khoảng 16% mật độ tối thiểu) trong khi vẫn giữ được khả năng truy hồi attention cao (∼90–91%).

IV. Conclusion & Future Works:​

Nghiên cứu này đã thành công trong việc giải quyết vấn đề tắc nghẽn về tốc độ và bộ nhớ do sự phát triển của KV cache trong mô hình khuếch tán video tự hồi quy. Bằng cách xác định và tận dụng các nguồn dư thừa thông qua TempCache, AnnCA và AnnSA, framework đề xuất mang lại hiệu suất vượt trội và hiệu quả về tài nguyên mà không làm giảm chất lượng video. Các thành phần này là "plug-and-play" và không yêu cầu huấn luyện hoặc tinh chỉnh lại mô hình cơ sở. Mặc dù bài báo không nêu rõ các hướng nghiên cứu trong tương lai, tiềm năng mở rộng công việc này bao gồm việc phát triển các phương pháp ANN hoặc nén cache tiên tiến hơn, tích hợp các kỹ thuật này vào các mô hình tạo video phức tạp hơn hoặc khám phá ứng dụng trong các lĩnh vực AI khác nơi attention là một nút thắt cổ chai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các thuật toán nén bộ nhớ đệm KV dựa trên đồ thị hoặc học tăng cường (reinforcement learning) để tối ưu hóa việc hợp nhất khóa và duy trì tính nhất quán thời gian cho các kịch bản tạo video cực dài và phức tạp.
  2. Phát triển các chiến lược Approximate Nearest Neighbor (ANN) động và thích ứng, cho phép mô hình linh hoạt điều chỉnh mật độ attention dựa trên ngữ cảnh video, pha denoising hoặc yêu cầu tài nguyên hiện có, để tối ưu hóa hiệu suất trên các loại nội dung đa dạng.
  3. Mở rộng framework nén và sparsification attention sang các mô hình thế giới đa phương thức (multimodal world models) phức tạp hơn, tích hợp các đầu vào khác như âm thanh hoặc phản hồi xúc giác để cải thiện tốc độ suy luận và hiệu quả bộ nhớ trong việc tạo ra các môi trường tương tác.

2. Patent:​

  1. Công nghệ "Video Ký ức Thông Minh" cho điện thoại di động: Phát triển một hệ thống trên điện thoại thông minh sử dụng thuật toán tương tự TempCache. Hệ thống này sẽ tự động phân tích và nén các video dài được quay bằng camera điện thoại, hợp nhất các phân đoạn có nội dung gần như không thay đổi (ví dụ: cảnh nền tĩnh, vật thể đứng yên) để chỉ giữ lại các khung hình quan trọng và các điểm thay đổi chính. Điều này giúp tiết kiệm đáng kể không gian lưu trữ và tăng tốc độ xử lý khi xem lại, chỉnh sửa hoặc chia sẻ video dài trực tiếp trên điện thoại mà không làm giảm chất lượng hình ảnh cảm nhận.
  2. "Trợ lý Chụp Ảnh Động Tối Ưu" dựa trên Cross-Attention cho điện thoại thông minh: Một tính năng trong ứng dụng camera điện thoại sử dụng cơ chế giống AnnCA. Khi người dùng đưa ra một mô tả bằng văn bản hoặc giọng nói về nội dung video muốn quay (ví dụ: "quay cảnh con chó đang chạy trong công viên"), hệ thống sẽ tự động lọc và tập trung tài nguyên xử lý vào các đối tượng hoặc hoạt động được đề cập, bỏ qua các chi tiết không liên quan trong ngữ cảnh. Điều này giúp tối ưu hóa hiệu năng của camera, giảm tiêu thụ pin và cho phép điện thoại thực hiện các tác vụ xử lý video phức tạp theo thời gian thực (ví dụ: nhận diện và theo dõi đối tượng chính) một cách mượt mà và hiệu quả hơn.
  3. "Chế độ Tiết Kiệm Năng Lượng Video Tự Động" cho điện thoại di động: Một tính năng hệ thống tích hợp cơ chế tương tự AnnSA, hoạt động ngầm khi người dùng xem hoặc tạo video dài trên các ứng dụng mạng xã hội, phát trực tuyến hoặc trò chơi. Hệ thống sẽ tự động phân tích và giảm tải các tính toán attention không cần thiết bằng cách chỉ tập trung vào các phần có ý nghĩa ngữ nghĩa hoặc các vùng không gian liên quan. Điều này giúp kéo dài đáng kể thời lượng pin của thiết bị và giảm nhiệt độ trong khi thực hiện các tác vụ video nặng, đồng thời đảm bảo trải nghiệm xem hoặc tương tác video không bị gián đoạn hay giảm chất lượng cảm nhận.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01801
ArXiv Abstracthttps://arxiv.org/abs/2602.01801
PDF Downloadhttps://arxiv.org/pdf/2602.01801.pdf
Github RepositoryN/A

20. Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive Video Generation (23 votes)​

Tác giả: Hongzhou Zhu, Min Zhao, Guande He, Hang Su, Chongxuan Li, Jun Zhu

Xuất bản lúc: 2026-02-02

Tag: Diffusion Models, Video Generation, Autoregressive Models, Distillation

I. Main Problem:​

Các phương pháp hiện có để tạo video tương tác theo thời gian thực gặp phải một "khoảng cách kiến trúc" khi chắt lọc các mô hình khuếch tán video hai chiều đã được huấn luyện trước thành các mô hình Autoregressive (AR) một vài bước. Khoảng cách này phát sinh khi thay thế cơ chế chú ý toàn phần bằng chú ý nhân quả, đặc biệt khi quá trình khởi tạo ODE distillation vi phạm tính đơn ánh ở cấp độ khung (frame-level injectivity). Điều này khiến mỗi khung nhiễu không thể ánh xạ duy nhất tới một khung sạch dưới điều kiện của mô hình AR teacher, dẫn đến chất lượng video bị giảm sút, mờ và không nhất quán.

II. Main Idea:​

Để giải quyết vấn đề trên, nhóm tác giả đề xuất phương pháp "Causal Forcing" bao gồm ba giai đoạn nhằm bắc cầu khoảng cách kiến trúc một cách lý thuyết. Đầu tiên, huấn luyện một mô hình khuếch tán AR bằng "Teacher Forcing" (vì nó vượt trội hơn "Diffusion Forcing" về mặt lý thuyết và thực nghiệm do tránh được sự khác biệt giữa huấn luyện và suy luận). Sau đó, mô hình AR này được sử dụng làm "teacher" để thực hiện "causal ODE distillation", đảm bảo tính đơn ánh ở cấp độ khung. Cuối cùng, áp dụng giai đoạn DMD (Distribution Matching Distillation) bất đối xứng để tinh chỉnh thêm mô hình AR student, từ đó đạt được khả năng tạo video theo thời gian thực với chất lượng cao.

III. Main Results:​

Phương pháp Causal Forcing đạt hiệu suất vượt trội so với tất cả các phương pháp cơ sở trên mọi tiêu chí. Cụ thể, nó vượt qua phương pháp SOTA hiện tại là Self Forcing với 19.3% về Dynamic Degree, 8.7% về VisionReward và 16.7% về Instruction Following, trong khi vẫn duy trì độ trễ suy luận tương đương. So với các mô hình khuếch tán video hai chiều, phương pháp của chúng tôi đạt hiệu suất tương đương hoặc vượt trội Wan2.1 nhưng với thông lượng cao hơn 2079% và suy luận nhanh hơn đáng kể. Các nghiên cứu ablation cũng chứng minh Teacher Forcing và causal ODE initialization vượt trội hơn các phương pháp thay thế.

IV. Conclusion & Future Works:​

Bài báo đã xác định và giải quyết các hạn chế của các phương pháp hiện có trong việc chắt lọc mô hình khuếch tán video Autoregressive, nhấn mạnh tầm quan trọng của việc bắc cầu "khoảng cách kiến trúc" thông qua tính đơn ánh ở cấp độ khung. "Causal Forcing" đã được chứng minh là một giải pháp hiệu quả thông qua việc sử dụng mô hình khuếch tán Autoregressive được huấn luyện bằng Teacher Forcing làm "teacher" cho quá trình khởi tạo ODE distillation. Mặc dù phiên bản "Consistency Distillation" hiện tại vẫn còn cơ bản, nhưng nó đã mở đường cho các nghiên cứu trong tương lai để cải thiện và phát triển các mô hình "causal Consistency Models" hiệu quả hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nâng cao hiệu suất của các mô hình Causal Consistency Models bằng cách tích hợp các cải tiến mới nhất trong Consistency Distillation, vượt qua giới hạn của cài đặt LCM cơ bản được đề cập trong bài báo.
  2. Nghiên cứu ứng dụng nguyên tắc Causal Forcing cho các tác vụ tạo sinh chuỗi khác ngoài video, chẳng hạn như tạo âm thanh, văn bản hoặc chuỗi sự kiện, nơi tồn tại "khoảng cách kiến trúc" tương tự trong quá trình chắt lọc.
  3. Phát triển các chiến lược huấn luyện Teacher Forcing hiệu quả hơn hoặc kết hợp Teacher Forcing với các kỹ thuật khác để cải thiện hơn nữa chất lượng và độ ổn định của mô hình Autoregressive teacher, đặc biệt cho các chuỗi dài hoặc phức tạp.

2. Patent:​

  1. Một ứng dụng di động cho phép người dùng quay một đoạn video ngắn và sau đó tương tác theo thời gian thực để tạo ra các cảnh tiếp theo dựa trên mong muốn của họ, ví dụ như thay đổi hành động của nhân vật, thêm hiệu ứng thời tiết, hoặc mở rộng bối cảnh, với chất lượng cao và không có độ trễ đáng kể.
  2. Hệ thống tạo ảnh đại diện (avatar) hoặc nhân vật hoạt hình tương tác theo thời gian thực trên điện thoại, cho phép người dùng tùy chỉnh và điều khiển cử chỉ, biểu cảm của avatar thông qua giọng nói hoặc cử chỉ đơn giản, với kết quả được hiển thị ngay lập tức và mượt mà trên màn hình điện thoại.
  3. Tính năng chỉnh sửa và cải thiện video tự động trong các ứng dụng biên tập trên điện thoại, nơi người dùng có thể tải lên một video và hệ thống sử dụng công nghệ tương tự để thêm chuyển động, độ động hoặc các yếu tố câu chuyện vào video đó một cách liền mạch, tạo ra nội dung hấp dẫn hơn mà không yêu cầu kỹ năng chỉnh sửa chuyên nghiệp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02214
ArXiv Abstracthttps://arxiv.org/abs/2602.02214
PDF Downloadhttps://arxiv.org/pdf/2602.02214.pdf
Github Repositoryhttps://github.com/thu-ml/Causal-Forcing

21. PISCES: Annotation-free Text-to-Video Post-Training via Optimal Transport-Aligned Rewards (23 votes)​

Tác giả: Minh-Quan Le, Gaurav Mittal, Cheng Zhao, David Gu, Dimitris Samaras, Mei Chen

Xuất bản lúc: 2026-02-02

Tag: Text-to-Video Generation, Optimal Transport, Reward-based Learning, Post-Training, Annotation-free Learning, Vision-Language Models (VLMs), Diffusion Models

I. Main Problem:​

Tạo video từ văn bản (T2V) gặp khó khăn trong việc tổng hợp video với chất lượng hình ảnh cao, tính nhất quán về thời gian và sự phù hợp ngữ nghĩa với văn bản đầu vào. Các phương pháp hậu huấn luyện dựa trên phần thưởng hiện có hoặc phụ thuộc vào chú thích ưu tiên của con người trên quy mô lớn (dẫn đến chi phí cao và khả năng mở rộng hạn chế) hoặc hoạt động trên các nhúng không thẳng hàng từ các mô hình thị giác-ngôn ngữ (VLM) được huấn luyện trước. Sự không thẳng hàng này, phát sinh từ các mục tiêu huấn luyện VLM không dựa trên phân phối, dẫn đến giám sát dưới mức tối ưu và các vấn đề về chất lượng hình ảnh và ngữ nghĩa (ví dụ: số lượng hoặc thuộc tính đối tượng không chính xác, không nắm bắt được mô tả chuyển động).

II. Main Idea:​

PISCES giới thiệu một thuật toán hậu huấn luyện không cần chú thích, giải quyết các vấn đề về sự không thẳng hàng của các nhúng VLM thông qua một module Phần thưởng được căn chỉnh bằng Vận chuyển Tối ưu (OT) Kép mới. PISCES sử dụng Optimal Transport để cầu nối các nhúng văn bản và video ở cả cấp độ phân phối và cấp độ mã hóa (token), cho phép giám sát phần thưởng đạt được hai mục tiêu:

  1. Phần thưởng Chất lượng được căn chỉnh bằng OT theo Phân phối (Distributional OT-aligned Quality Reward): Học một ánh xạ OT để biến đổi các nhúng văn bản vào không gian nhúng video thực, bảo toàn cấu trúc nội tại của chúng và đảm bảo tính nhất quán về thời gian cũng như chất lượng hình ảnh tổng thể. Phần thưởng này được định nghĩa là độ tương đồng cosin giữa các nhúng văn bản đã được căn chỉnh bằng OT và nhúng video được tạo.
  2. Phần thưởng Ngữ nghĩa được căn chỉnh bằng OT cấp độ Mã hóa rời rạc (Discrete Token-level OT-aligned Semantic Reward): Xây dựng một ma trận chi phí ngữ nghĩa, không gian-thời gian trên các mã hóa văn bản và các mã hóa của vùng ảnh video. Giải quyết bài toán Partial OT (OT một phần) để tạo ra một kế hoạch vận chuyển, sau đó được tích hợp vào các lớp cross-attention của VLM (ví dụ: InternVideo2) để tinh chỉnh các đặc trưng, cung cấp phần thưởng ngữ nghĩa thông qua một bộ phân loại Video-Text Matching (VTM).

Module phần thưởng kép này cung cấp sự giám sát để tinh chỉnh bộ khử nhiễu T2V, tương thích với cả phương pháp lan truyền ngược trực tiếp và tinh chỉnh học tăng cường (GRPO).

III. Main Results:​

PISCES vượt trội đáng kể so với tất cả các phương pháp hậu huấn luyện T2V hiện có (cả dựa trên chú thích và không cần chú thích) trên VBench, đạt điểm cao nhất trên các chỉ số Total, Quality và Semantic cho cả tạo video ngắn (VideoCrafter2) và video dài (HunyuanVideo). Cụ thể, khi được hậu huấn luyện với PISCES, HunyuanVideo vượt qua các mô hình T2V hiện có khác (nguồn mở và đóng) trên đánh giá VBench tự động. Các nghiên cứu về sở thích của con người tiếp tục xác nhận hiệu quả của PISCES, cho thấy nó được ưu tiên hơn các đường cơ sở về chất lượng hình ảnh, chất lượng chuyển động và sự căn chỉnh ngữ nghĩa. Các nghiên cứu phân tích Optimal Transport (OT) chứng minh rằng OT cải thiện sự căn chỉnh văn bản-video (đo bằng Mutual KNN cao hơn) và bảo toàn cấu trúc nhúng văn bản (đo bằng Spearman Correlation cao hơn), dẫn đến việc lấy mẫu ổn định và chất lượng video cao hơn so với ánh xạ mất mát L2.

IV. Conclusion & Future Works:​

PISCES là thuật toán hậu huấn luyện T2V không cần chú thích đầu tiên vượt trội hơn tất cả các phương pháp hiện có, cả dựa trên chú thích và không cần chú thích, trên VBench và đánh giá của con người. Nó đạt được điều này bằng cách khắc phục hạn chế của việc nhúng VLM không thẳng hàng thông qua việc giới thiệu module Phần thưởng được căn chỉnh bằng Vận chuyển Tối ưu Kép, sử dụng OT để cải thiện đáng kể chất lượng hình ảnh và tính nhất quán ngữ nghĩa trên cả việc tạo video ngắn và dài. PISCES mở đường cho việc hậu huấn luyện có thể mở rộng, có nguyên tắc trong T2V và cung cấp một khuôn mẫu chung cho thiết kế phần thưởng dựa trên OT trong tạo nội dung đa phương thức. Hơn nữa, nó giảm sự phụ thuộc vào chú thích tốn kém, mở rộng khả năng sử dụng của các mô hình T2V cho các ứng dụng có lợi như giáo dục, người máy và trực quan hóa khoa học, đồng thời khuyến khích các nghiên cứu trong tương lai về các cơ chế triển khai an toàn cho hệ thống T2V.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển các phương pháp Optimal Transport (OT) tiên tiến hơn để xử lý đa dạng các modality (ví dụ: âm thanh, cảm biến) trong tạo video từ văn bản (T2V), không chỉ văn bản và video, nhằm tạo ra video phức tạp hơn với âm thanh hoặc các hiệu ứng tương tác đa giác quan.
  2. Mở rộng khuôn khổ PISCES để áp dụng cho các tác vụ tạo nội dung đa phương thức khác ngoài T2V, ví dụ như tạo mô hình 3D từ văn bản (Text-to-3D), tạo tài sản trò chơi từ văn bản (Text-to-Game-Assets), hoặc tạo nội dung tương tác, bằng cách điều chỉnh các phần thưởng OT cho các không gian nhúng khác nhau.
  3. Nghiên cứu cơ chế tự thích ứng cho các siêu tham số (hyperparameters) trong module phần thưởng được căn chỉnh bằng OT (ví dụ: các hệ số cân bằng trong ma trận chi phí ngữ nghĩa) để PISCES có thể tự động tối ưu hóa việc căn chỉnh cho các loại dữ liệu và nhiệm vụ khác nhau mà không cần tinh chỉnh thủ công.

2. Patent:​

  1. Một ứng dụng di động cho phép người dùng mô tả video mong muốn bằng văn bản, và hệ thống sẽ tạo ra video chất lượng cao, có độ chính xác cao về nội dung. Công nghệ cốt lõi sẽ tự động điều chỉnh sao cho các chi tiết trong video (như đối tượng, hành động, môi trường) khớp một cách tối ưu với từng từ ngữ trong mô tả của người dùng, giúp tạo ra nội dung hấp dẫn cho mạng xã hội.
  2. Một tính năng trên điện thoại thông minh cho phép người dùng kể một câu chuyện bằng văn bản, và điện thoại sẽ tự động tạo ra một video cá nhân hóa từ câu chuyện đó. Hệ thống sẽ sử dụng công nghệ tiên tiến để đảm bảo hình ảnh trong video trông thật tự nhiên và các đối tượng, hành động trong video khớp chính xác với lời kể, mang lại trải nghiệm độc đáo cho việc lưu giữ kỷ niệm.
  3. Một công cụ tích hợp trong các ứng dụng tiếp thị hoặc chỉnh sửa video trên di động, cho phép các nhà quảng cáo chỉ cần nhập mô tả sản phẩm hoặc ý tưởng quảng cáo bằng văn bản. Hệ thống sẽ tự động sản xuất video quảng cáo ngắn, chuyên nghiệp, có chất lượng cao. Công nghệ này sẽ tập trung vào việc đảm bảo mọi yếu tố hình ảnh và chuyển động trong video đều phù hợp hoàn hảo với thông điệp quảng cáo, giúp tối ưu hóa hiệu quả tiếp thị trên nền tảng di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01624
ArXiv Abstracthttps://arxiv.org/abs/2602.01624
PDF Downloadhttps://arxiv.org/pdf/2602.01624.pdf
Github RepositoryN/A

22. Mind-Brush: Integrating Agentic Cognitive Search and Reasoning into Image Generation (22 votes)​

Tác giả: Jun He, Junyan Ye, Zilong Huang, Dongzhi Jiang, Chenjue Zhang, Leqi Zhu, Renrui Zhang, Xiang Zhang, Weijia Li

Xuất bản lúc: 2026-02-02

Tag: Agentic AI, Cognitive Search, Reasoning, Image Generation, Multimodal LLMs, Text-to-Image, Benchmarking

I. Main Problem:​

I. Main Problem:​

Các mô hình tạo ảnh văn bản thành hình ảnh hiện tại chủ yếu hoạt động như bộ giải mã văn bản-pixel tĩnh, thường không nắm bắt được ý định ngầm của người dùng và gặp khó khăn trong việc xử lý các nhiệm vụ yêu cầu suy luận kiến thức phức tạp. Chúng cũng bị hạn chế bởi kiến thức tĩnh từ dữ liệu huấn luyện, khiến chúng không thể thích ứng với các khái niệm mới nổi hoặc sự kiện thời gian thực. Mặc dù các mô hình hiểu-sinh thành thống nhất mới nổi đã cải thiện khả năng hiểu ý định, nhưng hiệu suất của chúng vẫn bị hạn chế trong các nhiệm vụ đòi hỏi suy luận toán học hoặc kiến thức chuyên sâu.

Ngoài ra, các bộ tiêu chuẩn đánh giá tạo ảnh hiện có chủ yếu tập trung vào việc tuân thủ hướng dẫn và hiểu biết hời hợt, không đánh giá được khả năng truy xuất thông tin chủ động và suy luận phức tạp. Điều này dẫn đến một khoảng cách đáng kể trong việc đánh giá các khả năng của mô hình yêu cầu kiến thức bên ngoài động và suy luận sâu sắc.

II. Main Idea:​

II. Main Idea:​

Mind-Brush là một khuôn khổ tác tử (agentic) thống nhất được đề xuất, chuyển đổi quá trình tạo ảnh từ mô hình ánh xạ tĩnh thành một quy trình làm việc động, dựa trên kiến thức. Nó mô phỏng quy trình "suy nghĩ-nghiên cứu-sáng tạo" của con người bằng cách:

  1. Phân tích ý định (Intent Analysis Agent - Aintent): Phát hiện "khoảng trống nhận thức" (cognitive gaps) trong ý định của người dùng bằng cách ánh xạ các hướng dẫn văn bản và hình ảnh tùy chọn vào mô hình 5W1H. Các thông tin còn thiếu được chuyển thành một tập hợp các câu hỏi rõ ràng (Qgap), định tuyến quy trình làm việc đến các nhánh tìm kiếm hoặc suy luận phù hợp.
  2. Hoàn thiện kiến thức thích ứng (Adaptive Knowledge Completion):
    • Neo kiến thức bên ngoài (External Knowledge Anchoring) qua Cognition Search Agent (Asearch): Đối với các khái niệm ngoài phân phối (Out-of-Distribution - OOD) hoặc sự kiện động, tác tử tìm kiếm sẽ tạo ra các truy vấn văn bản và hình ảnh để truy xuất bằng chứng đa phương thức (multimodal evidence) từ các cơ sở kiến thức thế giới mở. Các khái niệm được truy xuất sau đó được "tiêm" vào hướng dẫn của người dùng và các truy vấn hình ảnh được hiệu chỉnh để đảm bảo sự phù hợp với các sự kiện đã được xác thực.
    • Suy luận logic nội bộ (Internal Logical Derivation) qua CoT Knowledge Reasoning Agent (Areasoning): Đối với các khoảng trống yêu cầu suy luận phức tạp (ví dụ: giải quyết vấn đề toán học, suy luận quan hệ không gian), tác tử suy luận thực hiện suy luận đa bước để giải quyết các xung đột ngầm hoặc diễn giải dữ liệu hình ảnh được truy xuất, tạo ra các kết luận rõ ràng.
  3. Tạo ảnh có ràng buộc (Constrained Generation): Sau khi tích lũy và củng cố thông tin, Concept Review Agent (Areview) tổng hợp các sự kiện đã xác minh và kết luận logic vào một Master Prompt có cấu trúc. Sau đó, Unified Image Generation Agent (Ageneration) thực hiện tổng hợp hình ảnh, được điều kiện bởi cả Master Prompt và các tín hiệu hình ảnh thích ứng (từ hình ảnh tham chiếu hoặc hình ảnh đầu vào), để đạt được độ trung thực cao và tuân thủ các ranh giới thực tế/logic.

Để đánh giá nghiêm ngặt các khả năng này, các tác giả đề xuất Mind-Bench, một bộ tiêu chuẩn toàn diện gồm 500 mẫu trải dài trên 10 danh mục đa dạng (ví dụ: tin tức thời gian thực, khái niệm IP mới nổi, suy luận toán học và địa lý). Mind-Bench sử dụng tiêu chí Checklist-based Strict Accuracy (CSA), trong đó một mẫu chỉ được coi là đúng nếu tất cả các mục phụ trong danh sách kiểm tra được xác minh là "Đạt".

III. Main Results:​

III. Main Results:​

  • Trên Mind-Bench: Mind-Brush đã đạt được mức cải thiện đáng kể về độ chính xác tạo ảnh tổng thể, nâng cao độ chính xác của mô hình cơ sở Qwen-Image từ 0.02 lên 0.31. Nó vượt trội hơn nhiều mô hình UMM độc quyền và tất cả các mô hình mã nguồn mở trong bộ tiêu chuẩn này. Đặc biệt, Mind-Brush thể hiện hiệu suất vượt trội trong các nhiệm vụ phụ thuộc vào tìm kiếm như Special Events (0.54) và Character (0.62), cũng như trong Geo Understanding (0.16), sánh ngang với hiệu suất của Nano Banana Pro.
  • Trên WISE: Mind-Brush đã vượt trội hơn tất cả các mô hình tạo ảnh độc quyền được so sánh trên WISE, một bộ tiêu chuẩn nhấn mạnh kiến thức thế giới, tăng WiScore tổng thể lên 25.8% so với Qwen-Image và đạt 0.78, sánh ngang với hiệu suất của GPT-Image-1.
  • Trên RISEBench: Phương pháp của chúng tôi đạt 61.5 điểm trong Instruction Reasoning, vượt qua Nano Banana và vượt 68.5% so với Bagel. Độ chính xác tổng thể của Mind-Brush tiếp cận GPT-Image-1.
  • Nghiên cứu cắt bỏ (Ablation Study): Việc tích hợp riêng lẻ Knowledge Reasoning Agent mang lại những cải thiện đáng kể về độ chính xác trong các nhiệm vụ Reasoning-Driven, trong khi Cognition Search Agent cải thiện độ chính xác 0.28 trong các nhiệm vụ Knowledge-Driven. Sự triển khai đồng thời của cả hai tác tử thể hiện hiệu ứng hiệp đồng mạnh mẽ, mang lại những cải thiện đáng kể về độ chính xác tổng thể so với chỉ sử dụng một tác tử (0.17 so với Reasoning Agent, 0.06 so với Search Agent).

IV. Conclusion & Future Works:​

IV. Conclusion & Future Works:​

Kết luận: Mind-Brush là một khuôn khổ tác tử không cần huấn luyện, giúp biến đổi việc tạo ảnh văn bản thành hình ảnh từ quá trình giải mã thụ động thành một quy trình nhận thức chủ động. Bằng cách điều phối phân tích ý định, định hình đa phương thức và suy luận chuỗi tư duy rõ ràng, Mind-Brush thu hẹp khoảng cách giữa ý định mơ hồ của người dùng và tổng hợp hình ảnh chính xác, dựa trên thực tế. Việc thiết lập Mind-Bench cũng cung cấp một công cụ đánh giá nghiêm ngặt cho các mô hình về các nhiệm vụ chuyên sâu về kiến thức và phụ thuộc vào suy luận. Các kết quả thực nghiệm xác nhận sức mạnh tổng hợp của truy xuất chủ động và suy luận logic.

Công việc trong tương lai: Sự chuyển đổi sang Mô hình Sinh thành có tác tử (Agentic Generative Paradigm) này mở đường cho các hệ thống thế hệ tiếp theo có khả năng giải quyết các vấn đề phức tạp trong tổng hợp hình ảnh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc mở rộng khuôn khổ tác tử (agentic framework) của Mind-Brush để không chỉ tạo ra hình ảnh mà còn các dạng nội dung đa phương thức khác như video ngắn, âm nhạc hoặc môi trường 3D, tích hợp khả năng tìm kiếm và suy luận cho các định dạng phức tạp hơn.
  2. Khám phá các phương pháp để tự động hóa quá trình xây dựng và cập nhật các bộ tiêu chuẩn đánh giá tạo ảnh như Mind-Bench, đặc biệt tập trung vào việc theo dõi các khái niệm thời gian thực và sự kiện mới nổi mà không cần sự can thiệp thủ công liên tục, nhằm đảm bảo tính cập nhật và liên quan của benchmark.
  3. Phát triển các chiến lược huấn luyện hoặc điều chỉnh (fine-tuning) các mô hình ngôn ngữ lớn đa phương thức (Multimodal LLMs) đóng vai trò là 'bộ não' của các tác tử trong Mind-Brush, nhằm tối ưu hóa hiệu suất của chúng trong việc phân tích ý định, suy luận và quản lý tri thức, đặc biệt trong các kịch bản cần ít tài nguyên tính toán hơn.

2. Patent:​

  1. Ứng dụng "Trợ lý thiết kế hình ảnh thông minh" trên điện thoại: Một ứng dụng di động cho phép người dùng nhập mô tả hình ảnh mong muốn hoặc cung cấp một bức ảnh làm tham khảo. Hệ thống sẽ tự động sử dụng một "cơ chế phân tích ý định" để hiểu rõ các yêu cầu, bao gồm các khái niệm mới hoặc cần suy luận (ví dụ: "tạo một bức ảnh về lễ hội A mới nhất"). Sau đó, "cơ chế tìm kiếm kiến thức" sẽ truy cập internet để tìm kiếm thông tin và hình ảnh liên quan, trong khi "cơ chế suy luận logic" giải quyết các mối quan hệ phức tạp. Cuối cùng, một "cơ chế tạo ảnh" sẽ tổng hợp một hình ảnh chất lượng cao và chính xác, phù hợp với ý định ban đầu và thông tin đã được xác minh, hiển thị ngay trên màn hình điện thoại.
  2. Hệ thống "Sáng tạo nội dung đa nền tảng tức thời" tích hợp trên di động: Một tính năng cho các ứng dụng mạng xã hội hoặc chỉnh sửa ảnh trên điện thoại, cho phép người dùng nhập một chủ đề hoặc xu hướng bất kỳ. Hệ thống sẽ sử dụng "tác tử tìm kiếm thông minh" để quét các tin tức, sự kiện hoặc hình ảnh liên quan mới nhất trên internet. Tiếp theo, "tác tử suy luận ngữ cảnh" sẽ phân tích các chi tiết và mối quan hệ để tạo ra các gợi ý hình ảnh hoặc video ngắn phù hợp với chủ đề, giúp người dùng dễ dàng tạo ra nội dung thời thượng, cập nhật và độc đáo chỉ với vài thao tác trên điện thoại.
  3. Công cụ "Trợ lý học tập và minh họa trực quan" cho thiết bị di động: Một ứng dụng hỗ trợ học tập trên điện thoại hoặc máy tính bảng, nơi học sinh có thể nhập các khái niệm trừu tượng (ví dụ: "giải thích định lý toán học Pythagoras bằng hình ảnh") hoặc các hiện tượng khoa học phức tạp. "Cơ chế suy luận" của hệ thống sẽ phân tích yêu cầu để xác định các yếu tố cần minh họa, và "cơ chế tìm kiếm" sẽ thu thập các dữ liệu hỗ trợ. Sau đó, "cơ chế tạo ảnh" sẽ tự động sinh ra các hình ảnh minh họa rõ ràng, trực quan và chính xác, giúp người học dễ dàng hiểu và hình dung các khái niệm khó, cải thiện trải nghiệm học tập di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01756
ArXiv Abstracthttps://arxiv.org/abs/2602.01756
PDF Downloadhttps://arxiv.org/pdf/2602.01756.pdf
Github Repositoryhttps://github.com/PicoTrex/Mind-Brush

23. Rethinking Selective Knowledge Distillation (22 votes)​

Tác giả: Almog Tavor, Itay Ebenspanger, Neil Cnaan, Mor Geva

Xuất bản lúc: 2026-02-01

Tag: Knowledge Distillation, LLMs, Efficiency, Autoregressive Models, Sparse Supervision

I. Main Problem:​

Các nỗ lực hiện tại nhằm cải thiện Knowledge Distillation (KD) trong Large Language Models (LLMs) bằng cách thay thế giám sát dày đặc (dense supervision) bằng giám sát chọn lọc (selective distillation). Tuy nhiên, vẫn chưa rõ ràng về tín hiệu quan trọng (importance signals), chính sách lựa chọn (selection policies) và sự tương tác giữa chúng là hiệu quả nhất. Việc áp dụng KD tại mọi vị trí token thường không tối ưu do giám sát đồng đều trên tất cả các vị trí, dẫn đến sự thiếu rõ ràng về cách xác định các vị trí thông tin nhất và cách các chính sách lựa chọn tương tác để định hình một chương trình chưng cất kiến thức hiệu quả.

II. Main Idea:​

Nghiên cứu này xem xét lại "ở đâu" và "làm thế nào" để chưng cất kiến thức trong LLMs tự hồi quy. Các tác giả tách biệt selective KD theo các trục vị trí (position), lớp (class) và mẫu (sample), đồng thời so sánh một cách có hệ thống các tín hiệu quan trọng và chính sách lựa chọn. Dựa trên phân tích này, họ xác định các cơ hội chưa được khai thác và giới thiệu phương pháp Student-Entropy-Guided Position Selection (SE-KD). Mở rộng phương pháp này trên các trục lớp và mẫu (SE-KD 3X) mang lại các cải tiến hiệu quả bổ sung, giúp việc lưu trữ cache của mô hình "giáo viên" ngoại tuyến (offline teacher caching) trở nên khả thi. Ngoài ra, các tác giả đề xuất các tối ưu hóa như "selective LM head" và "chunked entropy computation" để giảm dấu chân bộ nhớ.

III. Main Results:​

SE-KD (lựa chọn 20% vị trí hàng đầu dựa trên entropy của mô hình học sinh) thường xuyên cải thiện độ chính xác (64.8 so với 64.4 của Full KD), tuân thủ nhiệm vụ downstream (21.4 so với 20.5 IFEval) và hiệu quả bộ nhớ, đồng thời giảm perplexity (6.9 so với 7.3). SE-KD 3X mang lại lợi ích hiệu quả bổ sung, giảm thời gian thực thi (wall time) tới 70% và bộ nhớ cao điểm (peak memory) 18%, trong khi cắt giảm mức sử dụng lưu trữ 80% (so với các phương pháp trước) và 99.96% (so với Full KD) mà không ảnh hưởng đến hiệu suất. Các phương pháp dựa trên entropy của học sinh và độ chênh lệch giữa giáo viên-học sinh (CE ratio, KL) đáng tin cậy hơn trong việc xác định các vị trí thông tin. Phương pháp SE-KD cũng cạnh tranh trong các thiết lập chưng cất theo chính sách (on-policy distillation) và chưng cất dành riêng cho nhiệm vụ (task-specific distillation).

IV. Conclusion & Future Works:​

Kết luận rằng giám sát logit dày đặc và đồng đều thường không cần thiết. Đối với chưng cất kiến thức mục đích chung, việc tập trung giám sát vào một tập hợp nhỏ các vị trí có độ bất định cao (đặc biệt là thông qua lựa chọn Top-20% dựa trên student entropy) thường xuyên ngang bằng hoặc vượt trội hơn Full KD. SE-KD 3X tích hợp hiệu quả với việc làm thưa thớt ở cấp độ lớp và mẫu, mang lại sự cân bằng tối ưu giữa độ chính xác và hiệu quả. Các hướng nghiên cứu trong tương lai bao gồm việc xác thực các xu hướng này trên các họ mô hình, quy mô và ngữ cảnh dài hơn; khám phá sự tương tác với các tiêu chí căn chỉnh thay thế (ví dụ: KD dựa trên tính năng); và tối ưu hóa thêm cho chưng cất dành riêng cho nhiệm vụ và các bộ dữ liệu nhỏ hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Đánh giá và xác thực các xu hướng của selective KD trên các họ mô hình ngôn ngữ lớn (LLM) khác nhau, với các quy mô mô hình đa dạng và trong các ngữ cảnh đầu vào dài hơn để kiểm tra tính tổng quát của phương pháp.
  2. Nghiên cứu sự tương tác giữa các chính sách lựa chọn vị trí, lớp, và mẫu với các tiêu chí căn chỉnh (alignment criteria) thay thế trong Knowledge Distillation, chẳng hạn như KD dựa trên tính năng (feature-based KD).
  3. Phát triển các tối ưu hóa bổ sung cho selective KD trong bối cảnh chưng cất dành riêng cho nhiệm vụ (task-specific distillation), đặc biệt là trên các bộ dữ liệu nhỏ hơn hoặc khi huấn luyện nhiều epoch, để cải thiện hiệu suất rõ rệt hơn so với Full KD.

2. Patent:​

  1. Hệ thống Nén Mô Hình AI Thông Minh cho Ứng Dụng Di Động: Một hệ thống thông minh trên điện thoại di động giúp các ứng dụng AI chạy nhanh hơn và tiết kiệm pin. Nó sẽ học hỏi từ một mô hình AI lớn hơn trên đám mây bằng cách chỉ tập trung vào những phần kiến thức mà mô hình AI nhỏ trên điện thoại còn "chưa chắc chắn" hoặc "khó hiểu" nhất. Điều này giống như một học sinh chỉ ôn tập những bài khó nhất thay vì học lại toàn bộ sách giáo khoa, giúp giảm lượng dữ liệu cần xử lý và tăng tốc độ phản hồi của ứng dụng.
  2. Quản lý Tài Nguyên AI Động cho Trợ Lý Ảo Trên Điện Thoại: Một công nghệ cho phép trợ lý ảo hoặc các tính năng AI trên điện thoại tự động điều chỉnh mức độ sử dụng tài nguyên (CPU, RAM). Khi người dùng ra lệnh hoặc đặt câu hỏi, hệ thống sẽ nhanh chóng xác định phần nào của câu hỏi là quan trọng hoặc mơ hồ nhất, sau đó tập trung toàn bộ "sức mạnh tính toán" của AI vào phần đó, đồng thời bỏ qua các chi tiết ít quan trọng hơn. Điều này giúp trợ lý ảo trả lời nhanh hơn và giảm tiêu thụ pin đáng kể.
  3. Cập Nhật Mô Hình Ngôn Ngữ Ngoại Tuyến Hiệu Quả Cho Điện Thoại: Một phương pháp giúp điện thoại tải về hoặc cập nhật các mô hình ngôn ngữ lớn (ví dụ: cho bàn phím thông minh, dịch thuật) với dung lượng nhỏ hơn rất nhiều. Thay vì tải toàn bộ phiên bản mới, điện thoại sẽ phân tích những phần kiến thức nào mà mô hình hiện tại của nó "yếu" hoặc "cần cải thiện", sau đó chỉ tải về những "gói kiến thức" nhỏ gọn đó từ máy chủ. Điều này giúp tiết kiệm dữ liệu di động và rút ngắn thời gian cập nhật đáng kể.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01395
ArXiv Abstracthttps://arxiv.org/abs/2602.01395
PDF Downloadhttps://arxiv.org/pdf/2602.01395.pdf
Github Repositoryhttps://github.com/almogtavor/SE-KD3x

24. FSVideo: Fast Speed Video Diffusion Model in a Highly-Compressed Latent Space (18 votes)​

Tác giả: FSVideo Team, Qingyu Chen, Zhiyuan Fang, Haibin Huang, Xinwei Huang, Tong Jin, Minxuan Lin, Bo Liu, Celong Liu, Chongyang Ma, Xing Mei, Xiaohui Shen, Yaojie Shen, Fuwen Tan, Angtian Wang, Xiao Yang, Yiding Yang, Jiamin Yuan, Lingxi Zhang, Yuxin Zhang

Xuất bản lúc: 2026-02-02

Tag: Video Generation, Diffusion Model, Image-to-Video, Latent Space, Transformer, Autoencoder

I. Main Problem:​

I. Vấn đề chính:​

  • Chi phí suy luận cao của các mô hình tạo video lớn hiện tại (như Sora 2, Veo 3, Kling, Wan, SeedDance) dẫn đến thời gian chờ đợi lâu và chi phí GPU cao, gây khó khăn cho việc mở rộng đến người dùng rộng rãi hơn.
  • Các phương pháp tăng tốc không cần huấn luyện hiện có (như các bộ giải hiệu quả, phương pháp dựa trên bộ nhớ đệm, lấy mẫu độ phân giải thấp) thường chỉ đạt được tốc độ giới hạn hoặc làm giảm chất lượng tạo ra.
  • Các phương pháp tăng tốc dựa trên huấn luyện (như giảm kích thước mô hình, thay thế các phép toán chú ý bằng các lựa chọn nhẹ hơn) thường bị giảm chất lượng tạo ra do năng lực mô hình giảm.
  • Các phương pháp chưng cất bước suy luận thường đối mặt với sự suy giảm chất lượng đáng kể khi số bước suy luận rất thấp, và tốc độ tăng tốc bị hạn chế khi sử dụng số bước hợp lý với các bộ giải hiệu quả, khiến các mô hình khuếch tán video vẫn tốn nhiều tính toán.
  • Các bộ mã hóa-giải mã video trước đây với tỷ lệ nén không gian cao (lên đến 32x) có thể gặp phải chất lượng tái tạo và tạo video kém.

II. Main Idea:​

II. Ý tưởng chính:​

FSVideo giới thiệu một khung khuếch tán ảnh-thành-video (I2V) dựa trên transformer với tốc độ nhanh, được xây dựng trên các thành phần chính sau:

  1. Bộ mã hóa-giải mã video mới với không gian tiềm ẩn được nén cao (FSAE):
    • Đạt tỷ lệ giảm mẫu không-thời gian 64x64x4, tổng cộng giảm thông tin 384x, với 128 kênh tiềm ẩn, đồng thời đạt chất lượng tái tạo cạnh tranh.
    • Sử dụng kiến trúc bất đối xứng, với bộ mã hóa được đóng băng và bộ giải mã được tinh chỉnh để cải thiện chất lượng và hiệu suất.
    • Giới thiệu "Video Vision Foundation model alignment Loss" (Video VF Loss) để cải thiện sự liên kết ngữ nghĩa của không gian tiềm ẩn và giảm độ phức tạp của nó.
    • Bộ giải mã được cải tiến với tích chập phi nhân quả để tránh nhấp nháy khung hình, tích hợp các đặc trưng khung hình đầu tiên từ bộ mã hóa qua cross-attention, và đưa nhiễu để tăng chi tiết.
    • Cung cấp hai phiên bản: FSAE-Standard (chất lượng tốt nhất) và FSAE-Lite (ít tiêu thụ bộ nhớ và thời gian suy luận hơn).
  2. Kiến trúc Diffusion Transformer (DiT) với thiết kế "bộ nhớ lớp" mới:
    • Cơ chế "layer memory" cải thiện luồng thông tin giữa các lớp và tái sử dụng ngữ cảnh trong DiT.
    • Giới thiệu "bộ định tuyến động giữa các lớp" để điều chỉnh trọng số các biểu diễn trước đó một cách thích ứng, tạo thành một bộ nhớ khả vi qua độ sâu của DiT.
    • Cơ chế Self-Attention nhận biết bộ nhớ lấy truy vấn từ lớp trước, nhưng khóa và giá trị được tổng hợp từ sự kết hợp học được của tất cả các biểu diễn ẩn trước đó.
    • Thiết kế này giữ nguyên kiến trúc DiT ban đầu và chỉ thêm các tham số huấn luyện bổ sung tối thiểu.
  3. Chiến lược tạo đa độ phân giải thông qua bộ nâng cấp DiT vài bước:
    • Sử dụng một mô-đun nâng cấp bao gồm bộ nâng mẫu tiềm ẩn tích chập và bộ tinh chỉnh DiT để tăng cường độ trung thực của video.
    • Đảm bảo tăng thời gian suy luận tối thiểu thông qua quá trình chưng cất bước DiT tinh chỉnh nhẹ.
  4. Tập trung vào mô hình Image-to-Video (I2V): Lựa chọn I2V để dễ huấn luyện (nhận thông tin ngoại hình đầy đủ từ ảnh đầu vào), tối ưu tài nguyên (thân thiện với dữ liệu), và cân nhắc ứng dụng (như diễn lại ảnh, hiệu ứng hình ảnh).

III. Main Results:​

III. Kết quả chính:​

  • FSVideo đạt được hiệu suất cạnh tranh so với các mô hình mã nguồn mở phổ biến khác, đồng thời nhanh hơn một bậc độ lớn, ví dụ, nhanh hơn 42,3 lần so với Wan2.1-I2V-14B-720P.
  • Hiệu suất của FSAE (Bộ mã hóa-giải mã):
    • FSAE-Standard (với tỷ lệ nén 1:384) cho thấy SSIM 0.806, PSNR 28.96, LPIPS 0.107, FVD 256.62 trên tập dữ liệu Inter-4K, vượt trội so với các bộ mã hóa-giải mã có tỷ lệ nén cao khác như LTX-Video và VidTok, và thậm chí còn tốt hơn một số bộ mã hóa-giải mã có tỷ lệ nén thấp hơn như Cosmos-CV.
    • FSAE-Lite cung cấp khả năng tiêu thụ bộ nhớ và thời gian suy luận ít hơn 1.75-2 lần với chi phí hiệu suất giảm nhẹ.
    • Loss Video VF đạt được kích thước nội tại thấp nhất cho không gian tiềm ẩn, giúp giảm độ phức tạp và cải thiện khả năng tạo video của bộ mã hóa-giải mã.
    • So sánh định tính cho thấy FSAE duy trì tính nhất quán của kết cấu và đạt chất lượng tái tạo vượt trội hoặc cạnh tranh so với LTX-Video.
  • Cơ chế Bộ nhớ lớp (Layer Memory):
    • Biểu đồ nhiệt của bộ định tuyến cho thấy luồng thông tin giữa các lớp hiệu quả, với các lớp sâu hơn có chọn lọc tham chiếu các biểu diễn sớm hơn (như token của khung hình đầu tiên).
    • Khi huấn luyện từ đầu, mô hình với Bộ nhớ lớp đạt được tổn thất thấp hơn một cách nhất quán và hội tụ ban đầu nhanh hơn.
    • Khi tinh chỉnh các mô hình đã được huấn luyện trước, cơ chế này giúp hội tụ nhanh chóng và duy trì lợi thế hiệu suất ổn định (lên đến 4.7%).

IV. Conclusion & Future Works:​

IV. Kết luận & Công việc tương lai:​

  • FSVideo đã chứng minh khả năng tạo video chất lượng cao với tốc độ nhanh đáng kể bằng cách giảm lượng tính toán trên mỗi lần truyền mô hình thông qua việc sử dụng không gian tiềm ẩn được nén cao, kiến trúc DiT cải tiến và chiến lược tạo đa độ phân giải.
  • Công việc tương lai: Tích hợp cơ chế Bộ nhớ lớp vào kiến trúc MMDIT (Multi-Modal Diffusion Transformer) để đạt được hiệu suất cao hơn nữa, đặc biệt là do MMDIT có một cơ chế chú ý chung trên các phương thức khác nhau, điều này gợi ý một tác động lớn hơn của bộ nhớ lớp đến mỗi lớp transformer.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế Bộ nhớ lớp trong các mô hình khuếch tán transformer đa phương thức (MMDIT): Khám phá sâu hơn về cách cơ chế Bộ nhớ lớp có thể được tích hợp và tối ưu hóa trong kiến trúc MMDIT để tận dụng khả năng chú ý chung trên các phương thức khác nhau, từ đó đạt được cải thiện hiệu suất đáng kể trong việc tạo video đa phương thức.
  2. Phân tích chuyên sâu về tỷ lệ nén của bộ mã hóa-giải mã video và ảnh hưởng đến chất lượng tạo video: Một nghiên cứu chuyên sâu về các tỷ lệ nén khác nhau (ví dụ: 64x64x4) và cách chúng ảnh hưởng đến cả chất lượng tái tạo và khả năng tạo nội dung mới, cùng với việc đề xuất các chiến lược nén thích nghi hoặc lai ghép mới.
  3. Các kỹ thuật mới để cân bằng chất lượng tái tạo và tạo video trong các không gian tiềm ẩn được nén cao: Phát triển các phương pháp tiên tiến để cải thiện sự liên kết ngữ nghĩa của không gian tiềm ẩn và tối ưu hóa bộ giải mã, nhằm giảm thiểu hiện vật và tăng cường độ trung thực của video mà không làm tăng đáng kể chi phí tính toán hoặc bộ nhớ.

2. Patent:​

  1. Hệ thống Tạo Hiệu Ứng Video Nhanh Chóng Từ Ảnh Đầu Vào Trên Điện Thoại: Một ứng dụng di động cho phép người dùng chọn một bức ảnh từ thư viện của họ, sau đó sử dụng công nghệ tạo video tốc độ cao để nhanh chóng tạo ra một đoạn video ngắn với bức ảnh đó làm khung hình đầu tiên. Người dùng có thể chọn các phong cách chuyển động hoặc kịch bản khác nhau (ví dụ: ảnh chân dung trở thành video nói chuyện, ảnh tĩnh trở thành cảnh vật chuyển động). Ứng dụng này sẽ tận dụng khả năng nén dữ liệu video hiệu quả để xử lý nhanh trên thiết bị di động hoặc qua đám mây với độ trễ thấp.
  2. Công Nghệ Tối Ưu Hóa Bộ Nhớ và Tốc Độ Xử Lý Video Cho Điện Thoại Thông Minh: Một phương pháp độc quyền tích hợp vào hệ điều hành hoặc chip xử lý của điện thoại để quản lý và xử lý dữ liệu video một cách cực kỳ hiệu quả. Điều này bao gồm một bộ mã hóa và giải mã video được thiết kế để nén video với tỷ lệ rất cao mà vẫn giữ được chất lượng đáng kể, giảm đáng kể dung lượng lưu trữ và băng thông cần thiết khi truyền tải hoặc xử lý video. Công nghệ này cũng có thể sử dụng các 'bộ nhớ thông minh' để tăng tốc độ xử lý các tác vụ liên quan đến video, giúp điện thoại hoạt động mượt mà hơn khi quay, chỉnh sửa hoặc xem video độ nét cao.
  3. Hệ Thống Cải Thiện Độ Trung Thực Video Thời Gian Thực Trên Điện Thoại: Một tính năng trên điện thoại thông minh cho phép nâng cấp chất lượng hình ảnh của video trong thời gian thực hoặc sau khi quay. Hệ thống này sử dụng một mô hình xử lý video đặc biệt để lấy đầu ra video cơ bản và tinh chỉnh nó, thêm chi tiết và độ nét cao hơn, đồng thời đảm bảo sự nhất quán của các chuyển động trong video. Điều này có thể được áp dụng để cải thiện video quay trong điều kiện ánh sáng yếu hoặc video có độ phân giải thấp, mang lại trải nghiệm xem video tốt hơn cho người dùng di động mà không yêu cầu phần cứng quá mạnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02092
ArXiv Abstracthttps://arxiv.org/abs/2602.02092
PDF Downloadhttps://arxiv.org/pdf/2602.02092.pdf
Github RepositoryN/A

25. Ebisu: Benchmarking Large Language Models in Japanese Finance (17 votes)​

Tác giả: Xueqing Peng, Ruoyu Xiang, Fan Zhang, Mingzi Song, Mingyang Jiang, Yan Wang, Lingfei Qian, Taiki Hara, Yuqing Guo, Jimin Huang, Junichi Tsujii, Sophia Ananiadou

Xuất bản lúc: 2026-02-01

Tag: LLMs, NLP, Benchmarking, Japanese, Finance, Information Extraction, Natural Language Understanding

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLM) hiện tại gặp khó khăn đáng kể trong việc hiểu tài chính tiếng Nhật. Điều này xuất phát từ cấu trúc ngôn ngữ kết dính, tận cùng theo sau (head-final), hệ thống chữ viết hỗn hợp (kanji, hiragana, katakana) và các chuẩn giao tiếp ngữ cảnh cao, phụ thuộc vào diễn đạt gián tiếp và cam kết ngầm. Các benchmark hiện có không phù hợp để đánh giá các hiện tượng ngôn ngữ và ngữ dụng tinh tế này trong tài chính Nhật Bản, vốn rất quan trọng cho các nhà đầu tư quốc tế.

II. Main Idea:​

Bài báo giới thiệu EBISU, một benchmark mới được thiết kế để đánh giá khả năng hiểu ngôn ngữ tài chính tiếng Nhật bản địa của các LLM. EBISU bao gồm hai tác vụ được chú thích bởi chuyên gia, có nền tảng ngôn ngữ và văn hóa sâu sắc:

  1. JF-ICR (Japanese Financial Implicit Commitment Recognition): Đánh giá khả năng nhận diện cam kết và từ chối ngầm trong các phiên hỏi đáp giữa nhà đầu tư và công ty.
  2. JF-TE (Japanese Financial Term Extraction): Đánh giá khả năng trích xuất và xếp hạng thứ bậc các thuật ngữ tài chính lồng ghép từ các công bố chuyên nghiệp. Nghiên cứu đánh giá 22 LLM đa dạng (mã nguồn mở, độc quyền, đa năng, thích nghi tiếng Nhật và chuyên về tài chính) và phân tích ảnh hưởng của quy mô mô hình, thích nghi ngôn ngữ và thích nghi miền chuyên biệt.

III. Main Results:​

  • Các LLM hiện đại, bao gồm cả các hệ thống độc quyền và mã nguồn mở hàng đầu, đều gặp khó khăn đáng kể trên cả hai tác vụ của EBISU, với hiệu suất tổng thể thấp.
  • Việc tăng quy mô mô hình chỉ mang lại cải thiện hạn chế.
  • Thích nghi ngôn ngữ (tiếng Nhật) và miền chuyên biệt (tài chính) không nhất quán cải thiện hiệu suất, thậm chí có thể làm giảm hiệu suất, đặc biệt đối với trích xuất thuật ngữ tài chính (-0.12 F1 cho JF-TE).
  • Lỗi chủ yếu tập trung vào các hiện tượng ngôn ngữ và ngữ dụng (ví dụ: nhầm lẫn từ chối với phản hồi trung lập/mơ hồ trong JF-ICR; khó khăn trong việc phân giải ranh giới thuật ngữ và xử lý biến thể chữ viết trong JF-TE).
  • Các mô hình tập trung vào tiếng Anh có xu hướng thiên vị hệ thống, thường diễn giải sai các từ chối gián tiếp trong tài chính Nhật Bản thành sự chấp thuận hoặc đồng ý yếu ớt.

IV. Conclusion & Future Works:​

EBISU là một benchmark thách thức, làm lộ ra những khoảng trống dai dẳng trong khả năng hiểu của LLM về ngôn ngữ và chuẩn giao tiếp tài chính tiếng Nhật. Các chiến lược mở rộng quy mô và thích nghi hiện tại không hiệu quả trong việc nắm bắt các cơ chế hình thái cú pháp và ngữ dụng cốt lõi của giao tiếp tài chính Nhật Bản.

Hạn chế: Phạm vi dataset bị hạn chế về số lượng công ty và khoảng thời gian, chỉ tập trung vào các Báo cáo Chứng khoán Hàng năm, và không cung cấp phân tách train/test. Hai tác vụ chỉ hoạt động trên các đoạn văn bản tương đối ngắn, hạn chế đánh giá hiểu ngữ cảnh dài và lý luận hội thoại nhiều lượt. Các chỉ số đánh giá có hạn chế (Accuracy không phân biệt lỗi, exact matching cho JF-TE có thể quá khắt khe).

Lo ngại đạo đức: Nguy cơ phụ thuộc quá mức vào điểm benchmark, thiên vị dữ liệu do phạm vi hạn chế, và khả năng mô hình overfitting. Cần xác thực bổ sung và giám sát của chuyên gia trước khi triển khai trong các hệ thống tài chính thực tế.

Hướng nghiên cứu tương lai: Mở rộng dataset, giới thiệu phân tách train/validation/test, phát triển các mô hình nắm bắt sâu hơn ngữ cảnh ngôn ngữ và văn hóa tài chính Nhật Bản, giải quyết các hạn chế về ngữ cảnh dài và lý luận đa lượt.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển kiến trúc LLM mới cho các ngôn ngữ kết dính, ngữ cảnh cao: Nghiên cứu các kiến trúc mô hình ngôn ngữ lớn được thiết kế đặc biệt để xử lý các đặc trưng ngôn ngữ như cấu trúc tận cùng theo sau, từ phức hợp lồng ghép và diễn đạt gián tiếp, tập trung vào các ngôn ngữ châu Á như tiếng Nhật.
  2. Phương pháp huấn luyện LLM đa nhiệm tích hợp hiểu ngữ dụng và trích xuất thuật ngữ chuyên ngành: Khám phá các chiến lược huấn luyện tiếp tục hoặc fine-tuning tích hợp sâu các nhiệm vụ hiểu ngữ dụng (nhận diện cam kết/từ chối ngầm) và trích xuất thuật ngữ chuyên ngành có cấu trúc lồng ghép, đặc biệt trong các miền đặc thù như tài chính.
  3. Đánh giá thiên vị văn hóa và ngôn ngữ trong LLM tài chính đa ngôn ngữ: Nghiên cứu định lượng và định tính về các thiên vị văn hóa và ngôn ngữ (ví dụ: xu hướng diễn giải cam kết) của các mô hình ngôn ngữ lớn được huấn luyện trên dữ liệu đa ngôn ngữ, và phát triển phương pháp để giảm thiểu các thiên vị này trong các ứng dụng tài chính nhạy cảm.

2. Patent:​

  1. Ứng dụng phân tích ý định giao tiếp tài chính trên di động: Một ứng dụng di động cho phép nhà đầu tư nước ngoài tải lên hoặc chụp ảnh các đoạn văn bản (ví dụ: bản hỏi đáp tài chính, báo cáo tóm tắt) bằng tiếng Nhật, sau đó tự động phân tích và hiển thị "mức độ cam kết" của công ty (rất cam kết, cam kết yếu, trung lập, từ chối yếu, từ chối mạnh) dưới dạng thang đo trực quan. Ứng dụng sẽ giải thích các tín hiệu ngôn ngữ gián tiếp đã được sử dụng.
  2. Công cụ nhận diện và giải thích thuật ngữ tài chính tiếng Nhật chuyên sâu cho di động: Một ứng dụng điện thoại thông minh tích hợp chức năng quét văn bản (OCR) hoặc nhập liệu, cho phép người dùng bôi đen các đoạn văn bản tài chính tiếng Nhật (từ báo cáo, tin tức). Ứng dụng sẽ tự động nhận diện và hiển thị các thuật ngữ tài chính phức tạp, giải thích nghĩa của chúng, chỉ ra các từ cấu thành lồng ghép và so sánh với các thuật ngữ tương đương (nếu có) trong tiếng Anh, đồng thời cảnh báo về sự dịch chuyển ngữ nghĩa.
  3. Trợ lý tài chính AI trên di động cảnh báo rủi ro ngôn ngữ: Một ứng dụng trợ lý AI trên điện thoại cung cấp bản tóm tắt các tài liệu tài chính tiếng Nhật (báo cáo thường niên, thông cáo báo chí), được thiết kế để tự động phát hiện và cảnh báo người dùng về các cụm từ, cấu trúc câu hoặc cách diễn đạt đặc trưng của tiếng Nhật có thể ngụ ý rủi ro, sự không chắc chắn, hoặc từ chối gián tiếp mà một người không phải bản địa có thể bỏ qua. Ứng dụng sẽ giải thích tại sao một cụm từ cụ thể lại mang ý nghĩa cảnh báo.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01479
ArXiv Abstracthttps://arxiv.org/abs/2602.01479
PDF Downloadhttps://arxiv.org/pdf/2602.01479.pdf
Github RepositoryN/A

26. RE-TRAC: REcursive TRAjectory Compression for Deep Search Agents (16 votes)​

Tác giả: Jialiang Zhu, Gongrui Zhang, Xiaolong Ma, Lin Xu, Miaosen Zhang, Ruiqi Yang, Song Wang, Kai Qiu, Zhirong Wu, Qi Dai, Ruichun Ma, Bei Liu, Yifan Yang, Chong Luo, Zhengyuan Yang, Linjie Li, Lijuan Wang, Weizhu Chen, Xin Geng, Baining Guo

Xuất bản lúc: 2026-02-02

Tag: LLMs, Deep Research Agents, Trajectory Compression, Agentic AI, Context Management, Supervised Fine-tuning

I. Main Problem:​

Các tác nhân nghiên cứu sâu dựa trên LLM (được xây dựng trên khung ReAct) gặp khó khăn trong việc xem xét lại các trạng thái trước đó, phân nhánh thành các hướng tìm kiếm thay thế hoặc duy trì nhận thức toàn cầu trong ngữ cảnh dài. Điều này thường dẫn đến các điểm tối ưu cục bộ, khám phá dư thừa và tìm kiếm kém hiệu quả. Cụ thể, thiết kế tuyến tính của ReAct gây ra 'khám phá nhánh không đầy đủ' và 'quên thảm khốc' trong các quỹ đạo dài. Các phương pháp thử nghiệm nhiều lần hiện có là không hiệu quả do các nỗ lực độc lập và thiếu chia sẻ kiến thức giữa các quỹ đạo.

II. Main Idea:​

Đề xuất Re-TRAC (REcursive TRAjectory Compression), một khung tác nhân thực hiện khám phá chéo quỹ đạo bằng cách tạo ra một biểu diễn trạng thái có cấu trúc sau mỗi quỹ đạo. Biểu diễn này tóm tắt bằng chứng, sự không chắc chắn, thất bại và kế hoạch trong tương lai, sau đó sử dụng nó để điều kiện hóa các quỹ đạo tiếp theo. Điều này cho phép phản ánh lặp đi lặp lại và lập kế hoạch có thông tin toàn cầu, định hình lại nghiên cứu thành một quá trình tiến bộ. Biểu diễn trạng thái có cấu trúc được định nghĩa thông qua ba khía cạnh: 'Answer & Analytical Conclusions' (Câu trả lời và Kết luận phân tích), 'Evidence Base & Source Verification' (Cơ sở bằng chứng và Xác minh nguồn), và 'Uncertainties & Exploration Trace' (Sự không chắc chắn và Dấu vết khám phá). Đối với các mô hình nhỏ hơn, giới thiệu fine-tuning có giám sát (SFT) nhận biết Re-TRAC, giúp mô hình học cách dựa vào các bản tóm tắt trạng thái có cấu trúc thay vì chỉ dựa vào ngữ cảnh tức thì.

III. Main Results:​

Re-TRAC liên tục vượt trội hơn ReAct từ 15–20% trên BrowseComp khi sử dụng các LLM tiên tiến. Đối với các mô hình nhỏ hơn, fine-tuning có giám sát nhận biết Re-TRAC đạt được hiệu suất tiên tiến so với các mô hình có quy mô tương đương (ví dụ: mô hình 30B đạt 53% và mô hình 4B đạt 30% độ chính xác trên BrowseComp). Đáng chú ý, Re-TRAC cho thấy sự giảm dần theo thứ tự các lượt gọi công cụ và mức sử dụng token qua các vòng, cho thấy quá trình khám phá ngày càng có mục tiêu nhờ phản ánh chéo quỹ đạo thay vì tìm kiếm dư thừa, sử dụng ít hơn 50% tài nguyên để đạt hiệu suất tốt hơn. Re-TRAC cũng hoạt động như một phương pháp mở rộng quy mô tính toán thời gian kiểm thử hiệu quả và không cần đào tạo, cạnh tranh với các mô hình lớn hơn nhiều, và thậm chí vượt trội hơn một số mô hình nguồn đóng trên các benchmark nhất định.

IV. Conclusion & Future Works:​

Re-TRAC đại diện cho một bước tiến vượt ra ngoài khuôn khổ ReAct tuyến tính, hướng tới một khung khám phá đệ quy, dựa trên kinh nghiệm cho các tác nhân nghiên cứu sâu. Nó tạo điều kiện thuận lợi cho việc hợp nhất kiến thức chéo quỹ đạo, cho phép các tác nhân điều hướng không gian tìm kiếm phức tạp với độ chính xác cao hơn và chi phí tính toán thấp hơn. Những cải tiến nhất quán được quan sát thấy ở các mô hình tiên tiến—và thành công của công thức SFT cho các mô hình nhỏ hơn—nhấn mạnh tầm quan trọng của bộ nhớ có cấu trúc và lập kế hoạch có điều kiện trong các tác nhân tự trị. Công việc trong tương lai sẽ khám phá việc tích hợp Re-TRAC với học tăng cường để tối ưu hóa hơn nữa quá trình tạo kinh nghiệm và khả năng mở rộng của nó trên các tác vụ tác nhân đa dạng hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tích hợp Re-TRAC với học tăng cường (Reinforcement Learning) để tối ưu hóa quá trình tạo kinh nghiệm và mở rộng khả năng của tác nhân trên nhiều tác vụ khác nhau.
  2. Nghiên cứu các phương pháp đào tạo tác nhân tìm kiếm với khả năng tóm tắt thông tin tốt hơn, đặc biệt tập trung vào các mô hình nhỏ để cải thiện chất lượng biểu diễn trạng thái.
  3. Khám phá ứng dụng của phương pháp đệ quy, nén trạng thái của Re-TRAC vào các tác vụ tác nhân phức tạp khác có thời gian dài ngoài nghiên cứu sâu, ví dụ như lập trình tự động, quản lý dự án hoặc môi trường tương tác.

2. Patent:​

  1. Hệ thống trợ lý nghiên cứu thông minh trên điện thoại: Một ứng dụng trên điện thoại di động giúp người dùng thực hiện các tác vụ nghiên cứu phức tạp. Ứng dụng này sẽ ghi lại các bước tìm kiếm thông tin, các trang web đã truy cập, các kết luận đã rút ra và những câu hỏi chưa được trả lời. Dựa trên các thông tin đã thu thập, nó sẽ tự động đề xuất các hướng tìm kiếm tiếp theo một cách hiệu quả hơn, tránh lặp lại các bước đã làm và tập trung vào những gì còn thiếu, giúp người dùng hoàn thành các báo cáo hoặc dự án nghiên cứu lớn ngay trên điện thoại của mình.
  2. Công cụ học tập cá nhân hóa sử dụng tóm tắt kinh nghiệm: Một ứng dụng học tập trên điện thoại giúp sinh viên hoặc người học tự động tóm tắt các buổi học, bài giảng hoặc tài liệu đọc. Sau mỗi phiên học, ứng dụng sẽ tạo ra một bản tóm tắt các kiến thức đã học, các khái niệm còn mơ hồ, và các điểm cần tìm hiểu thêm. Trong các phiên học tiếp theo, ứng dụng sẽ sử dụng bản tóm tắt này để đưa ra các gợi ý về tài liệu, bài tập hoặc câu hỏi ôn tập, đảm bảo người học không bỏ sót kiến thức và tập trung cải thiện những điểm yếu.
  3. Hệ thống lập kế hoạch du lịch thông minh và thích ứng: Một ứng dụng du lịch trên điện thoại di động giúp người dùng lên kế hoạch cho các chuyến đi phức tạp. Sau mỗi lần thử lập kế hoạch (ví dụ, tìm chuyến bay, khách sạn, điểm tham quan), ứng dụng sẽ tự động ghi nhớ các lựa chọn đã xem xét, các ràng buộc (ngân sách, thời gian) và những vấn đề phát sinh (ví dụ: vé máy bay hết). Khi người dùng tiếp tục điều chỉnh kế hoạch, ứng dụng sẽ sử dụng 'kinh nghiệm' từ các lần trước để nhanh chóng loại bỏ các phương án không khả thi, đề xuất các lựa chọn mới dựa trên các tiêu chí đã biết, và tránh lặp lại việc tìm kiếm cho những thông tin đã được kiểm tra, giúp quá trình lập kế hoạch trở nên nhanh chóng và thông minh hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02486
ArXiv Abstracthttps://arxiv.org/abs/2602.02486
PDF Downloadhttps://arxiv.org/pdf/2602.02486.pdf
Github Repositoryhttps://github.com/microsoft/InfoAgent

27. How Well Do Models Follow Visual Instructions? VIBE: A Systematic Benchmark for Visual Instruction-Driven Image Editing (16 votes)​

Tác giả: Huanyu Zhang, Xuehai Bai, Chengzu Li, Chen Liang, Haochen Tian, Haodong Li, Ruichuan An, Yifan Zhang, Anna Korhonen, Zhang Zhang, Liang Wang, Tieniu Tan

Xuất bản lúc: 2026-02-02

Tag: Image Editing, Generative Models, Multimodal AI, Benchmarks, Visual Instructions, LMM-as-a-Judge

I. Main Problem:​

I. Main Problem:​

Hầu hết các hệ thống và benchmark chỉnh sửa hình ảnh hiện có vẫn chủ yếu dựa trên văn bản (text-guided), tạo ra gánh nặng nhận thức đáng kể cho người dùng và mô hình trong việc truyền đạt và hiểu ý định về không gian và cấu trúc. Giao tiếp của con người vốn dĩ là đa phương thức, trong đó các chỉ dẫn hình ảnh như phác thảo có thể truyền đạt ý định về không gian và cấu trúc một cách hiệu quả nhưng lại thiếu các công cụ và benchmark để đánh giá khả năng tuân thủ các chỉ dẫn hình ảnh này trong chỉnh sửa ảnh.

II. Main Idea:​

II. Main Idea:​

Để giải quyết vấn đề trên, nghiên cứu giới thiệu VIBE (Visual Instruction Benchmark for Image Editing), một benchmark có cấu trúc hệ thống để đánh giá khả năng chỉnh sửa hình ảnh được hướng dẫn bằng chỉ dẫn hình ảnh.

Các ý tưởng và cách tiếp cận chính:

  • Hệ thống phân cấp tương tác ba cấp độ: VIBE được tổ chức thành ba cấp độ phức tạp tăng dần:
    1. Deictic grounding (Mức độ lựa chọn): Tập trung vào việc xác định và cô lập các vị trí hoặc đối tượng không gian để thực hiện các thao tác cơ bản như thêm, xóa, thay thế và dịch chuyển.
    2. Morphological manipulation (Mức độ bản thiết kế): Yêu cầu mô hình diễn giải các chỉ dẫn hình ảnh trừu tượng (như bộ xương hoặc phác thảo) như một bản thiết kế để chỉ định các ràng buộc cấu trúc, ví dụ như kiểm soát tư thế hoặc tái định hướng đối tượng.
    3. Causal reasoning (Mức độ chất xúc tác): Cấp độ cao nhất, nơi các chỉ dẫn hình ảnh mã hóa động lực học nhân quả tiềm ẩn (ví dụ: vector lực, mũi tên chuyển động), đòi hỏi mô hình phải dự đoán kết quả logic của các sự kiện vật lý.
  • Dữ liệu benchmark đa dạng và chất lượng cao: VIBE bao gồm 1.034 mẫu được chú thích thủ công hoặc xác minh cẩn thận trên 10 nhiệm vụ con đa dạng về chức năng, bao phủ nhiều kịch bản chỉnh sửa và phong cách hình ảnh (thế giới thực, hoạt hình, phác thảo).
  • Khuôn khổ đánh giá LMM-as-a-judge: Đề xuất sử dụng một mô hình đa phương thức lớn (Large Multimodal Model - LMM, cụ thể là GPT-5.1) làm công cụ đánh giá. Khuôn khổ này sử dụng các chỉ số và tiêu chí đánh giá cụ thể cho từng nhiệm vụ (như Instruction Adherence, Contextual Preservation, Visual Coherence) để đo lường độ chính xác và chất lượng của kết quả chỉnh sửa, đồng thời đã được xác thực có tương quan cao với đánh giá của con người.

III. Main Results:​

III. Main Results:​

  • Khả năng của mô hình độc quyền: Các mô hình độc quyền hàng đầu thể hiện khả năng tuân thủ chỉ dẫn hình ảnh ở giai đoạn đầu, đặc biệt trong việc định vị không gian dưới các chỉ dẫn hình ảnh rõ ràng. Chúng nhất quán vượt trội so với các mô hình mã nguồn mở trên tất cả các cấp độ của benchmark.
  • Suy giảm hiệu suất theo độ phức tạp: Hiệu suất của các mô hình độc quyền suy giảm rõ rệt khi độ khó của nhiệm vụ tăng lên, từ cấp độ Deictic xuống Morphological và Causal. Ngay cả các mô hình mạnh nhất cũng đạt điểm trung bình dưới 50% ở cấp độ Causal, cho thấy lập luận nhân quả phức tạp vẫn là một thách thức đáng kể.
  • Ảnh hưởng của phong cách hình ảnh: Các mô hình thể hiện các ưu tiên riêng biệt, phụ thuộc vào mô hình, đối với các phong cách hình ảnh khác nhau (ví dụ: thế giới thực, hoạt hình, phác thảo) trên các nhiệm vụ Deictic Level. Đối với nhiệm vụ Draft Instantiation, hầu hết các mô hình hoạt động tốt hơn với hình ảnh phong cách hoạt hình.
  • Thách thức của chỉ dẫn đa nhiệm: Hiệu suất của các mô hình giảm rõ rệt khi phải tuân thủ nhiều chỉ dẫn hình ảnh đồng thời trong một truy vấn, chỉ ra khoảng cách trong khả năng hiểu và thực thi chỉ dẫn có tính tổng hợp.
  • Tính hợp lệ của LMM-as-a-Judge: Khuôn khổ đánh giá LMM-as-a-Judge cho thấy sự tương quan cao (hệ số Pearson r=0.9602) với đánh giá của chuyên gia con người, xác nhận độ tin cậy của phương pháp đánh giá tự động này.
  • Sự phối hợp giữa chỉ dẫn văn bản và hình ảnh: Chỉ dẫn hình ảnh cung cấp tín hiệu định vị không gian mạnh mẽ, giảm thiểu sự mơ hồ mà chỉ văn bản không giải quyết được. Tuy nhiên, các ràng buộc ngữ nghĩa phức tạp thường yêu cầu sự kết hợp của cả chỉ dẫn văn bản chi tiết và chỉ dẫn hình ảnh rõ ràng để đạt được kết quả chính xác.

IV. Conclusion & Future Works:​

IV. Conclusion & Future Works:​

Nghiên cứu giới thiệu VIBE, một benchmark đầu tiên được thiết kế để đánh giá một cách có hệ thống khả năng tuân thủ chỉ dẫn hình ảnh trong chỉnh sửa ảnh. Các thử nghiệm toàn diện cho thấy các hệ thống hiện tại có khả năng ở giai đoạn đầu đối với các chỉ dẫn hình ảnh rõ ràng, cục bộ, nhưng hiệu suất giảm khi độ phức tạp tương tác tăng lên. Phân tích cũng chỉ ra những khác biệt rõ rệt giữa các mô hình, phong cách hình ảnh và các thành phần nhiệm vụ.

VIBE hy vọng sẽ là một bộ công cụ hữu ích cho nghiên cứu trong tương lai, khuyến khích phát triển các mô hình với khả năng tuân thủ chỉ dẫn hình ảnh được cải thiện và khả năng phối hợp hiệu quả hơn với hướng dẫn bằng văn bản, đặc biệt trong các lĩnh vực suy luận, thực thi chỉ dẫn có tính tổng hợp và phối hợp đa nhiệm.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các kiến trúc mô hình và phương pháp huấn luyện mới nhằm nâng cao khả năng suy luận nhân quả và mô hình hóa thế giới nội bộ trong các hệ thống chỉnh sửa hình ảnh, đặc biệt tập trung vào cải thiện hiệu suất trên các nhiệm vụ Causal Level.
  2. Khám phá các phương pháp để các mô hình có thể hiểu và thực thi đồng thời nhiều chỉ dẫn hình ảnh trong một truy vấn, giải quyết khoảng cách hiệu suất khi chuyển từ tác vụ đơn lẻ sang tác vụ tổng hợp, có thể thông qua các cơ chế chú ý đa cấp hoặc mô hình hóa ý định phức tạp.
  3. Nghiên cứu sự tương tác và phối hợp tối ưu giữa chỉ dẫn văn bản và hình ảnh trong các mô hình chỉnh sửa ảnh, bao gồm việc xác định khi nào cần chỉ dẫn chi tiết từ cả hai phương thức và cách chúng bổ trợ lẫn nhau để giảm thiểu sự mơ hồ và cải thiện kết quả chỉnh sửa cho các tác vụ ngữ nghĩa phức tạp.

2. Patent:​

  1. Một tính năng chỉnh sửa ảnh trên điện thoại di động cho phép người dùng vẽ phác thảo hoặc khoanh vùng trực tiếp lên ảnh để chỉ định vị trí hoặc hình dạng mong muốn, kết hợp với một vài từ khóa mô tả để thay thế, thêm chi tiết, hoặc điều chỉnh tư thế nhân vật một cách trực quan và nhanh chóng.
  2. Một công cụ trong ứng dụng chỉnh sửa ảnh trên điện thoại di động, nơi người dùng có thể vẽ một mũi tên lên ảnh để chỉ hướng nguồn sáng mới hoặc hướng gió. Ứng dụng sẽ tự động điều chỉnh bóng đổ, độ sáng và các hiệu ứng vật lý (như tóc bay, rèm cửa lung lay) trên ảnh sao cho chân thực với hướng chỉ dẫn, tạo ra một bức ảnh có hiệu ứng động.
  3. Một hệ thống trên điện thoại di động cho phép người dùng chọn một đối tượng trong ảnh bằng cách chạm hoặc vẽ quanh nó, sau đó vẽ một mũi tên để chỉ hướng di chuyển hoặc chạm vào vị trí mới. Đối tượng sẽ được di chuyển đến vị trí mới một cách liền mạch, đồng thời tự động điều chỉnh phông nền phía sau và giữ nguyên tỷ lệ, hình dạng của đối tượng, giúp người dùng dễ dàng bố cục lại ảnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01851
ArXiv Abstracthttps://arxiv.org/abs/2602.01851
PDF Downloadhttps://arxiv.org/pdf/2602.01851.pdf
Github RepositoryN/A

28. Toward Cognitive Supersensing in Multimodal Large Language Model (16 votes)​

Tác giả: Boyi Li, Yifan Shen, Yuanzhe Liu, Yifan Xu, Jiateng Liu, Xinzhuo Li, Zhengyuan Li, Jingyuan Zhu, Yunhan Zhong, Fangzhou Lan, Jianguo Cao, James M. Rehg, Heng Ji, Ismini Lourentzou, Xu Cao

Xuất bản lúc: 2026-02-02

Tag: MLLMs, Cognitive Reasoning, Visual Imagery, Reinforcement Learning, Supervised Fine-tuning, VQA

I. Main Problem:​

Các MLLM đã đạt được thành công đáng kể trong các tác vụ nhận thức từ vựng mở, nhưng khả năng giải quyết các vấn đề nhận thức phức tạp của chúng vẫn còn hạn chế, đặc biệt khi các chi tiết hình ảnh trừu tượng và yêu cầu trí nhớ thị giác. Các phương pháp hiện tại chủ yếu mở rộng suy luận Chain-of-Thought (CoT) trong không gian văn bản, ngay cả khi ngôn ngữ không đủ cho suy luận rõ ràng và có cấu trúc, và phần lớn bỏ qua các cơ chế suy luận thị giác tương tự như bảng phác thảo không gian thị giác và hình ảnh thị giác của con người.

Suy luận chỉ dựa vào văn bản gây ra các nút thắt về biểu diễn, nơi các mối quan hệ không gian bị nén thành các token rời rạc, làm tăng nguy cơ mất thông tin và suy luận mong manh. Tồn tại một khoảng cách giữa suy luận nhận thức cấp cao và nhận thức cấp thấp, là nút thắt chính trong các tiêu chuẩn VQA và suy luận thị giác hiện đại.

II. Main Idea:​

Nhóm nghiên cứu giới thiệu Cognitive Supersensing, một mô hình đào tạo mới nhằm trang bị cho MLLM khả năng hình ảnh thị giác giống con người. Điều này được thực hiện bằng cách tích hợp một Latent Visual Imagery Prediction (LVIP) head học đồng thời các chuỗi nhúng tiềm ẩn nhận thức thị giác và điều chỉnh chúng với câu trả lời, từ đó hình thành các chuỗi suy luận nội bộ dựa trên thị giác. Hơn nữa, một giai đoạn học tăng cường (RL) được giới thiệu để tối ưu hóa các đường suy luận văn bản dựa trên các biểu diễn tiềm ẩn thị giác này.

Để đánh giá khả năng nhận thức của MLLM, nhóm nghiên cứu giới thiệu CogSense-Bench, một bộ tiêu chuẩn VQA toàn diện đánh giá năm khía cạnh nhận thức.

Quá trình đào tạo bao gồm ba giai đoạn: (1) Tạo Chuỗi Suy Luận bằng cách tổng hợp các lý do chất lượng cao từ một mô hình MLLM giáo viên, (2) SFT với Dự đoán Hình ảnh Thị giác Tiềm ẩn để học đồng thời tạo văn bản và dự đoán hình ảnh tiềm ẩn bằng cách tối ưu hóa mục tiêu LVIP cùng với điều chỉnh tinh chỉnh có giám sát, và (3) RL với Lý do Tiềm ẩn để tối ưu hóa thêm các quỹ đạo suy luận bằng cách sử dụng Generative Flow Network, với điểm quỹ đạo kết hợp bằng chứng câu trả lời và nền tảng biểu diễn dựa trên LVIP.

III. Main Results:​

Mô hình CogSense-8B, được đào tạo với Cognitive Supersensing, vượt trội đáng kể so với các mô hình SOTA trên bộ tiêu chuẩn CogSense-Bench, đạt độ chính xác tổng thể mạnh nhất là 73.8%, vượt qua GPT-5.2 tới +33.5%. Nó cũng cho thấy khả năng tổng quát hóa vượt trội trên các tiêu chuẩn VQA về toán học và khoa học ngoài miền (ví dụ, bộ tiêu chuẩn EMMA).

CogSense-8B giảm đáng kể khoảng cách hiệu suất giữa con người và mô hình so với các MLLM hiện có. Các nghiên cứu loại bỏ thành phần (ablation studies) xác nhận rằng LVIP đóng góp cải thiện đáng kể (nâng độ chính xác trung bình lên 68.0%) và phương pháp RL được đề xuất trong CogSense-8B vượt trội hơn các phương pháp RL khác (73.8% so với 70.8% của GRPO).

CogSense-8B duy trì hiệu suất mạnh mẽ trên các tiêu chuẩn chung, tương đương với mô hình cơ sở, cho thấy khả năng nhận thức thị giác được tiêm vào không làm giảm kiến thức nền tảng. Trong đánh giá ngoài miền trên bộ tiêu chuẩn EMMA, CogSense-8B đạt được mức tăng đáng kể: +6.2% trong Hóa học và +8.8% trong Toán học.

IV. Conclusion & Future Works:​

Cognitive Supersensing là một mô hình giúp thu hẹp khoảng cách giữa xử lý nhận thức và suy luận nhận thức phức tạp trong các MLLM. Việc mô hình hóa sự tương tác giữa mô phỏng thị giác và suy luận logic là một hướng đi hiệu quả để nâng cao khả năng suy luận của các hệ thống đa phương thức. Nhóm nghiên cứu sẽ công bố mã nguồn của CogSense-Bench và trọng số mô hình để hỗ trợ nghiên cứu trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khám phá sâu hơn việc tích hợp các cơ chế nhận thức khác nhau (ví dụ: thính giác, xúc giác) vào khuôn khổ Cognitive Supersensing để kích hoạt suy luận nhận thức đa phương thức rộng hơn.
  2. Nghiên cứu các phương pháp để cải thiện hiệu quả và khả năng mở rộng của việc tạo và điều chỉnh hình ảnh thị giác tiềm ẩn, có thể thông qua các mô hình tạo sinh hoặc các biểu diễn nhỏ gọn hơn.
  3. Phát triển các chiến lược học tăng cường mới được thiết kế đặc biệt cho các tác vụ suy luận thị giác phức tạp, nhiều bước, tận dụng các trạng thái thị giác tiềm ẩn hiệu quả hơn các phương pháp hiện tại.

2. Patent:​

  1. Hệ thống giải quyết vấn đề thị giác động trên điện thoại di động: Một ứng dụng điện thoại có khả năng phân tích các vấn đề thị giác phức tạp được chụp bằng camera (ví dụ: một câu đố, một biểu đồ trừu tượng, hoặc hướng dẫn lắp ráp). Ứng dụng sẽ 'mô phỏng tinh thần' các biến đổi và bước hình ảnh để đề xuất giải pháp hợp lý nhất hoặc hành động tiếp theo, hiển thị các bước hình ảnh trung gian cho người dùng.
  2. Trợ lý định vị nhận thức với hiểu biết không gian: Một ứng dụng định vị cho môi trường trong nhà hoặc phức tạp (như một bảo tàng). Ứng dụng sử dụng camera của điện thoại để hiểu bố cục vật lý, sau đó sử dụng suy luận thị giác để dự đoán các con đường tối ưu, chướng ngại vật hoặc hướng dẫn người dùng qua các tác vụ không gian nhiều bước, đưa ra các chỉ dẫn nhận biết không gian trực quan hơn.
  3. Công cụ học tập và giải thích trực quan cho các khái niệm trừu tượng: Một ứng dụng giáo dục cho các môn học liên quan đến các sơ đồ trực quan trừu tượng (ví dụ: sơ đồ hóa học, vật lý). Người dùng chụp ảnh một sơ đồ, và ứng dụng không chỉ xác định các thành phần mà còn 'hiểu' các quy tắc và biến đổi ngụ ý, sau đó tạo ra các giải thích trực quan từng bước về cách một hệ thống hoạt động hoặc một quá trình diễn ra.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01541
ArXiv Abstracthttps://arxiv.org/abs/2602.01541
PDF Downloadhttps://arxiv.org/pdf/2602.01541.pdf
Github Repositoryhttps://github.com/PediaMedAI/Cognition-MLLM

29. Beyond Pixels: Visual Metaphor Transfer via Schema-Driven Agentic Reasoning (15 votes)​

Tác giả: Yu Xu, Yuxin Zhang, Juan Cao, Lin Gao, Chunyu Wang, Oliver Deussen, Tong-Yee Lee, Fan Tang

Xuất bản lúc: 2026-02-01

Tag: Visual Metaphor Transfer, Generative AI, Multi-agent Systems, Conceptual Blending Theory, Vision-Language Models

I. Main Problem:​

Các mô hình AI tạo sinh hiện tại vẫn giới hạn ở việc căn chỉnh cấp độ pixel và bảo toàn vẻ ngoài bề mặt (ví dụ: phong cách, kết cấu), không thể nắm bắt logic trừu tượng cần thiết để tạo ra phép ẩn dụ thực sự. Chúng thiếu khả năng tự động tách "tinh hoa sáng tạo" từ một hình ảnh tham chiếu và tái hiện logic trừu tượng đó lên một đối tượng mục tiêu mới. Điều này dẫn đến hai thách thức lớn:

  1. Mô hình hóa phép ẩn dụ rõ ràng: Yêu cầu chắt lọc các bất biến quan hệ độc lập miền từ pixel thô thành một biểu diễn có cấu trúc.
  2. Thích ứng vật mang tự động: Đòi hỏi truy xuất một phương tiện trực quan mới không chỉ phù hợp với các thuộc tính của chủ thể mục tiêu mà còn giữ được sự căng thẳng nhận thức ban đầu để tạo ra ý nghĩa mới mẻ.

II. Main Idea:​

Nghiên cứu giới thiệu nhiệm vụ Chuyển giao phép ẩn dụ hình ảnh (Visual Metaphor Transfer - VMT). Đề xuất một khung kiến trúc đa tác tử, lấy cảm hứng từ nhận thức, vận hành Thuyết hòa trộn khái niệm (Conceptual Blending Theory - CBT) thông qua một Ngữ pháp sơ đồ (Schema Grammar - G) mới lạ. Ngữ pháp sơ đồ này là một biểu diễn có cấu trúc, tách rời các bất biến quan hệ khỏi các thực thể trực quan cụ thể, cung cấp nền tảng vững chắc cho việc tái tạo logic trên các miền khác nhau. Quy trình thực hiện VMT thông qua một hệ thống cộng tác của các tác tử chuyên biệt:

  • Tác tử nhận thức (Perception Agent): Chắt lọc hình ảnh tham chiếu thành một sơ đồ.
  • Tác tử chuyển giao (Transfer Agent): Duy trì tính bất biến của không gian chung để khám phá các vật mang phù hợp.
  • Tác tử tạo sinh (Generation Agent): Tổng hợp hình ảnh chất lượng cao.
  • Tác tử chẩn đoán phân cấp (Hierarchical Diagnostic Agent): Mô phỏng một nhà phê bình chuyên nghiệp, thực hiện lùi lỗi theo vòng lặp đóng để xác định và khắc phục lỗi ở cấp độ logic trừu tượng, lựa chọn thành phần và mã hóa prompt.

III. Main Results:​

Phương pháp vượt trội đáng kể so với các mô hình SOTA trong tính nhất quán của phép ẩn dụ (metaphor consistency), sự phù hợp của phép loại suy (analogy appropriateness) và tính sáng tạo hình ảnh (visual creativity). Đạt được cải thiện đáng kể nhất trong chỉ số Analogy Appropriateness (AA) (tăng 16,8% so với đối thủ xếp thứ hai), chứng tỏ khả năng xác định các vật mang hình ảnh phù hợp về mặt ẩn dụ cho các chủ thể mới. Duy trì điểm số vượt trội ở các chỉ số Metaphor Consistency (MC) và Conceptual Integration (CI), đồng thời đạt điểm thẩm mỹ cao nhất (5.68). Đánh giá của con người cho thấy phương pháp này vượt trội hơn tất cả các đường cơ sở ở mọi chiều (Khả năng nhận diện ẩn dụ, Sự khéo léo của ẩn dụ, Sự phù hợp của sự vi phạm, Tích hợp hình ảnh, và Chất lượng hình ảnh tổng thể). Đạt được hơn 60% đánh giá "Ours Better" trong so sánh GSB với tất cả các đường cơ sở, bao gồm các đối thủ thương mại mạnh như GPT-Image và Banana-pro.

IV. Conclusion & Future Works:​

Nghiên cứu mở đường cho các ứng dụng sáng tạo có tác động cao, tự động hóa trong quảng cáo và truyền thông. Mặc dù đạt được những kết quả vượt trội, phương pháp vẫn còn hạn chế ở "rào cản nhận thức quá mức" cần thiết để giải mã một số phép ẩn dụ được chuyển giao, có thể cản trở việc truyền tải thông điệp tức thời. Điều này cho thấy hướng nghiên cứu trong tương lai có thể tập trung vào việc cân bằng giữa chiều sâu ngữ nghĩa và tính trực tiếp nhận thức để giảm nỗ lực giải mã của người xem. Mã nguồn sẽ được công khai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các phương pháp để cân bằng giữa chiều sâu ngữ nghĩa của phép ẩn dụ và tính trực tiếp nhận thức, nhằm giảm rào cản giải mã cho người xem trong quá trình Visual Metaphor Transfer.
  2. Mở rộng Visual Metaphor Transfer sang các miền đa phương tiện khác như video hoặc 3D, hoặc phát triển các giao diện tương tác cho người dùng để tinh chỉnh quá trình chuyển giao và tạo sinh phép ẩn dụ.
  3. Khám phá việc tích hợp các lý thuyết nhận thức tiên tiến hơn ngoài Conceptual Blending Theory để nâng cao khả năng chiết xuất "tinh hoa sáng tạo" và thực hiện chuyển giao phép ẩn dụ phức tạp hơn.

2. Patent:​

  1. Ứng dụng "Creative Ad Designer" trên điện thoại: Một ứng dụng di động cho phép người dùng nhập hình ảnh sản phẩm và một khái niệm ẩn dụ (hoặc mô tả văn bản về phép ẩn dụ). Ứng dụng sẽ tự động tạo ra nhiều phiên bản quảng cáo sáng tạo, sử dụng phép ẩn dụ đó cho sản phẩm, phù hợp cho các nền tảng mạng xã hội.
  2. Chức năng "Smart Meme Creator" trong ứng dụng nhắn tin/mạng xã hội: Cho phép người dùng chọn một hình ảnh từ thư viện cá nhân và một khuôn mẫu meme phổ biến. Hệ thống sẽ tự động phân tích "logic" của meme và chuyển giao phong cách, nội dung ẩn dụ đó sang hình ảnh của người dùng để tạo ra các meme được cá nhân hóa một cách thông minh.
  3. Bộ lọc ảnh "Metaphoric Transform" trong ứng dụng chỉnh sửa ảnh: Một tính năng trong ứng dụng chỉnh sửa ảnh cho phép người dùng chọn một đối tượng trong bức ảnh của họ và áp dụng một "bộ lọc ẩn dụ" dựa trên một hình ảnh hoặc khái niệm khác (ví dụ: "tốc độ", "tăng trưởng", "mong manh"). Ứng dụng sẽ biến đổi đối tượng đã chọn để trực quan hóa phép ẩn dụ đó, chẳng hạn biến một chiếc ô tô thành tên lửa để thể hiện "tốc độ".

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01335
ArXiv Abstracthttps://arxiv.org/abs/2602.01335
PDF Downloadhttps://arxiv.org/pdf/2602.01335.pdf
Github RepositoryN/A

30. Making Avatars Interact: Towards Text-Driven Human-Object Interaction for Controllable Talking Avatars (15 votes)​

Tác giả: Youliang Zhang, Zhengguang Zhou, Zhentao Yu, Ziyao Huang, Teng Hu, Sen Liang, Guozhen Zhang, Ziqiao Peng, Shunkai Li, Yi Chen, Zixiang Zhou, Yuan Zhou, Qinglin Lu, Xiu Li

Xuất bản lúc: 2026-02-02

Tag: Diffusion Models, Human-Object Interaction, Video Generation, Talking Avatars, Multimodal AI

I. Main Problem:​

Tạo avatar biết nói có khả năng tương tác với vật thể trong môi trường thực tế (Grounded Human-Object Interaction - GHOI) là một thách thức lớn. Các khó khăn cốt lõi bao gồm:

  1. Scene-Action Grounding: Avatar cần nhận biết môi trường xung quanh và thực hiện các hành động tương tác với vật thể cụ thể được xác định trong bối cảnh đó, điều này đòi hỏi mô hình phải diễn giải bố cục không gian và nội dung ngữ nghĩa của cảnh.
  2. Control-Quality Dilemma: Các phương pháp hiện có thường phải đánh đổi giữa khả năng kiểm soát cao (theo lệnh văn bản) và chất lượng hình ảnh video (độ chân thực và tự nhiên).

II. Main Idea:​

Các tác giả đề xuất InteractAvatar, một framework Diffusion Transformer (DiT) luồng kép mới, được thiết kế để tách rời quá trình nhận thức và lập kế hoạch khỏi quá trình tổng hợp video. Framework này bao gồm hai module chính:

  1. Perception and Interaction Module (PIM): Hoạt động như "bộ não lập kế hoạch", tập trung vào cấu trúc cấp cao. PIM sử dụng phát hiện đối tượng để nâng cao nhận thức về môi trường và tạo ra các chuỗi chuyển động tương tác phù hợp với văn bản (bao gồm tư thế xương người và hộp giới hạn đối tượng). PIM được huấn luyện kết hợp trên các tác vụ phát hiện và tạo chuyển động, đảm bảo tạo ra các chuyển động nhận biết cảnh và khớp với văn bản.
  2. Audio-Interaction Aware Generation Module (AIM): Hoạt động như "công cụ dựng hình", tổng hợp video chất lượng cao và chân thực. AIM được điều kiện hóa bởi cả âm thanh (từ mô hình Wav2Vec được huấn luyện trước, với cơ chế tiêm âm thanh và mặt nạ vùng mặt) và các đặc trưng tiềm ẩn của chuyển động từ PIM. Để giải quyết vấn đề "Control-Quality Dilemma", PIM và AIM chia sẻ kiến trúc mạng tương tự và được kết nối thông qua một bộ điều chỉnh Motion-to-Video (M2V aligner) được thiết kế đặc biệt. M2V aligner sử dụng cơ chế tiêm residual theo từng lớp, cho phép đồng thời tạo ra chuyển động và video một cách song song, đảm bảo video được tạo ra tuân thủ nhất quán theo chuyển động cấu trúc từ PIM mà không tạo ra các hiện vật hình ảnh. Framework hỗ trợ kiểm soát đa phương thức linh hoạt (văn bản, âm thanh, chuyển động) và được huấn luyện bằng chiến lược ba giai đoạn để tích hợp các điều kiện đa phương thức một cách ổn định. Đồng thời, tác giả cũng xây dựng benchmark GroundedInter để đánh giá GHOI.

III. Main Results:​

Phương pháp InteractAvatar vượt trội đáng kể so với các phương pháp tiên tiến hiện có trong việc tạo ra video GHOI khả thi, có thể kiểm soát và chất lượng cao.

  • Trong các thử nghiệm định lượng trên benchmark GroundedInter:
    • Biến thể TA2V (chỉ điều khiển bằng âm thanh) của InteractAvatar đạt được sự cải thiện đáng kể về các chỉ số tương tác, tăng khoảng 180% ở HQ (Hand Quality) và 111% ở OQ (Object Quality) so với Wan-S2V, đồng thời duy trì khả năng bảo toàn tham chiếu tương đương. TA2V thậm chí còn vượt trội hơn tất cả các phương pháp điều khiển bằng âm thanh khác về hiệu suất đồng bộ môi trong kịch bản HOI.
    • Biến thể T2MV (sử dụng chuyển động tự tạo từ văn bản) đạt điểm VLM-QA là 29.05, HQ là 0.975, OQ là 0.150 và PI là 0.852.
    • Nghiên cứu Ablation cho thấy tầm quan trọng của huấn luyện nhận thức môi trường (ảnh tham chiếu được gắn trước, RoPE đã sửa đổi, dữ liệu phát hiện và tiếp nối) và cơ chế tiêm residual theo từng lớp của M2V aligner.
    • Chiến lược huấn luyện đa phương thức (huấn luyện âm thanh trước, sau đó là âm thanh và chuyển động) là tối ưu cho việc đồng bộ hóa âm thanh-hình ảnh.
  • Đánh giá định tính và nghiên cứu người dùng cho thấy phương pháp của chúng tôi tạo ra các video tương tác phù hợp với văn bản, ổn định và hợp lý trong môi trường ảnh tham chiếu, tránh được các hiện vật và biến dạng đối tượng mà các phương pháp khác gặp phải.

IV. Conclusion & Future Works:​

Bài báo giới thiệu InteractAvatar, một framework video avatar biết nói luồng kép, cho phép tạo ra các tương tác người-vật thể được định vị trong môi trường thực tế (GHOI). Phương pháp này tách rời nhận thức và lập kế hoạch khỏi tổng hợp video, tạo ra video GHOI khả thi, có thể kiểm soát và chất lượng cao. Hạn chế chính của công việc này là nó chỉ có thể xử lý các cảnh một người và không thể tạo ra các tương tác người-vật thể liên quan đến nhiều người. Đây là một hướng mở cho các nghiên cứu trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khả năng của GHOI để xử lý các cảnh có nhiều người và tương tác phức tạp giữa nhiều người với nhau hoặc giữa nhiều người với vật thể trong một môi trường chung.
  2. Nghiên cứu cách tạo ra các hành động tương tác không chỉ dựa trên văn bản mà còn có khả năng điều chỉnh phong cách, cảm xúc hoặc mức độ ngẫu hứng của hành động, cho phép các avatar thể hiện cá tính riêng biệt.
  3. Phát triển module nhận thức và tương tác (PIM) để không chỉ nhận diện vật thể và vị trí mà còn hiểu sâu hơn về "tính khả dụng" (affordance) của vật thể và ngữ cảnh xã hội, cho phép avatar thực hiện các tương tác tự nhiên và phù hợp hơn với tình huống.

2. Patent:​

  1. Một hệ thống tạo video hướng dẫn tương tác sản phẩm trong môi trường tăng cường (AR) trên điện thoại di động. Người dùng có thể nhập các lệnh văn bản (ví dụ: "nhấc điện thoại lên", "lắp pin vào") và một hình đại diện kỹ thuật số sẽ thực hiện các hành động tương tác với mô hình 3D của sản phẩm hiển thị qua camera điện thoại, cung cấp hướng dẫn trực quan, chi tiết.
  2. Một trợ lý ảo cá nhân trên điện thoại di động có khả năng tương tác vật lý. Không chỉ nói chuyện, trợ lý ảo này có thể hiển thị các hành động minh họa bằng cách tương tác với các đối tượng ảo trên màn hình hoặc trong không gian AR của người dùng. Ví dụ, khi người dùng nói "lấy chiếc cốc này cho tôi", trợ lý ảo sẽ thực hiện hành động cầm một chiếc cốc ảo được hiển thị trong môi trường tăng cường của người dùng.
  3. Một ứng dụng di động tạo nội dung giáo dục và giải trí tương tác cho trẻ em. Trẻ em có thể nhập các câu lệnh văn bản hoặc giọng nói đơn giản (ví dụ: "chạm vào quả táo", "đọc sách") để một nhân vật hoạt hình tương tác với các vật thể ảo trên màn hình hoặc trong môi trường tăng cường, giúp trẻ học hỏi và khám phá một cách sinh động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01538
ArXiv Abstracthttps://arxiv.org/abs/2602.01538
PDF Downloadhttps://arxiv.org/pdf/2602.01538.pdf
Github RepositoryN/A

31. Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training (14 votes)​

Tác giả: Ran Xu, Tianci Liu, Zihan Dong, Tony You, Ilgee Hong, Carl Yang, Linjun Zhang, Tao Zhao, Haoyu Wang

Xuất bản lúc: 2026-02-02

Tag: Reinforcement Learning, Reward Modeling, LLM Alignment, Rubric-Based Evaluation, Alternating Optimization

I. Main Problem:​

Các mô hình phần thưởng tiêu chuẩn thường dự đoán điểm số vô hướng, không thể nắm bắt bản chất đa diện của chất lượng phản hồi trong các lĩnh vực không thể kiểm chứng, như viết sáng tạo hoặc tuân thủ hướng dẫn mở. Các phương pháp dựa trên rubric hiện có dựa vào các rubric tĩnh hoặc quy trình đào tạo rời rạc, hạn chế khả năng tạo ra các rubric phù hợp với miền và sở thích, và dẫn đến tín hiệu đánh giá không tối ưu do tách rời việc đào tạo bộ tạo rubric và bộ đánh giá.

II. Main Idea:​

Chúng tôi đề xuất Rubric-ARM, một khuôn khổ đầu cuối tối ưu hóa đồng thời bộ tạo rubric và bộ đánh giá thông qua học tăng cường xen kẽ. Khung này coi việc tạo rubric như một hành động tiềm ẩn được học để tối đa hóa độ chính xác của phán đoán. Chiến lược tối ưu hóa xen kẽ được giới thiệu để giảm thiểu tính không dừng của các bản cập nhật đồng thời, với phân tích lý thuyết chứng minh cách lịch trình này giảm phương sai gradient trong quá trình đào tạo. Quá trình đào tạo xen kẽ giữa (i) tối ưu hóa mô hình phần thưởng với bộ tạo rubric cố định để căn chỉnh với nhãn sở thích mục tiêu, và (ii) tối ưu hóa bộ tạo rubric với mô hình phần thưởng cố định để tạo ra các rubric có tính phân biệt nhằm tối đa hóa độ chính xác dự đoán. Rubric-ARM cũng được sử dụng để hậu đào tạo các mô hình chính sách bằng DPO hoặc RL trực tuyến.

III. Main Results:​

Rubric-ARM đạt được hiệu suất mạnh mẽ so với các mô hình nền tảng trên nhiều benchmark và cải thiện đáng kể sự căn chỉnh chính sách downstream trong cả cài đặt học tăng cường ngoại tuyến và trực tuyến. Cụ thể, Rubric-ARM đạt được mức tăng trung bình +4.7% trên các benchmark mô hình phần thưởng, nâng Rubric-RM từ 70.1% lên 74.8% (và 76.2% với voting@5). Nó cũng vượt trội đáng kể so với các bộ đánh giá dựa trên API (ví dụ: 76.2% so với 71.3% cho Rubric+Judge API). Trên benchmark WritingPreferenceBench ngoài phân phối, Rubric-ARM vẫn duy trì mạnh mẽ và đạt điểm tổng thể tốt nhất (63.2%). Các nghiên cứu về ablation cho thấy việc tối ưu hóa bộ đánh giá trước và sử dụng phần thưởng định dạng là rất quan trọng để có hiệu suất tốt.

IV. Conclusion & Future Works:​

Nghiên cứu này phát triển Rubric-ARM, một mô hình phần thưởng dựa trên rubric đầu tiên tối ưu hóa đồng thời bộ tạo rubric và bộ đánh giá thông qua Học tăng cường. Thuật toán đào tạo RL xen kẽ được giới thiệu giúp khớp nối bộ tạo rubric và bộ đánh giá thông qua một mục tiêu chính xác chung, cho phép cải thiện lẫn nhau trong khi ổn định tối ưu hóa. Phân tích lý thuyết chứng minh rằng lịch trình đào tạo đề xuất làm giảm phương sai gradient, đặc biệt là bằng cách ổn định bộ đánh giá dưới các rubric cố định trước khi tối ưu hóa bộ tạo rubric, qua đó nâng cao sự ổn định trong đào tạo. Những cải tiến này dẫn đến các rubric chất lượng cao và các phán đoán chính xác, cải thiện đáng kể sự căn chỉnh của mô hình ngôn ngữ lớn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khám phá các chiến lược tối ưu hóa xen kẽ khác nhau hoặc đảm bảo hội tụ cho loại đào tạo RL đồng thời này, bao gồm cả phân tích về độ nhạy của các siêu tham số.
  2. Áp dụng khuôn khổ Rubric-ARM hoặc các khuôn khổ tương tự cho các lĩnh vực không thể kiểm chứng khác ngoài viết sáng tạo và tuân thủ hướng dẫn, chẳng hạn như đánh giá chất lượng tóm tắt, tạo đối thoại hoặc đánh giá tạo mã.
  3. Nghiên cứu các phương pháp để giảm sự phụ thuộc vào dữ liệu tổng hợp cho giai đoạn SFT warm-up, có thể thông qua các kỹ thuật tự giám sát nâng cao hoặc học chủ động cho việc tạo rubric.

2. Patent:​

  1. Một ứng dụng di động cho phép người dùng nhập các đoạn văn bản (ví dụ: email, bài đăng mạng xã hội) và nhận phản hồi tức thì dựa trên các rubric do AI tạo ra động. Ứng dụng sẽ đưa ra các tiêu chí đánh giá cụ thể (ví dụ: rõ ràng, ngữ pháp, giọng điệu) và đề xuất cách cải thiện, giúp người dùng nâng cao kỹ năng viết của mình một cách cá nhân hóa và hiệu quả.
  2. Một tính năng trong ứng dụng chỉnh sửa ảnh hoặc video trên điện thoại, nơi người dùng có thể nhập mô tả về nội dung họ muốn tạo hoặc đã tạo. Hệ thống sẽ sử dụng AI để tạo ra một rubric đánh giá động dựa trên mô tả, sau đó cung cấp phản hồi về mức độ phù hợp của nội dung với các tiêu chí đó, giúp người dùng hoàn thiện tác phẩm sáng tạo của mình.
  3. Một công cụ trong ứng dụng nhắn tin hoặc trợ lý ảo trên điện thoại, giúp người dùng đánh giá phản hồi từ các chatbot hoặc công cụ viết AI khác. Người dùng có thể yêu cầu công cụ tạo ra một rubric đánh giá cho phản hồi của AI (ví dụ: dựa trên tính hữu ích, độ chính xác, sự tự nhiên) và so sánh các phản hồi khác nhau từ nhiều nguồn, đảm bảo họ luôn nhận được kết quả tốt nhất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.01511
ArXiv Abstracthttps://arxiv.org/abs/2602.01511
PDF Downloadhttps://arxiv.org/pdf/2602.01511.pdf
Github RepositoryN/A

32. Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics (13 votes)​

Tác giả: Ziwen Xu, Chenyan Wu, Hengyu Sun, Haiwen Hong, Mengru Wang, Yunzhi Yao, Longtao Huang, Hui Xue, Shumin Deng, Zhixuan Chu, Huajun Chen, Ningyu Zhang

Xuất bản lúc: 2026-02-02

Tag: LLMs, Parameter-Efficient Fine-Tuning (PEFT), Activation Steering, Model Control

I. Main Problem:​

Các phương pháp điều khiển mô hình ngôn ngữ lớn (LLM) như fine-tuning trọng số cục bộ, LoRA, và can thiệp dựa trên kích hoạt thường được nghiên cứu riêng lẻ, làm che khuất các kết nối và gây khó khăn khi so sánh. Một thách thức lớn là kiểm soát đáng tin cậy hành vi của mô hình để đảm bảo an toàn, khả năng kiểm soát và cá nhân hóa, đặc biệt là sự đánh đổi giữa việc tăng cường một khái niệm mục tiêu và duy trì tính hợp lệ của nhiệm vụ (tính mạch lạc, tuân thủ hướng dẫn).

II. Main Idea:​

Bài báo đề xuất một "quan điểm thống nhất" coi các can thiệp đa dạng (fine-tuning trọng số cục bộ, LoRA, điều khiển kích hoạt) như những "cập nhật trọng số động" được tạo ra bởi tín hiệu điều khiển. Dựa trên quan điểm này, bài báo giới thiệu một "phân tích thống nhất về sở thích-tiện ích", tách biệt các hiệu ứng điều khiển thành hai thành phần: "sở thích" (xu hướng hướng tới một khái niệm mục tiêu) và "tiện ích" (tạo ra văn bản mạch lạc và hợp lệ cho nhiệm vụ), được đo bằng thang log-odds chung. Hơn nữa, hành vi này được giải thích thông qua "quan điểm đa tạp kích hoạt", trong đó việc điều khiển dịch chuyển các biểu diễn theo hướng khái niệm mục tiêu để tăng sở thích, trong khi tiện ích giảm khi các can thiệp đẩy biểu diễn ra khỏi "đa tạp tạo văn bản hợp lệ" của mô hình. Cuối cùng, bài báo giới thiệu phương pháp điều khiển mới tên là SPLIT, được định hướng bởi phân tích này, nhằm cải thiện sở thích trong khi vẫn bảo toàn tiện ích.

III. Main Results:​

I. Quan điểm Thống nhất:​

Đã mô tả toán học các phương pháp fine-tuning trọng số cục bộ, LoRA và điều khiển kích hoạt vào một khuôn khổ "cập nhật trọng số động" chung (Phương trình 1).

II. Phân tích Sở thích-Tiện ích:​

Quan sát thấy một sự đánh đổi nhất quán giữa các phương pháp: điều khiển càng mạnh càng tăng sở thích nhưng đồng thời làm giảm tiện ích một cách có thể dự đoán. Phân tích cho thấy động lực của sở thích và tiện ích tuân theo các mẫu nhất quán, có thể dự đoán (Hình 2).

III. Giả thuyết Đa tạp Kích hoạt:​

Giải thích sự đánh đổi bằng cách đề xuất rằng sở thích được xác định bởi phép chiếu lên hướng mục tiêu và tính hợp lệ của kích hoạt (suy giảm khi rời khỏi đa tạp), trong khi sự suy giảm tiện ích chủ yếu do sự lệch khỏi đa tạp. Đã đưa ra các mối quan hệ định lượng giữa log-odds và hệ số điều khiển 'm', được xác nhận bằng các phép khớp với R2 cao (Bảng 2, R2 > 0.95-0.97).

IV. Phương pháp Điều khiển mới (SPLIT):​

Giới thiệu SPLIT, một mục tiêu huấn luyện tối ưu hóa rõ ràng sở thích trong khi vẫn bảo toàn tiện ích. Đã chứng minh hiệu suất vượt trội (độ chính xác, điểm khái niệm và trung bình điều hòa cao hơn) trên các kiểu can thiệp (trọng số cục bộ, LoRA, và vector) trên các bộ dữ liệu như Psychopathy, PowerSeeking và AxBench, so với các phương pháp cơ sở (SFT, RePS, DiffMean) (Bảng 3).

IV. Conclusion & Future Works:​

I. Kết luận:​

Chúng tôi đề xuất một khuôn khổ cập nhật trọng số động thống nhất, tích hợp cập nhật tham số, LoRA và can thiệp kích hoạt, tiết lộ một mô hình suy giảm sở thích-tiện ích nhất quán trong không gian log-odds. Dựa trên hiểu biết cơ chế này, chúng tôi thiết kế một phương pháp tối ưu hóa chung, SPLIT, nhằm cải thiện sở thích trong khi giảm thiểu sự suy giảm tiện ích trên các dạng can thiệp đa dạng, chứng minh tính linh hoạt và mạnh mẽ.

II. Hạn chế và Công việc trong tương lai:​

  1. Phân tích của chúng tôi giả định rằng các biểu diễn của mô hình nằm gần một đa tạp kích hoạt có cấu trúc tốt, điều này có thể không đúng đối với các mô hình cực lớn hoặc đa dạng hơn, có khả năng làm giảm độ chính xác của các dự đoán định lượng.
  2. Các thử nghiệm của chúng tôi chủ yếu tập trung vào kiểm soát cấp độ thuộc tính (ví dụ: cảm xúc, phong cách), bỏ ngỏ khả năng áp dụng cho lý luận nhiều lượt phức tạp hoặc nội dung quan trọng về an toàn.
  3. Mặc dù mục tiêu huấn luyện được đề xuất của chúng tôi giảm thiểu sự đánh đổi giữa tiện ích và sở thích, nó không đảm bảo tránh hoàn toàn các tác dụng phụ không mong muốn như vi phạm hướng dẫn tinh vi hoặc trôi ngữ cảnh dưới cường độ điều khiển cực đoan.
  4. Nghiên cứu của chúng tôi đánh giá việc kiểm soát dưới các hệ số can thiệp được xác định trước, và việc tổng quát hóa sang các tín hiệu điều khiển thích ứng hoặc thay đổi động cần được điều tra thêm.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng mô hình đa tạp kích hoạt cho các LLM siêu lớn và đa dạng: Nghiên cứu liệu giả thuyết đa tạp kích hoạt có còn hiệu lực và cách điều chỉnh nó cho các mô hình ngôn ngữ lớn hơn nhiều hoặc có miền ứng dụng đa dạng hơn, nơi các biểu diễn có thể phức tạp hơn.
  2. Kiểm soát hành vi LLM cho các nhiệm vụ phức tạp và an toàn: Áp dụng khuôn khổ thống nhất và phương pháp SPLIT để kiểm soát các tác vụ lý luận nhiều lượt, tương tác phức tạp hoặc các ứng dụng quan trọng về an toàn (ví dụ: y tế, tài chính), đánh giá tác động đối với các rủi ro như thiên vị hoặc thông tin sai lệch.
  3. Phát triển các tín hiệu điều khiển thích ứng và động: Nghiên cứu cách tạo ra hoặc học các tín hiệu điều khiển (hệ số 'm') thay đổi động trong quá trình suy luận dựa trên ngữ cảnh hoặc phản hồi của người dùng, thay vì sử dụng các giá trị cố định, để đạt được khả năng kiểm soát linh hoạt và hiệu quả hơn.

2. Patent:​

  1. Hệ thống điều chỉnh phản hồi AI thông minh cho trợ lý ảo trên điện thoại: Phát triển một công nghệ cho phép người dùng điện thoại điều chỉnh mức độ "ưu tiên" (ví dụ: thân thiện, chuyên nghiệp, hài hước) của phản hồi từ trợ lý ảo AI mà không làm giảm "chất lượng" (tính chính xác, mạch lạc) của câu trả lời. Ví dụ, người dùng có thể kéo một thanh trượt để làm cho AI trở nên vui vẻ hơn nhưng vẫn đảm bảo thông tin đưa ra là đúng.
  2. Công cụ cá nhân hóa văn phong tự động cho ứng dụng nhắn tin: Một tính năng trên ứng dụng nhắn tin hoặc email di động cho phép người dùng điều chỉnh văn phong của tin nhắn (ví dụ: trang trọng, thân mật, thuyết phục) bằng cách sử dụng các thanh trượt đơn giản. Hệ thống sẽ đảm bảo rằng tin nhắn vẫn giữ được ý nghĩa gốc và ngữ pháp chính xác ngay cả khi văn phong được thay đổi mạnh.
  3. Bộ lọc nội dung thích ứng theo ưu tiên người dùng trên trình duyệt di động: Một công nghệ tích hợp vào trình duyệt web hoặc ứng dụng đọc tin tức trên điện thoại, cho phép người dùng cài đặt mức độ "ưu tiên" cho các loại nội dung nhất định (ví dụ: tin tức tích cực, tiêu cực, mang tính giáo dục, giải trí) mà không làm mất đi tính "hữu ích" tổng thể của thông tin. Nó sẽ điều chỉnh cách hiển thị nội dung để phù hợp với sở thích của người dùng nhưng vẫn đảm bảo tin tức hoặc bài viết được hiển thị đầy đủ và không bị cắt xén làm sai lệch ý nghĩa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02343
ArXiv Abstracthttps://arxiv.org/abs/2602.02343
PDF Downloadhttps://arxiv.org/pdf/2602.02343.pdf
Github Repositoryhttps://github.com/zjunlp/EasyEdit/blob/main/examples/SPLIT.md

33. CUA-Skill: Develop Skills for Computer Using Agent (12 votes)​

Tác giả: Tianyi Chen, Yinheng Li, Michael Solodko, Sen Wang, Nan Jiang, Tingyuan Cui, Junheng Hao, Jongwoo Ko, Sara Abdali, Suzhen Zheng, Leon Xu, Hao Fan, Pashmina Cameron, Justin Wagle, Kazuhito Koishida

Xuất bản lúc: 2026-01-28

Tag: LLMs, Computer-Using Agents, Skill Abstraction, GUI Interaction, Agentic Systems

I. Main Problem:​

Các tác nhân sử dụng máy tính (CUAs) gặp khó khăn trong việc mở rộng quy mô và đạt hiệu suất ngang với con người khi tự động hóa các tác vụ máy tính trong thế giới thực. Hạn chế chính là thiếu các trừu tượng kỹ năng có cấu trúc và có thể tái sử dụng, giúp nắm bắt cách con người tương tác với giao diện đồ họa người dùng (GUIs) và cách tận dụng những kỹ năng này. Các hệ thống hiện có thường mô hình hóa tương tác máy tính như các chuỗi hành động cấp thấp, dẫn đến việc phải liên tục tái khám phá các quy trình làm việc phổ biến, gây ra hành vi dễ hỏng và tỷ lệ thành công thấp trong các tác vụ dài hạn.

II. Main Idea:​

Nghiên cứu giới thiệu CUA-Skill, một cơ sở kỹ năng tác nhân sử dụng máy tính, mã hóa kiến thức sử dụng máy tính của con người dưới dạng các kỹ năng, kết hợp với đồ thị thực thi và đồ thị thành phần được tham số hóa. CUA-Skill là một thư viện lớn gồm các kỹ năng được thiết kế cẩn thận, bao gồm các ứng dụng Windows phổ biến, đóng vai trò là cơ sở hạ tầng thực tế để phát triển tác nhân có khả năng mở rộng và đáng tin cậy. Dựa trên cơ sở kỹ năng này, nhóm nghiên cứu xây dựng CUA-Skill Agent, một tác nhân sử dụng máy tính đầu cuối hỗ trợ truy xuất kỹ năng động, khởi tạo đối số và phục hồi lỗi có nhận thức về bộ nhớ. Các kỹ năng được định nghĩa bởi một ứng dụng, ý định người dùng bằng ngôn ngữ tự nhiên, một nhóm đối số và một đồ thị thực thi được tham số hóa, cho phép chuyển đổi và tổng quát hóa qua các tác vụ và trạng thái giao diện người dùng.

III. Main Results:​

CUA-Skill đã cải thiện đáng kể chất lượng và độ tin cậy của việc tạo quỹ đạo hành động, đạt tỷ lệ thành công 76.4%, cao gấp nhiều lần (1.7x – 3.6x) so với các phương pháp cơ sở hiện có như UltraCUA và Operator. Trên chuẩn WindowsAgentArena đầy thách thức, CUA-Skill Agent đạt hiệu suất vượt trội với tỷ lệ thành công 57.5% (best-of-three), đồng thời hiệu quả hơn đáng kể so với các cách tiếp cận trước đây và hiện tại (hoàn thành tác vụ trong tối đa 30 bước thực thi). Thư viện ban đầu chứa hàng trăm kỹ năng nguyên tử được thiết kế cẩn thận, bao gồm hàng chục ứng dụng phổ biến, và việc bổ sung kỹ năng đã cải thiện hiệu suất tác nhân một cách nhất quán trên tất cả các mô hình ngôn ngữ lớn (LLM) nền tảng được đánh giá, với mức tăng lớn nhất (+15.62%) khi sử dụng GPT-5.

IV. Conclusion & Future Works:​

CUA-Skill và CUA-Skill Agent cung cấp một khuôn khổ lấy kỹ năng làm trung tâm, mã hóa kiến thức sử dụng máy tính của con người thành các kỹ năng tham số hóa, có thể tái sử dụng với đồ thị thực thi và thành phần. CUA-Skill có khả năng chuyển đổi cao giữa các tác vụ và ứng dụng, đồng thời trực tiếp cho phép tạo ra các quỹ đạo thực thi có tỷ lệ thành công cao. Các đánh giá trên WindowsAgentArena cho thấy những cải tiến hiệu suất nhất quán trên các mô hình LLM nền tảng, khẳng định CUA-Skill là một nền tảng thực tế, độc lập với mô hình để xây dựng các tác nhân máy tính để bàn có khả năng mở rộng. Các thách thức còn lại vẫn tồn tại trong các quy trình làm việc phức tạp của ứng dụng như chỉnh sửa tài liệu và bảng tính.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CUA-Skill sang các môi trường hoặc nền tảng mới ngoài hệ điều hành Windows, ví dụ như macOS, Linux, hoặc các ứng dụng chuyên biệt (CAD, chỉnh sửa video).
  2. Nghiên cứu về việc tự động hóa quá trình tạo và tinh chỉnh các đồ thị thực thi và thành phần kỹ năng thông qua học tăng cường hoặc học từ dữ liệu tương tác của người dùng.
  3. Phát triển các phương pháp lập kế hoạch và suy luận nâng cao hơn cho CUA-Skill Agent, đặc biệt để xử lý các tác vụ đa ứng dụng phức tạp và phục hồi lỗi thông minh hơn.

2. Patent:​

  1. Một hệ thống trên điện thoại di động có thể tự động ghi lại và học các bước người dùng thực hiện trong một ứng dụng (ví dụ: đặt báo thức, gửi tin nhắn cho một người cụ thể) và biến chúng thành các 'hành động thông minh' có thể được kích hoạt bằng giọng nói hoặc một lần chạm, giúp người dùng thực hiện các tác vụ lặp đi lặp lại một cách hiệu quả hơn mà không cần phải thực hiện lại từng bước thủ công.
  2. Một công nghệ cho phép điện thoại thông minh tự động thích nghi các trình tự hành động đã học (ví dụ: điền vào một biểu mẫu trực tuyến) trên các phiên bản ứng dụng khác nhau hoặc khi giao diện người dùng thay đổi nhỏ (như vị trí nút hoặc màu sắc), đảm bảo tác vụ tự động vẫn hoạt động mà không cần người dùng phải huấn luyện lại.
  3. Một phương pháp trên thiết bị di động để tạo ra các 'kỹ năng' cá nhân hóa cho từng người dùng, bằng cách phân tích thói quen và cách họ tương tác với các ứng dụng, từ đó gợi ý hoặc tự động hóa các quy trình làm việc phức tạp (ví dụ: sắp xếp ảnh, trả lời email cụ thể) một cách thông minh, phù hợp với từng cá nhân.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.21123
ArXiv Abstracthttps://arxiv.org/abs/2601.21123
PDF Downloadhttps://arxiv.org/pdf/2601.21123.pdf
Github Repositoryhttps://github.com/microsoft/cua_skill

34. LoopViT: Scaling Visual ARC with Looped Transformers (11 votes)​

Tác giả: Wen-Jie Shu, Xuerui Qiu, Rui-Jie Zhu, Harold Haodong Chen, Yexin Liu, Harry Yang

Xuất bản lúc: 2026-02-02

Tag: Vision Transformers, Recurrent Neural Networks, Visual Reasoning, Adaptive Computation, Deep Learning

I. Main Problem:​

Các kiến trúc Vision Transformer truyền thẳng hiện tại gặp hạn chế trong việc mở rộng hiệu quả với độ phức tạp của các tác vụ suy luận thị giác, đặc biệt là các tác vụ mang tính thuật toán, lặp đi lặp lại như ARC-AGI. Độ sâu tính toán của chúng bị ràng buộc chặt chẽ với kích thước tham số, không thể nắm bắt được bản chất lặp lại của suy luận con người. Các phương pháp trước đây thường bỏ qua cấu trúc không gian của hình ảnh, vốn rất cần thiết cho suy luận thị giác, trong khi các ViT tiêu chuẩn thiếu cơ chế nội tại cho việc thực thi thuật toán theo từng bước.

II. Main Idea:​

Các tác giả đề xuất Loop-ViT, một kiến trúc đệ quy (hồi quy) sử dụng hồi quy chia sẻ trọng số để tách biệt độ sâu suy luận khỏi dung lượng mô hình. Loop-ViT lặp lại một Khối lai (Hybrid Block) chia sẻ trọng số, kết hợp tích chập cục bộ (cho khớp mẫu cục bộ) và cơ chế chú ý toàn cục (cho quy nạp luật toàn cục), để tạo thành một chuỗi suy nghĩ tiềm ẩn. Đặc biệt, một cơ chế Thoát động (Dynamic Exit) không cần tham số được giới thiệu, dựa trên entropy dự đoán: mô hình ngừng suy luận khi trạng thái nội bộ của nó "kết tinh" thành một điểm hấp dẫn có độ bất định thấp, cho phép tính toán thích ứng và hiệu quả hơn.

III. Main Results:​

  • Mô hình Loop-ViT 18M tham số đạt độ chính xác 65.8% trên ARC-AGI-1, vượt trội so với các tập hợp mô hình 73M tham số khổng lồ (V ARC ensemble, 60.4%).
  • Loop-ViT (Small) với 3.8M tham số đạt 60.1% trên ARC-1, vượt qua mô hình nền V ARC 18M (54.5%) với khoảng 1/5 số lượng tham số.
  • Cho thấy hiệu quả Pareto: cải thiện ranh giới Pareto thực nghiệm cho suy luận thị giác khi xem xét độ chính xác, tính toán và tham số.
  • Quan sát thấy sự tinh chỉnh lặp lại: lỗi giảm dần theo từng bước và động lực chú ý chuyển từ khám phá rộng sang thực thi tập trung, cho thấy một quá trình cân nhắc tự nhiên.
  • Cơ chế Thoát động đạt được độ chính xác cao hơn với chi phí tính toán suy luận trung bình thấp hơn, và chứng minh rằng các tác vụ đơn giản hơn được giải quyết nhanh hơn, trong khi các tác vụ khó hơn yêu cầu nhiều bước lặp hơn.

IV. Conclusion & Future Works:​

Loop-ViT thách thức mô hình suy luận thị giác truyền thẳng bằng cách chứng minh rằng tính toán lặp lại là một trục mở rộng hiệu quả hơn so với việc tăng chiều rộng tham số cho quy nạp trừu tượng. Thiết kế của nó dựa trên Khối lai chia sẻ trọng số và cơ chế Thoát động dựa trên entropy dự đoán. Các tác giả hy vọng Loop-ViT sẽ là một nền tảng vững chắc cho nghiên cứu trong tương lai về các tác vụ suy luận phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu khả năng của Loop-ViT trên các bộ dữ liệu suy luận đa phương thức hoặc yêu cầu lập kế hoạch phức tạp hơn, kết hợp dữ liệu thị giác với ngữ cảnh phi hình ảnh.
  2. Phát triển các chiến lược hồi quy và kiến trúc khối lai mới, có thể kết hợp các cơ chế bộ nhớ phức tạp hơn hoặc học hỏi từ các mô hình tính toán lượng tử để nâng cao hiệu quả và khả năng khái quát hóa.
  3. Mở rộng cơ chế Thoát động thích ứng để áp dụng trong quá trình huấn luyện, cho phép mô hình điều chỉnh độ sâu tính toán trong khi học, tối ưu hóa cả hiệu quả huấn luyện và suy luận.

2. Patent:​

  1. Hệ thống xử lý hình ảnh thích ứng cho điện thoại thông minh: Một ứng dụng trên điện thoại thông minh sử dụng công cụ xử lý lặp đi lặp lại để hiểu và giải quyết các vấn đề thị giác phức tạp, ví dụ như tự động điền các mảnh ghép còn thiếu trong ảnh, tối ưu hóa ảnh chụp tài liệu trong điều kiện ánh sáng kém, hoặc nhận dạng đối tượng trong môi trường lộn xộn. Hệ thống này tự động quyết định lượng thời gian "suy nghĩ" cần thiết cho mỗi tác vụ dựa trên độ phức tạp của hình ảnh, dừng lại khi đạt được độ tin cậy cao, giúp tiết kiệm pin hiệu quả.
  2. Trợ lý thực tế tăng cường (AR) thông minh với khả năng tự điều chỉnh: Một ứng dụng AR trên điện thoại giúp người dùng thực hiện các công việc thủ công phức tạp (ví dụ: lắp ráp đồ nội thất hoặc sửa chữa thiết bị) bằng cách phân tích trực quan môi trường xung quanh. Ứng dụng này sử dụng cách tiếp cận xử lý lặp lại để liên tục cải thiện sự căn chỉnh và ổn định của các đối tượng ảo trong không gian thực, chỉ thực hiện các chu trình tính toán bổ sung khi cần độ chính xác cao hơn hoặc khi cảnh quan thay đổi, giúp trải nghiệm AR mượt mà và tiết kiệm năng lượng hơn.
  3. Công nghệ nhận diện và phân tích mẫu thị giác linh hoạt cho thiết bị di động: Một tính năng trên điện thoại di động cho phép thiết bị học và áp dụng các quy tắc suy luận từ một vài ví dụ hình ảnh. Công nghệ này lặp lại quá trình phân tích để hiểu các mẫu hoặc luật ẩn trong hình ảnh, sau đó áp dụng chúng cho các tình huống mới. Ví dụ, nó có thể học cách phân loại các loại cây trồng dựa trên hình ảnh mẫu, và sau đó áp dụng luật này để kiểm tra cây trồng trong thời gian thực, với khả năng điều chỉnh độ sâu phân tích dựa trên độ khó của tác vụ, đảm bảo hiệu suất tốt nhất mà vẫn duy trì tuổi thọ pin.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02156
ArXiv Abstracthttps://arxiv.org/abs/2602.02156
PDF Downloadhttps://arxiv.org/pdf/2602.02156.pdf
Github RepositoryN/A

35. Show, Don't Tell: Morphing Latent Reasoning into Image Generation (10 votes)​

Tác giả: Harold Haodong Chen, Xinxiang Yin, Wen-Jie Shu, Hongfei Zhang, Zixin Zhang, Chenfei Liao, Litao Guo, Qifeng Chen, Ying-Cong Chen

Xuất bản lúc: 2026-02-02

Tag: Text-to-Image Generation, Latent Reasoning, Autoregressive Models, Reinforcement Learning

I. Main Problem:​

Các phương pháp Text-to-Image (T2I) hiện tại thiếu khả năng suy luận và tinh chỉnh động trong quá trình tạo ảnh, một đặc trưng quan trọng của sự sáng tạo của con người. Các mô hình hiện có thường dựa vào các quy trình suy luận rõ ràng (explicit thought processes), trong đó suy luận trung gian được giải mã thành văn bản rời rạc ở các bước cố định với việc giải mã và mã hóa lại ảnh thường xuyên. Điều này dẫn đến sự kém hiệu quả, mất thông tin và không khớp về nhận thức. Cụ thể, có hai vấn đề chính là "khoảng cách nhận thức" (perception gap) và "khoảng cách thực thi" (execution gap) khi tích hợp suy luận vào quá trình tạo ảnh.

II. Main Idea:​

Để giải quyết vấn đề trên, nghiên cứu giới thiệu LatentMorph, một framework mới tích hợp suy luận ẩn liên tục (implicit latent reasoning) vào quá trình tạo ảnh T2I, loại bỏ nhu cầu suy luận bằng văn bản rõ ràng (explicit CoT). LatentMorph bao gồm bốn thành phần chính:

  • Condenser (Bộ ngưng tụ): Tóm tắt các trạng thái tạo ảnh trung gian thành bộ nhớ thị giác nhỏ gọn. Có hai loại: Condenser ngắn hạn (short-term condenser) để giám sát cục bộ và Condenser dài hạn (long-term condenser) để tóm tắt lịch sử tạo ảnh toàn cầu.
  • Translator (Bộ dịch): Chuyển đổi các suy nghĩ ẩn từ nhánh hiểu biết (understanding branch) thành hướng dẫn tương thích với bộ tạo ảnh (generator-compatible guidance).
  • Shaper (Bộ định hình): Điều khiển động các dự đoán token ảnh tiếp theo bằng cách chèn các token điều khiển (control tokens) vào bộ nhớ Key-Value (KV cache) của bộ tạo ảnh.
  • RL-trained Invoker (Bộ triệu hồi được huấn luyện bằng RL): Quyết định một cách thích ứng khi nào cần kích hoạt suy luận, dựa trên các tín hiệu như độ nhất quán ngữ nghĩa (semantic consistency), độ không chắc chắn của dự đoán (prediction uncertainty) và động lực thời gian (temporal dynamics). Bằng cách thực hiện suy luận hoàn toàn trong không gian ẩn liên tục, LatentMorph tránh được các điểm nghẽn của suy luận rõ ràng và cho phép tự tinh chỉnh thích ứng hơn.

III. Main Results:​

LatentMorph đạt được các kết quả ấn tượng, vượt trội so với các phương pháp hiện có:

  • Cải thiện độ chân thực và khả năng tổng hợp: Nâng cao hiệu suất của mô hình cơ sở Janus-Pro lên 16% trên GenEval và 25% trên T2I-CompBench. LatentMorph đạt 0.96 trên GenEval và 64.53 trên T2I-CompBench overall, vượt trội các baseline như TwiG-RL (56.24).
  • Hiệu quả trong suy luận trừu tượng: Vượt trội hơn các phương pháp suy luận rõ ràng (ví dụ: TwiG) lần lượt 15% và 11% trên các tác vụ suy luận trừu tượng và phức tạp như WISE và IPV-Txt.
  • Hiệu quả về thời gian và tài nguyên: Giảm thời gian suy luận 44% và tiêu thụ token 51% so với các phương pháp suy luận có sẵn, trong khi vẫn duy trì hoặc cải thiện chất lượng.
  • Phù hợp nhận thức: Đạt được sự phù hợp nhận thức 71% với trực giác con người trong việc triệu hồi suy luận, cho thấy khả năng can thiệp một cách thông minh và đúng lúc.

IV. Conclusion & Future Works:​

LatentMorph là một framework đột phá tích hợp suy luận ẩn vào quá trình tạo ảnh văn bản thành hình ảnh tự hồi quy, vượt qua các hạn chế của suy luận rõ ràng bằng văn bản. Nó đạt được sự cân bằng mạnh mẽ giữa độ chân thực và hiệu quả, đồng thời mô phỏng nhịp điệu nhận thức giống con người thông qua bộ triệu hồi dựa trên Reinforcement Learning. Sự thay đổi mô hình này đặt nền tảng cho thế hệ tạo ảnh thị giác tiếp theo có tính nhận thức và sáng tạo mạnh mẽ hơn. Về tương lai, công trình này mở ra hướng phát triển các hệ thống AI tiết kiệm năng lượng, bền vững hơn và cung cấp các công cụ trực quan hơn cho biểu hiện nghệ thuật, đồng thời khuyến khích nghiên cứu sâu hơn về tính giải thích của suy luận ẩn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Khám phá ứng dụng suy luận ẩn trong các tác vụ tạo nội dung đa phương thức khác ngoài hình ảnh, ví dụ như tạo video hoặc tạo mô hình 3D.
  2. Nghiên cứu cải thiện tính mạnh mẽ và khả năng khái quát hóa của bộ triệu hồi (invoker) được huấn luyện bằng Reinforcement Learning để xử lý các kịch bản suy luận đa dạng và phức tạp hơn.
  3. Điều tra các phương pháp để giảm thêm chi phí tính toán của suy luận ẩn trong khi vẫn duy trì độ chân thực của ảnh, có thể thông qua việc khám phá các biểu diễn ẩn nhỏ gọn hơn hoặc các cơ chế attention thay thế.

2. Patent:​

  1. Trợ lý chỉnh sửa ảnh thông minh trên điện thoại: Một ứng dụng chỉnh sửa ảnh cho phép người dùng thực hiện các thay đổi phức tạp một cách trực quan. Khi người dùng thực hiện các chỉnh sửa ban đầu (ví dụ: xóa một vật thể, thay đổi màu sắc), hệ thống sẽ tự động 'suy luận ngầm' về ý định tổng thể của người dùng và bối cảnh của bức ảnh. Từ đó, nó sẽ đề xuất các tinh chỉnh bổ sung (như điều chỉnh ánh sáng, độ tương phản của các vùng khác, hoặc thêm hiệu ứng nhỏ) để đảm bảo kết quả cuối cùng trông tự nhiên và hài hòa, mà không cần người dùng phải đưa ra các lệnh chi tiết.
  2. Công cụ tạo video ngắn tự động cho mạng xã hội: Một ứng dụng di động giúp người dùng tạo video ngắn hoặc 'story' cho các nền tảng mạng xã hội. Khi người dùng nhập một vài hình ảnh, đoạn văn bản mô tả hoặc chọn một bài hát, ứng dụng sẽ 'suy luận ngầm' về mạch kể chuyện và cảm xúc mong muốn. Sau đó, nó sẽ tự động gợi ý hoặc tạo ra các cảnh quay, hiệu ứng chuyển tiếp, hoặc thậm chí là các đoạn hoạt hình nhỏ phù hợp với câu chuyện đang phát triển, giúp người dùng tạo ra nội dung sáng tạo và chuyên nghiệp hơn một cách dễ dàng.
  3. Bạn đồng hành nghệ thuật số cá nhân hóa: Một ứng dụng trên điện thoại giúp người dùng sáng tạo nghệ thuật số. Thay vì yêu cầu các lệnh rõ ràng, người dùng có thể cung cấp các bản phác thảo thô, lựa chọn màu sắc cơ bản hoặc mô tả cảm xúc chung (ví dụ: 'màu ấm,' 'chủ đề thiên nhiên'). Hệ thống sẽ 'suy luận ẩn' để hiểu các gợi ý ngầm này và động lực tạo ra các biến thể nghệ thuật, hoặc đưa ra các gợi ý về loại cọ, phong cách hoặc bố cục trong thời gian thực, phù hợp với ý định sáng tạo đang phát triển của người dùng. Hệ thống sẽ can thiệp đưa ra gợi ý khi phát hiện người dùng đang gặp khó khăn hoặc thay đổi ý tưởng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2602.02227
ArXiv Abstracthttps://arxiv.org/abs/2602.02227
PDF Downloadhttps://arxiv.org/pdf/2602.02227.pdf
Github RepositoryN/A

36. AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios (10 votes)​

Tác giả: Kaiyuan Chen, Qimin Wu, Taiyu Hou, Tianhao Tang, Xueyu Hu, Yuchen Hou, Bikun Li, Chengming Qian, Guoyin Wang, Haolin Chen, Haotong Tian, Haoye Zhang, Haoyu Bian, Hongbing Pan, Hongkang Zhang, Hongyi Zhou, Jiaqi Cai, Jiewu Rao, Jiyuan Ren, Keduan Huang, Lucia Zhu Huang, Mingyu Yuan, Naixu Guo, Qicheng Tang, Qinyan Zhang, Shuai Chen, Siheng Chen, Ting Ting Li, Xiaoxing Guo, Yaocheng Zuo, Yaoqi Guo, Yinan Wang, Yinzhou Yu, Yize Wang, Yuan Jiang, Yuan Tian, Yuanshuo Zhang, Yuxuan Liu, Yvette Yan Zeng, Zenyu Shan, Zihan Yin, Xiaobo Hu, Yang Liu, Yixin Ren, Yuan Gong

Xuất bản lúc: 2026-01-28

Tag: AI Agents, Benchmarks, Instruction Following, LLMs, Multimodal AI

I. Main Problem:​

I. Main Problem:​

  • Các đánh giá hiện tại về tác nhân AI ưu tiên độ khó của nhiệm vụ nhưng chưa đủ đa dạng để bao quát các hoạt động làm việc, sinh hoạt và học tập hàng ngày của người dùng phổ thông.
  • Khả năng của AI tiên tiến chưa thực sự rõ ràng và dễ tiếp cận đối với người dùng thông thường trong các kịch bản hàng ngày.
  • Các đánh giá hiện hành còn thiếu sự đa dạng cần thiết để phản ánh các kịch bản thực tế trong công việc, cuộc sống và học tập.

II. Main Idea:​

II. Main Idea:​

  • Đề xuất AgentIF-OneDay, một bộ tiêu chuẩn đánh giá tác nhân AI theo cấp độ nhiệm vụ, nhằm xác định liệu người dùng phổ thông có thể sử dụng hướng dẫn ngôn ngữ tự nhiên và tác nhân AI để hoàn thành một loạt các nhiệm vụ hàng ngày đa dạng hay không.
  • Các nhiệm vụ này yêu cầu không chỉ giải quyết vấn đề thông qua đối thoại mà còn hiểu các loại tệp đính kèm khác nhau và cung cấp kết quả dưới dạng tệp cụ thể.
  • Bộ tiêu chuẩn được cấu trúc xung quanh ba hạng mục lấy người dùng làm trung tâm:
    • Open Workflow Execution: Đánh giá khả năng tuân thủ các quy trình làm việc rõ ràng và phức tạp.
    • Latent Instruction Inference: Yêu cầu tác nhân suy luận các hướng dẫn ngầm từ tệp đính kèm.
    • Iterative Refinement: Liên quan đến việc sửa đổi hoặc mở rộng công việc đang diễn ra.
  • Sử dụng các tiêu chí đánh giá cấp độ phiên bản và quy trình đánh giá tinh chỉnh, kết hợp xác minh dựa trên LLM với đánh giá của con người, đạt tỷ lệ đồng thuận 80.1% bằng Gemini-3-Pro.
  • Thiết kế quy trình tự động "File-centered Automated Agentic Pipeline" để tạo nhiệm vụ, sử dụng tác nhân ChatGPT để thu thập tệp đính kèm giàu thông tin và khung quy trình làm việc từ các nhiệm vụ hạt giống do con người chú thích.

III. Main Results:​

III. Main Results:​

  • AgentIF-OneDay bao gồm 104 nhiệm vụ với 767 điểm tính điểm.
  • Đánh giá bốn tác nhân AI hàng đầu cho thấy các sản phẩm tác nhân được xây dựng dựa trên API và tác nhân ChatGPT dựa trên học tăng cường đạt hiệu suất hàng đầu tương đương.
  • Manus đạt điểm tổng thể cao nhất (0.645), tiếp theo là Genspark (0.635) và ChatGPT-Agent (0.626). Minimax-Agent đạt 0.562.
  • ChatGPT-Agent nổi bật như công cụ năng suất hàng đầu (trong kịch bản công việc), Manus là trợ lý cuộc sống tối ưu (trong kịch bản cuộc sống), và Genspark là đối tác học tập lý tưởng (trong kịch bản học tập).
  • Genspark thể hiện tốt nhất trong suy luận hướng dẫn ngầm, Manus xuất sắc trong thực thi quy trình làm việc mở, và Minimax-Agent có khả năng chỉnh sửa lặp lại tốt nhất.
  • Khả năng suy luận điều kiện ngầm hiện là yếu nhất trên các tác nhân nói chung.
  • Về hiệu quả, Genspark (484.1 giây) và Manus (500.0 giây) cung cấp sự cân bằng tốt giữa tốc độ và chất lượng, trong khi Minimax-Agent là chậm nhất (1416.2 giây).
  • Tính nhất quán giữa các mô hình LLM làm giám khảo và đánh giá của con người: Gemini-3-Pro-preview đạt tỷ lệ đồng thuận cao nhất (80.1%), tiếp theo là Gemini-2.5-Pro (73.9%) và GPT-5.1 (63.8%).

IV. Conclusion & Future Works:​

IV. Conclusion & Future Works:​

  • Bộ tiêu chuẩn AgentIF-OneDay giúp tiết lộ điểm mạnh và nút thắt cổ chai của các sản phẩm tác nhân và mô hình tác nhân hiện tại, cung cấp các tham chiếu có giá trị thực nghiệm để tối ưu hóa tác nhân AI trong tương lai.
  • Dữ liệu hướng dẫn chất lượng cao, được chú thích tỉ mỉ từ AgentIF-OneDay có tiềm năng đáng kể làm dữ liệu huấn luyện cho học tăng cường.
  • Lợi thế cạnh tranh trong tương lai có thể sẽ chuyển từ việc xây dựng các kỹ năng tác nhân cốt lõi sang tối ưu hóa sản phẩm cho nhu cầu người dùng cụ thể và tận dụng dữ liệu người dùng để tinh chỉnh trải nghiệm tác nhân tổng thể.
  • "Workflow Judges" và "Judge Agents" được kỳ vọng sẽ trở thành các thực hành tiêu chuẩn ngày càng phổ biến trong các đánh giá tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về phương pháp cải thiện khả năng suy luận hướng dẫn ngầm của các tác nhân AI, đặc biệt là khi làm việc với các tệp đính kèm phức tạp và không có công thức rõ ràng.
  2. Phát triển các chiến lược học tăng cường mới sử dụng dữ liệu chú thích chất lượng cao từ AgentIF-OneDay để huấn luyện tác nhân AI có khả năng tuân thủ hướng dẫn tốt hơn trong các kịch bản hàng ngày.
  3. Khám phá các phương pháp tích hợp mô hình đa phương thức (multimodal models) tiên tiến hơn vào quy trình đánh giá tự động để nâng cao độ chính xác của các "Judge Agents" trong việc hiểu và xác minh các định dạng tệp đa dạng.

2. Patent:​

  1. Hệ thống trợ lý di động thông minh có khả năng tự động tạo kế hoạch du lịch chi tiết dựa trên yêu cầu người dùng, với khả năng xác minh thông tin từ nhiều nguồn trực tuyến và đề xuất các lựa chọn tối ưu về chi phí và thời gian.
  2. Ứng dụng di động quản lý tài chính cá nhân tích hợp AI, có thể đọc và phân tích các tài liệu mua sắm, hợp đồng dịch vụ hoặc ưu đãi của nhà mạng (ví dụ: file PDF) để đề xuất gói dịch vụ hoặc phương án nâng cấp thiết bị điện thoại với tổng chi phí thấp nhất cho người dùng.
  3. Công cụ chỉnh sửa tài liệu di động được hỗ trợ bởi AI, cho phép người dùng nhập các ràng buộc hoặc phản hồi bằng ngôn ngữ tự nhiên (ví dụ: "cập nhật bố cục để đáp ứng tất cả các ràng buộc") và AI sẽ tự động điều chỉnh bố cục, hình ảnh hoặc văn bản trong các tệp như bản vẽ SVG hoặc bảng tính Excel một cách thông minh, đảm bảo tính dễ đọc và tuân thủ các quy tắc.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.20613
ArXiv Abstracthttps://arxiv.org/abs/2601.20613
PDF Downloadhttps://arxiv.org/pdf/2601.20613.pdf
Github RepositoryN/A