🤗 Daily Hugging Face Paper Digest - 2026-02-12

Báo cáo được tạo tự động vào lúc 2026-02-13 16:54:05 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters (162 votes)

Tác giả: Ailin Huang, Ang Li, Aobo Kong, Bin Wang, Binxing Jiao, Bo Dong, Bojun Wang, Boyu Chen, Brian Li, Buyun Ma, Chang Su, Changxin Miao, Changyi Wan, Chao Lou, Chen Hu, Chen Xu, Chenfeng Yu, Chengting Feng, Chengyuan Yao, Chunrui Han, Dan Ma, Dapeng Shi, Daxin Jiang, Dehua Ma, Deshan Sun, Di Qi, Enle Liu, Fajie Zhang, Fanqi Wan, Guanzhe Huang, Gulin Yan, Guoliang Cao, Guopeng Li, Han Cheng, Hangyu Guo, Hanshan Zhang, Hao Nie, Haonan Jia, Haoran Lv, Hebin Zhou, Hekun Lv, Heng Wang, Heung-Yeung Shum, Hongbo Huang, Hongbo Peng, Hongyu Zhou, Hongyuan Wang, Houyong Chen, Huangxi Zhu, Huimin Wu, Huiyong Guo, Jia Wang, Jian Zhou, Jianjian Sun, Jiaoren Wu, Jiaran Zhang, Jiashu Lv, Jiashuo Liu, Jiayi Fu, Jiayu Liu, Jie Cheng, Jie Luo, Jie Yang, Jie Zhou, Jieyi Hou, Jing Bai, Jingcheng Hu, Jingjing Xie, Jingwei Wu, Jingyang Zhang, Jishi Zhou, Junfeng Liu, Junzhe Lin, Ka Man Lo, Kai Liang, Kaibo Liu, Kaijun Tan, Kaiwen Yan, Kaixiang Li, Kang An, Kangheng Lin, Lei Yang, Liang Lv, Liang Zhao, Liangyu Chen, Lieyu Shi, Liguo Tan, Lin Lin, Lina Chen, Luck Ma, Mengqiang Ren, Michael Li, Ming Li, Mingliang Li, Mingming Zhang, Mingrui Chen, Mitt Huang, Na Wang, Peng Liu, Qi Han, Qian Zhao, Qinglin He, Qinxin Du, Qiuping Wu, Quan Sun, Rongqiu Yang, Ruihang Miao, Ruixin Han, Ruosi Wan, Ruyan Guo, Shan Wang, Shaoliang Pang, Shaowen Yang, Shengjie Fan, Shijie Shang, Shiliang Yang, Shiwei Li, Shuangshuang Tian, Siqi Liu, Siye Wu, Siyu Chen, Song Yuan, Tiancheng Cao, Tianchi Yue, Tianhao Cheng, Tianning Li, Tingdan Luo, Wang You, Wei Ji, Wei Yuan, Wei Zhang, Weibo Wu, Weihao Xie, Wen Sun, Wenjin Deng, Wenzhen Zheng, Wuxun Xie, Xiangfeng Wang, Xiangwen Kong, Xiangyu Liu, Xiangyu Zhang, Xiaobo Yang, Xiaojia Liu, Xiaolan Yuan, Xiaoran Jiao, Xiaoxiao Ren, Xiaoyun Zhang, Xin Li, Xin Liu, Xin Wu, Xing Chen, Xingping Yang, Xinran Wang, Xu Zhao, Xuan He, Xuanti Feng, Xuedan Cai, Xuqiang Zhou, Yanbo Yu, Yang Li, Yang Xu, Yanlin Lai, Yanming Xu, Yaoyu Wang, Yeqing Shen, Yibo Zhu, Yichen Lv, Yicheng Cao, Yifeng Gong, Yijing Yang, Yikun Yang, Yin Zhao, Yingxiu Zhao, Yinmin Zhang, Yitong Zhang, Yixuan Zhang, Yiyang Chen, Yongchi Zhao, Yongshen Long, Yongyao Wang, Yousong Guan, Yu Zhou, Yuang Peng, Yuanhao Ding, Yuantao Fan, Yuanzhen Yang, Yuchu Luo, Yudi Zhao, Yue Peng, Yueqiang Lin, Yufan Lu, Yuling Zhao, Yunzhou Ju, Yurong Zhang, Yusheng Li, Yuxiang Yang, Yuyang Chen, Yuzhu Cai, Zejia Weng, Zetao Hong, Zexi Li, Zhe Xie, Zheng Ge, Zheng Gong, Zheng Zeng, Zhenyi Lu, Zhewei Huang, Zhichao Chang, Zhiguo Huang, Zhiheng Hu, Zidong Yang, Zili Wang, Ziqi Ren, Zixin Zhang, Zixuan Wang

Xuất bản lúc: 2026-02-11

Tag: LLMs, MoE, Agentic AI, Reasoning, Efficiency, Reinforcement Learning

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) mã nguồn mở hiện vẫn kém các hệ thống tiên tiến đóng trong khả năng suy luận phức tạp, đặc biệt là trong các tác vụ đại lý (agentic). Có những nút thắt cổ chai về hiệu quả tính toán cản trở việc triển khai các tác vụ đại lý ngữ cảnh dài, đặc biệt ở các môi trường hạn chế tài nguyên. Ngoài ra, việc lặp lại không hiệu quả các chuyên gia (experts) theo lĩnh vực cụ thể cho quá trình tự chưng cất (self-distillation) và khả năng mở rộng hạn chế của Học Tăng Cường (RL) đối với suy luận dài hạn trong các mô hình MoE cũng là những thách thức lớn. Việc huấn luyện một mô hình tổng quát duy nhất thường làm mất đi chuyên môn cụ thể theo lĩnh vực, trong khi duy trì nhiều mô hình chuyên gia riêng biệt lại tốn kém và không bền vững. Trong các mô hình MoE, sự chuyển dịch phân phối do định tuyến chuyên gia có thể gây mất ổn định quá trình tối ưu hóa.

II. Main Idea:

Giới thiệu Step 3.5 Flash, một mô hình Mixture-of-Experts (MoE) thưa thớt với 196B tổng tham số nhưng chỉ 11B tham số hoạt động (active parameters) cho suy luận hiệu quả. Mô hình này được tối ưu hóa bằng cơ chế chú ý lai (hybrid attention) xen kẽ theo tỷ lệ 3:1 giữa Sliding Window Attention (SWA) và Full Attention, cùng với Multi-Token Prediction (MTP-3) để giảm độ trễ và chi phí trong các tương tác đại lý nhiều vòng. Để cải thiện khả năng và hiệu quả, mô hình sử dụng Augmented Query Heads trong SWA và Head-wise Gated Attention.

Các tác giả thiết kế một framework RL có thể mở rộng, tích hợp tín hiệu có thể kiểm chứng và phản hồi ưu tiên, đồng thời duy trì sự ổn định trong quá trình huấn luyện off-policy quy mô lớn. Một công thức huấn luyện sau (post-training) thống nhất được đề xuất, kết hợp chuyên môn hóa theo miền và tổng hợp toàn cầu, cho phép lặp lại chuyên gia hiệu quả trong khi vẫn duy trì một mô hình tổng quát hiệu suất cao. Đặc biệt, Metropolis Independence Sampling-Filtered Policy Optimization (MIS-PO) được giới thiệu để giảm phương sai gradient và cho phép RL mở rộng đáng tin cậy cho suy luận dài hạn và hành vi đại lý bằng cách lọc các mẫu trong một vùng tin cậy ổn định. Hạ tầng huấn luyện cũng được tối ưu hóa với các kỹ thuật song song hóa tiên tiến, tối ưu hóa giao tiếp và giám sát nhẹ để đảm bảo sự ổn định.

III. Main Results:

Step 3.5 Flash đạt hiệu suất cạnh tranh với các mô hình tiên tiến hàng đầu, ngang hàng với các mô hình như GPT-5.2 xHigh và Gemini 3.0 Pro, mặc dù chỉ có 11B tham số hoạt động.

Các kết quả nổi bật bao gồm:

85.4% trên IMO-AnswerBench.
86.4% trên LiveCodeBench-v6 (2024.08–2025.05).
88.2% trên 𝜏2-Bench (khả năng dùng công cụ).
69.0% trên BrowseComp (với quản lý ngữ cảnh).
51.0% trên Terminal-Bench 2.0.
Trên SimpleQA, Step 3.5 Flash Base đạt 31.6%, vượt qua DeepSeek-V3.2-Exp Base dù chỉ sử dụng một phần ba tham số.
Mô hình duy trì tốc độ khoảng 170 tokens/giây trên GPU Hopper trong tuần đầu tiên trên OpenRouter, cho thấy hiệu quả suy luận cao.
Quá trình huấn luyện rất ổn định trên 17.2T tokens chất lượng cao và đa dạng, chỉ với một lần tăng đột biến tổn thất thoáng qua.
Head-wise Gated Attention được chứng minh là cải thiện chất lượng mô hình một cách nhất quán so với Sink Token.

IV. Conclusion & Future Works:

Step 3.5 Flash đã định nghĩa lại ranh giới hiệu quả, cung cấp một nền tảng mật độ cao để triển khai các tác nhân (agents) tinh vi trong môi trường công nghiệp thực tế. Mô hình này đã thu hẹp đáng kể khoảng cách giữa các mô hình mã nguồn mở tiên tiến và các hệ thống độc quyền hàng đầu trong cả khả năng suy luận và thiết lập tác nhân.

Không có phần cụ thể về công việc tương lai trong đoạn trích.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về các kỹ thuật chẩn đoán và giảm thiểu lỗi huấn luyện cho các mô hình Mixture-of-Experts (MoE) quy mô lớn, đặc biệt là về expert collapse, activation blow-up và tính nhạy cảm số học của các trình tối ưu hóa như Muon.
Khám phá các cách tối ưu hóa hơn nữa cơ chế chú ý lai (Hybrid Attention) và Multi-Token Prediction (MTP) để đạt được sự cân bằng tối ưu giữa hiệu quả tính toán, độ trễ thấp và khả năng mô hình hóa ngữ cảnh dài cho các ứng dụng tác nhân (agentic applications).
Mở rộng và đánh giá Metropolis Independence Sampling-Filtered Policy Optimization (MIS-PO) trong các kịch bản Học Tăng Cường (RL) phức tạp hơn và trên các miền ứng dụng đa dạng, bao gồm việc phân tích tác động của các tham số vùng tin cậy (trust region) khác nhau.

2. Patent:

Hệ thống trợ lý ảo thông minh tốc độ cao trên điện thoại: Phát triển một trợ lý ảo trên điện thoại sử dụng kiến trúc mô hình ngôn ngữ thưa thớt (sparse language model) có khả năng xử lý các yêu cầu phức tạp và tương tác nhiều vòng một cách nhanh chóng, đồng thời tiêu thụ ít tài nguyên xử lý.
Tối ưu hóa tương tác học tăng cường cho tác vụ dài trên thiết bị di động: Một phương pháp cho phép các ứng dụng trợ lý trên điện thoại tự học và cải thiện hiệu suất trong các tác vụ yêu cầu chuỗi hành động dài (ví dụ: lập kế hoạch chuyến đi, quản lý dự án cá nhân) bằng cách sử dụng một kỹ thuật học tăng cường ổn định, giúp giảm thiểu sai sót trong quá trình học.
Công cụ lập trình và gỡ lỗi mã nguồn di động hỗ trợ AI hiệu quả: Một ứng dụng trên điện thoại tích hợp trí tuệ nhân tạo có thể giúp người dùng viết, kiểm tra và gỡ lỗi mã nguồn hiệu quả hơn, đặc biệt là với các đoạn mã dài và phức tạp, bằng cách sử dụng một kiến trúc mô hình tiên tiến nhưng vẫn đảm bảo tốc độ xử lý nhanh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.10604
ArXiv Abstract	https://arxiv.org/abs/2602.10604
PDF Download	https://arxiv.org/pdf/2602.10604.pdf
Github Repository	https://github.com/stepfun-ai/Step-3.5-Flash

2. GENIUS: Generative Fluid Intelligence Evaluation Suite (45 votes)

Tác giả: Ruichuan An, Sihan Yang, Ziyu Guo, Wei Dai, Zijun Shen, Haodong Li, Renrui Zhang, Xinyu Wei, Guopeng Li, Wenshan Wu, Wentao Zhang

Xuất bản lúc: 2026-02-11

Tag: Multimodal Models, Generative AI, Fluid Intelligence, Benchmarking, UMMs

I. Main Problem:

Các Mô hình Đa phương thức Thống nhất (UMMs) đã đạt được những tiến bộ đáng kể trong tạo hình ảnh, nhưng các bộ tiêu chuẩn hiện có chủ yếu đánh giá "Trí thông minh Kết tinh" (Crystallized Intelligence), vốn dựa vào việc hồi tưởng kiến thức tích lũy. Điều này bỏ qua "Trí thông minh Linh hoạt Sáng tạo" (Generative Fluid Intelligence - GFI): khả năng suy luận các mẫu, lý luận qua các ràng buộc và thích ứng với các kịch bản mới một cách linh hoạt. GFI hiện thiếu một định nghĩa chính thức, các bộ tiêu chuẩn đánh giá không đầy đủ (chủ yếu tập trung vào khả năng ghi nhớ và truy xuất), và thiếu các phân tích hệ thống về các chế độ lỗi. Các UMM hiện tại vẫn còn "rất xa so với việc đạt được trí thông minh tổng quát thực sự" trong tạo hình ảnh, biểu hiện qua việc "khó khăn trong việc phân xử xung đột giữa tri thức tiền huấn luyện (pre-trained priors) và ngữ cảnh đã cho" và "chất lượng thẩm mỹ che giấu các thiếu sót logic sâu sắc".

II. Main Idea:

Để giải quyết những thiếu sót này, nghiên cứu giới thiệu GENIUS (GENerative Fluid Intelligence EvalUation Suite), bộ khung đầu tiên dành riêng cho việc đánh giá hệ thống Trí thông minh Linh hoạt Sáng tạo (GFI). GENIUS chính thức hóa GFI là sự tổng hợp của ba nguyên lý cơ bản:

Suy luận Các Mẫu Ngầm định (Inducing Implicit Patterns):
Thực thi Các Ràng buộc Ad-hoc (Executing Ad-hoc Constraints).
Thích ứng với Kiến thức Ngữ cảnh (Adapting to Contextual Knowledge). Bộ tiêu chuẩn bao gồm 510 mẫu được tuyển chọn kỹ lưỡng bởi các chuyên gia, phân loại thành ba chiều và năm tác vụ, được đánh giá bằng một giao thức lai sử dụng ba tiêu chí: Tuân thủ Quy tắc (Rule Compliance), Tính nhất quán Hình ảnh (Visual Consistency) và Chất lượng Thẩm mỹ (Aesthetic Quality), với Gemini-3-Pro làm giám khảo được hỗ trợ bởi các gợi ý được con người kiểm chứng. Ngoài ra, nghiên cứu đề xuất một chiến lược can thiệp chú ý (attention intervention) không cần huấn luyện để cải thiện hiệu suất, dựa trên quan sát rằng sự phân bố chú ý không cân bằng dẫn đến hướng dẫn không đủ trong quá trình suy giảm gradient ngầm định. Cơ chế này bao gồm ba giai đoạn: Chắt lọc từ khóa, Ánh xạ mức độ liên quan, và Tiêm thiên vị vào logits chú ý.

III. Main Results:

Các mô hình UMM hiện tại còn "thiếu hụt đáng kể" trong các tác vụ GFI. Ngay cả mô hình độc quyền hiện đại nhất, Nano Banana Pro, cũng chỉ đạt điểm tổng thể là 57.19 (dưới mức đạt), trong khi các mô hình mã nguồn mở như Bagel đạt 26.74. Sự thiếu sót này rõ rệt nhất ở chiều "Thích ứng với Kiến thức Ngữ cảnh", nơi các mô hình thường "mặc định quay về các tri thức tiền huấn luyện". Phân tích cho thấy "chất lượng thẩm mỹ cao che giấu các thiếu sót logic sâu sắc", với điểm Chất lượng Thẩm mỹ cao nhưng điểm Tuân thủ Quy tắc thấp. Các chiến lược lập kế hoạch trước (pre-planning) và tự suy ngẫm sau (post-reflection) chỉ mang lại "lợi ích biên". Phân tích chẩn đoán chỉ ra rằng "khả năng hiểu ngữ cảnh hạn chế" là nguyên nhân chính dẫn đến các thiếu sót về hiệu suất, và "lỗi sáng tạo chủ yếu xuất phát từ một khoảng cách thực thi (execution gap) hơn là thiếu hụt về khả năng hiểu" (mô hình hiểu ý định nhưng không thể chuyển thành đầu ra hình ảnh tuân thủ). Cơ chế điều chỉnh chú ý không cần huấn luyện được đề xuất đã "nâng cao hiệu suất nhất quán" trên tất cả các tác vụ (ví dụ: tăng điểm tổng thể của Bagel lên 6.18%), xác nhận tính hiệu quả của nó và khung lý thuyết. Đánh giá LMM-as-a-Judge bằng Gemini-3-Pro được xác nhận là đáng tin cậy, với hệ số tương quan Pearson cao (0.9630 cho Nano Banana Pro và 0.9659 cho Bagel) so với đánh giá của chuyên gia con người.

IV. Conclusion & Future Works:

GENIUS là bộ tiêu chuẩn đầu tiên định lượng GFI, mang lại một tiêu chuẩn nghiêm ngặt để đánh giá khả năng mô hình trong các kịch bản mới, đòi hỏi tư duy. Các mô hình hiện tại, kể cả những mô hình tiên tiến nhất, vẫn còn "thiếu sót đáng kể" trong GFI. Các thất bại được cho là do "khoảng cách thực thi" và các "khiếm khuyết trong cơ chế chú ý" trong quá trình suy luận. Chiến lược điều chỉnh chú ý không cần huấn luyện được đề xuất đã "kích hoạt hiệu quả các khả năng GFI tiềm ẩn" của mô hình. Trong tương lai, GENIUS sẽ đóng vai trò là "bộ thử nghiệm then chốt cho nghiên cứu trong tương lai", định hướng sự phát triển của các mô hình thế hệ tiếp theo "từ ghi nhớ kết tinh sang trí thông minh tổng quát thực sự".

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các kiến trúc mô hình multimodal mới tập trung vào việc cải thiện khả năng điều hòa xung đột giữa tri thức tiền huấn luyện (prior knowledge) và ngữ cảnh ad-hoc, đặc biệt trong các tác vụ yêu cầu khả năng thích ứng linh hoạt.
Phát triển các phương pháp huấn luyện hoặc can thiệp không huấn luyện (training-free intervention) để tăng cường sự tập trung chú ý (attention mechanism) vào các tín hiệu ngữ cảnh quan trọng, nhằm khắc phục "execution gap" và cải thiện Generative Fluid Intelligence.
Khám phá các kỹ thuật tăng cường tính giải thích (explainability) trong các mô hình generative để hiểu rõ hơn về quá trình ra quyết định và lý do thất bại trong các tình huống đòi hỏi Generative Fluid Intelligence.

2. Patent:

Hệ thống chỉnh sửa ảnh thông minh trên điện thoại có khả năng hiểu và áp dụng các quy tắc tùy chỉnh do người dùng định nghĩa, ví dụ: "biến đổi màu sắc vật thể A theo gam màu này" hoặc "áp dụng kiểu dáng này chỉ vào đối tượng cụ thể".
Ứng dụng thiết kế và sáng tạo hình ảnh trên điện thoại cho phép người dùng tạo ra các hình ảnh tuân thủ các ràng buộc logic phức tạp hoặc các kịch bản vật lý phi truyền thống, ví dụ: "thiết kế một vật thể bay lơ lửng theo một quy luật trọng lực mới".
Trợ lý sáng tạo hình ảnh trên điện thoại di động có khả năng diễn giải ngữ nghĩa đa dạng của các từ (nghĩa đen hoặc nghĩa bóng) dựa trên ngữ cảnh được cung cấp, giúp tạo ra các hình ảnh minh họa chính xác cho các khái niệm trừu tượng hoặc thành ngữ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.11144
ArXiv Abstract	https://arxiv.org/abs/2602.11144
PDF Download	https://arxiv.org/pdf/2602.11144.pdf
Github Repository	N/A

3. PhyCritic: Multimodal Critic Models for Physical AI (47 votes)

Tác giả: Tianyi Xiong, Shihao Wang, Guilin Liu, Yi Dong, Ming Li, Heng Huang, Jan Kautz, Zhiding Yu

Xuất bản lúc: 2026-02-11

Tag: Multimodal Models, Reinforcement Learning, Critic Models, Physical AI, Evaluation Benchmarks

I. Main Problem:

Các mô hình phê bình (critic models) hiện tại chủ yếu được huấn luyện trong các miền thị giác tổng quát như chú thích hình ảnh hoặc trả lời câu hỏi hình ảnh, bỏ ngỏ các tác vụ AI vật lý (physical AI) liên quan đến nhận thức, suy luận nhân quả và lập kế hoạch. Việc đánh giá trong AI vật lý khác biệt cơ bản, đòi hỏi các mô hình phải đánh giá xem lý luận có hợp lệ về mặt nhân quả, liệu lời giải thích trực quan có tuân thủ cấu hình vật lý thực tế hay không, và liệu câu trả lời cuối cùng có tuân thủ các ràng buộc về thời gian, không gian và động lực học hay không. Các mô hình phê bình hiện có thiếu nhận thức về vật lý, thường không phân biệt được lý luận có vẻ mạch lạc về mặt thị giác nhưng bất khả thi về mặt vật lý, thiếu dữ liệu huấn luyện cho các kịch bản thực tế và không dựa trên sự hiểu biết vật lý của chính chúng.

II. Main Idea:

Chúng tôi giới thiệu PhyCritic, một mô hình phê bình đa phương thức được tối ưu hóa cho AI vật lý thông qua một quy trình RLVR hai giai đoạn. Giai đoạn đầu là 'khởi động kỹ năng vật lý' nhằm tăng cường nhận thức và suy luận định hướng vật lý. Giai đoạn tiếp theo là 'tinh chỉnh phê bình tự tham chiếu', nơi mô hình phê bình tự tạo ra dự đoán của mình làm tham chiếu nội bộ trước khi đánh giá các phản hồi của ứng cử viên, cải thiện sự ổn định của phán đoán và tính đúng đắn về mặt vật lý. PhyCritic giới thiệu nguyên tắc rằng một nhà phê bình vật lý mạnh mẽ nên hành xử như một chuyên gia con người: trước khi đánh giá phản hồi của các mô hình khác, nó phải tự giải quyết vấn đề trước. Để đánh giá, chúng tôi giới thiệu PhyCritic-Bench, một bộ tiêu chuẩn mới cho các mô hình phê bình đa phương thức trong AI vật lý.

III. Main Results:

PhyCritic đạt được hiệu suất vượt trội đáng kể so với các mô hình nền tảng mã nguồn mở trên cả các bộ tiêu chuẩn đánh giá phê bình đa phương thức vật lý và mục đích chung. Khi được áp dụng làm mô hình chính sách, PhyCritic còn cải thiện khả năng nhận thức và suy luận trong các tác vụ thực tế. Trên PhyCritic-Bench, mô hình PhyCritic-7B của chúng tôi đạt độ chính xác tổng thể tốt nhất (68.0) trong số các mô hình 7B/8B mã nguồn mở. Nó cũng tổng quát hóa tốt sang các kịch bản đánh giá miền tổng quát (VL-RewardBench và Multimodal RewardBench). Với tư cách là một chính sách, PhyCritic-7B đạt độ chính xác tốt nhất (63.9) trên CosmosReason1-Bench và hiệu suất top-2 trên CV-Bench và EgoPlanBench2. Quy trình RL hai giai đoạn của chúng tôi chỉ yêu cầu 80+300 bước RL với tổng cộng 4.058 mẫu huấn luyện, cho thấy hiệu quả về dữ liệu. Các nghiên cứu loại bỏ chứng minh rằng quy trình RL hai giai đoạn và việc tinh chỉnh phê bình tự tham chiếu là cần thiết và bổ trợ lẫn nhau, thúc đẩy các cải tiến hiệu suất.

IV. Conclusion & Future Works:

PhyCritic chứng minh rằng các mô hình phê bình được hưởng lợi đáng kể từ việc tự tham chiếu và dựa trên hiểu biết vật lý. AI vật lý đòi hỏi một thế hệ mới các mô hình đánh giá đa phương thức có nhận thức về vật lý. Các kết quả này cho thấy việc huấn luyện phê bình vật lý — dựa trên nhận thức vật lý, lập kế hoạch và đánh giá hành động — chuyển giao hiệu quả sang các hoạt động đánh giá đa phương thức rộng hơn trên các miền trực quan chung. Quy trình tự tham chiếu thúc đẩy hành vi phê bình ổn định và lý luận có nhận thức vật lý mạch lạc.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng cơ chế tự tham chiếu để tích hợp các mô phỏng vật lý nội bộ phức tạp hơn hoặc lý luận phản thực tế, cho phép mô hình dự đoán nhiều kết quả có thể xảy ra và đánh giá phản hồi dựa trên những dự đoán đó.
Nghiên cứu khả năng tổng quát hóa của nhận thức vật lý sang các miền suy luận nhân quả trừu tượng hơn, không chỉ giới hạn trong AI vật lý rõ ràng, để cải thiện khả năng đánh giá của các mô hình trong các tác vụ đòi hỏi sự hiểu biết sâu sắc về mối quan hệ nguyên nhân – kết quả.
Phát triển các phương pháp để đảm bảo tính mạnh mẽ và công bằng của các mô hình phê bình AI vật lý, đặc biệt là trong các kịch bản có dữ liệu nhiễu loạn hoặc sai lệch, nhằm ngăn chặn các đánh giá không chính xác hoặc không công bằng có thể dẫn đến hành vi không mong muốn trong các hệ thống vật lý.

2. Patent:

Một ứng dụng điện thoại thông minh giám sát các hoạt động hàng ngày trong nhà (ví dụ: nấu ăn, dọn dẹp) bằng camera điện thoại. Ứng dụng sẽ nhận biết các tương tác vật lý với đồ vật và thiết bị, sau đó đưa ra hướng dẫn bằng giọng nói cho bước tiếp theo hoặc cảnh báo nếu phát hiện một hành động vô lý hoặc không an toàn. Ví dụ, nếu người dùng đặt vật nóng lên bề mặt dễ cháy, ứng dụng có thể cảnh báo kịp thời.
Một hệ thống hỗ trợ lắp ráp DIY (Do It Yourself) tích hợp vào điện thoại di động. Bằng cách sử dụng camera, hệ thống sẽ theo dõi quá trình người dùng lắp ráp đồ nội thất hoặc thiết bị. Nó sẽ cung cấp phản hồi theo thời gian thực về việc liệu các bộ phận có được đặt đúng vị trí vật lý hay không và đề xuất các bước tiếp theo, đồng thời cảnh báo nếu người dùng cố gắng lắp ráp một cách không thể thực hiện được hoặc sai kỹ thuật.
Một ứng dụng di động hỗ trợ tập luyện thể dục (ví dụ: yoga, cử tạ) bằng cách phân tích tư thế vật lý của người dùng qua camera. Ứng dụng sẽ so sánh tư thế thực tế với hình thức chuẩn và cung cấp phản hồi tức thì để điều chỉnh, đảm bảo người dùng giữ tư thế đúng, tránh chấn thương và tối ưu hiệu quả tập luyện. Nó có thể chỉ ra các lỗi vật lý như lưng cong quá mức hoặc khớp không thẳng hàng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.11124
ArXiv Abstract	https://arxiv.org/abs/2602.11124
PDF Download	https://arxiv.org/pdf/2602.11124.pdf
Github Repository	N/A

4. ASA: Training-Free Representation Engineering for Tool-Calling Agents (39 votes)

Tác giả: Youjin Wang, Run Zhou, Rong Fu, Shuaishuai Cao, Hongwei Zeng, Jiaxuan Lu, Sicheng Fan, Jiaqiao Zhao, Liangming Pan

Xuất bản lúc: 2026-02-04

Tag: LLMs, Tool-calling Agents, Representation Engineering, Activation Steering, Training-Free Adaptation

I. Main Problem:

Các tác nhân LLM gặp khó khăn trong việc thích ứng với các công cụ chuyên biệt theo miền (domain-specific tool calling) khi các giao diện liên tục thay đổi. Các phương pháp hiện có như kỹ thuật nhắc lệnh (prompt engineering) và kỹ thuật lược đồ (schema engineering) dễ triển khai nhưng lại mong manh trước sự dịch chuyển phân phối và các trình phân tích cú pháp nghiêm ngặt. Trong khi đó, việc tinh chỉnh hiệu quả tham số (parameter-efficient fine-tuning) dù cải thiện độ tin cậy nhưng lại tốn kém chi phí huấn luyện, bảo trì và có nguy cơ quên lãng (forgetting). Nghiên cứu này chỉ ra một chế độ lỗi quan trọng gọi là 'Lazy Agent failure mode', nơi ý định sử dụng công cụ gần như được giải mã hoàn hảo từ các kích hoạt ở lớp giữa, nhưng mô hình vẫn bảo thủ không kích hoạt chế độ công cụ, cho thấy một khoảng cách giữa biểu diễn và hành vi (representation-behavior gap).

II. Main Idea:

Các tác giả đề xuất Activation Steering Adapter (ASA), một bộ điều khiển không cần huấn luyện, hoạt động trong thời gian suy luận (inference-time). ASA thực hiện một can thiệp một lần (single-shot) ở lớp giữa của mô hình và nhắm mục tiêu vào các miền công cụ thông qua một bộ định tuyến (router) được điều kiện hóa kết hợp các vector điều hướng (steering vectors). ASA sử dụng một cổng có dấu hiệu (signed gate) được hướng dẫn bởi một đầu dò (probe) để khuếch đại ý định thật sự đồng thời ngăn chặn các kích hoạt sai lệch. Phương pháp này mô hình hóa việc thích ứng miền cho các tác nhân gọi công cụ như sự kết hợp giữa việc căn chỉnh ý định ở cấp độ biểu diễn và hiệu chỉnh ranh giới ở cấp độ quyết định, mà không cần cập nhật trọng số của mô hình.

III. Main Results:

Trên bộ kiểm tra MTU-Bench với mô hình Qwen2.5-1.5B, ASA đã cải thiện điểm F1 trong việc sử dụng công cụ nghiêm ngặt từ 0.18 lên 0.50, đồng thời giảm tỷ lệ dương tính giả (false positive rate) từ 0.15 xuống 0.05. ASA chỉ sử dụng khoảng 20KB tài sản di động và không cần cập nhật trọng số nào. Các thử nghiệm trên LLaMA (8B) cũng cho thấy sự cải thiện nhất quán. Phân tích chỉ ra rằng ý định sử dụng công cụ có thể được đọc tuyến tính gần như hoàn hảo từ các kích hoạt ở lớp giữa (>99% AUC), và cổng được hướng dẫn bởi đầu dò là rất quan trọng để kiểm soát các kích hoạt sai lệch.

IV. Conclusion & Future Works:

ASA cung cấp một lớp điều khiển không cần huấn luyện, hoạt động trong thời gian suy luận để thích ứng miền cho các tác nhân gọi công cụ, bắc cầu khoảng cách giữa biểu diễn và hành vi. Trên MTU-Bench, việc điều hướng định tuyến một lần với cổng được hướng dẫn bởi đầu dò giúp tăng cường điểm F1 trong việc sử dụng công cụ nghiêm ngặt (tăng recall, giảm FPR) trong khi vẫn duy trì tính hợp lệ của đầu ra. Trong tương lai, khả năng điều khiển hai chiều việc gọi công cụ đặt ra những lo ngại về sử dụng kép, vì các tác nhân xấu có thể lợi dụng các cơ chế tương tự để ngăn chặn các cuộc gọi công cụ quan trọng về an toàn hoặc trốn tránh hệ thống giám sát. Các nhà nghiên cứu cần điều tra các biện pháp bảo vệ chống lại việc điều hướng kích hoạt trái phép.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các biện pháp bảo vệ và hệ thống giám sát để ngăn chặn việc điều hướng kích hoạt trái phép (unauthorized activation steering) trong các mô hình ngôn ngữ lớn, nhằm giảm thiểu rủi ro sử dụng sai mục đích trong các ứng dụng AI an toàn.
Mở rộng phương pháp ASA để xử lý các hành vi cấu trúc phức tạp hơn, chẳng hạn như chuỗi các lệnh gọi công cụ đa bước, lập kế hoạch dài hạn hoặc phối hợp nhiều công cụ, để cải thiện khả năng thích ứng của tác nhân AI trong các môi trường năng động.
Phát triển các kỹ thuật lựa chọn động lớp can thiệp (intervention layer) và cường độ điều hướng (steering strength) trong ASA, dựa trên ngữ cảnh đầu vào hoặc độ phức tạp của nhiệm vụ, thay vì sử dụng các giá trị cố định, để tối ưu hóa hiệu suất và khả năng thích ứng.

2. Patent:

Hệ thống trợ lý AI linh hoạt trên điện thoại thông minh: Một hệ thống trên điện thoại di động cho phép trợ lý AI có thể nhanh chóng thích ứng và điều khiển các tính năng của bất kỳ ứng dụng mới nào được cài đặt (ví dụ: 'đặt vé máy bay trên ứng dụng hàng không XYZ') mà không cần cập nhật hoặc đào tạo lại mô hình AI cốt lõi. Hệ thống sẽ phân tích giao diện của ứng dụng và tự động điều chỉnh cách thức AI kích hoạt các chức năng phù hợp, mang lại trải nghiệm liền mạch cho người dùng khi sử dụng các ứng dụng mới.
Tính năng an toàn chủ động cho ứng dụng di động: Một công nghệ trên điện thoại để phát hiện và ngăn chặn các hành vi không mong muốn của ứng dụng. Nếu một ứng dụng cố gắng thực hiện một hành động đáng ngờ (ví dụ: truy cập danh bạ mà không có sự đồng ý rõ ràng từ người dùng), hệ thống AI nội bộ trên điện thoại sẽ nhận diện và có thể chủ động ngăn chặn hành động đó, hoặc yêu cầu xác nhận từ người dùng, mà không cần thay đổi mã nguồn của ứng dụng, tăng cường bảo mật cho người dùng.
Điều khiển thiết bị thông minh đa năng trên điện thoại: Một công nghệ cho phép điện thoại di động dễ dàng điều khiển các thiết bị thông minh khác nhau (ví dụ: đèn, máy lạnh, khóa cửa) ngay cả khi người dùng thêm thiết bị mới vào nhà. Hệ thống sẽ tự động học cách tương tác với thiết bị mới thông qua việc điều chỉnh các 'chế độ hành động' bên trong AI của điện thoại, giúp người dùng không cần phải chờ đợi các bản cập nhật phần mềm để tương thích, mang lại khả năng điều khiển tức thì và linh hoạt.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.04935
ArXiv Abstract	https://arxiv.org/abs/2602.04935
PDF Download	https://arxiv.org/pdf/2602.04935.pdf
Github Repository	N/A

5. Towards Autonomous Mathematics Research (29 votes)

Tác giả: Tony Feng, Trieu H. Trinh, Garrett Bingham, Dawsen Hwang, Yuri Chervonyi, Junehyuk Jung, Joonkyung Lee, Carlo Pagano, Sang-hyun Kim, Federico Pasqualotto, Sergei Gukov, Jonathan N. Lee, Junsu Kim, Kaiying Hou, Golnaz Ghiasi, Yi Tay, YaGuang Li, Chenkai Kuang, Yuan Liu, Hanzhao, Lin, Evan Zheran Liu, Nigamaa Nayakanti, Xiaomeng Yang, Heng-tze Cheng, Demis Hassabis, Koray Kavukcuoglu, Quoc V. Le, Thang Luong

Xuất bản lúc: 2026-02-10

Tag: LLMs, AI Agents, Mathematics Research, Automated Reasoning, Tool Use, Human-AI Collaboration

I. Main Problem:

Chuyển đổi các hệ thống suy luận của AI từ cấp độ giải quyết bài toán thi đấu (ví dụ: IMO) sang cấp độ nghiên cứu chuyên nghiệp đòi hỏi phải điều hướng qua một lượng lớn tài liệu và xây dựng các bằng chứng dài hạn. Các thách thức chính bao gồm việc các mô hình nền tảng thường xuyên tạo ra ảo giác và chỉ thể hiện sự hiểu biết hời hợt về các chủ đề chuyên ngành do sự khan hiếm dữ liệu đào tạo liên quan.

II. Main Idea:

Giới thiệu Aletheia, một tác nhân nghiên cứu toán học hoạt động theo chu trình lặp lại: tạo, xác minh và sửa đổi các giải pháp từ đầu đến cuối bằng ngôn ngữ tự nhiên. Aletheia được hỗ trợ bởi ba yếu tố chính: (i) phiên bản nâng cao của Gemini Deep Think cho các vấn đề suy luận khó, (ii) luật tỷ lệ mở rộng thời gian suy luận mới vượt ra ngoài các vấn đề cấp Olympiad, và (iii) sử dụng công cụ chuyên sâu (như Google Search và duyệt web) để điều hướng sự phức tạp của nghiên cứu toán học.

III. Main Results:

Aletheia đã đạt được 95.1% độ chính xác trên IMO-ProofBenchAdvanced và hiệu suất hiện đại trên FutureMathBasic (bài tập cấp độ PhD). Đáng chú ý, nó đã đạt được một số cột mốc quan trọng trong nghiên cứu toán học có AI hỗ trợ: (a) một bài báo nghiên cứu (Feng26) được AI tạo ra hoàn toàn tự động về việc tính toán các hằng số cấu trúc trong hình học số học gọi là eigenweights; (b) một bài báo (LeeSeo26) chứng minh sự hợp tác giữa người và AI trong việc chứng minh các giới hạn trên hệ thống hạt tương tác gọi là independent sets; và (c) một đánh giá bán tự động mở rộng 700 vấn đề mở trên cơ sở dữ liệu giả thuyết Erdős của Bloom, bao gồm các giải pháp tự động cho bốn câu hỏi mở. Aletheia cũng đã đóng góp các mệnh đề trung gian cho hai bài báo nghiên cứu khác (FYZ26 và ACGKMP26). Các tác giả cũng đề xuất định lượng các cấp độ tự chủ và tính mới của các kết quả có AI hỗ trợ và khái niệm thẻ tương tác giữa người và AI để tăng cường tính minh bạch.

IV. Conclusion & Future Works:

AI chắc chắn sẽ đóng một vai trò ngày càng tăng trong nghiên cứu toán học. Tuy nhiên, cần có các tiêu chuẩn để định lượng mức độ tự chủ và tính mới của các kết quả có AI hỗ trợ, cũng như các 'thẻ tương tác giữa người và AI' để tăng cường tính minh bạch và sự hiểu biết của công chúng. Sự hợp tác giữa người và AI là chìa khóa để tiến bộ, đồng thời nhấn mạnh rằng trách nhiệm giải trình cuối cùng về nội dung khoa học vẫn thuộc về con người.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về cơ chế xác minh và sửa đổi của AI để giảm thiểu lỗi tinh vi và ảo giác trong tài liệu tham khảo, đặc biệt là trong việc trích dẫn và diễn giải kết quả nghiên cứu.
Phát triển khung phân loại chuẩn hóa và các tiêu chí định lượng cho mức độ tự chủ và tính mới của kết quả nghiên cứu toán học do AI hỗ trợ, mở rộng taxonomy đã đề xuất trong bài báo.
Khám phá việc áp dụng các mô hình AI để khái quát hóa và cải thiện các chứng minh hiện có trong các lĩnh vực toán học khác nhau, vượt ra ngoài các ví dụ được đề cập trong việc giải quyết các vấn đề mở và tối ưu hóa giới hạn.

2. Patent:

Ứng dụng di động "Kiểm tra Chứng minh Toán học AI": Cho phép người dùng nhập bài toán hoặc chứng minh toán học, AI sẽ tự động tạo ra một giải pháp, sau đó xác minh tính đúng đắn của nó và đề xuất các bước sửa đổi hoặc các giải pháp thay thế nếu có lỗi. Ứng dụng này có thể hiển thị các bước giải chi tiết và nguồn tham khảo.
Hệ thống "Đánh giá Tài liệu Tham khảo AI" trên điện thoại: Một công cụ tích hợp vào các ứng dụng soạn thảo tài liệu trên di động, giúp người dùng kiểm tra tính chính xác của các trích dẫn trong văn bản học thuật của họ. Hệ thống này có thể phát hiện các trường hợp tham khảo bịa đặt hoặc các trường hợp tham khảo tồn tại nhưng nội dung được trích dẫn không chính xác.
Trợ lý nghiên cứu toán học cá nhân trên di động "MathGenius": Cung cấp các "lộ trình cấp cao" và chiến lược giải quyết vấn đề phức tạp, gợi ý các kỹ thuật từ các lĩnh vực toán học khác nhau để hỗ trợ các nhà nghiên cứu hoặc sinh viên PhD khi họ khám phá các câu hỏi mở. Nó có thể gợi ý các tài liệu liên quan và các hướng tiếp cận mới.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.10177
ArXiv Abstract	https://arxiv.org/abs/2602.10177
PDF Download	https://arxiv.org/pdf/2602.10177.pdf
Github Repository	N/A

6. How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning (25 votes)

Tác giả: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Yang Chen, Xiaotong Lin, Wuliang Huang, Ziyi Gao, Xing Fu, Yu Cheng, Weiqiang Wang

Xuất bản lúc: 2026-02-11

Tag: LLMs, User Representation Learning, Attention Masking, Contrastive Learning, Decoder-Only LLMs

I. Main Problem:

The paper addresses the underexplored impact of attention masking strategies on the quality of user embeddings generated by decoder-only Large Language Models (LLMs). Cụ thể, các mô hình LLM chỉ có bộ giải mã, mặc dù phù hợp với tương tác tự hồi quy, lại thiếu một nghiên cứu có hệ thống về cách các chiến lược che giấu sự chú ý (causal, hybrid, bidirectional) và động lực chuyển đổi giữa chúng ảnh hưởng đến việc học biểu diễn người dùng hiệu quả, đặc biệt trong các ứng dụng công nghiệp yêu cầu khả năng hiểu người dùng mạnh mẽ và dự đoán hành vi tương lai.

II. Main Idea:

Để giải quyết vấn đề này, các tác giả đề xuất một nghiên cứu có hệ thống về các cơ chế che giấu sự chú ý (causal, hybrid, bidirectional) trong một khuôn khổ học tập đối lập thống nhất, được huấn luyện trên dữ liệu Alipay quy mô lớn, tích hợp hành vi người dùng không đồng nhất trong thời gian dài. Ý tưởng chính là giới thiệu Gradient-Guided Soft Masking (GG-SM), một cơ chế làm nóng trước dựa trên gradient được áp dụng trước bộ lập lịch tuyến tính, dần dần mở sự chú ý trong tương lai trong quá trình tối ưu hóa. GG-SM được thiết kế để tạo điều kiện chuyển đổi mượt mà hơn từ cơ chế che giấu causal sang bidirectional, ổn định quá trình huấn luyện và nâng cao chất lượng biểu diễn người dùng.

III. Main Results:

Phương pháp GG-SM của chúng tôi đạt được hiệu suất AUC trung bình là 0.7745 trên 9 tiêu chuẩn nhận thức người dùng công nghiệp của Alipay.
GG-SM-enhanced Qwen2.5-0.5B-instruct vượt trội một cách nhất quán so với các mô hình nhúng mục đích chung lớn hơn như Llama-embed-nemotron (0.7357) và KaLM-Embedding (0.7156), với số lượng tham số ít hơn đáng kể.
Nghiên cứu chỉ ra rằng việc hiệu chỉnh sự chú ý dựa trên gradient hiệu quả hơn so với việc mở rộng quy mô tham số thô để điều chỉnh không gian tiềm ẩn của LLM với cấu trúc hành vi cụ thể theo miền.
GG-SM mang lại lợi ích nhất quán hơn so với các phương pháp dựa trên LLM hiện có như FOUND (0.7690) và InstructUE (0.7728).
Sự chuyển đổi theo hướng hai chiều ("path to bidirectionality") là yếu tố quyết định chất lượng nhúng cuối cùng, trong đó GG-SM vượt trội so với các phương pháp hai chiều và dựa trên bộ lập lịch khác bằng cách sử dụng các chuẩn gradient tức thời để ưu tiên các token giàu thông tin.
Mô hình thể hiện tính mạnh mẽ và khả năng chuyển giao nhất quán trên ba lĩnh vực: Dự đoán người dùng, Ưu tiên hành vi và Độ nhạy tiếp thị.

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng việc thiết kế cơ chế che giấu sự chú ý cẩn thận và động lực chuyển đổi từ mô hình causal sang bidirectional là chìa khóa để điều chỉnh các LLM chỉ có bộ giải mã thành bộ mã hóa người dùng hiệu quả. GG-SM được chứng minh là cải thiện đáng kể hành vi tối ưu hóa và mang lại biểu diễn hai chiều mạnh mẽ hơn, đồng thời vẫn tương thích với việc huấn luyện trước bộ giải mã. Các công việc trong tương lai có thể tập trung vào việc khám phá các chiến lược chuyển đổi che giấu sự chú ý phức tạp hơn hoặc tùy chỉnh GG-SM cho các kiến trúc LLM hoặc các miền dữ liệu khác nhau.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về các chiến lược "làm nóng" (warmup) sự chú ý khác ngoài Gradient-Guided Soft Masking, ví dụ như dựa trên entropy thông tin hoặc tầm quan trọng của token, để tối ưu hóa quá trình chuyển đổi từ causal sang bidirectional.
Khám phá việc tích hợp GG-SM vào các kiến trúc LLM chỉ có bộ giải mã lớn hơn hoặc phức tạp hơn, đồng thời đánh giá khả năng mở rộng và hiệu quả của nó trên các bộ dữ liệu hành vi người dùng đa dạng hơn.
Phát triển các phương pháp để tự động điều chỉnh các tham số của GG-SM (ví dụ: Twarm, ngưỡng gradient) dựa trên đặc điểm của bộ dữ liệu hoặc mục tiêu nhiệm vụ cụ thể, nhằm tăng cường khả năng thích ứng của nó.

2. Patent:

Hệ thống cá nhân hóa trải nghiệm người dùng trên điện thoại di động thông minh: Một hệ thống sử dụng công nghệ tương tự như cách mô hình học được tầm quan trọng của thông tin mới từ hành vi người dùng để điều chỉnh cách các ứng dụng hiển thị thông tin hoặc gợi ý dịch vụ (ví dụ: tin tức, sản phẩm, lộ trình di chuyển) dựa trên lịch sử sử dụng ứng dụng và tương tác của người dùng. Hệ thống này sẽ tự động ưu tiên những phần thông tin hành vi nào là quan trọng nhất để tạo ra các đề xuất phù hợp, ít gây phiền toái và chính xác hơn cho từng cá nhân trên điện thoại.
Phương pháp tối ưu hóa quảng cáo di động dựa trên phân tích hành vi thời gian thực: Phát minh này tập trung vào việc xây dựng hồ sơ người dùng chính xác trên điện thoại bằng cách cho phép một hệ thống trí tuệ nhân tạo hiểu được những thông tin nào từ lịch sử hành vi của người dùng (như lượt xem, click, mua sắm) là quan trọng nhất để dự đoán sở thích và mức độ nhạy cảm của họ với các loại quảng cáo khác nhau. Nó sẽ tự động phân tích và học hỏi từ các dữ liệu mới xuất hiện để hiển thị quảng cáo cá nhân hóa hơn, đúng thời điểm, mà không cần chia sẻ dữ liệu riêng tư ra bên ngoài thiết bị.
Công cụ học hỏi cá nhân hóa cho trợ lý ảo trên thiết bị di động: Một công cụ cho phép trợ lý ảo trên điện thoại (ví dụ: Siri, Google Assistant) liên tục học hỏi và thích nghi với các mẫu lời nói, sở thích và hành vi cụ thể của từng người dùng. Bằng cách tập trung vào những phần thông tin có ảnh hưởng lớn nhất đến sự hiểu biết của trợ lý về người dùng (như các câu hỏi, lệnh mới, phản hồi), công cụ này cải thiện độ chính xác trong việc thực hiện các yêu cầu và dự đoán nhu cầu của người dùng theo thời gian thực, làm cho tương tác với trợ lý ảo trở nên tự nhiên và hiệu quả hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.10622
ArXiv Abstract	https://arxiv.org/abs/2602.10622
PDF Download	https://arxiv.org/pdf/2602.10622.pdf
Github Repository	N/A

7. When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning (24 votes)

Tác giả: Leheng Sheng, Yongtao Zhang, Wenchang Ma, Yaorui Shi, Ting Huang, Xiang Wang, An Zhang, Ke Shen, Tat-Seng Chua

Xuất bản lúc: 2026-02-11

Tag: LLMs, Reinforcement Learning, Long-Context Reasoning

I. Main Problem:

LLMs gặp khó khăn khi xử lý ngữ cảnh dài, hiệu suất suy giảm đáng kể và không thể xử lý các ngữ cảnh vượt quá cửa sổ ngữ cảnh tối đa của chúng. Phương pháp MemAgent trước đây, mặc dù cố gắng giải quyết bằng bộ nhớ đệ quy, lại đối mặt với hai nhược điểm chính: (i) bộ nhớ có thể bùng nổ do cập nhật tùy tiện, ngay cả trên các đoạn không chứa bằng chứng; và (ii) thiếu cơ chế thoát, dẫn đến tính toán không cần thiết ngay cả khi đã thu thập đủ bằng chứng.

II. Main Idea:

Các tác giả đề xuất GRU-Mem, một khung bộ nhớ đệ quy có cổng (Gated Recurrent Memory) để suy luận ngữ cảnh dài ổn định và hiệu quả. GRU-Mem tích hợp hai cổng được kiểm soát bằng văn bản: Cổng Cập nhật (Update Gate - UG) để quyết định khi nào nên cập nhật bộ nhớ (chỉ cập nhật khi cổng mở), và Cổng Thoát (Exit Gate - EG) để quyết định khi nào nên dừng vòng lặp đệ quy (thoát ngay khi cổng mở). Để trang bị cho mô hình các khả năng này, hai tín hiệu phần thưởng (rupdate và rexit) được giới thiệu trong quá trình huấn luyện Reinforcement Learning từ đầu đến cuối, thưởng cho hành vi cập nhật và thoát đúng đắn. Quy trình bao gồm việc tác nhân bộ nhớ tạo ra trạng thái cổng cập nhật, bộ nhớ ứng cử viên và trạng thái cổng thoát, tuân thủ định dạng đầu ra có cấu trúc để điều khiển các quyết định cổng.

III. Main Results:

GRU-Mem vượt trội hơn MemAgent trên nhiều nhiệm vụ và kích thước mô hình khác nhau. Mô hình đạt được tốc độ suy luận nhanh hơn tới 400% (ví dụ, trên MK-1) so với MemAgent khi sử dụng cổng thoát và khoảng 200% khi không sử dụng cổng thoát. GRU-Mem giảm đáng kể tốc độ tăng kích thước bộ nhớ, ngăn chặn tình trạng bùng nổ bộ nhớ. Cổng thoát giúp chấm dứt sớm quy trình, giảm thời gian suy luận (ví dụ, chỉ bằng 1/4 so với MemAgent khi bằng chứng xuất hiện sớm). Hơn nữa, GRU-Mem có khả năng xác định vị trí bằng chứng cuối cùng và thoát một cách phù hợp trong hầu hết các trường hợp. Huấn luyện bằng Reinforcement Learning mang lại hiệu suất tốt hơn, đặc biệt trên các nhiệm vụ khó. Việc lựa chọn α vừa phải (ví dụ 0.9) dẫn đến độ chính xác cập nhật cân bằng và phần thưởng xác thực ổn định.

IV. Conclusion & Future Works:

GRU-Mem cung cấp một mô hình suy luận ngữ cảnh dài ổn định và hiệu quả nhờ vào việc giới thiệu hai cơ chế cổng. Các cổng này giải quyết thành công các vấn đề về bùng nổ bộ nhớ và thiếu cơ chế thoát sớm, giúp tăng cường cả hiệu suất và hiệu quả suy luận. (Trong phần văn bản được trích xuất không có thông tin rõ ràng về các công việc tương lai).

V. Brainstorming Space:

1. Publish Papers:

Mở rộng GRU-Mem để xử lý các mô hình suy luận phức tạp hơn ngoài việc trả lời câu hỏi, chẳng hạn như tóm tắt hoặc xây dựng biểu đồ tri thức từ các ngữ cảnh dài.
Nghiên cứu các chiến lược chia đoạn ngữ cảnh thích ứng thay vì các đoạn có kích thước cố định, cho phép mô hình tự động xác định ranh giới đoạn dựa trên nội dung.
Khám phá các hàm phần thưởng thay thế hoặc các phương pháp học lai giữa Reinforcement Learning và học có giám sát để tăng cường hơn nữa khả năng kiểm soát cổng và quản lý bộ nhớ.

2. Patent:

Trợ lý di động cho việc xem xét tài liệu dài: Một ứng dụng trợ lý di động thông minh có thể "đọc" các tài liệu dài (ví dụ: hợp đồng, sổ tay, bài báo nghiên cứu) bằng cách xử lý chúng theo từng phần. Nó sử dụng các "cổng" thông minh để quyết định khi nào nên lưu trữ thông tin quan trọng và khi nào nên ngừng đọc khi đã tìm thấy đủ chi tiết cần thiết để trả lời câu hỏi cụ thể của bạn, giúp điện thoại không bị quá tải và tiết kiệm pin.
Hệ thống thông báo thông minh cho tình trạng quá tải thông tin: Một tính năng ứng dụng di động giám sát các tin nhắn văn bản, email hoặc nguồn cấp tin tức dài. Nó sử dụng hệ thống "bộ nhớ có cổng" để xác định và trích xuất chỉ những thông tin quan trọng liên quan đến sở thích đã cài đặt trước của người dùng. Sau đó, nó thông báo cho người dùng một cách ngắn gọn và có thể tự động ngừng xử lý nếu không phát hiện thông tin mới có liên quan, giúp giảm sự lộn xộn kỹ thuật số và tình trạng mệt mỏi do quá nhiều cảnh báo.
Bộ tóm tắt nội dung động cho ứng dụng đọc sách/trình duyệt di động: Một tiện ích mở rộng cho ứng dụng đọc sách điện tử hoặc trình duyệt di động sử dụng "bộ nhớ đệ quy có cổng" để cung cấp bản tóm tắt bài viết hoặc sách ngay lập tức. Khi bạn cuộn, nó thông minh quyết định thông tin nào cần "ghi nhớ" và khi nào nó đã thu thập đủ để cung cấp bản tóm tắt mạch lạc của một phần hoặc trả lời một câu hỏi trực tiếp, tối ưu hóa tốc độ đọc và khả năng hiểu trên màn hình nhỏ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.10560
ArXiv Abstract	https://arxiv.org/abs/2602.10560
PDF Download	https://arxiv.org/pdf/2602.10560.pdf
Github Repository	N/A

8. TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions (24 votes)

Tác giả: Linli Yao, Yuancheng Wei, Yaojie Zhang, Lei Li, Xinlong Chen, Feifan Song, Ziyue Wang, Kun Ouyang, Yuanxin Liu, Lingpeng Kong, Qi Liu, Pengfei Wan, Kun Gai, Yuanxing Zhang, Xu Sun

Xuất bản lúc: 2026-02-09

Tag: Video Understanding, Audio-Visual Captioning, Dense Captioning, MLLMs, Reinforcement Learning, Temporal Grounding

I. Main Problem:

Các phương pháp chú thích âm thanh-hình ảnh hiện có thường chỉ tạo ra mô tả tổng thể, cấp độ đoạn văn mà không có dấu thời gian rõ ràng, dẫn đến thiếu chi tiết về thời gian cần thiết cho suy luận nhạy cảm về thời gian (ví dụ: định vị thời gian). Các phương pháp chú thích video dày đặc truyền thống chủ yếu tập trung vào thị giác, bỏ qua ngữ nghĩa phong phú trong âm thanh. Ngoài ra, các phương pháp tiên tiến gần đây chỉ tập trung vào việc xác định các sự kiện nổi bật và tóm tắt ngắn gọn, bỏ qua các sắc thái âm thanh-hình ảnh liên tục, chi tiết. Cộng đồng mã nguồn mở hiện đang thiếu một khung chú thích omni-video hiệu quả, kèm theo bộ tiêu chuẩn và đánh giá chuyên dụng.

II. Main Idea:

Bài báo đề xuất Omni Dense Captioning, một nhiệm vụ mới để tạo ra các câu chuyện âm thanh-hình ảnh liên tục, chi tiết và có cấu trúc với dấu thời gian rõ ràng. Để đảm bảo bao quát ngữ nghĩa dày đặc, phương pháp này giới thiệu một lược đồ cấu trúc sáu chiều bao gồm: Sự kiện âm thanh-hình ảnh, Nền trực quan, Trạng thái camera, Kiểu chỉnh sửa cảnh, Nội dung đối thoại và Tín hiệu âm thanh. Để hỗ trợ nghiên cứu, nhóm phát triển OmniDCBench, một bộ dữ liệu tiêu chuẩn chất lượng cao được chú thích thủ công, và SodaM, một chỉ số thống nhất để đánh giá mô tả chi tiết nhạy cảm với thời gian, đồng thời giảm thiểu sự mơ hồ về ranh giới cảnh. Ngoài ra, họ xây dựng tập dữ liệu huấn luyện TimeChatCap-42K bằng quy trình tổng hợp dữ liệu hai bước sử dụng Gemini-2.5-Pro, và giới thiệu TimeChat-Captioner-7B, một mô hình nền mạnh mẽ được huấn luyện thông qua Supervised Fine-Tuning (SFT) và Group Relative Policy Optimization (GRPO) với các phần thưởng cụ thể cho nhiệm vụ.

III. Main Results:

TimeChat-Captioner đạt hiệu suất vượt trội (SOTA) trên nhiệm vụ OmniDenseCaptioning của OmniDCBench với điểm SodaM là 35.0, vượt qua cả Gemini-2.5-Pro. Mô hình xếp thứ hai chỉ sau Gemini-2.5-Pro về định vị ranh giới cảnh trong số các mô hình mã nguồn mở. Các mô tả dày đặc được tạo ra giúp tăng cường đáng kể khả năng suy luận âm thanh-hình ảnh trong các tác vụ hạ nguồn như DailyOmni (52.8) và WorldSense (22.6), vượt trội hơn tất cả các mô hình mã nguồn mở khác. TimeChat-Captioner cũng cho thấy hiệu suất vượt trội trên tác vụ định vị thời gian Charades-STA (R1@0.5: 68.7, mIoU: 58.8), vượt qua các mô hình chuyên gia. Các nghiên cứu loại bỏ cho thấy việc tăng quy mô dữ liệu huấn luyện SFT và đặc biệt là việc sử dụng phần thưởng SodaM trong GRPO đã cải thiện đáng kể khả năng hiểu thời gian và tính đầy đủ của chú thích.

IV. Conclusion & Future Works:

Bài báo giới thiệu OmniDenseCaptioning, một nhiệm vụ mới để tạo ra các chú thích video phong phú, đa chiều và có cấu trúc, được căn chỉnh theo thời gian. Họ trình bày bộ dữ liệu tiêu chuẩn OmniDCBench chất lượng cao được chú thích bởi con người và đề xuất các chỉ số tùy chỉnh như SodaM để thúc đẩy nghiên cứu trong lĩnh vực này. Mô hình TimeChat-Captioner chuyên biệt của họ, được huấn luyện với dữ liệu âm thanh-hình ảnh tổng hợp và các phần thưởng cụ thể cho nhiệm vụ, vượt trội hơn Gemini-2.5-Pro và thể hiện khả năng khái quát hóa mạnh mẽ cho các nhiệm vụ hiểu omni-video liên quan. Nhóm nghiên cứu hy vọng phương pháp này sẽ thúc đẩy sự hiểu biết toàn diện về omni-video và hỗ trợ việc tạo video đa cảnh trong tương lai bằng cách cung cấp dữ liệu chi tiết, chất lượng cao và phong phú.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các phương pháp tích hợp âm thanh-hình ảnh tiên tiến hơn để nắm bắt sự tương quan và tương tác phức tạp giữa hai modalities, nhằm nâng cao độ chính xác của chú thích trong các tình huống đa ngữ cảnh.
Mở rộng OmniDenseCaptioning cho các dạng video dài hơn và phức tạp hơn, như phim tài liệu hoặc các sự kiện trực tiếp, tập trung vào việc duy trì tính nhất quán của ngữ cảnh và giảm thiểu chi phí tính toán.
Phát triển các chỉ số đánh giá tự động mới có khả năng nắm bắt toàn diện hơn chất lượng của chú thích video đa chiều và đa cảnh, vượt ra ngoài các chỉ số dựa trên n-gram truyền thống.

2. Patent:

Một ứng dụng di động cho phép người dùng tự động tạo ra các 'kịch bản' chi tiết từ video quay bằng điện thoại. Ứng dụng sẽ phân đoạn video thành các cảnh nhỏ, sau đó mô tả từng cảnh bao gồm nội dung trực quan, âm thanh (thoại, nhạc nền), góc quay và phong cách chỉnh sửa, giúp người dùng dễ dàng chia sẻ hoặc biên tập lại nội dung của mình một cách chuyên nghiệp hơn.
Hệ thống 'Huấn luyện viên Quay phim' tích hợp vào ứng dụng camera điện thoại, cung cấp phản hồi và gợi ý tức thì cho người dùng khi đang quay video. Hệ thống này sử dụng công nghệ nhận diện cảnh và trạng thái camera để phân tích cảnh quay trực tiếp và đưa ra lời khuyên về cách cải thiện bố cục, di chuyển camera hoặc điều chỉnh âm thanh, giúp người dùng nghiệp dư tạo ra video chất lượng cao hơn.
Chức năng 'Tóm tắt sự kiện trực tiếp' trên điện thoại, đặc biệt hữu ích cho các sự kiện như buổi hòa nhạc, hội nghị hoặc buổi thuyết trình. Ứng dụng sẽ lắng nghe và phân tích video trực tiếp, tự động tạo ra các dấu thời gian và tóm tắt ngắn gọn cho từng khoảnh khắc quan trọng (ví dụ: '01:30 – 01:45: Diễn giả giới thiệu sản phẩm mới', '05:20 – 05:30: Tiếng vỗ tay lớn sau màn trình diễn'). Người dùng có thể nhanh chóng xem lại các điểm nổi bật sau đó.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.08711
ArXiv Abstract	https://arxiv.org/abs/2602.08711
PDF Download	https://arxiv.org/pdf/2602.08711.pdf
Github Repository	https://github.com/yaolinli/TimeChat-Captioner

9. G-LNS: Generative Large Neighborhood Search for LLM-Based Automatic Heuristic Design (25 votes)

Tác giả: Baoyun Zhao, He Wang, Liang Zeng

Xuất bản lúc: 2026-02-09

Tag: LLMs, AHD, LNS, COPs, Evolutionary Framework

I. Main Problem:

Các phương pháp Automated Heuristic Design (AHD) dựa trên Large Language Models (LLM) hiện có thường giới hạn không gian tìm kiếm ở các dạng heuristic cố định (quy tắc ưu tiên xây dựng hoặc hướng dẫn tìm kiếm cục bộ được tham số hóa), điều này hạn chế khả năng khám phá cấu trúc và gây khó khăn trong việc thoát khỏi các cực tiểu cục bộ sâu trong các bài toán tối ưu tổ hợp (Combinatorial Optimization Problems - COPs) phức tạp. Hơn nữa, các phương pháp AHD hiện tại thường coi cấu trúc lân cận là cố định, chỉ cho phép LLM điều chỉnh tham số thay vì đổi mới thuật toán có cấu trúc.

II. Main Idea:

Chúng tôi đề xuất G-LNS, một khung tiến hóa sinh học có khả năng tạo sinh, mở rộng AHD dựa trên LLM để thiết kế tự động các toán tử Large Neighborhood Search (LNS). Khác với các phương pháp trước đây chỉ phát triển các heuristic một cách độc lập, G-LNS tận dụng LLM để cùng phát triển các cặp toán tử destroy và repair có liên kết chặt chẽ. Một cơ chế đánh giá hợp tác nắm bắt rõ ràng sự tương tác của chúng, cho phép khám phá logic toán tử bổ sung có khả năng gây nhiễu cấu trúc và tái cấu trúc hiệu quả. Khung này duy trì các quần thể riêng biệt cho toán tử destroy và repair, sử dụng ma trận cộng hưởng (synergy matrix) để hướng dẫn lai tạo đồng thời, và tích hợp các giai đoạn Khởi tạo (Initialization), Đánh giá (Evaluation), Quản lý quần thể (Population Management) và Tiến hóa dựa trên LLM (LLM-Driven Evolution) với các chiến lược Đột biến (Mutation) và Lai tạo (Crossover).

III. Main Results:

Các thí nghiệm sâu rộng trên các bài toán COP khó như Traveling Salesman Problems (TSP) và Capacitated Vehicle Routing Problems (CVRP) đã chứng minh rằng G-LNS vượt trội đáng kể so với các phương pháp AHD dựa trên LLM cũng như các bộ giải cổ điển mạnh mẽ. Các heuristic được khám phá không chỉ đạt được giải pháp gần tối ưu với ngân sách tính toán giảm đáng kể mà còn thể hiện khả năng tổng quát hóa mạnh mẽ trên các phân phối dữ liệu đa dạng và chưa từng thấy. Cụ thể, G-LNS đạt khoảng cách tối ưu thấp nhất trên TSP và CVRP, và trên các trường hợp CVRP lớn nhất (CVRP100/200), nó thậm chí tìm ra các giải pháp vượt trội so với bộ giải OR-Tools, trong khi lại có hiệu suất tính toán nhanh hơn đáng kể so với các phương pháp lặp khác (ví dụ: nhanh hơn MCTS-AHD(ACO) hơn một bậc). Các nghiên cứu loại bỏ đã xác nhận sự cần thiết của từng chiến lược tiến hóa và thành phần trong khung G-LNS.

IV. Conclusion & Future Works:

Trong bài viết này, chúng tôi đã giới thiệu G-LNS, một khung tiến hóa sinh học có khả năng tạo sinh, khắc phục các hạn chế về cấu trúc của Automated Heuristic Design dựa trên LLM hiện có bằng cách cùng phát triển các toán tử destroy và repair được kết nối chặt chẽ. Thông qua cơ chế đánh giá nhận biết cộng hưởng (synergy-aware evaluation mechanism) và các chiến lược lai tạo mới, G-LNS đã thành công trong việc khám phá logic heuristic tinh vi, vượt trội đáng kể so với các phương pháp tiên tiến và các bộ giải cổ điển trên các bài toán định tuyến phức tạp, đồng thời thể hiện khả năng tổng quát hóa vượt trội. Đối với công việc trong tương lai, chúng tôi dự định mở rộng G-LNS sang các thiết lập tối ưu hóa đa mục tiêu và nghiên cứu khả năng áp dụng của nó cho một loạt các bài toán tổ hợp rộng hơn ngoài các tác vụ định tuyến.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng G-LNS cho các bài toán tối ưu hóa đa mục tiêu, nơi các heuristic cần cân bằng nhiều mục tiêu cùng một lúc, như tối ưu hóa chi phí và thời gian giao hàng.
Áp dụng G-LNS để thiết kế tự động các toán tử tìm kiếm cho các bài toán tối ưu tổ hợp khác ngoài định tuyến, như lập lịch trình sản xuất, phân bổ tài nguyên hoặc đóng gói vật liệu.
Nâng cao khả năng của LLM trong việc tạo ra các toán tử LNS đa dạng và có cấu trúc phức tạp hơn thông qua các chiến lược nhắc lệnh tiên tiến (prompt engineering) hoặc kỹ thuật huấn luyện mô hình đặc biệt.

2. Patent:

Một hệ thống AI trên điện thoại di động giúp tối ưu hóa lịch trình giao hàng hoặc hành trình xe ôm công nghệ. Khi có đơn hàng mới hoặc tắc đường đột xuất, hệ thống sẽ sử dụng AI để "phá vỡ" một phần lộ trình hiện tại và "sửa chữa" lại bằng cách sắp xếp lại các điểm dừng hoặc phân công lại các đơn hàng một cách thông minh, giúp tài xế giao hàng nhanh hơn và khách hàng hài lòng hơn, tất cả đều được xử lý hiệu quả trên điện thoại.
Ứng dụng quản lý công việc và lịch hẹn cá nhân trên điện thoại thông minh, sử dụng AI để "phá vỡ" và "sửa chữa" lịch trình khi có sự thay đổi đột ngột. Ví dụ, nếu một cuộc họp bị hủy hoặc một nhiệm vụ khẩn cấp xuất hiện, AI sẽ tự động điều chỉnh lại lịch trình, đề xuất thời gian tối ưu cho các công việc còn lại và sắp xếp lại thứ tự ưu tiên để giảm thiểu gián đoạn và tối đa hóa hiệu quả công việc cá nhân.
Tính năng quản lý tài nguyên điện thoại thông minh dùng AI để tối ưu hóa hiệu suất chơi game hoặc phát video trực tuyến. Khi người dùng mở một trò chơi đồ họa nặng hoặc xem video chất lượng cao, AI sẽ "phá vỡ" các phân bổ tài nguyên không cần thiết cho ứng dụng nền và "sửa chữa" bằng cách ưu tiên CPU, GPU và pin cho ứng dụng đang hoạt động, đảm bảo trải nghiệm mượt mà, không giật lag và tối ưu hóa thời lượng pin trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.08253
ArXiv Abstract	https://arxiv.org/abs/2602.08253
PDF Download	https://arxiv.org/pdf/2602.08253.pdf
Github Repository	https://github.com/ZBoyn/G-LNS

10. FeatureBench: Benchmarking Agentic Coding for Complex Feature Development (17 votes)

Tác giả: Qixing Zhou, Jiacheng Zhang, Haiyang Wang, Rui Hao, Jiahe Wang, Minghao Han, Yuxue Yang, Shuzhe Wu, Feiyang Pan, Lue Fan, Dandan Tu, Zhaoxiang Zhang

Xuất bản lúc: 2026-02-11

Tag: LLMs, Agentic Coding, Benchmarking, Software Development, Feature Engineering

I. Main Problem:

Các benchmark mã hóa tác nhân (agentic coding) hiện có có phạm vi nhiệm vụ hạn chế (ví dụ: chỉ sửa lỗi trong một pull request duy nhất), thường dựa vào các đánh giá không thể thực thi được hoặc thiếu phương pháp tự động để cập nhật phạm vi đánh giá liên tục. Những hạn chế này cản trở khả năng đánh giá đầy đủ năng lực của các tác nhân mã nguồn tiên tiến trong các thiết lập phức tạp hơn, đặc biệt là phát triển tính năng cấp độ cao, vốn thường kéo dài qua nhiều commit và pull request.

II. Main Idea:

Chúng tôi đề xuất FeatureBench, một benchmark được thiết kế để đánh giá hiệu suất mã hóa tác nhân trong phát triển phần mềm theo định hướng tính năng, từ đầu đến cuối. FeatureBench tích hợp một giao thức đánh giá dựa trên việc thực thi và một phương pháp theo định hướng kiểm thử có khả năng mở rộng, tự động suy ra các nhiệm vụ từ các kho mã nguồn với sự can thiệp tối thiểu của con người. Bằng cách truy vết từ các unit test dọc theo biểu đồ phụ thuộc, phương pháp của chúng tôi có thể xác định các nhiệm vụ mã hóa cấp độ tính năng trải dài nhiều commit và pull request, đồng thời đảm bảo các tính năng khác vẫn hoạt động bình thường sau khi tách biệt. Benchmark cũng có hai cấp độ khó (L1 cho phát triển gia tăng, L2 cho triển khai từ đầu) và quy định rõ ràng giao diện để hỗ trợ đánh giá tự động, không mơ hồ.

III. Main Results:

Phiên bản đầu tiên của FeatureBench đã tuyển chọn được 200 nhiệm vụ đánh giá đầy thách thức và 3825 môi trường thực thi từ 24 kho mã nguồn mở. Đánh giá thực nghiệm cho thấy các mô hình tác nhân hiện đại, chẳng hạn như Claude 4.5 Opus (đạt 74.4% tỷ lệ giải quyết trên SWE-bench), chỉ thành công trên 11.0% các nhiệm vụ của FeatureBench (bản Full set), mở ra nhiều cơ hội mới để thúc đẩy mã hóa tác nhân. Các nhiệm vụ của FeatureBench phức tạp hơn đáng kể so với SWE-bench về độ dài mô tả vấn đề, số lượng dòng/tệp/hàm cần chỉnh sửa và số lượng bài kiểm tra. Phân tích lỗi cho thấy các vấn đề về suy luận liên tệp (NameError) và xu hướng đoán sai giao diện (TypeError, AttributeError). Việc cung cấp giao diện rõ ràng và unit test làm tăng đáng kể tỷ lệ thành công của tác nhân. Mức độ khó L2 (viết từ đầu) khó hơn L1 (phát triển gia tăng).

IV. Conclusion & Future Works:

FeatureBench là một benchmark mới được thiết kế để đánh giá khả năng của các tác nhân được hỗ trợ bởi LLM trong các kịch bản phát triển phần mềm theo định hướng tính năng thực tế. Với thiết kế tự động và có khả năng mở rộng, FeatureBench không chỉ cung cấp một khung đánh giá nghiêm ngặt mà còn là nền tảng cho việc phát triển các mô hình mã hóa tác nhân thế hệ tiếp theo. Kết quả cho thấy các hệ thống tác nhân hiện tại đối mặt với những thách thức dai dẳng trong việc lập kế hoạch, suy luận và quản lý các nhiệm vụ dài hạn, cho thấy cần nhiều nghiên cứu trong tương lai để cải thiện khả năng này.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp cải thiện khả năng suy luận và quản lý bối cảnh dài hạn của LLMs cho các nhiệm vụ mã hóa tác nhân, đặc biệt là trong các dự án nhiều tệp và có phụ thuộc phức tạp.
Phát triển các chiến lược tối ưu hóa token và hiệu quả tính toán cho các tác nhân mã hóa LLM để giải quyết các nhiệm vụ phát triển tính năng phức tạp, nhằm giảm chi phí và thời gian thực thi.
Xây dựng các hệ thống tự động tạo unit test chất lượng cao và bao quát cho các tính năng phần mềm mới, có thể tích hợp vào quy trình phát triển dựa trên tác nhân để cải thiện độ tin cậy của mã được tạo.

2. Patent:

Hệ thống trợ lý phát triển tính năng ứng dụng di động thông minh: Một công cụ tích hợp vào môi trường phát triển ứng dụng di động (ví dụ: Android Studio, Xcode) cho phép nhà phát triển chỉ cần mô tả một tính năng mới bằng ngôn ngữ tự nhiên hoặc cung cấp một giao diện mong muốn. Hệ thống sẽ tự động tạo ra mã nguồn, thực hiện các thay đổi cần thiết trong dự án và đảm bảo tính năng mới hoạt động chính xác mà không phá vỡ các chức năng hiện có của ứng dụng. Công cụ này sẽ tự động kiểm tra các xung đột và đề xuất giải pháp hoặc tự động sửa đổi để duy trì tính toàn vẹn của ứng dụng.
Công cụ xác minh và bảo trì mã nguồn ứng dụng di động tự động: Một dịch vụ nền tảng hoặc ứng dụng di động chạy ngầm, liên tục quét và phân tích mã nguồn ứng dụng để phát hiện các lỗi tiềm ẩn, đặc biệt là các lỗi phát sinh do tương tác giữa các tính năng khác nhau. Nó có thể tự động chạy các bài kiểm tra được tạo ra và cảnh báo nhà phát triển về bất kỳ sự cố nào, đồng thời gợi ý các bản vá hoặc cập nhật để duy trì hiệu suất và độ ổn định của ứng dụng trên điện thoại di động.
Nền tảng đào tạo tác nhân AI phát triển ứng dụng di động tùy chỉnh: Một nền tảng cho phép các công ty phát triển ứng dụng di động tạo và đào tạo các tác nhân AI chuyên biệt để tự động hóa các khía cạnh cụ thể trong quy trình phát triển của họ. Nền tảng này sử dụng dữ liệu mã nguồn nội bộ của công ty để huấn luyện tác nhân AI hiểu rõ phong cách mã hóa, các tiêu chuẩn và kiến trúc của dự án, cho phép tác nhân tạo ra mã phù hợp hơn và giảm thiểu lỗi, tăng tốc độ phát triển các tính năng mới trên di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.10975
ArXiv Abstract	https://arxiv.org/abs/2602.10975
PDF Download	https://arxiv.org/pdf/2602.10975.pdf
Github Repository	https://github.com/LiberCoders/FeatureBench

11. Internalizing Meta-Experience into Memory for Guided Reinforcement Learning in Large Language Models (16 votes)

Tác giả: Shiting Huang, Zecheng Li, Yu Zeng, Qingnan Ren, Zhen Fang, Qisheng Su, Kou Shi, Lin Chen, Zehui Chen, Feng Zhao

Xuất bản lúc: 2026-02-10

Tag: LLMs, Reinforcement Learning, Meta-Learning, Self-Distillation, Error Attribution, Knowledge Representation, Parametric Memory

I. Main Problem:

Bài báo chỉ ra "nút thắt meta-learning" trong Reinforcement Learning with Verifiable Rewards (RLVR) cho Large Language Models (LLMs). Cụ thể, RLVR thiếu các cơ chế phân bổ lỗi và nội hóa kinh nghiệm, vượt ra ngoài việc luyện tập và xác minh đơn thuần, tương tự như chu trình học tập của con người. Điều này hạn chế việc phân bổ tín dụng chi tiết (fine-grained credit assignment) và hình thành kiến thức tái sử dụng, khiến các phương pháp hiện tại chỉ đánh giá chất lượng tổng thể của các quỹ đạo thay vì lý giải kiến thức ở các bước trung gian. Các phương pháp dựa trên external memory hoặc hints cũng không thể thực sự nội hóa kiến thức, dẫn đến các hạn chế về hiệu suất và tính ổn định.

II. Main Idea:

Các tác giả đề xuất Meta-Experience Learning (MEL), một framework mới nhằm nội hóa "meta-experience" đã được tự chắt lọc vào bộ nhớ tham số (parametric memory) của mô hình. MEL mở rộng RLVR bằng cách tận dụng khả năng tự xác minh của LLM để thực hiện phân tích đối chiếu (contrastive analysis) trên các quỹ đạo đúng và sai đã được ghép cặp. Nó xác định các "điểm phân nhánh" (bifurcation points) chính xác nơi lỗi suy luận phát sinh và tóm tắt chúng thành các meta-experience có thể khái quát hóa được. Những meta-experience này, bao gồm điểm phân nhánh, lời phê bình (critique) và kinh nghiệm heuristic, sau đó được nội hóa vào bộ nhớ tham số của LLM bằng cách giảm thiểu negative log-likelihood. Quá trình này tạo ra một tín hiệu thưởng được mô hình hóa ngôn ngữ (language-modeled reward signal) bắc cầu giữa các quỹ đạo suy luận đúng và sai, tạo điều kiện thuận lợi cho việc tái sử dụng kiến thức hiệu quả.

III. Main Results:

MEL đạt được những cải tiến nhất quán và đáng kể trên các điểm chuẩn. Cụ thể, nó mang lại mức tăng 3.92%–4.73% về Pass@1 so với baseline GRPO mạnh trên nhiều kích thước mô hình (Qwen3-4B, 8B, 14B). Các cải tiến cũng được ghi nhận ở Avg@8 và Pass@8, cho thấy sự nâng cao về tính nhất quán trong suy luận, ổn định đầu ra và mở rộng không gian giải pháp có thể đạt được. Phân tích động lực huấn luyện cho thấy MEL có tốc độ tăng trưởng quỹ đạo nhanh chóng ngay từ đầu, đạt được giới hạn hiệu suất cao hơn so với GRPO do tín hiệu thưởng xử lý dày đặc (dense process reward) từ meta-experience nội hóa. MEL thể hiện khả năng thích ứng chung, tích hợp liền mạch với các mô hình học tập khác nhau như Rejection Sampling Fine-Tuning (RFT) và REINFORCE++, giúp giảm overfitting và nâng cao hiệu suất. Phương pháp này cho thấy luật mở rộng quy mô tích cực (positive scaling law), với biên độ hiệu suất giữa MEL và baseline mở rộng đáng kể khi kích thước mô hình tăng lên, nhờ vào việc tạo ra các meta-experience chất lượng cao hơn từ các mô hình lớn hơn.

IV. Conclusion & Future Works:

Bài báo kết luận rằng MEL là một framework đổi mới giúp vượt qua nút thắt meta-learning trong RLVR tiêu chuẩn. Nó chuyển đổi các mẫu lỗi cụ thể thành các tài sản nhận thức có thể tái sử dụng, cho phép các mô hình thực hiện phân bổ lỗi chi tiết và chắt lọc các chế độ lỗi thành các kinh nghiệm heuristic ngôn ngữ tự nhiên (Meta-Experiences). Bằng cách nội hóa những kinh nghiệm này vào bộ nhớ tham số, MEL thu hẹp khoảng cách giữa việc xác minh một giải pháp và hiểu logic suy luận cơ bản. Các đánh giá thực nghiệm rộng rãi đã xác nhận rằng MEL nhất quán thúc đẩy khả năng suy luận toán học trên nhiều quy mô mô hình khác nhau. Bài báo không đề cập cụ thể đến các công việc trong tương lai, nhưng ngụ ý rằng việc cải thiện chất lượng của các meta-experience tự sinh và khả năng khái quát hóa chúng hơn nữa có thể là hướng đi tiềm năng.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Meta-Experience Learning cho các loại tác vụ khác ngoài suy luận toán học: Nghiên cứu cách áp dụng MEL cho các tác vụ phức tạp khác như lập trình, suy luận logic, hoặc thậm chí các tác vụ đa phương thức (multimodal tasks), nơi việc phân bổ lỗi và nội hóa kinh nghiệm cũng đóng vai trò quan trọng.
Tự động hóa và cải thiện chất lượng của quá trình tạo Meta-Experience: Khám phá các phương pháp tiên tiến hơn để tự động hóa việc xác định điểm phân nhánh, chẩn đoán sâu và trừu tượng hóa thành các heuristic chất lượng cao, có thể sử dụng các mô hình nhỏ hơn hoặc các kỹ thuật suy luận mạnh hơn để tạo ra meta-experience hiệu quả hơn.
Nghiên cứu cơ chế nội hóa Meta-Experience hiệu quả hơn vào bộ nhớ tham số: Điều tra các kiến trúc hoặc phương pháp huấn luyện thay thế để tích hợp meta-experience vào LLM, ví dụ, thông qua các layer adapter chuyên biệt hoặc các kỹ thuật tinh chỉnh kiến thức khác, nhằm tối ưu hóa việc ghi nhớ và tái sử dụng kiến thức này trong quá trình suy luận.

2. Patent:

Hệ thống "Gia sư AI cá nhân" trên điện thoại thông minh: Ứng dụng di động cung cấp phản hồi học tập cá nhân hóa. Khi người dùng giải một bài toán hoặc hoàn thành một nhiệm vụ (ví dụ: viết một đoạn mã đơn giản, soạn một email công việc), hệ thống sẽ theo dõi các bước làm. Nếu có lỗi, nó sẽ xác định chính xác điểm sai, giải thích nguyên nhân bằng ngôn ngữ dễ hiểu và đưa ra "kinh nghiệm" hoặc quy tắc chung để tránh lặp lại lỗi đó trong tương lai, tương tự như cách một gia sư thực thụ phân tích lỗi để giúp học sinh tiến bộ.
Trợ lý viết và chỉnh sửa văn bản thông minh trên điện thoại: Một tính năng trong ứng dụng ghi chú hoặc email trên điện thoại giúp người dùng cải thiện kỹ năng viết. Khi người dùng viết một văn bản và có những lỗi sai về ngữ pháp, cấu trúc câu, hoặc lỗi lập luận cơ bản, hệ thống không chỉ sửa lỗi mà còn giải thích "tại sao" lỗi đó xảy ra và cung cấp một nguyên tắc viết cụ thể (ví dụ: "Luôn đặt chủ ngữ trước động từ trong câu khẳng định" hoặc "Đảm bảo các lập luận logic được liên kết rõ ràng"). Các nguyên tắc này được lưu trữ và sử dụng để đưa ra gợi ý pro-active khi người dùng viết tương tự trong tương lai.
Chức năng "Tự sửa lỗi logic" cho ứng dụng quản lý tác vụ/lập kế hoạch trên di động: Một tính năng AI tích hợp vào ứng dụng quản lý công việc hoặc lịch trình. Khi người dùng tạo một kế hoạch hoặc chuỗi các nhiệm vụ có vẻ không khả thi hoặc chứa mâu thuẫn logic (ví dụ: đặt một cuộc họp cùng lúc với hai địa điểm khác nhau, hoặc lên lịch hoàn thành một nhiệm vụ mà chưa có các bước chuẩn bị cần thiết), hệ thống sẽ phát hiện "điểm sai" trong logic kế hoạch, đưa ra lời phê bình về sự mâu thuẫn và đề xuất một "kinh nghiệm" (ví dụ: "Trước khi lên lịch tác vụ, hãy kiểm tra các ràng buộc về thời gian và tài nguyên") để giúp người dùng tự động hóa việc phát hiện và tránh các lỗi lập kế hoạch tương tự trong tương lai.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.10224
ArXiv Abstract	https://arxiv.org/abs/2602.10224
PDF Download	https://arxiv.org/pdf/2602.10224.pdf
Github Repository	N/A

12. DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning (15 votes)

Tác giả: Yicheng Chen, Zerun Ma, Xinchen Xie, Yining Li, Kai Chen

Xuất bản lúc: 2026-02-11

Tag: LLMs, Reinforcement Learning, Data Curation, Data-centric AI, Automated ML

I. Main Problem:

Trong bối cảnh các Large Language Models (LLMs) ngày càng phát triển, việc quản lý và tạo ra tập dữ liệu huấn luyện chất lượng cao, quy mô lớn là yếu tố chính thúc đẩy hiệu suất của mô hình. Tuy nhiên, việc thiết kế các "công thức dữ liệu" (data recipes), bao gồm các quy trình xử lý dữ liệu để chuyển đổi dữ liệu thô thành tập dữ liệu huấn luyện, vẫn chủ yếu là thủ công và tốn nhiều công sức, đòi hỏi chuyên môn và sự lặp lại đáng kể từ con người. Các thách thức chính bao gồm việc thiếu hụt các bộ dữ liệu được tuyển chọn sẵn cho tác vụ tạo công thức dữ liệu đầu cuối và việc giám sát tốn kém, bị trì hoãn (do chi phí huấn luyện và đánh giá LLM) trong vòng lặp học tăng cường trực tuyến.

II. Main Idea:

Để giải quyết vấn đề này, bài báo đề xuất DataChef-32B, một phương pháp học tăng cường (RL) trực tuyến để tự động tạo ra các công thức dữ liệu tối ưu cho việc điều chỉnh LLM. DataChef-32B hoạt động bằng cách sử dụng một phần thưởng proxy (proxy reward) dự đoán hiệu suất downstream của các công thức dữ liệu ứng cử viên mà không cần huấn luyện LLM đầy đủ.

Cụ thể:

Xây dựng bể tác vụ: Tạo một bể tác vụ đa dạng gồm 31 tiêu chuẩn (benchmark) trên 19 lĩnh vực khác nhau và 257 nguồn dữ liệu để hỗ trợ tác vụ tạo công thức dữ liệu. Bể này được chia thành 25 tác vụ huấn luyện và 6 tác vụ đánh giá được giữ lại.
Khởi tạo "khởi động lạnh" (Cold-start Initialization): Sử dụng Supervised Fine-Tuning (SFT) để huấn luyện mô hình ban đầu trên một tập hợp các ví dụ chất lượng cao, giúp mô hình có khả năng tạo mã cơ bản và ổn định giai đoạn RL sau đó.
Mô hình phần thưởng (Reward Modeling): Thiết kế một "Trình xác minh dữ liệu" (Data Verifier) hiệu quả về mặt tính toán, sử dụng một LLM mạnh để phân loại chất lượng của từng mẫu dữ liệu (ví dụ: không hợp lệ, lỗi định dạng, không chính xác, không khớp tác vụ, đạt) và gán điểm. Phần thưởng cuối cùng được định nghĩa dựa trên điểm trung bình của các mẫu được lấy ngẫu nhiên và các hình phạt cho lỗi thực thi.
Học tăng cường (Reinforcement Learning): Áp dụng thuật toán Group Relative Policy Optimization (GRPO) để tối ưu hóa chính sách của LLM, hướng dẫn nó tạo ra các công thức dữ liệu có chất lượng cao và khả năng thực thi tốt.

III. Main Results:

Hiệu suất ngang hàng: DataChef-32B đạt hiệu suất tương đương với các công thức dữ liệu được tạo bởi các chuyên gia con người và các mô hình độc quyền hàng đầu như Gemini-3-Pro trên sáu tác vụ đánh giá (3 trong miền, 3 ngoài miền).
Vượt trội hơn các nguồn dữ liệu đơn lẻ: Các công thức dữ liệu được tạo ra bởi DataChef-32B vượt trội hơn nguồn dữ liệu tốt nhất được định dạng thủ công trên hầu hết các tác vụ.
Đạt hiệu suất kỷ lục: Đáng chú ý, DataChef-32B đã điều chỉnh Qwen3-1.7B-Base để đạt 66.7 điểm trên AIME’25 và 46.3 điểm trên ClimaQA, vượt qua baseline EXPERT với quá trình hậu huấn luyện cấp độ công nghiệp dựa trên các công thức dữ liệu do chuyên gia tuyển chọn.
Đánh giá hiệu quả của Data Verifier: Trình xác minh dữ liệu của DataChef thể hiện mối tương quan dương mạnh mẽ và nhất quán với hiệu suất mô hình downstream trên tất cả sáu tác vụ, đạt hệ số tương quan Pearson trung bình là 0.59, cho thấy tính mạnh mẽ vượt trội so với các baseline khác.
Tầm quan trọng của Cold Start và Reward Signal: Các nghiên cứu loại bỏ cho thấy giai đoạn "khởi động lạnh" (cold start) và tín hiệu phần thưởng chất lượng dữ liệu chi tiết là rất quan trọng đối với hiệu suất, ngăn chặn hiện tượng "hack phần thưởng" (reward hacking) và giúp mô hình khám phá các hoạt động xử lý dữ liệu phức tạp.

IV. Conclusion & Future Works:

Bài báo đề xuất một mô hình mới để tự động tạo "công thức dữ liệu" nhằm hợp lý hóa việc thích ứng LLM. Bằng cách xây dựng một bộ dữ liệu toàn diện cho cả huấn luyện và đánh giá, và giới thiệu DataChef-32B với một trình xác minh dữ liệu đóng vai trò là hàm phần thưởng hiệu quả về chi phí cho RL trực tuyến, nghiên cứu đã chứng minh khả năng tổng quát hóa mạnh mẽ của DataChef-32B, đạt được chuyên môn ngang tầm con người trên các tiêu chuẩn cụ thể. Công trình này giúp thu hẹp khoảng cách giữa việc quản lý dữ liệu và sự phát triển của mô hình, thúc đẩy sự phát triển của các hệ thống AI tự tiến hóa.

Hạn chế và hướng nghiên cứu tương lai: Việc phụ thuộc vào LLM-as-a-Judge cho phần thưởng proxy ưu tiên tính tổng quát nhưng có thể hy sinh độ chính xác trong các tác vụ chuyên biệt. Phát triển các trình đánh giá chuyên biệt để cung cấp tín hiệu phần thưởng có độ phân giải cao hơn vẫn là một hướng nghiên cứu có giá trị trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc phát triển các trình đánh giá chuyên biệt cho các tác vụ LLM cụ thể, nhằm cung cấp tín hiệu phần thưởng có độ phân giải cao hơn và độ chính xác được cải thiện cho quá trình học tăng cường.
Mở rộng khung DataChef để tạo công thức dữ liệu cho việc điều chỉnh LLM đa phương thức (multimodal LLM), xử lý và kết hợp các nguồn dữ liệu văn bản, hình ảnh, âm thanh hoặc video.
Khám phá các thuật toán học tăng cường tiên tiến hoặc kỹ thuật định hình phần thưởng (reward shaping) khác nhau để tối ưu hóa hiệu quả, độ ổn định và khả năng khám phá trong việc tạo công thức dữ liệu, đặc biệt cho các tác vụ đòi hỏi sự phức tạp cao.

2. Patent:

Một ứng dụng di động sử dụng trợ lý AI để tự động điều chỉnh các bài tập và kế hoạch ăn kiêng cho người dùng. Ứng dụng này sẽ thu thập dữ liệu thô từ các thiết bị đeo tay (nhịp tim, mức độ hoạt động), nhật ký bữa ăn và sở thích của người dùng, sau đó "chế biến" ra một "công thức dữ liệu sức khỏe" tối ưu (ví dụ: đề xuất các bài tập cụ thể, gợi ý sửa đổi bữa ăn từ nhiều nguồn thực phẩm lành mạnh, tổng hợp lời nhắc động lực) để giúp người dùng đạt được mục tiêu sức khỏe của họ, tất cả đều được cá nhân hóa và điều chỉnh hàng ngày trên điện thoại thông minh của họ.
Một công cụ di động do AI cung cấp cho các doanh nghiệp nhỏ để tự động tinh chỉnh dữ liệu phản hồi của khách hàng. Thay vì phải lọc thủ công qua các đánh giá và phản hồi khảo sát, ứng dụng có thể, dựa trên mục tiêu kinh doanh (ví dụ: cải thiện sản phẩm X, nâng cao dịch vụ khách hàng), tự động xử lý phản hồi thô từ mạng xã hội, đánh giá cửa hàng ứng dụng hoặc khảo sát nội bộ, sau đó tạo ra một "công thức dữ liệu" (ví dụ: tóm tắt các vấn đề chính, ưu tiên các đề xuất của khách hàng, báo cáo phân tích cảm xúc) cho chủ doanh nghiệp, tất cả đều có thể truy cập được trên điện thoại thông minh.
Một ứng dụng di động cho phép học sinh hoặc người học tự động tạo các "công thức học tập" được cá nhân hóa. Ví dụ, đối với một sinh viên học một ngôn ngữ mới, ứng dụng có thể phân tích tài liệu học hiện có của họ (sách giáo khoa, bài báo trực tuyến) và phong cách học cá nhân, sau đó tự động tạo ra một "công thức dữ liệu" hàng ngày tùy chỉnh (ví dụ: danh sách từ vựng cụ thể, bài tập ngữ pháp từ các nguồn khác nhau, câu luyện tập tổng hợp) để tối đa hóa hiệu quả học tập của họ trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.11089
ArXiv Abstract	https://arxiv.org/abs/2602.11089
PDF Download	https://arxiv.org/pdf/2602.11089.pdf
Github Repository	https://github.com/yichengchen24/DataChef

13. ROCKET: Rapid Optimization via Calibration-guided Knapsack Enhanced Truncation for Efficient Model Compression (15 votes)

Tác giả: Ammar Ali, Baher Mohammad, Denis Makhov, Dmitriy Shopkhoev, Magauiya Zhussip, Stamatios Lefkimmiatis

Xuất bản lúc: 2026-02-11

Tag: LLMs, Model Compression, Sparsification, Low-Rank Approximation, Knapsack Optimization, Training-free

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) hiện đại có kích thước khổng lồ, đòi hỏi tài nguyên tính toán và bộ nhớ đáng kể, cản trở việc triển khai thực tế, đặc biệt trên các thiết bị biên hoặc ứng dụng nhạy cảm về độ trễ. Các phương pháp nén mô hình hiện tại gặp phải hạn chế: phương pháp phân rã hạng thấp (low-rank factorization) như SVD-LLM có cấu trúc cứng nhắc, làm giảm khả năng biểu diễn và suy giảm hiệu suất ở tỷ lệ nén cao; trong khi các phương pháp học từ điển (dictionary learning) linh hoạt hơn nhưng lại quá tốn kém về mặt tính toán do yêu cầu tối ưu hóa lặp. Hơn nữa, nhiều phương pháp nén không tối ưu việc phân bổ ngân sách nén toàn cầu, hoặc áp dụng nén đồng nhất trên các lớp hoặc dựa vào các ước tính độ nhạy từng lớp theo heuristic.

II. Main Idea:

ROCKET là một phương pháp nén mô hình không cần huấn luyện (training-free) hiệu quả, giải quyết đồng thời sự cứng nhắc của phân rã hạng thấp và gánh nặng tính toán của học từ điển lặp. Phương pháp này bao gồm hai đổi mới chính:

Phân bổ nén theo lớp dựa trên bài toán túi (Knapsack Problem): ROCKET coi việc phân bổ ngân sách nén toàn cầu như một bài toán túi đa lựa chọn (multi-choice knapsack problem). Đối với mỗi lớp, nó lựa chọn cấu hình nén tối ưu từ một tập hợp các ứng viên đã được tính toán trước để giảm thiểu tổng lỗi tái tạo trọng số, đồng thời tuân thủ kích thước mô hình mục tiêu và ràng buộc lỗi tái tạo trên mỗi lớp.
Phân rã ma trận thưa một bước (Single-step Sparse Matrix Factorization): Lấy cảm hứng từ học từ điển, ROCKET thực hiện làm thưa các hệ số trọng số dựa trên độ nhạy giữa kích hoạt và trọng số, chỉ sử dụng một tập dữ liệu hiệu chuẩn nhỏ. Sau đó, nó cập nhật từ điển ở dạng đóng thông qua bình phương tối thiểu (least squares), hoàn toàn bỏ qua tối ưu hóa lặp, mã hóa thưa (sparse coding) hoặc lan truyền ngược (backpropagation). Phương pháp này xây dựng cơ sở thích ứng dữ liệu thông qua phân rã giá trị riêng (eigen decomposition) trong không gian kích hoạt đã được làm trắng và sau đó thư giãn ràng buộc trực giao sau khi làm thưa để tối ưu hóa việc tái tạo.

III. Main Results:

ROCKET đạt hiệu suất tiên tiến so với các phương pháp nén trọng số, làm thưa cấu trúc và nén động. Nó vượt trội một cách nhất quán so với các phương pháp hiện có như SVD-LLM và CoSpaDi trên nhiều kiến trúc (Qwen3-8B, Llama3-8B, Llama3.2-1B) và tỷ lệ nén (20–50%).

Hiệu suất vượt trội: ROCKET giữ lại hơn 90% hiệu suất của mô hình gốc ở tỷ lệ nén 30% mà không cần tinh chỉnh. Ví dụ, trên Qwen3-8B, ROCKET đạt 68.7% độ chính xác trung bình ở tỷ lệ nén 20% và 65.8% ở 30%, cao hơn đáng kể so với SVD-LLM và CoSpaDi.
Phục hồi hiệu suất sau nén (Post-Compression Healing): Khi áp dụng một giai đoạn tinh chỉnh nhẹ với chỉ 30 triệu token, mô hình Qwen3-14B được nén xuống 8B tham số (tỷ lệ nén 40%) bằng ROCKET có hiệu suất gần như ngang bằng với Qwen3-8B gốc (67.96% độ chính xác trung bình so với 70.46% của Qwen3-8B gốc).
Tổng quát hóa đa phương thức: ROCKET hoạt động hiệu quả trên các phương thức khác. Trên mô hình thị giác-ngôn ngữ Qwen3-4B-VL, nó giữ lại 65.75% độ chính xác trung bình (hơn 90% hiệu suất gốc) ở tỷ lệ nén 20%. Trên mô hình tạo tiếng nói VibeVoice, nó duy trì chất lượng tiếng nói gần như tương đương (WER 0.149 so với 0.148 của mô hình gốc, UTMOS giảm nhẹ từ 3.52 xuống 3.43).

IV. Conclusion & Future Works:

ROCKET là một phương pháp nén LLM nhanh chóng và không cần huấn luyện, kết hợp phân rã trọng số cấu trúc hướng dẫn bởi hiệu chuẩn với phân bổ ngân sách tối ưu theo từng lớp thông qua công thức túi. Phương pháp này đạt hiệu suất tiên tiến, giữ lại hơn 90% độ chính xác ban đầu ở tỷ lệ nén 30% mà không cần tinh chỉnh, mang lại một bước tiến quan trọng trong việc triển khai bền vững các hệ thống AI.

Hạn chế:

Giải pháp quy hoạch động hiện tại, dù hiệu quả cho các mô hình dày đặc tiêu chuẩn, khó mở rộng cho các kiến trúc có số lượng lớn các thành phần có thể nén được, như các mô hình Mixture-of-Experts (MoE) hiện đại với 128 hoặc nhiều chuyên gia hơn trên mỗi khối, do sự tăng trưởng tổ hợp trong các tùy chọn nén.
Các thí nghiệm "chữa lành" (healing) giả định một mô hình làm thưa cố định được xác định trong giai đoạn nén không cần huấn luyện, điều này là không tối ưu.

Công việc trong tương lai:

Nghiên cứu các giải pháp thay thế có thể mở rộng cho các mô hình MoE.
Khám phá việc học đồng thời các mẫu làm thưa thích ứng (adaptive sparsity patterns) trong quá trình tinh chỉnh để đạt được những cải tiến hơn nữa về hiệu suất.

V. Brainstorming Space:

1. Publish Papers:

Nén thích ứng cho mô hình Mixture-of-Experts (MoE) sử dụng học tăng cường và phân bổ ngân sách động để vượt qua giới hạn của quy hoạch động.
Phương pháp điều chỉnh đồng thời mẫu làm thưa và từ điển trong quá trình tinh chỉnh để tối ưu hóa phục hồi hiệu suất của các mô hình ngôn ngữ lớn đã nén.
ROCKET-Vision: Mở rộng và tối ưu hóa ROCKET cho các mô hình Vision Transformer và Vision-Language lớn, tập trung vào hiệu suất trên thiết bị biên và ứng dụng thời gian thực.

2. Patent:

Hệ thống nén ứng dụng thông minh cho điện thoại di động: Một ứng dụng được cài đặt trên điện thoại tự động quét và nhận diện các mô hình AI tích hợp trong các ứng dụng khác (ví dụ: ứng dụng camera với tính năng nhận diện vật thể, ứng dụng nhắn tin với tính năng dự đoán từ). Ứng dụng này sẽ nén các mô hình AI đó xuống kích thước nhỏ hơn mà không làm giảm đáng kể chất lượng. Nó sẽ sử dụng một lượng nhỏ dữ liệu từ chính cách người dùng sử dụng điện thoại (ví dụ: các bức ảnh thường chụp, các kiểu tin nhắn) để cá nhân hóa quá trình nén, đảm bảo hiệu quả tối ưu cho từng người dùng, giúp điện thoại hoạt động nhanh hơn và tiết kiệm pin.
Công nghệ tối ưu hóa tài nguyên AI tự động trên thiết bị di động: Một tính năng được tích hợp sâu vào hệ điều hành của điện thoại hoặc thư viện phát triển AI, có khả năng tự động điều chỉnh mức độ nén của các mô hình AI đang chạy theo thời gian thực. Dựa trên mức pin, tải CPU/GPU và bộ nhớ còn trống của điện thoại, công nghệ này sẽ quyết định nén chặt hơn các phần ít quan trọng của mô hình và duy trì độ chính xác cho các phần quan trọng, đảm bảo rằng mọi ứng dụng AI trên điện thoại luôn hoạt động mượt mà và hiệu quả nhất có thể, bất kể tình trạng tài nguyên hiện tại của thiết bị.
Hệ thống phục hồi hiệu suất AI nhanh trên điện thoại: Sau khi một ứng dụng trên điện thoại đã được nén để tiết kiệm dung lượng, hệ thống này cho phép thực hiện một bước 'làm tươi' hiệu suất nhanh chóng. Khi người dùng tương tác với ứng dụng (ví dụ: chụp ảnh với một đối tượng mới, nói một câu chưa từng được xử lý), hệ thống sẽ sử dụng dữ liệu mới này (một lượng rất nhỏ và riêng tư) để tinh chỉnh các phần nhỏ của mô hình AI đã nén. Điều này giúp mô hình nhanh chóng thích nghi và khôi phục lại độ chính xác mà không cần tải về lại toàn bộ dữ liệu huấn luyện lớn, mang lại trải nghiệm người dùng tốt hơn và mô hình ngày càng thông minh hơn theo thói quen sử dụng của cá nhân.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.11008
ArXiv Abstract	https://arxiv.org/abs/2602.11008
PDF Download	https://arxiv.org/pdf/2602.11008.pdf
Github Repository	https://github.com/mts-ai/ROCKET

14. Online Causal Kalman Filtering for Stable and Effective Policy Optimization (14 votes)

Tác giả: Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

Xuất bản lúc: 2026-02-11

Tag: Reinforcement Learning, LLMs, Policy Optimization, Kalman Filter, Importance Sampling

I. Main Problem:

Các mô hình học tăng cường (RL) cho các mô hình ngôn ngữ lớn (LLMs) gặp phải vấn đề với tỷ lệ lấy mẫu quan trọng (IS) cấp độ token có phương sai cao, gây mất ổn định quá trình tối ưu hóa chính sách. Các phương pháp gần đây thường bỏ qua sự biến đổi lệch off-policy theo thời gian giữa các token trong một chuỗi. Tác giả đã xác định rằng độ lệch off-policy cục bộ không nhất quán về cấu trúc ở cấp độ token, điều này có thể làm méo mó các bản cập nhật độ dốc chính sách giữa các token liền kề và dẫn đến sự sụp đổ của quá trình đào tạo.

II. Main Idea:

Để giải quyết vấn đề trên, bài báo đề xuất Online Causal Kalman Filtering for stable and effective Policy Optimization (KPO). Ý tưởng chính là mô hình hóa tỷ lệ IS mong muốn như một trạng thái tiềm ẩn (latent state) tiến hóa qua các token và áp dụng bộ lọc Kalman để cập nhật trạng thái này một cách trực tuyến và tự hồi quy (autoregressively) dựa trên các trạng thái của các token trong quá khứ, không phụ thuộc vào các token trong tương lai. Các tỷ lệ IS được lọc sẽ duy trì sự biến đổi cục bộ nhận biết cấu trúc theo token đồng thời làm mịn mạnh mẽ các nhiễu đột biến, mang lại các bản cập nhật chính sách ổn định và hiệu quả hơn.

III. Main Results:

KPO đạt được kết quả vượt trội trên các bộ dữ liệu suy luận toán học đầy thách thức so với các phương pháp hiện đại khác. Cụ thể, KPO-clipped cải thiện đáng kể avg@16 và pass@16 trên hầu hết các benchmark (AIME’24, AIME’25, AMC’23, MATH500, Olympiad), và KPO-unclipped cũng đạt được kết quả tốt trên AIME’24 và Minerva. KPO cải thiện sự ổn định của quá trình huấn luyện, duy trì entropy cao hơn và có đường cong thưởng ổn định hơn so với GRPO, GMPO và GSPO. Sau khi lọc Kalman, động lực học của token biến đổi từ một mô hình chuyển đổi nhanh, tần số cao sang các phân đoạn dài, nhất quán với biến động cục bộ tối thiểu, với độ dài chạy token (run-length) tăng đáng kể và tần số chuyển đổi giảm mạnh.

IV. Conclusion & Future Works:

Bài báo đã đưa ra một góc nhìn mới về tỷ lệ lấy mẫu quan trọng cấp độ token và chỉ ra rằng độ lệch off-policy cục bộ không nhất quán về cấu trúc có thể làm khuếch đại phương sai gradient và gây mất ổn định tối ưu hóa. KPO sử dụng bộ lọc Kalman để ước tính tỷ lệ IS như một suy luận không gian trạng thái trực tuyến, giúp làm mịn các nhiễu đột biến trong khi vẫn giữ được sự mạch lạc về cấu trúc của tỷ lệ IS, từ đó cải thiện cả sự ổn định và hiệu quả. Vì KPO cần xử lý tuần tự các token một cách tự hồi quy, việc song song hóa quy trình lọc Kalman sẽ là một hướng nghiên cứu thú vị trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng KPO sang các tác vụ tạo văn bản theo trình tự khác (ví dụ: tạo mã, tóm tắt) để đánh giá khả năng tổng quát hóa của nó.
Nghiên cứu các mô hình không gian trạng thái hoặc kỹ thuật lọc thay thế (ngoài bộ lọc Kalman) để làm mịn tỷ lệ IS, có thể đạt được hiệu suất hoặc hiệu quả tính toán tốt hơn.
Phát triển các thuật toán lọc Kalman song song hoặc xấp xỉ song song để khắc phục hạn chế về tuần tự trong quá trình tạo token tự hồi quy.

2. Patent:

Hệ thống gợi ý từ/cụm từ thông minh cho bàn phím điện thoại: Một tính năng bàn phím điện thoại sử dụng bộ lọc tương tự như Kalman để làm mượt các gợi ý từ và cụm từ. Thay vì chỉ dựa vào từ hiện tại, hệ thống sẽ xem xét ngữ cảnh của các từ trước đó trong câu để đưa ra các gợi ý có tính mạch lạc và tự nhiên hơn, giảm thiểu các gợi ý không liên quan hoặc gây nhầm lẫn, giúp người dùng gõ nhanh và chính xác hơn trong các ứng dụng nhắn tin hoặc soạn thảo văn bản.
Bộ lọc ổn định phản hồi người dùng cho hệ thống đề xuất ứng dụng: Một công cụ tích hợp trong hệ điều hành điện thoại hoặc cửa hàng ứng dụng để ổn định các tín hiệu phản hồi từ người dùng (ví dụ: lượt thích, không thích, thời gian sử dụng) khi đề xuất ứng dụng hoặc nội dung. Nó sẽ sử dụng một bộ lọc để làm mượt sự thay đổi đột ngột trong sở thích của người dùng, đảm bảo rằng các đề xuất ứng dụng không bị ảnh hưởng quá mức bởi một vài tương tác ngẫu nhiên mà vẫn duy trì sự nhất quán với sở thích dài hạn của người dùng.
Công cụ hiểu lệnh thoại đa bước cho trợ lý ảo di động: Một tính năng nâng cao cho trợ lý ảo trên điện thoại giúp nó hiểu và thực hiện các lệnh thoại phức tạp, gồm nhiều bước một cách ổn định hơn. Thay vì xử lý từng phần của câu lệnh một cách độc lập, công cụ này sẽ sử dụng một quy trình làm mượt để tích hợp ý nghĩa của các phần lệnh trước đó, đảm bảo rằng trợ lý ảo hiểu được mục đích tổng thể của người dùng ngay cả khi có các biến động nhỏ trong cách diễn đạt, giúp thực hiện các tác vụ như "đặt báo thức vào 7 giờ sáng và đồng thời gửi tin nhắn nhắc nhở cho tôi" một cách liền mạch.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.10609
ArXiv Abstract	https://arxiv.org/abs/2602.10609
PDF Download	https://arxiv.org/pdf/2602.10609.pdf
Github Repository	N/A

15. LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation (12 votes)

Tác giả: Ahmadreza Jeddi, Marco Ciccone, Babak Taati

Xuất bản lúc: 2026-02-11

Tag: LLMs, Transformers, Latent Reasoning, Adaptive Computation, Deep Learning

I. Main Problem:

Vấn đề chính mà nghiên cứu này giải quyết là sự thiếu linh hoạt của các mô hình Transformer lặp (looped Transformers) hiện có. Các mô hình này thường cố định số lượng vòng lặp trong quá trình huấn luyện và suy luận, khiến chúng không thể điều chỉnh độ sâu tính toán một cách linh hoạt dưới các ràng buộc ngân sách tính toán khác nhau. Khi đánh giá với số vòng lặp khác với lúc huấn luyện, hiệu suất của chúng thường suy giảm nghiêm trọng (sự sụp đổ biểu diễn hay "representation collapse"). Việc áp dụng các kỹ thuật tính toán động (như dừng sớm "early exiting") một cách trực tiếp vào kiến trúc lặp cũng dẫn đến trạng thái biểu diễn bị trì trệ ("stagnant states") và không khai thác hiệu quả độ sâu.

II. Main Idea:

Ý tưởng chính là giới thiệu LoopFormer, một kiến trúc Transformer lặp được huấn luyện trên các quỹ đạo (trajectories) có độ dài biến đổi để cho phép suy luận có điều kiện theo ngân sách tính toán. Đóng góp cốt lõi là một lược đồ huấn luyện shortcut-consistency giúp căn chỉnh các quỹ đạo có độ dài khác nhau. Cụ thể, LoopFormer điều kiện mỗi vòng lặp dựa trên thời gian hiện tại (t) được chuẩn hóa và kích thước bước (Δt), cho phép các biểu diễn phát triển một cách nhất quán trên các quỹ đạo có độ dài khác nhau mà không bị trôi dạt hoặc trì trệ. Mục tiêu là đảm bảo rằng các vòng lặp ngắn hơn vẫn tạo ra các biểu diễn có thông tin, trong khi các vòng lặp dài hơn tiếp tục tinh chỉnh chúng.

III. Main Results:

LoopFormer cho thấy hiệu suất mạnh mẽ và ổn định trên các tiêu chuẩn mô hình hóa ngôn ngữ và suy luận, ngay cả dưới các ràng buộc tính toán nghiêm ngặt, đồng thời vẫn mở rộng khả năng một cách mượt mà khi ngân sách tăng thêm.
Nó thu hẹp đáng kể khoảng cách về độ phức tạp (perplexity) so với các mô hình Transformer không lặp iso-FLOP và vượt trội hơn các biến thể lặp khác.
Trong các tác vụ suy luận zero-shot, LoopFormer là mô hình lặp cạnh tranh nhất, duy trì tiện ích cao ngay cả với ngân sách giảm (ví dụ: ở 12x FLOPs, nó vẫn gần với Base (12⊗1)).
Phân tích động lực học biểu diễn (sử dụng các chỉ số như độ cong, tính dị hướng, entropy gợi ý, CKA) cho thấy các mô hình lặp dừng sớm thông thường bị trì trệ, trong khi LoopFormer duy trì sự tiến hóa liên tục và có ích của các trạng thái biểu diễn, ngăn chặn sự sụp đổ.
Ngay cả với ngân sách cố định, việc lựa chọn quỹ đạo bước (thời gian) có ảnh hưởng đáng kể đến hiệu suất, với các lịch trình tốt nhất thường phân bổ các bước thô hơn ở giai đoạn đầu và các bước tinh hơn ở giai đoạn sau.

IV. Conclusion & Future Works:

LoopFormer đã mở ra một con đường mới cho các mô hình ngôn ngữ lớn (LLMs) có thể kiểm soát và nhận biết ngân sách tính toán, cho phép suy luận tiềm ẩn thông qua các quỹ đạo vòng lặp linh hoạt. Mặc dù đạt được hiệu suất mạnh mẽ và tránh được sự trì trệ biểu diễn, mô hình vẫn còn một số hạn chế như việc điều chỉnh ngân sách ở cấp độ chuỗi (sequence-level) thay vì cấp độ phiên bản/token, chi phí huấn luyện bổ sung do tính nhất quán đa quỹ đạo, và phân tích biểu diễn mang tính tương quan chứ không phải nhân quả. Các hướng nghiên cứu trong tương lai bao gồm phát triển các chính sách lịch trình có điều kiện theo phiên bản (instance-conditioned schedule policies) và nghiên cứu sâu hơn về lý thuyết/chẩn đoán không gian biểu diễn.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các chính sách điều chỉnh quỹ đạo (trajectory schedules) động dựa trên đặc điểm của từng token hoặc instance đầu vào, thay vì điều chỉnh toàn cục cho cả chuỗi, để tối ưu hóa hiệu quả tính toán.
Khám phá các phương pháp mới để giảm thiểu chi phí huấn luyện bổ sung cho mục tiêu shortcut-consistency, ví dụ bằng cách tích hợp nó vào quá trình pre-training hoặc fine-tuning một cách hiệu quả hơn.
Nghiên cứu sâu hơn về mối quan hệ nhân quả giữa động lực học biểu diễn (ví dụ: độ cong, entropy) và khả năng suy luận tiềm ẩn của các mô hình lặp, thông qua các thử nghiệm có kiểm soát và lý thuyết chặt chẽ hơn.

2. Patent:

Một hệ thống AI trên điện thoại di động có thể điều chỉnh linh hoạt độ sâu tính toán của mô hình ngôn ngữ để cân bằng giữa tốc độ phản hồi và chất lượng đầu ra. Ví dụ, khi người dùng cần phản hồi nhanh cho một câu hỏi đơn giản, mô hình sử dụng ít bước lặp hơn để tiết kiệm pin; khi cần một câu trả lời phức tạp hơn, nó tự động tăng số bước lặp để có kết quả chính xác hơn, tất cả đều trong cùng một ứng dụng chat.
Một ứng dụng dịch thuật trên điện thoại sử dụng mô hình ngôn ngữ có khả năng điều chỉnh độ sâu. Ứng dụng này cho phép người dùng chọn mức độ "chính xác" hoặc "nhanh chóng" khi dịch. Nếu người dùng chọn "nhanh chóng", ứng dụng sẽ sử dụng ít bước lặp hơn để dịch tức thì; nếu chọn "chính xác", nó sẽ dùng nhiều bước lặp hơn để có bản dịch tinh tế và ngữ cảnh hơn, đặc biệt hữu ích cho các tài liệu dài hoặc phức tạp, mà không cần tải thêm mô hình mới.
Tính năng "Tối ưu hóa năng lượng thông minh" cho các tác vụ AI trên điện thoại, tự động phân bổ ngân sách tính toán cho mô hình. Ví dụ, khi điện thoại pin yếu, tính năng này sẽ điều chỉnh các tác vụ AI (như gợi ý văn bản, phân tích ảnh) để chạy với ít bước lặp hơn, ưu tiên tốc độ và tiết kiệm pin mà vẫn giữ được mức độ hữu ích cơ bản, sau đó tự động tăng chất lượng khi có đủ năng lượng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.11451
ArXiv Abstract	https://arxiv.org/abs/2602.11451
PDF Download	https://arxiv.org/pdf/2602.11451.pdf
Github Repository	https://github.com/armenjeddi/loopformer

16. Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning (12 votes)

Tác giả: Dawid J. Kopiczko, Sagar Vaze, Tijmen Blankevoort, Yuki M. Asano

Xuất bản lúc: 2026-02-11

Tag: LLMs, SFT, Reasoning, Fine-tuning, Data Repetition

I. Main Problem:

Nghiên cứu này thách thức trực giác phổ biến trong học máy rằng việc huấn luyện với nhiều mẫu dữ liệu duy nhất hơn sẽ mang lại khả năng khái quát hóa tốt hơn, đặc biệt trong ngữ cảnh Tinh chỉnh có giám sát (SFT) trên dữ liệu chuỗi suy nghĩ (Chain-of-Thought - CoT) dài cho các mô hình ngôn ngữ tập trung vào suy luận. Dữ liệu CoT dài, chất lượng cao rất tốn kém để thu thập, đặt ra vấn đề thực tế về cách tận dụng tốt nhất dữ liệu SFT hạn chế. Các quy trình huấn luyện hiện đại thường sử dụng hàng triệu mẫu SFT, điều này có thể không tối ưu.

II. Main Idea:

Ý tưởng chính là trong giai đoạn SFT cho dữ liệu CoT dài, việc huấn luyện nhiều vòng lặp (epochs) trên các tập dữ liệu nhỏ hơn (lặp lại dữ liệu) vượt trội đáng kể so với việc huấn luyện ít vòng lặp trên các tập dữ liệu lớn hơn (mở rộng dữ liệu), trong cùng một ngân sách cập nhật. Phát hiện phản trực giác này cho thấy việc cho phép mô hình nội hóa hoàn toàn cấu trúc suy luận đã được chứng minh thông qua sự lặp lại sẽ hiệu quả hơn việc tiếp xúc với nhiều mẫu duy nhất hơn. Các tác giả đề xuất sử dụng độ chính xác của token trên tập huấn luyện làm tiêu chí dừng đáng tin cậy, vì hiệu suất đạt đỉnh khi mô hình gần như ghi nhớ hoàn toàn dữ liệu.

III. Main Results:

Các kết quả chính bao gồm:

Hiệu suất vượt trội: Mô hình Olmo3-7B được huấn luyện 128 vòng lặp trên 400 mẫu vượt trội hơn 1 vòng lặp trên 51200 mẫu từ 12–26 điểm phần trăm trên các bộ điểm chuẩn AIME’24/25 và GPQA, mà không gây ra quên thảm khốc bổ sung.
Sự bão hòa và Ghi nhớ: Hiệu suất cải thiện đến khi mô hình đạt được độ chính xác dự đoán token gần như hoàn hảo trên dữ liệu huấn luyện. Độ chính xác token trên tập huấn luyện là tín hiệu đáng tin cậy cho thấy sự lặp lại đã bão hòa, là tiêu chí dừng hiệu quả.
Tỷ lệ kết thúc: Tỷ lệ kết thúc (khả năng mô hình kết thúc suy luận) tương quan mạnh mẽ với độ chính xác và tăng theo số vòng lặp, cho thấy sự lặp lại giúp mô hình nội hóa cấu trúc của các chuỗi suy luận dài.
Nghịch lý quá khớp: Mặc dù mất mát trên tập huấn luyện giảm về 0 và mất mát trên tập kiểm định tăng (quá khớp kinh điển), và entropy dự đoán giảm, nhưng độ chính xác suy luận vẫn cải thiện đơn điệu theo số vòng lặp. Mất mát trên tập kiểm định không phải là thước đo đáng tin cậy cho hiệu suất suy luận.
Quên thảm khốc: Huấn luyện nhiều vòng lặp trên các tập dữ liệu nhỏ gây ra ít quên thảm khốc hơn (đo bằng độ chính xác MMLU) so với việc mở rộng dữ liệu, mang lại sự đánh đổi tốt hơn.
Đặc tính dữ liệu huấn luyện: Lợi thế của sự lặp lại vẫn mạnh mẽ bất kể chất lượng của mô hình giáo viên (để chưng cất dữ liệu). Huấn luyện trên các chuỗi suy luận không chính xác (negative trajectories) không làm giảm hiệu suất và thậm chí có thể ngang bằng hoặc vượt trội hơn huấn luyện trên các mẫu tích cực, đặc biệt đối với các vấn đề khó hơn.

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng tinh chỉnh có giám sát trên dữ liệu chuỗi suy nghĩ dài hưởng lợi đáng kể từ sự lặp lại dữ liệu, thách thức những quan niệm thông thường trong học máy. Số vòng lặp và kích thước tập dữ liệu nên được coi là các biến quyết định quan trọng trong SFT suy luận, thay vì mặc định là huấn luyện một vòng lặp trên tập dữ liệu lớn nhất hiện có. Cơ chế đằng sau “lợi thế lặp lại” (tại sao việc ghi nhớ thông qua lặp lại lại cải thiện khả năng khái quát hóa trong SFT suy luận) vẫn là một vấn đề mở quan trọng. Kích thước tập dữ liệu tối ưu vẫn phụ thuộc vào dữ liệu và mô hình mà chưa có tiêu chí nguyên tắc rõ ràng để lựa chọn từ trước.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các cơ chế nhận thức cơ bản hoặc lý thuyết "khơi gợi so với tiếp thu" (elicitation vs. acquisition) bằng cách sử dụng các phương pháp thăm dò hoặc khả năng diễn giải, để hiểu sâu hơn lý do tại sao sự lặp lại cải thiện khả năng suy luận.
Khám phá các chiến lược lặp lại tối ưu ngoài việc lặp lại đồng nhất, ví dụ như học theo chương trình (curriculum learning) hoặc lặp lại ngắt quãng (spaced repetition) cho SFT CoT, nhằm tối đa hóa hiệu quả của sự lặp lại.
Mở rộng lợi thế lặp lại sang các giai đoạn hậu huấn luyện khác như học tăng cường từ phản hồi của con người (RLHF), hoặc các loại dữ liệu khác ngoài CoT, đặc biệt trong các lĩnh vực có dữ liệu khan hiếm.

2. Patent:

Hệ thống tinh chỉnh mô hình thích ứng cho thiết bị di động: Một hệ thống trên điện thoại thông minh tự động điều chỉnh số lượng vòng lặp huấn luyện và kích thước tập dữ liệu con được sử dụng để tinh chỉnh mô hình AI của điện thoại. Việc điều chỉnh này dựa trên các chỉ số hiệu suất của mô hình theo thời gian thực (như độ chính xác của dự đoán tiếp theo trên dữ liệu huấn luyện) và tài nguyên thiết bị có sẵn (ví dụ: pin, bộ nhớ), giúp tối ưu hóa khả năng suy luận của điện thoại trong khi giảm thiểu thời gian huấn luyện và tiêu thụ tài nguyên.
Ứng dụng "truyền kỹ năng suy luận" cho trợ lý AI trên điện thoại: Một ứng dụng điện thoại cho phép người dùng hoặc nhà phát triển cung cấp một bộ nhỏ các ví dụ về các bước suy luận của chuyên gia cho trợ lý AI. Bằng cách lặp lại tập hợp các ví dụ này một cách chuyên sâu, trợ lý AI có thể nhanh chóng cải thiện khả năng giải quyết các loại truy vấn phức tạp cụ thể của người dùng (ví dụ: giải toán, lập kế hoạch phức tạp), ngay cả khi dữ liệu huấn luyện chung trên thiết bị bị hạn chế.
Phương pháp tinh chỉnh cá nhân hóa trên thiết bị: Một phương pháp cho phép AI trên điện thoại tập trung lặp lại các kiểu tương tác của người dùng mà AI gặp khó khăn hoặc những chuỗi suy luận dài mà người dùng thường xuyên sử dụng. Thay vì huấn luyện trên một tập dữ liệu lớn và ít liên quan, phương pháp này ưu tiên sự lặp lại của dữ liệu quan trọng đối với cá nhân, giúp AI của điện thoại nhanh chóng thích nghi với phong cách suy luận và sở thích riêng của từng người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.11149
ArXiv Abstract	https://arxiv.org/abs/2602.11149
PDF Download	https://arxiv.org/pdf/2602.11149.pdf
Github Repository	https://github.com/dkopi/data-repetition

17. GameDevBench: Evaluating Agentic Capabilities Through Game Development (12 votes)

Tác giả: Wayne Chi, Yixiong Fang, Arnav Yayavaram, Siddharth Yayavaram, Seth Karten, Qiuhong Anna Wei, Runkun Chen, Alexander Wang, Valerie Chen, Ameet Talwalkar, Chris Donahue

Xuất bản lúc: 2026-02-11

Tag: LLMs, Agentic AI, Multimodal AI, Benchmarking, Game Development, Code Generation

I. Main Problem:

Tiến độ phát triển các tác tử (agent) mô hình ngôn ngữ đa phương thức (multimodal LM agents) đã chậm hơn so với các đối tác đơn phương thức. Một thách thức chính là sự khan hiếm các nền tảng thử nghiệm đánh giá kết hợp độ phức tạp của phát triển phần mềm với yêu cầu hiểu biết đa phương thức sâu sắc. Phát triển trò chơi, mặc dù có tính đa phương thức cố hữu và lợi ích làm một tiêu chuẩn thử thách, phần lớn đã bị cộng đồng nghiên cứu bỏ qua, đặc biệt là việc sử dụng tác tử cho phát triển trò chơi tổng quát trong các công cụ trò chơi hiện đại.

II. Main Idea:

Các tác giả giới thiệu GameDevBench, một tiêu chuẩn đánh giá đầu tiên cho các tác tử trong các nhiệm vụ phát triển trò chơi. GameDevBench bao gồm 132 nhiệm vụ phức tạp, đòi hỏi hiểu biết đa phương thức đáng kể, được xây dựng từ các hướng dẫn web và video (sử dụng công cụ Godot). Các giải pháp được xác minh một cách định lượng thông qua mã và hệ thống kiểm tra của Godot. Để cải thiện khả năng đa phương thức của tác tử, nghiên cứu cũng đề xuất hai cơ chế phản hồi đơn giản dựa trên hình ảnh và video: một giao thức chụp màn hình trình chỉnh sửa (Editor Screenshot MCP) và một tính năng ghi video thời gian chạy (Runtime Video) của cảnh trò chơi.

III. Main Results:

Các tác tử hiện tại vẫn gặp khó khăn trong phát triển trò chơi; tác tử tốt nhất chỉ giải quyết được 54.5% nhiệm vụ (Gemini 3 Pro với phản hồi đa phương thức).
Tồn tại mối tương quan chặt chẽ giữa độ khó nhiệm vụ và độ phức tạp đa phương thức: tỷ lệ thành công giảm từ 46.9% đối với các nhiệm vụ định hướng lối chơi (gameplay-oriented tasks) xuống 31.6% đối với các nhiệm vụ đồ họa 2D (2D graphics tasks).
Các cơ chế phản hồi đa phương thức dựa trên hình ảnh và video (Editor Screenshot MCP và Runtime Video) nhất quán cải thiện hiệu suất của tác tử. Thay đổi lớn nhất được ghi nhận là Claude Sonnet 4.5 tăng hiệu suất từ 33.3% lên 47.7% khi sử dụng video.

IV. Conclusion & Future Works:

Nghiên cứu công bố GameDevBench để hỗ trợ nghiên cứu sâu hơn về phát triển trò chơi dựa trên tác tử. Mặc dù các tác tử hiện tại vẫn còn gặp nhiều thách thức, đặc biệt là với các khía cạnh đa phương thức, các công cụ phản hồi đa phương thức đơn giản đã chứng minh được hiệu quả. Quy trình xây dựng tiêu chuẩn GameDevBench có thể lặp lại, cho phép liên tục đổi mới và mở rộng tiêu chuẩn trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu phát triển các mô hình tác tử đa phương thức tiên tiến với khả năng học tập liên tục để cải thiện hiệu suất trong các môi trường phức tạp như phát triển trò chơi.
Khám phá các phương pháp mới để cung cấp phản hồi đa phương thức phong phú và tương tác hơn cho các tác tử, vượt ra ngoài hình ảnh và video tĩnh, để chúng có thể 'cảm nhận' và 'hiểu' môi trường tốt hơn.
Xây dựng các kiến trúc tác tử chuyên biệt, tối ưu hóa cho từng giai đoạn của quá trình phát triển trò chơi, từ thiết kế ý tưởng đến triển khai chi tiết và kiểm thử.

2. Patent:

Ứng dụng di động sử dụng trí tuệ nhân tạo để hướng dẫn người dùng tạo hoặc chỉnh sửa các tài sản đồ họa (như hình ảnh, hiệu ứng động) cho trò chơi hoặc ứng dụng khác, thông qua giao diện kéo thả hoặc hướng dẫn bằng giọng nói.
Hệ thống trên điện thoại di động tự động tạo giao diện người dùng (UI) cho các ứng dụng hoặc trò chơi chỉ từ mô tả văn bản hoặc phác thảo trực quan của người dùng, bao gồm cả việc đề xuất vị trí các yếu tố và phối màu.
Ứng dụng di động tích hợp tính năng ghi lại màn hình và phân tích thời gian thực bằng trí tuệ nhân tạo để phát hiện lỗi hoặc đề xuất cải tiến trong quá trình phát triển ứng dụng/trò chơi trên thiết bị, ví dụ như gợi ý tối ưu hóa hiệu suất hoặc trải nghiệm người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.11103
ArXiv Abstract	https://arxiv.org/abs/2602.11103
PDF Download	https://arxiv.org/pdf/2602.11103.pdf
Github Repository	N/A

18. LiveMedBench: A Contamination-Free Medical Benchmark for LLMs with Automated Rubric Evaluation (11 votes)

Tác giả: Zhiling Yan, Dingjie Song, Zhe Fang, Yisheng Ji, Xiang Li, Quanzheng Li, Lichao Sun

Xuất bản lúc: 2026-02-10

Tag: LLMs, Medical Benchmark, Data Contamination, RAG, Automated Evaluation

I. Main Problem:

Các điểm chuẩn y tế hiện có là tĩnh, dẫn đến hai hạn chế chính:

Nhiễm dữ liệu (data contamination): Bộ dữ liệu kiểm tra vô tình rò rỉ vào kho dữ liệu huấn luyện, dẫn đến ước tính hiệu suất bị thổi phồng.
Lệch thời gian (temporal misalignment): Không nắm bắt được sự phát triển nhanh chóng của kiến thức y tế. Hơn nữa, các chỉ số đánh giá hiện tại cho lập luận lâm sàng mở (open-ended clinical reasoning) thường dựa vào:

Chồng lặp từ vựng nông (shallow lexical overlap) (ví dụ: ROUGE), không đủ để xác minh tính đúng đắn lâm sàng.
Đánh giá chủ quan từ LLM-as-a-Judge, thiếu các tiêu chí rõ ràng, chi tiết để xác minh khách quan. Các phương pháp hiện tại như sử dụng LLM prompts để sửa đổi dữ liệu không thể cập nhật các trường hợp gốc và có nguy cơ đưa ra sai lệch do mô hình tạo ra. Các điểm chuẩn khác như MedArena và HealthBench đòi hỏi chú thích thủ công rộng rãi, tốn kém và khó mở rộng.

II. Main Idea:

Các tác giả giới thiệu LiveMedBench, một điểm chuẩn y tế liên tục được cập nhật, không bị nhiễm dữ liệu và dựa trên tiêu chí đánh giá (rubric-based).

Thu thập dữ liệu liên tục: Thu thập hàng tuần các trường hợp lâm sàng thực tế từ các cộng đồng y tế trực tuyến, đảm bảo tách biệt nghiêm ngặt về thời gian với dữ liệu huấn luyện của mô hình.
Khung xử lý dữ liệu lâm sàng đa tác nhân (Multi-Agent Clinical Curation Framework):
- Screener: Tiêu chuẩn hóa các chủ đề thảo luận thô thành các biểu diễn lâm sàng có cấu trúc theo khuôn khổ SOAP (Subjective, Objective, Assessment, Plan).
- Validator: Đánh giá chất lượng và tính nhất quán thực tế của dữ liệu có cấu trúc bằng cách kiểm tra tính hợp lệ của truy vấn, tính đầy đủ của câu chuyện và tính phù hợp với bằng chứng y tế thông qua Retrieval-Augmented Generation (RAG).
- Controller: Thực hiện kiểm tra cuối cùng để đảm bảo mọi yếu tố đều được hỗ trợ rõ ràng bởi luồng thảo luận ban đầu.
Khung đánh giá tự động dựa trên tiêu chí (Automated Rubric-based Evaluation Framework):
- Rubric Generator: Chuyển đổi phản hồi của bác sĩ thành các tiêu chí chấm điểm chi tiết, có cấu trúc (tiêu chí tích cực thưởng điểm, tiêu chí tiêu cực phạt điểm).
- Rubric-based Grader: Đánh giá có hệ thống phản hồi của mô hình dựa trên các tiêu chí cụ thể của từng trường hợp.

III. Main Results:

LiveMedBench hiện bao gồm 2.756 trường hợp lâm sàng thực tế trải dài 38 chuyên khoa y tế và nhiều ngôn ngữ, với 16.702 tiêu chí đánh giá duy nhất.
Đánh giá chuyên sâu 38 Large Language Models (LLMs) cho thấy ngay cả mô hình hoạt động tốt nhất (GPT-5.2) cũng chỉ đạt 39.2%.
84% các mô hình cho thấy hiệu suất suy giảm đáng kể trên các trường hợp sau ngày cắt dữ liệu huấn luyện (post-cutoff cases), xác nhận rủi ro lây nhiễm dữ liệu và lỗi thời kiến thức phổ biến.
Khung đánh giá tự động dựa trên tiêu chí (Automated Rubric-based Evaluation Framework) đạt được sự liên kết mạnh mẽ hơn đáng kể với các bác sĩ chuyên gia (hệ số tương quan Pearson 0.54) so với LLM-as-a-Judge (tương quan 0.26). Macro F1 cho thỏa thuận cấp tiêu chí là 0.76.
Phân tích lỗi chỉ ra rằng việc áp dụng ngữ cảnh (Contextual Neglect and Integration Failure - CNIF: 35–48%) và tổng quát hóa quá mức hướng dẫn (Guideline Overgeneralization - GOPR: 22–32%) là nút thắt cổ chai chủ đạo, không phải thiếu kiến thức thực tế.
Việc bổ sung kiến thức dựa trên truy xuất (retrieval-based knowledge injection) giúp khôi phục phần lớn hiệu suất bị mất, xác nhận rằng các lỗi hiện đại chủ yếu xuất phát từ khoảng trống kiến thức chứ không phải khiếm khuyết trong khả năng lập luận bẩm sinh.
Các mô hình đa năng (general-purpose) liên tục vượt trội hơn các mô hình y tế chuyên biệt.
LiveMedBench là một bộ dữ liệu thách thức hơn đáng kể so với các điểm chuẩn hiện có như HealthBench, cho thấy hiệu suất mô hình thấp hơn nhiều.

IV. Conclusion & Future Works:

LiveMedBench là một điểm chuẩn y tế được cập nhật liên tục, không bị nhiễm dữ liệu, được thiết kế để đánh giá Large Language Models (LLMs) trong lĩnh vực y tế. Việc đánh giá cho thấy hiệu suất giảm nhất quán trên các trường hợp sau ngày cắt dữ liệu huấn luyện, khẳng định sự cần thiết của việc chấm điểm trực tiếp, liên tục. Điều này mở ra hướng tiếp tục phát triển và sử dụng LiveMedBench để thúc đẩy cải thiện hiệu suất của LLMs trong các môi trường lâm sàng, đặc biệt trong việc giải quyết các thách thức về áp dụng ngữ cảnh và tổng quát hóa hướng dẫn.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện khả năng áp dụng ngữ cảnh của LLMs trong y tế: Tập trung vào việc phát triển các phương pháp để LLMs có thể tổng hợp thông tin y tế với các ràng buộc cụ thể của bệnh nhân (ví dụ: bệnh đồng mắc, chống chỉ định) nhằm giảm lỗi "Contextual Neglect and Integration Failure" và "Guideline Overgeneralization".
Tối ưu hóa cơ chế bổ sung kiến thức cho LLMs để giải quyết các khoảng trống kiến thức: Nghiên cứu các chiến lược Retrieval-Augmented Generation (RAG) nâng cao hoặc các phương pháp tiêm kiến thức khác để đảm bảo LLMs có quyền truy cập và áp dụng thông tin y tế mới nhất và chuyên biệt hiệu quả hơn.
Mở rộng LiveMedBench sang các trường hợp lâm sàng đa phương thức: Phát triển phương pháp thu thập và đánh giá các trường hợp y tế yêu cầu đầu vào đa phương thức (ví dụ: hình ảnh, video, âm thanh) để mô phỏng thực tế lâm sàng phức tạp hơn.

2. Patent:

Ứng dụng điện thoại di động này cung cấp thông tin y tế và cập nhật hướng dẫn lâm sàng mới nhất cho các chuyên gia y tế. Nó tự động thu thập tin tức và hướng dẫn mới từ các nguồn y tế đáng tin cậy. Ứng dụng sẽ so sánh thông tin mới này với kiến thức mà bác sĩ đã có, đánh dấu những thông tin "mới hoàn toàn" hoặc chưa từng được biết đến. Điều này giúp các bác sĩ luôn cập nhật kiến thức y tế, tránh bỏ sót thông tin quan trọng.
Một ứng dụng trợ lý y tế trên điện thoại dành cho bác sĩ. Khi bác sĩ nhập thông tin triệu chứng và lịch sử bệnh của bệnh nhân, AI sẽ đưa ra các gợi ý chẩn đoán hoặc kế hoạch điều trị. Điểm đặc biệt của ứng dụng là nó sẽ yêu cầu AI (hoặc bác sĩ) xem xét các yếu tố cụ thể của từng bệnh nhân, như các bệnh lý khác đang mắc phải, dị ứng hoặc lối sống, trước khi đưa ra lời khuyên cuối cùng. Điều này giúp tránh việc bỏ qua các yếu tố quan trọng ảnh hưởng đến điều trị.
Ứng dụng điện thoại này giúp sinh viên y khoa hoặc bác sĩ mới ra trường luyện tập kỹ năng giao tiếp với bệnh nhân. Người dùng nhập một tình huống bệnh nhân giả định và đưa ra phản hồi. Ứng dụng sẽ sử dụng một hệ thống đánh giá chi tiết (như một bảng tiêu chí chấm điểm) để cho điểm phản hồi dựa trên nhiều khía cạnh như sự đầy đủ, đồng cảm, rõ ràng và an toàn. Ứng dụng sẽ cung cấp phản hồi khách quan và chi tiết, giúp cải thiện kỹ năng giao tiếp y tế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.10367
ArXiv Abstract	https://arxiv.org/abs/2602.10367
PDF Download	https://arxiv.org/pdf/2602.10367.pdf
Github Repository	https://github.com/ZhilingYan/LiveMedBench

Tác giả: Haoyu Zhang, Zhipeng Li, Yiwen Guo, Tianshu Yu

Xuất bản lúc: 2026-02-06

Tag: OLLMs, 3D Facial Animation, Multimodal LLMs, Speech Synthesis, AI-driven Avatars

I. Main Problem:

Các mô hình ngôn ngữ lớn đa phương thức (OLLM) đặt mục tiêu thống nhất khả năng hiểu và tạo đa phương thức, nhưng việc kết hợp giọng nói với hoạt hình khuôn mặt 3D vẫn còn ít được khám phá mặc dù rất quan trọng cho tương tác tự nhiên. Thách thức chính phát sinh từ sự không khớp về biểu diễn giữa suy luận ngữ nghĩa cấp độ token, rời rạc trong các LLM và động lực học thời gian chi tiết, dày đặc cần thiết cho chuyển động khuôn mặt 3D, điều này khiến việc mô hình hóa trực tiếp khó tối ưu hóa dưới dữ liệu hạn chế.

II. Main Idea:

Đề xuất Expressive Omni (Ex-Omni), một khung công tác đa phương thức mã nguồn mở, giúp mở rộng các OLLM với khả năng tạo hoạt hình khuôn mặt 3D đi kèm giọng nói. Ex-Omni giảm độ khó học bằng cách tách rời suy luận ngữ nghĩa khỏi tạo tác động theo thời gian, tận dụng các đơn vị lời nói như một giàn giáo theo thời gian và cơ chế hợp nhất có cổng theo truy vấn token thống nhất (TQGF) để kiểm soát việc đưa ngữ nghĩa vào. Đồng thời, giới thiệu InstructEx, một bộ dữ liệu được thiết kế để tạo điều kiện thuận lợi cho việc bổ sung khả năng tạo hoạt hình khuôn mặt 3D đi kèm giọng nói vào OLLM. Hoạt hình khuôn mặt được biểu diễn bằng hệ số blendshape ARKit-52 và được tạo ra theo cách phi tự hồi quy. Chiến lược huấn luyện đa giai đoạn bao gồm căn chỉnh giọng nói-văn bản, tiền huấn luyện tạo giọng nói, đồng huấn luyện giọng nói-khuôn mặt, và tinh chỉnh chung.

III. Main Results:

Ex-Omni đạt hiệu suất cạnh tranh so với các OLLM mã nguồn mở hiện có, đồng thời cho phép tạo ra giọng nói và hoạt hình khuôn mặt 3D được căn chỉnh ổn định.
Trong đánh giá Speech-to-Face (S2F) và Text-to-Face (T2F), Ex-Omni (nguyên bản) đạt lỗi đỉnh môi (LVE) thấp hơn đáng kể so với các phương pháp xếp tầng (ví dụ: LVE trên A2F-Bench của Native Ex-Omni là 3.866 so với 6.530 của Qwen2.5-Omni+Unitalker-B-D3).
Đánh giá của con người (Human Evaluation) cho thấy Ex-Omni được ưu tiên cao hơn (55%-80% chiến thắng, 5%-10% hòa) về đồng bộ hóa môi-giọng nói, với độ nhất quán cao giữa các người đánh giá (70.0%-73.8% MMF), cho thấy chuyển động khuôn mặt chính xác và ổn định hơn.
Trên Speech-to-Text (S2T), Ex-Omni đạt hiệu suất cạnh tranh trong số các mô hình mã nguồn mở, đặc biệt là trên SD-QA (40.14%) và AdvBench, mặc dù dữ liệu huấn luyện S2S QA hạn chế.
Trong Text-to-Speech (TTS), Ex-Omni đạt hiệu suất hợp lý trên tất cả các bộ thử nghiệm (ví dụ: WER 2.67 trên test-en) so với các hệ thống TTS chuyên biệt và các OLLM khác.
Nghiên cứu loại bỏ cho thấy các thành phần như quy tắc vận tốc (Lvel), ngữ cảnh giọng nói (speech context) và cơ chế TQGF là quan trọng để duy trì hiệu suất và sự ổn định của hoạt hình khuôn mặt 3D. TQGF cũng giúp cân bằng hiệu suất giữa các ngôn ngữ và giảm chi phí tính toán.

IV. Conclusion & Future Works:

Ex-Omni mở rộng các OLLM với khả năng tạo ra hoạt hình khuôn mặt 3D đi kèm với giọng nói. Bằng cách giải quyết sự không khớp giữa suy luận cấp độ token và chuyển động khuôn mặt chi tiết, Ex-Omni tách rời hiểu biết ngữ nghĩa cấp cao khỏi tổng hợp theo thời gian cụ thể theo phương thức thông qua giàn giáo đơn vị lời nói rời rạc và cơ chế hợp nhất có cổng theo truy vấn token thống nhất (TQGF). Các thí nghiệm rộng rãi cho thấy Ex-Omni đạt được hiệu suất cạnh tranh trên các điểm chuẩn hiểu và tạo giọng nói, đồng thời cho phép tạo ra giọng nói và hoạt hình khuôn mặt 3D đồng bộ và liền mạch.

Để mở rộng hơn nữa, các hướng nghiên cứu trong tương lai có thể tập trung vào việc cải thiện tính biểu cảm và cá nhân hóa của hoạt hình khuôn mặt, cũng như tối ưu hóa hiệu suất cho các ứng dụng thời gian thực và tương tác đa người dùng.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng khả năng của Ex-Omni để tạo ra các biểu cảm khuôn mặt 3D tinh tế và cá nhân hóa hơn, tích hợp các tín hiệu cảm xúc đa dạng từ giọng nói và văn bản.
Khám phá các phương pháp tối ưu hóa để triển khai Ex-Omni trong các ứng dụng thời gian thực và môi trường tương tác đòi hỏi độ trễ thấp, như trò chơi hoặc hội nghị truyền hình.
Phát triển Ex-Omni để hỗ trợ hoạt hình khuôn mặt đa nhân vật và khả năng tương tác giữa các nhân vật, mở rộng sang các kịch bản hội thoại phức tạp hơn.

2. Patent:

Một ứng dụng di động cho phép người dùng tạo avatar 3D hoạt hình của chính họ, với biểu cảm khuôn mặt được đồng bộ hóa với giọng nói hoặc tin nhắn văn bản của họ trong các cuộc gọi video hoặc tin nhắn cá nhân.
Hệ thống trợ lý ảo trên điện thoại thông minh với khả năng hiển thị khuôn mặt 3D biểu cảm, giúp tương tác với người dùng tự nhiên và hấp dẫn hơn, phản ứng với các câu hỏi và lệnh bằng cả giọng nói và nét mặt.
Một nền tảng chơi game di động cho phép các nhân vật trong game có biểu cảm khuôn mặt động được tạo ra trực tiếp từ giọng nói của người chơi, tăng cường trải nghiệm nhập vai và tương tác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.07106
ArXiv Abstract	https://arxiv.org/abs/2602.07106
PDF Download	https://arxiv.org/pdf/2602.07106.pdf
Github Repository	N/A

20. ECHO-2: A Large-Scale Distributed Rollout Framework for Cost-Efficient Reinforcement Learning (11 votes)

Tác giả: Jie Xiao, Meng Chen, Qingnan Ren, Jingwei Song, Jiaqi Huang, Yangshen Deng, Chris Tong, Wanyi Chen, Suli Wang, Ziqian Bi, Shuo Lu, Yiqun Duan, Xu Wang, Rymon Yu, Ween Yang, Lynn Ai, Eric Yang, Bill Shi, Song Jingwei

Xuất bản lúc: 2026-02-02

Tag: Reinforcement Learning (RL), Large Language Models (LLMs), Distributed Systems, Cost Efficiency, Post-training

I. Main Problem:

Huấn luyện tăng cường (RL) là một giai đoạn quan trọng trong quá trình huấn luyện hậu kỳ các mô hình ngôn ngữ lớn (LLM), nhưng lại tốn kém do quá trình tạo rollout chiếm phần lớn thời gian và đòi hỏi tài nguyên GPU đắt đỏ. Các thiết kế hệ thống RL hiện có thường giả định việc triển khai tập trung, bỏ qua cơ hội tận dụng các tài nguyên suy luận phân tán, tiết kiệm chi phí hơn. Việc phân tán rollout đặt ra những thách thức về điều phối diện rộng, độ trễ phân tán chính sách và tính không đồng nhất của tài nguyên, dẫn đến kém hiệu quả nếu áp dụng các phương pháp tập trung.

II. Main Idea:

ECHO-2 là một framework RL phân tán được thiết kế để giảm chi phí huấn luyện hậu kỳ bằng cách kết hợp học tập tập trung với rollout phân tán, tận dụng các worker suy luận từ xa và băng thông mạng diện rộng. Các ý tưởng chính bao gồm:

Mô hình thực thi độ trễ có giới hạn (Bounded-staleness execution model): Bộ học có thể sử dụng các rollout được tạo bởi các chính sách có độ trễ lên đến S bước huấn luyện so với tham số hiện tại của bộ học. Điều này tạo ra khoảng thời gian linh hoạt, cho phép quá trình tạo rollout, phân tán chính sách và huấn luyện chồng lấp nhau mà không làm ngừng bộ học.
Phân tán chính sách hỗ trợ ngang hàng (Peer-assisted pipelined broadcast): Các worker được tổ chức theo cấu trúc liên kết cây để chuyển tiếp các ảnh chụp nhanh chính sách đã nhận ngay lập tức, bắt đầu tạo rollout ngay khi cài đặt xong, giúp tận dụng băng thông tổng hợp và giảm độ trễ phân tán.
Mô hình năng lực dựa trên sự chồng lấp (Overlap-based capacity model): Cung cấp một quy tắc cung cấp thực tế, liên hệ thời gian huấn luyện, độ trễ phân tán và thông lượng rollout của từng worker để duy trì việc sử dụng liên tục của bộ học.
Kích hoạt worker dị nguyên có nhận thức chi phí (Cost-aware activation): Chọn và kích hoạt tập hợp các worker rẻ nhất để đáp ứng yêu cầu thông lượng rollout tối thiểu.
Phân tách ba mặt phẳng (Three-plane disaggregation): Tách biệt rollout, học tập và xử lý dữ liệu/phần thưởng thành các mặt phẳng độc lập, cho phép tích hợp linh hoạt các tác vụ RL mới.

III. Main Results:

ECHO-2 được đánh giá trên huấn luyện hậu kỳ GRPO của các mô hình 4B và 8B (Qwen3) trong các chế độ băng thông diện rộng thực tế, cho thấy:

Hiệu quả chi phí vượt trội: Giảm đáng kể chi phí huấn luyện đầu cuối từ 33.3% đến 36.3% so với các đường ống tập trung, đồng thời duy trì chất lượng RL (phần thưởng AIME) tương đương hoặc tốt hơn (±0.03 điểm) so với các baseline mạnh.
Chất lượng RL bền vững với độ trễ có giới hạn: Chất lượng RL vẫn ổn định đối với độ trễ vừa phải (S ≤ 6). Tuy nhiên, độ trễ quá lớn (S = 11) có thể dẫn đến sự mất ổn định.
Xác nhận điều kiện chồng lấp: Tỷ lệ bong bóng của bộ học (thời gian chờ) giảm dần về 0 khi năng lực rollout tăng lên, gần với ngưỡng lý thuyết được dự đoán bởi mô hình chồng lấp.
Nghiên cứu cắt bỏ (Ablation Study): Vô hiệu hóa phân tán ngang hàng làm tăng đáng kể độ trễ phân tán và thời gian chờ của bộ học. Vô hiệu hóa việc cung cấp có nhận thức chi phí làm tăng chi phí tổng thể.

IV. Conclusion & Future Works:

ECHO-2 là một framework RL phân tán hiệu quả về chi phí, giải quyết các thách thức của quá trình huấn luyện hậu kỳ LLM bằng cách phân tách việc học tập trung và rollout phân tán. Nó sử dụng mô hình thực thi độ trễ có giới hạn, phân tán ngang hàng và kích hoạt worker có nhận thức chi phí để giảm đáng kể chi phí mà vẫn duy trì chất lượng học tập. Thành công của ECHO-2 mở ra hướng đi mới cho việc làm cho RL quy mô lớn trở nên dễ tiếp cận hơn dưới các ràng buộc tài nguyên thực tế. Các công việc trong tương lai có thể bao gồm việc tối ưu hóa hơn nữa các cơ chế phân tán cho các môi trường mạng phức tạp, mở rộng hỗ trợ cho nhiều thuật toán RL và tác vụ hơn, cũng như khám phá tác động của các chiến lược quản lý độ trễ tiên tiến hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp tối ưu hóa cấu trúc liên kết mạng động và nén mô hình thông minh để giảm độ trễ phân tán và tăng hiệu quả chi phí trong các môi trường mạng diện rộng, có băng thông thấp, và kiểm tra tác động của chúng đến chất lượng huấn luyện RL.
Khám phá tích hợp các phương pháp học tập liên tục hoặc học tập thích ứng vào hệ thống rollout phân tán để xử lý hiệu quả tính sẵn sàng động, thông lượng không đồng nhất và sự thay đổi liên tục của tài nguyên tính toán từ xa.
Phát triển các thuật toán RL mới có khả năng chống chịu cao hơn với dữ liệu cũ hoặc không đồng nhất được tạo ra bởi các hệ thống rollout phân tán diện rộng, đồng thời duy trì hoặc cải thiện sự ổn định và hiệu suất học tập.

2. Patent:

Một hệ thống phân phối tác vụ AI thông minh cho điện thoại di động, tự động quyết định khi nào nên thực hiện các tác vụ AI cục bộ (trên điện thoại) và khi nào nên chuyển chúng đến các máy chủ đám mây giá rẻ dựa trên các yếu tố như lượng pin còn lại, chất lượng kết nối mạng và độ nhạy cảm của tác vụ với độ trễ. Hệ thống này sẽ sử dụng một cơ chế "chuyển tiếp dữ liệu thông minh" giống như cách ECHO-2 phân tán chính sách, đảm bảo yêu cầu được gửi đi và kết quả được trả về hiệu quả, giúp tiết kiệm pin và tối ưu hiệu năng AI trên điện thoại.
Một công nghệ "cập nhật và cá nhân hóa mô hình AI theo thời gian thực" cho các ứng dụng điện thoại, ví dụ như trợ lý ảo hoặc công cụ gợi ý nội dung. Thay vì phải huấn luyện lại toàn bộ mô hình trên điện thoại (tốn tài nguyên), các dữ liệu tương tác của người dùng sẽ được ghi nhận và đóng gói thành "gói dữ liệu huấn luyện" nhỏ, sau đó được gửi đến một "hệ thống học tập đám mây phân tán" để xử lý. Hệ thống này sử dụng nguyên tắc "độ trễ chấp nhận được" để đảm bảo các cập nhật vẫn phù hợp mà không gây ra độ trễ đáng kể cho người dùng, đồng thời tối ưu hóa việc sử dụng các tài nguyên đám mây giá rẻ để giảm chi phí duy trì dịch vụ.
Phương pháp "Tăng tốc tạo nội dung AI trên thiết bị di động" sử dụng các tài nguyên điện toán phân tán giá rẻ. Thay vì yêu cầu điện thoại xử lý toàn bộ quá trình tạo ra nội dung phức tạp như văn bản dài, hình ảnh hoặc phản hồi đa phương tiện, hệ thống sẽ chia nhỏ tác vụ và gửi các phần nhỏ (giống như rollout) đến một mạng lưới các máy chủ đám mây không đắt tiền trên toàn cầu. Các máy chủ này sẽ xử lý và gửi kết quả về một cách nhanh chóng. Người dùng sẽ nhận được nội dung do AI tạo ra gần như ngay lập tức, mà không làm tiêu hao pin hay giảm hiệu suất thiết bị di động của họ, tương tự như cách ECHO-2 tăng cường hiệu quả rollout bằng cách tận dụng các worker phân tán.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.02192
ArXiv Abstract	https://arxiv.org/abs/2602.02192
PDF Download	https://arxiv.org/pdf/2602.02192.pdf
Github Repository	N/A

21. The Pensieve Paradigm: Stateful Language Models Mastering Their Own Context (10 votes)

Tác giả: Xiaoyuan Liu, Tian Liang, Dongyang Ma, Deyu Zhou, Haitao Mi, Pinjia He, Yan Wang

Xuất bản lúc: 2026-02-12

Tag: LLMs, Context Management, Agentic AI, Reinforcement Learning, Supervised Learning, RAG

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn (LLMs) hiện tại có một hạn chế cơ bản là bản chất không trạng thái và tự hồi quy. Chúng hoạt động như những công cụ dự đoán thụ động, được thiết kế để hoàn thành chuỗi trong một ngữ cảnh được cung cấp bên ngoài. Điều này khiến chúng thiếu khả năng quản lý hoặc thay đổi quá trình suy luận của chính mình, không có bộ nhớ dài hạn. Hạn chế này đã thúc đẩy sự phát triển của các quy trình làm việc bên ngoài dễ vỡ gọi là "Kỹ thuật ngữ cảnh", nơi con người phải điều phối chuỗi các lệnh gọi LLM biệt lập. Mặc dù các hệ thống cơ sở dữ liệu và truy xuất đã phát triển (Pensieve), các mô hình vẫn thiếu "chiếc đũa phép" để tự vận hành chúng, dẫn đến việc tiêu thụ ngân sách ngữ cảnh cố định một cách đơn điệu, gây cạn kiệt ngữ cảnh và suy giảm hiệu suất theo thời gian.

II. Main Idea:

Công trình này giới thiệu StateLM, một lớp mô hình nền tảng mới được trang bị vòng lặp suy luận nội bộ để tự quản lý trạng thái của chúng. StateLM được cung cấp một bộ công cụ quản lý bộ nhớ như cắt tỉa ngữ cảnh, lập chỉ mục tài liệu và ghi chú, đồng thời được huấn luyện để chủ động sử dụng các công cụ này. Bằng cách học cách tự động kỹ thuật ngữ cảnh của chính mình, StateLM thoát khỏi giới hạn kiến trúc của cửa sổ ngữ cảnh cố định, duy trì một độ dài ngữ cảnh "hình răng cưa" hiệu quả. Cơ chế cốt lõi là công cụ deleteContext cho phép mô hình tự quên các token dư thừa. Phối hợp với các công cụ readChunk và updateNote, mô hình thiết lập một vòng lặp suy luận động: đọc một phân đoạn, ghi lại thông tin quan trọng vào ghi chú bền vững, và loại bỏ ngay lập tức văn bản thô. StateLM được huấn luyện qua hai giai đoạn: Học có giám sát (SFT) từ các quỹ đạo chuyên gia và Học tăng cường (RL) để tự cải thiện.

III. Main Results:

StateLMs thể hiện hiệu quả vượt trội trong nhiều kịch bản:

Long-document QA: StateLMs nhất quán vượt trội so với các LLM tiêu chuẩn trên tất cả các quy mô mô hình, đạt mức tăng độ chính xác tuyệt đối từ 5% đến 12% và chỉ sử dụng 1/4 ngữ cảnh hoạt động. Đặc biệt, StateLM vượt trội đáng kể khi bằng chứng nằm ở cuối tài liệu (ví dụ: tăng 24-25 điểm độ chính xác trong phạm vi 128K–256K token).
Needle-in-a-Haystack (NIAH): Các biến thể StateLM (không có công cụ tìm kiếm) vượt trội so với các mô hình instruct từ 128K token trở lên và vẫn rất mạnh mẽ lên đến 2M ngữ cảnh, trong khi các mô hình instruct suy giảm nhanh chóng sau 128K.
Chat Memory: Đạt được cải thiện độ chính xác tuyệt đối từ 10% đến 20% so với các LLM tiêu chuẩn.
Deep Research (BrowseComp-Plus): Khoảng cách hiệu suất thậm chí còn rõ rệt hơn: StateLM đạt độ chính xác lên tới 52%, trong khi các đối tác LLM tiêu chuẩn chỉ khoảng 5%, dẫn đến cải thiện trung bình hơn 40%.
Học tăng cường: Huấn luyện RL mang lại những cải tiến hơn nữa, ví dụ StateLM-8B-RL tăng thêm 3 điểm trên ∞Bench.
Tính hiệu quả: StateLM thích ứng hành vi của nó với các nhiệm vụ khác nhau một cách hiệu quả và nhận thức được vấn đề, với số lượng thao tác bộ nhớ ít thường xuyên hơn so với các phương pháp luồng công việc cố định.

IV. Conclusion & Future Works:

Phương pháp tiếp cận của nghiên cứu này đã chuyển đổi các LLM từ những công cụ dự đoán thụ động thành các tác tử nhận thức trạng thái, nơi suy luận trở thành một quá trình có trạng thái và có thể quản lý được. StateLM được coi là một cách tiếp cận tiên phong, tổng quát cho nhiều kịch bản đa dạng, đồng thời là nghiên cứu đầu tiên giải quyết đồng thời các thách thức về bộ nhớ trong ba lĩnh vực riêng biệt (QA tài liệu dài, đối thoại đa lượt, và nghiên cứu chuyên sâu) trong một mô hình thống nhất. Huấn luyện RL cho thấy StateLM có thể tinh chỉnh thêm khả năng của mình bằng cách khám phá và học hỏi từ các quỹ đạo của chính nó. Mặc dù mạnh mẽ, StateLM vẫn còn yếu ở các danh mục "span" và "user-preference", cho thấy tiềm năng cải thiện trong việc xử lý các truy vấn ngụ ý hoặc không trực tiếp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các chiến lược quản lý ngữ cảnh nâng cao để cải thiện khả năng hiểu các truy vấn ngụ ý và sở thích của người dùng, đặc biệt trong các tình huống yêu cầu suy luận phi từ khóa.
Mở rộng "Paradigm Pensieve" và khả năng tự quản lý ngữ cảnh sang các mô hình đa phương thức (ví dụ: Vision-Language Action), cho phép mô hình quản lý hiệu quả thông tin từ nhiều loại dữ liệu (văn bản, hình ảnh, âm thanh).
Khám phá các phương pháp học tăng cường tiên tiến hơn hoặc thiết kế phần thưởng phức tạp hơn để tối ưu hóa việc học các chiến lược quản lý bộ nhớ của StateLM, giúp mô hình tự tinh chỉnh hành vi của mình trong các kịch bản tương tác dài hạn.

2. Patent:

Ứng dụng ghi chú/nhật ký thông minh với khả năng tự động tóm tắt và dọn dẹp bộ nhớ trên điện thoại: Phát triển một ứng dụng ghi chú hoặc nhật ký trên điện thoại di động có khả năng tự động trích xuất các thông tin quan trọng vào một phần "tóm tắt" cô đọng và sau đó tự động gợi ý xóa hoặc xóa bỏ các chi tiết thừa thãi từ bản ghi gốc. Điều này giúp người dùng duy trì các ghi chú gọn gàng, dễ tìm kiếm và không bị quá tải bởi thông tin cũ không cần thiết.
Trợ lý ảo trên điện thoại có bộ nhớ dài hạn tự quản lý hiệu quả: Một hệ thống trợ lý cá nhân ảo (ví dụ: cho công việc, lịch trình, hoặc trò chuyện) trên điện thoại có thể tự động ghi nhớ các chi tiết quan trọng từ các cuộc trò chuyện hoặc tương tác của người dùng (như tên, địa chỉ, sở thích, thông tin đặt chỗ) vào một bộ nhớ dài hạn. Hệ thống này sẽ chủ động loại bỏ các phần ngữ cảnh trò chuyện không còn liên quan để giữ cho bộ nhớ luôn tối ưu, đảm bảo trợ lý có thể truy xuất thông tin chính xác mà không cần nhắc lại.
Hệ thống đọc tài liệu và nghiên cứu trên di động với chức năng "xóa ngữ cảnh" chủ động: Một ứng dụng đọc sách điện tử hoặc tài liệu nghiên cứu chuyên sâu trên điện thoại có thể tích hợp cơ chế tự động quản lý ngữ cảnh. Khi người dùng đọc các tài liệu dài, ứng dụng sẽ tự động tóm tắt các đoạn văn bản đã đọc vào một "sổ tay" ghi chú thông minh. Sau đó, nó có thể giải phóng bộ nhớ của các phần văn bản gốc đã được tóm tắt, giúp người dùng duyệt qua các tài liệu lớn một cách hiệu quả hơn và giảm gánh nặng bộ nhớ trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.12108
ArXiv Abstract	https://arxiv.org/abs/2602.12108
PDF Download	https://arxiv.org/pdf/2602.12108.pdf
Github Repository	https://github.com/xyliu-cs/StateLM

22. CLI-Gym: Scalable CLI Task Generation via Agentic Environment Inversion (10 votes)

Tác giả: Yusong Lin, Haiyang Wang, Shuzhe Wu, Lue Fan, Feiyang Pan, Sanyuan Zhao, Dandan Tu

Xuất bản lúc: 2026-02-11

Tag: LLMs, Agentic Coding, CLI, Task Generation, Environment Interaction, Dockerfile, Fine-tuning, Benchmarking

I. Main Problem:

Các tác vụ mã hóa tác tử (agentic coding) đòi hỏi các tác tử phải tương tác hiệu quả với các môi trường thời gian chạy, ví dụ như giao diện dòng lệnh (CLI), để hoàn thành các tác vụ như giải quyết vấn đề phụ thuộc, sửa lỗi hệ thống. Tuy nhiên, việc thu thập các tác vụ chuyên sâu về môi trường này theo quy mô lớn để nâng cao khả năng của tác tử vẫn chưa được khám phá đầy đủ. Các phương pháp hiện có để tạo ra các tác vụ chuyên sâu về môi trường phụ thuộc nhiều vào sức lao động của con người và không thể mở rộng quy mô (chỉ tạo ra hàng chục tác vụ so với hàng nghìn tác vụ chuyên sâu về mã). Sự thiếu hụt lịch sử môi trường rõ ràng (khác với lịch sử mã được kiểm soát phiên bản) là một thách thức lớn. Hiện tại không có quy trình công khai nào cho việc tạo tác vụ chuyên sâu về môi trường có thể mở rộng, làm cản trở đáng kể hiệu suất của tác tử trên các tiêu chuẩn như Terminal-Bench.

II. Main Idea:

Để giải quyết vấn đề trên, nhóm nghiên cứu đề xuất CLI-Gym, một phương pháp tiếp cận và quy trình công khai đầu tiên để tạo ra các tác vụ chuyên sâu về môi trường có khả năng mở rộng thông qua "đảo ngược môi trường tác tử" (Agentic Environment Inversion). Ý tưởng chính là mô phỏng lịch sử môi trường bằng cách cho một tác tử "đảo ngược" trạng thái của một môi trường khỏe mạnh (Sgold) thành một trạng thái có lỗi (Spoor).

Quy trình bao gồm:

Xây dựng Môi trường Vàng Ban đầu: Bắt đầu từ một kho mã nguồn GitHub hoạt động tốt, có thể vượt qua tất cả các kiểm thử đơn vị (unit tests), được biểu diễn bằng Dockerfile.
Đảo ngược Môi trường bằng Mã hóa Dockerfile của Tác tử: Một tác tử tự động khám phá không gian lịch sử của môi trường bằng cách thực thi lặp lại các lệnh Dockerfile để sửa đổi (phá hỏng) môi trường, được hướng dẫn bởi phản hồi thực thi. Tác tử này có không gian hành động phong phú để tạo ra các trạng thái lỗi đa dạng.
Xây dựng Thực thể Vấn đề Dựa trên Thực thi: Khi môi trường đạt đến trạng thái có các kiểm thử đơn vị thất bại, một tác vụ được tạo ra dựa trên trạng thái "buggy" và các thông báo lỗi tương ứng. Các Dockerfile được tạo ra mã hóa quỹ đạo suy thoái, đảm bảo khả năng tái tạo.

CLI-Gym sử dụng Dockerfile để đại diện cho môi trường, cho phép mô phỏng và kiểm soát phiên bản chính xác. Phương pháp này khác biệt so với việc tạo Dockerfile bằng LLM mà không có phản hồi. Từ 1,655 tác vụ được tạo ra, nhóm nghiên cứu đã chọn lọc 291 quỹ đạo thành công để tinh chỉnh các mô hình ngôn ngữ lớn (LLM).

III. Main Results:

Sử dụng CLI-Gym, 1.655 tác vụ chuyên sâu về môi trường đã được tạo ra từ 29 kho mã nguồn mở phổ biến, tạo thành bộ sưu tập lớn nhất thuộc loại này (gần gấp 20 lần Terminal-Bench).

Các mô hình tinh chỉnh của nhóm nghiên cứu, được đặt tên là LiberCoder (dựa trên Qwen3-32B và Qwen3-235B-A22B-Instruct), cho thấy những cải thiện đáng kể:

LiberCoder-32B đạt Pass@1 38.9% trên Terminal-Bench 1.0, vượt trội hơn các mô hình mã nguồn mở lớn hơn nhiều như Qwen3-Coder-480B và Kimi-K2-Instruct.
LiberCoder-235B-A22B đạt Pass@1 46.1% trên Terminal-Bench 1.0 (cải thiện tuyệt đối +21.1%) và 31.0% trên Terminal-Bench 2.0 (cải thiện tuyệt đối +12.9%) so với mô hình cơ sở của nó.

Nghiên cứu cũng chỉ ra rằng việc kết hợp huấn luyện trước các tác vụ kiểu SWE và quỹ đạo CLI-Gym mang lại hiệu suất tốt nhất. Sự đa dạng của môi trường (tức là số lượng kho mã nguồn) là một yếu tố quan trọng để học các hành vi tác tử mạnh mẽ, ngay cả khi tổng lượng dữ liệu không đổi. Chất lượng quỹ đạo (các quỹ đạo được lọc) trở nên quan trọng hơn số lượng khi khả năng tác tử đã được thiết lập. Mô hình được huấn luyện cho thấy sự cải thiện đáng kể trên tất cả các loại tác vụ chuyên sâu về môi trường như kỹ thuật phần mềm, quản trị hệ thống, bảo mật và gỡ lỗi, đồng thời giảm đáng kể lỗi liên quan đến chỉnh sửa và định vị.

IV. Conclusion & Future Works:

Bài báo giới thiệu CLI-Gym, quy trình công khai đầu tiên để mở rộng môi trường huấn luyện cho các tác vụ mã hóa tác tử CLI. Phương pháp này biểu diễn mỗi môi trường bằng Dockerfile để kiểm soát cấu hình và phiên bản chính xác, đồng thời sử dụng các tác tử để mô phỏng lịch sử môi trường. Với bộ công cụ này, nhóm nghiên cứu đã tạo ra 1.655 tác vụ và thu thập 291 quỹ đạo thành công. Các thử nghiệm cho thấy việc tinh chỉnh dữ liệu của CLI-Gym đã nâng cao đáng kể khả năng mã hóa tác tử chuyên sâu về môi trường, dẫn đến hiệu suất hàng đầu trên Terminal-Bench đối với các mô hình mã nguồn mở.

Trong tương lai, các hướng nghiên cứu tiềm năng bao gồm giải quyết các loại tác vụ đầy thách thức như chơi game và tính toán khoa học. Ngoài ra, cần tối ưu hóa để xử lý các trường hợp tác tử vượt quá độ dài ngữ cảnh tối đa trong quá trình khám phá môi trường.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các chiến lược khám phá tác tử nâng cao cho quá trình đảo ngược môi trường để tạo ra các tác vụ đa dạng và phức tạp hơn, tập trung vào việc tạo ra các kịch bản lỗi sâu hơn hoặc khó phát hiện hơn.
Nghiên cứu các tác tử đa phương thức có khả năng chẩn đoán và khắc phục sự cố môi trường không chỉ thông qua CLI mà còn bằng cách phân tích các tín hiệu trực quan (ví dụ: giao diện người dùng) hoặc tài liệu, mở rộng khả năng của tác tử sang các môi trường tương tác phức tạp hơn.
Áp dụng khái niệm đảo ngược môi trường cho các lĩnh vực khác ngoài CLI, chẳng hạn như các ứng dụng dựa trên giao diện người dùng đồ họa (GUI) hoặc các hệ thống nhúng, để tạo ra các tập dữ liệu huấn luyện có thể mở rộng cho các loại tác vụ tương tác khác nhau.

2. Patent:

Một hệ thống tự động chẩn đoán và sửa lỗi môi trường ứng dụng di động: Ứng dụng này sử dụng "đảo ngược môi trường" để mô phỏng các trạng thái lỗi (ví dụ: lỗi phụ thuộc, cấu hình sai) trong môi trường ứng dụng trên điện thoại. Khi phát hiện lỗi, nó tự động tạo ra các tác vụ sửa lỗi và đề xuất các bước khắc phục cho người dùng hoặc nhà phát triển thông qua giao diện trực quan trên điện thoại, giúp người dùng dễ dàng hiểu và khắc phục sự cố mà không cần kiến thức kỹ thuật sâu.
Một ứng dụng quản lý sức khỏe hệ thống di động chủ động: Ứng dụng này sử dụng các kỹ thuật "đảo ngược môi trường" để tạo ra các kịch bản lỗi tiềm ẩn (ví dụ: xung đột thư viện, cấu hình mạng sai) trong môi trường hệ điều hành di động. Nó sẽ học cách phát hiện sớm và tự động đề xuất hoặc áp dụng các bản vá lỗi trước khi chúng ảnh hưởng đến trải nghiệm người dùng, hiển thị cảnh báo hoặc giải pháp trực tiếp trên điện thoại, giúp duy trì hiệu suất và ổn định của thiết bị.
Một công cụ tạo môi trường phát triển di động cá nhân hóa: Công cụ này trên điện thoại hoặc máy tính bảng cho phép lập trình viên di động tự động tạo ra các môi trường phát triển tùy chỉnh, có thể tái tạo các điều kiện lỗi cụ thể. Dựa trên mô hình "đảo ngược môi trường", công cụ này cho phép người dùng mô tả một lỗi hoặc hành vi mong muốn, và nó sẽ tạo ra một môi trường "buggy" trong container ảo, giúp kiểm thử và gỡ lỗi hiệu quả ngay trên thiết bị di động mà không làm ảnh hưởng đến hệ thống chính.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.10999
ArXiv Abstract	https://arxiv.org/abs/2602.10999
PDF Download	https://arxiv.org/pdf/2602.10999.pdf
Github Repository	https://github.com/LiberCoders/CLI-Gym

23. Blockwise Advantage Estimation for Multi-Objective RL with Verifiable Rewards (10 votes)

Tác giả: Kirill Pavlenko, Alexander Golubev, Simon Karasik, Boris Yangel

Xuất bản lúc: 2026-02-10

Tag: Reinforcement Learning, LLMs, Multi-objective RL, Credit Assignment, Advantage Estimation, GRPO

I. Main Problem:

Các phương pháp Group Relative Policy Optimization (GRPO) hiện tại gán một lợi thế vô hướng duy nhất cho tất cả các token trong một lượt tạo văn bản, điều này dẫn đến việc ghép nối các tín hiệu phần thưởng không liên quan giữa các phân đoạn văn bản và gây nhiễu mục tiêu cũng như gán sai tín dụng. Đối với các thế hệ có cấu trúc với các phân đoạn và mục tiêu rõ ràng, cách tiếp cận này là không tối ưu. Việc thiết kế một hàm phần thưởng vô hướng duy nhất R=f(r1, r2, ..., rn) cho nhiều mục tiêu gây ra khó khăn trong việc gán tín dụng và yêu cầu tinh chỉnh cẩn thận để tránh suy giảm điểm, sụp đổ chế độ và gian lận phần thưởng. Thách thức lớn là ước tính lợi thế cho các khối văn bản sau, có phần thưởng phụ thuộc vào các tiền tố đã được lấy mẫu, và các phương pháp tiêu chuẩn đòi hỏi các lượt rollout lồng nhau tốn kém từ các trạng thái trung gian.

II. Main Idea:

Bài báo đề xuất Blockwise Advantage Estimation (BAE), một nhóm phương pháp tương thích với GRPO, gán cho mỗi mục tiêu một lợi thế riêng và chỉ áp dụng lợi thế đó cho các token trong khối văn bản tương ứng. Điều này giúp giảm sự phụ thuộc vào các phần thưởng vô hướng được thiết kế thủ công và mở rộng tự nhiên cho các mục tiêu bổ sung. Để giải quyết thách thức ước tính lợi thế cho các khối sau mà không cần các lượt rollout bổ sung, bài báo giới thiệu Outcome-Conditioned Baseline (OCB). OCB xấp xỉ giá trị trạng thái trung gian chỉ bằng cách sử dụng các thống kê trong nhóm, thông qua việc phân tầng các mẫu dựa trên một kết quả trung gian từ tiền tố (ví dụ: đúng/sai của giải pháp trước đó). BAE là một khung critic-free, loại bỏ sự cần thiết của mạng giá trị và cho phép tối ưu hóa độc lập từng khối dựa trên tín hiệu mục tiêu cục bộ. OCB cung cấp ước tính giá trị trạng thái biên hiệu quả về mặt tính toán, giảm phương sai cho các phân đoạn sau mà không cần các lượt rollout Monte-Carlo hoặc suy luận bổ sung.

III. Main Results:

Phương pháp này giảm thiểu nhiễu phần thưởng trên các tác vụ toán học với ước tính không chắc chắn, cạnh tranh với phương pháp thiết kế phần thưởng tiên tiến (SoTA) như RLCR và bảo toàn các cải tiến thời gian thử nghiệm từ việc kết hợp theo trọng số tin cậy (confidence-weighted ensembling).
Outcome-Conditioned Baseline (OCB) đạt lỗi RMSE thấp nhất và ước tính không thiên vị so với ước tính Monte-Carlo thực tế cho các khối sau, trên cả hai trường hợp giải pháp đúng và sai.
OCB là baseline có điều kiện không tốn điện toán mạnh nhất, cải thiện đáng kể Expected Calibration Error (ECE) và AUROC/Brier trên MATH500 cho Qwen2.5-3B-Instruct, đồng thời cạnh tranh với RLCR trên các mô hình lớn hơn (Qwen2.5-7B-Base và -Instruct) về độ chính xác và hiệu chuẩn.
BAE+OCB cạnh tranh với RLCR mà không cần scalar hóa phần thưởng, mang lại sự cân bằng tốt hơn giữa độ chính xác và hiệu chuẩn trên các tập dữ liệu trong phân phối và OOD dễ dàng.
OCB bảo toàn lợi ích quan trọng của sự tự tin được hiệu chuẩn trong việc scaling thời gian thử nghiệm (Test-Time Scaling - TTS), dẫn đến khả năng ra quyết định tốt hơn trong thời gian suy luận.
Khung BAE được chứng minh là áp dụng rộng rãi ngoài ước tính không chắc chắn, ví dụ, cho tác vụ tinh chỉnh hai lần thử trong giải toán, cho thấy lần thử thứ hai cải thiện đáng kể so với lần đầu.

IV. Conclusion & Future Works:

Kết luận: Phương pháp Blockwise Advantage Estimation cung cấp một công thức mô-đun để tối ưu hóa các mục tiêu tuần tự trong các thế hệ có cấu trúc mà không cần thêm các lượt rollout. Nó được coi là một bước tiến tới Reinforcement Learning đa mục tiêu mô-đun và có thể mở rộng cho Large Language Models (LLMs), thay thế việc scalar hóa phần thưởng được điều chỉnh thủ công bằng việc gán tín dụng có cấu trúc, phù hợp với cách các mô hình thực sự tạo văn bản.

Hạn chế: Outcome-Conditioned Baselines yêu cầu các tầng được điền đầy đủ (populated strata); khi một tầng hiếm, kích thước nhóm nhỏ có thể tăng phương sai. Ranh giới phân đoạn được giả định là đã biết và ổn định; việc phân đoạn không chính xác có thể tái tạo nhiễu đa mục tiêu.

Công việc tương lai:

Nghiên cứu việc sử dụng các điều kiện phong phú hơn và đánh giá rộng hơn, bao gồm định nghĩa các kết quả đa bin (multi-bin outcomes) hoặc học các cụm kết quả (learned outcome clusters) thay vì chỉ nhị phân, để đạt được baseline có điều kiện với độ trung thực cao hơn mà không cần các lượt rollout bổ sung.
Đánh giá các biến thể của OCB ngoài các phần thưởng có thể xác minh là một bước tiếp theo tự nhiên.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng Outcome-Conditioned Baseline (OCB) bằng cách sử dụng các kết quả đa bin (multi-bin outcomes) hoặc các cụm kết quả học được (learned outcome clusters) để nâng cao độ chính xác của ước tính giá trị trạng thái trung gian trong các tác vụ RL đa mục tiêu.
Phát triển các kỹ thuật làm mịn (smoothing) hoặc co rút (shrinkage) cho Outcome-Conditioned Baseline nhằm xử lý hiệu quả các trường hợp kích thước nhóm nhỏ hoặc tầng hiếm, cải thiện độ ổn định và hiệu suất của việc huấn luyện LLMs.
Khám phá ứng dụng và mở rộng Blockwise Advantage Estimation (BAE) cho các tác vụ tác nhân dài hạn (long-horizon agentic tasks) với ngữ cảnh cực kỳ dài, nơi việc phân tách cấp độ phân đoạn có thể cho phép tối ưu hóa quá trình học tập hiệu quả hơn.

2. Patent:

Một hệ thống trên điện thoại di động giúp người dùng tạo email hoặc tin nhắn chuyên nghiệp bằng cách chia nội dung thành các khối chức năng (ví dụ: lời chào, nội dung chính, kết luận). Hệ thống sẽ tự động tối ưu hóa từng khối dựa trên mục tiêu cụ thể và đồng thời cung cấp chỉ số độ tự tin về hiệu quả của từng phần, cho phép người dùng dễ dàng chỉnh sửa hoặc chọn lựa các phương án tốt nhất cho tin nhắn của mình.
Một ứng dụng học tập thông minh trên điện thoại giúp học sinh giải các bài toán phức tạp. Ứng dụng này sẽ phân tích quá trình giải của học sinh thành từng bước (phân đoạn) và cung cấp phản hồi chi tiết về độ chính xác của mỗi bước cùng với mức độ tự tin. Nếu phát hiện một bước sai, ứng dụng có thể gợi ý một lần thử thứ hai được tối ưu hóa để khắc phục lỗi mà không cần học sinh phải làm lại từ đầu.
Một tính năng hỗ trợ viết mã hoặc kịch bản tự động trên điện thoại cho phép người dùng tạo ra các đoạn mã hoặc lệnh theo từng khối chức năng. Hệ thống không chỉ tạo ra mã mà còn đánh giá mức độ chính xác của từng khối (ví dụ: đúng cú pháp, đạt được mục tiêu nhỏ) và hiển thị độ tự tin. Điều này giúp người dùng phát hiện và sửa lỗi ở từng phần nhỏ của mã mà không cần phải chạy toàn bộ chương trình để kiểm tra.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.10231
ArXiv Abstract	https://arxiv.org/abs/2602.10231
PDF Download	https://arxiv.org/pdf/2602.10231.pdf
Github Repository	N/A

📰 Summary of Papers
1. Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters (162 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. GENIUS: Generative Fluid Intelligence Evaluation Suite (45 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. PhyCritic: Multimodal Critic Models for Physical AI (47 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. ASA: Training-Free Representation Engineering for Tool-Calling Agents (39 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. Towards Autonomous Mathematics Research (29 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning (25 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. G-LNS: Generative Large Neighborhood Search for LLM-Based Automatic Heuristic Design (25 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. FeatureBench: Benchmarking Agentic Coding for Complex Feature Development (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. Internalizing Meta-Experience into Memory for Guided Reinforcement Learning in Large Language Models (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. ROCKET: Rapid Optimization via Calibration-guided Knapsack Enhanced Truncation for Efficient Model Compression (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. Online Causal Kalman Filtering for Stable and Effective Policy Optimization (14 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. GameDevBench: Evaluating Agentic Capabilities Through Game Development (12 votes)
- I. Main Problem:
- I. Main Problem:
- II. Main Idea:
- II. Main Idea:
- III. Main Results:
- III. Main Results:
- IV. Conclusion & Future Works:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. LiveMedBench: A Contamination-Free Medical Benchmark for LLMs with Automated Rubric Evaluation (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. Ex-Omni: Enabling 3D Facial Animation Generation for Omni-modal Large Language Models (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. ECHO-2: A Large-Scale Distributed Rollout Framework for Cost-Efficient Reinforcement Learning (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. The Pensieve Paradigm: Stateful Language Models Mastering Their Own Context (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. CLI-Gym: Scalable CLI Task Generation via Agentic Environment Inversion (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. Blockwise Advantage Estimation for Multi-Objective RL with Verifiable Rewards (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters (162 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. GENIUS: Generative Fluid Intelligence Evaluation Suite (45 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. PhyCritic: Multimodal Critic Models for Physical AI (47 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. ASA: Training-Free Representation Engineering for Tool-Calling Agents (39 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. Towards Autonomous Mathematics Research (29 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning (25 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning (24 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions (24 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. G-LNS: Generative Large Neighborhood Search for LLM-Based Automatic Heuristic Design (25 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters (162 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. GENIUS: Generative Fluid Intelligence Evaluation Suite (45 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. PhyCritic: Multimodal Critic Models for Physical AI (47 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. ASA: Training-Free Representation Engineering for Tool-Calling Agents (39 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. Towards Autonomous Mathematics Research (29 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning (25 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning (24 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions (24 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. G-LNS: Generative Large Neighborhood Search for LLM-Based Automatic Heuristic Design (25 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: