🤗 Daily Hugging Face Paper Digest - 2026-02-17

Báo cáo được tạo tự động vào lúc 2026-02-23 08:46:11 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. Experiential Reinforcement Learning (63 votes)

Tác giả: Taiwei Shi, Sihao Chen, Bowen Jiang, Linxin Song, Longqi Yang, Jieyu Zhao

Xuất bản lúc: 2026-02-15

Tag: Reinforcement Learning, LLMs, Self-Reflection, Experiential Learning, Policy Optimization, Distillation, Agentic AI

I. Main Problem:

Các mô hình ngôn ngữ (LMs) gặp khó khăn trong việc học từ phản hồi thưa thớt và chậm trễ trong các môi trường học tăng cường (RL). Chúng phải suy luận một cách ngầm định cách chuyển đổi các thất bại quan sát được thành những thay đổi hành vi cho các lần lặp sau, dẫn đến quá trình học không ổn định và kém hiệu quả về mẫu, đặc biệt trong các tác vụ lý luận đa bước của tác nhân AI.

II. Main Idea:

Tác giả giới thiệu Học tăng cường trải nghiệm (Experiential Reinforcement Learning - ERL), một mô hình huấn luyện tích hợp một vòng lặp "trải nghiệm–phản tư–củng cố" rõ ràng vào quá trình học tăng cường. Cụ thể, mô hình tạo ra một nỗ lực ban đầu, nhận phản hồi từ môi trường, sau đó tạo ra một phản tư để hướng dẫn một nỗ lực thứ hai được cải tiến. Sự thành công của nỗ lực thứ hai này được tăng cường và nội hóa vào chính sách cơ sở thông qua quá trình chưng cất (self-distillation). Quá trình này chuyển đổi phản hồi thành việc điều chỉnh hành vi có cấu trúc, cải thiện khả năng khám phá và ổn định tối ưu hóa, đồng thời duy trì các cải tiến khi triển khai mà không tốn thêm chi phí suy luận. ERL cũng sử dụng bộ nhớ phản tư liên-tập (cross-episode reflection memory) để lưu trữ các mẫu sửa chữa thành công.

III. Main Results:

ERL liên tục cải thiện hiệu quả học tập và hiệu suất cuối cùng so với các phương pháp học tăng cường mạnh mẽ (RLVR) trên các môi trường điều khiển phần thưởng thưa thớt và các điểm chuẩn lý luận tác nhân. ERL đạt được mức tăng trưởng đáng kể: lên tới +81% ở Sokoban, +27% ở FrozenLake và lên tới +11% ở HotpotQA. Các kết quả này cho thấy việc tích hợp phản tư rõ ràng vào quá trình huấn luyện chính sách cung cấp một cơ chế thực tế để chuyển đổi phản hồi thành cải thiện hành vi bền vững.

IV. Conclusion & Future Works:

Công trình này giới thiệu Học tăng cường trải nghiệm (ERL), một mô hình huấn luyện kết hợp giai đoạn trải nghiệm–phản tư–củng cố rõ ràng vào vòng lặp học tăng cường để chuyển đổi phản hồi môi trường thành sửa chữa hành vi có cấu trúc. Bằng cách kết hợp sửa đổi có hướng dẫn phản tư với nội hóa chọn lọc, ERL cho phép các mô hình đạt được sự cải thiện hành vi bền vững mà không cần chi phí suy luận bổ sung. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc khám phá các cơ chế phản tư và nội hóa phức tạp hơn, cũng như áp dụng ERL cho các tác vụ tác nhân AI phức tạp hơn trong các môi trường thực tế.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược tạo phản tư (reflection prompting strategies) và định dạng phản tư khác nhau để tối ưu hóa chất lượng và hiệu quả của phản tư tự thân trong ERL.
Khám phá các cơ chế thích ứng cho bộ nhớ phản tư liên-tập (cross-episode reflection memory), chẳng hạn như cơ chế quên hoặc lưu trữ chọn lọc dựa trên tính hữu dụng, để ngăn chặn sự lan truyền của các phản tư không chính xác trong các môi trường phức tạp.
Mở rộng ERL sang các thiết lập đa tác nhân (multi-agent settings) nơi các tác nhân học hỏi từ phản tư tự thân và phản tư từ các tác nhân khác để cải thiện các tác vụ hợp tác hoặc cạnh tranh.

2. Patent:

Hệ thống trợ lý thông minh tự học cho điện thoại di động: Một hệ thống trên điện thoại di động giúp người dùng tự động hóa các tác vụ đa bước (ví dụ: đặt vé máy bay, mua sắm). Nếu lần thử ban đầu của trợ lý không chính xác, người dùng sẽ cung cấp phản hồi. Hệ thống sẽ tự phản tư và điều chỉnh lại cho lần thử tiếp theo. Các điều chỉnh thành công sẽ được lưu trữ để trợ lý thực hiện tốt hơn trong tương lai mà không cần người dùng sửa lỗi rõ ràng cho các tác vụ tương tự.
Ứng dụng huấn luyện cá nhân hóa cho điện thoại di động: Một ứng dụng di động hướng dẫn người dùng học các kỹ năng mới (ví dụ: lập trình, học ngôn ngữ). Khi người dùng mắc lỗi, ứng dụng sẽ cung cấp phản hồi, khuyến khích người dùng tự phản tư về lỗi của mình và đề xuất một cách tiếp cận đã được sửa đổi. Ứng dụng sau đó sẽ nội hóa các mẫu học tập thành công này để đưa ra hướng dẫn phù hợp hơn cho các bài tập trong tương lai, cải thiện hiệu quả học tập.
Hệ thống tạo nội dung thích ứng cho ứng dụng sáng tạo trên di động: Một ứng dụng di động để tạo nội dung sáng tạo (ví dụ: viết truyện, thiết kế đồ họa). Nếu nội dung do AI tạo ra ban đầu không đáp ứng mong đợi của người dùng, người dùng sẽ cung cấp phản hồi đơn giản (ví dụ: thích/không thích hoặc phản hồi bằng văn bản). Ứng dụng sau đó sẽ phản tư về phản hồi này để tạo ra một phiên bản đã sửa đổi. Theo thời gian, ứng dụng học hỏi từ những sửa đổi thành công này để tạo ra nội dung chất lượng cao hơn, phù hợp với phong cách và sở thích của người dùng một cách trực tiếp mà không cần luôn có vòng lặp phản hồi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.13949
ArXiv Abstract	https://arxiv.org/abs/2602.13949
PDF Download	https://arxiv.org/pdf/2602.13949.pdf
Github Repository	N/A

2. DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories (51 votes)

Tác giả: Chenlong Deng, Mengjie Deng, Junjie Wu, Dun Zeng, Teng Wang, Qingsong Xie, Jiadeng Huang, Shengjie Ma, Changwang Zhang, Zhaoxiang Wang, Jun Wang, Yutao Zhu, Zhicheng Dou

Xuất bản lúc: 2026-02-11

Tag: Multimodal Agents, Image Retrieval, Context-Aware, Visual Histories, Benchmarking, Vision-Language Models, Agentic Reasoning

I. Main Problem:

Các hệ thống truy xuất đa phương thức hiện có tập trung vào khớp ngữ nghĩa độc lập, bỏ qua các mối quan hệ phức tạp trong chuỗi hình ảnh thực tế, nơi thông tin được phân tán theo trình tự thời gian. Điều này gây khó khăn khi xử lý các ý định phức tạp của người dùng đòi hỏi thông tin phân tán qua các chuỗi hình ảnh theo thời gian hoặc nhân quả, cần suy luận đa bước. Việc xây dựng các truy vấn phụ thuộc ngữ cảnh cho các benchmark cũng gặp thách thức về khả năng mở rộng và gánh nặng nhận thức cho người chú thích thủ công. Các mô hình hiện tại vẫn gặp khó khăn với việc khám phá dài hạn và liên kết giữa các sự kiện.

II. Main Idea:

Nghiên cứu giới thiệu DeepImageSearch, một mô hình tác nhân mới cải tổ việc truy xuất hình ảnh thành một nhiệm vụ khám phá tự động. Các mô hình phải lập kế hoạch và thực hiện suy luận đa bước trên lịch sử hình ảnh thô để định vị mục tiêu dựa trên các tín hiệu ngữ cảnh ngầm. Để giải quyết vấn đề này, DISBench được xây dựng, một benchmark thách thức dựa trên dữ liệu hình ảnh liên kết. Để khắc phục thách thức về khả năng mở rộng khi tạo các truy vấn phụ thuộc ngữ cảnh, một quy trình hợp tác giữa người và mô hình được đề xuất, sử dụng các mô hình thị giác-ngôn ngữ để khai thác các liên kết không gian-thời gian tiềm ẩn trước khi con người xác minh. Ngoài ra, một khung tác nhân cơ sở mạnh mẽ (ImageSeeker) được xây dựng, trang bị các công cụ chi tiết và hệ thống bộ nhớ kép (bộ nhớ trạng thái rõ ràng thông qua tập hợp ảnh và bộ nhớ ngữ cảnh nén) để điều hướng dài hạn.

III. Main Results:

DISBench đặt ra những thách thức đáng kể cho các mô hình hiện đại. Mô hình hoạt động tốt nhất đạt EM-score chỉ 28.7 và F1 55.0, cho thấy các mô hình mạnh mẽ vẫn gặp khó khăn trong việc xác định đầy đủ các tập mục tiêu. Các truy vấn liên sự kiện (Inter-Event queries) khó hơn đáng kể so với truy vấn nội sự kiện (Intra-Event queries) đối với các mô hình mạnh hơn. Các phương pháp truy xuất trực tiếp dựa trên nhúng (embedding-based) cho kết quả kém (Recall@3 khoảng 10-14%, NDCG@5 chỉ 13-17%), cho thấy giới hạn cơ bản của chúng trong các tác vụ nhận biết ngữ cảnh. Nghiên cứu cắt bỏ (ablation study) xác nhận rằng tất cả các thành phần của khung ImageSeeker đều đóng góp tích cực, đặc biệt là các công cụ siêu dữ liệu và bộ nhớ trạng thái rõ ràng. Việc tăng cường thời gian kiểm tra (test-time scaling) cải thiện hiệu suất, đặc biệt là Best@k (từ 35.4 lên 60.8 F1), nhưng việc lựa chọn đường dẫn suy luận mạnh mẽ vẫn là một thách thức. Phân tích lỗi cho thấy lỗi "Reasoning Breakdown" là loại lỗi chiếm ưu thế (36–50%), cùng với lỗi "Visual Discrimination", "Episode Misgrounding" và "Clue Mislocalization", nhấn mạnh nhu cầu cải thiện khả năng lập kế hoạch, theo dõi ràng buộc và quản lý trạng thái.

IV. Conclusion & Future Works:

Bài báo giới thiệu DeepImageSearch, một mô hình mới thúc đẩy truy xuất hình ảnh từ khớp ngữ nghĩa độc lập sang suy luận ngữ cảnh cấp độ tập dữ liệu trên lịch sử hình ảnh. DISBench được xây dựng thông qua một quy trình bán tự động kết hợp khám phá ngữ cảnh do mô hình điều khiển với xác minh của con người. Các thí nghiệm cho thấy nhiệm vụ này đặt ra những thách thức đáng kể cho các mô hình hiện đại, xác nhận rằng suy luận ngữ cảnh trên lịch sử hình ảnh vẫn là một vấn đề mở. Chúng tôi hy vọng công trình này sẽ truyền cảm hứng cho nghiên cứu trong tương lai về các hệ thống truy xuất dựa trên tác nhân. Các hướng nghiên cứu trong tương lai bao gồm cải thiện khả năng lập kế hoạch, theo dõi ràng buộc và quản lý trạng thái. Về mặt xã hội, khả năng suy luận trên lịch sử hình ảnh cá nhân có tiềm năng ứng dụng trong hỗ trợ trí nhớ, tổ chức kho lưu trữ gia đình và bảo tồn di sản số, đồng thời cần cân nhắc các vấn đề riêng tư.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao khả năng lập kế hoạch và theo dõi ràng buộc cho tác nhân đa phương thức trong các tác vụ khám phá lịch sử hình ảnh dài hạn: Nghiên cứu các kiến trúc tác nhân mới hoặc kỹ thuật prompt engineering tiên tiến để cải thiện khả năng lập kế hoạch đa bước và duy trì các ràng buộc phức tạp của mô hình trong quá trình khám phá lịch sử hình ảnh.
Phát triển cơ chế bộ nhớ thông minh và thích ứng cho tác nhân tìm kiếm hình ảnh dựa trên ngữ cảnh: Khám phá các hệ thống bộ nhớ tiên tiến hơn có khả năng nén thông tin hiệu quả và truy xuất ngữ cảnh liên quan một cách linh hoạt, đặc biệt để xử lý các truy vấn Inter-Event đòi hỏi liên kết thông tin giữa các sự kiện xa nhau.
Cải thiện khả năng phân biệt thị giác tinh vi và định vị manh mối trong lịch sử hình ảnh: Tập trung vào việc tăng cường độ chính xác trong nhận dạng thực thể, phân biệt các đối tượng tương tự và định vị manh mối trong ngữ cảnh không gian-thời gian để giảm thiểu các lỗi liên quan đến "Visual Discrimination", "Episode Misgrounding" và "Clue Mislocalization".

2. Patent:

Một hệ thống tìm kiếm ảnh trên điện thoại di động có khả năng hiểu các truy vấn phức tạp dựa trên ngữ cảnh. Thay vì chỉ tìm kiếm dựa trên mô tả trực tiếp của một bức ảnh, hệ thống này sẽ phân tích toàn bộ lịch sử ảnh của người dùng, bao gồm các sự kiện, thời gian và mối quan hệ giữa các đối tượng. Ví dụ, người dùng có thể hỏi "Tìm tất cả ảnh về buổi hòa nhạc mà tôi đã đến nơi có logo sự kiện màu xanh và trắng, và chỉ có ca sĩ chính trên sân khấu". Hệ thống sẽ tự động xác định buổi hòa nhạc đó dựa trên logo, sau đó lọc các ảnh trong sự kiện đó để tìm ra những bức chỉ có ca sĩ chính.
Một ứng dụng tổ chức ảnh thông minh trên điện thoại di động có khả năng tự động nhóm và gắn thẻ ảnh dựa trên các mối liên hệ ngầm giữa các sự kiện. Ứng dụng này sẽ sử dụng các manh mối thị giác và thông tin siêu dữ liệu (như địa điểm, thời gian) để nhận diện các đối tượng hoặc sự kiện lặp lại qua các bộ ảnh khác nhau của người dùng. Chẳng hạn, nếu người dùng có nhiều chuyến đi đến cùng một bảo tàng và chụp ảnh cùng một bức tượng, ứng dụng sẽ tự động liên kết các bức ảnh này, tạo ra một "câu chuyện" về bức tượng đó qua các chuyến đi, giúp người dùng dễ dàng tìm lại và hồi tưởng các kỷ niệm liên quan.
Một trợ lý ảnh cá nhân trên điện thoại di động có khả năng gợi ý thông tin và kết nối các kỷ niệm dựa trên ngữ cảnh lịch sử thị giác. Khi người dùng xem một bức ảnh, hệ thống sẽ không chỉ hiển thị thông tin cơ bản về ảnh đó mà còn phân tích mối liên hệ của nó với các ảnh khác trong thư viện của họ. Ví dụ, nếu người dùng đang xem ảnh một cây cầu, hệ thống có thể gợi ý "Bạn đã chụp cây cầu này trong chuyến đi đến thành phố X vào năm ngoái" và hiển thị các ảnh khác của cây cầu đó hoặc các ảnh khác trong chuyến đi đó, giúp người dùng khám phá lại các kỷ niệm và hiểu rõ hơn về bối cảnh của bức ảnh hiện tại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.10809
ArXiv Abstract	https://arxiv.org/abs/2602.10809
PDF Download	https://arxiv.org/pdf/2602.10809.pdf
Github Repository	https://github.com/RUC-NLPIR/DeepImageSearch

3. BitDance: Scaling Autoregressive Generative Models with Binary Tokens (44 votes)

Tác giả: Yuang Ai, Jiaming Han, Shaobin Zhuang, Weijia Mao, Xuefeng Hu, Ziyan Yang, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen

Xuất bản lúc: 2026-02-15

Tag: Autoregressive Models, Generative Models, Image Generation, Diffusion Models, Binary Tokens, Text-to-Image, VQ, VAEs

I. Main Problem:

Việc áp dụng mô hình tự hồi quy (AR) vào tạo ảnh gặp phải nhiều thách thức. Các token hình ảnh cần đủ biểu cảm để nắm bắt nội dung phong phú nhưng cũng phải được điều hòa để hạn chế lỗi tích lũy. Các mô hình AR rời rạc hiện có (dựa trên Vector Quantization - VQ) thường bị suy giảm chất lượng tái tạo do khó khăn trong việc mở rộng vốn từ vựng hình ảnh. Ngược lại, các mô hình AR liên tục (dựa trên VAE) đạt được khả năng tái tạo vượt trội nhưng không gian tiềm ẩn không bị ràng buộc của chúng thường dẫn đến tích lũy lỗi nghiêm trọng. Hơn nữa, bản chất tuần tự của việc tạo token theo từng token tạo ra nút thắt cổ chai đáng kể về hiệu quả suy luận, đặc biệt khi độ phân giải hình ảnh tăng lên. Việc lấy mẫu từ không gian token khổng lồ (ví dụ: 2^256 trạng thái) rất khó khăn với phân loại tiêu chuẩn, và các phương pháp AR song song hiện có thường không thể mô hình hóa phân phối chung của các token được dự đoán song song, dẫn đến sự không nhất quán giữa huấn luyện và suy luận.

II. Main Idea:

BitDance là một khuôn khổ tự hồi quy đơn giản nhưng có khả năng mở rộng, giải quyết các thách thức trên thông qua ba thành phần chính:

Bộ mã hóa nhị phân với vốn từ vựng lớn (large-vocabulary binary tokenizer): Lấy cảm hứng từ những tiến bộ gần đây trong lượng tử hóa nhị phân, BitDance mở rộng entropy của các biểu diễn nhị phân, tăng kích thước vốn từ vựng lên tới 2^256. Điều này tạo ra một biểu diễn rời rạc nhỏ gọn nhưng có tính biểu cảm cao, vượt trội so với VAE liên tục về độ trung thực tái tạo. Để giải quyết nút thắt cổ chai tính toán khi mở rộng vốn từ vựng, BitDance sử dụng chiến lược LFQ theo nhóm (group-wise LFQ).
Đầu khuếch tán nhị phân (binary diffusion head): Để giải quyết vấn đề lấy mẫu từ không gian token khổng lồ, BitDance sử dụng một đầu khuếch tán nhị phân. Thay vì dự đoán một chỉ số bằng softmax, nó sử dụng khuếch tán trong không gian liên tục để tạo ra các token nhị phân. Các token nhị phân được nhúng dưới dạng các đỉnh của một siêu khối trong không gian liên tục và phân phối của chúng được mô hình hóa bằng mục tiêu khuếch tán (Rectified Flow, tối ưu hóa bằng x-prediction với hàm mất mát velocity-matching). Trong quá trình suy luận, một ràng buộc nhị phân hóa cứng được áp dụng để chiếu dự đoán liên tục trở lại siêu khối nhị phân, giúp tránh tích lũy lỗi.
Khuếch tán vá tiếp theo (next-patch diffusion): Đây là một phương pháp giải mã mới cho phép dự đoán nhiều token song song với độ chính xác cao, tăng tốc đáng kể quá trình suy luận. Tận dụng sự phụ thuộc không gian trong hình ảnh, BitDance dự đoán nhiều token trong một 'patch' cục bộ cùng lúc. Không giống như các phương pháp AR song song trước đây chỉ lấy mẫu độc lập, BitDance mở rộng đầu khuếch tán nhị phân để mô hình hóa phân phối chung của các token được tạo song song, đảm bảo tính nhất quán cấu trúc và hiệu quả.

III. Main Results:

Trên ImageNet 256x256, BitDance đạt FID 1.24, tốt nhất trong số các mô hình AR.
Với next-patch diffusion, BitDance (260M tham số) vượt trội hơn các mô hình AR song song tiên tiến (1.4B tham số), sử dụng ít hơn 5.4 lần tham số và đạt tốc độ nhanh hơn 8.7 lần.
Đối với tạo ảnh từ văn bản 1024x1024, BitDance đạt tốc độ nhanh hơn hơn 30 lần so với các mô hình AR trước đây.
Về độ trung thực tái tạo, bộ mã hóa nhị phân của BitDance vượt trội so với các VAE liên tục, ngay cả ở tỷ lệ nén cao hơn (ví dụ: BitDance-Tok (Ours) Discrete 16, 2^32, CR 192, PSNR 24.90, SSIM 0.72 vượt trội SD-VAE (Continuous 8, CR 24, PSNR 23.54, SSIM 0.68)).
Đạt được các điểm số tiên tiến mới trong tổng hợp văn bản thành hình ảnh: 0.86 trên GenEval, 88.28 trên DPG-Bench, 0.532 trên OneIG-EN và 0.512 trên OneIG-ZH.

IV. Conclusion & Future Works:

BitDance chứng minh tính khả thi của việc mở rộng entropy token để tạo ra hình ảnh chất lượng cao, mang lại những hiểu biết mới về không gian thiết kế của mô hình tự hồi quy hình ảnh. Đầu khuếch tán nhị phân giải quyết các nút thắt cổ chai trong việc lấy mẫu từ vốn từ vựng hình ảnh lớn và tạo điều kiện cho việc dự đoán song song chính xác và hiệu quả thông qua phương pháp khuếch tán vá tiếp theo. Các thí nghiệm rộng rãi trên tạo ảnh có điều kiện lớp và tạo ảnh từ văn bản cho thấy BitDance mang lại khả năng mở rộng đặc biệt, đạt được chất lượng tạo ảnh vượt trội với tốc độ suy luận cao. Công trình này mở ra hướng nghiên cứu sâu hơn về các mô hình nền tảng AR.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các sơ đồ lượng tử hóa nhị phân mới để tăng cường mã hóa hình ảnh và khả năng mở rộng vốn từ vựng cho các mô hình tự hồi quy, khám phá các phương pháp phân bổ bit thích ứng hoặc biểu diễn nhị phân đa cấp.
Phát triển các chiến lược khuếch tán vá tiếp theo thích ứng (Adaptive Next-Patch Diffusion) có khả năng điều chỉnh động kích thước vá hoặc thứ tự dự đoán dựa trên độ phức tạp nội dung hình ảnh, nhằm tối ưu hóa tốc độ suy luận mà không ảnh hưởng đến chất lượng, đặc biệt cho các vùng chi tiết cao.
Mở rộng ứng dụng của đầu khuếch tán nhị phân sang các lĩnh vực đa phương thức (multi-modal) như tạo video hoặc dữ liệu 3D, giải quyết các thách thức của không gian tiềm ẩn rời rạc chiều cao trong các miền này cho các tác vụ tự hồi quy phức tạp hơn.

2. Patent:

Hệ thống tạo ảnh thông minh trên điện thoại di động với khả năng tạo ảnh nhanh và chất lượng cao: Ứng dụng công nghệ BitDance để cho phép người dùng điện thoại tạo ra các hình ảnh chất lượng cao từ văn bản (text-to-image) hoặc từ các điều kiện khác (class-conditional) một cách nhanh chóng. Thay vì xử lý từng pixel hoặc token một cách tuần tự, hệ thống này sẽ sử dụng kỹ thuật 'next-patch diffusion' để tạo ra nhiều phần của ảnh cùng lúc, giúp giảm đáng kể thời gian chờ đợi. Người dùng có thể nhanh chóng tạo ra hình ảnh cho mục đích cá nhân, thiết kế đồ họa đơn giản, hoặc thậm chí là ảnh đại diện (avatar) tùy chỉnh.
Công nghệ nén và biểu diễn hình ảnh hiệu quả cho lưu trữ và truyền tải trên thiết bị di động: Phát triển một phương pháp sử dụng 'binary visual tokens' để nén hình ảnh trên điện thoại di động. Thay vì lưu trữ hình ảnh dưới dạng pixel thông thường, hình ảnh được mã hóa thành các chuỗi token nhị phân nhỏ gọn nhưng vẫn giữ được chi tiết cao. Điều này giúp giảm dung lượng lưu trữ ảnh trên điện thoại và tăng tốc độ truyền tải ảnh qua mạng, đặc biệt hữu ích khi chia sẻ ảnh độ phân giải cao hoặc khi lưu trữ một lượng lớn ảnh.
Phương pháp tối ưu hóa tạo ảnh AI trên chip di động với bộ nhớ hạn chế: Thiết kế một thuật toán tạo ảnh dựa trên BitDance được tinh chỉnh đặc biệt cho các bộ xử lý AI trên điện thoại di động, vốn có tài nguyên tính toán và bộ nhớ hạn hạn chế. Sử dụng 'binary diffusion head' để giảm gánh nặng tính toán khi lấy mẫu từ không gian token lớn, cùng với các kỹ thuật tối ưu hóa mô hình (ví dụ: lượng tử hóa, cắt tỉa) để đảm bảo mô hình có thể chạy mượt mà và hiệu quả trên phần cứng di động mà không làm giảm đáng kể chất lượng ảnh đầu ra.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.14041
ArXiv Abstract	https://arxiv.org/abs/2602.14041
PDF Download	https://arxiv.org/pdf/2602.14041.pdf
Github Repository	https://github.com/shallowdream204/BitDance

4. Nanbeige4.1-3B: A Small General Model that Reasons, Aligns, and Acts (26 votes)

Tác giả: Chen Yang, Guangyue Peng, Jiaying Zhu, Ran Le, Ruixiang Feng, Tao Zhang, Xiyun Xu, Yang Song, Yiming Jia, Yuntao Wen, Yunzhi Xu, Zekai Wang, Zhenwei An, Zhicong Sun, Zongchao Chen

Xuất bản lúc: 2026-02-13

Tag: LLMs, SLMs, Reinforcement Learning, Code Generation, Agentic AI, Deep Search, Reward Modeling, Preference Alignment, Multi-task Learning

I. Main Problem:

Hầu hết các mô hình ngôn ngữ nhỏ (SLM) hiện có đều thể hiện khả năng rời rạc: các mô hình tập trung vào lý luận thường gặp khó khăn với các tương tác dài hạn (ví dụ: tìm kiếm sâu), trong khi các mô hình chuyên biệt về mã hóa hoặc tác tử thường thiếu khả năng lý luận tổng quát mạnh mẽ, như viết sáng tạo hoặc căn chỉnh theo sở thích của con người. Thách thức đặt ra là xây dựng một mô hình tổng quát thống nhất thực sự ở quy mô 3 tỷ tham số mà không làm giảm đi những điểm mạnh hiện có của nó.

II. Main Idea:

Nanbeige4.1-3B được đề xuất như một mô hình ngôn ngữ tổng quát thống nhất chỉ với 3 tỷ tham số, đạt được hành vi tác tử mạnh mẽ, tạo mã và lý luận tổng quát. Để cải thiện lý luận và căn chỉnh sở thích, mô hình kết hợp mô hình hóa phần thưởng điểm-điểm (point-wise) và cặp-cặp (pair-wise). Đối với tạo mã, mô hình thiết kế các phần thưởng nhận biết độ phức tạp trong học tăng cường (Reinforcement Learning - RL) để tối ưu hóa cả tính đúng đắn và hiệu quả. Trong tìm kiếm sâu, mô hình thực hiện tổng hợp dữ liệu phức tạp và tích hợp giám sát cấp độ lượt (turn-level supervision) trong quá trình huấn luyện, cho phép tương tác công cụ ổn định, dài hạn. Toàn bộ quá trình đào tạo sử dụng kết hợp dữ liệu SFT cẩn thận và học tăng cường nhiều giai đoạn để duy trì sự cân bằng giữa các miền.

III. Main Results:

Nanbeige4.1-3B vượt trội đáng kể so với các mô hình cùng quy mô (Nanbeige4-3B-2511, Qwen3-4B) và thậm chí đạt hiệu suất vượt trội so với các mô hình lớn hơn nhiều (Qwen3-30B-A3B-2507, Qwen3-32B) trong lý luận, tạo mã và tìm kiếm sâu. Mô hình có khả năng thực hiện tới 600 lượt gọi công cụ cho việc giải quyết vấn đề phức tạp. Trong các thử thách mã hóa thực tế (LeetCode Weekly Contests), Nanbeige4.1-3B đạt tỷ lệ đỗ 85.0%, đứng thứ 1 và 3 trong các cuộc thi ảo. Trong các tác vụ tìm kiếm sâu, mô hình đạt kết quả tiên tiến (SOTA) trên hầu hết các điểm chuẩn (ví dụ: GAIA 69.90, xBench-DeepSearch-05 75.00, SEAL-0 41.44), ngang bằng hoặc vượt trội so với nhiều tác tử nghiên cứu lớn hơn và các mô hình nền tảng lớn.

IV. Conclusion & Future Works:

Nanbeige4.1-3B là một mô hình tổng quát thống nhất với các khả năng nâng cao về lý luận, tạo mã và tìm kiếm dài hạn, đạt được thông qua mô hình hóa phần thưởng tích hợp, tối ưu hóa tạo mã cho cả tính đúng đắn và hiệu quả tính toán, cùng với lập kế hoạch tác tử dài hạn mạnh mẽ. Các hướng nghiên cứu trong tương lai bao gồm:

Đẩy mạnh giới hạn của các mô hình nhỏ trong các kịch bản mã hóa phức tạp và tác tử nghiên cứu.
Cải thiện hiệu quả suy luận bằng cách cho phép giải quyết tác vụ với đầu ra ngắn hơn và ít lời gọi công cụ hơn.
Khám phá các đổi mới kiến trúc để nâng cao hơn nữa tiềm năng của mô hình tổng quát nhỏ gọn.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa hiệu suất suy luận cho các mô hình ngôn ngữ nhỏ (SLMs) thông qua việc tạo ra đầu ra ngắn gọn và giảm thiểu lời gọi công cụ: Nghiên cứu các phương pháp và kiến trúc mới để các SLM có thể đạt được kết quả chính xác với số lượng từ/token đầu ra ít hơn và giảm số lần tương tác với các công cụ bên ngoài, từ đó cải thiện tốc độ và hiệu quả tài nguyên.
Phát triển kiến trúc mô hình ngôn ngữ nhỏ đa năng với khả năng học tập liên tục và thích ứng theo ngữ cảnh: Khám phá các thiết kế kiến trúc mới cho SLM cho phép chúng duy trì và cải thiện các khả năng đa nhiệm (lý luận, viết mã, hành động) đồng thời thích nghi linh hoạt với các miền và nhiệm vụ mới mà không cần đào tạo lại toàn bộ.
Mô hình tác tử nghiên cứu tích hợp đa phương thức cho SLMs: Mở rộng khả năng tác tử của các mô hình nhỏ để xử lý các tác vụ nghiên cứu phức tạp hơn, bao gồm việc tích hợp thông tin từ nhiều nguồn (văn bản, hình ảnh, âm thanh) và thực hiện các kế hoạch hành động dài hạn trong môi trường tương tác.

2. Patent:

Hệ thống trợ lý mã hóa thông minh trên điện thoại di động: Một ứng dụng di động tích hợp trợ lý mã hóa có khả năng không chỉ hoàn thành mã và sửa lỗi mà còn đề xuất các giải pháp tối ưu về mặt hiệu suất (ví dụ: thời gian chạy, bộ nhớ) cho người dùng. Hệ thống này sẽ phân tích mã nguồn được nhập trên điện thoại, đưa ra phản hồi thời gian thực và gợi ý cải thiện để mã chạy nhanh hơn và hiệu quả hơn, phù hợp cho các nhà phát triển hoặc sinh viên học lập trình trên thiết bị di động.
Trợ lý tìm kiếm sâu và hành động đa nhiệm trên điện thoại thông minh: Một tính năng trên điện thoại cho phép người dùng đưa ra các yêu cầu phức tạp (ví dụ: "Tìm chuyến bay rẻ nhất đến Paris vào tháng sau, sau đó đặt phòng khách sạn gần tháp Eiffel và thêm vào lịch của tôi") và trợ lý sẽ tự động thực hiện nhiều bước tìm kiếm thông tin, tương tác với các ứng dụng khác (đặt vé, đặt phòng, lịch) và hoàn thành tác vụ mà không cần người dùng can thiệp từng bước.
Ứng dụng học tập cá nhân hóa với khả năng giải thích và sửa lỗi chi tiết trên di động: Một ứng dụng giáo dục trên điện thoại di động sử dụng AI để giải thích các khái niệm toán học, khoa học hoặc lập trình theo nhiều bước, cung cấp các gợi ý giải quyết vấn đề và chỉ ra lỗi sai một cách chi tiết, giống như một gia sư cá nhân. Ứng dụng sẽ học hỏi từ phong cách học tập và lỗi thường gặp của người dùng để đưa ra phản hồi và bài tập phù hợp nhất.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.13367
ArXiv Abstract	https://arxiv.org/abs/2602.13367
PDF Download	https://arxiv.org/pdf/2602.13367.pdf
Github Repository	N/A

5. STATe-of-Thoughts: Structured Action Templates for Tree-of-Thoughts (20 votes)

Tác giả: Zachary Bamberger, Till R. Saenger, Gilad Morad, Ofra Amir, Brandon M. Stewart, Amir Feder

Xuất bản lúc: 2026-02-15

Tag: LLMs, Reasoning, Search Algorithms, Interpretable AI, Generative AI, Diversity, Control

I. Main Problem:

Các phương pháp Inference-Time-Compute (ITC) hiện có như Best-of-N và Tree-of-Thoughts (ToT) thường sử dụng kỹ thuật lấy mẫu nhiệt độ cao, nhưng lại không tạo ra sự đa dạng đầu ra có ý nghĩa. Hơn nữa, các phương pháp ITC này cung cấp khả năng kiểm soát hạn chế đối với cách thức thực hiện suy luận, làm giảm khả năng giải thích. Các quyết định về nội dung và cách thức diễn đạt vẫn còn tiềm ẩn trong quá trình giải mã, dẫn đến ít thông tin chi tiết về các mẫu quyết định dẫn đến thành công hay thất bại. Các triển khai ToT truyền thống cũng gặp phải hạn chế khi các nhánh có xu hướng tập trung vào nội dung tương tự và thiếu cơ chế dừng thích ứng.

II. Main Idea:

STATe-of-Thoughts (STATe) là một phương pháp ITC có khả năng giải thích, tìm kiếm trên các mẫu suy luận cấp cao. STATe thay thế việc lấy mẫu ngẫu nhiên bằng các can thiệp văn bản rời rạc và có thể giải thích: một bộ điều khiển (controller) chọn các hành động mã hóa các lựa chọn suy luận cấp cao; một bộ tạo (generator) tạo ra các bước suy luận dựa trên các lựa chọn đó; và một bộ đánh giá (evaluator) chấm điểm các ứng viên để hướng dẫn tìm kiếm (beam search). Cách tiếp cận có cấu trúc này mang lại ba lợi thế chính: (1) Các can thiệp văn bản được hướng dẫn bởi hành động tạo ra sự đa dạng phản hồi lớn hơn so với lấy mẫu dựa trên nhiệt độ. (2) Trong nghiên cứu điển hình về tạo lập luận, các chuỗi hành động rõ ràng của STATe thu được các đặc điểm có thể giải thích, có khả năng dự đoán cao về chất lượng đầu ra. (3) Việc ước tính mối liên hệ giữa hiệu suất và các lựa chọn hành động cho phép xác định các vùng đầy hứa hẹn nhưng chưa được khám phá trong không gian hành động và hướng tạo lập trực tiếp đến chúng. STATe mở rộng ToT bằng cách sử dụng các mẫu hành động rời rạc để đa dạng hóa các nhánh trong tìm kiếm cây, các bộ đánh giá LLM-as-a-Judge có thể kiểm chứng và chuyên biệt theo nhiệm vụ, và theo dõi các hành động dọc theo quỹ đạo để phân tích hệ thống các yếu tố thúc đẩy hiệu suất. STATe hoạt động theo chu trình Plan→Generate→Evaluate→Select mô-đun và sử dụng thuật toán tìm kiếm chùm (beam search).

III. Main Results:

Trên NoveltyBench, STATe tạo ra số lượng đầu ra khác biệt về mặt ngữ nghĩa nhiều gấp đôi so với phương pháp cơ sở tốt nhất trên bảy LLM từ ba họ mô hình (Qwen3, Nemotron-3, và Ministral-3), chứng minh khả năng đa dạng hóa đầu ra vượt trội. Trong nghiên cứu điển hình về tạo lập luận, các đặc điểm hành động tuần tự có khả năng dự đoán cao về chất lượng lập luận trên dữ liệu thử nghiệm, cho thấy tính khả giải thích và kiểm soát của phương pháp. Việc lựa chọn quỹ đạo được hướng dẫn bởi mô hình cho phép tạo ra các đầu ra chất lượng cao từ các vùng không gian hành động đầy hứa hẹn nhưng chưa được khám phá.

IV. Conclusion & Future Works:

STATe được xác lập là một khuôn khổ thực tiễn để tạo ra văn bản chất lượng cao, đa dạng và có thể giải thích. Công trình này đang chờ cấp bằng sáng chế. Các hướng nghiên cứu trong tương lai có thể bao gồm việc chuyển từ phân tích mối liên hệ sang phân tích nguyên nhân để hiểu rõ hơn về tác động của các lựa chọn hành động, cũng như thiết kế không gian hành động rộng hơn để nắm bắt nhiều chiến lược có thể có và khám phá cách các hành động này ảnh hưởng đến chất lượng lập luận được cảm nhận bởi các đối tượng mục tiêu khác nhau.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu tác động nhân quả của các lựa chọn hành động lên chất lượng và tính đa dạng của đầu ra trong các hệ thống suy luận thời gian thực, vượt qua phân tích mối liên hệ hiện tại.
Phát triển các phương pháp tự động thiết kế không gian hành động và mẫu hành động có thể thích ứng cho các nhiệm vụ tạo văn bản khác nhau và đối tượng mục tiêu cụ thể.
Khám phá và tối ưu hóa các chế độ tổng hợp (synthesis modes) khác nhau để cân bằng giữa việc tuân thủ cấu trúc hành động và chất lượng/sự trôi chảy của văn bản đầu ra cuối cùng.

2. Patent:

Ứng dụng Trợ lý Viết Sáng tạo Có Hướng dẫn trên Điện thoại: Một ứng dụng di động sử dụng AI để hỗ trợ người dùng viết các câu chuyện, bài luận hoặc email bằng cách đưa ra các "gợi ý hành động" có cấu trúc (ví dụ: "Bắt đầu bằng một câu hỏi tu từ," "Đưa ra bằng chứng hỗ trợ," hoặc "Thêm một ví dụ cụ thể"). Người dùng chọn một hành động từ danh sách gợi ý và AI sẽ tự động tạo ra phần tiếp theo của văn bản theo hướng đó, giúp tạo ra nội dung đa dạng, chất lượng cao và có cấu trúc rõ ràng.
Hệ thống Tạo Nội dung Học tập Cá nhân hóa Động trên Điện thoại: Một hệ thống trên điện thoại di động tạo ra các bài giảng, giải thích hoặc câu hỏi thực hành tùy chỉnh cho người học. Thay vì nội dung cố định, AI sử dụng các "khung hành động" như "Giải thích khái niệm X một cách đơn giản," "Cung cấp một ví dụ tương tự," hoặc "Đưa ra một bài tập thực hành độ khó Y." Điều này cho phép tạo ra các lộ trình học tập đa dạng và phù hợp hơn với nhu cầu và phong cách học của từng cá nhân.
Trợ lý Ảo Có Khả năng Giải thích Quyết định trên Điện thoại: Một trợ lý ảo hoặc chatbot trên điện thoại thông minh có khả năng không chỉ đưa ra phản hồi mà còn giải thích "lý do" đằng sau các quyết định hoặc khuyến nghị của nó. Ví dụ, khi AI đưa ra một lời khuyên, nó có thể hiển thị một "chuỗi suy luận" (ví dụ: "Tôi đã chọn đưa ra lời khuyên này vì bạn đã đề cập đến 'rủi ro' và 'hậu quả' trong câu hỏi của bạn"), giúp người dùng hiểu rõ hơn về quá trình tư duy của AI và tăng cường sự tin cậy.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.14265
ArXiv Abstract	https://arxiv.org/abs/2602.14265
PDF Download	https://arxiv.org/pdf/2602.14265.pdf
Github Repository	https://github.com/zbambergerNLP/state-of-thoughts

6. REDSearcher: A Scalable and Cost-Efficient Framework for Long-Horizon Search Agents (20 votes)

Tác giả: Zheng Chu, Xiao Wang, Jack Hong, Huiming Fan, Yuqi Huang, Yue Yang, Guohai Xu, Chenxiao Zhao, Cheng Xiang, Shengchao Hu, Dongdong Kuang, Ming Liu, Bing Qin, Xing Yu

Xuất bản lúc: 2026-02-15

Tag: LLMs, Search Agents, Reinforcement Learning, Multimodal AI, Task Synthesis, Tool Use, Context Management

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) đang gặp thách thức lớn trong việc tối ưu hóa cho các tác vụ tìm kiếm sâu (deep search) và dài hạn. Nút thắt chính nằm ở sự khan hiếm cực độ của các quỹ đạo tìm kiếm chất lượng cao và tín hiệu phần thưởng, phát sinh từ khó khăn trong việc xây dựng các tác vụ dài hạn có thể mở rộng và chi phí cao của các lần chạy thử nghiệm tương tác nhiều, liên quan đến việc gọi các công cụ bên ngoài. Việc tối ưu hóa LLM cho độ sâu tìm kiếm bị cản trở bởi sự khan hiếm tín hiệu giám sát hiệu quả và chi phí tính toán, thời gian khổng lồ để thu thập các quỹ đạo tương tác chuyên sâu sử dụng công cụ bên ngoài.

II. Main Idea:

REDSearcher đề xuất một khuôn khổ thống nhất đồng thiết kế quá trình tổng hợp tác vụ phức tạp, huấn luyện giữa kỳ (mid-training) và huấn luyện sau kỳ (post-training) nhằm tối ưu hóa tác nhân tìm kiếm một cách có thể mở rộng và tiết kiệm chi phí. Các cải tiến chính bao gồm:

Tổng hợp tác vụ với ràng buộc kép: Định hình việc tổng hợp tác vụ như một bài toán tối ưu hóa với ràng buộc kép, trong đó độ khó của tác vụ được kiểm soát chính xác bởi cấu trúc đồ thị (treewidth) và sự phân tán bằng chứng (Minimum Source Dispersion - MSD), cho phép tạo ra các tác vụ phức tạp, chất lượng cao một cách có thể mở rộng.
Truy vấn tăng cường công cụ chủ động: Giới thiệu các truy vấn được tăng cường công cụ để khuyến khích việc sử dụng công cụ chủ động thay vì chỉ gọi lại thông tin thụ động. Các thực thể tĩnh được thay thế bằng các ràng buộc có thể giải quyết bằng công cụ (ví dụ: tên địa điểm thành ràng buộc định tuyến, tên người thành định danh dựa trên thuộc tính).
Huấn luyện giữa kỳ hiệu quả chi phí: Áp dụng chế độ huấn luyện giữa kỳ hai giai đoạn, tách biệt việc thu nhận các khả năng nguyên tử (kiến thức, lập kế hoạch, gọi hàm) khỏi việc thực thi tương tác. Giai đoạn đầu củng cố năng lực cốt lõi bằng dữ liệu tổng hợp, giảm đáng kể chi phí thu thập quỹ đạo chất lượng cao. Giai đoạn hai giới thiệu các vòng lặp sử dụng công cụ mô phỏng và quỹ đạo dài hạn để thu nhận phản hồi từ môi trường.
Môi trường mô phỏng tương đương chức năng: Xây dựng một môi trường mô phỏng cục bộ, nhẹ, bắt chước động lực web thực tế nhưng loại bỏ độ trễ và chi phí của các lệnh gọi API trực tiếp. Môi trường này cân bằng giữa khả năng giải quyết được đảm bảo và nhiễu gây nhiễu cao, cho phép lặp lại thuật toán nhanh chóng và chi phí thấp cho các thí nghiệm học tăng cường.

III. Main Results:

Phương pháp REDSearcher đạt hiệu suất vượt trội (state-of-the-art) trên cả các tiêu chuẩn tác nhân tìm kiếm chỉ văn bản và đa phương thức. Các kết quả benchmark (như trong Hình 1) cho thấy REDSearcher vượt trội so với các mô hình khác như TongyiDR, WebResearcher, WebSailor-V2, GPT-5-Thinking-High, Gemini3-Pro, Qwen2.5-VL-72B, Qwen3-VL-30B, Qwen3-VL-235B và Gemini2.5-Flash trên các tập dữ liệu BrowseComp và GAIAHLE. Trong nghiên cứu chất lượng, hơn 85% các trường hợp tác vụ tổng hợp vượt qua kiểm định tính nhất quán logic và đủ căn cứ. Mô hình DeepSeek-V3.2 đạt khoảng 40% độ chính xác trong cài đặt tác nhân tiêu chuẩn của REDSearcher. Với ngân sách tìm kiếm 30 phút, người chú thích giải quyết được 47% các trường hợp, cho thấy dữ liệu vừa có thể giải quyết được nhưng vẫn đầy thách thức cho cả mô hình và con người trong ngân sách tương tác thực tế. Để tạo điều kiện cho nghiên cứu trong tương lai, nhóm sẽ phát hành 10K quỹ đạo tìm kiếm văn bản phức tạp chất lượng cao, 5K quỹ đạo đa phương thức và 1K bộ truy vấn RL văn bản, cùng với mã nguồn và các điểm kiểm tra mô hình.

IV. Conclusion & Future Works:

REDSearcher là một khuôn khổ hiệu quả và có thể mở rộng để tối ưu hóa các tác nhân tìm kiếm dài hạn, giải quyết các thách thức về sự khan hiếm tín hiệu giám sát và chi phí cao của tương tác công cụ. Khung này đồng thiết kế việc tổng hợp tác vụ, huấn luyện giữa kỳ và huấn luyện sau kỳ để đạt được hiệu suất vượt trội trên các tiêu chuẩn tìm kiếm. Để thúc đẩy nghiên cứu trong tương lai về các tác nhân tìm kiếm dài hạn, nhóm sẽ phát hành các bộ dữ liệu quỹ đạo tìm kiếm chất lượng cao (văn bản và đa phương thức) và bộ truy vấn RL, cùng với mã nguồn và các điểm kiểm tra mô hình.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chỉ số độ phức tạp mới cho tác vụ tìm kiếm dài hạn: Khám phá và định lượng các chỉ số độ phức tạp cho tác vụ tìm kiếm dài hạn ngoài treewidth và Minimum Source Dispersion, đặc biệt là các chỉ số liên quan đến sự mơ hồ của thông tin, sự thay đổi mục tiêu trong quá trình tìm kiếm, hoặc các ràng buộc về thời gian/tài nguyên. Đề xuất một khuôn khổ đánh giá toàn diện hơn về độ khó tác vụ.
Phát triển phương pháp huấn luyện tăng cường dựa trên môi trường mô phỏng đa phương thức: Nghiên cứu sâu hơn về việc sử dụng môi trường mô phỏng để huấn luyện các tác nhân tìm kiếm đa phương thức (text-image) bằng học tăng cường. Tập trung vào việc tạo ra các môi trường mô phỏng có khả năng bắt chước chân thực các tương tác đa phương thức thực tế, bao gồm cả việc tạo ra nhiễu và các tình huống bất ngờ, nhằm cải thiện khả năng thích ứng và mạnh mẽ của tác nhân trong thế giới thực.
Tối ưu hóa chiến lược quản lý ngữ cảnh động cho tác nhân tìm kiếm: Phát triển các chiến lược quản lý ngữ cảnh thông minh hơn cho các tác nhân tìm kiếm dài hạn, vượt qua phương pháp 'Discard-all' đơn giản. Nghiên cứu các phương pháp nén, tóm tắt hoặc ưu tiên thông tin trong ngữ cảnh để duy trì các ràng buộc và thông tin quan trọng qua nhiều bước tương tác, giảm thiểu chi phí tính toán và cải thiện hiệu suất trong các tác vụ yêu cầu bộ nhớ dài hạn.

2. Patent:

Hệ thống trợ lý tìm kiếm thông minh đa bước cho điện thoại di động: Một ứng dụng trên điện thoại di động giúp người dùng giải quyết các câu hỏi phức tạp bằng cách tự động thực hiện nhiều bước tìm kiếm và tổng hợp thông tin. Ví dụ, khi người dùng hỏi "Tìm bộ phim năm 1990 của đạo diễn X, trong đó con gái của ông ấy đóng vai con gái của nhân vật chính, và cho tôi biết các rạp chiếu gần đây", hệ thống sẽ tự động sử dụng công cụ tìm kiếm web, cơ sở dữ liệu phim và bản đồ, sau đó tổng hợp thông tin để đưa ra câu trả lời chi tiết và các tùy chọn rạp chiếu. Ứng dụng này sẽ học cách "suy nghĩ" như một người tìm kiếm chuyên nghiệp, chủ động xác định các bước cần thiết và công cụ phù hợp để đạt được mục tiêu cuối cùng của người dùng.
Công cụ tạo bài tập tìm kiếm thông tin cá nhân hóa: Một tính năng trên điện thoại thông minh hoặc ứng dụng giáo dục cho phép giáo viên, phụ huynh hoặc học sinh tạo ra các bài tập tìm kiếm thông tin có độ khó tùy chỉnh. Người dùng có thể thiết lập các tiêu chí như số lượng nguồn cần tham khảo, độ phức tạp của mối quan hệ thông tin (ví dụ: cần kết nối 3 sự kiện khác nhau để trả lời) hoặc yêu cầu sử dụng các công cụ cụ thể (ví dụ: bản đồ, từ điển). Hệ thống sẽ tự động tạo ra các câu hỏi phù hợp, đồng thời đảm bảo rằng các thông tin cần thiết để giải quyết được phân tán qua nhiều nguồn, buộc người học phải thực hiện tìm kiếm sâu và tổng hợp, nâng cao kỹ năng nghiên cứu.
Trợ lý du lịch và khám phá đa phương thức: Một ứng dụng di động cho phép người dùng chụp ảnh một địa điểm hoặc vật thể (ví dụ: một di tích lịch sử, một loài cây lạ) và đặt câu hỏi kết hợp cả hình ảnh và văn bản (ví dụ: "Đây là gì? Ai đã xây dựng nó? Có bảo tàng nào gần đây trưng bày các hiện vật tương tự không?"). Ứng dụng sẽ sử dụng khả năng phân tích hình ảnh để nhận diện đối tượng, sau đó kết hợp với tìm kiếm văn bản và công cụ bản đồ để cung cấp thông tin chi tiết, lịch sử, vị trí các địa điểm liên quan và thậm chí là chỉ dẫn đường đi. Điều này giúp người dùng khám phá thế giới xung quanh một cách tương tác và thông minh hơn, biến điện thoại thành một hướng dẫn viên cá nhân.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.14234
ArXiv Abstract	https://arxiv.org/abs/2602.14234
PDF Download	https://arxiv.org/pdf/2602.14234.pdf
Github Repository	https://github.com/RedSearchAgent/REDSearcher

7. Query as Anchor: Scenario-Adaptive User Representation via Large Language Model (18 votes)

Tác giả: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Ziyi Gao, Xiaotong Lin, Yun Liu, Xing Fu, Yu Cheng, Yongchao Liu, Weiqiang Wang, Zhongle Xie

Xuất bản lúc: 2026-02-16

Tag: User Representation, User Embedding, LLMs, Contrastive Learning, Soft Prompt Tuning, KV-cache, Recommendation Systems, Financial Technology

I. Main Problem:

Học biểu diễn người dùng ở quy mô công nghiệp gặp khó khăn trong việc cân bằng tính phổ quát mạnh mẽ với độ nhạy bén theo nhiệm vụ cụ thể. Các phương pháp hiện có thường tạo ra các embedding tĩnh, không nhạy cảm với nhiệm vụ, khó dung hòa các yêu cầu khác nhau của các kịch bản hạ nguồn trong một không gian vector thống nhất. Hơn nữa, dữ liệu đa nguồn không đồng nhất còn gây ra nhiễu và xung đột phương thức, làm giảm chất lượng biểu diễn. Cụ thể, có ba thách thức chính: (1) Khả năng thích ứng kịch bản và tổng quát hóa xuyên nhiệm vụ còn hạn chế; (2) Khoảng cách về phương thức và ngữ nghĩa giữa hành vi người dùng thưa thớt, mang tính biểu tượng với dữ liệu tập trung vào ngôn ngữ của LLM; (3) Tích hợp dữ liệu không đồng nhất ở quy mô lớn mà không gây ra chi phí suy luận quá cao.

II. Main Idea:

Các tác giả đề xuất Query-as-Anchor, một khuôn khổ chuyển đổi mô hình người dùng từ mã hóa tĩnh sang tổng hợp động, nhận biết truy vấn. Để trang bị cho LLM khả năng hiểu người dùng sâu sắc, họ xây dựng UserU, một tập dữ liệu tiền huấn luyện quy mô công nghiệp, căn chỉnh các chuỗi hành vi đa phương thức với ngữ nghĩa hiểu người dùng thông qua dự đoán hành vi tương lai và giám sát dựa trên QA. Kiến trúc Q-Anchor Embedding tích hợp các bộ mã hóa phân cấp từ thô đến tinh vào LLM tháp đôi thông qua tối ưu hóa đối sánh-tự hồi quy chung để tạo ra biểu diễn người dùng nhận biết truy vấn. Để thu hẹp khoảng cách giữa tiền huấn luyện tổng quát và logic nghiệp vụ chuyên biệt, họ giới thiệu Cluster-based Soft Prompt Tuning để củng cố cấu trúc tiềm ẩn phân biệt, điều chỉnh sự chú ý của mô hình với các phương thức cụ thể theo kịch bản. Để triển khai, việc neo truy vấn vào cuối chuỗi cho phép suy luận tăng tốc bằng KV-cache với độ trễ tăng thêm không đáng kể.

III. Main Results:

Các đánh giá trên 10 bộ dữ liệu benchmark công nghiệp của Alipay cho thấy hiệu suất SOTA nhất quán, khả năng mở rộng mạnh mẽ và triển khai hiệu quả. Q-Anchor (Prompt Tuned) đạt hiệu suất tốt nhất trên tất cả 10 benchmark, với AUC trung bình là 0.8225 và KS là 0.5267, vượt trội hơn baseline mạnh nhất là Llama-Embed-Nemotron-8B tới +0.0737 (+9.84%) về AUC và +0.1462 (+38.4%) về KS. Khả năng biểu diễn xuyên miền mạnh mẽ chứng minh Query-as-Anchor là mô hình "một-cho-nhiều". Q-Anchor (Base) mở rộng hiệu quả hơn với dữ liệu so với tham số mô hình, trong khi Q-Anchor (Prompt Tuned) mở rộng hiệu quả với prompt token và bước huấn luyện, bão hòa sớm. Điều chỉnh theo kịch bản (prompt tuning) hoạt động như một bộ nhân hiệu suất, với sự thay đổi chú ý phương thức có thể giải thích được (ví dụ: tăng +26.0% chú ý đến Bill cho Takeout Interest). Thử nghiệm A/B trực tuyến quy mô lớn tại Alipay trong hai kịch bản thực tế đã xác nhận hiệu quả thực tiễn: tăng tỷ lệ rút tiền mặt 12.5% và số dư nợ trung bình 5.3% trong kịch bản IVR Cash-Reserve Outreach; cải thiện điểm KS 1.96% trong kịch bản Credit Delinquency Risk Identification. Hệ thống có khả năng triển khai hiệu quả ở quy mô Alipay với hàng trăm triệu người dùng nhờ tối ưu hóa KV-cache.

IV. Conclusion & Future Works:

Q-Anchor Embedding là một khuôn khổ thống nhất cho biểu diễn người dùng công nghiệp, thu hẹp khoảng cách giữa các nhật ký hành vi thưa thớt, nhiễu, không đồng nhất và biểu diễn ngữ nghĩa cấp LLM. Các đóng góp chính bao gồm: (1) UserU, một tập dữ liệu tiền huấn luyện quy mô công nghiệp kết hợp giám sát hành vi tương lai dựa trên quy tắc với QA người dùng tổng hợp được xác minh bằng phản hồi; (2) Query-as-Anchor, một bộ mã hóa người dùng phân cấp từ thô đến tinh và mô hình căn chỉnh điều kiện truy vấn; và (3) tái neo ngữ nghĩa thông qua soft prompt nhẹ. Q-Anchor đạt SOTA AUC và KS, đồng thời cho phép biểu diễn người dùng công nghiệp dễ hiểu, thích ứng theo kịch bản, chi phí thấp và có thể chuyển giao. Tất cả các thí nghiệm tuân thủ chính sách bảo mật và quản trị dữ liệu của Alipay.

V. Brainstorming Space:

1. Publish Papers:

Mô hình hóa Hành vi Người dùng Xuyên miền với Truy vấn Đa phương thức: Nghiên cứu mở rộng khuôn khổ Query-as-Anchor để xử lý các truy vấn phức tạp bao gồm nhiều phương thức (ví dụ: hình ảnh, giọng nói) thay vì chỉ văn bản, cho phép biểu diễn người dùng thích ứng theo kịch bản trong các ứng dụng đa phương tiện hoặc thực tế tăng cường.
Học Biểu diễn Mục tiêu Động cho Hệ thống Gợi ý: Phát triển một phương pháp sử dụng cơ chế Query-as-Anchor để tạo ra các embedding mục tiêu (item embeddings) thích ứng với ngữ cảnh, nơi truy vấn không chỉ là ý định của người dùng mà còn là đặc điểm của các mục đã tương tác, cải thiện độ chính xác và khả năng giải thích của hệ thống gợi ý.
Thích ứng Liên tục Biểu diễn Người dùng trong Môi trường Thay đổi: Điều tra các kỹ thuật học tăng cường hoặc học liên tục để cho phép mô hình Query-as-Anchor tự động cập nhật và thích ứng với các thay đổi hành vi người dùng và kịch bản mới theo thời gian thực, giảm thiểu nhu cầu huấn luyện lại toàn bộ mô hình và duy trì hiệu suất trong các hệ thống động.

2. Patent:

Hệ thống cá nhân hóa giao diện điện thoại thông minh theo ngữ cảnh: Một tính năng điện thoại thông minh tự động điều chỉnh bố cục ứng dụng, widget và cài đặt hệ thống (ví dụ: chế độ âm thanh, độ sáng màn hình) dựa trên ngữ cảnh hiện tại và ý định dự đoán của người dùng. Ví dụ, khi người dùng mở ứng dụng ngân hàng và có lịch sử giao dịch thanh toán hóa đơn, điện thoại sẽ tự động neo các tùy chọn "thanh toán hóa đơn" hoặc "kiểm tra số dư" lên hàng đầu, thay vì các tùy chọn ít liên quan hơn.
Hệ thống thông báo thông minh dựa trên ý định người dùng: Một công nghệ di động phân tích hành vi người dùng và các yếu tố môi trường để xác định ý định hoặc nhu cầu hiện tại của người dùng. Dựa trên đó, các thông báo từ các ứng dụng khác nhau sẽ được "neo" vào ý định đó, hiển thị một cách có chọn lọc và với nội dung được điều chỉnh để tăng mức độ phù hợp và giảm phiền nhiễu. Ví dụ, nếu điện thoại nhận thấy người dùng đang tìm kiếm thông tin về "du lịch", nó có thể ưu tiên hiển thị thông báo từ ứng dụng đặt vé hoặc khách sạn thay vì thông báo tin tức chung chung.
Trợ lý tài chính di động chủ động thích ứng: Một ứng dụng trợ lý tài chính trên điện thoại sử dụng dữ liệu hành vi chi tiêu của người dùng để "neo" các truy vấn về mục tiêu tài chính (ví dụ: "tiết kiệm cho chuyến đi", "trả nợ") và đưa ra các gợi ý cá nhân hóa. Nó có thể chủ động đề xuất các hành động như chuyển tiền vào tài khoản tiết kiệm, nhắc nhở thanh toán hóa đơn sắp tới với số tiền ước tính, hoặc cảnh báo về chi tiêu vượt mức trong một danh mục cụ thể, tất cả đều dựa trên sự hiểu biết động về tình hình tài chính và mục tiêu của người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.14492
ArXiv Abstract	https://arxiv.org/abs/2602.14492
PDF Download	https://arxiv.org/pdf/2602.14492.pdf
Github Repository	https://github.com/JhCircle/Q-Anchor

8. InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem (16 votes)

Tác giả: Shuofei Qiao, Yunxiang Wei, Xuehai Wang, Bin Wu, Boyang Xue, Ningyu Zhang, Hossein A. Rahmani, Yanshan Wang, Qiang Zhang, Keyan Ding, Jeff Z. Pan, Huajun Chen, Emine Yilmaz

Xuất bản lúc: 2026-02-16

Tag: LLMs, AI, Evaluation, Knowledge Retrieval, Multi-agent Systems, Scientific Discovery

I. Main Problem:

Sự phát triển nhanh chóng của các Mô hình Ngôn ngữ lớn (LLMs) đã thúc đẩy việc tạo ra các ý tưởng khoa học với số lượng lớn chưa từng có, nhưng khả năng đánh giá ý tưởng lại không theo kịp. Các phương pháp đánh giá ý tưởng hiện có thường gặp phải các vấn đề như: * chân trời kiến thức hẹp (chỉ giới hạn trong các bài báo tĩnh, bỏ qua "kiến thức sống" từ các hệ sinh thái nghiên cứu đa dạng); * các chiều đánh giá bị làm phẳng (nén sự phức tạp của ý tưởng thành một hoặc hai chiều, không cung cấp phản hồi hữu ích); và * thiên vị cố hữu trong cách sử dụng LLM làm trọng tài (thiếu sự cân nhắc đa chiều từ các quan điểm chuyên môn khác nhau). Việc đánh giá khoa học lý tưởng đòi hỏi phải có nền tảng kiến thức vững chắc, sự cân nhắc tập thể và ra quyết định đa tiêu chí, điều mà các phương pháp hiện tại chưa đáp ứng được.

II. Main Idea:

Để giải quyết các thách thức trên, chúng tôi coi việc đánh giá ý tưởng là một vấn đề suy luận đa chiều, dựa trên kiến thức và giới thiệu InnoEval – một khuôn khổ đánh giá đổi mới sâu sắc được thiết kế để mô phỏng quá trình đánh giá ý tưởng ở cấp độ con người. InnoEval bao gồm ba thành phần chính: * Công cụ tìm kiếm kiến thức sâu không đồng nhất: Truy xuất và làm rõ bằng chứng động từ nhiều nguồn trực tuyến đa dạng (tài liệu học thuật, web, kho mã nguồn), kết hợp tìm kiếm nhanh và đọc chậm để đạt hiệu quả và hiệu suất. Nó sử dụng chiến lược tìm kiếm lặp đi lặp lại với tinh chỉnh truy vấn và xếp hạng lai để lọc kiến thức chất lượng cao. * Hội đồng đánh giá đổi mới: Mô phỏng sự cân nhắc tập thể bằng cách lấy mẫu các nhà đánh giá với nền tảng, chuyên môn và sở thích học thuật khác nhau từ một nhóm persona học thuật được tuyển chọn kỹ lưỡng, giúp giảm thiểu sự thiên vị của một trọng tài duy nhất. * Đánh giá đa chiều tách rời: Hỗ trợ đánh giá đa tiêu chí có thể tùy chỉnh trên năm chiều ban đầu (Rõ ràng, Tính mới, Khả thi, Tính hợp lệ, Ý nghĩa), mỗi chiều được đánh giá bởi một tác nhân đánh giá chuyên biệt dựa trên cả kiến thức đã truy xuất và kiến thức nội bộ của chính nó. Cuối cùng, tất cả các đánh giá này được tổng hợp thành một báo cáo hành động, cung cấp bằng chứng kiến thức được trích dẫn, phân tích và điểm số đánh giá có cấu trúc, đánh giá tổng hợp và các đề xuất cải tiến cụ thể.

III. Main Results:

InnoEval đã thể hiện hiệu suất vượt trội so với các phương pháp cơ sở trên tất cả các tác vụ: * Trong các tác vụ đánh giá điểm-đơn (point-wise), InnoEval vượt trội hơn phương pháp cơ sở mạnh nhất 16.18% điểm F1 trong dự đoán ba lớp, đạt 75.74% và 74.56% F1 score. * Trong so sánh cặp-đôi (pair-wise), độ chính xác tăng khoảng 5%. * Trong xếp hạng nhóm (group-wise), độ chính xác tăng 7.56%. * Về chất lượng định tính, các báo cáo đánh giá của InnoEval đạt tỷ lệ thắng trên 70% so với tất cả các phương pháp cơ sở về "Chất lượng tổng thể". * Đánh giá của con người cho thấy điểm số của InnoEval có mối tương quan cao (≥ 0.5 Pearson r) với đánh giá của chuyên gia và bình duyệt thực tế trên cả năm tiêu chí. * Các nghiên cứu cắt bỏ (ablation studies) xác nhận hiệu quả của từng mô-đun đề xuất (mô-đun làm rõ kiến thức, đánh giá cá nhân hóa và tìm kiếm đa dạng nguồn). * Phân tích chuyên sâu chỉ ra rằng tính mới là yếu tố quan trọng nhất quyết định sự chấp nhận của một ý tưởng, trong khi để đạt được trạng thái nổi bật (highlight) yêu cầu sự phát triển toàn diện trên tất cả các chiều. Mối quan hệ giữa các chiều đánh giá cũng phù hợp với nhận thức của con người.

IV. Conclusion & Future Works:

Chúng tôi giới thiệu InnoEval, một khuôn khổ đánh giá ý tưởng sâu sắc để đạt được đánh giá đổi mới đa chiều, đa quan điểm dựa trên kiến thức không đồng nhất. Chúng tôi đã xây dựng bộ dữ liệu đánh giá ý tưởng hỗ trợ đánh giá điểm-đơn, cặp-đôi và nhóm, kết hợp các chiến lược đánh giá định lượng, định tính và con người. Các thí nghiệm cung cấp những phát hiện sâu sắc cho nghiên cứu trong tương lai của cộng đồng. Mặc dù InnoEval có tiềm năng tăng tốc đánh giá đổi mới và giảm công sức của con người, nhưng cần chú ý đến các cân nhắc về đạo đức và xã hội. Nội dung do LLM tạo ra có thể chứa ảo giác và thông tin không đáng tin cậy. Do đó, chúng tôi không khuyến khích việc phụ thuộc quá mức vào nó. Thay vào đó, chúng tôi thúc đẩy một mô hình hợp tác giữa con người và AI, nơi InnoEval đóng vai trò là công cụ hỗ trợ cho việc ra quyết định của con người, tăng cường chứ không thay thế chuyên môn của con người. Người dùng nên xem xét kỹ lưỡng nội dung được tạo ra. Chúng tôi sẽ mở mã nguồn khuôn khổ và dữ liệu đánh giá để tăng cường tính minh bạch của hệ thống. Một hướng nghiên cứu tiềm năng trong tương lai là cải thiện mối tương quan của tiêu chí "Ý nghĩa", vốn có tính phức tạp nội tại cao hơn.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao độ tin cậy của đánh giá ý tưởng do AI tạo ra thông qua phát hiện và giảm thiểu ảo giác: Phát triển các kỹ thuật mới để xác định và giảm thiểu các ảo giác hoặc thông tin không đáng tin cậy trong các báo cáo đánh giá được tạo bởi LLM, có thể thông qua các cơ chế kiểm tra chéo kiến thức hoặc tích hợp phản hồi của con người theo vòng lặp để tăng cường độ chính xác và đáng tin cậy của hệ thống đánh giá AI.
Đánh giá ý tưởng thích ứng theo miền và mức độ trưởng thành của ý tưởng: Nghiên cứu cách tự động điều chỉnh các persona đánh giá và mức độ che giấu kiến thức dựa trên miền chuyên môn cụ thể (ví dụ: y học, kỹ thuật) và mức độ trưởng thành của ý tưởng nghiên cứu (ví dụ: giả thuyết sơ bộ so với đề xuất hoàn chỉnh), nhằm nâng cao tính chân thực và độ chính xác của quá trình đánh giá đa quan điểm.
Khám phá mối quan hệ động giữa các chiều đánh giá để dự đoán tác động khoa học: Xây dựng mô hình dự đoán "Ý nghĩa" của một ý tưởng nghiên cứu bằng cách phân tích mối quan hệ tương hỗ và động lực giữa các chiều đánh giá khác (như Tính mới, Tính hợp lệ, Khả thi và Sự rõ ràng), đặc biệt tập trung vào các tình huống mà các chiều này có thể mâu thuẫn hoặc củng cố lẫn nhau, nhằm cung cấp cái nhìn sâu sắc hơn về tiềm năng đột phá của ý tưởng.

2. Patent:

Ứng dụng di động "Người đánh giá ý tưởng cá nhân": Một ứng dụng trên điện thoại di động cho phép người dùng nhập các ý tưởng (ví dụ: ý tưởng khởi nghiệp, tính năng ứng dụng mới, dự án cá nhân). Ứng dụng sẽ tự động tìm kiếm thông tin liên quan trên internet (tin tức công nghệ, diễn đàn, thị trường ứng dụng), phân tích ý tưởng dựa trên các tiêu chí như tính mới, khả thi, tác động thị trường và cung cấp báo cáo đánh giá chi tiết với các đề xuất cải tiến. Điều này giúp người dùng nhanh chóng nhận được phản hồi chuyên nghiệp mà không cần kiến thức chuyên sâu.
Hệ thống "Trợ lý nghiên cứu thông minh" trên di động: Một công cụ tích hợp vào điện thoại di động giúp sinh viên hoặc nhà nghiên cứu phác thảo một chủ đề nghiên cứu hoặc ý tưởng bài báo. Hệ thống sẽ tự động truy xuất các tài liệu học thuật, thảo luận trực tuyến và mã nguồn mở liên quan, sau đó tóm tắt các phát hiện, xác định các khoảng trống nghiên cứu tiềm năng và đề xuất các hướng nghiên cứu tiếp theo. Ứng dụng này sẽ giúp tăng tốc quá trình tìm kiếm và tổng hợp thông tin, biến điện thoại thành một trung tâm nghiên cứu cá nhân.
Công cụ "Đánh giá lộ trình học tập cá nhân" trên di động: Ứng dụng này cho phép người dùng nhập mục tiêu học tập (ví dụ: học lập trình AI, thành thạo một ngôn ngữ mới) và các nguồn tài liệu học tập dự kiến (khóa học trực tuyến, sách, hướng dẫn). Ứng dụng sẽ đánh giá "ý tưởng" về lộ trình học tập này bằng cách so sánh với các yêu cầu ngành, kinh nghiệm của người học khác và ý kiến chuyên gia (mô phỏng các persona), sau đó cung cấp điểm số về sự rõ ràng, tính hợp lệ, khả thi và ý nghĩa của kế hoạch học tập, kèm theo các gợi ý tùy chỉnh để tối ưu hóa quá trình học.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.14367
ArXiv Abstract	https://arxiv.org/abs/2602.14367
PDF Download	https://arxiv.org/pdf/2602.14367.pdf
Github Repository	https://github.com/zjunlp/InnoEval

9. Data Darwinism Part I: Unlocking the Value of Scientific Data for Pre-training (15 votes)

Tác giả: Yiwei Qin, Zhen Huang, Tiantian Mi, Weiye Si, Chenyang Zhou, Qipeng Guo, Siyuan Feng, Pengfei Liu

Xuất bản lúc: 2026-02-08

Tag: Foundation Models, Data Processing, Pre-training, Scientific Data, LLMs, Data Quality, Data Curation

I. Main Problem:

Chất lượng dữ liệu huấn luyện là yếu tố cơ bản quyết định hiệu suất của các mô hình nền tảng, tuy nhiên, lĩnh vực này thiếu các khung hệ thống để xử lý dữ liệu. Sự thiếu vắng một phân loại thống nhất khiến các nhà thực hành phải dựa vào các thử nghiệm ngẫu hứng, cản trở khả năng tái tạo và làm mờ đi mối quan hệ có nguyên tắc giữa các phép biến đổi dữ liệu cụ thể và khả năng của mô hình. Đặc biệt, tài liệu khoa học là một lĩnh vực có mật độ khái niệm dày đặc nhưng lại chưa được tận dụng hiệu quả trong việc huấn luyện trước các mô hình mã nguồn mở do rào cản về khả năng học hỏi nghiêm trọng (learnability gap) của dữ liệu khoa học thô.

II. Main Idea:

Bài báo giới thiệu "Data Darwinism", một khung khái niệm xử lý dữ liệu như một quá trình tiến hóa không ngừng, không phải là một nhiệm vụ kỹ thuật một lần. Khung này bao gồm một hệ thống phân cấp mười cấp độ (L0–L9) để tổ chức các biến đổi dữ liệu từ việc lựa chọn đến tạo ra, từ bảo tồn đến biến đổi, và từ xử lý lấy con người làm trung tâm đến xử lý do máy móc điều khiển. Ý tưởng cốt lõi là dữ liệu "đồng tiến hóa" với các mô hình: các mô hình tiên tiến hơn cho phép xử lý dữ liệu tinh vi hơn, từ đó tạo ra dữ liệu huấn luyện chất lượng cao hơn cho các hệ thống thế hệ tiếp theo. Để kiểm chứng, họ xây dựng "Darwin-Science", một tập dữ liệu khoa học 900B token, triển khai các cấp độ L0–L5. Đặc biệt, L4 (Generative Refinement) được sử dụng để loại bỏ nhiễu và sửa chữa phân mảnh, và L5 (Cognitive Completion) để mở rộng suy luận ngầm, giải thích thuật ngữ và thêm các cầu nối sư phạm bằng cách sử dụng các LLM tiên tiến, nhằm khắc phục "khoảng cách học hỏi" của dữ liệu khoa học thô. Họ cũng thiết lập các thử nghiệm kiểm soát nghiêm ngặt với "Darwin-Science-Eval" (150K câu hỏi cấp chuyên gia) và huấn luyện các mô hình "daVinci-origin-3B/7B" hoàn toàn từ đầu trên 5.37T token không bao gồm nội dung khoa học để có các đường cơ sở không bị nhiễm bẩn.

III. Main Results:

Các kết quả cho thấy "Darwin-Science" vượt trội hơn các đường cơ sở lần lượt là +2.12 (3B) và +2.95 (7B) điểm trên hơn 20 bộ tiêu chuẩn đa dạng, và tăng cường lên +5.60 và +8.40 điểm trên bộ đánh giá phù hợp với lĩnh vực (Darwin-Science-Eval). Sự tiến triển theo hệ thống phân cấp từ L0 đến L5 mang lại tổng cộng +1.36 điểm cải thiện, trong đó L5 đóng góp +0.98 điểm, xác nhận rằng việc tăng cấp có hệ thống sẽ mở khóa giá trị tiềm ẩn của dữ liệu. Các lợi ích về hiệu suất vẫn duy trì và thậm chí tăng tốc trong suốt 600B token huấn luyện, không có dấu hiệu giảm dần. Các mô hình lớn hơn (7B so với 3B) thu được giá trị lớn hơn đáng kể từ dữ liệu khoa học (7B: +2.95 so với 3B: +2.12). Nghiên cứu cũng đưa ra các hướng dẫn thực tế: tỷ lệ nội dung khoa học 50% là tối ưu, chất lượng của mô hình giáo viên ảnh hưởng trực tiếp đến hiệu quả hoàn thiện nhận thức (Qwen3-235B mang lại +0.52 so với GPT-OSS-120B), và các điểm chuẩn phù hợp với lĩnh vực cho thấy mức tăng gấp 3 lần so với các đánh giá tiêu chuẩn.

IV. Conclusion & Future Works:

Công trình này giới thiệu "Data Darwinism", một khung khái niệm và lộ trình thực tế để thúc đẩy thế hệ hệ thống AI khoa học tiếp theo, dựa trên sự phát triển dữ liệu-mô hình đồng tiến hóa có nguyên tắc. Bằng cách mang lại trật tự lý thuyết cho lĩnh vực kỹ thuật dữ liệu đang bị phân mảnh và cung cấp bằng chứng cụ thể về việc mở khóa giá trị dựa trên hệ thống phân cấp, "Data Darwinism" cung cấp cả nền tảng khái niệm và lộ trình thực tế. Các hướng nghiên cứu trong tương lai có thể bao gồm việc khám phá và triển khai các cấp độ cao hơn của hệ thống phân cấp (L6-L9), chẳng hạn như "Contextual Completion" (Hoàn thiện theo ngữ cảnh), "Environment Synthesis" (Tổng hợp môi trường), "Ecosystem Synthesis" (Tổng hợp hệ sinh thái) và "World Synthesis" (Tổng hợp thế giới), để tạo ra dữ liệu huấn luyện ngày càng phức tạp và có giá trị hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu và triển khai các cấp độ cao hơn (L6-L9) của khung "Data Darwinism", đặc biệt tập trung vào việc tổng hợp môi trường tương tác (L7), hệ sinh thái đa tác nhân (L8) và các thế giới mô phỏng phức tạp (L9) để tạo ra dữ liệu huấn luyện động và phong phú hơn cho các mô hình AI.
Khảo sát khả năng áp dụng khung "Data Darwinism" cho các lĩnh vực có mật độ khái niệm cao khác ngoài tài liệu khoa học, ví dụ như tài liệu pháp lý, hồ sơ y tế chuyên sâu, hoặc hướng dẫn kỹ thuật phức tạp, để xác định tính tổng quát của "khoảng cách học hỏi" và hiệu quả của các phương pháp xử lý dữ liệu (L4, L5) trong các miền này.
Phát triển các phương pháp tự động tiên tiến để đánh giá chất lượng và hiệu quả của quá trình "Cognitive Completion" (L5) và "Generative Refinement" (L4), bao gồm việc sử dụng các mô hình ngôn ngữ lớn làm trọng tài (LLM-as-a-Judge) hoặc các giao thức đánh giá chuyên gia có cấu trúc để đảm bảo tính chính xác và giá trị sư phạm của dữ liệu được biến đổi.

2. Patent:

Hệ thống tóm tắt và đơn giản hóa tài liệu khoa học trên điện thoại di động: Một ứng dụng di động sử dụng công nghệ tương tự "Cognitive Completion" (L5) để tự động phân tích và tóm tắt các bài báo khoa học hoặc tài liệu kỹ thuật phức tạp thành các phiên bản dễ hiểu hơn. Ứng dụng sẽ giải thích các thuật ngữ chuyên ngành, mở rộng các bước suy luận ngầm thành các chuỗi logic rõ ràng và cung cấp các ví dụ hoặc phép loại suy đơn giản hóa, giúp người dùng di động dễ dàng tiếp cận kiến thức chuyên sâu.
Công cụ làm sạch tài liệu quét thông minh cho điện thoại: Một tính năng hoặc ứng dụng trên điện thoại di động sử dụng các kỹ thuật "Generative Refinement" (L4) để tự động làm sạch các tài liệu được quét bằng camera điện thoại (ví dụ: sách giáo khoa, ghi chú viết tay, tài liệu cũ). Nó sẽ loại bỏ các lỗi OCR, nhiễu không mong muốn (như dấu trang, số trang, hình ảnh nền), sửa chữa các đoạn văn bản bị phân mảnh hoặc định dạng bị hỏng, và chuẩn hóa văn bản để tối ưu hóa việc đọc và học tập trên màn hình nhỏ.
Trợ lý học tập cá nhân hóa với cầu nối kiến thức trên di động: Một ứng dụng di động tích hợp trợ lý học tập sử dụng "Pedagogical Bridging" (cầu nối sư phạm) từ cấp độ L5. Khi người dùng đang đọc một nội dung nào đó (sách điện tử, bài viết trực tuyến) và gặp phải một khái niệm hoặc thuật ngữ mới, trợ lý sẽ tự động nhận diện và cung cấp các giải thích liên quan, các ví dụ thực tế hoặc liên kết khái niệm đó với những kiến thức mà người dùng đã học trước đây, tạo ra một lộ trình học tập cá nhân hóa và dễ hiểu hơn ngay trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.07824
ArXiv Abstract	https://arxiv.org/abs/2602.07824
PDF Download	https://arxiv.org/pdf/2602.07824.pdf
Github Repository	https://github.com/GAIR-NLP/Data-Darwinism

10. Learning to Configure Agentic AI Systems (14 votes)

Tác giả: Aditya Taparia, Som Sagar, Ransalu Senanayake

Xuất bản lúc: 2026-02-12

Tag: LLMs, Reinforcement Learning, Agentic AI Systems, Hierarchical Reinforcement Learning, Prompt Optimization, Workflow Optimization, Multi-agent systems

I. Main Problem:

Việc cấu hình các hệ thống tác nhân dựa trên LLM hiện tại gặp nhiều thách thức do không gian thiết kế kết hợp lớn (quy trình làm việc, công cụ, ngân sách token và gợi ý). Các phương pháp hiện tại dựa vào các mẫu cố định hoặc các quy tắc được điều chỉnh thủ công, dẫn đến hành vi kém linh hoạt và tiêu tốn tài nguyên tính toán không cần thiết, vì cùng một cấu hình cồng kềnh thường được áp dụng cho cả các truy vấn dễ và khó. Điều này gây suy giảm hiệu suất trong ngữ cảnh dài ("hiện tượng lost-in-the-middle") và lãng phí tài nguyên khi áp dụng cho các tác vụ đơn giản.

II. Main Idea:

Các tác giả đã hình thành cấu hình tác nhân như một vấn đề quyết định theo từng truy vấn và giới thiệu ARC (Agentic Resource & Configuration learner), một chính sách phân cấp nhẹ được học bằng học tăng cường để điều chỉnh linh hoạt các cấu hình này. ARC sử dụng một khung học tăng cường phân cấp, trong đó một chính sách cấp cao chọn quy trình làm việc và công cụ, trong khi một chính sách cấp thấp hơn soạn thảo các hướng dẫn gợi ý. Quá trình học chính sách này hoạt động trên các mạng nhẹ mà không cần cập nhật LLM nền tảng. Phương pháp này cũng kết hợp một quy trình huấn luyện lai kết hợp RL có mặt nạ (masked RL) với SFT (Supervised Fine-Tuning) trên các quỹ đạo ưu tú để ổn định việc học dưới phần thưởng thưa thớt. Thiết kế phần thưởng được phân tách thành thành công nhiệm vụ, chi phí hiệu quả (số bước, lượng token) và điều chỉnh công cụ để khuyến khích sử dụng công cụ chính xác và tránh lãng phí. Mặt nạ hành động được sử dụng để loại bỏ các cấu hình không hợp lệ trong không gian tìm kiếm.

III. Main Results:

ARC liên tục vượt trội hơn các phương pháp cơ bản được thiết kế thủ công và các phương pháp khác trên nhiều điểm chuẩn về suy luận và trả lời câu hỏi có sử dụng công cụ. Cụ thể, ARC đạt độ chính xác nhiệm vụ cao hơn tới 25% (tăng trung bình 31.3% trên các tác vụ suy luận cho Qwen và 33.5% cho Gemini, và 13.95% trên các tác vụ sử dụng công cụ cho Qwen và 8.95% cho Gemini so với các mô hình cơ sở), đồng thời giảm chi phí token và thời gian chạy. Giai đoạn tinh chỉnh SFT cải thiện độ chính xác 1-3% và tăng phần thưởng trung bình khoảng 5-35%. Chính sách đã học cho thấy khả năng chuyển giao vừa phải giữa các tác vụ suy luận (giảm hiệu suất 6-7%) nhưng yếu hơn đối với các tác vụ sử dụng công cụ nếu không có sự trùng lặp công cụ. ARC cũng tổng quát hóa tốt qua các quy mô mô hình khác nhau (ví dụ: chính sách được huấn luyện trên Qwen 2.5 7B hoạt động tốt trên các biến thể 32B và 72B). Phân tích lỗi cho thấy lỗi cấu hình chính sách là tối thiểu (<10%), trong khi lỗi suy luận và lỗi thiếu kiến thức là nguyên nhân chính còn lại.

IV. Conclusion & Future Works:

ARC là một khung học tăng cường phân cấp để cấu hình tác nhân dựa trên LLM thích ứng theo truy vấn, phân tách không gian thiết kế kết hợp thành một chính sách hai cấp độ khả thi. Bằng cách kết hợp học tăng cường có mặt nạ với tinh chỉnh có giám sát, ARC khám phá không gian này một cách hiệu quả và tập trung học vào các cấu hình mang lại phần thưởng cao. Các kết quả nhấn mạnh giá trị của cấu trúc phân cấp trong việc cải thiện cả hiệu suất và hiệu quả tài nguyên trong các tác nhân LLM. Hướng nghiên cứu tương lai bao gồm việc kết hợp tối ưu hóa cấu trúc với các gợi ý chuyên biệt theo miền cho các lĩnh vực chuyên sâu về kiến thức.

V. Brainstorming Space:

1. Publish Papers:

Optimizing LLM Agent Configuration for Domain-Specific Tasks: Nghiên cứu cách tích hợp các gợi ý (prompts) chuyên biệt theo miền (domain-specific prompts) vào khung ARC để cải thiện hiệu suất trên các tác vụ cần kiến thức chuyên sâu, ví dụ như MedQA, đồng thời vẫn giữ được khả năng tối ưu hóa cấu trúc và tài nguyên.
Investigating Cross-Modal and Cross-Tool Generalization in Agentic Systems: Khám phá các phương pháp để cải thiện khả năng chuyển giao chính sách (policy transfer) của ARC giữa các tác vụ sử dụng công cụ khác nhau, đặc biệt là các tác vụ đa phương thức (multimodal tool-use) đòi hỏi các loại công cụ và luồng công việc khác biệt rõ rệt.
Real-time Adaptive Agent Configuration for Dynamic Environments: Phát triển ARC để có thể học và thích ứng cấu hình tác nhân trong thời gian thực với các môi trường động hoặc các truy vấn thay đổi liên tục, vượt ra ngoài thiết lập từng tập (episodic) hiện tại, có thể bao gồm việc học liên tục hoặc cập nhật chính sách nhanh chóng.

2. Patent:

Hệ thống tối ưu hóa tác vụ di động thông minh: Một hệ thống trên điện thoại di động tự động điều chỉnh cách các ứng dụng AI (ví dụ: trợ lý ảo, công cụ tìm kiếm thông minh) sử dụng tài nguyên (như mức độ phức tạp của tác vụ, công cụ cần dùng, lượng dữ liệu xử lý) dựa trên độ khó của yêu cầu người dùng. Điều này giúp tiết kiệm pin và dữ liệu di động bằng cách chỉ sử dụng tài nguyên cần thiết cho mỗi tác vụ.
Tối ưu hóa phản hồi AI dựa trên ngữ cảnh người dùng: Một công nghệ cho phép điện thoại di động học cách phản hồi các yêu cầu của người dùng một cách hiệu quả hơn bằng cách phân tích ngữ cảnh (ví dụ: thời gian trong ngày, vị trí, ứng dụng đang mở). Hệ thống sẽ tự động chọn cách thức phản hồi (ví dụ: trả lời trực tiếp, tìm kiếm web, sử dụng công cụ tính toán) và mức độ chi tiết của phản hồi để cân bằng giữa độ chính xác và tốc độ, phù hợp với thói quen sử dụng của người dùng.
Hệ thống quản lý tài nguyên AI đa nhiệm cho thiết bị cá nhân: Một phương pháp cho phép điện thoại di động điều phối các tác vụ AI khác nhau (ví dụ: dịch thuật, nhận diện hình ảnh, tạo nội dung) một cách linh hoạt. Hệ thống sẽ học cách ưu tiên và phân bổ tài nguyên tính toán (CPU, GPU, bộ nhớ) cho từng tác vụ dựa trên độ khẩn cấp, độ phức tạp và các công cụ AI có sẵn, đảm bảo trải nghiệm người dùng mượt mà và hiệu quả.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.11574
ArXiv Abstract	https://arxiv.org/abs/2602.11574
PDF Download	https://arxiv.org/pdf/2602.11574.pdf
Github Repository	https://github.com/somsagar07/Context_Optimization

11. Qute: Towards Quantum-Native Database (13 votes)

Tác giả: Muzhi Chen, Xuanhe Zhou, Wei Zhou, Bangrui Xu, Surui Tang, Guoliang Li, Bingsheng He, Yeye He, Yitong Song, Fan Wu

Xuất bản lúc: 2026-02-16

Tag: Quantum Computing, Database Systems, Hybrid Systems, Query Optimization, Data Indexing, SQL

I. Main Problem:

Các phương pháp cơ sở dữ liệu lượng tử hiện tại hoặc dựa trên mô phỏng chạy thuật toán lượng tử trên máy cổ điển, hoặc điều chỉnh cơ sở dữ liệu hiện có cho mô phỏng lượng tử, thiếu sự tích hợp lượng tử toàn diện. Điều này đặt ra bốn thách thức chính cho một cơ sở dữ liệu nguyên bản lượng tử (quantum-native database) từ đầu đến cuối: (i) các toán tử SQL phải được định dạng lại thành các biểu diễn ánh xạ tự nhiên tới các nguyên thủy lượng tử; (ii) bộ tối ưu hóa phải lập kế hoạch trên các toán tử lượng tử nhạy cảm với nhiễu; (iii) ngân sách qubit hạn chế đòi hỏi phải thăm dò chọn lọc một phần nhỏ tập dữ liệu; và (iv) các thuộc tính hoạt động lượng tử phải được lưu trữ ở định dạng bảo toàn độ trung thực.

II. Main Idea:

Bài báo giới thiệu Qute, một kiến trúc cơ sở dữ liệu lượng tử tích hợp coi tính toán lượng tử là một tùy chọn thực thi hạng nhất. Qute giải quyết các thách thức bằng cách: (i) biên dịch một dạng SQL mở rộng thành các mạch lượng tử hiệu quả về cổng thông qua biểu diễn trung gian ba tầng; (ii) sử dụng bộ tối ưu hóa lai để động chọn giữa các kế hoạch thực thi lượng tử và cổ điển, có tính đến độ trễ, xác suất thành công và lỗi xấp xỉ; (iii) giới thiệu lập chỉ mục lượng tử chọn lọc dựa trên cấu trúc cây lai (như B+-tree và KD-tree) để giảm thiểu hạn chế về qubit; (iv) thiết kế lưu trữ bảo toàn độ trung thực bằng cách sử dụng mạng tensor nén (compressed tensor networks) để duy trì khả năng sử dụng dữ liệu. Qute cũng cấu trúc lại các toán tử cơ sở dữ liệu cốt lõi (lọc, join tương tự, tổng hợp) để khai thác tính song song của lượng tử (ví dụ: thuật toán Grover, SWAP Test, Amplitude Estimation).

III. Main Results:

Qute đã được triển khai trên một bộ xử lý lượng tử thực (origin_wukong) và cho thấy nó vượt trội hơn so với một hệ thống cổ điển ở quy mô lớn đối với các tác vụ lọc dữ liệu. Kết quả cho thấy một điểm giao nhau rõ ràng tại khoảng N ≈ 2^30, nơi Qute trở nên nhanh hơn cơ sở dữ liệu cổ điển đối với các tập dữ liệu lớn hơn. Mô hình chi phí của Qute đã được chứng minh là nắm bắt chính xác hiệu suất, với sự đồng nhất chặt chẽ giữa các kết quả đo lường (cho N lên đến 2^10) và ước tính. Một nguyên mẫu mã nguồn mở đã được phát hành tại https://github.com/weAIDB/Qute.

IV. Conclusion & Future Works:

Qute đại diện cho một sự thay đổi cơ bản trong quản lý dữ liệu, nơi tính toán lượng tử được tích hợp trên toàn bộ ngăn xếp, từ phân tích cú pháp truy vấn đến thực thi. Hệ thống này giải quyết các thách thức chính trong biên dịch toán tử, tối ưu hóa lai, lập chỉ mục chọn lọc và lưu trữ nhận biết độ trung thực, hỗ trợ thực thi truy vấn lượng tử thực tế. Tương lai của cơ sở dữ liệu lượng tử được hình dung qua ba giai đoạn: (i) Cơ sở dữ liệu hỗ trợ lượng tử (Quantum-Assisted Database), nơi tính toán lượng tử hoạt động như một bộ đồng xử lý; (ii) Cơ sở dữ liệu lấy lượng tử làm trung tâm (Quantum-Centric Database), với bộ nhớ lượng tử được cải thiện và lập chỉ mục lai; và (iii) Cơ sở dữ liệu nguyên bản lượng tử (Quantum-Native Database), với phần cứng lượng tử chịu lỗi, tất cả dữ liệu nằm trong bộ nhớ lượng tử và xử lý hoàn toàn nguyên bản lượng tử.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về cơ chế biên dịch SQL mở rộng thành các mạch lượng tử hiệu quả cổng, đặc biệt là cho các toán tử phức tạp và truy vấn đa điều kiện, đồng thời phát triển các phương pháp xác thực tính đúng đắn của các mạch lượng tử này.
Phát triển các mô hình chi phí tối ưu hóa kế hoạch lai tiên tiến hơn, có khả năng thích ứng động với các thay đổi về độ ồn và hiệu suất của phần cứng lượng tử theo thời gian thực, bao gồm cả việc dự đoán lỗi và tự động chuyển đổi giữa các đường dẫn thực thi lượng tử và cổ điển.
Khám phá các cấu trúc chỉ mục lượng tử đa chiều mới và phương pháp mã hóa dữ liệu hiệu quả để quản lý dữ liệu lớn hơn và đa phương thức trực tiếp trong bộ nhớ lượng tử, giảm thiểu chi phí tải dữ liệu và cải thiện khả năng truy xuất chọn lọc.

2. Patent:

Hệ thống tìm kiếm thông tin cá nhân tăng tốc lượng tử trên điện thoại: Một ứng dụng di động cho phép người dùng tìm kiếm nhanh chóng các thông tin cụ thể (ví dụ: ảnh, tài liệu, tin nhắn) trong bộ nhớ điện thoại hoặc đám mây cá nhân. Bằng cách sử dụng một thuật toán dựa trên nguyên lý lượng tử, hệ thống có thể tìm kiếm các mục phù hợp với mô tả phức tạp hoặc mối quan hệ dữ liệu mà không cần quét toàn bộ dữ liệu, giúp tiết kiệm thời gian và pin, đặc biệt hiệu quả với lượng dữ liệu lớn.
Công nghệ tối ưu hóa năng lượng và hiệu suất ứng dụng lai trên di động: Một công nghệ tích hợp vào hệ điều hành điện thoại di động để tự động quyết định cách thực hiện các tác vụ nặng về tính toán (ví dụ: xử lý ảnh AI, phân tích dữ liệu lớn cục bộ). Hệ thống này sẽ đánh giá động các yếu tố như mức pin, tải CPU và độ chính xác yêu cầu để chọn giữa việc sử dụng bộ xử lý thông thường của điện thoại hoặc một bộ tăng tốc chuyên dụng (có thể là lượng tử nếu có), nhằm tối đa hóa hiệu suất và tuổi thọ pin mà vẫn đảm bảo chất lượng kết quả.
Phương pháp bảo mật dữ liệu nhạy cảm bằng mã hóa nhận biết độ trung thực: Một hệ thống bảo mật dữ liệu trên điện thoại thông minh cho phép lưu trữ thông tin nhạy cảm (ví dụ: thông tin tài chính, dữ liệu sức khỏe) theo cách mà độ an toàn được điều chỉnh dựa trên ngữ cảnh sử dụng. Dữ liệu được mã hóa bằng các kỹ thuật tiên tiến để ngay cả khi thiết bị bị xâm nhập, thông tin vẫn được bảo vệ. Hệ thống có thể tự động điều chỉnh mức độ bảo vệ và khôi phục dữ liệu nếu phát hiện các dấu hiệu suy giảm độ trung thực hoặc bị can thiệp, đảm bảo rằng dữ liệu luôn đáng tin cậy và an toàn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.14699
ArXiv Abstract	https://arxiv.org/abs/2602.14699
PDF Download	https://arxiv.org/pdf/2602.14699.pdf
Github Repository	https://github.com/weAIDB/Qute

12. UniWeTok: An Unified Binary Tokenizer with Codebook Size 2^{128} for Unified Multimodal Large Language Model (12 votes)

Tác giả: Shaobin Zhuang, Yuang Ai, Jiaming Han, Weijia Mao, Xiaohui Li, Fangyikang Wang, Xiao Wang, Yan Li, Shanchuan Lin, Kun Xu, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen, Yali Wang

Xuất bản lúc: 2026-02-15

Tag: MLLMs, Visual Tokenizer, Discrete Tokenization, Image Generation, Multimodal Understanding, Deep Learning, Transformer, Convolutional Neural Networks, Distillation, Quantization

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) thống nhất cần một biểu diễn hình ảnh có khả năng đồng thời hỗ trợ tái tạo độ trung thực cao, trích xuất ngữ nghĩa phức tạp và phù hợp cho việc sinh tạo. Tuy nhiên, các bộ mã hóa hình ảnh hiện có thường gặp khó khăn trong việc đáp ứng các mục tiêu mâu thuẫn này trong một khuôn khổ duy nhất. Việc mô hình hóa cấp độ pixel rất tốn kém về mặt tính toán, đòi hỏi các phương pháp nén hình ảnh hiệu quả. Các bộ mã hóa liên tục dễ bị tích lũy lỗi và sụp đổ chế độ (mode collapse), trong khi các bộ mã hóa rời rạc truyền thống lại hạn chế về khả năng tái tạo và gặp khó khăn khi mở rộng với các codebook lớn cho các tác vụ downstream.

II. Main Idea:

Giới thiệu UniWeTok, một bộ mã hóa rời rạc thống nhất với codebook nhị phân khổng lồ (kích thước 2^128) và tỷ lệ lấy mẫu không gian giảm 32 lần, nhằm giải quyết các thách thức trên. UniWeTok đạt được khả năng nén mạnh mẽ, trích xuất ngữ nghĩa và các ưu tiên sinh tạo trong một khuôn khổ duy nhất. Các ý tưởng chính bao gồm: * Khung đào tạo: Giới thiệu Pre-Post Distillation (PPD) để tăng cường khả năng trích xuất ngữ nghĩa và Generative-Aware Prior (GAP) để cải thiện khả năng sinh tạo của các token rời rạc. * Kiến trúc mô hình: Đề xuất kiến trúc lai convolution-attention với hàm kích hoạt SigLu. SigLu giúp giới hạn đầu ra của bộ mã hóa, ổn định quá trình chưng cất ngữ nghĩa và giải quyết xung đột tối ưu hóa giữa lỗi entropy token và lỗi cam kết. * Quy trình đào tạo ba giai đoạn: Được thiết kế để tăng cường khả năng thích ứng của UniWeTok trên nhiều độ phân giải hình ảnh và các kịch bản nhạy cảm về nhận thức, như khuôn mặt người và nội dung văn bản.

III. Main Results:

Trên ImageNet, UniWeTok đạt hiệu suất sinh tạo hình ảnh tiên tiến (FID: UniWeTok 1.38 so với REPA 1.42) với chi phí tính toán đào tạo cực kỳ thấp (Training Tokens: UniWeTok 33B so với REPA 262B). * Trong các tác vụ miền chung, UniWeTok thể hiện khả năng cạnh tranh cao trên nhiều tác vụ, bao gồm hiểu đa phương thức, sinh tạo hình ảnh (DPG Score: UniWeTok 86.63 so với FLUX.1 [Dev] 83.84) và chỉnh sửa (GEdit Overall Score: UniWeTok 5.09 so với OmniGen 5.06). * Giảm số lượng token hình ảnh lên đến 75% trong khi vẫn duy trì chất lượng tái tạo đặc biệt cao. * Các nghiên cứu loại bỏ (ablation studies) xác nhận hiệu quả của PPD, GAP, hàm kích hoạt SigLu, kiến trúc lai và quy trình đào tạo ba giai đoạn trong việc cải thiện khả năng trích xuất ngữ nghĩa, chất lượng sinh tạo và độ trung thực tái tạo.

IV. Conclusion & Future Works:

UniWeTok đã thành công trong việc tạo ra một bộ mã hóa rời rạc, có ngữ nghĩa và thân thiện với việc sinh tạo, thống nhất khả năng hiểu và sinh tạo trong một MLLM duy nhất. Nó giải quyết được các mục tiêu mâu thuẫn của việc tái tạo độ trung thực cao, trích xuất ngữ nghĩa phức tạp và phù hợp cho việc sinh tạo. Các hướng nghiên cứu trong tương lai có thể bao gồm: * Mở rộng UniWeTok để hỗ trợ các độ phân giải cao hơn nữa và các loại dữ liệu đa phương thức khác (ví dụ: video, 3D). * Tối ưu hóa hơn nữa kiến trúc và quy trình đào tạo để giảm chi phí tính toán và bộ nhớ, đặc biệt cho việc triển khai trên các thiết bị biên. * Nghiên cứu các phương pháp định lượng (quantization) mới để cải thiện hơn nữa hiệu quả nén và chất lượng token.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng UniWeTok cho Mô hình Ngôn ngữ Lớn Đa phương thức Thống nhất Video và 3D: Nghiên cứu cách điều chỉnh và mở rộng kiến trúc UniWeTok để xử lý và mã hóa hiệu quả dữ liệu video và 3D thành các token rời rạc, cho phép các MLLMs thống nhất có khả năng hiểu và sinh tạo trên nhiều loại phương tiện hơn nữa.
UniWeTok-Lite: Tối ưu hóa Tokenizer Đa phương thức cho Thiết bị Biên: Phát triển một phiên bản UniWeTok được tối ưu hóa về kích thước và hiệu suất tính toán, tập trung vào việc giảm thiểu tài nguyên cần thiết cho codebook khổng lồ và kiến trúc lai, nhằm triển khai hiệu quả trên các thiết bị di động và IoT mà vẫn duy trì chất lượng cao.
Nghiên cứu Chế độ Lượng tử hóa Nhị phân Nâng cao cho Trích xuất Ngữ nghĩa và Sinh tạo: Khám phá các phương pháp lượng tử hóa nhị phân hoặc đa bit mới, vượt ra ngoài 'sign' hiện tại, để tăng cường khả năng trích xuất thông tin ngữ nghĩa từ hình ảnh trong khi vẫn đảm bảo các token rời rạc phù hợp cho các tác vụ sinh tạo downstream.

2. Patent:

Hệ thống nén và tái tạo hình ảnh thông minh trên điện thoại di động: Một ứng dụng hoặc tính năng tích hợp trên điện thoại di động sử dụng công nghệ mã hóa hình ảnh UniWeTok để nén ảnh và video chất lượng cao thành các token nhị phân siêu nhỏ, tiết kiệm đáng kể dung lượng lưu trữ. Người dùng có thể yêu cầu tái tạo lại hình ảnh/video gốc với độ trung thực cao hoặc tạo ra các biến thể mới thông qua giao diện trò chuyện văn bản/giọng nói, giảm tải tính toán cho máy chủ đám mây.
Trợ lý chỉnh sửa ảnh và văn bản đa phương thức cá nhân hóa: Một tính năng của camera điện thoại thông minh cho phép người dùng chụp ảnh hoặc quay video, sau đó AI tích hợp (dựa trên UniWeTok) tự động nhận diện và phân tích các đối tượng nhạy cảm như khuôn mặt người, biển số xe hoặc văn bản. Người dùng có thể ra lệnh chỉnh sửa (làm mờ, thay đổi phong cách, dịch thuật) các phần cụ thể này bằng giọng nói hoặc cử chỉ, với khả năng tái tạo hình ảnh chất lượng cao và xử lý nhanh chóng ngay trên thiết bị.
Nền tảng tạo nội dung hình ảnh AI cục bộ với phong cách cá nhân: Một ứng dụng di động cho phép người dùng tạo ra các hình ảnh độc đáo, phong cách cá nhân hóa (ví dụ: avatar, hình nền, thiết kế đồ họa đơn giản) bằng cách cung cấp mô tả văn bản hoặc hình ảnh tham chiếu. Ứng dụng này sử dụng bộ mã hóa và sinh tạo của UniWeTok để thực hiện quá trình tạo ảnh ngay trên thiết bị, đảm bảo quyền riêng tư dữ liệu, tốc độ phản hồi nhanh và khả năng học hỏi phong cách ưa thích của người dùng theo thời gian.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.14178
ArXiv Abstract	https://arxiv.org/abs/2602.14178
PDF Download	https://arxiv.org/pdf/2602.14178.pdf
Github Repository	N/A

13. VisPhyWorld: Probing Physical Reasoning via Code-Driven Video Reconstruction (12 votes)

Tác giả: Jiarong Liang, Max Ku, Ka-Hei Hui, Ping Nie, Wenhu Chen

Xuất bản lúc: 2026-02-09

Tag: MLLMs, Physical Reasoning, Code Generation, Video Generation, Evaluation, Benchmarking

I. Main Problem:

Việc đánh giá liệu các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLM) có thực sự suy luận về động lực vật lý hay không vẫn còn thách thức. Hầu hết các điểm chuẩn hiện có dựa vào các giao thức nhận dạng như VQA và VoE, thường có thể được trả lời mà không cần đưa ra một giả thuyết vật lý rõ ràng, có thể kiểm chứng. Điều này dẫn đến việc các mô hình dựa vào các mối tương quan trực quan đã học hoặc khớp mẫu ở cấp độ bề mặt thay vì hiểu biết vật lý nhân quả thực sự. MLLM gặp khó khăn trong việc suy luận chính xác các thông số vật lý và mô phỏng động lực vật lý nhất quán.

II. Main Idea:

Các tác giả đề xuất VisPhyWorld, một khuôn khổ dựa trên thực thi để đánh giá khả năng suy luận vật lý bằng cách yêu cầu các mô hình tạo mã mô phỏng có thể thực thi từ các quan sát trực quan. Mã có thể chạy được cho phép biểu diễn thế giới được suy luận có thể kiểm tra, chỉnh sửa và bác bỏ trực tiếp, tách biệt suy luận vật lý khỏi việc kết xuất. Dựa trên khuôn khổ này, họ giới thiệu VisPhyBench, bao gồm 209 cảnh đánh giá được tạo ra từ 108 mẫu vật lý và một giao thức hệ thống để đánh giá mức độ các mô hình tái tạo diện mạo và tạo ra chuyển động vật lý hợp lý. VisPhyWorld sử dụng hai khung hình chính (và tùy chọn là phát hiện đối tượng) làm đầu vào cho MLLM, sau đó tạo ra phân tích chuyển động bằng văn bản, đặc tả JSON khung hình đầu tiên, một chương trình có thể thực thi và một video được kết xuất.

III. Main Results:

Hệ thống VisPhyWorld tạo ra các video tái tạo hợp lệ trong 97.7% các trường hợp trên điểm chuẩn. Các thí nghiệm cho thấy trong khi các MLLM tiên tiến đạt được khả năng hiểu cảnh ngữ nghĩa mạnh mẽ, chúng gặp khó khăn trong việc suy luận chính xác các thông số vật lý và mô phỏng động lực vật lý nhất quán. Cụ thể, các mô hình dựa vào công cụ kết xuất vật lý (Three.js, P5.js) cho kết quả tái tạo và chuyển động chân thực hơn đáng kể so với các công cụ không dựa trên vật lý (SVG, Manim). Các biến thể Three.js của MLLM thường cho kết quả tái tạo tốt hơn các biến thể P5.js. Cơ chế tự sửa lỗi lặp lại đã cải thiện đáng kể tỷ lệ thành công của việc tạo mã. Các mô hình không gian pixel (như SVD img2vid và Veo-3.1) có thể đạt điểm cao về ngữ nghĩa hình ảnh nhưng thường tạo ra các quỹ đạo với chuyển động/tiếp xúc không hợp lý, cho thấy sự thiếu hụt trong việc hiểu vật lý nền tảng.

IV. Conclusion & Future Works:

VisPhyWorld là một khuôn khổ mới để đánh giá sự hiểu biết vật lý của MLLM bằng cách yêu cầu chúng tái tạo các cảnh dưới dạng mã có thể thực thi, tách rời sự bắt chước trực quan khỏi suy luận dựa trên vật lý. Các mô hình hiện tại xuất sắc trong việc phân tích ngữ nghĩa cảnh nhưng lại gặp khó khăn trong việc tham số hóa vật lý chính xác và thường thất bại trong việc tái tạo động lực học Newton cơ bản khi bị buộc phải đưa ra một giả thuyết có thể thực thi. Để tiến bộ trong mô hình hóa thế giới mạnh mẽ, cần vượt qua việc khớp mẫu thống kê thuần túy trong không gian pixel để hướng tới các biểu diễn lai kết hợp nhận thức trực quan với các định luật vật lý có thể kiểm chứng, có thể thực thi. Các hạn chế bao gồm việc thử nghiệm trên các cảnh tổng hợp, trình giả lập điều khiển và chỉ các cảnh vật thể cứng đơn giản. Hướng nghiên cứu tương lai có thể tích hợp nhận thức 3D mạnh mẽ hơn để khởi tạo cảnh và quy trình làm việc tác nhân với việc tinh chỉnh theo miền cụ thể, cũng như giải quyết các tương tác dài hạn và lý luận 3D phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về khả năng mở rộng của VisPhyWorld cho các video thế giới thực có độ phân giải cao và đa dạng, vượt ra ngoài các cảnh tổng hợp do trình giả lập điều khiển.
Phát triển các phương pháp để MLLM có thể tạo và sửa chữa mã mô phỏng một cách tự chủ cho các công cụ vật lý phức tạp hơn như Unreal Engine hoặc Blender, bao gồm các tương tác đa vật thể và logic vật lý nâng cao.
Khám phá các kiến trúc MLLM mới hoặc quy trình làm việc tác nhân (agentic workflows) kết hợp nhận thức 3D mạnh mẽ hơn để khởi tạo cảnh và lý luận về các tương tác vật lý phức tạp, dài hạn trong môi trường 3D.

2. Patent:

Bộ lọc AR dựa trên vật lý tương tác cho điện thoại di động: Một ứng dụng điện thoại di động sử dụng camera để nhận diện các vật thể trong thế giới thực. Sau đó, nó tạo ra các vật thể ảo chồng lên không gian thực và mô phỏng cách chúng tương tác vật lý với các vật thể thật. Ví dụ, người dùng có thể "thả" một quả bóng ảo mà quả bóng này sẽ nảy lên khỏi một cái bàn thật, với chuyển động nảy được tính toán chính xác dựa trên thông tin về cái bàn được phát hiện, tạo ra trải nghiệm thực tế tăng cường sống động và đáng tin cậy.
Công cụ lập kế hoạch cảnh động cho người tạo nội dung di động: Một công cụ trên điện thoại di động giúp người tạo nội dung hình dung và lên kế hoạch cho các cảnh quay có tương tác vật lý. Người dùng có thể mô tả một hành động vật lý mong muốn, chẳng hạn như một chồng khối rơi xuống theo một cách cụ thể. Ứng dụng sẽ tạo ra một chuỗi hướng dẫn hoặc một đoạn mã đơn giản mà các công cụ chỉnh sửa video hoặc trò chơi trên điện thoại có thể sử dụng để tạo ra hoạt ảnh đó, giúp đơn giản hóa việc tạo ra các hiệu ứng vật lý phức tạp mà không cần kiến thức chuyên sâu về hoạt hình 3D.
Ứng dụng giải quyết/dự đoán vấn đề vật lý tự động trong video: Một ứng dụng trên điện thoại di động có khả năng xem một đoạn video ngắn (ví dụ: một thiết lập cơ học đơn giản hoặc một tình huống trong trò chơi), phân tích trạng thái ban đầu và chuyển động của các vật thể. Sau đó, nó sẽ tạo ra một dự đoán có thể xem được (dưới dạng video hoặc hoạt ảnh) về những gì sẽ xảy ra tiếp theo dựa trên các quy luật vật lý được suy luận. Điều này có thể hữu ích cho việc học tập (ví dụ: dự đoán kết quả đẩy một vật) hoặc phân tích các tình huống vật lý đơn giản trong trò chơi (ví dụ: dự đoán đường đi của bi-a).

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.13294
ArXiv Abstract	https://arxiv.org/abs/2602.13294
PDF Download	https://arxiv.org/pdf/2602.13294.pdf
Github Repository	https://github.com/TIGER-AI-Lab/VisPhyWorld

📰 Summary of Papers​

1. Experiential Reinforcement Learning (63 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories (51 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. BitDance: Scaling Autoregressive Generative Models with Binary Tokens (44 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Nanbeige4.1-3B: A Small General Model that Reasons, Aligns, and Acts (26 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. STATe-of-Thoughts: Structured Action Templates for Tree-of-Thoughts (20 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. REDSearcher: A Scalable and Cost-Efficient Framework for Long-Horizon Search Agents (20 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Query as Anchor: Scenario-Adaptive User Representation via Large Language Model (18 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem (16 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Data Darwinism Part I: Unlocking the Value of Scientific Data for Pre-training (15 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Experiential Reinforcement Learning (63 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories (51 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. BitDance: Scaling Autoregressive Generative Models with Binary Tokens (44 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Nanbeige4.1-3B: A Small General Model that Reasons, Aligns, and Acts (26 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. STATe-of-Thoughts: Structured Action Templates for Tree-of-Thoughts (20 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. REDSearcher: A Scalable and Cost-Efficient Framework for Long-Horizon Search Agents (20 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Query as Anchor: Scenario-Adaptive User Representation via Large Language Model (18 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem (16 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Data Darwinism Part I: Unlocking the Value of Scientific Data for Pre-training (15 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: