🤗 Daily Hugging Face Paper Digest - 2026-03-18

Báo cáo được tạo tự động vào lúc 2026-03-20 08:47:18 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. InCoder-32B: Code Foundation Model for Industrial Scenarios (78 votes)

Tác giả: Jian Yang, Wei Zhang, Jiajun Wu, Junhang Cheng, Shawn Guo, Haowen Wang, Weicheng Gu, Yaxin Du, Joseph Li, Fanglin Xu, Yizhi Li, Lin Jing, Yuanbo Wang, Yuhan Gao, Ruihao Gong, Chuan Hao, Ran Tao, Aishan Liu, Tuney Zheng, Ganqu Cui, Zhoujun Li, Mingjie Tang, Chenghua Lin, Wayne Xin Zhao, Xianglong Liu, Ming Zhou, Bryan Dai, Weifeng Lv

Xuất bản lúc: 2026-03-17

Tag: Code LLMs, Foundation Model, Industrial AI, Code Generation, GPU Optimization, Chip Design, Embedded Systems, Compiler Optimization, 3D Modeling, Context Extension, Execution-grounded Verification

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) về mã nguồn gần đây đã đạt được những tiến bộ đáng kể trong các tác vụ lập trình tổng quát. Tuy nhiên, hiệu suất của chúng suy giảm đáng kể trong các kịch bản công nghiệp đòi hỏi suy luận về ngữ nghĩa phần cứng, cấu trúc ngôn ngữ chuyên biệt và các ràng buộc tài nguyên nghiêm ngặt. Điều này tạo ra một khoảng cách lớn giữa khả năng của LLMs tổng quát và nhu cầu phát triển phần mềm công nghiệp.

II. Main Idea:

InCoder-32B (Industrial-Coder-32B) là mô hình nền tảng mã nguồn 32 tỷ tham số đầu tiên hợp nhất trí tuệ mã nguồn trên các lĩnh vực thiết kế chip, tối ưu hóa kernel GPU, hệ thống nhúng, tối ưu hóa trình biên dịch và mô hình 3D. Mô hình được huấn luyện từ đầu thông qua quy trình ba giai đoạn "Code-Flow": (1) Huấn luyện trước & Tinh chỉnh (Pre-training & Annealing) với dữ liệu mã nguồn công nghiệp được tuyển chọn và xác minh tự động; (2) Huấn luyện giữa (Mid-training) mở rộng ngữ cảnh dần dần từ 8K lên 128K token bằng dữ liệu suy luận công nghiệp tổng hợp và quỹ đạo tác nhân; và (3) Huấn luyện sau (Post-training) với xác minh dựa trên thực thi, tạo ra cả biến thể được điều chỉnh theo hướng dẫn và biến thể tư duy.

III. Main Results:

InCoder-32B đạt được hiệu suất cạnh tranh cao trên 14 điểm chuẩn mã nguồn tổng quát và thiết lập các nền tảng mã nguồn mở mạnh mẽ trên 9 điểm chuẩn công nghiệp thuộc 4 lĩnh vực chuyên biệt. Cụ thể, mô hình đạt 74.8% trên SWE-bench Verified, 49.14% trên LiveCodeBench và 60.99% trên BFCL, cạnh tranh với các mô hình hàng đầu có quy mô tương đương hoặc lớn hơn. Trên các điểm chuẩn công nghiệp, InCoder-32B vượt trội hơn các mô hình mã nguồn mở khác ở tất cả các lĩnh vực được đánh giá.

IV. Conclusion & Future Works:

InCoder-32B là mô hình LLM về mã nguồn đầu tiên được xây dựng có mục đích cho trí tuệ mã nguồn công nghiệp, thu hẹp khoảng cách giữa các điểm chuẩn mã học thuật và các lĩnh vực kỹ thuật công nghiệp thực tế. Mô hình này kết hợp năng lực mã hóa rộng lớn với các khả năng công nghiệp chuyên biệt. Các nghiên cứu tiếp theo có thể tập trung vào việc mở rộng phạm vi lĩnh vực công nghiệp được hỗ trợ, cải thiện khả năng suy luận đa phương thức và phát triển các chiến lược huấn luyện hiệu quả hơn cho dữ liệu công nghiệp khan hiếm.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng InCoder-32B sang các lĩnh vực công nghiệp khác như thiết kế FPGA cấp cao (HLS), tự động hóa công nghiệp, hoặc robot, tích hợp các ràng buộc và quy trình xác minh đặc thù của từng ngành.
Phát triển các phương pháp hiệu quả hơn để tổng hợp dữ liệu suy luận công nghiệp, đặc biệt là dữ liệu liên quan đến các ràng buộc thời gian thực và tài nguyên phần cứng, nhằm giảm sự phụ thuộc vào dữ liệu thủ công và nâng cao khả năng mở rộng của mô hình.
Khám phá các kiến trúc mô hình mới và kỹ thuật huấn luyện để xử lý ngữ cảnh cực dài (trên 128K token) một cách hiệu quả hơn, đặc biệt trong các tác vụ gỡ lỗi và phân tích mã xuyên file trong môi trường công nghiệp phức tạp.

2. Patent:

Hệ thống Tối ưu hóa Mã nguồn Ứng dụng Di động Tích hợp AI: Một ứng dụng hoặc tính năng hệ thống trên điện thoại di động sử dụng trí tuệ nhân tạo để phân tích mã nguồn của các ứng dụng đã cài đặt hoặc mã do người dùng viết (ví dụ: script tự động hóa), sau đó đề xuất hoặc tự động áp dụng các tối ưu hóa để cải thiện hiệu suất, giảm tiêu thụ pin và tài nguyên mà không cần truy cập sâu vào phần cứng.
Công cụ Tạo Mã Điều khiển Thiết bị Nhúng Di động: Một giao diện trực quan trên điện thoại thông minh cho phép người dùng không chuyên tạo mã điều khiển cho các thiết bị Internet of Things (IoT) hoặc vi điều khiển đơn giản thông qua ngôn ngữ tự nhiên hoặc giao diện kéo thả. Hệ thống trí tuệ nhân tạo phía sau sẽ chuyển đổi yêu cầu thành mã nhúng hiệu quả, có thể biên dịch và chạy trên các thiết bị nhúng phổ biến, đồng thời kiểm tra tính hợp lệ dựa trên các ràng buộc phần cứng.
Trợ lý Gỡ lỗi và Phân tích Mã Chuyên biệt trên Thiết bị Di động: Một ứng dụng trên điện thoại cung cấp trợ lý trí tuệ nhân tạo giúp các kỹ sư hoặc người có sở thích lập trình phân tích và gỡ lỗi mã chuyên biệt (ví dụ: mã cho chip, tối ưu hóa xử lý đồ họa, hoặc script thiết kế 3D đơn giản) trực tiếp trên thiết bị di động. Nó có thể cung cấp gợi ý sửa lỗi dựa trên ngữ cảnh công nghiệp, mô phỏng các phần nhỏ của mã và giải thích các ràng buộc phần cứng liên quan.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16790
ArXiv Abstract	https://arxiv.org/abs/2603.16790
PDF Download	https://arxiv.org/pdf/2603.16790.pdf
Github Repository	https://github.com/CSJianYang/Industrial-Coder

2. Demystifing Video Reasoning (47 votes)

Tác giả: Ruisi Wang, Zhongang Cai, Fanyi Pu, Junxiang Xu, Wanqi Yin, Maijunxian Wang, Ran Ji, Chenyang Gu, Bo Li, Ziqi Huang, Hokin Deng, Dahua Lin, Ziwei Liu, Lei Yang

Xuất bản lúc: 2026-03-17

Tag: Video Generation, Diffusion Models, Video Reasoning, Diffusion Transformers, Emergent Behaviors, Working Memory, Self-Correction, Perception Before Action

I. Main Problem:

Các nghiên cứu trước đây về mô hình tạo video chủ yếu tập trung vào khả năng tạo ra video chân thực, chất lượng cao. Mặc dù các mô hình video dựa trên diffusion đã cho thấy khả năng suy luận đáng kể, nhưng cơ chế cơ bản đằng sau khả năng suy luận này vẫn chưa được khám phá rõ ràng. Giả thuyết Chain-of-Frames (CoF) trước đây cho rằng suy luận diễn ra tuần tự qua các khung hình, nhưng bài nghiên cứu này thách thức giả định đó và tìm kiếm một cơ chế suy luận khác biệt.

II. Main Idea:

Bài nghiên cứu này thách thức giả thuyết Chain-of-Frames (CoF) và khám phá một cơ chế suy luận khác biệt cơ bản: suy luận trong các mô hình video chủ yếu xuất hiện dọc theo các bước khử nhiễu (denoising steps) của quá trình diffusion, được gọi là Chain-of-Steps (CoS). Các tác giả phát hiện mô hình khám phá nhiều giải pháp ứng cử viên ở các bước khử nhiễu ban đầu và dần hội tụ về một câu trả lời cuối cùng. Ngoài ra, bài nghiên cứu xác định một số hành vi suy luận nổi bật quan trọng đối với hiệu suất của mô hình: (1) working memory (bộ nhớ làm việc) cho phép tham chiếu liên tục; (2) self-correction and enhancement (tự sửa chữa và cải thiện) cho phép phục hồi từ các giải pháp trung gian không chính xác; và (3) perception before action (nhận thức trước hành động), nơi các bước ban đầu thiết lập nền tảng ngữ nghĩa và các bước sau thực hiện thao tác có cấu trúc. Trong một bước diffusion, nghiên cứu còn phát hiện sự chuyên môn hóa chức năng tự phát triển trong Diffusion Transformers, nơi các lớp đầu mã hóa cấu trúc nhận thức dày đặc, các lớp giữa thực hiện suy luận và các lớp sau củng cố các biểu diễn tiềm ẩn. Dựa trên những hiểu biết này, một chiến lược đơn giản không cần huấn luyện được đề xuất để cải thiện khả năng suy luận bằng cách kết hợp các quỹ đạo tiềm ẩn từ các mô hình giống hệt nhau với các hạt ngẫu nhiên khác nhau.

III. Main Results:

Nghiên cứu chứng minh rằng suy luận trong các mô hình video dựa trên diffusion chủ yếu xảy ra dọc theo các bước khử nhiễu (Chain-of-Steps - CoS), thay vì qua các khung hình (Chain-of-Frames - CoF). Điều này được xác nhận bằng phân tích định tính cho thấy mô hình khám phá nhiều giải pháp ứng cử viên ở các bước khử nhiễu ban đầu và hội tụ dần, cũng như bằng các thí nghiệm nhiễu loạn: nhiễu tại các bước khử nhiễu ('Noise at Step') làm giảm đáng kể hiệu suất (từ 0.685 xuống dưới 0.3), trong khi nhiễu tại các khung hình ('Noise at Frame') có tác động yếu hơn nhiều. Các hành vi suy luận nổi bật được phát hiện bao gồm: Multi-path Exploration (khám phá đa đường), nơi mô hình xem xét nhiều đường đi/giải pháp đồng thời; Superposition-based Exploration (khám phá dựa trên chồng chất), nơi mô hình tạm thời biểu diễn nhiều trạng thái logic loại trừ lẫn nhau; Working Memory (bộ nhớ làm việc) giúp duy trì thông tin quan trọng (ví dụ: vị trí ban đầu của đối tượng); Self-correction and Enhancement (tự sửa chữa và cải thiện) cho phép mô hình điều chỉnh các giả thuyết không chính xác; và Perception before Action (nhận thức trước hành động), nơi các bước đầu tiên ưu tiên xác định đối tượng mục tiêu trước khi thực hiện suy luận phức tạp hơn. Phân tích chi tiết các lớp Diffusion Transformer cho thấy sự chuyên môn hóa chức năng: các lớp đầu tập trung vào cấu trúc toàn cục, các lớp giữa thực hiện suy luận và các lớp cuối củng cố biểu diễn tiềm ẩn. Một chiến lược không cần huấn luyện (ensembling) đã được chứng minh là có thể cải thiện khả năng suy luận của mô hình.

IV. Conclusion & Future Works:

Nghiên cứu cung cấp một sự hiểu biết có hệ thống về cách suy luận xuất hiện trong các mô hình tạo video, xác định cơ chế Chain-of-Steps (CoS) và các hành vi suy luận nổi bật. Các phát hiện này cung cấp nền tảng để hướng dẫn nghiên cứu trong tương lai nhằm khai thác tốt hơn động lực suy luận vốn có của các mô hình video như một nền tảng mới cho trí tuệ. Điều này định vị suy luận video như một nền tảng đầy hứa hẹn cho thế hệ trí tuệ máy học tiếp theo.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về cách các hành vi suy luận nổi bật như working memory, self-correction, và perception before action có thể được kiểm soát hoặc tăng cường một cách có chủ đích thông qua các kỹ thuật huấn luyện hoặc kiến trúc mới, không chỉ để cải thiện khả năng suy luận mà còn để tăng cường khả năng giải thích của mô hình.
Khám phá ứng dụng của cơ chế Chain-of-Steps (CoS) và sự chuyên môn hóa chức năng theo lớp (layer-wise functional specialization) trong các tác vụ suy luận đa phương thức khác ngoài tạo video, ví dụ như trong Vision-Language Action (thị giác-ngôn ngữ-hành động) hoặc robot học, để xây dựng các hệ thống thông minh hơn có khả năng lập kế hoạch và hành động phức tạp.
Phát triển các phương pháp đánh giá định lượng mới để đo lường và so sánh hiệu quả của các chiến lược khám phá đa đường (Multi-path Exploration) và chồng chất (Superposition-based Exploration) trong không gian tiềm ẩn của các mô hình diffusion, nhằm mục đích thiết kế các bộ dữ liệu và tiêu chuẩn đánh giá suy luận video toàn diện hơn.

2. Patent:

Hệ thống tạo và chỉnh sửa video theo kịch bản trên điện thoại: Một ứng dụng di động cho phép người dùng nhập mô tả văn bản về một hành động phức tạp (ví dụ: 'đặt cốc lên bàn, sau đó di chuyển sách ra xa'). Hệ thống sử dụng khả năng suy luận Chain-of-Steps để tạo ra một chuỗi video liền mạch, trong đó các đối tượng tương tác một cách hợp lý. Người dùng có thể chỉnh sửa các bước suy luận trung gian để điều chỉnh kết quả cuối cùng, mô phỏng cách một người suy nghĩ để giải quyết một nhiệm vụ trong thế giới thực.
Trợ lý ảo thông minh cho tác vụ thực tế tăng cường (AR) trên điện thoại: Một ứng dụng AR trên điện thoại giúp người dùng thực hiện các tác vụ đòi hỏi suy luận không gian phức tạp (ví dụ: 'lắp ráp đồ nội thất này', 'sắp xếp lại căn phòng để tối ưu không gian'). Hệ thống sử dụng khả năng Multi-path Exploration và Working Memory để hiển thị các bước hướng dẫn trực quan, dự đoán các hành động tiếp theo và tự động điều chỉnh hướng dẫn nếu người dùng đi chệch khỏi lộ trình, đồng thời ghi nhớ vị trí và trạng thái của các đối tượng trong môi trường AR để duy trì tính nhất quán.
Tính năng 'Xem trước & Sửa lỗi' cho tạo nội dung động trên điện thoại: Một công cụ tích hợp trong ứng dụng tạo nội dung trên điện thoại (ví dụ: tạo ảnh động GIF, video ngắn có hiệu ứng) cho phép người dùng xem trước 'quá trình suy nghĩ' của AI khi tạo ra hiệu ứng động hoặc chuyển động. Nếu AI tạo ra một kết quả không mong muốn ở các bước giữa, người dùng có thể can thiệp để 'tự sửa chữa' quá trình đó, hướng dẫn mô hình đến kết quả mong muốn. Tính năng này tận dụng Self-correction and Enhancement của mô hình để cung cấp khả năng kiểm soát chi tiết hơn cho người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16870
ArXiv Abstract	https://arxiv.org/abs/2603.16870
PDF Download	https://arxiv.org/pdf/2603.16870.pdf
Github Repository	N/A

3. MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification (55 votes)

Tác giả: MiroMind Team, S. Bai, L. Bing, L. Lei, R. Li, X. Li, X. Lin, E. Min, L. Su, B. Wang, L. Wang, L. Wang, S. Wang, X. Wang, Y. Zhang, Z. Zhang, G. Chen, L. Chen, Z. Cheng, Y. Deng, Z. Huang, D. Ng, J. Ni, Q. Ren, X. Tang, B. L. Wang, H. Wang, N. Wang, C. Wei, Q. Wu, J. Xia, Y. Xiao, H. Xu, X. Xu, C. Xue, Z. Yang, Z. Yang, F. Ye, H. Ye, J. Yu, C. Zhang, W. Zhang, H. Zhao, P. Zhu

Xuất bản lúc: 2026-03-16

Tag: LLMs, Research Agents, Multi-step Reasoning, Verification, Agentic Training, Tool Use, Context Management, Supervised Fine-tuning, Reinforcement Learning, Preference Optimization, Knowledge Retrieval, Code Execution, QA Generation

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) hiện nay gặp khó khăn trong việc thực hiện các nhiệm vụ suy luận phức tạp, kéo dài, như phân tích khoa học, lập luận tài chính và nghiên cứu mở. Những nhiệm vụ này đòi hỏi chuỗi suy luận dài, thu thập thông tin lặp đi lặp lại và khả năng xác minh các kết luận trung gian trước khi đưa ra câu trả lời cuối cùng. Việc chỉ tăng độ dài tương tác trong các hệ thống AI tác tử không đảm bảo cải thiện hiệu suất, vì các bước trung gian không chính xác có thể tích lũy lỗi và làm suy giảm chất lượng giải pháp.

II. Main Idea:

Các tác giả giới thiệu MiroThinker-1.7, một tác tử nghiên cứu được thiết kế để nâng cao độ tin cậy của từng bước tương tác thông qua giai đoạn huấn luyện giữa kỳ (agentic mid-training) tập trung vào lập kế hoạch có cấu trúc, suy luận theo ngữ cảnh và tương tác công cụ hiệu quả. Nền tảng này được mở rộng với MiroThinker-H1, tích hợp cơ chế xác minh trực tiếp vào quá trình suy luận ở cả cấp độ cục bộ và toàn cục. Cụ thể, các quyết định suy luận trung gian được đánh giá và tinh chỉnh trong quá trình suy luận, đồng thời toàn bộ lộ trình suy luận được kiểm toán để đảm bảo câu trả lời cuối cùng được hỗ trợ bởi chuỗi bằng chứng mạch lạc. Hệ thống sử dụng một quy trình huấn luyện tích hợp nhiều giai đoạn (huấn luyện giữa kỳ, tinh chỉnh có giám sát, tối ưu hóa ưu tiên và học tăng cường) cùng với các chiến lược quản lý ngữ cảnh hiệu quả như cửa sổ trượt và cắt bớt kết quả để duy trì các lộ trình suy luận dài.

III. Main Results:

MiroThinker-H1 đạt hiệu suất vượt trội trên các nhiệm vụ nghiên cứu chuyên sâu, đạt kết quả dẫn đầu trên các điểm chuẩn như BrowseComp (88.2) và BrowseComp-ZH (84.4), vượt qua các tác tử nghiên cứu mã nguồn mở và thương mại tốt nhất. Hệ thống cũng cho thấy kết quả mạnh mẽ trên các điểm chuẩn chuyên biệt như FrontierScience-Olympiad và FinSearchComp. Các mô hình mã nguồn mở MiroThinker-1.7 và MiroThinker-1.7-mini vẫn rất cạnh tranh trong khi cải thiện đáng kể về hiệu quả. MiroThinker-1.7 cho thấy hiệu suất suy luận mạnh mẽ hơn đáng kể so với MiroThinker-1.5, đồng thời yêu cầu ít lượt suy luận hơn để giải quyết các nhiệm vụ phức tạp.

IV. Conclusion & Future Works:

Kết hợp huấn luyện tác tử-native với suy luận tập trung vào xác minh là một con đường đầy hứa hẹn để xây dựng các hệ thống AI có khả năng suy luận chuỗi dài bền vững và giải quyết vấn đề đáng tin cậy trong các môi trường thực tế phức tạp. Hướng phát triển trong tương lai có thể bao gồm việc khám phá các cơ chế xác minh nâng cao hơn cho các nhiệm vụ suy luận đa phương thức, phát triển các chiến lược quản lý ngữ cảnh thích ứng dựa trên ngữ nghĩa, và nghiên cứu các mô hình huấn luyện tác tử mới kết hợp tín hiệu xác minh với học từ phản hồi của con người hoặc môi trường.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc tích hợp xác minh đa phương thức (ví dụ: hình ảnh, âm thanh) vào các tác tử nghiên cứu để xử lý các nhiệm vụ phức tạp hơn yêu cầu suy luận từ nhiều loại dữ liệu.
Phát triển các chiến lược quản lý ngữ cảnh động và thích ứng cho các tác tử suy luận dài, vượt ra ngoài cửa sổ trượt cố định, sử dụng các kỹ thuật tóm tắt ngữ cảnh hoặc truy xuất thông tin theo ngữ nghĩa.
Khám phá các phương pháp huấn luyện tác tử kết hợp học tăng cường với phản hồi xác minh của con người (human-in-the-loop verification) để tạo ra các tác tử đáng tin cậy và có khả năng giải thích tốt hơn.

2. Patent:

Hệ thống trợ lý nghiên cứu thông minh trên điện thoại di động với khả năng xác minh thông tin: Một ứng dụng di động cho phép người dùng đặt câu hỏi nghiên cứu phức tạp. Hệ thống sẽ tự động tìm kiếm thông tin trên web, tổng hợp, và đặc biệt là xác minh chéo các thông tin thu thập được từ nhiều nguồn để đảm bảo độ chính xác trước khi trình bày kết quả cho người dùng, giảm thiểu thông tin sai lệch.
Công cụ gỡ lỗi mã nguồn tự động trên thiết bị di động với kiểm tra logic: Một ứng dụng dành cho các nhà phát triển trên điện thoại thông minh, cho phép họ nhập đoạn mã hoặc mô tả vấn đề. Hệ thống sẽ không chỉ gợi ý sửa lỗi mà còn thực hiện các bước kiểm tra logic (local and global verification) để đảm bảo rằng giải pháp được đề xuất không tạo ra lỗi mới hoặc mâu thuẫn với các phần khác của mã, giúp tăng độ tin cậy của mã được sửa.
Ứng dụng tư vấn tài chính cá nhân có khả năng xác thực dữ liệu: Một ứng dụng trên điện thoại di động giúp người dùng quản lý tài chính. Khi người dùng nhập dữ liệu hoặc yêu cầu tư vấn về các khoản đầu tư, chi tiêu, hoặc các giao dịch tài chính, hệ thống sẽ tự động xác minh thông tin từ các nguồn đáng tin cậy (ví dụ: dữ liệu thị trường, báo cáo tài chính công khai) để đảm bảo các lời khuyên hoặc phân tích đưa ra là chính xác và có căn cứ, giúp người dùng đưa ra quyết định tài chính an toàn hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.15726
ArXiv Abstract	https://arxiv.org/abs/2603.15726
PDF Download	https://arxiv.org/pdf/2603.15726.pdf
Github Repository	N/A

4. Qianfan-OCR: A Unified End-to-End Model for Document Intelligence (135 votes)

Tác giả: Daxiang Dong, Mingming Zheng, Dong Xu, Chunhua Luo, Bairong Zhuang, Yuxuan Li, Ruoyun He, Haoran Wang, Wenyu Zhang, Wenbo Wang, Yicheng Wang, Xue Xiong, Ayong Zheng, Xiaoying Zuo, Ziwei Ou, Jingnan Gu, Quanhao Guo, Jianmin Wu, Dawei Yin, Dou Shen

Xuất bản lúc: 2026-03-11

Tag: OCR, Document Intelligence, Vision-Language Model, End-to-End, Layout Analysis, KIE, Multi-modal, LLMs

I. Main Problem:

Các hệ thống OCR hiện tại đối mặt với sự đánh đổi giữa chi phí, độ chính xác và khả năng. Các pipeline OCR truyền thống có chi phí suy luận thấp nhưng yêu cầu tiền xử lý và hậu xử lý phức tạp, dễ xảy ra lỗi lan truyền giữa các giai đoạn và mất ngữ cảnh hình ảnh. Các mô hình ngôn ngữ thị giác (VLM) tổng quát có khả năng đa phương thức rộng nhưng chi phí suy luận cao và hoạt động kém hiệu quả đối với các tác vụ phân tích tài liệu có cấu trúc. Một hạn chế thực tế của OCR đầu cuối là mất khả năng phân tích bố cục rõ ràng, điều mà người dùng pipeline thường dựa vào để định vị và phân loại các yếu tố. Các ứng dụng OCR công nghiệp thường phải xâu chuỗi nhiều mô hình riêng biệt (phát hiện, OCR, LLM) gây tăng chi phí triển khai và hạn chế tối ưu hóa đầu cuối.

II. Main Idea:

Qianfan-OCR là một mô hình tình báo tài liệu đầu cuối hợp nhất 4B tham số, tích hợp phân tích bố cục, nhận dạng văn bản và hiểu tài liệu vào một kiến trúc thị giác-ngôn ngữ duy nhất. Nó thực hiện chuyển đổi trực tiếp từ hình ảnh sang Markdown và hỗ trợ nhiều tác vụ theo lời nhắc, từ phân tích tài liệu có cấu trúc, trích xuất bảng biểu đến hiểu biểu đồ, trả lời câu hỏi tài liệu và trích xuất thông tin chính.

Ba thiết kế chính của Qianfan-OCR bao gồm:

Kiến trúc đầu cuối: Loại bỏ sự lan truyền lỗi giữa các giai đoạn và cho phép tối ưu hóa chung trên tất cả các tác vụ bằng cách duy trì toàn bộ ngữ cảnh hình ảnh.
Layout-as-Thought: Một giai đoạn suy nghĩ tùy chọn được kích hoạt bởi các token <think>, nơi mô hình tạo ra các biểu diễn bố cục có cấu trúc (hộp giới hạn, loại yếu tố, thứ tự đọc) trước khi tạo ra kết quả cuối cùng. Cơ chế này phục hồi chức năng phân tích bố cục và cải thiện độ chính xác trên các tài liệu có bố cục phức tạp.
OCR và Hiểu biết hợp nhất: Kết hợp độ chính xác cấp chuyên gia OCR với khả năng hiểu tài liệu (hiểu biểu đồ, trả lời câu hỏi tài liệu, trích xuất thông tin chính) trong một mô hình duy nhất có thể điều khiển bằng lời nhắc.

Mô hình sử dụng kiến trúc cầu nối đa phương thức từ Qianfan-VL, bao gồm bộ mã hóa thị giác Qianfan-ViT (hỗ trợ đầu vào độ phân giải cao), bộ xương mô hình ngôn ngữ Qwen3-4B và bộ điều hợp xuyên phương thức nhẹ. Dữ liệu huấn luyện được tạo ra thông qua sáu pipeline tổng hợp quy mô lớn, bao gồm phân tích tài liệu, KIE, bảng phức tạp, hiểu biểu đồ, nhận dạng công thức và OCR đa ngôn ngữ. Quy trình huấn luyện đa giai đoạn tiến bộ được áp dụng, tập trung vào thành phần dữ liệu OCR chuyên biệt.

III. Main Results:

Qianfan-OCR đạt hạng nhất trong số tất cả các mô hình đầu cuối trên OmniDocBench v1.5 (93.12) và OlmOCR Bench (79.8). Nó cũng đạt kết quả mạnh mẽ trên các benchmark OCR tổng quát như OCRBench (880), OCRBenchv2 và CCOCR, cũng như các tác vụ hiểu tài liệu như DocVQA, ChartQA và CharXiv, ngang bằng với các mô hình ngôn ngữ thị giác tổng quát có quy mô tương đương. Trên các benchmark trích xuất thông tin chính (KIE) công khai, Qianfan-OCR đạt điểm trung bình cao nhất, vượt qua Gemini-3.1-Pro, Gemini-3-Pro, Seed-2.0 và Qwen3-VL-235B-A22B. Cơ chế Layout-as-Thought cho thấy lợi ích nhất quán trên các tài liệu có bố cục phức tạp (entropy bố cục cao), mặc dù có thể gây ra chi phí không cần thiết trên các tài liệu đơn giản hơn. Nghiên cứu cắt bỏ xác nhận tính hiệu quả của phương pháp huấn luyện đa giai đoạn, đặc biệt là giai đoạn tiền huấn luyện nền tảng và lợi ích của việc trộn dữ liệu tổng quát trong quá trình tăng cường chuyên biệt theo miền.

IV. Conclusion & Future Works:

Qianfan-OCR là một mô hình đầu cuối thống nhất cho tình báo tài liệu, giải quyết các hạn chế của pipeline truyền thống và VLM tổng quát bằng cách tích hợp phân tích bố cục, nhận dạng văn bản và hiểu tài liệu. Cơ chế Layout-as-Thought của nó phục hồi khả năng phân tích bố cục rõ ràng, điều cần thiết cho các tài liệu phức tạp. Mô hình đạt hiệu suất dẫn đầu trên các benchmark OCR chuyên biệt, OCR tổng quát và hiểu tài liệu. Qianfan-OCR hiện có thể truy cập công khai thông qua nền tảng Baidu AI Cloud Qianfan. Công việc trong tương lai có thể bao gồm việc bổ sung phương pháp học tăng cường vào quá trình tinh chỉnh có giám sát với các chú thích bố cục chất lượng cao để cải thiện hơn nữa các mô hình OCR đầu cuối.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa cơ chế Layout-as-Thought bằng Học tăng cường: Nghiên cứu việc áp dụng các kỹ thuật học tăng cường để tinh chỉnh và tối ưu hóa quá trình tạo biểu diễn bố cục (bounding box, loại yếu tố, thứ tự đọc) trong mô hình đầu cuối, đặc biệt tập trung vào việc cải thiện khả năng suy luận cấu trúc trên các tài liệu có bố cục cực kỳ phức tạp hoặc không chuẩn.
Phân tích thích ứng độ phức tạp bố cục để kích hoạt Layout-as-Thought: Phát triển một hệ thống tự động đánh giá độ phức tạp bố cục của tài liệu đầu vào (ví dụ: sử dụng entropy nhãn bố cục) và tự động kích hoạt hoặc bỏ qua cơ chế Layout-as-Thought để cân bằng giữa độ chính xác và hiệu quả suy luận, nhằm đạt được hiệu suất tối ưu trên nhiều loại tài liệu.
Cải thiện nhận dạng OCR đa ngôn ngữ bằng kiến trúc bộ điều hợp xuyên phương thức tiên tiến: Khám phá các thiết kế bộ điều hợp xuyên phương thức mới và chiến lược huấn luyện dữ liệu đa ngôn ngữ để nâng cao khả năng OCR cho các ngôn ngữ ít tài nguyên hoặc hệ thống chữ viết phức tạp, tích hợp sâu hơn sự liên kết giữa đặc trưng thị giác và ngôn ngữ cho các ngôn ngữ đa dạng.

2. Patent:

Hệ thống Trích xuất Thông tin Tài liệu Thông minh trên Di động: Một ứng dụng điện thoại di động sử dụng công nghệ OCR đầu cuối để cho phép người dùng chụp ảnh bất kỳ tài liệu nào (ví dụ: hóa đơn, hợp đồng, danh thiếp). Ứng dụng sẽ tự động phân tích bố cục, nhận dạng văn bản và trích xuất thông tin chính (như tên, địa chỉ, số tiền, ngày tháng) mà không cần bước xử lý riêng biệt. Người dùng có thể tùy chọn kích hoạt chế độ "phân tích bố cục nâng cao" cho các tài liệu phức tạp để tăng cường độ chính xác, sau đó thông tin có thể được tự động điền vào biểu mẫu, danh bạ hoặc ứng dụng tài chính.
Trợ lý Đọc và Hiểu Tài liệu Tương tác trên Điện thoại: Một tính năng tích hợp trong camera hoặc trình xem tài liệu của điện thoại thông minh, cho phép người dùng trỏ camera vào một tài liệu hoặc mở một tệp PDF/ảnh. Trợ lý này không chỉ đọc văn bản mà còn phân tích cấu trúc bố cục của tài liệu (ví dụ: xác định tiêu đề, đoạn văn, bảng biểu, hình ảnh). Người dùng có thể đặt câu hỏi về nội dung hoặc cấu trúc tài liệu ("Tóm tắt đoạn này", "Tìm tất cả các số liệu trong bảng", "Đâu là tên tác giả?") và nhận được câu trả lời chính xác, có ngữ cảnh nhờ khả năng "Layout-as-Thought" của mô hình.
Công nghệ Tối ưu hóa Chụp và Xử lý Tài liệu Tự động trên Điện thoại: Một hệ thống camera thông minh trên điện thoại di động có khả năng tự động phát hiện loại tài liệu đang được chụp (ví dụ: biên lai, sách, biểu đồ) và điều chỉnh cài đặt camera (lấy nét, độ phơi sáng, cắt xén) để tối ưu hóa việc nhận dạng văn bản. Sau khi chụp, hệ thống sẽ tự động áp dụng các thuật toán xử lý hình ảnh và có thể gợi ý các chế độ phân tích đặc biệt (như "phân tích bố cục chi tiết" cho các tài liệu phức tạp) để đảm bảo chất lượng trích xuất thông tin cao nhất, giúp người dùng dễ dàng số hóa và quản lý tài liệu cá nhân.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.13398
ArXiv Abstract	https://arxiv.org/abs/2603.13398
PDF Download	https://arxiv.org/pdf/2603.13398.pdf
Github Repository	https://github.com/baidubce/Qianfan-VL

Tác giả: Tianyu Xie, Jinfa Huang, Yuexiao Ma, Rongfang Luo, Yan Yang, Wang Chen, Yuhui Zeng, Ruize Fang, Yixuan Zou, Xiawu Zheng, Jiebo Luo, Rongrong Ji

Xuất bản lúc: 2026-03-17

Tag: OLM, Multimodal LLMs, Benchmarking, Social Interaction, Audio-Visual, Speaker Identification, Turn-taking, Interruption Generation

I. Main Problem:

Các mô hình ngôn ngữ lớn đa phương thức (OLM) hiện tại thiếu khả năng tương tác xã hội trong các cuộc đối thoại tự nhiên. Các bộ benchmark hiện có chỉ tập trung vào các tác vụ hiểu tĩnh, dựa trên độ chính xác, bỏ qua các khía cạnh quan trọng như xác định ai đang nói, khi nào nên ngắt lời và cách tạo ra phản hồi ngắt lời phù hợp với ngữ cảnh. Điều này dẫn đến việc đánh giá quá cao khả năng hiểu ngoại tuyến và bỏ qua các lỗi tương tác quan trọng, gây ra khoảng cách lớn trong việc đánh giá năng lực đàm thoại thực tế.

II. Main Idea:

Đề xuất SocialOmni, một bộ benchmark toàn diện để đánh giá khả năng tương tác hội thoại của các mô hình OLM trên ba khía cạnh cốt lõi: (i) Who (xác định người nói và tách giọng), (ii) When (kiểm soát thời điểm ngắt lời), và (iii) How (tạo ra ngắt lời tự nhiên). SocialOmni bao gồm 2.000 mẫu nhận thức và 209 trường hợp tạo tương tác được kiểm soát chất lượng, với các ràng buộc về thời gian và ngữ cảnh nghiêm ngặt, cùng với các kịch bản không nhất quán âm thanh-hình ảnh để kiểm tra tính mạnh mẽ của mô hình. Bộ benchmark này cũng giới thiệu một giao thức đánh giá song trục mới kết hợp chẩn đoán nhận thức cấp khung hình với chấm điểm tạo phản hồi đa giám khảo, cho phép phân tích sự tách rời giữa nhận thức và tạo phản hồi.

III. Main Results:

Các thử nghiệm trên 12 mô hình OLM hàng đầu cho thấy sự khác biệt đáng kể về khả năng tương tác xã hội giữa các mô hình. Không có mô hình nào vượt trội trên cả ba khía cạnh (Who, When, How), cho thấy điểm mạnh và điểm yếu riêng biệt. Các mô hình mã nguồn mở tụt hậu đáng kể so với các hệ thống thương mại, đặc biệt về chất lượng phản hồi "How". Phân tích cũng tiết lộ sự tách biệt rõ rệt giữa độ chính xác nhận thức của mô hình và khả năng tạo ra các ngắt lời phù hợp với ngữ cảnh (ví dụ: Qwen3-Omni-Thinking có Who tốt nhưng How kém, trong khi GPT-4o có Who thấp nhưng How mạnh). Điều này khẳng định rằng các chỉ số lấy hiểu biết làm trung tâm là không đủ để đặc trưng hóa năng lực xã hội hội thoại. Các kiểu lỗi khác nhau được ghi nhận, từ ngắt lời quá sớm đến phản hồi quá muộn, và các lỗi nhận thức phổ biến do sự không nhất quán về thời gian đa phương thức.

IV. Conclusion & Future Works:

SocialOmni lấp đầy khoảng trống quan trọng trong việc đánh giá khả năng tương tác xã hội của các mô hình OLM, vượt ra ngoài các chỉ số hiểu biết tĩnh truyền thống. Kết quả cho thấy các chỉ số lấy hiểu biết làm trung tâm là không đủ để đặc trưng hóa năng lực xã hội hội thoại, thúc đẩy nhu cầu đánh giá chuyên biệt theo định hướng tương tác. Những chẩn đoán từ SocialOmni cung cấp tín hiệu khả thi để thu hẹp khoảng cách giữa nhận thức và tương tác trong các OLM trong tương lai, đặc biệt là giải quyết các thách thức kiến trúc liên quan đến căn chỉnh âm thanh-hình ảnh chi tiết, kết hợp các tín hiệu thay phiên tinh tế và tạo phản hồi theo ngữ cảnh theo thời gian thực.

V. Brainstorming Space:

1. Publish Papers:

Phát triển kiến trúc OLM thích ứng thời gian thực cho tương tác xã hội: Nghiên cứu các kiến trúc mô hình mới có khả năng căn chỉnh và tích hợp thông tin âm thanh, hình ảnh và văn bản ở cấp độ khung hình một cách linh hoạt, nhằm cải thiện độ chính xác trong việc nhận diện người nói và đưa ra quyết định ngắt lời tối ưu trong các cuộc đối thoại đa bên động.
Nghiên cứu về học tập đa phương thức dựa trên tín hiệu phi ngôn ngữ để điều khiển lượt nói: Khám phá các phương pháp để các OLM học cách diễn giải và sử dụng các tín hiệu phi ngôn ngữ tinh tế như ngữ điệu giọng nói, ánh mắt, cử chỉ và biểu cảm khuôn mặt để dự đoán và kiểm soát thời điểm tham gia hoặc ngắt lời trong cuộc trò chuyện một cách tự nhiên và phù hợp về mặt xã hội.
Mô hình tạo phản hồi ngắt lời mang tính xã hội và ngữ cảnh: Phát triển các kỹ thuật tạo văn bản tiên tiến cho phép OLM tạo ra các phản hồi ngắt lời không chỉ chính xác về mặt ngữ nghĩa mà còn duy trì sự mạch lạc với ý định của người nói và luồng hội thoại tổng thể, đồng thời có khả năng điều chỉnh giọng điệu và phong cách phù hợp với ngữ cảnh xã hội.

2. Patent:

Hệ thống trợ lý ảo trên điện thoại thông minh có khả năng ngắt lời thông minh trong cuộc gọi nhóm: Một tính năng cho phép trợ lý ảo trên điện thoại di động (ví dụ: Siri, Google Assistant) tự động tham gia vào cuộc gọi hội nghị hoặc trò chuyện nhóm để cung cấp thông tin hoặc thực hiện tác vụ mà không làm gián đoạn cuộc trò chuyện một cách khó chịu. Hệ thống sẽ sử dụng camera và micrô của điện thoại để phân tích các tín hiệu thị giác và âm thanh, xác định thời điểm thích hợp nhất để ngắt lời, giống như một người tham gia thực thụ.
Ứng dụng ghi chú cuộc họp trên điện thoại với nhận diện người nói động và tóm tắt thông minh: Một ứng dụng trên điện thoại thông minh có khả năng ghi âm và ghi chú cuộc họp, tự động nhận diện và phân tách nội dung theo từng người nói. Nó sẽ sử dụng công nghệ xử lý âm thanh và hình ảnh của điện thoại để xác định ai đang nói tại bất kỳ thời điểm nào, ngay cả khi có nhiều người nói cùng lúc hoặc chuyển đổi nhanh, sau đó tóm tắt các điểm chính của từng người, giúp người dùng dễ dàng theo dõi và xem lại nội dung.
Chế độ "Trợ lý giao tiếp xã hội" trên điện thoại cho môi trường phức tạp: Một tính năng trên điện thoại di động giúp người dùng dễ dàng tương tác trong các môi trường ồn ào hoặc có nhiều người nói. Điện thoại sẽ sử dụng camera và micrô để phân tích cuộc trò chuyện, sau đó cung cấp phản hồi trực quan (ví dụ: làm nổi bật người nói hiện tại trên màn hình) hoặc phản hồi xúc giác (ví dụ: rung nhẹ khi có cơ hội phát biểu) để gợi ý thời điểm thích hợp cho người dùng ngắt lời hoặc tham gia, giúp giao tiếp trôi chảy và hiệu quả hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16859
ArXiv Abstract	https://arxiv.org/abs/2603.16859
PDF Download	https://arxiv.org/pdf/2603.16859.pdf
Github Repository	https://github.com/MAC-AutoML/SocialOmni

6. Thinking in Uncertainty: Mitigating Hallucinations in MLRMs with Latent Entropy-Aware Decoding (34 votes)

Tác giả: Zhongxing Xu, Zhonghua Wang, Zhe Qian, Dachuan Shi, Feilong Tang, Ming Hu, Shiyan Su, Xiaocheng Zou, Wei Feng, Dwarikanath Mahapatra, Yifan Peng, Mingquan Lin, Zongyuan Ge

Xuất bản lúc: 2026-03-09

Tag: MLRMs, Hallucinations, Decoding Strategy, Entropy-Aware Decoding, Visual Grounding, Latent Reasoning, Multimodal AI

I. Main Problem:

Các mô hình suy luận đa phương thức lớn (MLRMs) có khả năng giải quyết các tác vụ hỏi đáp hình ảnh phức tạp, nhưng lại rất dễ bị "ảo giác" (hallucinations) – tức là tạo ra thông tin không có trong hình ảnh. Vấn đề này đặc biệt xảy ra khi mô hình ở trạng thái entropy cao, thường đi kèm với các từ chuyển tiếp (transition words) và sự suy giảm chú ý đến thông tin thị giác, dẫn đến việc bỏ qua các tín hiệu ngữ cảnh quan trọng. Các phương pháp hiện có để giảm ảo giác thường tốn kém hoặc không phân tích được đặc điểm hành vi của các mô hình suy luận.

II. Main Idea:

Nghiên cứu này đề xuất Latent Entropy-Aware Decoding (LEAD), một chiến lược giải mã hiệu quả và dễ tích hợp (plug-and-play) nhằm giảm thiểu ảo giác trong MLRMs bằng cách khai thác ngữ cảnh ngữ nghĩa và tăng cường chú ý thị giác. 1. Quan sát: Các từ chuyển tiếp (như "because", "however") liên quan chặt chẽ đến ảo giác và có xu hướng xuất hiện ở trạng thái entropy cao. Các token entropy cao là các nút thông tin quan trọng, và việc bỏ qua thông tin thị giác trong các trạng thái này làm tăng khả năng xảy ra ảo giác. 2. Chuyển đổi chế độ suy luận nhận biết entropy: Khi entropy cao (mức độ không chắc chắn cao), LEAD sử dụng biểu diễn liên tục có trọng số xác suất (latent decoding) để tích hợp nhiều ngữ nghĩa ứng cử viên, duy trì các quỹ đạo suy luận tiềm ẩn và giữ lại sự đa dạng ngữ nghĩa. Khi entropy giảm (mức độ không chắc chắn giảm), mô hình chuyển về sử dụng các nhúng token rời rạc (discrete decoding) để hội tụ ngữ nghĩa một cách ổn định. Cơ chế này được điều chỉnh bởi một ngưỡng entropy động, cửa sổ duy trì (persistence window) để tránh dao động nhanh và bộ đếm chuyển đổi (switch counter) để hạn chế "suy nghĩ quá mức". 3. Tiêm neo thị giác định hướng theo ưu tiên: Trong các pha entropy cao (khi bắt đầu suy luận tiềm ẩn), LEAD tiêm một vector hướng dẫn thị giác từ các nhúng thị giác đã được huấn luyện trước, khuyến khích mô hình tập trung trở lại vào nội dung thị giác để tăng cường căn cứ thị giác (visual grounding) và giảm ảo giác đa phương thức.

III. Main Results:

LEAD đã được chứng minh là giảm đáng kể ảo giác và tăng cường độ tin cậy của suy luận trên nhiều MLRMs và các bộ dữ liệu đánh giá khác nhau (chung và khoa học). * Giảm ảo giác: Cải thiện điểm MMHalu trung bình +4.7% và +4.1% cho R1-Onevision và Vision-R1 tương ứng, và điểm Bingo tăng +3.8% và +3.2%. * Cải thiện hiệu suất tổng thể: Tăng trung bình +3.6% trong các tác vụ suy luận và hiểu biết chung cho R1-Onevision. * Cải thiện suy luận chuyên biệt: Tăng độ chính xác trung bình +2.0% trên các bộ dữ liệu toán học và +3.2% trên các bộ dữ liệu khoa học. * Hiệu quả suy luận: LEAD tạo ra chuỗi suy luận ngắn hơn nhưng vẫn duy trì độ chính xác cao nhất so với các phương pháp cơ sở, cho thấy hiệu quả cao hơn. * Chất lượng văn bản: LEAD duy trì nhất quán chất lượng văn bản được tạo ra (Perplexity, Ngữ pháp, Độ trôi chảy, Tính tự nhiên) theo đánh giá của GPT-5. * Pass@k: Đạt độ chính xác Pass@k cao nhất ở các giá trị k nhỏ hơn, cho thấy hiệu quả lấy mẫu cao hơn và sự đa dạng, chính xác tốt hơn trong suy luận. * Nghiên cứu loại bỏ: Thử nghiệm loại bỏ xác nhận hiệu quả của ngưỡng entropy động, kích thước cửa sổ chuyển đổi vừa phải và cường độ tiêm neo thị giác tối ưu (đạt đỉnh ở 0.4).

IV. Conclusion & Future Works:

Nghiên cứu này đã phân tích mối quan hệ giữa các từ chuyển tiếp và ảo giác trong suy luận đa phương thức từ góc độ không chắc chắn ở cấp độ token, cho thấy các token entropy cao liên quan đến ảo giác thường nhận được sự chú ý thị giác thấp hơn. Để giải quyết vấn đề này, LEAD được giới thiệu như một khung giải mã nhẹ và linh hoạt, tự động chuyển đổi giữa các biểu diễn ngữ nghĩa rời rạc và tiềm ẩn, đồng thời kết hợp hướng dẫn thị giác trong các giai đoạn không chắc chắn cao. Các đánh giá rộng rãi đã chứng minh rằng LEAD nhất quán tăng cường độ tin cậy của suy luận và giảm đáng kể ảo giác đa phương thức. Hướng phát triển trong tương lai có thể bao gồm: * Mở rộng LEAD để xử lý các loại hình không chắc chắn khác ngoài entropy cấp độ token, ví dụ như không chắc chắn ngữ nghĩa dài hạn hoặc không chắc chắn cấu trúc. * Nghiên cứu các cơ chế tự động học và điều chỉnh các siêu tham số của LEAD (như ngưỡng entropy, kích thước cửa sổ duy trì và cường độ tiêm neo thị giác) một cách linh hoạt theo từng tác vụ hoặc ngữ cảnh. * Áp dụng và đánh giá LEAD trong các miền đa phương thức khác ngoài hỏi đáp hình ảnh, chẳng hạn như tạo nội dung đa phương thức, hiểu biết video hoặc tương tác người-máy.

V. Brainstorming Space:

1. Publish Papers:

"Beyond Token Entropy: Hybrid Uncertainty Metrics for Adaptive Decoding in Multimodal Large Reasoning Models": Nghiên cứu các phương pháp đo lường độ không chắc chắn phức tạp hơn, kết hợp entropy token với các tín hiệu khác (ví dụ: độ tương đồng ngữ nghĩa, độ tin cậy của mô hình) để điều khiển cơ chế chuyển đổi chế độ giải mã của LEAD, nhằm tối ưu hóa hiệu suất giảm ảo giác và hiệu quả suy luận.
"Self-Optimizing LEAD: Dynamic Hyperparameter Tuning for Latent Entropy-Aware Decoding": Phát triển một khung làm việc để tự động học và điều chỉnh các siêu tham số của LEAD (như ngưỡng entropy, kích thước cửa sổ bền vững, cường độ tiêm neo thị giác) trong quá trình suy luận, thay vì sử dụng các giá trị cố định, để LEAD có thể thích ứng linh hoạt hơn với các ngữ cảnh và tác vụ khác nhau mà không cần hiệu chỉnh thủ công.
"LEAD for Multimodal Content Generation: Mitigating Hallucinations in Creative AI Applications": Mở rộng ứng dụng của LEAD từ hỏi đáp hình ảnh sang các tác vụ tạo nội dung đa phương thức phức tạp hơn, như tạo câu chuyện từ hình ảnh, tạo video có lời bình hoặc đối thoại. Nghiên cứu cách LEAD có thể giúp giảm thiểu ảo giác trong các kịch bản sáng tạo này, đảm bảo tính nhất quán và chân thực của nội dung được tạo ra.

2. Patent:

Hệ thống Hỗ trợ Mô tả Ảnh Thông minh trên Di động: Một ứng dụng trên điện thoại di động sử dụng công nghệ LEAD để mô tả hình ảnh cho người dùng. Khi AI của điện thoại phát hiện sự không chắc chắn cao (entropy cao) trong quá trình tạo mô tả (ví dụ: khi gặp một vật thể lạ hoặc mơ hồ), nó sẽ tự động chuyển sang chế độ "suy luận tiềm ẩn" để cân nhắc nhiều khả năng diễn giải và đồng thời "neo" lại vào các chi tiết thị giác trong ảnh. Điều này giúp ứng dụng đưa ra mô tả chính xác hơn, tránh việc "tưởng tượng" ra các chi tiết không có thật trong ảnh, đặc biệt hữu ích cho người khiếm thị hoặc để tra cứu thông tin nhanh.
Chức năng "Kiểm tra Thực tế Thị giác" trong Camera Điện Thoại: Một tính năng tích hợp vào ứng dụng camera của điện thoại thông minh. Khi người dùng chụp ảnh hoặc quay video một đối tượng và yêu cầu thông tin, nếu hệ thống AI của điện thoại không chắc chắn về thông tin cần cung cấp (ví dụ: tên thực vật, chi tiết kiến trúc), nó sẽ kích hoạt cơ chế "tiêm neo thị giác" của LEAD. Điều này buộc AI phải tập trung lại vào các đặc điểm trực quan của đối tượng trong khung hình, từ đó giảm thiểu việc đưa ra thông tin sai lệch hoặc "ảo giác" về đối tượng đó, mang lại câu trả lời đáng tin cậy hơn cho người dùng.
Trợ lý Học tập Thông minh với Khả năng Giải thích Đồ họa Chống "Ảo Giác": Một ứng dụng học tập trên điện thoại hoặc máy tính bảng được thiết kế để giải thích các biểu đồ, sơ đồ hoặc hình ảnh khoa học phức tạp. Khi AI giải thích một phần của đồ họa và nhận thấy mức độ không chắc chắn cao trong suy luận của mình (ví dụ: khi cố gắng kết nối các khái niệm hoặc đưa ra kết luận), nó sẽ sử dụng cơ chế chuyển đổi chế độ suy luận của LEAD. AI sẽ tự động xem xét nhiều cách giải thích tiềm năng và "neo" lại vào các thông tin trực quan cụ thể trên đồ họa, đảm bảo rằng mọi giải thích đều dựa trên bằng chứng thị giác và không "ảo giác" ra các khái niệm sai lệch, giúp học sinh hiểu bài tốt hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.13366
ArXiv Abstract	https://arxiv.org/abs/2603.13366
PDF Download	https://arxiv.org/pdf/2603.13366.pdf
Github Repository	https://github.com/mlrm-LEAD/mlrm-LEAD

7. Kinema4D: Kinematic 4D World Modeling for Spatiotemporal Embodied Simulation (65 votes)

Tác giả: Mutian Xu, Tianbao Zhang, Tianqi Liu, Zhaoxi Chen, Xiaoguang Han, Ziwei Liu

Xuất bản lúc: 2026-03-17

Tag: Embodied AI, 4D Generative World Model, Spatiotemporal-aware, Precise Control, Diffusion Models, Kinematics, Robotics Simulation

I. Main Problem:

Các trình mô phỏng AI hiện thân hiện tại gặp khó khăn trong việc mô phỏng tương tác robot-thế giới 4D theo không gian-thời gian, thiếu kiểm soát robot chính xác và không thể mô phỏng chính xác các hiệu ứng vật lý phức tạp như biến dạng vật liệu hoặc động lực học vật thể bị che khuất. Chúng thường hoạt động trong không gian 2D hoặc dựa vào hướng dẫn tĩnh/ngôn ngữ cấp cao, dẫn đến thiếu độ chính xác và nhận thức không gian-thời gian.

II. Main Idea:

Kinema4D là một trình mô phỏng robot tạo sinh 4D có điều kiện hành động mới, giải quyết vấn đề bằng cách tách rời tương tác robot-thế giới thành hai phần chính: 1) Biểu diễn 4D chính xác các điều khiển robot thông qua điều khiển động học: Hệ thống điều khiển một robot 3D dựa trên URDF thông qua động học tường minh để tạo ra quỹ đạo điều khiển robot 4D chính xác. Quỹ đạo này sau đó được chiếu thành một chuỗi bản đồ điểm (pointmap) đóng vai trò là tín hiệu hình ảnh không gian-thời gian. 2) Mô hình tạo sinh 4D cho phản ứng môi trường thông qua tạo sinh có thể điều khiển: Sử dụng chuỗi bản đồ điểm 4D của robot làm tín hiệu điều khiển cho một mô hình tạo sinh (cụ thể là Diffusion Transformer 4D) để tổng hợp động lực phản ứng phức tạp của môi trường thành các chuỗi RGB/pointmap đồng bộ. Phương pháp này đảm bảo kiểm soát chính xác và tổng hợp linh hoạt. Để hỗ trợ đào tạo, nhóm nghiên cứu đã xây dựng tập dữ liệu quy mô lớn Robo4D-200k, bao gồm 201.426 tập tương tác robot với chú thích 4D chất lượng cao.

III. Main Results:

Kinema4D đã chứng minh khả năng mô phỏng hiệu quả các tương tác robot-thế giới có tính vật lý hợp lý, nhất quán về mặt hình học và không phụ thuộc vào hình thái, phản ánh chân thực động lực học đa dạng trong thế giới thực. Đây là lần đầu tiên phương pháp này cho thấy khả năng chuyển giao zero-shot tiềm năng, cung cấp nền tảng độ trung thực cao cho việc phát triển mô phỏng AI hiện thân thế hệ tiếp theo. Về mặt định lượng, Kinema4D vượt trội so với các phương pháp cơ sở trên nhiều chỉ số tạo video (PSNR, SSIM, L2latent, FID, FVD, LPIPS) và chỉ số hình học (Chamfer Distance, F-Score) về cả độ chính xác và tính nhất quán theo thời gian. Tập dữ liệu Robo4D-200k, tập dữ liệu robot 4D quy mô lớn nhất được biết đến, đã được giới thiệu.

IV. Conclusion & Future Works:

Kinema4D là một trình mô phỏng robot tạo sinh 4D có điều kiện hành động mới, kết hợp chặt chẽ tính chính xác theo không gian-thời gian và tính linh hoạt tạo sinh. Việc tạo ra tập dữ liệu Robo4D-200k quy mô lớn cung cấp một nền tảng dữ liệu quan trọng. Hệ thống đã được đánh giá toàn diện, chứng minh khả năng phản ánh động lực học thế giới thực và đặt nền móng mới cho mô phỏng hiện thân. Các hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng khả năng chuyển giao zero-shot, xử lý các tương tác vật lý phức tạp hơn (ví dụ: biến dạng vật liệu), và khám phá việc tích hợp với các hệ thống AI hiện thân phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Kinema4D để mô phỏng tương tác đa robot trong các môi trường phức tạp, năng động, tập trung vào việc tránh va chạm và các nhiệm vụ hợp tác.
Nghiên cứu các phương pháp giảm chi phí tính toán của mô hình tạo sinh 4D cho mô phỏng hiện thân theo thời gian thực trên các thiết bị biên.
Phát triển một biến thể Kinema4D thích ứng có thể học và tích hợp các thuộc tính vật lý mới (ví dụ: động lực học chất lỏng, vật thể mềm) trực tiếp từ dữ liệu tương tác hạn chế, vượt ra ngoài các giả định về vật thể cứng.

2. Patent:

Một ứng dụng di động cho phép người dùng tương tác với các vật thể trong thực tế tăng cường (AR) bằng cử chỉ tay chính xác. Hệ thống sẽ sử dụng nguyên lý của Kinema4D để mô phỏng các hiệu ứng vật lý 4D thực tế (ví dụ: kéo một vật thể biến dạng ảo, mở cửa ảo trên tường thật) và cung cấp phản hồi xúc giác qua điện thoại, nâng cao trải nghiệm AR và tương tác với môi trường số.
Một ứng dụng di động cho việc đào tạo robot gia đình hoặc giáo dục, cho phép người dùng thiết kế các hành động robot đơn giản. Ứng dụng sẽ sử dụng camera điện thoại để phân tích môi trường thực tế và tạo ra một mô phỏng 4D dự đoán cách robot sẽ tương tác với các vật phẩm trong nhà, bao gồm cả các biến dạng hoặc di chuyển tiềm năng, giúp người dùng hình dung và tối ưu hóa hành vi của robot.
Một ứng dụng di động giúp người dùng xem trước cách các thiết bị nhà thông minh mới sẽ tương tác vật lý với môi trường gia đình của họ trước khi mua hoặc cài đặt. Người dùng có thể đặt một mô hình ảo của thiết bị vào luồng video trực tiếp từ camera điện thoại, xác định một hành động đơn giản, và ứng dụng sẽ tạo ra một mô phỏng 4D ngắn gọn, hiển thị chuyển động của thiết bị và tác động tiềm năng lên các vật thể xung quanh (ví dụ: robot hút bụi có đẩy thảm không, đèn có va vào kệ không), đảm bảo sự phù hợp và tránh các vấn đề không mong muốn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16669
ArXiv Abstract	https://arxiv.org/abs/2603.16669
PDF Download	https://arxiv.org/pdf/2603.16669.pdf
Github Repository	https://github.com/mutianxu/Kinema4D

8. WorldCam: Interactive Autoregressive 3D Gaming Worlds with Camera Pose as a Unifying Geometric Representation (36 votes)

Tác giả: Jisu Nam, Yicong Hong, Chun-Hao Paul Huang, Feng Liu, JoungBin Lee, Jiyoung Kim, Siyoon Jin, Yunsung Lee, Jaeyoon Jung, Suhwan Choi, Seungryong Kim, Yang Zhou

Xuất bản lúc: 2026-03-17

Tag: Diffusion Models, Generative AI, 3D Vision, Action Control, Gaming, Datasets, Camera Pose Estimation

I. Main Problem:

Các mô hình thế giới trò chơi tương tác hiện tại gặp khó khăn trong việc điều khiển hành động chính xác và duy trì tính nhất quán 3D trong thời gian dài. Hầu hết các phương pháp trước đây coi các hành động của người dùng như các tín hiệu điều kiện trừu tượng, bỏ qua mối liên hệ hình học cơ bản giữa hành động và thế giới 3D, nơi các hành động tạo ra chuyển động camera tương đối tích lũy thành tư thế camera toàn cục.

II. Main Idea:

WorldCam đề xuất sử dụng tư thế camera làm biểu diễn hình học thống nhất để kiểm soát hành động tức thì và duy trì tính nhất quán 3D dài hạn. Cụ thể, phương pháp này định nghĩa không gian hành động liên tục dựa trên vật lý và biểu diễn đầu vào người dùng trong đại số Lie để suy ra tư thế camera 6-DoF chính xác, sau đó được đưa vào mô hình tạo sinh thông qua một bộ nhúng camera. Thứ hai, các tư thế camera toàn cục được dùng làm chỉ mục không gian để truy xuất các quan sát trong quá khứ, đảm bảo việc quay lại các địa điểm một cách nhất quán về mặt hình học trong quá trình điều hướng dài hạn. Cuối cùng, nhóm nghiên cứu giới thiệu bộ dữ liệu lớn WorldCam-50h gồm 3.000 phút gameplay thực tế của con người được chú thích với quỹ đạo camera và mô tả văn bản.

III. Main Results:

Các thử nghiệm rộng rãi cho thấy WorldCam vượt trội đáng kể so với các mô hình thế giới trò chơi tương tác hiện đại về khả năng kiểm soát hành động, chất lượng hình ảnh dài hạn và tính nhất quán không gian 3D. Cụ thể, WorldCam đạt lỗi tư thế thấp nhất (RPEcamera cải thiện 16.3% so với GameCraft và 36.1% so với CameraCtrl). Về chất lượng hình ảnh dài hạn, phương pháp này đạt điểm VBench trung bình cao nhất (0.844), vượt trội 8.1% so với GameCraft. Đối với tính nhất quán 3D, WorldCam cho thấy hiệu suất tốt nhất trên tất cả các chỉ số đánh giá (PSNR, LPIPS, MEt3R, DINO Similarity, Sharpness), và được đánh giá cao hơn trong nghiên cứu người dùng.

IV. Conclusion & Future Works:

WorldCam là một mô hình nền tảng cho thế giới trò chơi tương tác, cho phép kiểm soát hành động chính xác, tạo sinh dài hạn và mô hình hóa thế giới 3D nhất quán bằng cách sử dụng tư thế camera làm điểm neo hình học thống nhất. Bộ dữ liệu WorldCam-50h quy mô lớn, bao gồm các trò chơi mã nguồn mở, hỗ trợ khả năng tái tạo nghiên cứu. Các thí nghiệm rộng rãi đã chứng minh những cải tiến rõ rệt so với các mô hình thế giới tương tác và các phương pháp cơ sở được điều khiển bằng camera về độ chính xác hành động, chất lượng hình ảnh dài hạn và tính nhất quán 3D.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng WorldCam cho môi trường động và tương tác đa tác nhân: Nghiên cứu cách tích hợp các đối tượng động, tương tác vật lý với các đối tượng này và sự hiện diện của các tác nhân/người chơi khác vào mô hình tạo sinh dựa trên tư thế camera. Điều này sẽ nâng cao đáng kể độ phức tạp và tính chân thực của các thế giới được tạo ra.
Bộ nhớ dài hạn nhận biết ngữ nghĩa để tăng cường tính nhất quán 3D: Khám phá việc kết hợp thông tin ngữ nghĩa (ví dụ: nhận dạng đối tượng, hiểu cảnh) vào bộ nhớ dài hạn, thay vì chỉ dựa vào tư thế camera. Điều này có thể cho phép truy xuất bộ nhớ thông minh hơn và nhận biết ngữ cảnh, cải thiện tính nhất quán trong các cảnh phức tạp hoặc khi quay lại các địa điểm có những thay đổi tinh tế.
Thích ứng thời gian thực và cá nhân hóa thế giới được tạo: Nghiên cứu các phương pháp để người dùng có thể tùy chỉnh hoặc ảnh hưởng đến quá trình tạo sinh theo thời gian thực vượt ra ngoài các hành động đơn giản. Điều này có thể bao gồm việc kết hợp sở thích của người dùng, chuyển đổi phong cách hoặc thậm chí là khả năng chỉnh sửa thế giới tức thì, hướng tới trải nghiệm chơi game thực sự cá nhân hóa.

2. Patent:

Hệ thống điều khiển trò chơi thực tế ảo/tăng cường bằng cử chỉ tự nhiên: Một ứng dụng di động có thể sử dụng camera của điện thoại để theo dõi cử chỉ của người dùng (ví dụ: nghiêng điện thoại, di chuyển tay) và chuyển đổi các cử chỉ này thành chuyển động camera 6 bậc tự do (lên/xuống, trái/phải, tiến/lùi, xoay) trong một thế giới ảo. Điều này cho phép người dùng điều khiển nhân vật hoặc camera trong game một cách trực quan hơn, như thể họ đang thực sự di chuyển trong môi trường đó, mà không cần tay cầm vật lý.
Công nghệ tạo thế giới ảo liền mạch dựa trên vị trí địa lý thực tế: Một ứng dụng di động sử dụng dữ liệu GPS và la bàn của điện thoại để tạo ra một thế giới ảo liên tục, nơi người dùng có thể "du hành" qua các địa điểm thực tế được mô phỏng lại trong game. Khi người dùng di chuyển trong thế giới thực, vị trí camera trong thế giới ảo cũng được cập nhật tương ứng, đồng thời hệ thống sẽ tự động tải và tạo ra các khu vực mới dựa trên dữ liệu bản đồ hoặc các điểm mốc nổi bật, đảm bảo trải nghiệm khám phá không giới hạn và nhất quán về mặt không gian.
Hệ thống ghi nhớ và tái tạo môi trường chơi game cá nhân hóa: Một tính năng trên điện thoại di động cho phép người dùng lưu lại các "khoảnh khắc" hoặc "địa điểm" cụ thể trong thế giới game ảo mà họ đã khám phá. Sau đó, hệ thống có thể sử dụng thông tin về vị trí camera và môi trường xung quanh tại thời điểm đó để tái tạo lại chính xác cảnh quan đó bất cứ lúc nào, ngay cả khi người dùng đã rời đi và quay lại sau. Điều này giúp duy trì sự nhất quán của thế giới game qua các phiên chơi dài và cho phép người dùng dễ dàng "quay lại" những nơi yêu thích.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16871
ArXiv Abstract	https://arxiv.org/abs/2603.16871
PDF Download	https://arxiv.org/pdf/2603.16871.pdf
Github Repository	https://github.com/cvlab-kaist/WorldCam

9. TRUST-SQL: Tool-Integrated Multi-Turn Reinforcement Learning for Text-to-SQL over Unknown Schemas (34 votes)

Tác giả: Ai Jian, Xiaoyun Zhang, Wanrou Du, Jingqing Ruan, Jiangbo Pei, Weipeng Zhang, Ke Zeng, Xunliang Cai

Xuất bản lúc: 2026-03-17

Tag: Text-to-SQL, Reinforcement Learning, LLMs, Multi-turn Interaction, Schema Grounding, POMDP, Tool-Augmented Agent

I. Main Problem:

Các phương pháp Text-to-SQL hiện tại hoạt động hiệu quả dưới giả định "Full Schema Assumption" (toàn bộ lược đồ cơ sở dữ liệu được nạp sẵn). Tuy nhiên, giả định này không thực tế trong môi trường doanh nghiệp thực tế, nơi cơ sở dữ liệu chứa hàng trăm bảng với siêu dữ liệu lớn, nhiễu và thường xuyên thay đổi. Việc nạp toàn bộ lược đồ không khả thi (do giới hạn ngữ cảnh của mô hình) và có hại (do các bảng không liên quan hoặc lỗi thời gây nhiễu). Điều này dẫn đến kịch bản "Unknown Schema" (lược đồ không xác định) mà các mô hình phải tự chủ động khám phá và xác minh các phần lược đồ liên quan. Ngoài ra, các phương pháp hiện có gặp khó khăn trong việc duy trì sự gắn kết lý luận qua các tương tác dài, dễ gây ảo giác về các phần lược đồ không tồn tại và gặp thách thức trong việc phân bổ tín dụng (credit assignment) cho các hành động cụ thể trong quá trình học tăng cường đa lượt.

II. Main Idea:

TRUST-SQL đề xuất một khuôn khổ tự chủ để giải quyết vấn đề Text-to-SQL trong môi trường lược đồ không xác định. Công trình này mô hình hóa tác vụ như một Quá trình Quyết định Markov Quan sát Một phần (Partially Observable Markov Decision Process - POMDP) và giới thiệu một giao thức tương tác bốn pha có cấu trúc: Explore (Khám phá), Propose (Đề xuất), Generate (Tạo), và Confirm (Xác nhận). Pha "Propose" đóng vai trò là một điểm kiểm tra nhận thức bắt buộc, buộc tác nhân phải cam kết với siêu dữ liệu đã được xác minh để ngăn chặn ảo giác. Giao thức này cung cấp một ranh giới cấu trúc cho chiến lược huấn luyện Dual-Track GRPO (Group Relative Policy Optimization) mới lạ. Dual-Track GRPO sử dụng các lợi thế được che mặt (masked advantages) ở cấp độ token để phân tách phần thưởng khám phá lược đồ và phần thưởng thực thi SQL, cho phép tối ưu hóa đồng thời việc xác định lược đồ (schema grounding) và tạo câu truy vấn SQL mà không làm lẫn lộn tín hiệu học tập.

III. Main Results:

TRUST-SQL đạt được mức cải thiện tương đối 9.9% về độ chính xác thực thi so với GRPO tiêu chuẩn trên BIRD-Dev.
Trên năm bộ dữ liệu đánh giá khác nhau, TRUST-SQL đạt mức cải thiện tuyệt đối trung bình 30.6% cho biến thể 4B và 16.6% cho biến thể 8B so với các mô hình cơ sở của chúng.
Mặc dù hoạt động hoàn toàn không có siêu dữ liệu được tải trước, tác nhân TRUST-SQL nhất quán khớp hoặc vượt trội so với các phương pháp cơ sở mạnh mẽ vốn dựa vào việc điền trước lược đồ.
Phân tích cho thấy pha "Propose" giảm đáng kể lỗi ảo giác (giảm 9.4 lần so với baseline EC).
Việc tiêm lược đồ đầy đủ trước (Schema Prefill) không mang lại lợi ích đáng kể cho TRUST-SQL và thậm chí làm giảm hiệu suất trên các benchmark về độ bền.

IV. Conclusion & Future Works:

TRUST-SQL chứng minh rằng việc khám phá cơ sở dữ liệu tự chủ là khả thi và hiệu quả trong các môi trường mà lược đồ lớn, nhiễu và liên tục phát triển. Giao thức bốn pha có cấu trúc giúp tác nhân dựa trên siêu dữ liệu đã được xác minh để ngăn chặn ảo giác, và điểm kiểm tra nhận thức bắt buộc của nó cung cấp ranh giới cấu trúc cho Dual-Track GRPO để giải quyết vấn đề phân bổ tín dụng. Điều này thiết lập một mô hình mới cho Text-to-SQL đáng tin cậy trong các môi trường không thể quan sát.

Hạn chế và công việc tương lai:

Chi phí suy luận (Inference Overhead): Mô hình tương tác đa lượt tự nhiên phát sinh chi phí suy luận cao hơn. Hướng phát triển trong tương lai là tối ưu hóa hiệu quả suy luận cho các triển khai yêu cầu độ trễ thấp.
Chỉ hỗ trợ SQLite Dialect: Việc huấn luyện và đánh giá chỉ được thực hiện trên các benchmark dựa trên SQLite. Mở rộng sang các ngôn ngữ SQL khác như PostgreSQL hoặc MySQL là một hướng đi có giá trị.
Ngân sách lượt cố định (Fixed Turn Budget): Số lượt tương tác tối đa T được cố định trong quá trình huấn luyện, điều này có thể hạn chế sự khám phá kỹ lưỡng đối với các cơ sở dữ liệu có lược đồ đặc biệt phức tạp. Việc điều chỉnh ngân sách lượt một cách linh hoạt dựa trên độ phức tạp của cơ sở dữ liệu là một hướng thú vị cho công việc tương lai.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện hiệu suất suy luận cho các tác nhân Text-to-SQL đa lượt: Nghiên cứu các kỹ thuật nén mô hình, tối ưu hóa truy vấn công cụ cơ sở dữ liệu và chiến lược lập lịch tác vụ để giảm độ trễ và chi phí tính toán của các tác nhân Text-to-SQL đa lượt trong môi trường sản phẩm thực tế, đặc biệt cho các ứng dụng yêu cầu hiệu suất cao.
Mở rộng khả năng Text-to-SQL sang các ngôn ngữ SQL đa dạng và cơ sở dữ liệu phân tán: Phát triển các phương pháp huấn luyện và kiến trúc mô hình cho phép tác nhân TRUST-SQL hoạt động hiệu quả trên nhiều loại ngôn ngữ SQL (ví dụ: PostgreSQL, MySQL, Oracle SQL) và các hệ thống cơ sở dữ liệu phân tán, giải quyết các thách thức về cú pháp, ngữ nghĩa và tối ưu hóa truy vấn đặc thù của từng nền tảng.
Học tăng cường thích ứng với ngân sách lượt động cho khám phá lược đồ: Thiết kế một cơ chế học tăng cường cho phép tác nhân tự động điều chỉnh ngân sách lượt tương tác dựa trên độ phức tạp của câu hỏi và cấu trúc lược đồ cơ sở dữ liệu được khám phá, tối ưu hóa giữa hiệu quả khám phá và độ chính xác của câu truy vấn SQL cuối cùng.

2. Patent:

Hệ thống trợ lý ảo thông minh cho điện thoại di động có khả năng tự động truy vấn dữ liệu từ các ứng dụng: Một hệ thống trên điện thoại di động cho phép người dùng đặt câu hỏi bằng ngôn ngữ tự nhiên về dữ liệu trong các ứng dụng khác nhau (ví dụ: "Tìm tất cả các giao dịch mua hàng từ cửa hàng X trong tháng trước"). Hệ thống sẽ tự động xác định các bảng và trường dữ liệu liên quan trong ứng dụng đó (mà không cần biết trước cấu trúc), thực hiện truy vấn và trả về kết quả, giống như một tác nhân tự động khám phá lược đồ.
Phương pháp tối ưu hóa trải nghiệm người dùng bằng cách tự động điều chỉnh độ sâu tìm kiếm thông tin: Một tính năng trên điện thoại di động giúp các ứng dụng tìm kiếm thông tin theo ngữ cảnh (ví dụ: tìm kiếm ảnh, tài liệu). Thay vì tìm kiếm tất cả mọi thứ, hệ thống sẽ sử dụng một cơ chế tự động học để quyết định bao nhiêu thông tin cần được khám phá dựa trên độ phức tạp của yêu cầu người dùng và tài nguyên có sẵn, cân bằng giữa tốc độ phản hồi và độ đầy đủ của kết quả, tương tự như việc điều chỉnh ngân sách lượt động.
Công cụ gỡ lỗi mã nguồn ứng dụng di động dựa trên phân tích tương tác: Một công cụ phát triển ứng dụng di động tích hợp khả năng phân tích các tương tác của người dùng với ứng dụng. Khi có lỗi xảy ra, công cụ này sẽ tự động phân tích chuỗi hành động của người dùng và các thay đổi trong dữ liệu ứng dụng để xác định nguyên nhân gốc rễ của lỗi, tương tự như cách Dual-Track GRPO phân tách tín hiệu khám phá và thực thi để gán tín dụng cho các hành động. Điều này giúp các nhà phát triển dễ dàng tìm và sửa lỗi hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16448
ArXiv Abstract	https://arxiv.org/abs/2603.16448
PDF Download	https://arxiv.org/pdf/2603.16448.pdf
Github Repository	N/A

10. Online Experiential Learning for Language Models (24 votes)

Tác giả: Tianzhu Ye, Li Dong, Qingxiu Dong, Xun Wu, Shaohan Huang, Furu Wei

Xuất bản lúc: 2026-03-17

Tag: LLMs, Online Learning, Reinforcement Learning, Context Distillation, Experiential Learning

I. Main Problem:

Mô hình ngôn ngữ lớn (LLMs) hiện tại chủ yếu được cải thiện thông qua huấn luyện ngoại tuyến (offline training) với dữ liệu được chú thích bởi con người hoặc môi trường mô phỏng. Điều này dẫn đến việc bỏ lỡ hoàn toàn lượng kinh nghiệm phong phú tích lũy được trong quá trình triển khai thực tế. Các thách thức chính bao gồm:

Bỏ qua kinh nghiệm thực tế: Mô hình không thể học hỏi từ các tương tác trong thế giới thực sau khi triển khai, làm giới hạn khả năng cải thiện liên tục.
Hạn chế quyền truy cập môi trường: Máy chủ huấn luyện không thể truy cập môi trường phía người dùng, nơi mô hình hoạt động.
Thiếu tín hiệu phần thưởng rõ ràng: Các tương tác thực tế hiếm khi cung cấp tín hiệu phần thưởng dạng số; thay vào đó, môi trường chỉ trả về phản hồi dạng văn bản (ví dụ: mô tả kết quả, lỗi, thay đổi trạng thái). Các thuật toán học tăng cường tiêu chuẩn không thể trực tiếp sử dụng tín hiệu phi cấu trúc này, và việc xây dựng hàm phần thưởng hoặc mô hình phần thưởng cho từng kịch bản triển khai là không thực tế.

II. Main Idea:

Các tác giả đề xuất Học tập Trải nghiệm Trực tuyến (Online Experiential Learning - OEL), một khuôn khổ cho phép các mô hình ngôn ngữ liên tục cải thiện từ chính kinh nghiệm triển khai của chúng. OEL hoạt động qua hai giai đoạn lặp lại:

Trích xuất Kiến thức Trải nghiệm: Kiến thức trải nghiệm có thể chuyển giao được trích xuất và tích lũy từ các quỹ đạo tương tác thu thập được từ phía người dùng. Quá trình này không yêu cầu nhãn ground-truth mà chỉ dựa vào các quỹ đạo tương tác.
Củng cố Kiến thức vào Tham số Mô hình: Kiến thức tích lũy này được củng cố vào các tham số của mô hình thông qua phương pháp chưng cất ngữ cảnh trên chính sách (on-policy context distillation). Quá trình này không yêu cầu quyền truy cập vào môi trường phía người dùng và không cần mô hình phần thưởng, hàm phần thưởng có thể kiểm chứng, hay chú thích của con người. Hai giai đoạn này được lặp đi lặp lại tạo thành một vòng lặp học tập trực tuyến, nơi mô hình được cải thiện sẽ thu thập các quỹ đạo chất lượng cao hơn, từ đó tạo ra kiến thức trải nghiệm phong phú hơn cho các vòng tiếp theo.

III. Main Results:

Cải thiện liên tục: OEL đạt được những cải thiện nhất quán qua các vòng lặp liên tiếp, nâng cao cả độ chính xác của tác vụ và hiệu quả token (giảm độ dài phản hồi), đồng thời bảo toàn hiệu suất ngoài phân phối (out-of-distribution performance).
Hiệu quả token: Độ dài phản hồi trung bình trên mỗi lượt giảm đáng kể (khoảng 70% độ dài ban đầu sau ba lần lặp), cho thấy mô hình giải quyết vấn đề nhanh hơn với ít nỗ lực suy luận hơn.
Giảm thiểu quên thảm khốc: Chưng cất ngữ cảnh trên chính sách (on-policy context distillation) được sử dụng trong OEL giúp duy trì hiệu suất ngoài phân phối, giảm thiểu hiện tượng quên thảm khốc (catastrophic forgetting) so với các phương pháp chưng cất ngoài chính sách (off-policy).
Hiệu quả của kiến thức trải nghiệm: Kiến thức trải nghiệm được trích xuất hiệu quả hơn đáng kể so với việc sử dụng trực tiếp các quỹ đạo thô để cải thiện hiệu suất.
Tính nhất quán trên chính sách: Tính nhất quán trên chính sách giữa nguồn kiến thức và mô hình chính sách là yếu tố then chốt cho việc học tập hiệu quả. Kiến thức từ mô hình lớn hơn không nhất thiết chuyển giao tốt cho mô hình nhỏ hơn.
Khả năng mở rộng: OEL mang lại những cải tiến đáng kể cho tất cả các kích thước mô hình (1.7B, 4B, 8B), với các mô hình lớn hơn thường đạt tỷ lệ thành công cao hơn.

IV. Conclusion & Future Works:

Công trình giới thiệu Học tập Trải nghiệm Trực tuyến (OEL), một khuôn khổ không cần phần thưởng cho phép các mô hình ngôn ngữ liên tục cải thiện từ kinh nghiệm triển khai của chính chúng. Bằng cách trích xuất kiến thức trải nghiệm có thể chuyển giao từ các quỹ đạo tương tác và củng cố nó vào các tham số mô hình thông qua chưng cất ngữ cảnh trên chính sách, OEL tạo thành một vòng lặp học tập trực tuyến tự nhiên không yêu cầu chú thích của con người, mô hình phần thưởng hay quyền truy cập môi trường phía người dùng từ máy chủ. Các thí nghiệm trên môi trường trò chơi dựa trên văn bản chứng minh rằng OEL đạt được những cải thiện nhất quán qua các vòng lặp liên tiếp trên nhiều quy mô mô hình, nâng cao độ chính xác tác vụ và hiệu quả suy luận trong khi vẫn bảo toàn hiệu suất ngoài phân phối. Phân tích cũng xác nhận tầm quan trọng của việc trích xuất kiến thức so với sử dụng quỹ đạo thô và vai trò quan trọng của tính nhất quán trên chính sách. Các tác giả tin rằng học tập trải nghiệm trực tuyến đại diện cho một hướng đi đầy hứa hẹn cho giai đoạn phát triển tiếp theo của mô hình ngôn ngữ, nơi triển khai thực tế không phải là điểm kết thúc của quá trình huấn luyện mà là khởi đầu của quá trình cải tiến liên tục.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các cơ chế trích xuất kiến thức trải nghiệm chuyên sâu hơn: Khám phá các phương pháp tiên tiến để trích xuất kiến thức trải nghiệm từ các quỹ đạo tương tác, không chỉ giới hạn ở việc tóm tắt văn bản. Điều này có thể bao gồm việc phát triển các mô hình trích xuất chuyên biệt để nhận diện các quy tắc ẩn, mối quan hệ nhân quả, hoặc các chiến lược thành công/thất bại từ phản hồi văn bản phức tạp, nhằm tạo ra kiến thức có cấu trúc và hiệu quả hơn cho việc củng cố mô hình.
Ứng dụng OEL vào các tác vụ thế giới thực đa dạng và phức tạp: Mở rộng việc đánh giá OEL ra ngoài các môi trường trò chơi dựa trên văn bản sang các miền ứng dụng thực tế phong phú hơn như hỗ trợ khách hàng tự động, lập trình sáng tạo, hoặc trợ lý y tế. Nghiên cứu cách OEL có thể xử lý các loại phản hồi môi trường khác nhau (ví dụ: phản hồi đa phương thức, phản hồi không rõ ràng) và cách nó có thể thích ứng với sự thay đổi liên tục của các yêu cầu người dùng và môi trường trong các kịch bản này.
Phân tích định lượng và tối ưu hóa tính nhất quán trên chính sách trong học tập trải nghiệm: Đi sâu vào việc định lượng tác động của tính nhất quán trên chính sách giữa nguồn kiến thức và mô hình chính sách. Nghiên cứu các kỹ thuật để duy trì hoặc cải thiện tính nhất quán này, đặc biệt trong các tình huống mà mô hình trải nghiệm và mô hình chính sách có thể có năng lực khác nhau đáng kể (ví dụ: chuyển giao kiến thức từ mô hình lớn sang mô hình nhỏ hơn), nhằm tối ưu hóa quá trình chưng cất kiến thức và giảm thiểu sự "quên thảm khốc".

2. Patent:

Hệ thống đề xuất hành động thông minh cho ứng dụng di động: Một hệ thống trên điện thoại di động tự động học hỏi từ cách người dùng tương tác với các ứng dụng để đưa ra các đề xuất hành động thông minh. Ví dụ, nếu người dùng thường xuyên chụp ảnh một loại đối tượng nhất định (như cây cối hoặc thức ăn) và sau đó ngay lập tức mở ứng dụng chỉnh sửa ảnh cụ thể, hệ thống sẽ tự động học mẫu này. Sau đó, khi người dùng chụp một bức ảnh tương tự, điện thoại sẽ hiển thị một nút hoặc thông báo gợi ý mở ứng dụng chỉnh sửa ảnh yêu thích của họ, hoặc thậm chí áp dụng sẵn một bộ lọc thường dùng, giúp tiết kiệm các bước thủ công và cá nhân hóa trải nghiệm.
Cải thiện tự động chất lượng tin nhắn/email trên điện thoại: Một tính năng trên ứng dụng nhắn tin hoặc email của điện thoại có khả năng học hỏi từ các sửa đổi của người dùng đối với bản nháp tin nhắn. Khi người dùng soạn một tin nhắn và sau đó tự chỉnh sửa ngữ pháp, từ ngữ, hoặc thêm các biểu tượng cảm xúc, hệ thống sẽ ghi nhận những thay đổi này như "kinh nghiệm". Dựa trên kinh nghiệm đó, nó sẽ tự động đề xuất các cách diễn đạt tốt hơn, sửa lỗi chính tả/ngữ pháp cá nhân hóa, hoặc gợi ý phong cách viết phù hợp hơn cho các tin nhắn tương lai, giúp người dùng giao tiếp hiệu quả và chuyên nghiệp hơn mà không cần huấn luyện thủ công.
Tối ưu hóa cài đặt thiết bị di động dựa trên thói quen sử dụng: Một ứng dụng hoặc tính năng hệ thống trên điện thoại di động tự động điều chỉnh các cài đặt của thiết bị (ví dụ: độ sáng màn hình, âm lượng, chế độ tiết kiệm pin, bật/tắt Wi-Fi/Bluetooth) dựa trên thói quen và môi trường sử dụng thực tế của người dùng. Ví dụ, nếu điện thoại nhận thấy người dùng thường giảm độ sáng màn hình khi ở trong nhà vào buổi tối, hoặc bật chế độ im lặng khi đến một địa điểm làm việc cụ thể, nó sẽ học các mẫu này. Sau đó, hệ thống sẽ tự động thực hiện các điều chỉnh tương tự trong các ngữ cảnh tương lai, hoặc đưa ra các gợi ý điều chỉnh tối ưu, giúp kéo dài thời lượng pin và nâng cao trải nghiệm người dùng mà không cần can thiệp liên tục.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16856
ArXiv Abstract	https://arxiv.org/abs/2603.16856
PDF Download	https://arxiv.org/pdf/2603.16856.pdf
Github Repository	N/A

11. FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use (24 votes)

Tác giả: Jiaxuan Lu, Kong Wang, Yemin Wang, Qingmei Tang, Hongwei Zeng, Xiang Chen, Jiahao Pi, Shujian Deng, Lingzhi Chen, Yi Fu, Kehua Yang, Xiao Sun

Xuất bản lúc: 2026-03-09

Tag: LLM Agents, Tool Use, Financial Benchmarks, Real-World APIs, Evaluation, AI in Finance

I. Main Problem:

Việc tích hợp các Mô hình Ngôn ngữ Lớn (LLM) vào lĩnh vực tài chính đang chuyển đổi từ việc truy xuất thông tin thụ động sang tương tác tác nhân động. Tuy nhiên, các đánh giá tài chính hiện có chủ yếu tập trung vào phân tích văn bản tĩnh hoặc QA dựa trên tài liệu, bỏ qua thực tế phức tạp của việc thực thi công cụ. Ngược lại, các benchmark công cụ chung thiếu tính nghiêm ngặt chuyên biệt cho lĩnh vực tài chính, thường dựa vào môi trường thử nghiệm hoặc số lượng API tài chính không đáng kể. Hơn nữa, các chỉ số hiện tại bỏ qua ba chế độ lỗi lặp lại thiết yếu cho độ tin cậy tài chính: tính kịp thời (timeliness), giới hạn ý định (intent restraint) và sự phù hợp với miền (domain alignment), khiến việc phân biệt giữa một tác nhân thực thi đúng và một tác nhân có lựa chọn công cụ được chấp nhận theo các ràng buộc tài chính trở nên khó khăn.

II. Main Idea:

Để khắc phục những thiếu sót này, nghiên cứu giới thiệu FinToolBench, một benchmark có thể chạy được trong thế giới thực, dành riêng để đánh giá các tác nhân LLM sử dụng công cụ tài chính. FinToolBench thiết lập một hệ sinh thái thực tế kết hợp 760 công cụ tài chính có thể thực thi với 295 truy vấn nghiêm ngặt, yêu cầu công cụ. Nghiên cứu đề xuất một khung đánh giá mới vượt ra ngoài thành công thực thi nhị phân, đánh giá các tác nhân dựa trên các khía cạnh quan trọng đối với tài chính: tính kịp thời (timeliness), loại ý định (intent type) và sự phù hợp với miền quy định (regulatory domain alignment). Ngoài ra, nghiên cứu giới thiệu FATR (Finance-Aware Tool Retrieval and Reasoning), một phương pháp cơ sở nhận biết tài chính giúp tăng cường sự ổn định và tuân thủ bằng cách đưa các thuộc tính tài chính vào các thẻ công cụ và ổn định quá trình thực thi.

III. Main Results:

FinToolBench bao gồm 760 công cụ tài chính miễn phí và 295 câu hỏi yêu cầu công cụ (166 câu hỏi một công cụ, 129 câu hỏi nhiều công cụ). Kết quả cho thấy Qwen3-8B có tỷ lệ gọi công cụ cao nhất (TIR=0.8712) và độ chính xác mềm cao nhất (Soft Score =0.4234), nhưng tỷ lệ thành công thực thi có điều kiện thấp (CER=0.3385). Doubao-Seed-1.6 thể hiện hiệu suất cân bằng nhất, đạt tỷ lệ thành công thực thi tổng thể cao nhất (TESR=0.3254) và CER cao thứ hai (0.5000). GPT-4o ưu tiên độ chính xác và an toàn, đạt CER cao nhất (0.6176) và CSS cao nhất (0.6700), cùng với tỷ lệ không khớp ý định và miền thấp nhất, nhưng có tỷ lệ gọi công cụ thấp nhất (TIR=0.2267). Việc đưa các thuộc tính tài chính vào thẻ công cụ (FATR) giúp cải thiện sự lựa chọn công cụ và sự phù hợp với các quy định, giảm đáng kể tỷ lệ không khớp (TMR, IMR, DMR) mặc dù TIR có thể giảm nhẹ.

IV. Conclusion & Future Works:

Nghiên cứu giới thiệu FinToolBench, một khung toàn diện để đánh giá việc sử dụng công cụ tài chính dựa trên khả năng cấp độ cuộc gọi và tuân thủ quy định nghiêm ngặt. Benchmark này kết hợp một danh mục công cụ miễn phí khổng lồ (760 công cụ) với 295 câu hỏi phức tạp, yêu cầu công cụ. Giao thức đánh giá tách biệt các chỉ số khả năng (tác nhân có thể gọi và thực thi công cụ không) khỏi các chỉ số tuân thủ (lựa chọn công cụ có thỏa mãn các ràng buộc về tính kịp thời, ý định và miền không), phản ánh các yêu cầu trong thế giới thực của lĩnh vực tài chính. FATR được cung cấp như một cơ sở thực tế để hỗ trợ việc áp dụng ngay lập tức. Công cụ manifest, tập hợp câu hỏi và script đánh giá sẽ được công khai. Công việc trong tương lai có thể mở rộng phạm vi sang các nguồn cấp dữ liệu thời gian thực độc quyền và nghiên cứu thêm về tính mạnh mẽ của tác nhân dưới các bản cập nhật API công cụ và sự thay đổi chính sách không thể tránh khỏi.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng đánh giá tác nhân LLM sang dữ liệu tài chính độc quyền và thời gian thực: Nghiên cứu các phương pháp tích hợp và đánh giá các tác nhân LLM sử dụng các nguồn cấp dữ liệu tài chính độc quyền, thời gian thực, vượt ra ngoài các công cụ miễn phí hiện có trong FinToolBench. Điều này sẽ bao gồm việc giải quyết các thách thức về quyền riêng tư dữ liệu, bảo mật và độ trễ.
Nghiên cứu về khả năng thích ứng của tác nhân LLM với sự thay đổi của API công cụ và chính sách: Khám phá các chiến lược để các tác nhân LLM duy trì hiệu suất và tuân thủ khi các API công cụ tài chính phát triển hoặc chính sách quy định thay đổi. Điều này có thể bao gồm các cơ chế học tập liên tục hoặc điều chỉnh thích ứng để đảm bảo độ tin cậy lâu dài.
Phát triển các phương pháp đánh giá định lượng nâng cao cho các khía cạnh an toàn và đạo đức tài chính: Thiết kế các chỉ số và phương pháp mới để định lượng các rủi ro liên quan đến việc sử dụng công cụ LLM trong tài chính, đặc biệt là trong các tình huống nhạy cảm như giao dịch hoặc tư vấn đầu tư, vượt ra ngoài các chỉ số TMR, IMR, DMR hiện có để bao gồm các khía cạnh đạo đức.

2. Patent:

Hệ thống trợ lý tài chính di động thông minh với kiểm soát tuân thủ thời gian thực: Một ứng dụng di động cho phép người dùng hỏi về tài chính bằng ngôn ngữ tự nhiên. Ứng dụng sẽ sử dụng các công cụ tài chính tích hợp để trả lời các câu hỏi, nhưng sẽ có một lớp kiểm soát tích hợp để đảm bảo thông tin được cung cấp là kịp thời, phù hợp với ý định của người dùng (chỉ thông tin, không giao dịch trái phép) và nằm trong phạm vi quy định tài chính thích hợp. Ví dụ: cảnh báo nếu người dùng yêu cầu hành động giao dịch nhưng chỉ được cấp quyền truy cập thông tin.
Công cụ xác thực dữ liệu tài chính di động với cảnh báo lỗi thời và không phù hợp ý định: Một tính năng trên ứng dụng di động kiểm tra thông tin tài chính mà người dùng đang xem hoặc nhập (ví dụ: giá cổ phiếu, tỷ giá hối đoái) để đảm bảo dữ liệu là "thời gian thực" hoặc "cập nhật" theo yêu cầu của ngữ cảnh, đồng thời xác minh rằng việc sử dụng công cụ hoặc dữ liệu phù hợp với ý định ban đầu của người dùng (ví dụ: chỉ truy xuất thông tin, không thực hiện giao dịch). Nếu dữ liệu được truy xuất hoặc được người dùng nhập vào là cũ, không phù hợp với yêu cầu thời gian hoặc vượt quá ý định, ứng dụng sẽ đưa ra cảnh báo rõ ràng.
Giao diện người dùng di động cho phân tích tài chính đa miền có kiểm soát quy định tự động: Một ứng dụng di động cho phép người dùng thực hiện phân tích tài chính phức tạp trên các miền khác nhau (ví dụ: cổ phiếu, tiền điện tử, quỹ). Ứng dụng sẽ tự động xác định miền tài chính của yêu cầu và chỉ sử dụng các công cụ và dữ liệu tuân thủ các quy định của miền đó, ngăn chặn việc sử dụng công cụ không phù hợp (ví dụ: không sử dụng công cụ thị trường chứng khoán cho truy vấn tiền điện tử) và đảm bảo rằng mọi hành động được thực hiện đều nằm trong khuôn khổ quy định của từng loại tài sản.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08262
ArXiv Abstract	https://arxiv.org/abs/2603.08262
PDF Download	https://arxiv.org/pdf/2603.08262.pdf
Github Repository	https://github.com/Double-wk/FinToolBench

Tác giả: Hainuo Wang, Mingjia Li, Xiaojie Guo

Xuất bản lúc: 2026-03-16

Tag: Diffusion Models, Flow Matching, Image Generation, Transformers, Computer Vision

I. Main Problem:

Các mô hình khuếch tán truyền thống trong không gian tiềm ẩn (latent spaces) sử dụng VAE gây ra tắc nghẽn thông tin, làm mất chi tiết tần số cao và tạo ra các tạo tác thị giác. Các mô hình Flow Matching trong không gian pixel gần đây (như JiT) tránh được vấn đề không gian tiềm ẩn nhưng lại gặp phải "xung đột quỹ đạo" (trajectory conflicts) trong không gian pixel. Không gian pixel vốn "rối rắm về ngữ nghĩa" (semantically entangled) và "không phân biệt được" (non-discriminative), dẫn đến các đường truyền tải tối ưu hội tụ hoặc cắt nhau, buộc mạng nơ-ron phải dự đoán một "trường vận tốc trung bình" (averaged velocity field), gây ra "chảy máu ngữ nghĩa" (semantic bleeding) và "hội tụ chậm hơn". Vấn đề chính là làm thế nào để cung cấp hướng dẫn rõ ràng, có thể phân tách ngữ nghĩa cho dòng vector trong không gian pixel mà không quay lại các không gian tiềm ẩn "hộp đen".

II. Main Idea:

Đề xuất Waypoint Diffusion Transformers (WiT) để trực tiếp tháo gỡ các quỹ đạo trong không gian pixel. WiT phân tích trường vector liên tục thông qua các "điểm trung gian ngữ nghĩa" (intermediate semantic waypoints) được chiếu từ các mô hình thị giác tiền huấn luyện (sử dụng đặc trưng DINOv3, giảm chiều bằng PCA xuống 64 chiều). Điều này chia quá trình vận chuyển tối ưu thành hai ánh xạ ổn định, tách rời: "nhiễu đến điểm trung gian" và "điểm trung gian đến pixel". Trong quá trình khử nhiễu lặp đi lặp lại, một bộ tạo (generator) nhẹ sẽ suy luận động các điểm trung gian này từ trạng thái nhiễu hiện tại. Sau đó, các điểm trung gian này liên tục điều kiện hóa bộ khuếch tán transformer chính thông qua cơ chế "Just-Pixel AdaLN", điều hướng quá trình phát triển đến trạng thái tiếp theo. Just-Pixel AdaLN cung cấp điều biến thay đổi theo không gian bằng cách sử dụng các điểm trung gian ngữ nghĩa được dự đoán động, khác với điều kiện hóa toàn cục tiêu chuẩn. Quá trình huấn luyện gồm hai giai đoạn: đầu tiên huấn luyện Bộ tạo điểm trung gian (Waypoints Generator) để suy luận các điểm neo ngữ nghĩa, sau đó đóng băng nó và huấn luyện Bộ tạo không gian pixel (Pixel Space Generator) sử dụng các điểm neo này làm điều kiện.

III. Main Results:

Được đánh giá trên tập dữ liệu ImageNet 256x256. WiT vượt trội so với các baseline mạnh trong không gian pixel (như JiT). Tăng tốc độ hội tụ huấn luyện của JiT lên 2.2 lần. Đạt được độ rõ ràng ranh giới và tính nhất quán cấu trúc vượt trội. Đạt hiệu suất hiện đại (state-of-the-art) trong số các mô hình chỉ hoạt động trong không gian pixel.

IV. Conclusion & Future Works:

WiT giảm thiểu xung đột quỹ đạo nghiêm trọng trong Flow Matching không gian pixel bằng cách neo các quỹ đạo dòng chảy vào các không gian con ngữ nghĩa chiều thấp, tách rời điều hướng ngữ nghĩa khỏi tạo ảnh cấp pixel. Just-Pixel AdaLN cung cấp điều biến thay đổi theo không gian bằng cách sử dụng các điểm trung gian ngữ nghĩa được dự đoán động. Việc neo ngữ nghĩa rõ ràng mang lại tốc độ huấn luyện nhanh hơn 2.2 lần. Bài báo không nêu rõ các hướng nghiên cứu trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các mô hình thị giác tiền huấn luyện khác nhau để trích xuất điểm trung gian: Bài báo sử dụng DINOv3. Các nghiên cứu trong tương lai có thể khám phá các mô hình nền tảng khác (ví dụ: CLIP, SAM, DINOv2 với kiến trúc hoặc quy mô khác) và tác động của chúng đến chất lượng điểm trung gian và hiệu suất tạo ảnh.
Mở rộng WiT sang các tác vụ tạo sinh khác: Hiện tại tập trung vào tạo ảnh. Liệu cách tiếp cận dựa trên điểm trung gian của WiT có thể được áp dụng cho tạo video, tạo nội dung 3D, hoặc các dạng tạo dữ liệu liên tục khác nơi xung đột quỹ đạo có thể xảy ra không?
Điều tra các chiều và chiến lược tạo điểm trung gian thích ứng: Bài báo sử dụng PCA để cố định điểm trung gian ở 64 chiều. Nghiên cứu tương lai có thể khám phá các phương pháp thích ứng để xác định chiều tối ưu của điểm trung gian hoặc học phép chiếu một cách động, thậm chí có thể tạo ra các điểm trung gian theo cách phức tạp hơn, có cấu trúc hơn ngoài các nhúng chiều thấp đơn giản.

2. Patent:

Chỉnh sửa ảnh nâng cao với điều khiển ngữ nghĩa trên điện thoại di động: Một tính năng ứng dụng di động cho phép người dùng thực hiện các chỉnh sửa ảnh rất cụ thể và có ý nghĩa ngữ nghĩa. Thay vì chỉ "làm sáng" hoặc "làm sắc nét", người dùng có thể nói "làm cho lông chó mềm hơn" hoặc "thay đổi kiểu dáng xe thành cổ điển". Công nghệ bên dưới sẽ sử dụng các điểm trung gian ngữ nghĩa để hiểu và sửa đổi các đối tượng hoặc vùng cụ thể trong ảnh dựa trên các gợi ý văn bản cấp cao, đảm bảo các chỉnh sửa thực tế và phù hợp với ngữ cảnh mà không ảnh hưởng đến các phần khác của ảnh.
Tạo ảnh nghệ thuật AI thời gian thực với hướng dẫn phong cách trên điện thoại di động: Một công cụ tạo ảnh nghệ thuật AI tích hợp trên thiết bị, nơi người dùng có thể phác thảo ý tưởng sơ bộ hoặc cung cấp các đầu vào đơn giản (ví dụ: "một phong cảnh có núi") và sau đó hướng dẫn sự phát triển phong cách và nội dung theo thời gian thực. Hệ thống sẽ sử dụng các điểm trung gian ngữ nghĩa để duy trì sự mạch lạc của các yếu tố được tạo ra (ví dụ: đảm bảo núi trông giống núi trong suốt quá trình tạo) đồng thời cho phép điều chỉnh liên tục, tinh tế về phong cách nghệ thuật hoặc các thuộc tính đối tượng cụ thể dựa trên đầu vào của người dùng, làm cho quá trình sáng tạo trở nên trực quan và dễ kiểm soát hơn trên điện thoại.
Nâng cấp độ phân giải và khôi phục chi tiết ảnh thông minh cho ảnh chụp di động: Một tính năng của camera hoặc thư viện ảnh trên điện thoại di động tự động cải thiện các bức ảnh có độ phân giải thấp hoặc bị mờ, đặc biệt là những bức ảnh chụp trong điều kiện khó khăn. Hệ thống sẽ sử dụng các điểm trung gian ngữ nghĩa để xác định và bảo toàn tính toàn vẹn cấu trúc và các chi tiết tốt của các chủ thể quan trọng (ví dụ: khuôn mặt, văn bản, đối tượng) trong khi nâng cấp độ phân giải. Điều này ngăn chặn các tạo tác phổ biến như "chảy máu ngữ nghĩa" hoặc mất chi tiết ở các vùng phức tạp, mang lại hình ảnh sắc nét, chất lượng cao hơn được tối ưu hóa cho việc xem và chia sẻ trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.15132
ArXiv Abstract	https://arxiv.org/abs/2603.15132
PDF Download	https://arxiv.org/pdf/2603.15132.pdf
Github Repository	https://github.com/hainuo-wang/WiT

13. Rethinking UMM Visual Generation: Masked Modeling for Efficient Image-Only Pre-training (28 votes)

Tác giả: Peng Sun, Jun Xie, Tao Lin

Xuất bản lúc: 2026-03-17

Tag: UMMs, Visual Generation, Masked Modeling, Image-Only Pre-training, Diffusion Models, MLLMs, Self-supervised learning, Text-to-Image Generation, Image Editing, Generative AI

I. Main Problem:

Các mô hình đa phương thức thống nhất (UMMs) thường bị hạn chế bởi quá trình tiền huấn luyện các thành phần tạo ảnh của chúng, vốn phụ thuộc vào các phương pháp kém hiệu quả và dữ liệu cặp văn bản-hình ảnh chất lượng cao, khan hiếm. Điều này dẫn đến chi phí tính toán và dữ liệu cao, cản trở nghiên cứu mở và khả năng tái tạo, đồng thời khiến các mô hình gặp khó khăn trong việc tạo ra hình ảnh khớp với gợi ý văn bản khi được tinh chỉnh trên dữ liệu hạn chế.

II. Main Idea:

Để giải quyết các vấn đề trên, nghiên cứu này đề xuất IOMM (Image-Only Training for UMMs), một khung huấn luyện hai giai đoạn hiệu quả về dữ liệu. Giai đoạn đầu tiên tiền huấn luyện thành phần tạo ảnh chỉ sử dụng dữ liệu hình ảnh không nhãn dồi dào, loại bỏ sự phụ thuộc vào dữ liệu cặp tốn kém. Phương pháp này sử dụng một MLLM đã được tiền huấn luyện và đóng băng làm bộ trích xuất đặc trưng, kết hợp tín hiệu điều kiện hình ảnh với một lời nhắc văn bản chung.

IOMM bao gồm hai cải tiến kỹ thuật chính:

Residual Query Adapter (RQA): Một module adapter nhẹ (29M tham số) và hiệu quả, tinh chỉnh tín hiệu điều kiện thị giác trước khi đưa vào MLLM, giúp MLLM đã đóng băng thích ứng với các tác vụ tạo sinh mà không cần tinh chỉnh toàn bộ MLLM.
Masked Image Modeling: Chiến lược này biến quá trình huấn luyện thành một tác vụ tái tạo từ thưa thớt đến dày đặc bằng cách che ngẫu nhiên một phần các token vá hình ảnh. Điều này buộc mô hình phải học một kiến thức thị giác mạnh mẽ và có tính tổng hợp, tương tự như sự giám sát thưa thớt trong quá trình tạo ảnh từ văn bản.

Giai đoạn thứ hai tinh chỉnh mô hình bằng cách sử dụng hỗn hợp hình ảnh không nhãn và một tập hợp nhỏ các cặp văn bản-hình ảnh chất lượng cao, giúp cải thiện khả năng căn chỉnh theo hướng dẫn và chất lượng tạo sinh.

III. Main Results:

IOMM không chỉ cải thiện hiệu quả huấn luyện mà còn đạt được hiệu suất SOTA. Cụ thể:

Mô hình IOMM-B (3.6B) được huấn luyện từ đầu chỉ với khoảng 1050 giờ GPU H800 (trong đó 1000 giờ dành cho giai đoạn tiền huấn luyện chỉ bằng hình ảnh hiệu quả). Nó đạt 0.89 trên GenEval và 0.55 trên WISE, vượt trội so với các mô hình mạnh như BAGEL-7B (0.82 & 0.55) và BLIP3-o-4B (0.84 & 0.50).
Tiền huấn luyện chỉ bằng hình ảnh nhất quán đạt hiệu suất vượt trội hoặc tương đương so với tiền huấn luyện bằng cặp văn bản-hình ảnh, bất kể thành phần dữ liệu tinh chỉnh.
Tinh chỉnh với dữ liệu hỗn hợp mang lại hiệu suất cao nhất trên GenEval cho các mô hình được tiền huấn luyện theo cả hai phương pháp.
Chiến lược tinh chỉnh dữ liệu hỗn hợp được chứng minh là có thể khái quát hóa và cải thiện hiệu suất của các UMM nguồn mở hiện có như OpenUni-L và Qwen-Image.
Mô hình thể hiện khả năng chỉnh sửa hình ảnh mạnh mẽ trong thiết lập zero-shot (không cần huấn luyện trên dữ liệu chỉnh sửa cụ thể), thậm chí vượt trội hơn một số mô hình được huấn luyện rõ ràng cho tác vụ chỉnh sửa.
Bộ điều hợp truy vấn dư (RQA) đạt tốc độ hội tụ nhanh hơn đáng kể so với MetaQuery.
Tỷ lệ che mặt nạ tối ưu cho các token hình ảnh là khoảng 0.45.
Tỷ lệ hỗn hợp tối ưu giữa dữ liệu chỉ hình ảnh và cặp văn bản-hình ảnh trong giai đoạn tinh chỉnh là khoảng 0.5, mang lại kết quả tốt nhất và ổn định huấn luyện cao hơn.

IV. Conclusion & Future Works:

Nghiên cứu này giới thiệu IOMM, một khung làm việc mới và hiệu quả để huấn luyện các thành phần tạo ảnh của UMMs chủ yếu bằng dữ liệu chỉ hình ảnh, giải quyết nút thắt cổ chai về dữ liệu cặp phổ biến. Cách tiếp cận hai giai đoạn của IOMM – tiền huấn luyện chỉ bằng hình ảnh và sau đó tinh chỉnh bằng dữ liệu hỗn hợp – đạt được hiệu suất SOTA với hiệu quả tính toán đáng kể. Ngoài ra, chiến lược tinh chỉnh dữ liệu hỗn hợp của chúng tôi được chứng minh là một kỹ thuật tổng quát, nhất quán nâng cao hiệu suất của các UMM mạnh mẽ hiện có. Các hướng phát triển tiếp theo có thể bao gồm việc khám phá các cải tiến cho các mô hình lớn hơn thông qua việc huấn luyện kéo dài hơn, cũng như áp dụng các nguyên tắc của IOMM cho các loại dữ liệu đa phương thức khác hoặc các tác vụ tạo sinh phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng IOMM cho thế giới thực và đa miền: Nghiên cứu cách IOMM có thể được điều chỉnh và tối ưu hóa để tạo ra hình ảnh chất lượng cao trong các miền chuyên biệt (ví dụ: y tế, kiến trúc) hoặc trong các môi trường thực tế với điều kiện ánh sáng và góc nhìn đa dạng, tập trung vào việc xử lý các ràng buộc về dữ liệu và tính đa dạng của miền.
Khám phá kiến trúc adapter mới cho tương tác đa phương thức hiệu quả: Phát triển và đánh giá các kiến trúc adapter nhẹ hơn hoặc thông minh hơn RQA, cho phép điều khiển tinh tế hơn các MLLM đã đóng băng và cải thiện khả năng tương tác giữa các phương thức, đặc biệt là cho các tác vụ tạo sinh phức tạp hoặc chỉnh sửa tương tác.
Đánh giá định lượng khả năng chỉnh sửa hình ảnh zero-shot của IOMM: Phát triển các tiêu chí và bộ dữ liệu đánh giá mới để đo lường chính xác hơn khả năng chỉnh sửa hình ảnh zero-shot của các mô hình như IOMM, đặc biệt là về độ chính xác, tính sáng tạo và khả năng tuân thủ hướng dẫn phức tạp của người dùng.

2. Patent:

Hệ thống chỉnh sửa ảnh thông minh trên điện thoại di động: Một tính năng trên điện thoại cho phép người dùng mô tả các thay đổi mong muốn cho ảnh bằng ngôn ngữ tự nhiên (ví dụ: "thay đổi màu sắc của chiếc xe thành màu xanh lam và thêm bầu trời hoàng hôn"). Hệ thống sẽ sử dụng công nghệ tiền huấn luyện chỉ bằng hình ảnh để hiểu ngữ cảnh ảnh và bộ điều hợp truy vấn dư để thực hiện chỉnh sửa mà không cần huấn luyện lại toàn bộ mô hình ngôn ngữ lớn, cung cấp kết quả chất lượng cao và nhanh chóng ngay trên thiết bị.
Ứng dụng tạo hình ảnh cá nhân hóa dựa trên phong cách người dùng: Một ứng dụng di động học hỏi phong cách hình ảnh yêu thích của người dùng từ thư viện ảnh cá nhân của họ (dữ liệu chỉ hình ảnh). Sau đó, nó sử dụng kiến thức thị giác mạnh mẽ đã học được để tạo ra hình ảnh mới hoặc chỉnh sửa ảnh hiện có theo phong cách đó, dựa trên các gợi ý văn bản đơn giản. Điều này cho phép tạo ra nội dung độc đáo, cá nhân hóa mà không yêu cầu người dùng phải cung cấp nhiều cặp văn bản-hình ảnh.
Công cụ tạo hình nền động và chủ đề tùy chỉnh cho điện thoại: Một công cụ tích hợp vào hệ điều hành điện thoại cho phép người dùng tạo hình nền động hoặc chủ đề giao diện tùy chỉnh bằng cách mô tả bằng văn bản. Hệ thống sẽ sử dụng quá trình tiền huấn luyện hiệu quả chỉ bằng hình ảnh để hiểu các khái niệm thị giác và kết hợp chúng với dữ liệu tinh chỉnh hỗn hợp để tạo ra hình ảnh chất lượng cao, độc đáo phù hợp với mô tả của người dùng, tự động điều chỉnh theo kích thước và độ phân giải màn hình khác nhau.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16139
ArXiv Abstract	https://arxiv.org/abs/2603.16139
PDF Download	https://arxiv.org/pdf/2603.16139.pdf
Github Repository	https://github.com/LINs-lab/IOMM

14. GradMem: Learning to Write Context into Memory with Test-Time Gradient Descent (25 votes)

Tác giả: Yuri Kuratov, Matvey Kairov, Aydar Bulatov, Ivan Rodkin, Mikhail Burtsev

Xuất bản lúc: 2026-03-14

Tag: LLMs, Transformers, Memory Networks, Meta-learning, Test-Time Training, NLP, Self-supervised Learning

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) gặp khó khăn trong việc xử lý ngữ cảnh dài do bộ nhớ KV-cache của Transformer tiêu tốn tài nguyên lớn. Cần một cơ chế bộ nhớ nén, hiệu quả, có thể tái sử dụng và thích ứng với ngữ cảnh mới mà không cần huấn luyện lại toàn bộ mô hình. Các phương pháp ghi nhớ chỉ dùng forward-pass hiện tại thiếu khả năng phản hồi và sửa lỗi lặp lại.

II. Main Idea:

GradMem đề xuất một cơ chế ghi ngữ cảnh vào bộ nhớ bằng cách tối ưu hóa theo gradient tại thời điểm kiểm thử (test-time optimization) trên từng mẫu riêng lẻ. Cụ thể, GradMem sử dụng một số ít bước hạ gradient trên một tập hợp nhỏ các "memory tokens" (vector bộ nhớ tiền tố) trong khi giữ nguyên trọng số của mô hình cơ sở. Quá trình ghi (WRITE) này tối ưu hóa một hàm mất mát tự giám sát cấp độ mô hình, đó là hàm mất mát tái tạo ngữ cảnh (context reconstruction loss). Điều này cho phép GradMem sửa lỗi lặp lại và ghi thông tin hiệu quả hơn so với các phương pháp chỉ sử dụng forward-pass. Bộ nhớ được khởi tạo thông qua meta-learning để quá trình ghi chỉ cần ít bước gradient. Sau khi ghi, mô hình đọc (READ) từ bộ nhớ đã tối ưu và truy vấn để đưa ra câu trả lời, không cần truy cập ngữ cảnh gốc.

III. Main Results:

GradMem vượt trội hơn các phương pháp ghi bộ nhớ chỉ sử dụng forward-pass với cùng kích thước bộ nhớ trên tác vụ truy xuất cặp khóa-giá trị liên kết.
Các bước gradient bổ sung giúp mở rộng dung lượng bộ nhớ hiệu quả hơn nhiều so với việc lặp lại các thao tác ghi chỉ bằng forward-pass. Ngay cả một bước cập nhật gradient đơn lẻ cũng ghi được nhiều thông tin hơn một lần cập nhật forward-only.
GradMem có khả năng chuyển giao tốt cho các mô hình ngôn ngữ được huấn luyện trước trên các tác vụ ngôn ngữ tự nhiên như bAbI và các biến thể SQuAD, chỉ dựa vào thông tin được mã hóa trong bộ nhớ và đạt kết quả cạnh tranh.
Việc tăng số lần lặp lại WRITE tại thời điểm đánh giá (Keval) mang lại sự cải thiện đáng kể về độ chính xác mà không cần tinh chỉnh lại mô hình, cho thấy khả năng đánh đổi tính toán và độ chính xác.
Chất lượng tác vụ đầu cuối (Exact Match) có mối tương quan mạnh mẽ với hàm mất mát tái tạo ngữ cảnh (WRITE objective) trong vòng lặp bên trong.

IV. Conclusion & Future Works:

GradMem là một cơ chế bộ nhớ WRITE/READ mới, cho phép mô hình ghi ngữ cảnh vào một tập hợp nhỏ các token bộ nhớ bằng cách thực hiện vài bước hạ gradient tại thời điểm kiểm thử, trong khi vẫn giữ cố định trọng số mô hình. Phương pháp này đã được chứng minh là hiệu quả hơn các phương pháp chỉ sử dụng forward-pass.

Hướng phát triển trong tương lai bao gồm:

Cải thiện hiệu quả huấn luyện để giảm chi phí tính toán và bộ nhớ GPU, có thể thông qua các phương pháp meta-learning bậc nhất/ngầm định hiệu quả hơn (ví dụ: iMAML, Reptile).
Mở rộng quy mô GradMem để xử lý ngữ cảnh dài hơn và các mô hình lớn hơn.
Phát triển các hàm mục tiêu WRITE tự giám sát tốt hơn, không chỉ dừng lại ở tái tạo ngữ cảnh, để bảo toàn thông tin liên quan đến tác vụ tốt hơn.
Nghiên cứu các trường hợp ứng dụng thực tế nơi chi phí tính toán WRITE có thể được khấu hao khi ngữ cảnh được tái sử dụng cho nhiều truy vấn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các thuật toán meta-learning bậc nhất hoặc ngầm định (ví dụ: iMAML, Reptile) để giảm chi phí tính toán và bộ nhớ GPU trong quá trình huấn luyện GradMem, đặc biệt khi xử lý các quỹ đạo WRITE dài hơn và các mô hình lớn hơn.
Thiết kế và phát triển các hàm mục tiêu WRITE tự giám sát mới vượt ra ngoài việc tái tạo ngữ cảnh đơn thuần. Các mục tiêu này nên nhằm mục đích bảo toàn thông tin liên quan đến tác vụ từ ngữ cảnh một cách rõ ràng, có thể bằng cách kết hợp các thiên kiến quy nạp liên quan đến các tác vụ NLP phổ biến (ví dụ: theo dõi thực thể, trích xuất quan hệ) trong khi vẫn duy trì tính tự giám sát.
Nghiên cứu các phương pháp để áp dụng GradMem một cách hiệu quả cho các ngữ cảnh dài hơn đáng kể so với các thử nghiệm hiện tại và tích hợp nó với các mô hình ngôn ngữ rất lớn. Điều này có thể liên quan đến cấu trúc bộ nhớ phân cấp, phân bổ bộ nhớ thích ứng hoặc cơ chế chú ý chuyên biệt có thể xử lý hiệu quả sự tương tác giữa truy vấn, bộ nhớ và một phần nhỏ ngữ cảnh gốc.

2. Patent:

Bộ nhớ ngữ cảnh thông minh cho trợ lý ảo di động: Một hệ thống trên điện thoại di động sử dụng công nghệ ghi nhớ thông tin ngữ cảnh để lưu trữ các cuộc hội thoại, sở thích hoặc thông tin cá nhân của người dùng từ các tương tác trước đó vào một bộ nhớ nén. Trợ lý ảo sau đó có thể truy xuất thông tin này để đưa ra phản hồi cá nhân hóa và phù hợp hơn mà không cần người dùng nhắc lại ngữ cảnh hoặc phải xử lý lại toàn bộ lịch sử trò chuyện, giúp tiết kiệm pin và tài nguyên.
Tóm tắt tài liệu tức thì trên thiết bị: Ứng dụng trên điện thoại di động cho phép người dùng "ghi nhớ" nội dung chính của một tài liệu dài (ví dụ: bài báo, email, trang web) vào một bộ nhớ nén chỉ với một vài thao tác. Sau đó, người dùng có thể đặt câu hỏi về tài liệu đó và nhận được câu trả lời nhanh chóng từ bộ nhớ đã nén, mà không cần phải tải lại hoặc quét lại toàn bộ tài liệu, lý tưởng cho việc đọc tài liệu ngoại tuyến hoặc nhanh chóng tìm kiếm thông tin quan trọng.
Cải thiện hiệu suất tìm kiếm nội dung cá nhân: Hệ thống trên điện thoại di động sử dụng bộ nhớ nén để lưu trữ các thông tin quan trọng từ các ứng dụng khác nhau (ví dụ: tin nhắn, ghi chú, lịch sử duyệt web) dưới dạng một "ký ức" cá nhân. Khi người dùng tìm kiếm một thông tin cụ thể, hệ thống sẽ truy vấn bộ nhớ này để cung cấp kết quả chính xác và nhanh chóng hơn, ngay cả khi các ứng dụng gốc không còn hoạt động hoặc thông tin đã cũ. Điều này giúp giảm thời gian chờ và tăng tính riêng tư do xử lý trên thiết bị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.13875
ArXiv Abstract	https://arxiv.org/abs/2603.13875
PDF Download	https://arxiv.org/pdf/2603.13875.pdf
Github Repository	https://github.com/yurakuratov/gradmem

15. MEMO: Memory-Augmented Model Context Optimization for Robust Multi-Turn Multi-Agent LLM Games (21 votes)

Tác giả: Yunfei Xie, Kevin Wang, Bobby Cheng, Jianzhu Yao, Zhizhou Sha, Alexander Duffy, Yihan Xi, Hongyuan Mei, Cheston Tan, Chen Wei, Pramod Viswanath, Zhangyang Wang

Xuất bản lúc: 2026-03-09

Tag: LLM Agents, Multi-Agent Games, Self-Play, Prompt Optimization, Memory, Context Optimization, Reinforcement Learning

I. Main Problem:

Các đánh giá trò chơi LLM đa tác nhân, đa lượt thường có sự chênh lệch đáng kể giữa các lần chạy. Trong các tương tác dài hạn, những sai lệch nhỏ ban đầu có thể tích lũy qua các lượt và bị khuếch đại bởi sự kết nối giữa các tác nhân, làm sai lệch ước tính tỷ lệ thắng và khiến bảng xếp hạng không đáng tin cậy. Việc lựa chọn prompt cũng làm trầm trọng thêm vấn đề này bằng cách tạo ra các chính sách hiệu quả khác nhau. Các phương pháp tối ưu hóa prompt hiện có thiếu bộ nhớ bền vững để lưu giữ và tái sử dụng thông tin chi tiết qua các vòng đấu, dẫn đến độ biến động cao trong ngữ cảnh học được và hiệu suất.

II. Main Idea:

MEMO (Memory-augmented Model context optimization) là một framework tự chơi nhằm tối ưu hóa ngữ cảnh tại thời điểm suy luận bằng cách kết hợp lưu giữ (retention) và khám phá (exploration). Lưu giữ duy trì một ngân hàng bộ nhớ liên tục lưu trữ các thông tin chi tiết có cấu trúc từ các quỹ đạo tự chơi và đưa chúng vào làm tiên nghiệm trong các lần chơi sau. Khám phá thực hiện quá trình tiến hóa prompt theo kiểu giải đấu với lựa chọn dựa trên sự không chắc chắn thông qua TRUESKILL và sử dụng replay ưu tiên để xem lại các trạng thái hiếm và quyết định. MEMO phản ánh các quỹ đạo đã hoàn thành và tích lũy thông tin chi tiết có thể tái sử dụng vào một ngân hàng bộ nhớ liên tục qua các thế hệ.

III. Main Results:

MEMO đã nâng tỷ lệ thắng trung bình từ 25.1% lên 49.5% cho GPT-4o-mini và từ 20.9% lên 44.3% cho Qwen-2.5-7B-Instruct, chỉ sử dụng 2.000 trò chơi tự chơi cho mỗi tác vụ. Độ biến động giữa các lần chạy cũng giảm 7 lần, đạt sai số chuẩn tương đối (RSE) là 6.4% so với 43.3% của baseline. MEMO cũng hiệu quả về mặt tính toán, chỉ sử dụng trung bình 91K token đầu ra, bằng khoảng một phần tư so với MIPRO và ít hơn 20% so với GEPA. MEMO đạt được mức tăng lớn nhất trong các trò chơi đàm phán và thông tin không hoàn hảo, trong khi RL vẫn hiệu quả hơn trong các thiết lập thông tin hoàn hảo. Các ngữ cảnh học được có thể khái quát hóa qua các trò chơi (đặc biệt là các thành phần tương tác cấp độ giao thức) và các mô hình yếu hơn hưởng lợi nhiều nhất từ ngữ cảnh được chuyển giao.

IV. Conclusion & Future Works:

Hiệu suất và sự mạnh mẽ của trò chơi LLM đa tác nhân có nhiều dư địa để cải thiện thông qua tối ưu hóa ngữ cảnh. Việc tái sử dụng thông tin giữa các tập là rất quan trọng cho cả hiệu suất và sự ổn định. Khám phá có cấu trúc thông qua các giải đấu cung cấp sự đánh giá lặp lại cần thiết để lọc những gì được giữ lại, phù hợp với việc học trò chơi dựa trên quần thể. Các hướng nghiên cứu trong tương lai có thể bao gồm cải thiện khả năng chuyển giao của ngữ cảnh học được giữa các kiến trúc mô hình, đặc biệt là cho các mô hình mạnh hơn, và tối ưu hóa MEMO cho các trò chơi có thông tin hoàn hảo.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược tối ưu hóa ngữ cảnh dựa trên bộ nhớ động để cải thiện khả năng thích ứng của tác nhân LLM trong các môi trường trò chơi đa dạng và phức tạp hơn, đặc biệt là các trò chơi chiến lược dài hạn.
Phát triển một framework tối ưu hóa ngữ cảnh mới tập trung vào việc chuyển giao kiến thức giữa các mô hình LLM có năng lực khác nhau, nhằm giảm thiểu sự xung đột chiến lược và tối đa hóa lợi ích chuyển giao cho các mô hình mạnh hơn.
Khám phá việc tích hợp các phương pháp học tăng cường (RL) với tối ưu hóa ngữ cảnh dựa trên bộ nhớ để tạo ra các tác nhân LLM mạnh mẽ hơn trong các trò chơi có thông tin hoàn hảo, kết hợp ưu điểm của cả hai phương pháp để đạt được hiệu suất vượt trội.

2. Patent:

Hệ thống trợ lý cá nhân thông minh trên điện thoại di động có khả năng ghi nhớ và học hỏi các ưu tiên của người dùng qua thời gian. Ví dụ, nếu người dùng thường xuyên đặt cà phê với các tùy chỉnh cụ thể, trợ lý sẽ tự động nhớ và gợi ý các tùy chọn này trong những lần đặt hàng sau, điều chỉnh 'ngữ cảnh' của mình dựa trên các tương tác thành công trong quá khứ.
AI trò chơi di động thích ứng: Một hệ thống AI cho các trò chơi trên điện thoại di động có khả năng điều chỉnh độ khó và chiến lược của đối thủ dựa trên hiệu suất của người chơi. Thay vì các kịch bản AI cố định, hệ thống này sử dụng 'bộ nhớ' về các tình huống chơi game trước đây và hành động của người chơi để tạo ra các hành vi đối thủ trong trò chơi thách thức hoặc hỗ trợ hơn, mang lại trải nghiệm cá nhân hóa và hấp dẫn hơn.
Chatbot hỗ trợ khách hàng động cho ứng dụng di động: Một chatbot tích hợp trong các ứng dụng ngân hàng hoặc thương mại điện tử trên điện thoại di động sử dụng 'bộ nhớ' về các yêu cầu và giải pháp trước đây của khách hàng để cung cấp hỗ trợ phù hợp và hiệu quả hơn. Nếu một khách hàng thường xuyên hỏi về các vấn đề thanh toán, chatbot sẽ ghi nhớ điều này và ưu tiên các thông tin hoặc giải pháp liên quan, cải thiện tương tác theo từng lượt.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.09022
ArXiv Abstract	https://arxiv.org/abs/2603.09022
PDF Download	https://arxiv.org/pdf/2603.09022.pdf
Github Repository	https://github.com/openverse-ai/MEMO

16. AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents (13 votes)

Tác giả: Shengda Fan, Xuyan Ye, Yupeng Huo, Zhi-Yuan Chen, Yiju Guo, Shenzhi Yang, Wenkai Yang, Shuqi Ye, Jingwen Chen, Haotian Chen, Xin Cong, Yankai Lin

Xuất bản lúc: 2026-03-15

Tag: LLMs, Tool-using agents, Process Reward Models, Benchmarking, AI evaluation

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) khi hoạt động như các tác nhân sử dụng công cụ (tool-using agents) thường tỏ ra kém linh hoạt trong các tương tác dài hạn. Không giống như suy luận toán học, nơi lỗi có thể được khắc phục, các lỗi trong việc sử dụng công cụ thường gây ra tác dụng phụ không thể đảo ngược, khiến việc xác minh từng bước trở nên cực kỳ quan trọng. Tuy nhiên, các bộ dữ liệu đánh giá cấp độ quy trình hiện có chủ yếu giới hạn trong các miền toán học khép kín, không thể nắm bắt được bản chất động và mở của việc thực thi công cụ. Các bộ dữ liệu đánh giá tác nhân tiêu chuẩn chỉ báo cáo thành công cuối cùng của tác vụ mà không cung cấp tín hiệu cấp độ bước để đánh giá các mô hình phần thưởng quy trình (Process Reward Models - PRMs). Do đó, lĩnh vực này thiếu một bộ dữ liệu đánh giá cấp độ bước được con người xác minh, chuẩn hóa cho các tương tác đa lượt, sử dụng công cụ trong thế giới thực.

II. Main Idea:

Để giải quyết vấn đề này, nghiên cứu giới thiệu AgentProcessBench, bộ dữ liệu đánh giá đầu tiên dành riêng cho việc đánh giá hiệu quả từng bước trong các quỹ đạo sử dụng công cụ thực tế. Bộ dữ liệu bao gồm 1.000 quỹ đạo đa dạng và 8.509 chú thích bước được con người gắn nhãn, đạt độ đồng thuận giữa người chú thích là 89.1%. AgentProcessBench sử dụng một lược đồ gán nhãn ba mức (+1 cho bước đúng, 0 cho bước trung lập/khám phá, -1 cho bước sai/có hại) để nắm bắt hành vi khám phá và một quy tắc lan truyền lỗi để giảm thiểu sự mơ hồ trong việc gán nhãn. Các nguyên tắc xây dựng bộ dữ liệu bao gồm: chú thích chi tiết trong môi trường tương tác, quy mô và sự đa dạng của dữ liệu (từ 4 bộ dữ liệu tiêu chuẩn và 5 mô hình tạo quỹ đạo), và chú thích chất lượng cao với quy trình đào tạo và giải quyết mâu thuẫn chặt chẽ.

III. Main Results:

Các thí nghiệm sâu rộng trên AgentProcessBench đã tiết lộ nhiều phát hiện quan trọng: (1) Các mô hình chính sách yếu hơn có tỷ lệ các bước đúng cao hơn một cách không bình thường do chúng thường kết thúc sớm để tránh lỗi lan truyền. (2) Việc phân biệt giữa các hành động trung lập (neutral) và sai sót (erroneous) vẫn là một thách thức đáng kể đối với các mô hình hiện tại, chúng có xu hướng thiên vị nhãn tích cực (+1). (3) Các tín hiệu từ quy trình cung cấp giá trị bổ sung cho việc giám sát kết quả cuối cùng, cải thiện đáng kể khả năng mở rộng trong thời gian thử nghiệm (ví dụ, trong chiến lược Best-of-N). (4) Các mô hình độc quyền và 'thinking models' (mô hình có khả năng suy nghĩ) hoạt động tốt hơn đáng kể so với các mô hình mã nguồn mở và không có khả năng suy nghĩ. (5) Độ phức tạp của nhiệm vụ làm giảm khả năng định vị lỗi, đặc biệt đối với các mô hình nhỏ hơn. (6) Độ chính xác của bước (StepAcc) và độ chính xác của lỗi đầu tiên (FirstErrAcc) có mối tương quan mạnh mẽ, nhưng việc định vị lỗi đầu tiên khó khăn hơn đáng kể.

IV. Conclusion & Future Works:

Nghiên cứu giới thiệu AgentProcessBench, bộ dữ liệu đầu tiên được chú thích bởi con người để đánh giá hiệu quả các bước trung gian trong các tác nhân sử dụng công cụ. Các thí nghiệm đã cung cấp những hiểu biết quan trọng về hiệu suất của LLM trong môi trường này. Các mô hình nguồn đóng và 'thinking models' vượt trội hơn, nhưng các mô hình hiện tại vẫn gặp khó khăn trong việc phân biệt các bước trung lập và có xu hướng thiên về các nhãn tích cực. Tín hiệu cấp độ quy trình mang lại giá trị bổ sung cho việc giám sát kết quả đầu ra, cải thiện hiệu suất Best-of-N. Trong tương lai, nhóm nghiên cứu có kế hoạch mở rộng AgentProcessBench sang các lĩnh vực bổ sung, chẳng hạn như tác nhân dựa trên giao diện người dùng đồ họa (GUI-based agents) và tác nhân sử dụng máy tính (computer-using agents).

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp mới để cải thiện khả năng của Process Reward Models (PRMs) trong việc phân biệt chính xác giữa các hành động trung lập (khám phá nhưng không có hại) và các hành động sai sót trong quỹ đạo của tác nhân, đặc biệt là giải quyết xu hướng thiên vị nhãn tích cực của các mô hình hiện tại.
Mở rộng và điều chỉnh các bộ dữ liệu đánh giá cấp độ bước và PRMs cho các miền tương tác mới, chẳng hạn như tác nhân dựa trên GUI hoặc tác nhân điều khiển máy tính, đòi hỏi các cơ chế chú thích và đánh giá đặc thù cho các tương tác trực quan và hệ thống.
Phát triển các kỹ thuật tiên tiến để định vị lỗi sớm và phân tích nguyên nhân gốc rễ trong các quỹ đạo tác nhân dài hạn, nhằm cải thiện khả năng xác định chính xác lỗi đầu tiên và ngăn chặn sự lan truyền lỗi, điều mà các mô hình hiện tại vẫn còn gặp nhiều thách thức.

2. Patent:

Hệ thống tự động sửa lỗi cho trợ lý AI trên điện thoại di động: Một ứng dụng hoặc tính năng trên điện thoại di động giúp trợ lý AI thực hiện các tác vụ phức tạp (ví dụ: đặt lịch trình du lịch nhiều chặng, quản lý tài chính). Hệ thống này sẽ theo dõi từng bước hành động của AI. Nếu AI mắc lỗi ở một bước trung gian (ví dụ: chọn sai chuyến bay, tính toán sai phí), hệ thống sẽ ngay lập tức phát hiện, thông báo cho người dùng về lỗi tiềm ẩn và đề xuất sửa chữa trước khi tác vụ tiếp tục, ngăn chặn các hậu quả không mong muốn như đặt sai vé hoặc chuyển tiền nhầm.
Công cụ hướng dẫn quy trình làm việc đa ứng dụng thông minh trên di động: Một lớp phủ hoặc ứng dụng trên điện thoại di động theo dõi cách người dùng tương tác với nhiều ứng dụng để hoàn thành một mục tiêu lớn (ví dụ: so sánh giá sản phẩm trên các trang thương mại điện tử khác nhau). Nếu người dùng hoặc AI thực hiện một hành động không hiệu quả hoặc có thể sai (ví dụ: mở nhầm ứng dụng, nhập thông tin thừa), hệ thống sẽ đưa ra gợi ý hoặc cảnh báo tinh tế, không gây khó chịu. Nó phân biệt giữa hành động khám phá hợp lệ và hành động lãng phí thời gian, chỉ can thiệp khi thực sự cần thiết để nâng cao hiệu quả và giảm lỗi.
Người bạn đồng hành kỹ thuật số cá nhân hóa cho học tập trên điện thoại: Một ứng dụng học tập trên điện thoại di động hoạt động như một gia sư cá nhân. Ứng dụng này không chỉ chấm điểm kết quả cuối cùng mà còn đánh giá từng bước người dùng thực hiện trong một bài tập (ví dụ: học lập trình, nấu ăn). Nếu một bước là trung lập (khám phá nhưng không sai), ứng dụng có thể đưa ra phản hồi nhẹ nhàng hoặc câu hỏi gợi mở. Nếu một bước là sai, nó sẽ ngay lập tức chỉ ra lỗi, giải thích lý do sai và đề xuất cách sửa chữa, giúp người dùng học hỏi hiệu quả hơn và tránh xây dựng kiến thức trên nền tảng sai lầm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.14465
ArXiv Abstract	https://arxiv.org/abs/2603.14465
PDF Download	https://arxiv.org/pdf/2603.14465.pdf
Github Repository	https://github.com/RUCBM/AgentProcessBench

17. SegviGen: Repurposing 3D Generative Model for Part Segmentation (10 votes)

Tác giả: Lin Li, Haoran Feng, Zehuan Huang, Haohua Chen, Wenbo Nie, Shaohua Hou, Keqing Fan, Pan Hu, Sheng Wang, Buyu Li, Lu Sheng

Xuất bản lúc: 2026-03-17

Tag: 3D Generative Models, Part Segmentation, Diffusion Models, Computer Vision, Few-shot Learning, Interactive Segmentation

I. Main Problem:

Các phương pháp phân đoạn bộ phận 3D hiện có gặp phải các vấn đề chính: 1) Nâng cấp các tiền đề 2D lên 3D thường dẫn đến sự không nhất quán giữa các góc nhìn và ranh giới bị mờ, cùng với chi phí tính toán cao. 2) Các phương pháp phân đoạn 3D phân biệt đòi hỏi lượng lớn dữ liệu 3D được chú thích (đắt đỏ và không nhất quán) và tài nguyên đào tạo đáng kể. Cả hai cách tiếp cận đều kém về chất lượng phân đoạn, tạo ra các vùng lỗi và ranh giới không chính xác, hạn chế khả năng ứng dụng thực tế. Vấn đề cốt lõi là làm thế nào để chuyển giao hiệu quả các tiền đề sinh học 3D cho phân đoạn bộ phận 3D để cải thiện chất lượng và hiệu quả dữ liệu.

II. Main Idea:

SegviGen là một framework tận dụng các mô hình sinh học 3D bản địa đã được đào tạo trước để phân đoạn bộ phận 3D. Thay vì các cách tiếp cận truyền thống, SegviGen khai thác các tiền đề cấu trúc được mã hóa trong mô hình sinh học 3D quy mô lớn để tạo ra phân đoạn thông qua việc tô màu các bộ phận riêng biệt, thiết lập một framework mới và hiệu quả. Cụ thể, SegviGen mã hóa một tài sản 3D và dự đoán các màu sắc chỉ định bộ phận trên các voxel đang hoạt động của một mô hình tái cấu trúc được căn chỉnh theo hình học. Nó hỗ trợ phân đoạn bộ phận tương tác, phân đoạn đầy đủ và phân đoạn đầy đủ với hướng dẫn 2D trong một framework thống nhất. Mô hình được đào tạo để dự đoán màu sắc chỉ định bộ phận, cùng với việc tái tạo hình học cơ bản, sử dụng một bộ tạo khớp luồng có điều kiện (DiT-based backbone) được tinh chỉnh để dự đoán phần dư nhiễu.

III. Main Results:

SegviGen vượt trội hơn các phương pháp tiên tiến trước đó bằng cách cải thiện 40% trong phân đoạn bộ phận tương tác (IoU@1) và 15% trong phân đoạn đầy đủ (IoU tổng thể, trung bình trên các bộ dữ liệu), trong khi chỉ sử dụng 0.32% dữ liệu đào tạo được gắn nhãn. Cụ thể:

Phân đoạn bộ phận tương tác (IoU@1): Đạt 42.49% trên PartObjaverse-Tiny và 54.86% trên PartNeXT, vượt xa Point-SAM (24.87% và 23.90%) và P3-SAM (33.04% và 35.61%).
Phân đoạn đầy đủ (không có hướng dẫn 2D): Đạt 50.64% trên PartObjaverse-Tiny và 55.40% trên PartNeXT, vượt trội P3-SAM (45.36% và 31.94%).
Phân đoạn đầy đủ (có hướng dẫn 2D): Đạt kết quả tiên tiến mới với 62.98% trên PartObjaverse-Tiny và 71.53% trên PartNeXT.
Nghiên cứu loại bỏ cho thấy Label-based Semantic Embedding hoạt động tốt hơn một chút với số lần nhấp ít, trong khi Explicit Coordinate Encoding tốt hơn với nhiều lần nhấp hơn.
12 bước khử nhiễu được chọn là sự cân bằng tối ưu giữa độ chính xác và hiệu quả tính toán.

IV. Conclusion & Future Works:

SegviGen là một framework hiệu quả, chuyển đổi các tiền đề sinh học 3D đã được đào tạo trước cho phân đoạn bộ phận 3D. Nó khắc phục các nhược điểm của phương pháp nâng cấp 2D-sang-3D (như không nhất quán giữa các góc nhìn và ranh giới mờ) và các phương pháp phân biệt 3D bản địa (đòi hỏi chú thích quy mô lớn và đào tạo chuyên sâu). Bằng cách tái định dạng phân đoạn thành nhiệm vụ tô màu theo bộ phận, SegviGen cung cấp các phân đoạn chính xác và nhất quán trên toàn cầu với sự giám sát hạn chế. Kết quả thử nghiệm trên các tiêu chuẩn phân đoạn tương tác và đầy đủ cho thấy sự cải thiện đáng kể so với các phương pháp trước đây, nhấn mạnh hiệu quả và hiệu suất dữ liệu của các tiền đề sinh học 3D cho phân đoạn bộ phận 3D. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc áp dụng các mô hình này cho các tác vụ 3D phức tạp hơn và mở rộng khả năng tổng quát hóa của chúng.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các kiến trúc mô hình sinh học khác: Mặc dù SegviGen sử dụng mô hình dựa trên diffusion, các nghiên cứu trong tương lai có thể khám phá các kiến trúc sinh học 3D khác (ví dụ: GANs, VAEs, transformers) và khả năng chuyển giao của chúng cho phân đoạn bộ phận, đặc biệt là những kiến trúc tự nhiên mã hóa các cấu trúc phân cấp hoặc tổng hợp.
Khám phá khả năng tổng quát hóa zero-shot/few-shot cho các danh mục và mức độ chi tiết mới: Trong khi SegviGen sử dụng sự giám sát hạn chế, nghiên cứu sâu hơn có thể tập trung vào việc đẩy mạnh khả năng tổng quát hóa cho các danh mục đối tượng hoàn toàn chưa từng thấy hoặc các mức độ chi tiết bộ phận tùy ý mà không cần tinh chỉnh thêm, có thể bằng cách tận dụng điều kiện hóa dựa trên ngôn ngữ mạnh mẽ hơn hoặc các biểu diễn bộ phận trừu tượng hơn.
Tích hợp với quét và tái tạo 3D thời gian thực: Nghiên cứu cách SegviGen có thể được tích hợp vào các quy trình quét 3D thời gian thực (ví dụ: sử dụng cảm biến LiDAR/độ sâu của điện thoại di động) để cung cấp phân đoạn bộ phận tức thì cho các đối tượng mới được quét, cho phép tương tác và chỉnh sửa ngay lập tức trong các ứng dụng AR/VR.

2. Patent:

Ứng dụng chỉnh sửa 3D tương tác trên di động: Một ứng dụng điện thoại thông minh cho phép người dùng chụp hoặc tải lên các vật thể 3D (ví dụ: từ ảnh quét LiDAR của điện thoại) và sau đó dễ dàng phân tách các bộ phận của vật thể chỉ bằng cách chạm vào màn hình. Người dùng có thể chọn một bộ phận và thực hiện các thao tác chỉnh sửa như di chuyển, thay đổi kích thước hoặc thay đổi màu sắc của riêng bộ phận đó, phục vụ cho thiết kế nội thất ảo hoặc tạo hình ảnh sản phẩm.
Hệ thống nhận diện và truy cập phụ tùng thông minh: Sử dụng camera của điện thoại để quét một vật thể thực tế (ví dụ: một chiếc ghế, một đồ gia dụng) và tự động phân tách các bộ phận của nó. Sau đó, người dùng có thể chạm vào một bộ phận được phân tách trên màn hình để tìm kiếm thông tin về phụ tùng thay thế, hướng dẫn sửa chữa hoặc mua sắm các bộ phận tương tự trực tuyến. Điều này hữu ích cho việc tự sửa chữa hoặc quản lý tài sản.
Công cụ tạo vật thể 3D cá nhân hóa với phân tách bộ phận: Một tính năng trên điện thoại cho phép người dùng tạo các mô hình 3D tùy chỉnh (ví dụ: avatar, đồ chơi, phụ kiện) từ các bản phác thảo 2D hoặc mô tả văn bản. Ngay sau khi mô hình 3D được tạo, hệ thống sẽ tự động phân tách nó thành các bộ phận có thể chỉnh sửa riêng lẻ. Người dùng có thể dễ dàng tùy chỉnh từng bộ phận (ví dụ: thay đổi kiểu tóc của avatar, thêm cánh cho con rồng) trước khi in 3D hoặc sử dụng trong môi trường thực tế ảo.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16869
ArXiv Abstract	https://arxiv.org/abs/2603.16869
PDF Download	https://arxiv.org/pdf/2603.16869.pdf
Github Repository	https://github.com/Nelipot-Lee/SegviGen

18. Efficient Reasoning on the Edge (15 votes)

Tác giả: Yelysei Bondarenko, Thomas Hehn, Rob Hesselink, Romain Lepert, Fabio Valerio Massoli, Evgeny Mironov, Leyla Mirvakhabova, Tribhuvanesh Orekondy, Spyridon Stasis, Andrey Kuzmin, Anna Kuzina, Markus Nagel, Ankita Nayak, Corrado Rainone, Ork de Rooij, Paul N Whatmough, Arash Behboodi, Babak Ehteshami Bejnordi

Xuất bản lúc: 2026-03-17

Tag: LLMs, Edge AI, LoRA, Reinforcement Learning, Supervised Fine-tuning, Quantization, On-device inference, Reasoning

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) với khả năng suy luận theo chuỗi tư duy (chain-of-thought reasoning) đạt hiệu suất hàng đầu trong các tác vụ giải quyết vấn đề phức tạp. Tuy nhiên, các chuỗi suy luận dài dòng và yêu cầu ngữ cảnh lớn khiến chúng không thực tế để triển khai trên thiết bị biên (edge deployment). Các thách thức bao gồm chi phí tạo token cao, dung lượng KV-cache lớn và sự thiếu hiệu quả khi chưng cất khả năng suy luận vào các mô hình nhỏ hơn cho thiết bị di động. Các phương pháp hiện có thường tạo ra các chuỗi suy luận dài dòng và dư thừa về mặt văn phong, không mong muốn cho suy luận trên thiết bị. Ngoài ra, thiết bị di động còn đối mặt với các hạn chế về bộ nhớ, chi phí tạo token (tiêu thụ điện năng, độ trễ) và khó khăn trong việc hiện thực hóa các LLM đa năng với kích thước mô hình được hỗ trợ.

II. Main Idea:

Công trình này đề xuất một phương pháp nhẹ để kích hoạt khả năng suy luận trong các LLM nhỏ bằng cách sử dụng LoRA adapters kết hợp với fine-tuning có giám sát (SFT). Để giảm đáng kể độ dài phản hồi với tổn thất độ chính xác tối thiểu, nhóm nghiên cứu giới thiệu kỹ thuật buộc ngân sách (budget forcing) thông qua học tăng cường (RL) trên các adapter này. Để giải quyết vấn đề giải mã bị giới hạn bộ nhớ, họ khai thác mở rộng song song tại thời điểm kiểm tra (parallel test-time scaling) nhằm cải thiện độ chính xác với độ trễ tăng nhẹ. Cuối cùng, một cơ chế chuyển đổi adapter động (dynamic adapter-switching) được trình bày để chỉ kích hoạt suy luận khi cần, và một chiến lược chia sẻ KV-cache trong quá trình mã hóa prompt giúp giảm thời gian phản hồi token đầu tiên (time-to-first-token) cho suy luận trên thiết bị. Đặc biệt, chiến lược huấn luyện masked LoRA được dùng để đảm bảo khả năng tương thích KV-cache giữa mô hình cơ sở và mô hình suy luận mà không cần mã hóa lại prompt.

III. Main Results:

Các thí nghiệm trên Qwen2.5-7B chứng minh rằng phương pháp đề xuất đạt được khả năng suy luận hiệu quả, chính xác dưới các ràng buộc tài nguyên nghiêm ngặt, giúp khả năng suy luận của LLM trở nên thực tế cho các kịch bản di động. Cụ thể, LoRA fine-tuning trên bộ dữ liệu OpenThoughts3 (OT3) với rank 128 (chỉ cập nhật 4.24% tham số) phục hồi hầu hết các cải tiến của huấn luyện dày đặc và đạt hiệu suất gần với baseline R1-Distill-Qwen-7B trên một số benchmark suy luận cốt lõi (AIME24, LCB). Đối với Qwen2.5-3B, LoRA rank 128 vẫn kém hơn đáng kể so với mô hình huấn luyện dày đặc. Nghiên cứu siêu tham số chỉ ra rằng learning rate 2e-4, batch size 64 và LoRA rank 128 mang lại sự cân bằng tốt giữa hiệu quả và độ ổn định. Module Switcher được chứng minh là ưu tiên hiệu quả mô hình suy luận cho các truy vấn phức tạp, giúp tăng độ chính xác tổng thể.

IV. Conclusion & Future Works:

Hệ thống được đề xuất là một kế hoạch thực tế để triển khai các mô hình ngôn ngữ có khả năng suy luận trên các thiết bị biên bị hạn chế tài nguyên. Các nghiên cứu trong tương lai có thể tập trung vào việc giảm thiểu sự quên lãng các khả năng chung khi chuyên biệt hóa mô hình cho suy luận, có thể thông qua các kỹ thuật fine-tuning bằng học tăng cường. Ngoài ra, cần tiếp tục tối ưu hóa dung lượng adapter và các chi tiết huấn luyện cho các mô hình nhỏ hơn để đạt hiệu suất cao hơn, cũng như tinh chỉnh hơn nữa việc cân bằng giữa độ dài phản hồi và độ chính xác.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện khả năng suy luận của SLM trên thiết bị biên thông qua các phương pháp kết hợp LoRA và RL nâng cao: Nghiên cứu sâu hơn về các kiến trúc LoRA adapter, chiến lược học tăng cường (RL) và thiết kế hàm phần thưởng để tối ưu hóa đồng thời độ chính xác suy luận và tính hiệu quả tài nguyên cho các Small Language Models (SLMs) trên thiết bị biên. Đặc biệt, tập trung vào việc giảm độ dài chuỗi suy luận mà không ảnh hưởng đến chất lượng.
Tối ưu hóa chiến lược chia sẻ KV-cache và cơ chế chuyển đổi adapter động cho suy luận LLM trên thiết bị biên: Khám phá các phương pháp tiên tiến hơn để quản lý bộ nhớ KV-cache hiệu quả khi chuyển đổi giữa các chế độ mô hình (cơ sở và suy luận), bao gồm các kỹ thuật nén hoặc mã hóa KV-cache. Đồng thời, cải thiện độ chính xác và tốc độ của module chuyển đổi động để đảm bảo kích hoạt suy luận chỉ khi thực sự cần thiết, tối thiểu hóa độ trễ và tiêu thụ năng lượng.
Nghiên cứu tác động của lượng tử hóa và các chiến lược huấn luyện masked LoRA lên hiệu suất suy luận của LLM trên thiết bị biên: Phân tích chi tiết các lược đồ lượng tử hóa khác nhau (ví dụ: 4-bit, 8-bit cho trọng số và độ chính xác cao hơn cho activations) và ảnh hưởng của chúng đến khả năng suy luận. Đồng thời, đánh giá sâu hơn về hiệu quả của huấn luyện masked LoRA trong việc duy trì khả năng tương thích KV-cache và độ chính xác, đề xuất các cải tiến cho kỹ thuật này.

2. Patent:

Hệ thống trợ lý ảo thông minh đa chế độ trên điện thoại di động: Một công nghệ cho phép điện thoại tự động chuyển đổi giữa chế độ phản hồi nhanh (ví dụ: trả lời câu hỏi đơn giản, thực hiện lệnh cơ bản) và chế độ suy luận sâu (ví dụ: giải toán phức tạp, lập kế hoạch đa bước) dựa trên độ phức tạp của yêu cầu người dùng. Điều này được thực hiện bằng cách sử dụng một bộ phân loại nhẹ để phân tích câu hỏi và kích hoạt các module suy luận chuyên biệt chỉ khi cần, giúp tiết kiệm pin và tăng tốc độ phản hồi cho các tác vụ hàng ngày.
Công nghệ tối ưu hóa bộ nhớ và hiệu suất cho ứng dụng AI trên thiết bị di động: Một phương pháp cho phép các ứng dụng AI chạy trên điện thoại sử dụng bộ nhớ hiệu quả hơn bằng cách chia sẻ bộ nhớ đệm (KV-cache) giữa các thành phần AI khác nhau của mô hình ngôn ngữ. Khi một tác vụ yêu cầu khả năng suy luận cao hơn, chỉ một phần nhỏ của mô hình (adapter) được kích hoạt, trong khi phần lớn mô hình cơ bản vẫn được giữ nguyên. Điều này giảm thiểu việc tái tính toán và tải lại dữ liệu, giúp ứng dụng chạy mượt mà hơn và ít tốn pin hơn.
Hệ thống AI di động với khả năng tự điều chỉnh độ dài phản hồi: Một công nghệ cho phép mô hình AI trên điện thoại tự động điều chỉnh độ dài của câu trả lời hoặc chuỗi suy luận dựa trên ngữ cảnh và yêu cầu tài nguyên hiện có. Ví dụ, trong điều kiện pin yếu hoặc kết nối mạng kém, mô hình sẽ ưu tiên đưa ra câu trả lời ngắn gọn, súc tích hơn mà vẫn đảm bảo độ chính xác cốt lõi, thay vì một chuỗi suy luận dài dòng. Điều này được điều khiển thông qua một cơ chế học tăng cường tích hợp, giúp cân bằng giữa chất lượng phản hồi và hiệu quả sử dụng tài nguyên của thiết bị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16867
ArXiv Abstract	https://arxiv.org/abs/2603.16867
PDF Download	https://arxiv.org/pdf/2603.16867.pdf
Github Repository	N/A

19. SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering? (15 votes)

Tác giả: Tingxu Han, Yi Zhang, Wei Song, Chunrong Fang, Zhenyu Chen, Youcheng Sun, Lijie Hu

Xuất bản lúc: 2026-03-16

Tag: LLMs, Agent, Software Engineering, Benchmarking, Code Generation

I. Main Problem:

Mặc dù các kỹ năng tác nhân (agent skills) đang được sử dụng ngày càng nhiều để tăng cường khả năng của các tác nhân LLM trong các tác vụ kỹ thuật phần mềm, nhưng hiệu quả thực sự của chúng trong môi trường phát triển phần mềm đầu cuối vẫn chưa rõ ràng. Cần có một công cụ đánh giá đáng tin cậy để định lượng lợi ích gia tăng của chúng.

II. Main Idea:

Các tác giả giới thiệu SWE-Skills-Bench, một benchmark định hướng theo yêu cầu (requirement-driven) đầu tiên được thiết kế để cô lập lợi ích cận biên của các kỹ năng tác nhân trong kỹ thuật phần mềm thực tế. Benchmark này ghép nối 49 kỹ năng SWE công khai với các kho lưu trữ GitHub thực tế được ghim tại các commit cố định và các tài liệu yêu cầu có tiêu chí chấp nhận rõ ràng, tạo ra khoảng 565 trường hợp tác vụ. Họ cũng giới thiệu một khung xác minh xác định (deterministic verification framework) ánh xạ các tiêu chí chấp nhận của mỗi tác vụ thành các bài kiểm tra dựa trên thực thi, cho phép đánh giá có kiểm soát cả với và không có kỹ năng.

III. Main Results:

Kết quả cho thấy lợi ích của việc đưa kỹ năng vào còn hạn chế hơn nhiều so với sự chấp nhận nhanh chóng: 39 trong số 49 kỹ năng không cải thiện tỷ lệ đạt (pass-rate), và mức tăng trung bình chỉ là +1.2%. Chi phí token thay đổi từ tiết kiệm khiêm tốn đến tăng 451% trong khi tỷ lệ đạt không đổi. Chỉ có bảy kỹ năng chuyên biệt tạo ra những lợi ích đáng kể (lên đến +30%), trong khi ba kỹ năng làm giảm hiệu suất (lên đến -10%) do hướng dẫn không khớp phiên bản xung đột với ngữ cảnh dự án. Điều này cho thấy các kỹ năng tác nhân là một sự can thiệp hẹp, có hiệu quả phụ thuộc mạnh mẽ vào sự phù hợp với lĩnh vực, mức độ trừu tượng và khả năng tương thích theo ngữ cảnh.

IV. Conclusion & Future Works:

Kết luận, các kỹ năng tác nhân là một sự can thiệp hẹp, có hiệu quả phụ thuộc mạnh mẽ vào sự phù hợp với lĩnh vực, mức độ trừu tượng và khả năng tương thích theo ngữ cảnh. Tiện ích của kỹ năng trong kỹ thuật phần mềm mang tính đặc thù theo miền và phụ thuộc vào ngữ cảnh, ưu tiên thiết kế kỹ năng có mục tiêu hơn là áp dụng rộng rãi. Nguy cơ nhiễu ngữ cảnh là có thật. Các hướng nghiên cứu trong tương lai bao gồm: 1) Đánh giá đa mô hình (Multi-model evaluation) để hiểu sự tương tác giữa khả năng của mô hình cơ sở và lợi ích của kỹ năng. 2) Đánh giá trên các khung sườn tác nhân đa dạng (Diverse agent scaffolds) để xem liệu các phát hiện có tổng quát hóa được hay không. 3) Nghiên cứu các nguyên tắc thiết kế kỹ năng (Skill design principles) để tối ưu hóa hiệu suất và giảm nhiễu ngữ cảnh. 4) Phát triển lựa chọn và kết hợp kỹ năng động (Dynamic skill selection and composition) trong các triển khai thực tế.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu đánh giá hiệu quả của các kỹ năng tác nhân trên nhiều mô hình ngôn ngữ lớn (LLM) nền tảng khác nhau: Phân tích cách các mô hình LLM với khả năng và kiến thức khác nhau tận dụng hoặc bị ảnh hưởng bởi việc đưa các gói kỹ năng vào, nhằm xác định sự kết hợp tối ưu giữa mô hình và kỹ năng để đạt được hiệu suất và chi phí tốt nhất.
Phân tích tác động của các khung sườn tác nhân (agent scaffolds) khác nhau lên khả năng tiêu thụ và sử dụng kỹ năng tác nhân: Khám phá cách các kiến trúc và chiến lược quản lý ngữ cảnh của các khung tác nhân ảnh hưởng đến việc giải thích và áp dụng các kỹ năng, từ đó đưa ra các khuyến nghị về thiết kế khung sườn để tối đa hóa tiện ích của kỹ năng.
Phát triển các nguyên tắc thiết kế kỹ năng dựa trên thực nghiệm để tối ưu hóa hiệu quả và giảm thiểu nhiễu ngữ cảnh: Nghiên cứu sâu hơn về mức độ chi tiết (granularity), mức độ trừu tượng và cấu trúc tổ chức của các kỹ năng để xây dựng các hướng dẫn thực tế cho việc thiết kế kỹ năng, giúp các tác nhân LLM áp dụng chúng một cách hiệu quả hơn và tránh các xung đột ngữ cảnh không mong muốn.

2. Patent:

Hệ thống trợ lý mã hóa thông minh trên thiết bị di động với khả năng cảnh báo xung đột ngữ cảnh: Một ứng dụng di động cho phép các nhà phát triển xem xét và chỉnh sửa mã nguồn. Hệ thống sẽ tích hợp các "kỹ năng" lập trình chuyên biệt để gợi ý các đoạn mã hoặc giải pháp, đồng thời chủ động phát hiện và cảnh báo người dùng về các xung đột phiên bản hoặc thông tin không phù hợp giữa kỹ năng được gợi ý và ngữ cảnh dự án hiện tại, giúp ngăn ngừa lỗi và tối ưu hóa quá trình phát triển trên thiết bị di động.
Công cụ tối ưu hóa tự động hiệu suất ứng dụng di động dựa trên phân tích "kỹ năng": Một tính năng tích hợp trong môi trường phát triển ứng dụng di động (ví dụ: trong một IDE di động hoặc công cụ phân tích mã nguồn) sử dụng các kỹ năng tác nhân để phân tích mã nguồn, xác định các điểm yếu về hiệu suất (ví dụ: tiêu thụ pin, sử dụng CPU quá mức). Công cụ này sẽ tự động đề xuất các bản vá hoặc cấu hình tối ưu hóa, đồng thời cung cấp ước tính về tác động của các thay đổi này đến hiệu suất và chi phí tài nguyên của ứng dụng trên điện thoại.
Hệ thống tạo kịch bản kiểm thử ứng dụng di động thông minh từ yêu cầu tự nhiên: Một công cụ trên điện thoại di động giúp các nhà phát triển hoặc kiểm thử viên tạo các kịch bản kiểm thử tự động (ví dụ: unit test, UI test) cho ứng dụng di động. Người dùng chỉ cần nhập các yêu cầu tính năng bằng ngôn ngữ tự nhiên, và hệ thống sẽ sử dụng các "kỹ năng" chuyển đổi các tiêu chí chấp nhận thành các bài kiểm thử thực thi được, đảm bảo rằng ứng dụng di động đáp ứng đúng các thông số kỹ thuật, giảm thiểu công sức kiểm thử thủ công.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.15401
ArXiv Abstract	https://arxiv.org/abs/2603.15401
PDF Download	https://arxiv.org/pdf/2603.15401.pdf
Github Repository	https://github.com/GeniusHTX/SWE-Skills-Bench

20. SparkVSR: Interactive Video Super-Resolution via Sparse Keyframe Propagation (14 votes)

Tác giả: Jiongze Yu, Xiangbo Gao, Pooja Verlani, Akshay Gadde, Yilin Wang, Balu Adsumilli, Zhengzhong Tu

Xuất bản lúc: 2026-03-17

Tag: Video Super-Resolution, Interactive AI, Diffusion Models, Keyframe Propagation, Image Super-Resolution, Controllable Generation

I. Main Problem:

Các phương pháp Video Super-Resolution (VSR) hiện có hoạt động như "hộp đen" trong quá trình suy luận, khiến người dùng không thể chỉnh sửa các lỗi không mong muốn hoặc điều khiển kết quả một cách đáng tin cậy. VSR vốn dĩ là một bài toán khó (ill-posed) vì cùng một đầu vào độ phân giải thấp (LR) có thể tương ứng với nhiều bản tái tạo độ phân giải cao (HR) hợp lý khác nhau, đòi hỏi sự can thiệp của người dùng. Hơn nữa, việc áp dụng các mô hình Image Super-Resolution (ISR) độc lập cho từng khung hình thường gây ra sự không nhất quán về thời gian và hiện tượng nhấp nháy, trong khi các mô hình VSR thường thua kém ISR về chất lượng hình ảnh trên từng khung hình do phải học đồng thời cả tiền đề không gian và sự nhất quán về thời gian.

II. Main Idea:

SparkVSR đề xuất một khung VSR tương tác mới, sử dụng các khung hình chính (keyframes) thưa thớt làm tín hiệu điều khiển đơn giản và biểu cảm. Người dùng có thể siêu phân giải một tập hợp nhỏ các khung hình chính bằng bất kỳ mô hình ISR nào, sau đó SparkVSR sẽ lan truyền các tiền đề từ khung hình chính này đến toàn bộ chuỗi video, đồng thời vẫn giữ nguyên chuyển động video LR gốc. Cụ thể, phương pháp này giới thiệu một quy trình huấn luyện hai giai đoạn latent-pixel được điều kiện bởi khung hình chính, kết hợp các latent của video LR với các latent của khung hình chính HR được mã hóa thưa thớt để học cách lan truyền mạnh mẽ giữa các không gian và tinh chỉnh các chi tiết cảm nhận được. Trong quá trình suy luận, SparkVSR hỗ trợ lựa chọn khung hình chính linh hoạt (thủ công, trích xuất I-frame của codec hoặc lấy mẫu ngẫu nhiên) và một cơ chế hướng dẫn không tham chiếu (reference-free guidance) liên tục cân bằng giữa việc tuân thủ khung hình chính và phục hồi mù, đảm bảo hiệu suất mạnh mẽ ngay cả khi không có khung hình tham chiếu hoặc khung hình không hoàn hảo.

III. Main Results:

SparkVSR đã cải thiện tính nhất quán về thời gian và chất lượng phục hồi mạnh mẽ, vượt qua các phương pháp cơ sở lên tới 24.6% trên CLIP-IQA, 21.8% trên DOVER và 5.6% trên MUSIQ. Mô hình cũng đạt hiệu suất vượt trội trên năm bộ dữ liệu điểm chuẩn đa dạng. SparkVSR được chứng minh là một khung xử lý video tương tác, điều kiện bởi khung hình chính tổng quát, có thể áp dụng ngay lập tức cho các tác vụ chưa từng thấy như phục hồi phim cũ và chuyển đổi phong cách video. Các nghiên cứu loại bỏ thành phần (ablation studies) đã xác nhận tính hiệu quả của chiến lược huấn luyện hai giai đoạn, khả năng kiểm soát sự đánh đổi giữa độ chính xác và chất lượng cảm nhận thông qua tỷ lệ Reference-Free Guidance (RFG), và các chiến lược lựa chọn khung hình tham chiếu linh hoạt.

IV. Conclusion & Future Works:

SparkVSR định hình lại VSR như một quá trình tái tạo tương tác, trong đó các khung hình chính thưa thớt, có thể chỉnh sửa đóng vai trò là điểm neo có thể kiểm soát, cho phép điều chỉnh và tùy chỉnh chi tiết vượt ra ngoài suy luận "hộp đen". Chiến lược huấn luyện hai giai đoạn latent-pixel được điều kiện bởi khung hình chính của chúng tôi tích hợp hiệu quả các tiền đề chất lượng cao từ các mô hình ISR hiện đại với thông tin video LR, đảm bảo khả năng lan truyền mạnh mẽ và độ trung thực cấu trúc. Với các chiến lược lựa chọn khung hình chính linh hoạt và cơ chế hướng dẫn không tham chiếu có thể điều chỉnh, SparkVSR mang lại khả năng kiểm soát chưa từng có cho người dùng và thiết lập hiệu suất tiên tiến, đạt được hiệu quả Pareto tối ưu trong việc đánh đổi giữa độ chính xác và chất lượng cảm nhận. Khả năng khái quát hóa mạnh mẽ của SparkVSR cho các tác vụ như phục hồi phim cũ và chuyển đổi phong cách video mở ra nhiều hướng nghiên cứu và ứng dụng tiềm năng trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng kiểm soát tương tác cho các tác vụ chỉnh sửa video tổng quát: Nghiên cứu cách áp dụng khung SparkVSR để kiểm soát tương tác các tác vụ chỉnh sửa video khác ngoài siêu phân giải, chẳng hạn như loại bỏ đối tượng, thay đổi chuyển động, hoặc tạo hiệu ứng đặc biệt, bằng cách sử dụng các khung hình chính và mô tả ngữ nghĩa.
Tối ưu hóa tự động hóa việc tạo và lựa chọn khung hình chính: Phát triển các phương pháp tự động tiên tiến để lựa chọn khung hình chính tối ưu và tạo ra các tham chiếu HR chất lượng cao mà không cần sự can thiệp thủ công của người dùng, từ đó nâng cao hiệu quả và khả năng áp dụng cho các quy trình xử lý video quy mô lớn.
Tích hợp các mô hình sinh ảnh/video lớn (Large Generative Models) để điều khiển ngữ nghĩa phong phú hơn: Khám phá việc kết hợp các mô hình ngôn ngữ lớn (LLMs) hoặc các mô hình sinh ảnh/video tiên tiến khác để cho phép người dùng kiểm soát VSR thông qua các prompt văn bản phức tạp hơn, không chỉ mô tả nội dung mà còn cả các đặc tính phong cách và cảm xúc mong muốn, mở rộng khả năng điều khiển chi tiết và cá nhân hóa.
Nghiên cứu về khả năng thích ứng của SparkVSR với các định dạng video và loại suy thoái mới nổi: Điều tra cách SparkVSR có thể được điều chỉnh và tối ưu hóa để xử lý các định dạng video mới (ví dụ: video 360 độ, video HDR) và các loại suy thoái phức tạp khác (ví dụ: nhiễu do nén nặng, biến dạng quang học) mà không cần huấn luyện lại toàn bộ.

2. Patent:

Tính năng "Tăng cường độ nét video thông minh" trên điện thoại di động: Một ứng dụng hoặc tính năng tích hợp trong ứng dụng chỉnh sửa video của điện thoại, cho phép người dùng chọn một hoặc vài khung hình chính trong video bị mờ (ví dụ: khuôn mặt, biển báo). Sau đó, người dùng có thể áp dụng hiệu ứng làm sắc nét hoặc phục hồi chi tiết. Hệ thống sẽ sử dụng công nghệ lan truyền khung hình chính để tự động áp dụng và duy trì sự nhất quán của hiệu ứng này trên toàn bộ chuỗi video, mang lại video sắc nét hơn mà không bị nhấp nháy.
Ứng dụng "Phục hồi phim cũ tương tác" cho điện thoại: Một ứng dụng di động cho phép người dùng tải lên các video cũ, chất lượng thấp (ví dụ: video gia đình). Người dùng có thể chọn các khung hình chính và nhập các mô tả văn bản đơn giản (ví dụ: "loại bỏ vết xước", "làm rõ khuôn mặt", "tăng cường màu sắc"). Ứng dụng sẽ sử dụng thuật toán SparkVSR để phục hồi và nâng cấp chất lượng toàn bộ video dựa trên các điều chỉnh ở khung hình chính, đảm bảo kết quả nhất quán và tự nhiên.
Công cụ "Chuyển đổi phong cách video dựa trên khung hình chính" trên điện thoại: Một tính năng trong ứng dụng quay/chỉnh sửa video của điện thoại cho phép người dùng chọn một khung hình bất kỳ trong video và áp dụng một phong cách nghệ thuật (ví dụ: tranh sơn dầu, phác thảo) lên khung hình đó. Hệ thống sẽ sử dụng công nghệ lan truyền khung hình chính để áp dụng phong cách đã chọn một cách mượt mà và nhất quán cho toàn bộ video, giữ nguyên chuyển động và tránh hiện tượng nhấp nháy, tạo ra các video có phong cách độc đáo.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16864
ArXiv Abstract	https://arxiv.org/abs/2603.16864
PDF Download	https://arxiv.org/pdf/2603.16864.pdf
Github Repository	https://github.com/taco-group/SparkVSR

21. Omnilingual MT: Machine Translation for 1,600 Languages (12 votes)

Tác giả: Omnilingual MT Team, Belen Alastruey, Niyati Bafna, Andrea Caciolai, Kevin Heffernan, Artyom Kozhevnikov, Christophe Ropers, Eduardo Sánchez, Charles-Eric Saint-James, Ioannis Tsiamas, Chierh Cheng, Joe Chuang, Paul-Ambroise Duquenne, Mark Duppenthaler, Nate Ekberg, Cynthia Gao, Pere Lluís Huguet Cabot, João Maria Janeiro, Jean Maillard, Gabriel Mejia Gonzalez, Holger Schwenk, Edan Toledo, Arina Turkatenko, Albert Ventayol-Boada, Rashel Moritz, Alexandre Mourachko, Surya Parimi, Mary Williamson, Shireen Yates, David Dale, Marta R. Costa-jussà

Xuất bản lúc: 2026-03-17

Tag: Machine Translation, LLMs, Multilingual, Low-Resource Languages, Data Augmentation, Retrieval-Augmented Generation, Encoder-Decoder, Decoder-only, Quality Estimation

I. Main Problem:

Các hệ thống dịch máy (MT) hiện tại, kể cả những tiến bộ như NLLB, vẫn bị giới hạn ở khoảng 200 ngôn ngữ. Các mô hình ngôn ngữ lớn (LLM) tuy cải thiện chất lượng nhưng không mở rộng đáng kể phạm vi ngôn ngữ. Vấn đề chính là "nút thắt cổ chai tạo sinh": các mô hình có thể hiểu nhiều ngôn ngữ tài nguyên thấp thông qua chuyển giao đa ngôn ngữ, nhưng lại gặp khó khăn trong việc tạo ra bản dịch một cách đáng tin cậy. Điều này khiến phần lớn trong số 7.000 ngôn ngữ trên thế giới, đặc biệt là các ngôn ngữ có nguy cơ tuyệt chủng và bị gạt ra ngoài lề, nằm ngoài tầm với của công nghệ MT hiện đại. Ngoài ra, việc thiếu dữ liệu chất lượng cao cho các ngôn ngữ tài nguyên thấp và hạn chế trong các khuôn khổ đánh giá mở rộng là những rào cản lớn.

II. Main Idea:

Nghiên cứu giới thiệu Omnilingual Machine Translation (OMT), hệ thống MT đầu tiên hỗ trợ hơn 1.600 ngôn ngữ. Quy mô này đạt được nhờ một chiến lược dữ liệu toàn diện, tích hợp các kho ngữ liệu đa ngôn ngữ công khai lớn với các bộ dữ liệu mới được tạo ra, bao gồm bitext MeDLEY được tuyển chọn thủ công, dịch ngược tổng hợp và khai thác dữ liệu, mở rộng đáng kể phạm vi phủ sóng cho các ngôn ngữ "long-tail", miền và ngữ cảnh. OMT khám phá hai cách chuyên biệt hóa LLM cho dịch máy: một mô hình chỉ giải mã (OMT-LLaMA) dựa trên LLaMA3 với tiền huấn luyện liên tục đa ngôn ngữ và dịch tăng cường truy xuất; hoặc như một mô-đun trong kiến trúc bộ mã hóa-giải mã (OMT-NLLB) dựa trên OmniSONAR (cũng dựa trên LLaMA3), sử dụng phương pháp huấn luyện mới khai thác dữ liệu không song song. Để đảm bảo đánh giá đáng tin cậy và mở rộng, nhóm nghiên cứu đã kết hợp các số liệu tiêu chuẩn với bộ công cụ đánh giá mới: mô hình ước lượng chất lượng BLASER 3 (không cần tham chiếu), bộ phân loại độc tính OmniTOX, bộ dữ liệu BOUQuET (bộ sưu tập đánh giá đa ngôn ngữ lớn nhất được tạo từ đầu) và bộ dữ liệu Met-BOUQuET (ước lượng chất lượng đa ngôn ngữ ở quy mô lớn).

III. Main Results:

OMT là hệ thống MT đầu tiên hỗ trợ hơn 1.600 ngôn ngữ. Các mô hình OMT-LLaMA mở rộng đáng kể tập hợp các ngôn ngữ mà việc tạo bản dịch mạch lạc là khả thi. Các mô hình OMT (1B đến 8B tham số) đạt hoặc vượt hiệu suất MT của mô hình LLM cơ sở 70B tham số, cho thấy lợi thế rõ ràng của việc chuyên biệt hóa và cho phép chất lượng dịch mạnh mẽ trong các môi trường tính toán thấp. Nghiên cứu cũng cho thấy các mô hình OMT cải thiện khả năng chuyển giao đa ngôn ngữ, gần như giải quyết được phần "hiểu" của bài toán MT cho 1.600 ngôn ngữ được đánh giá. Ngoài ra, các công cụ đánh giá mới như BLASER 3 đạt được độ phủ đa ngôn ngữ cao nhất trong ước lượng chất lượng MT không tham chiếu, và OmniTOX có độ phủ ngôn ngữ lớn nhất trong phát hiện độc tính (1.600 ngôn ngữ).

IV. Conclusion & Future Works:

OMT cung cấp độ phủ ngôn ngữ rộng và các con đường linh hoạt để cải thiện hiệu suất thông qua tinh chỉnh và tạo sinh tăng cường truy xuất. Nghiên cứu nhấn mạnh rằng sự chuyên biệt hóa, chứ không phải quy mô, là con đường đáng tin cậy hơn để đạt được dịch máy đa ngôn ngữ chất lượng cao. OMT được coi là một mô hình cơ sở đa ngôn ngữ đa năng, có thể được huấn luyện thêm để xây dựng các LLM đa ngôn ngữ, tích hợp khả năng dịch, suy luận, đối thoại và đa phương thức cho hàng nghìn ngôn ngữ. Nó cũng có thể được kết hợp với Omnilingual ASR để tạo ra các hệ thống dịch giọng nói sang văn bản ở quy mô chưa từng có. Các bộ dữ liệu đánh giá BOUQuET và Met-BOUQuET đang được phát triển theo hướng "Omnilinguality" và được cung cấp miễn phí.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc tận dụng kiến thức đa ngôn ngữ từ OMT-LLaMA để nâng cao khả năng suy luận và đối thoại cho các LLM đa ngôn ngữ trong các ngôn ngữ tài nguyên thấp.
Phát triển và đánh giá các phương pháp tối ưu hóa OMT cho các thiết bị di động và môi trường tính toán thấp, tập trung vào việc duy trì chất lượng dịch cho các ngôn ngữ tài nguyên thấp.
Khám phá việc tích hợp OMT với các hệ thống nhận dạng giọng nói đa ngôn ngữ (như Omnilingual ASR) để xây dựng các giải pháp dịch thuật giọng nói sang văn bản toàn diện, đặc biệt cho các cặp ngôn ngữ tài nguyên thấp.

2. Patent:

Hệ thống dịch thuật đa ngôn ngữ theo thời gian thực trên di động với khả năng thích ứng ngữ cảnh: Một ứng dụng trên điện thoại di động sử dụng công nghệ dịch thuật đa ngôn ngữ của OMT, cho phép người dùng dịch văn bản hoặc giọng nói giữa hơn 1.600 ngôn ngữ. Hệ thống sẽ tự động điều chỉnh phong cách và ngữ điệu dịch dựa trên ngữ cảnh người dùng cung cấp (ví dụ: cuộc trò chuyện thân mật, email công việc, bài đăng mạng xã hội) để đảm bảo bản dịch tự nhiên và chính xác hơn, đặc biệt hữu ích cho các ngôn ngữ ít phổ biến.
Giải pháp kiểm soát chất lượng dịch và phát hiện ngôn ngữ độc hại tích hợp trên thiết bị di động: Một tính năng tích hợp trong ứng dụng nhắn tin hoặc trình duyệt web của điện thoại, sử dụng các mô hình BLASER 3 và OmniTOX để tự động đánh giá chất lượng bản dịch (không cần bản gốc tham chiếu) và phát hiện nội dung có khả năng gây độc hại hoặc xúc phạm trong các cuộc hội thoại đa ngôn ngữ. Điều này giúp người dùng giao tiếp an toàn và hiệu quả hơn trên nhiều ngôn ngữ, bao gồm cả những ngôn ngữ tài nguyên thấp.
Công cụ tạo dữ liệu dịch tổng hợp và tùy chỉnh trên điện thoại thông minh cho ngôn ngữ địa phương: Một ứng dụng di động cho phép người dùng ở các cộng đồng ngôn ngữ tài nguyên thấp đóng góp vào việc tạo dữ liệu dịch thuật. Ứng dụng sẽ hướng dẫn người dùng cung cấp các câu mẫu, từ vựng địa phương hoặc dịch các đoạn văn ngắn sang ngôn ngữ của họ. Dữ liệu này sau đó có thể được sử dụng để tinh chỉnh các mô hình OMT hiện có trên thiết bị để cải thiện chất lượng dịch cho các biến thể ngôn ngữ hoặc miền cụ thể, ngay cả khi không có kết nối internet liên tục.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.16309
ArXiv Abstract	https://arxiv.org/abs/2603.16309
PDF Download	https://arxiv.org/pdf/2603.16309.pdf
Github Repository	N/A

22. Semi-Autonomous Formalization of the Vlasov-Maxwell-Landau Equilibrium (12 votes)

Tác giả: Vasily Ilin

Xuất bản lúc: 2026-03-16

Tag: AI-assisted theorem proving, Formal verification, LLMs, Agentic AI, Mathematical physics, Lean4, Automated theorem proving

I. Main Problem:

Việc xác minh chính thức các lý thuyết toán học bằng các công cụ hỗ trợ chứng minh như Lean4 đòi hỏi chuyên môn sâu rộng cả về toán học và công cụ, dẫn đến đường cong học tập dốc và giới hạn cộng đồng người dùng. Các phương pháp hiện tại thường tập trung vào toán học thi đấu hoặc kết quả trong sách giáo khoa, thiếu khả năng xử lý các kết quả nghiên cứu mới, phức tạp trong các lĩnh vực như vật lý toán học. Quá trình chứng minh và xác minh thủ công tốn thời gian và dễ mắc lỗi.

II. Main Idea:

Đề xuất một quy trình nghiên cứu toán học hoàn chỉnh, bán tự động, được hỗ trợ bởi AI, từ việc đưa ra giả thuyết đến xác minh chính thức. Quy trình này bao gồm: mô hình suy luận AI (Gemini DeepThink) tạo ra bằng chứng từ một giả thuyết, công cụ mã hóa tự động (Claude Code) dịch bằng chứng sang Lean từ các lời nhắc ngôn ngữ tự nhiên, công cụ chứng minh chuyên biệt (Aristotle) đóng các bổ đề, và kernel Lean xác minh kết quả cuối cùng. Một nhà toán học duy nhất giám sát toàn bộ quá trình mà không cần viết bất kỳ dòng mã nào, chứng minh khả năng tiếp cận của việc hình thức hóa cấp độ nghiên cứu cho các nhà toán học không có chuyên môn sâu về Lean. Công trình này tập trung vào việc hình thức hóa đặc tính trạng thái cân bằng của hệ Vlasov-Maxwell-Landau (VML) với các va chạm Coulomb, một kết quả mới trong vật lý toán học.

III. Main Results:

Hoàn thành hình thức hóa hệ VML với hơn 10.000 dòng mã Lean4 và 34 tệp, đạt 0 lỗi "sorry" (chứng minh hoàn tất). Chứng minh thành công một định lý mới trong vật lý toán học: đặc tính của trạng thái ổn định mượt mà của hệ VML đầy đủ với va chạm Coulomb và khớp nối điện từ. Toàn bộ quá trình phát triển được giám sát bởi một nhà toán học duy nhất trong 10 ngày với chi phí chỉ 200 đô la, không cần viết mã. Aristotle, công cụ chứng minh tự động, đã chứng minh 111 bổ đề (50%) và bác bỏ 28 giả thuyết sai (13%), với thời gian phản hồi trung bình là 19 phút. Quá trình này đã tiết lộ các chế độ lỗi của AI như "hypothesis creep" và "definition-alignment bugs", đồng thời xác định các phương pháp hiệu quả như tách chứng minh trừu tượng/cụ thể và tự đánh giá đối kháng.

IV. Conclusion & Future Works:

Công trình này chứng minh rằng việc hình thức hóa toán học cấp độ nghiên cứu hiện có thể tiếp cận được với các nhà toán học không có chuyên môn sâu về Lean, với chi phí tối thiểu. Các bài học quan trọng đã được rút ra về khả năng và chế độ lỗi của các công cụ AI hiện tại cho việc hình thức hóa, đặc biệt là tầm quan trọng của kỷ luật giả thuyết và vai trò biến đổi của các công cụ chứng minh tự động như Aristotle. Hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng quy trình bán tự động này sang các lĩnh vực toán học khác, cải thiện khả năng của AI trong việc tự động xử lý các trường hợp phức tạp như các dị thường (singularities) và phát triển các hệ thống AI có khả năng tự sửa lỗi "hypothesis creep" một cách tự động hơn.

V. Brainstorming Space:

1. Publish Papers:

Phân tích định tính các chế độ lỗi và chiến lược khắc phục trong quy trình hình thức hóa toán học được hỗ trợ bởi AI: Nghiên cứu sâu hơn về các chế độ lỗi như "hypothesis creep" và "definition-alignment bugs", đề xuất các khuôn khổ lý thuyết và thực nghiệm để phân loại, dự đoán và giảm thiểu chúng trong các hệ thống AI hỗ trợ chứng minh.
Mở rộng hình thức hóa bán tự động cho các hệ thống vật lý đa loài hoặc không cân bằng: Áp dụng quy trình AI-assisted hiện tại để hình thức hóa các hệ thống vật lý phức tạp hơn, chẳng hạn như plasma với nhiều loài hạt hoặc các trạng thái không cân bằng, đòi hỏi các định nghĩa và phương pháp toán học mới.
Tối ưu hóa chiến lược tương tác giữa người và AI trong hình thức hóa toán học để nâng cao hiệu quả và độ tin cậy: Khám phá các giao thức tương tác tiên tiến, bao gồm giao diện người dùng mới và các mô hình ra quyết định của AI, nhằm tối đa hóa hiệu quả giám sát của con người và giảm thiểu chi phí tính toán cho các dự án hình thức hóa quy mô lớn.

2. Patent:

Hệ thống trợ lý học toán thông minh cho điện thoại di động: Một ứng dụng di động sử dụng mô hình suy luận AI tương tự Gemini DeepThink để giúp học sinh và sinh viên hiểu và giải các bài toán phức tạp. Người dùng có thể nhập một bài toán hoặc giả thuyết bằng ngôn ngữ tự nhiên, và ứng dụng sẽ tạo ra một lời giải chi tiết từng bước, giải thích các khái niệm liên quan và thậm chí chỉ ra các tài liệu tham khảo. Nó có thể tích hợp phản hồi theo thời gian thực và tự động điều chỉnh độ khó của lời giải dựa trên mức độ hiểu biết của người dùng.
Công cụ tự động kiểm tra logic cho ứng dụng di động: Một tính năng tích hợp trong các ứng dụng lập trình hoặc thiết kế logic trên điện thoại, sử dụng công cụ chứng minh tự động như Aristotle để kiểm tra tính đúng đắn của các đoạn mã, thuật toán hoặc sơ đồ logic do người dùng tạo. Khi người dùng viết một hàm hoặc thiết kế một quy trình, hệ thống sẽ tự động phân tích và chỉ ra các lỗi logic, các trường hợp ngoại lệ hoặc các giả định không được chứng minh, giúp người dùng gỡ lỗi hiệu quả ngay trên thiết bị di động.
Trợ lý lập kế hoạch dự án bán tự động trên điện thoại: Một ứng dụng quản lý dự án di động sử dụng AI agentic (như Claude Code) để lập kế hoạch và quản lý các tác vụ phức tạp. Người dùng có thể mô tả mục tiêu dự án bằng ngôn ngữ tự nhiên, và AI sẽ tự động tạo ra một cấu trúc dự án chi tiết, phân chia thành các giai đoạn, xác định các phụ thuộc, ước tính thời gian và tài nguyên, và thậm chí đề xuất các công cụ cần thiết. Nó cũng có thể tự động điều chỉnh kế hoạch dựa trên tiến độ thực tế và các thay đổi được người dùng nhập vào.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.15929
ArXiv Abstract	https://arxiv.org/abs/2603.15929
PDF Download	https://arxiv.org/pdf/2603.15929.pdf
Github Repository	https://github.com/Vilin97/Clawristotle

23. One-Eval: An Agentic System for Automated and Traceable LLM Evaluation (10 votes)

Tác giả: Chengyu Shen, Yanheng Hou, Minghui Pan, Runming He, Zhen Hao Wong, Meiyi Qiang, Zhou Liu, Hao Liang, Peichao Lai, Zeang Sheng, Wentao Zhang

Xuất bản lúc: 2026-03-10

Tag: LLMs, Evaluation, Agentic Systems, Automation, NLP, Benchmarking, Human-in-the-Loop

I. Main Problem:

Việc đánh giá đáng tin cậy các mô hình ngôn ngữ lớn (LLM) đòi hỏi nhiều nỗ lực thủ công đáng kể, bao gồm việc xác định các bộ dữ liệu đánh giá phù hợp, tái tạo các codebase đánh giá không đồng nhất, cấu hình ánh xạ lược đồ bộ dữ liệu và diễn giải các chỉ số tổng hợp. Các quy trình đánh giá hiện có thiếu tính linh hoạt và khả năng sử dụng, thường chỉ cung cấp các chỉ số vô hướng đơn lẻ không đủ để hỗ trợ ra quyết định trong môi trường công nghiệp thực tế.

II. Main Idea:

One-Eval là một hệ thống đánh giá dựa trên tác nhân (agentic system) chuyển đổi các yêu cầu đánh giá bằng ngôn ngữ tự nhiên thành các quy trình làm việc đánh giá có thể thực thi, có thể truy vết và tùy chỉnh. Hệ thống tích hợp ba giai đoạn chính:

NL2Bench: Cấu trúc ý định và lập kế hoạch benchmark cá nhân hóa từ các yêu cầu ngôn ngữ tự nhiên, với khả năng tinh chỉnh tương tác.
BenchResolve: Giải quyết benchmark, tự động thu thập bộ dữ liệu và chuẩn hóa lược đồ để đảm bảo khả năng thực thi.
Metrics & Reporting: Lựa chọn các chỉ số phù hợp với tác vụ và tạo báo cáo định hướng quyết định vượt xa các điểm số vô hướng.

Hệ thống cũng kết hợp các điểm kiểm tra "con người trong vòng lặp" (human-in-the-loop) để xem xét, chỉnh sửa và hoàn tác, đồng thời lưu giữ bằng chứng mẫu để gỡ lỗi và kiểm toán.

III. Main Results:

Các thử nghiệm cho thấy One-Eval có thể thực hiện các đánh giá đầu cuối từ các yêu cầu ngôn ngữ tự nhiên đa dạng với nỗ lực tối thiểu từ người dùng, hỗ trợ đánh giá hiệu quả và có thể tái sản xuất hơn trong môi trường công nghiệp.

Tỷ lệ thành công đầu cuối:
- Tỷ lệ kế hoạch có thể thực thi: 99/100 (99%) yêu cầu.
- Tỷ lệ tự động hoàn thành: 85/100 (85%) yêu cầu (bao gồm ánh xạ lược đồ và phân tách).
- Tỷ lệ kế hoạch hoàn chỉnh: 84/100 (84%) yêu cầu (bao gồm suy luận loại tác vụ và đề xuất chỉ số).
Hiệu quả: Quy trình 8 bước hoàn thành trong thời gian trung bình khoảng 11.4 phút mỗi yêu cầu (trung bình 13 phút) mà không cần sự can thiệp của con người.
So sánh tính năng: One-Eval hỗ trợ tùy chỉnh (Custom), tự động hóa đầu cuối (Automate), đề xuất benchmark (Rec. Bench) và đề xuất chỉ số (Rec. Metric), vượt trội hơn các framework khác như lm-eval-harness, OpenCompass và HELM về các tính năng tự động và đề xuất.

IV. Conclusion & Future Works:

One-Eval cho phép các yêu cầu đánh giá bằng ngôn ngữ tự nhiên được thực thi dưới dạng các quy trình làm việc đầu cuối có thể truy vết thông qua NL2Bench, BenchResolve và Metrics & Reporting có nhận thức về tác vụ. Các thử nghiệm chứng minh khả năng thực thi đáng tin cậy với nỗ lực thủ công tối thiểu và bằng chứng có thể hành động để kiểm toán và gỡ lỗi.

Trong tương lai, công việc sẽ mở rộng phạm vi bao phủ sang nhiều tác vụ và phương thức khác nhau, đồng thời tăng cường hỗ trợ cho các benchmark ít phổ biến (long-tail benchmarks).

V. Brainstorming Space:

1. Publish Papers:

Mở rộng One-Eval cho các mô hình đa phương thức (Multimodal Models): Nghiên cứu cách tích hợp và đánh giá các mô hình ngôn ngữ lớn kết hợp hình ảnh, âm thanh hoặc video, phát triển các phương pháp NL2Bench, BenchResolve và Metrics & Reporting mới để xử lý tính phức tạp của dữ liệu đa phương thức và các tác vụ liên quan.
Tối ưu hóa khả năng giải quyết benchmark cho các bộ dữ liệu ít phổ biến: Phát triển các chiến lược tác nhân thông minh hơn để tự động phát hiện, cấu hình và chuẩn hóa các bộ dữ liệu đánh giá mới hoặc ít được biết đến từ các kho lưu trữ công cộng, giảm thiểu sự phụ thuộc vào cấu hình thủ công hoặc danh mục được quản lý trước.
Phát triển hệ thống đề xuất chỉ số và báo cáo thích ứng theo ngữ cảnh: Nghiên cứu các phương pháp sử dụng học tăng cường hoặc học meta để liên tục cải thiện khả năng đề xuất chỉ số và định dạng báo cáo của hệ thống dựa trên phản hồi của người dùng và các mục tiêu đánh giá cụ thể, tạo ra các báo cáo động và có tính hành động cao hơn.

2. Patent:

Hệ thống kiểm tra hiệu suất ứng dụng tự động trên điện thoại: Một ứng dụng di động cho phép người dùng hoặc nhà phát triển mô tả bằng ngôn ngữ đơn giản các kịch bản kiểm tra hiệu suất cho bất kỳ ứng dụng nào khác trên điện thoại (ví dụ: "kiểm tra tốc độ mở tệp lớn của ứng dụng X" hoặc "đánh giá mức tiêu thụ pin khi gọi video"). Hệ thống sẽ tự động cấu hình, chạy các kiểm tra và cung cấp báo cáo dễ hiểu về hiệu suất, giúp người dùng nhận diện vấn đề mà không cần kiến thức kỹ thuật phức tạp.
Công cụ đánh giá trợ lý AI cá nhân hóa: Một tính năng trên điện thoại di động cho phép người dùng đưa ra các yêu cầu bằng ngôn ngữ tự nhiên để đánh giá trợ lý AI của điện thoại (ví dụ: "kiểm tra khả năng hiểu các câu hỏi phức tạp về nhà hàng địa phương của trợ lý" hoặc "đánh giá khả năng đặt nhiều báo thức nhanh chóng của nó"). Hệ thống sẽ tự động tạo và thực hiện một loạt các thử nghiệm tùy chỉnh, ghi lại phản hồi của trợ lý và cung cấp báo cáo chi tiết về hiệu suất, chỉ ra các điểm mạnh và điểm cần cải thiện.
Hệ thống đánh giá bộ lọc nội dung thông minh trên thiết bị di động: Một công cụ trên điện thoại cho phép người dùng hoặc phụ huynh định nghĩa các quy tắc lọc nội dung mong muốn bằng ngôn ngữ tự nhiên (ví dụ: "chặn tất cả quảng cáo trò chơi bạo lực", "lọc ngôn ngữ không phù hợp trên mạng xã hội"). Hệ thống sẽ chạy một đánh giá mô phỏng trên một tập hợp nội dung đa dạng, cho thấy hiệu quả của bộ lọc dựa trên tiêu chí của người dùng và cung cấp một báo cáo dễ hiểu về độ chính xác cũng như các trường hợp lọc sai hoặc bỏ sót.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.09821
ArXiv Abstract	https://arxiv.org/abs/2603.09821
PDF Download	https://arxiv.org/pdf/2603.09821.pdf
Github Repository	https://github.com/OpenDCAI/One-Eval

📰 Summary of Papers
1. InCoder-32B: Code Foundation Model for Industrial Scenarios (78 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. Demystifing Video Reasoning (47 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification (55 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. Qianfan-OCR: A Unified End-to-End Model for Document Intelligence (135 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. Thinking in Uncertainty: Mitigating Hallucinations in MLRMs with Latent Entropy-Aware Decoding (34 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. Kinema4D: Kinematic 4D World Modeling for Spatiotemporal Embodied Simulation (65 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. WorldCam: Interactive Autoregressive 3D Gaming Worlds with Camera Pose as a Unifying Geometric Representation (36 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. TRUST-SQL: Tool-Integrated Multi-Turn Reinforcement Learning for Text-to-SQL over Unknown Schemas (34 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. Online Experiential Learning for Language Models (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. WiT: Waypoint Diffusion Transformers via Trajectory Conflict Navigation (31 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. Rethinking UMM Visual Generation: Masked Modeling for Efficient Image-Only Pre-training (28 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. GradMem: Learning to Write Context into Memory with Test-Time Gradient Descent (25 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. MEMO: Memory-Augmented Model Context Optimization for Robust Multi-Turn Multi-Agent LLM Games (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. SegviGen: Repurposing 3D Generative Model for Part Segmentation (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. Efficient Reasoning on the Edge (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering? (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. SparkVSR: Interactive Video Super-Resolution via Sparse Keyframe Propagation (14 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. Omnilingual MT: Machine Translation for 1,600 Languages (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. Semi-Autonomous Formalization of the Vlasov-Maxwell-Landau Equilibrium (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. One-Eval: An Agentic System for Automated and Traceable LLM Evaluation (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. InCoder-32B: Code Foundation Model for Industrial Scenarios (78 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Demystifing Video Reasoning (47 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification (55 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Qianfan-OCR: A Unified End-to-End Model for Document Intelligence (135 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models (12 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Thinking in Uncertainty: Mitigating Hallucinations in MLRMs with Latent Entropy-Aware Decoding (34 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Kinema4D: Kinematic 4D World Modeling for Spatiotemporal Embodied Simulation (65 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. WorldCam: Interactive Autoregressive 3D Gaming Worlds with Camera Pose as a Unifying Geometric Representation (36 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. TRUST-SQL: Tool-Integrated Multi-Turn Reinforcement Learning for Text-to-SQL over Unknown Schemas (34 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. InCoder-32B: Code Foundation Model for Industrial Scenarios (78 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Demystifing Video Reasoning (47 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification (55 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Qianfan-OCR: A Unified End-to-End Model for Document Intelligence (135 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models (12 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Thinking in Uncertainty: Mitigating Hallucinations in MLRMs with Latent Entropy-Aware Decoding (34 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Kinema4D: Kinematic 4D World Modeling for Spatiotemporal Embodied Simulation (65 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. WorldCam: Interactive Autoregressive 3D Gaming Worlds with Camera Pose as a Unifying Geometric Representation (36 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. TRUST-SQL: Tool-Integrated Multi-Turn Reinforcement Learning for Text-to-SQL over Unknown Schemas (34 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: