Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-01-21

Báo cáo được tạo tự động vào lúc 2026-01-22 10:22:12 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization (62 votes)​

Tác giả: Hao Luo, Ye Wang, Wanpeng Zhang, Sipeng Zheng, Ziheng Xi, Chaoyi Xu, Haiweng Xu, Haoqi Yuan, Chi Zhang, Yiqing Wang, Yicheng Feng, Zongqing Lu

Xuất bản lúc: 2026-01-19

Tag: Vision-Language-Action, Robot Learning, Cross-Embodiment Generalization, Foundation Model

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) hiện có gặp khó khăn với sự đa dạng về hình thái (morphological heterogeneity) và thiếu dữ liệu (data scarcity) khi triển khai trên các nền tảng robot khác nhau. Chúng thường hoạt động như những "người nói một ngôn ngữ" (monolingual speakers), hiệu quả cao trên phần cứng cụ thể nhưng không tương thích với các hình thái khác. Sự thiếu hụt dữ liệu dành riêng cho robot và sự khác biệt về không gian hành động giữa các robot (action-space interference) gây ra lỗi chuyển giao tiêu cực và hành vi không ổn định, ngăn cản khả năng khái quát hóa mạnh mẽ và học tập từ dữ liệu hạn chế.

II. Main Idea:​

Bài nghiên cứu giới thiệu Being-H0.5, một mô hình VLA nền tảng được thiết kế cho khả năng khái quát hóa đa hình thái (cross-embodiment generalization) mạnh mẽ. Giải pháp bao gồm:

  1. Học tập tập trung vào con người (Human-Centric Learning): Coi dấu vết tương tác của con người như một "tiếng mẹ đẻ" phổ quát cho tương tác vật lý, cung cấp các kiến thức tiên nghiệm về ngữ nghĩa và vật lý chung cho mọi robot.
  2. UniHand-2.0: Một bộ dữ liệu tiền huấn luyện lớn nhất từ trước đến nay, gồm hơn 35.000 giờ dữ liệu đa phương thức trải dài trên 30 hình thái robot khác nhau, kết hợp video người, dữ liệu thao tác robot và dữ liệu hiểu biết thị giác-văn bản.
  3. Không gian hành động thống nhất (Unified Action Space): Ánh xạ các điều khiển robot không đồng nhất vào các slot được căn chỉnh ngữ nghĩa, cho phép robot có ít tài nguyên học kỹ năng từ dữ liệu con người và các nền tảng giàu tài nguyên.
  4. Mô hình hóa chuỗi thống nhất (Unified Sequence Modeling): Xử lý tất cả các loại giám sát (minh họa của con người, quỹ đạo robot, ngữ liệu thị giác-ngôn ngữ) thành một luồng token đa phương thức duy nhất để tiền huấn luyện.
  5. Kiến trúc Mixture-of-Transformers (MoT) với Mixture of Flow (MoF): Tách biệt các hành động cơ bản chung khỏi các chuyên gia cụ thể cho từng hình thái robot.
  6. Manifold-Preserving Gating (MPG) và Universal Async Chunking (UAC): Đảm bảo chính sách đa hình thái ổn định trong thế giới thực dưới sự dịch chuyển cảm biến và điều khiển khối không đồng bộ phổ quát.

III. Main Results:​

  • Being-H0.5 đạt được kết quả tiên tiến (state-of-the-art) trên các tiêu chuẩn mô phỏng như LIBERO (98.9%) và RoboCasa (53.9%).
  • Thể hiện khả năng khái quát hóa đa hình thái mạnh mẽ trên năm nền tảng robot thực tế khác nhau (PND Adam-U, Franka+Inspire, Unitree G1, BeingBeyond D1, và LeRobot SO-101) chỉ với một checkpoint duy nhất.
  • UniHand-2.0 có quy mô tăng 200 lần so với phiên bản trước, là công thức tiền huấn luyện thực thể lớn nhất cho đến nay, sử dụng nhiều video người nhất và đa dạng nhất các hình thái robot.

IV. Conclusion & Future Works:​

Being-H0.5 cung cấp một mô hình VLA nền tảng có khả năng nhận thức, mô tả và hành động trong một khuôn khổ duy nhất, cho phép khái quát hóa đa hình thái mạnh mẽ và triển khai trong thế giới thực trên nhiều robot và nhiệm vụ đa dạng. Hướng nghiên cứu tiếp theo bao gồm mở rộng khả năng của mô hình để đạt được trí tuệ robot đa ngôn ngữ thực sự, cho phép robot làm chủ các nền tảng mới với dữ liệu hạn chế và xử lý các kịch bản phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu sâu hơn về ảnh hưởng của các phương pháp biểu diễn chuyển động con người khác nhau đến khả năng chuyển giao đa hình thái của robot.
  • Phát triển kiến trúc mới cho phép định tuyến hành động một cách động học trên một tập hợp lớn hơn và đa dạng hơn các hình thái robot.
  • Tạo ra các tiêu chuẩn đánh giá mới để đo lường độ bền vững của các mô hình VLA đối với sự thay đổi cảm biến và độ trễ trên các nền tảng không đồng nhất.

2. Patent:​

  • Một hệ thống cho phép người dùng đào tạo một thiết bị robot cá nhân bằng cách đơn giản thể hiện các nhiệm vụ với chuyển động cơ thể của chính họ, được ghi lại bởi camera điện thoại, sau đó robot thực hiện các nhiệm vụ đó trên phần cứng khác nhau.
  • Một hệ thống điều khiển thích ứng cho các thiết bị robot cá nhân, nơi thiết bị học các kỹ năng thao tác mới từ một cơ sở dữ liệu chuyển động của con người tập trung và tự động điều chỉnh hành động của nó theo hình thái vật lý cụ thể của thiết bị.
  • Một giao diện người dùng trên điện thoại cho phép người dùng điều khiển nhiều loại robot khác nhau chỉ bằng các cử chỉ tự nhiên, với hệ thống tự động dịch các cử chỉ đó thành hành động robot phù hợp với từng loại thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.12993
ArXiv Abstracthttps://arxiv.org/abs/2601.12993
PDF Downloadhttps://arxiv.org/pdf/2601.12993.pdf
Github Repositoryhttps://github.com/BeingBeyond/Being-H

2. Advances and Frontiers of LLM-based Issue Resolution in Software Engineering: A Comprehensive Survey (51 votes)​

Tác giả: Caihua Li, Lianghong Guo, Yanlin Wang, Daya Guo, Wei Tao, Zhenyu Shan, Mingwei Liu, Jiachi Chen, Haoyu Song, Duyu Tang, Hongyu Zhang, Zibin Zheng

Xuất bản lúc: 2026-01-15

Tag: LLM, Software Engineering, Issue Resolution, Survey, Autonomous Agents, Benchmarking

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là sự phức tạp và khó khăn của việc giải quyết các vấn đề (issue resolution) trong kỹ thuật phần mềm (SWE) đối với các mô hình ngôn ngữ lớn (LLM). Mặc dù có sự tiến bộ nhanh chóng của các tác nhân lập trình tự động, các LLM vẫn gặp khó khăn trong việc điều hướng môi trường phát triển phức tạp, tương tác với nhiều tệp mã nguồn và phối hợp với con người trong các kịch bản thực tế. Ngoài ra, tài liệu nghiên cứu trong lĩnh vực này còn phân mảnh và các khảo sát hiện có chủ yếu tập trung vào tạo mã, bỏ qua thách thức phức tạp hơn của việc giải quyết vấn đề.

II. Main Idea:​

Bài báo trình bày một khảo sát toàn diện và có hệ thống về lĩnh vực đang phát triển của việc giải quyết vấn đề dựa trên LLM trong kỹ thuật phần mềm. Nó đề xuất một khung phân loại có cấu trúc để phân tích dữ liệu (bao gồm thu thập và tổng hợp dữ liệu), các phương pháp (từ khung làm việc không cần đào tạo với các thành phần mô-đun đến các kỹ thuật dựa trên đào tạo như fine-tuning có giám sát và học tăng cường), và phân tích quan trọng về chất lượng dữ liệu cùng hành vi của tác nhân. Mục tiêu là cung cấp một cái nhìn tổng quan có tổ chức, nhận diện những thách thức chính và đề xuất các hướng nghiên cứu tiềm năng trong tương lai, đồng thời cung cấp một kho lưu trữ mã nguồn mở để hỗ trợ cộng đồng.

III. Main Results:​

Bài báo không trình bày kết quả định lượng cụ thể (như các chỉ số hiệu suất) vì đây là một bài khảo sát. Thay vào đó, những phát hiện chính là:

  • Đã xác định "issue resolution" là một nhiệm vụ SWE phức tạp, khác biệt với tạo mã truyền thống, đòi hỏi LLM phải tương tác với các môi trường và kho lưu trữ mã nguồn lớn.
  • Khẳng định SWE-bench là một điểm chuẩn quan trọng đã thúc đẩy nghiên cứu về tác nhân mã hóa tự động và nhiệm vụ giải quyết vấn đề.
  • Cung cấp một phân loại chi tiết về các bộ dữ liệu giải quyết vấn đề, phân biệt giữa bộ dữ liệu đánh giá (như SWE-bench, SWE-bench Verified, các bản mở rộng đa ngôn ngữ và đa phương tiện) và bộ dữ liệu huấn luyện (dữ liệu văn bản tĩnh và môi trường tương tác).
  • Phân tích các phương pháp xây dựng dữ liệu bao gồm thu thập tự động từ nguồn thực tế và tổng hợp dữ liệu.
  • Phác thảo các loại phương pháp giải quyết vấn đề, bao gồm các phương pháp không cần đào tạo (khung làm việc tác nhân đơn, đa tác nhân và quy trình công việc; các mô-đun như công cụ, bộ nhớ và mở rộng quy mô trong thời gian suy luận) và các phương pháp dựa trên đào tạo (dựa trên SFT và RL).
  • Nhấn mạnh tầm quan trọng của chất lượng dữ liệu, hành vi tác nhân và ứng dụng thực tế.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng mặc dù có nhiều tiến bộ trong việc giải quyết vấn đề dựa trên LLM trong kỹ thuật phần mềm, lĩnh vực này vẫn còn nhiều thách thức và tiềm năng lớn. Nó cung cấp cái nhìn tổng quan có cấu trúc về các thành phần cốt lõi của lĩnh vực này (Dữ liệu, Phương pháp, Phân tích) và một kho lưu trữ mã nguồn mở để hỗ trợ nghiên cứu. Các hướng nghiên cứu trong tương lai bao gồm việc giải quyết các thách thức đã được nhận diện, cải thiện chất lượng dữ liệu, phát triển các phương pháp mạnh mẽ hơn và khám phá các ứng dụng thực tế rộng hơn để tiến tới xây dựng một kỹ sư phần mềm AI thực sự.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu một kiến trúc tác nhân đa mô-đun mới kết hợp công cụ và bộ nhớ dài hạn để cải thiện hiệu suất giải quyết vấn đề trên các kho lưu trữ mã phức tạp.
  • Phát triển một phương pháp tổng hợp dữ liệu tự động mới để tạo ra các tập dữ liệu huấn luyện tương tác chất lượng cao, có tính thực tế, vượt qua hạn chế của dữ liệu tĩnh.
  • Khảo sát các kỹ thuật học tăng cường tiên tiến để huấn luyện các tác nhân LLM thực hiện các nhiệm vụ giải quyết vấn đề phức tạp, bao gồm cả việc tương tác với môi trường phát triển phần mềm động.

2. Patent:​

  • Hệ thống trợ lý lập trình thông minh trên điện thoại có khả năng phân tích lỗi ứng dụng từ các báo cáo sự cố và tự động đề xuất các bản vá mã nguồn ngay trên thiết bị.
  • Phương pháp tự động kiểm tra và sửa lỗi giao diện người dùng trên ứng dụng điện thoại bằng cách sử dụng hình ảnh chụp màn hình và mô tả vấn đề để tạo ra các sửa đổi mã tương ứng.
  • Công nghệ điều khiển môi trường phát triển ảo trên đám mây, cho phép các tác nhân AI thực hiện các tác vụ sửa lỗi phức tạp trên ứng dụng di động một cách an toàn và hiệu quả, giảm thiểu rủi ro cho hệ thống thực.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.11655
ArXiv Abstracthttps://arxiv.org/abs/2601.11655
PDF Downloadhttps://arxiv.org/pdf/2601.11655.pdf
Github Repositoryhttps://github.com/DeepSoftwareAnalytics/Awesome-Issue-Resolution

3. Think3D: Thinking with Space for Spatial Reasoning (33 votes)​

Tác giả: Zaibin Zhang, Yuhan Wu, Lianjie Jia, Yifan Wang, Zhongbo Zhang, Yijiang Li, Binghao Ran, Fuxi Zhang, Zhuohan Sun, Zhenfei Yin, Lijun Wang, Huchuan Lu

Xuất bản lúc: 2026-01-19

Tag: Vision-Language Models, Spatial Reasoning, 3D Reconstruction, Reinforcement Learning, Tool Use, Multimodal AI

I. Main Problem:​

Các mô hình ngôn ngữ thị giác (VLMs), dù có khả năng hiểu thị giác xuất sắc, vẫn còn là những bộ xử lý 2D và gặp nhiều khó khăn trong việc suy luận 3D thực sự. Hiệu suất của chúng giảm sút đáng kể trong các nhiệm vụ đòi hỏi trí tuệ không gian phức tạp như hiểu biết đa góc nhìn hoặc lập kế hoạch tuyến đường, do thiếu khả năng giải thích hình học, góc nhìn và mối quan hệ không gian một cách nhất quán trong không gian 3D.

II. Main Idea:​

Bài nghiên cứu giới thiệu Think3D, một khung làm việc cho phép các tác nhân VLM "tư duy với không gian 3D" bằng cách tận dụng các mô hình tái tạo 3D để khôi phục đám mây điểm và vị trí camera từ hình ảnh hoặc video. Think3D cho phép tác nhân chủ động thao tác không gian thông qua các hoạt động dựa trên camera và chuyển đổi góc nhìn giữa toàn cảnh và người thứ nhất, biến suy luận không gian thành một chuỗi tư duy 3D tương tác. Ngoài ra, Think3D còn tích hợp một module học tăng cường (Think3D-RL) để giúp các mô hình nhỏ hơn phát triển các chiến lược khám phá không gian hiệu quả, tự động chọn các góc nhìn và thao tác có ý nghĩa dựa trên phần thưởng của nhiệm vụ.

III. Main Results:​

  • Think3D cải thiện đáng kể hiệu suất suy luận không gian của các mô hình tiên tiến như GPT-4.1 và Gemini 2.5 Pro mà không cần huấn luyện bổ sung, đạt mức tăng trung bình +7.8% trên BLINK Multi-view và MindCube, và +4.7% trên VSI-Bench.
  • Đối với các mô hình VLM nhỏ hơn, việc áp dụng khung học tăng cường Think3D-RL đã tăng lợi ích từ việc sử dụng công cụ từ +0.7% lên +6.8%, cho thấy khả năng phát triển các chiến lược khám phá 3D hiệu quả để bù đắp cho năng lực mô hình hạn chế.
  • Các phát hiện chứng minh rằng việc khám phá không gian được hỗ trợ bởi công cụ và không cần huấn luyện là một con đường khả thi để đạt được suy luận 3D linh hoạt và giống con người hơn trong các tác nhân đa phương thức, mở ra một chiều hướng mới của trí tuệ đa phương thức.

IV. Conclusion & Future Works:​

Think3D giới thiệu một cách tiếp cận mới về suy luận không gian, định nghĩa lại nó như một quá trình khám phá 3D chủ động thông qua việc tương tác trực tiếp với các mô hình 3D được tái tạo. Khung này, với các công cụ thao tác 3D và chuỗi suy luận lặp lại, cho phép các VLM xây dựng biểu diễn không gian nhất quán. Việc kết hợp học tăng cường giúp tối ưu hóa chiến lược khám phá. Bài nghiên cứu khẳng định rằng việc khám phá không gian được hỗ trợ bởi công cụ là một bước tiến quan trọng hướng tới suy luận 3D giống con người. Hướng nghiên cứu tiếp theo có thể tập trung vào việc tinh chỉnh hơn nữa các chính sách khám phá và mở rộng ứng dụng của Think3D trong các môi trường 3D đa dạng.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu tích hợp các mô hình kiến trúc 3D tạo sinh (generative 3D models) trực tiếp vào Think3D để cho phép VLM không chỉ khám phá mà còn chỉnh sửa hoặc tạo ra nội dung 3D.
  • Phát triển một phương pháp đánh giá định lượng về mức độ "giống con người" của các chiến lược khám phá không gian được học bởi Think3D-RL trong các tác vụ suy luận 3D phức tạp.
  • Khám phá cách Think3D có thể được mở rộng để xử lý các môi trường động 3D, nơi các đối tượng hoặc bố cục cảnh thay đổi theo thời gian, đòi hỏi suy luận không gian liên tục.

2. Patent:​

  • Một hệ thống phần mềm trên điện thoại thông minh cho phép người dùng chụp một loạt ảnh hoặc quay video của một không gian, sau đó tái tạo một mô hình 3D ảo và cho phép người dùng duyệt qua không gian đó bằng cách thay đổi góc nhìn trên màn hình điện thoại.
  • Phương pháp trên điện thoại di động sử dụng công nghệ camera của thiết bị để ước tính chính xác vị trí và hướng nhìn của người dùng trong một không gian 3D được tái tạo, giúp ứng dụng thực hiện các thao tác ảo như xoay hoặc di chuyển góc nhìn một cách tự nhiên.
  • Ứng dụng điện thoại thông minh tích hợp khả năng phân tích không gian 3D để cung cấp hướng dẫn lắp đặt nội thất ảo hoặc bố trí vật thể trong không gian thực, cho phép người dùng xem trước và điều chỉnh vị trí các vật phẩm ảo một cách chính xác trên nền tảng 3D của không gian được quét.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.13029
ArXiv Abstracthttps://arxiv.org/abs/2601.13029
PDF Downloadhttps://arxiv.org/pdf/2601.13029.pdf
Github Repositoryhttps://github.com/zhangzaibin/spagent

4. OmniTransfer: All-in-one Framework for Spatio-temporal Video Transfer (32 votes)​

Tác giả: Pengze Zhang, Yanze Wu, Mengtian Li, Xu Bai, Songtao Zhao, Fulong Ye, Chong Mou, Xinghui Li, Zhuowei Chen, Qian He, Mingyuan Gao

Xuất bản lúc: 2026-01-20

Tag: Diffusion, Video Generation, Spatio-temporal Learning, Transfer Learning

I. Main Problem:​

Các phương pháp tùy chỉnh video hiện có chủ yếu dựa vào ảnh tham chiếu hoặc các yếu tố ưu tiên về thời gian cụ thể cho từng tác vụ, dẫn đến việc bỏ qua thông tin không gian-thời gian phong phú trong video. Điều này hạn chế tính linh hoạt và khả năng tổng quát hóa trong việc tạo video, đặc biệt là trong việc duy trì sự nhất quán về nhận dạng (ID), phong cách và kiểm soát các yếu tố thời gian như chuyển động, chuyển động camera và hiệu ứng mà không cần các yếu tố đầu vào riêng biệt hay các ràng buộc vật lý.

II. Main Idea:​

Bài báo đề xuất OmniTransfer, một framework thống nhất toàn diện để chuyển giao thông tin video không gian-thời gian. OmniTransfer tận dụng thông tin đa khung hình (multi-view) để tăng cường sự nhất quán về ngoại hình và các tín hiệu thời gian để điều khiển chi tiết theo thời gian. Framework này tích hợp ba thiết kế chính:

  1. Task-aware Positional Bias (TPB): Điều chỉnh linh hoạt thông tin video tham chiếu để cải thiện sự căn chỉnh thời gian hoặc tính nhất quán về ngoại hình. Cụ thể, nó thêm các bù trừ không gian vào các nhúng vị trí cho các tác vụ chuyển giao thời gian và bù trừ thời gian cho các tác vụ chuyển giao ngoại hình.
  2. Reference-decoupled Causal Learning: Tách riêng nhánh tham chiếu và nhánh mục tiêu để cho phép chuyển giao tham chiếu chính xác đồng thời cải thiện hiệu quả bằng cách chỉ cần một lượt forward pass cho nhánh tham chiếu, giảm thời gian tính toán.
  3. Task-adaptive Multimodal Alignment: Sử dụng hướng dẫn ngữ nghĩa đa phương thức (từ MLLM) để phân biệt và giải quyết linh hoạt các tác vụ khác nhau, tránh nhầm lẫn giữa các tác vụ.

III. Main Results:​

OmniTransfer vượt trội hơn các phương pháp hiện có trong các tác vụ chuyển giao ngoại hình (nhận dạng ID và phong cách) và chuyển giao thời gian (chuyển động camera và hiệu ứng video). Đáng chú ý, nó đạt hiệu suất tương đương với các phương pháp dựa trên tư thế trong chuyển giao chuyển động mà không cần sử dụng thông tin tư thế. Ngoài ra, framework này còn đạt được những cải tiến này với việc giảm 20% thời gian chạy so với kiến trúc mô hình cơ sở.

IV. Conclusion & Future Works:​

OmniTransfer thiết lập một mô hình mới cho việc tạo video linh hoạt và độ trung thực cao bằng cách cung cấp một framework thống nhất cho phép chuyển giao video không gian-thời gian toàn diện. Nó hỗ trợ nhiều tác vụ đa dạng và khả năng tổng quát hóa các kết hợp tác vụ. Hướng nghiên cứu tiếp theo có thể bao gồm việc khám phá khả năng mở rộng của mô hình sang các ứng dụng phức tạp hơn hoặc tích hợp thêm các loại thông tin tham chiếu khác.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu cách OmniTransfer có thể được mở rộng để xử lý các video tham chiếu có độ dài rất lớn hoặc chất lượng thay đổi đáng kể.
  • Khám phá việc tích hợp các mô hình ngôn ngữ lớn mạnh hơn để cải thiện khả năng hiểu ngữ nghĩa và điều khiển tạo video đa tác vụ.
  • Đánh giá khả năng của OmniTransfer trong việc tạo nội dung 3D hoặc tương tác bằng cách kết hợp thông tin chiều sâu từ video tham chiếu.

2. Patent:​

  • Một hệ thống tạo video cá nhân hóa trên điện thoại thông minh, cho phép người dùng chuyển giao nhận dạng hoặc phong cách từ một video tham chiếu sang video mới quay.
  • Một ứng dụng chỉnh sửa video trên thiết bị di động cho phép người dùng áp dụng chuyển động camera hoặc hiệu ứng hình ảnh từ một video mẫu sang video của họ một cách linh hoạt.
  • Một phương pháp tạo video trình diễn sản phẩm trên điện thoại, trong đó chuyển động của vật thể hoặc hiệu ứng được lấy từ video sản phẩm mẫu, giúp người dùng dễ dàng tạo nội dung quảng cáo chất lượng cao.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.14250
ArXiv Abstracthttps://arxiv.org/abs/2601.14250
PDF Downloadhttps://arxiv.org/pdf/2601.14250.pdf
Github Repositoryhttps://github.com/PangzeCheung/OmniTransfer

5. Toward Efficient Agents: Memory, Tool learning, and Planning (30 votes)​

Tác giả: Xiaofang Yang, Lijun Li, Heng Zhou, Tong Zhu, Xiaoye Qu, Yuchen Fan, Qianshan Wei, Rui Ye, Li Kang, Yiran Qin, Zhiqiang Kou, Daizong Liu, Qi Li, Ning Ding, Siheng Chen, Jing Shao

Xuất bản lúc: 2026-01-20

Tag: Agents, Efficiency, Memory, Tool Learning, Planning, Large Language Models

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là sự thiếu hiệu quả (efficiency) của các hệ thống tác nhân (agentic systems) dựa trên mô hình ngôn ngữ lớn (LLMs) khi triển khai trong thế giới thực. Mặc dù hiệu quả của các tác nhân đã liên tục được cải thiện, nhưng chi phí tài nguyên đáng kể (như độ trễ, số lượng token, số bước thực hiện) do tính chất đệ quy của chúng trong việc quản lý bộ nhớ, sử dụng công cụ lặp đi lặp lại và lập kế hoạch phức tạp thường bị bỏ qua, dẫn đến chi phí cao và thời gian phản hồi chậm.

II. Main Idea:​

Bài báo này là một khảo sát toàn diện nhằm hệ thống hóa các nỗ lực nghiên cứu về hiệu quả của các hệ thống tác nhân. Nó tập trung điều tra hiệu quả từ ba thành phần cốt lõi của tác nhân: bộ nhớ (memory), học công cụ (tool learning) và lập kế hoạch (planning). Bài báo xem xét các chi phí như độ trễ, token và số bước thực hiện, đồng thời định nghĩa một tác nhân hiệu quả là hệ thống tối ưu hóa tỷ lệ thành công của nhiệm vụ trong khi giảm thiểu mức tiêu thụ tài nguyên. Bài báo cũng phân loại các phương pháp hiện có thành ba hướng chiến lược chính: Bộ nhớ hiệu quả, Học công cụ hiệu quả và Lập kế hoạch hiệu quả, đồng thời tổng hợp các giao thức đánh giá và số liệu hiệu quả.

III. Main Results:​

Bài báo không trình bày kết quả thử nghiệm mới mà là một bản khảo sát. Các phát hiện chính của bài báo là:

  1. Xác định và nhấn mạnh tầm quan trọng của hiệu quả như một thách thức chính đối với việc triển khai các hệ thống tác nhân LLM trong thế giới thực, khác biệt với hiệu quả của các LLM thuần túy.
  2. Đề xuất một khuôn khổ để phân tích hiệu quả của tác nhân dựa trên ba thành phần chính: bộ nhớ, học công cụ và lập kế hoạch, bao gồm các chi phí như token, độ trễ và số bước.
  3. Tổng hợp và phân loại một loạt các phương pháp tiếp cận gần đây nhằm cải thiện hiệu quả của tác nhân, bao gồm các nguyên tắc chung như nén và quản lý ngữ cảnh, thiết kế phần thưởng học tăng cường để giảm thiểu việc gọi công cụ, và sử dụng cơ chế tìm kiếm có kiểm soát.
  4. Đề xuất hai cách bổ sung để đặc trưng hóa hiệu quả: so sánh hiệu quả dưới ngân sách chi phí cố định và so sánh chi phí ở mức độ hiệu quả tương đương.
  5. Thảo luận về các điểm chuẩn định hướng hiệu quả, tóm tắt các giao thức đánh giá và các số liệu hiệu quả được báo cáo phổ biến cho từng thành phần.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng mặc dù các tác nhân dựa trên LLM đang phát triển mạnh mẽ, hiệu quả của chúng vẫn là một nút thắt cổ chai quan trọng cần được giải quyết cho việc triển khai thực tế. Nó cung cấp một bản khảo sát toàn diện về các nỗ lực hiện có nhằm cải thiện hiệu quả trong ba lĩnh vực chính: bộ nhớ, học công cụ và lập kế hoạch. Các hướng nghiên cứu trong tương lai bao gồm giải quyết các thách thức chính được thảo luận, nhằm mục đích cung cấp những hiểu biết sâu sắc đầy hứa hẹn để phát triển các tác nhân hiệu quả hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu một phương pháp nén ngữ cảnh động cho bộ nhớ tác nhân, thích ứng với độ phức tạp của nhiệm vụ để tối ưu hóa việc sử dụng token.
  • Phát triển một thuật toán học tăng cường mới để tối ưu hóa việc lựa chọn và gọi công cụ, giảm thiểu các tương tác không cần thiết trong khi vẫn duy trì hiệu suất.
  • Thiết kế một cơ chế lập kế hoạch đa bước tự điều chỉnh, có khả năng điều chỉnh độ sâu tìm kiếm và số lượng bước dựa trên ngân sách chi phí thời gian thực.

2. Patent:​

  • Hệ thống trợ lý cá nhân trên điện thoại thông minh sử dụng bộ nhớ tự động quản lý để ưu tiên thông tin cuộc trò chuyện liên quan, giảm mức tiêu thụ pin và dữ liệu.
  • Ứng dụng điều hướng trên điện thoại tích hợp khả năng học công cụ để tối ưu hóa việc sử dụng các dịch vụ bên ngoài như đặt xe hoặc kiểm tra thời tiết, giảm số lần chạm và độ trễ.
  • Nền tảng lập kế hoạch công việc trên điện thoại di động có khả năng dự đoán các tác vụ cần thiết và giảm số bước tương tác của người dùng bằng cách tự động đề xuất các hành động tiếp theo.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.14192
ArXiv Abstracthttps://arxiv.org/abs/2601.14192
PDF Downloadhttps://arxiv.org/pdf/2601.14192.pdf
Github Repositoryhttps://github.com/yxf203/Awesome-Efficient-Agents

6. FutureOmni: Evaluating Future Forecasting from Omni-Modal Context for Multimodal LLMs (27 votes)​

Tác giả: Qian Chen, Jinlan Fu, Changsong Li, See-Kiong Ng, Xipeng Qiu

Xuất bản lúc: 2026-01-20

Tag: Multimodal LLMs, Future Forecasting, Audio-Visual, Benchmarks, Instruction Tuning

I. Main Problem:​

Các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLM) hiện có gặp khó khăn trong việc dự đoán các sự kiện trong tương lai từ bối cảnh đa phương thức (âm thanh và hình ảnh). Các bộ dữ liệu đánh giá hiện tại chủ yếu tập trung vào việc hiểu biết hồi cứu (retrospective understanding), bỏ qua khía cạnh quan trọng của suy luận nguyên nhân-kết quả và suy luận thời gian từ các tín hiệu âm thanh-hình ảnh kết hợp. Đặc biệt, khía cạnh âm thanh thường bị bỏ qua trong các nhiệm vụ dự đoán tương lai trước đây.

II. Main Idea:​

Bài báo giới thiệu FutureOmni, một bộ dữ liệu đánh giá toàn diện đầu tiên được thiết kế để đo lường khả năng dự đoán sự kiện tương lai của MLLM từ ngữ cảnh đa phương thức (âm thanh-hình ảnh). FutureOmni được xây dựng thông qua một quy trình có sự hỗ trợ của LLM và sự tham gia của con người, bao gồm 919 video và 1.034 cặp câu hỏi-trả lời trắc nghiệm trên 8 lĩnh vực chính. Để nâng cao hiệu suất của các MLLM, bài báo đề xuất một bộ dữ liệu tinh chỉnh hướng dẫn 7K mẫu (FutureOmni-7K) và một chiến lược huấn luyện Omni-Modal Future Forecasting (OFF).

III. Main Results:​

  1. Đánh giá toàn diện: Thực hiện đánh giá trên 13 mô hình đa phương thức và 7 mô hình chỉ video, bao gồm cả hệ thống độc quyền và mã nguồn mở.
  2. Hạn chế của mô hình hiện tại: Các MLLM hiện tại gặp khó khăn đáng kể trong việc dự đoán sự kiện tương lai từ bối cảnh đa phương thức, đặc biệt trong các kịch bản nhiều lời nói. Mô hình tốt nhất (Gemini 3 Flash) chỉ đạt độ chính xác 64.8%.
  3. Cải thiện hiệu suất với OFF: Phương pháp huấn luyện OFF, cùng với bộ dữ liệu FutureOmni-7K, cải thiện đáng kể khả năng dự đoán tương lai của các mô hình mã nguồn mở trên FutureOmni và nâng cao khả năng khái quát hóa ngoài miền của chúng.
  4. Hiểu biết về cơ chế: Trực quan hóa điểm số chú ý cho thấy OFF cải thiện khả năng của mô hình trong việc xác định các khung hình chính quan trọng, từ đó dẫn đến hiệu suất suy luận và khái quát hóa tốt hơn.

IV. Conclusion & Future Works:​

FutureOmni lấp đầy một khoảng trống quan trọng trong việc đánh giá khả năng suy luận đa phương thức bằng cách cung cấp bộ dữ liệu đầu tiên tập trung vào dự đoán sự kiện tương lai từ ngữ cảnh âm thanh-hình ảnh. Kết quả cho thấy các MLLM hiện tại còn nhiều hạn chế trong nhiệm vụ này, nhưng phương pháp huấn luyện OFF đã chứng minh khả năng cải thiện đáng kể. Hướng nghiên cứu trong tương lai có thể tập trung vào việc phát triển các kiến trúc MLLM tiên tiến hơn và chiến lược huấn luyện để khai thác tốt hơn các tín hiệu âm thanh-hình ảnh kết hợp cho suy luận nhân quả và thời gian phức tạp.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu các kiến trúc MLLM mới tích hợp sâu hơn thông tin âm thanh và hình ảnh cho suy luận nhân quả và dự đoán tương lai.
  • Phát triển các phương pháp tạo nhiễu đối thủ tinh vi hơn để thử thách khả năng suy luận đa phương thức của MLLM.
  • Khám phá ứng dụng của chiến lược huấn luyện dự đoán tương lai đa phương thức trong các lĩnh vực cụ thể như giám sát an ninh hoặc y tế.

2. Patent:​

  • Một hệ thống trợ lý cá nhân trên điện thoại có khả năng phân tích âm thanh và hình ảnh từ môi trường xung quanh để cảnh báo người dùng về các sự kiện tiềm ẩn trong tương lai, ví dụ: tiếng còi xe cấp cứu gần đó hoặc tín hiệu đèn giao thông sắp thay đổi.
  • Công nghệ tích hợp vào camera điện thoại để phân tích ngữ cảnh nghe nhìn, dự đoán hành vi người dùng hoặc đối tượng, từ đó tự động điều chỉnh cài đặt camera hoặc đề xuất chế độ chụp phù hợp nhất cho khoảnh khắc sắp tới.
  • Một ứng dụng điện thoại hỗ trợ học tập và an toàn cho trẻ em, sử dụng phân tích đa phương thức để dự đoán các tình huống nguy hiểm tiềm ẩn dựa trên âm thanh (tiếng la hét, tiếng đổ vỡ) và hình ảnh (vật thể rơi, hoạt động không an toàn) trong môi trường xung quanh trẻ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.13836
ArXiv Abstracthttps://arxiv.org/abs/2601.13836
PDF Downloadhttps://arxiv.org/pdf/2601.13836.pdf
Github Repositoryhttps://github.com/OpenMOSS/FutureOmni

7. MemoryRewardBench: Benchmarking Reward Models for Long-Term Memory Management in Large Language Models (25 votes)​

Tác giả: Zecheng Tang, Baibei Ji, Ruoxi Sun, Haitian Wang, WangJie You, Zhang Yijun, Wenpeng Zhu, Ji Qi, Juntao Li, Min Zhang

Xuất bản lúc: 2026-01-17

Tag: Reward Model, Long-Term Memory, Large Language Models, Benchmarking, Memory Management, Long Context

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLM) cần xử lý các ngữ cảnh dài, thường theo từng phân đoạn, và việc quản lý bộ nhớ hiệu quả là rất quan trọng để chúng có thể truyền tải thông tin xuyên suốt một chuỗi dài. Các phương pháp đánh giá bộ nhớ hiện có của LLM chủ yếu dựa vào các quy tắc heuristic hoặc chú thích thủ công, thiếu tính tự động và khả năng mở rộng. Vấn đề cốt lõi mà bài báo đặt ra là liệu các mô hình phần thưởng (RM) có thể tự động và đáng tin cậy đánh giá chất lượng của bộ nhớ trung gian trong quá trình xử lý dài hạn, và đâu là giới hạn hiện tại của chúng.

II. Main Idea:​

Bài báo giới thiệu MemRewardBench, một bộ benchmark đầu tiên được thiết kế để nghiên cứu một cách có hệ thống khả năng của các mô hình phần thưởng (RM) trong việc đánh giá quá trình quản lý bộ nhớ dài hạn của LLM. MemRewardBench bao gồm cả nhiệm vụ hiểu ngữ cảnh dài và tạo nội dung dài, với 10 thiết lập khác nhau có các mẫu quản lý bộ nhớ riêng biệt (Sequential, Parallelism, Mixed) và độ dài ngữ cảnh từ 8K đến 128K tokens. Để đánh giá RMs, bài báo đề xuất hai tiêu chí quan trọng: dựa trên kết quả đầu ra (Outcome-based, ưu tiên kết quả đúng) và dựa trên quy trình (Process-based, ưu tiên quy trình quản lý bộ nhớ chính xác, súc tích và mạch lạc ngay cả khi cả hai đều cho ra kết quả đúng). Bộ benchmark này xây dựng các cặp dữ liệu "được chọn" (kết quả đúng) và "bị từ chối" (được đưa lỗi thông tin nhiễu hoặc bỏ sót thông tin quan trọng) để kiểm tra khả năng của RM.

III. Main Results:​

Đánh giá trên 13 mô hình phần thưởng tiên tiến (bao gồm cả nguồn mở và độc quyền) cho thấy khoảng cách hiệu suất giữa các mô hình nguồn mở và độc quyền ngày càng thu hẹp. Các mô hình thế hệ mới hơn liên tục vượt trội so với các mô hình tiền nhiệm của chúng, bất kể số lượng tham số (ví dụ: Qwen3-4B vượt qua Qwen2.5-7B-Instruct lớn hơn đáng kể). Bài báo cũng chỉ ra cả khả năng và những hạn chế cơ bản của các RM hiện tại trong việc đánh giá quản lý bộ nhớ của LLM trên nhiều thiết lập đa dạng.

IV. Conclusion & Future Works:​

MemRewardBench là bộ benchmark đầu tiên giải quyết khoảng trống trong việc đánh giá tự động và có khả năng mở rộng các mô hình phần thưởng (RMs) cho nhiệm vụ quản lý bộ nhớ dài hạn của LLM. Kết quả cung cấp cái nhìn sâu sắc về hiệu suất hiện tại của RMs và chỉ ra rằng thế hệ mô hình mới hơn có lợi thế rõ rệt. Việc phát hiện ra các khả năng và hạn chế của RMs hiện tại mở ra hướng nghiên cứu và phát triển để cải thiện RMs, đặc biệt là trong việc đánh giá chất lượng quy trình quản lý bộ nhớ thay vì chỉ tập trung vào kết quả cuối cùng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các kiến trúc mô hình phần thưởng mới được thiết kế đặc biệt để đánh giá chất lượng bộ nhớ trung gian, vượt xa các tiêu chí chỉ dựa vào kết quả đầu ra.
  2. Phát triển các chiến lược huấn luyện mô hình ngôn ngữ lớn để tạo ra các quỹ đạo quản lý bộ nhớ "dễ đánh giá" hơn, từ đó nâng cao hiệu quả của các mô hình phần thưởng.
  3. Mở rộng bộ benchmark để bao gồm các kịch bản bộ nhớ dài hạn đa phương thức, ví dụ như xử lý chuỗi hình ảnh hoặc video kết hợp với văn bản.

2. Patent:​

  1. Một hệ thống phần mềm trên điện thoại di động có khả năng tự động đánh giá và tối ưu hóa cách một ứng dụng trợ lý ảo lưu giữ thông tin từ các cuộc trò chuyện kéo dài, giúp đưa ra các câu trả lời liên tục và chính xác hơn cho người dùng.
  2. Một công nghệ tích hợp vào các ứng dụng ghi chú hoặc đọc tài liệu trên điện thoại, cho phép tự động kiểm tra và cải thiện chất lượng của các bản tóm tắt hoặc ghi nhớ được tạo ra từ văn bản dài, bằng cách phát hiện và loại bỏ các thông tin thừa hoặc không liên quan.
  3. Một tính năng trên điện thoại thông minh cho phép người dùng nhận phản hồi theo thời gian thực về chất lượng của các bước ghi nhớ trung gian khi tạo nội dung dài (ví dụ: viết email, báo cáo) trong một ứng dụng, từ đó hướng dẫn người dùng tạo ra nội dung nhất quán và chất lượng cao hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.11969
ArXiv Abstracthttps://arxiv.org/abs/2601.11969
PDF Downloadhttps://arxiv.org/pdf/2601.11969.pdf
Github Repositoryhttps://github.com/LCM-Lab/MemRewardBench

8. Locate, Steer, and Improve: A Practical Survey of Actionable Mechanistic Interpretability in Large Language Models (17 votes)​

Tác giả: Hengyuan Zhang, Zhihao Zhang, Mingyang Wang, Zunhai Su, Yiwei Wang, Qianli Wang, Shuzhou Yuan, Ercong Nie, Xufeng Duan, Qibo Xue, Zeping Yu, Chenming Shang, Xiao Liang, Jing Xiong, Hui Shen, Chaofan Tao, Zhengwu Liu, Senjie Jin, Zhiheng Xi, Dongdong Zhang, Sophia Ananiadou, Tao Gui, Ruobing Xie, Hayden Kwok-Hay So, Hinrich Schütze, Xuanjing Huang, Qi Zhang, Ngai Wong

Xuất bản lúc: 2026-01-20

Tag: Large Language Models, Mechanistic Interpretability, Actionable Interpretability

I. Main Problem:​

Các bài đánh giá hiện có về Khả năng Giải thích Cơ học (Mechanistic Interpretability - MI) trong Các Mô hình Ngôn ngữ Lớn (Large Language Models - LLMs) chủ yếu coi MI là một khoa học quan sát, chỉ tóm tắt các hiểu biết phân tích mà thiếu một khung làm việc có hệ thống cho các can thiệp thực tế. Điều này hạn chế khả năng vận dụng MI để tối ưu hóa mô hình một cách chủ động.

II. Main Idea:​

Bài nghiên cứu này trình bày một khảo sát thực tiễn được cấu trúc theo một quy trình gồm ba bước: "Định vị, Điều hướng và Cải thiện" (Locate, Steer, and Improve). Cụ thể, nó phân loại chính thức các phương pháp Định vị (chẩn đoán) và Điều hướng (can thiệp) dựa trên các Đối tượng Có thể Giải thích (Interpretable Objects) cụ thể bên trong LLMs, nhằm thiết lập một giao thức can thiệp nghiêm ngặt. Khung này cho phép tối ưu hóa LLMs thông qua việc cải thiện các khía cạnh như Sự phù hợp (Alignment), Khả năng (Capability) và Hiệu quả (Efficiency).

III. Main Results:​

Khung làm việc "Định vị, Điều hướng và Cải thiện" được đề xuất đã chứng minh khả năng vận dụng MI như một phương pháp luận thực tế để tối ưu hóa mô hình. Cụ thể, nó giúp đạt được những cải tiến đáng kể trong:

  1. Sự phù hợp: Nâng cao an toàn, độ tin cậy, công bằng, giảm thiểu thiên vị và kiểm soát tính cách hoặc vai trò của mô hình.
  2. Khả năng: Cải thiện đa ngôn ngữ, quản lý tri thức, logic và khả năng suy luận.
  3. Hiệu quả: Tối ưu hóa quá trình huấn luyện và suy luận.

IV. Conclusion & Future Works:​

Bài nghiên cứu kết luận rằng khung làm việc "Định vị, Điều hướng và Cải thiện" đã biến Khả năng Giải thích Cơ học (MI) thành một phương pháp luận có thể hành động để tối ưu hóa mô hình, vượt ra khỏi vai trò quan sát truyền thống. Hướng nghiên cứu trong tương lai là duy trì khảo sát này luôn cập nhật, phản ánh những tiến bộ mới nhất trong lĩnh vực diễn giải cơ học có thể hành động đang phát triển nhanh chóng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu một phương pháp định vị mới sử dụng kỹ thuật phát hiện gradient để xác định các mạch thần kinh gây ra hành vi không mong muốn trong các mô hình ngôn ngữ lớn.
  2. Khảo sát hiệu quả của việc kết hợp các phương pháp điều hướng như thao tác biên độ và tối ưu hóa có mục tiêu để cải thiện khả năng suy luận đa ngôn ngữ của LLM.
  3. Phát triển một hệ thống tự động để theo dõi và sửa chữa các sai lệch về sự phù hợp của LLM trong thời gian thực bằng cách áp dụng các kỹ thuật định vị và điều hướng.

2. Patent:​

  1. Một hệ thống ứng dụng trên điện thoại thông minh cho phép người dùng tùy chỉnh các yếu tố cảm xúc trong tin nhắn do trợ lý ảo tạo ra bằng cách điều chỉnh các thuộc tính bên trong mô hình ngôn ngữ.
  2. Công nghệ lọc nội dung độc hại tích hợp trên điện thoại di động, có khả năng phát hiện và thay đổi các thành phần bên trong mô hình ngôn ngữ để ngăn chặn việc tạo ra văn bản không an toàn.
  3. Một phương pháp tối ưu hóa tiêu thụ năng lượng cho các tác vụ xử lý ngôn ngữ trên điện thoại, bằng cách xác định và tinh chỉnh các phần không cần thiết của mô hình ngôn ngữ để giảm tải cho bộ xử lý.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.14004
ArXiv Abstracthttps://arxiv.org/abs/2601.14004
PDF Downloadhttps://arxiv.org/pdf/2601.14004.pdf
Github RepositoryN/A

9. UniX: Unifying Autoregression and Diffusion for Chest X-Ray Understanding and Generation (15 votes)​

Tác giả: Ruiheng Zhang, Jingfeng Yao, Huangxuan Zhao, Hao Yan, Xiao He, Lei Chen, Zhou Wei, Yong Luo, Zengmao Wang, Lefei Zhang, Dacheng Tao, Bo Du

Xuất bản lúc: 2026-01-16

Tag: Autoregression, Diffusion, Chest X-Ray, Medical Imaging, Foundation Model, Image Understanding, Image Generation

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là sự khó khăn trong việc thống nhất các tác vụ hiểu biết hình ảnh (yêu cầu tóm tắt ngữ nghĩa) và tạo ảnh (yêu cầu tái tạo chi tiết cấp độ pixel) trong các mô hình nền tảng y tế. Các mô hình hiện có, thường dựa trên kiến trúc autoregressive chia sẻ tham số, thường bị giảm hiệu suất ở cả hai tác vụ do mục tiêu xung đột và sự can thiệp tính năng. Ngoài ra, các phương pháp tạo ảnh rời rạc hiện tại không thể nắm bắt được các chi tiết cấu trúc mịn và liên tục của hình ảnh y tế.

II. Main Idea:​

Bài báo giới thiệu UniX, một mô hình nền tảng y tế thế hệ mới được thiết kế để hiểu và tạo ảnh X-quang ngực. UniX giải quyết vấn đề bằng cách sử dụng kiến trúc hai nhánh tách rời: một nhánh autoregressive để hiểu biết ngữ nghĩa và một nhánh diffusion để tạo ra hình ảnh chất lượng cao. Một cơ chế tự chú ý đa phương thức (cross-modal self-attention) được tích hợp để động bộ hướng dẫn quá trình tạo ảnh bằng cách sử dụng các tính năng từ nhánh hiểu biết. Mô hình cũng áp dụng một quy trình làm sạch dữ liệu nghiêm ngặt và chiến lược huấn luyện đa giai đoạn để tối ưu hóa hiệu suất và sự cộng tác giữa các tác vụ.

III. Main Results:​

Trên hai tiêu chuẩn đánh giá chính, UniX đã đạt được cải thiện đáng kể: tăng 46.1% về hiệu suất hiểu biết (đo bằng Micro-F1) và tăng 24.2% về chất lượng tạo ảnh (đo bằng FD-RadDino). Đáng chú ý, mô hình này chỉ sử dụng một phần tư số tham số so với mô hình LLM-CXR. UniX đã đạt được hiệu suất ngang bằng với các mô hình y tế chuyên biệt từng tác vụ, thiết lập một mô hình có thể mở rộng cho việc hiểu và tạo ảnh y tế một cách hiệp lực.

IV. Conclusion & Future Works:​

UniX trình bày một mô hình có thể mở rộng và hiệu quả cho việc hiểu và tạo ảnh y tế một cách hiệp lực, bằng cách giải quyết thành công sự căng thẳng giữa xử lý ngữ nghĩa và tổng hợp hình ảnh thông qua kiến trúc tách rời và cơ chế tích hợp thông minh. Hướng nghiên cứu tiếp theo có thể tập trung vào việc mở rộng UniX để xử lý nhiều loại hình ảnh và dữ liệu y tế đa dạng hơn, cũng như khám phá các cách để tăng cường hơn nữa khả năng tương tác giữa các nhánh hiểu biết và tạo ảnh.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu ứng dụng kiến trúc tách rời của UniX để tích hợp hiểu biết và tạo ảnh cho các dữ liệu y tế đa phương thức khác, chẳng hạn như kết hợp báo cáo bệnh án điện tử với hình ảnh MRI.
  • Khám phá các phương pháp cải tiến cơ chế tự chú ý đa phương thức của UniX để cho phép sự điều khiển tạo ảnh chi tiết và chính xác hơn dựa trên các yêu cầu ngữ nghĩa phức tạp.
  • Đánh giá khả năng tạo ra dữ liệu tổng hợp chất lượng cao bằng UniX để giải quyết vấn đề thiếu dữ liệu trong các bệnh lý hiếm gặp, từ đó cải thiện hiệu suất của các mô hình chẩn đoán bệnh.

2. Patent:​

  • Một hệ thống trên thiết bị di động có khả năng phân tích hình ảnh y tế từ camera của điện thoại và tạo ra một báo cáo sơ bộ hoặc gợi ý chẩn đoán tự động cho người dùng.
  • Một ứng dụng di động cho phép các chuyên gia y tế nhập mô tả bệnh lý bằng văn bản và hệ thống sẽ tạo ra hình ảnh y tế minh họa tương ứng để phục vụ mục đích giáo dục hoặc tham khảo.
  • Một phương pháp tích hợp trong các thiết bị chẩn đoán hình ảnh di động, cho phép thiết bị không chỉ chụp ảnh mà còn tự động cải thiện chất lượng hình ảnh và tạo báo cáo mô tả trực tiếp trên thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.11522
ArXiv Abstracthttps://arxiv.org/abs/2601.11522
PDF Downloadhttps://arxiv.org/pdf/2601.11522.pdf
Github Repositoryhttps://github.com/ZrH42/UniX

10. ToolPRMBench: Evaluating and Advancing Process Reward Models for Tool-using Agents (14 votes)​

Tác giả: Dawei Li, Yuguang Yao, Zhen Tan, Huan Liu, Ruocheng Guo

Xuất bản lúc: 2026-01-18

Tag: Process Reward Models, Tool-using Agents, Benchmarking, Large Language Models, Evaluation

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là sự thiếu hụt các bộ dữ liệu đánh giá có hệ thống và đáng tin cậy cho các mô hình phần thưởng quy trình (Process Reward Models - PRMs) trong bối cảnh các tác nhân sử dụng công cụ (tool-using agents). Mặc dù các phương pháp tìm kiếm định hướng phần thưởng sử dụng PRMs để cung cấp phần thưởng cấp độ từng bước nhằm hướng dẫn việc lấy mẫu và khám phá trong không gian hành động phức tạp, nhưng việc đánh giá hiệu quả của PRMs cho các tác vụ sử dụng công cụ vẫn còn nhiều thách thức. Các benchmark hiện có không phù hợp hoặc không đủ hiệu quả cho các kịch bản này do đặc trưng của việc sử dụng công cụ là tương tác dài, không gian hành động lớn và lỗi có thể lan truyền qua nhiều bước.

II. Main Idea:​

Bài báo giới thiệu ToolPRMBench, một benchmark quy mô lớn được thiết kế đặc biệt để đánh giá PRMs cho các tác nhân sử dụng công cụ. ToolPRMBench được xây dựng dựa trên một số benchmark sử dụng công cụ đại diện và chuyển đổi các quỹ đạo của tác nhân thành các trường hợp thử nghiệm cấp độ từng bước. Mỗi trường hợp bao gồm lịch sử tương tác, một hành động đúng, một lựa chọn thay thế hợp lý nhưng sai, và siêu dữ liệu công cụ liên quan. Để thu thập dữ liệu, ToolPRMBench sử dụng hai chiến lược lấy mẫu: lấy mẫu ngoại tuyến (offline sampling) để cô lập các lỗi cục bộ, một bước và lấy mẫu trực tuyến (online sampling) để nắm bắt các lỗi đa bước thực tế từ các quỹ đạo hoàn chỉnh của tác nhân. Một quy trình xác minh đa LLM cũng được đề xuất để giảm nhiễu nhãn và đảm bảo chất lượng dữ liệu.

III. Main Results:​

Các thử nghiệm sâu rộng được thực hiện trên ToolPRMBench với nhiều mô hình ngôn ngữ lớn (LLMs), PRMs chung và PRMs chuyên biệt hóa cho việc sử dụng công cụ. Kết quả cho thấy sự khác biệt rõ ràng và nhất quán về hiệu suất giữa các loại PRM khác nhau. Các phát hiện cho thấy việc mở rộng kích thước mô hình và khả năng chung mang lại lợi ích cho mô hình phần thưởng quy trình sử dụng công cụ, trong khi học tăng cường (reinforcement learning) thể hiện tiềm năng mạnh mẽ trong việc cải thiện sự mạnh mẽ và khả năng khái quát hóa của PRMs trong việc sử dụng công cụ. Ngoài ra, bài báo còn tiến hành một loạt các phân tích bao gồm đánh giá siêu dữ liệu, tổng hợp dữ liệu, phân tích chi phí và nghiên cứu trường hợp, cung cấp những hiểu biết sâu sắc để định hướng nghiên cứu trong tương lai về mô hình hóa phần thưởng cho các tác nhân sử dụng công cụ.

IV. Conclusion & Future Works:​

ToolPRMBench là benchmark đầu tiên hỗ trợ đánh giá cấp độ từng bước cho các tác nhân tương tác với nhiều API công cụ đa dạng. Bài báo đóng góp bằng cách đề xuất ToolPRMBench, xây dựng bảng xếp hạng toàn diện cho PRMs trong kịch bản sử dụng công cụ, và cung cấp các phân tích sâu sắc. Hướng nghiên cứu tương lai có thể tập trung vào việc tận dụng những hiểu biết này để cải thiện các phương pháp tìm kiếm quỹ đạo định hướng phần thưởng cho các tác nhân sử dụng công cụ, đặc biệt là trong việc phát triển các PRM mạnh mẽ và có khả năng khái quát hóa cao hơn thông qua các kỹ thuật học tăng cường và chuyên biệt hóa.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu về việc áp dụng các kỹ thuật học tăng cường sâu để huấn luyện các mô hình phần thưởng quy trình có khả năng tự thích nghi với các API công cụ mới mà không cần huấn luyện lại toàn bộ.
  • Khám phá các phương pháp mới để tổng hợp dữ liệu lỗi cho các mô hình phần thưởng quy trình, đặc biệt là việc tạo ra các trường hợp lỗi khó phân biệt thông qua kỹ thuật adversarial attack.
  • Phân tích chi tiết sự lan truyền lỗi trong các quỹ đạo đa bước của tác nhân sử dụng công cụ và thiết kế một PRM có khả năng ưu tiên sửa chữa các lỗi sớm để tối ưu hóa hiệu suất tổng thể.

2. Patent:​

  • Một hệ thống phần mềm điện thoại thông minh có khả năng dự đoán lỗi người dùng trong quá trình thực hiện một chuỗi thao tác phức tạp trên ứng dụng và tự động đề xuất hành động đúng tiếp theo.
  • Một tính năng trợ lý ảo trên thiết bị di động có khả năng phân tích chuỗi tương tác của người dùng với các ứng dụng khác nhau và đưa ra gợi ý nâng cao hiệu suất làm việc bằng cách điều chỉnh các bước không hiệu quả.
  • Một phương pháp đánh giá thời gian thực cho các ứng dụng điện thoại tự động thực hiện tác vụ, cung cấp phản hồi ngay lập tức về hiệu quả của từng bước thao tác để cải thiện trải nghiệm người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.12294
ArXiv Abstracthttps://arxiv.org/abs/2601.12294
PDF Downloadhttps://arxiv.org/pdf/2601.12294.pdf
Github RepositoryN/A

11. DARC: Decoupled Asymmetric Reasoning Curriculum for LLM Evolution (13 votes)​

Tác giả: Shengda Fan, Xuyan Ye, Yankai Lin

Xuất bản lúc: 2026-01-20

Tag: LLM Evolution, Self-play, Reasoning, Curriculum Learning, Self-distillation

I. Main Problem:​

Các khung tự huấn luyện (self-play) hiện có cho Mô hình ngôn ngữ lớn (LLM) để đạt được khả năng tự cải thiện thường gặp phải sự mất ổn định tối ưu hóa. Điều này là do hai nguyên nhân chính: (i) mục tiêu không ổn định gây ra bởi phản hồi phần thưởng phụ thuộc vào Bộ giải (Solver) cho Bộ hỏi (Questioner), và (ii) lỗi bootstrapping từ các nhãn giả tự tạo được sử dụng để giám sát Bộ giải. Hơn nữa, sự khan hiếm dữ liệu chú thích chất lượng cao từ con người là một nút thắt cơ bản cản trở việc mở rộng quy mô hơn nữa của LLM.

II. Main Idea:​

Bài báo giới thiệu DARC (Decoupled Asymmetric Reasoning Curriculum), một khung làm việc hai giai đoạn nhằm ổn định quá trình tự tiến hóa.

  1. Giai đoạn 1 (Huấn luyện Bộ hỏi): Bộ hỏi được huấn luyện để tổng hợp các câu hỏi được hiệu chỉnh độ khó, dựa trên mức độ khó rõ ràng và các kho ngữ liệu bên ngoài. Việc tách biệt này loại bỏ sự phụ thuộc của việc tạo câu hỏi vào hiệu suất thời gian thực của Bộ giải, từ đó giảm thiểu các mục tiêu tối ưu hóa không ổn định.
  2. Giai đoạn 2 (Huấn luyện Bộ giải): Bộ giải được huấn luyện bằng cơ chế tự chưng cất bất đối xứng. Trong cơ chế này, một Bộ giải giáo viên được tăng cường tài liệu sẽ tạo ra các nhãn giả chất lượng cao để giám sát Bộ giải học sinh, vốn không có quyền truy cập tài liệu. Thiết kế bất đối xứng này giúp giảm nhiễu nhãn và giảm thiểu sai lệch tự xác nhận (self-confirmation bias), tạo ra tín hiệu học tập ổn định và đáng tin cậy hơn cho việc cải thiện Bộ giải.

III. Main Results:​

  • DARC là mô hình độc lập (model-agnostic), mang lại cải thiện trung bình 10.9 điểm trên chín điểm chuẩn suy luận và ba mô hình nền tảng khác nhau.
  • DARC liên tục vượt trội hơn tất cả các phương pháp cơ sở và tiệm cận hiệu suất của các mô hình được giám sát hoàn toàn mà không cần dựa vào chú thích của con người.
  • Các thí nghiệm cho thấy DARC không chỉ ghi nhớ kho ngữ liệu huấn luyện, mà còn có xếp hạng độ khó độc lập với Bộ giải, và Bộ hỏi được tách rời sẽ học một chương trình giảng dạy giúp cải thiện hiệu suất của các Bộ giải nền tảng không đồng nhất.

IV. Conclusion & Future Works:​

DARC cung cấp một phương pháp ổn định và hiệu quả để các LLM tự tiến hóa khả năng suy luận mà không cần chú thích của con người. Bằng cách tách rời quá trình huấn luyện Bộ hỏi và Bộ giải, đồng thời sử dụng cơ chế tự chưng cất bất đối xứng, DARC giải quyết các vấn đề về sự mất ổn định tối ưu hóa và nhiễu nhãn trong các khung tự huấn luyện hiện có. Hướng nghiên cứu tiếp theo không được đề cập chi tiết trong đoạn trích này.

V. Brainstorming Space:​

1. Publish Papers:​

  • Mở rộng khung DARC để tạo ra các nhiệm vụ suy luận đa phương thức và dữ liệu giám sát cho LLM đa phương thức.
  • Nghiên cứu cách tích hợp phản hồi từ người dùng hoặc chuyên gia vào chương trình giảng dạy đã tách rời của DARC để tăng cường hiệu quả học tập.
  • Áp dụng phương pháp tự chưng cất bất đối xứng của DARC vào các nhiệm vụ sinh văn bản khác như tóm tắt hoặc dịch thuật để cải thiện chất lượng mà không cần dữ liệu được giám sát.

2. Patent:​

  • Một hệ thống trên điện thoại di động giúp người dùng tự học và rèn luyện kỹ năng giải quyết vấn đề bằng cách tự động tạo ra các câu hỏi phù hợp với năng lực của họ từ các tài liệu học tập có sẵn.
  • Một công cụ trợ lý ảo trên điện thoại có khả năng tự cải thiện sự chính xác và độ sâu của các câu trả lời mà không cần dữ liệu huấn luyện mới từ con người, bằng cách tự động tạo ra và giải quyết các bài toán thử thách.
  • Một tính năng trong ứng dụng đọc sách điện tử trên điện thoại cho phép ứng dụng tự động thiết kế các bài kiểm tra hiểu biết dựa trên nội dung cuốn sách, với độ khó tăng dần để người dùng luyện tập và nâng cao kiến thức.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.13761
ArXiv Abstracthttps://arxiv.org/abs/2601.13761
PDF Downloadhttps://arxiv.org/pdf/2601.13761.pdf
Github Repositoryhttps://github.com/RUCBM/DARC

12. Aligning Agentic World Models via Knowledgeable Experience Learning (12 votes)​

Tác giả: Baochang Ren, Yunzhi Yao, Rui Sun, Shuofei Qiao, Ningyu Zhang, Huajun Chen

Xuất bản lúc: 2026-01-19

Tag: Large Language Models, World Models, Embodied AI, Hallucinations, Experience Learning, Knowledge Repository, Predictive Coding

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) hiện tại có kiến thức ngữ nghĩa rộng lớn nhưng thiếu khả năng hiểu biết quy trình để tuân thủ các quy luật vật lý bất biến của thế giới thực. Điều này dẫn đến việc tạo ra các kế hoạch hợp lý về mặt logic nhưng không thể thực thi về mặt vật lý (ảo giác vật lý). Các chiến lược căn chỉnh hiện có chủ yếu dựa vào huấn luyện hoặc tinh chỉnh tốn kém, cố gắng nén các quy tắc môi trường động vào các tham số mô hình tĩnh, vốn cứng nhắc và khó thích nghi với sự biến thiên vô tận của động lực vật lý mà không cần huấn luyện lại liên tục. Các tác nhân thường ưu tiên đạt được mục tiêu nhưng bỏ qua tính khả thi về mặt vật lý, dẫn đến các kế hoạch dễ đổ vỡ.

II. Main Idea:​

Bài báo giới thiệu WorldMind, một framework tự động xây dựng một Kho Kiến thức Thế giới biểu tượng (World Knowledge Repository - WKR) bằng cách tổng hợp phản hồi từ môi trường. WorldMind thống nhất hai loại kinh nghiệm để giải quyết vấn đề:

  1. Process Experience: Được tạo ra từ các lỗi dự đoán để đảm bảo tính khả thi vật lý, giúp mô phỏng nội bộ tuân thủ nghiêm ngặt các quy luật bất biến của thực tế.
  2. Goal Experience: Được chắt lọc từ các quỹ đạo thành công để đóng vai trò là các heuristic thủ tục, hướng dẫn mô phỏng hội tụ hiệu quả về mục tiêu nhiệm vụ. Framework này lấy cảm hứng từ lý thuyết Mã hóa Dự đoán (Predictive Coding), coi các thất bại thực thi không phải là nhiễu mà là tín hiệu điều chỉnh để tinh chỉnh mô hình thế giới nội bộ của tác nhân một cách linh hoạt trong quá trình suy luận, không yêu cầu huấn luyện lại liên tục. Trong giai đoạn suy luận, tác nhân sử dụng WKR để hướng dẫn ra quyết định thông qua mô phỏng có ràng buộc, chỉ mô phỏng kết quả khi đối tượng mục tiêu được định vị rõ ràng để tăng hiệu quả.

III. Main Results:​

Các thí nghiệm trên EB-ALFRED và EB-Habitat cho thấy WorldMind đạt hiệu suất vượt trội so với các phương pháp cơ sở, giảm đáng kể các ảo giác vật lý. Hơn nữa, kết quả cho thấy khả năng chuyển đổi đáng chú ý giữa các mô hình (cross-model) và giữa các môi trường (cross-environment), khẳng định rằng kiến thức thế giới được xây dựng nắm bắt các quy luật vật lý phổ quát độc lập với mô hình xương sống cụ thể được sử dụng.

IV. Conclusion & Future Works:​

WorldMind cung cấp một giải pháp hiệu quả cho thách thức về khoảng cách giữa lý luận ngữ nghĩa của LLM và sự hiểu biết về vật lý bằng cách cho phép các tác nhân tự động xây dựng và căn chỉnh mô hình thế giới nội bộ thông qua học kinh nghiệm. Bằng cách biến các thất bại thực thi thành tín hiệu điều chỉnh và chắt lọc các chiến lược thành công, WorldMind tạo ra các kế hoạch đáng tin cậy và khả thi về mặt vật lý với khả năng chuyển đổi mạnh mẽ. Bài báo khẳng định tiềm năng của việc học kinh nghiệm không cần huấn luyện liên tục để tạo ra các mô hình thế giới mạnh mẽ và có thể chuyển đổi.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu cách tích hợp trực tiếp WorldMind vào kiến trúc LLM để tăng cường khả năng căn chỉnh vật lý ngay trong quá trình sinh văn bản.
  • Khám phá ứng dụng của Process Experience và Goal Experience để tự động tạo ra các bài kiểm tra thực tế (physical reasoning benchmarks) cho các mô hình AI.
  • Điều tra cách thức WorldMind có thể được mở rộng để học hỏi các quy luật xã hội hoặc tương tác phức tạp giữa nhiều tác nhân trong môi trường mô phỏng.

2. Patent:​

  • Một hệ thống hỗ trợ di động sử dụng kinh nghiệm học được từ phản hồi môi trường để dự đoán và cảnh báo người dùng về các hành động không khả thi về mặt vật lý khi họ lên kế hoạch trong ứng dụng bản đồ hoặc điều khiển thiết bị thông minh.
  • Một phương pháp cho phép trợ lý ảo trên điện thoại tự động học và điều chỉnh các lệnh điều khiển thiết bị thông minh trong nhà, đảm bảo chúng tuân thủ các quy tắc vật lý của môi trường thực tế thông qua việc xây dựng một kho kiến thức thế giới.
  • Một ứng dụng luyện tập thực tế tăng cường trên điện thoại, sử dụng các kinh nghiệm học được từ phản hồi vật lý để hướng dẫn người dùng thực hiện các thao tác phức tạp một cách chính xác và an toàn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.13247
ArXiv Abstracthttps://arxiv.org/abs/2601.13247
PDF Downloadhttps://arxiv.org/pdf/2601.13247.pdf
Github Repositoryhttps://github.com/zjunlp/WorldMind

13. Agentic-R: Learning to Retrieve for Agentic Search (11 votes)​

Tác giả: Wenhan Liu, Xinyu Ma, Yutao Zhu, Yuchen Li, Daiting Shi, Dawei Yin, Zhicheng Dou

Xuất bản lúc: 2026-01-17

Tag: Agentic Search, Retrieval-Augmented Generation, LLMs, Retriever Training

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là việc thiết kế và tối ưu hóa bộ truy xuất (retriever) cho các hệ thống tìm kiếm tác nhân (agentic search) vẫn còn chưa được khám phá đầy đủ. Các tác nhân tìm kiếm hiện có thường dựa vào bộ truy xuất dựa trên độ tương đồng, nhưng các đoạn văn bản tương tự không phải lúc nào cũng hữu ích cho việc tạo ra câu trả lời cuối cùng. Hơn nữa, các phương pháp đào tạo bộ truy xuất hiện tại cho RAG một lượt (single-turn RAG) không phù hợp với bản chất đa bước của tìm kiếm tác nhân, vì chúng không có sẵn câu trả lời vàng cho các truy vấn trung gian và chỉ dựa vào sự liên quan cục bộ, điều này là chưa đủ.

II. Main Idea:​

Bài báo đề xuất Agentic-R, một khung đào tạo bộ truy xuất mới được tùy chỉnh cho tìm kiếm tác nhân. Ý tưởng chính bao gồm:

  1. Mô hình hóa tiện ích đoạn văn bản: Sử dụng cả sự liên quan cục bộ giữa truy vấn-đoạn văn bản và độ chính xác của câu trả lời cuối cùng để đo lường tiện ích của đoạn văn bản trong tìm kiếm tác nhân đa bước.
    • Sự liên quan cục bộ được đánh giá bằng phương pháp chấm điểm listwise dựa trên LLM (Qwen2.5-72B-Instruct) cho các đoạn văn bản ứng viên.
    • Độ chính xác của câu trả lời toàn cục được đo lường bằng cách đánh giá liệu tác nhân có thể đưa ra câu trả lời cuối cùng chính xác khi sử dụng một đoạn văn bản cụ thể.
  2. Chiến lược đào tạo lặp lại và song hướng: Giới thiệu một chiến lược đào tạo lặp đi lặp lại, trong đó tác nhân tìm kiếm và bộ truy xuất được tối ưu hóa song hướng và lặp đi lặp lại. Bộ truy xuất được cải thiện liên tục bằng cách sử dụng các truy vấn chất lượng cao hơn và liên tục phát triển từ tác nhân.

III. Main Results:​

Các thử nghiệm rộng rãi trên bảy bộ dữ liệu QA đơn bước và đa bước (single-hop và multi-hop) đã chứng minh rằng:

  • Bộ truy xuất Agentic-R vượt trội một cách nhất quán so với các phương pháp cơ sở mạnh mẽ trên các tác nhân tìm kiếm khác nhau.
  • Agentic-R cũng giúp tác nhân giải quyết các câu hỏi với số lượng truy vấn tìm kiếm ít hơn.

IV. Conclusion & Future Works:​

Bài báo giới thiệu khung đào tạo bộ truy xuất đầu tiên được thiết kế đặc biệt cho tìm kiếm tác nhân, giải quyết một thành phần quan trọng nhưng chưa được khám phá trong các hệ thống tìm kiếm tác nhân hiện có. Nó đề xuất một cách tiếp cận mô hình hóa tiện ích đoạn văn bản mới, xem xét cả sự liên quan cục bộ và đóng góp vào độ chính xác của câu trả lời cuối cùng, cùng với một khung đào tạo lặp lại tác nhân-bộ truy xuất để cải thiện song hướng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cách tích hợp thông tin đa phương thức (ví dụ: hình ảnh, video) vào mô hình tiện ích đoạn văn bản cho tìm kiếm tác nhân.
  2. Khám phá các phương pháp tối ưu hóa bộ truy xuất để xử lý các truy vấn không rõ ràng hoặc mơ hồ trong các tình huống tìm kiếm đa bước phức tạp.
  3. Phát triển một khung đào tạo để bộ truy xuất có thể tự động thích ứng với các lĩnh vực kiến thức mới mà không cần đào tạo lại toàn bộ.

2. Patent:​

  1. Một hệ thống trợ lý cá nhân trên điện thoại di động có khả năng tự động điều chỉnh và cải thiện cách thức tìm kiếm thông tin theo từng bước để đưa ra câu trả lời chính xác nhất cho người dùng.
  2. Một phương pháp tích hợp vào trình duyệt web trên điện thoại, cho phép nó đánh giá không chỉ sự liên quan tức thì của các trang web được tìm thấy mà còn khả năng các trang đó dẫn đến câu trả lời cuối cùng đúng cho một tác vụ đa bước.
  3. Một công nghệ trên điện thoại thông minh cho phép các ứng dụng tìm kiếm học hỏi từ các tương tác trước đó, liên tục cải thiện chất lượng của các truy vấn tìm kiếm nội bộ để giảm thiểu số lần tìm kiếm cần thiết cho một vấn đề phức tạp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.11888
ArXiv Abstracthttps://arxiv.org/abs/2601.11888
PDF Downloadhttps://arxiv.org/pdf/2601.11888.pdf
Github RepositoryN/A

14. A BERTology View of LLM Orchestrations: Token- and Layer-Selective Probes for Efficient Single-Pass Classification (10 votes)​

Tác giả: Gonzalo Ariel Meyoyan, Luciano Del Corro

Xuất bản lúc: 2026-01-19

Tag: LLM Orchestration, BERTology, Probing, Classification, Hidden States, Attention

I. Main Problem:​

Các hệ thống LLM trong sản xuất thường sử dụng các mô hình riêng biệt cho các tác vụ an toàn và phân loại khác, dẫn đến tăng độ trễ, yêu cầu VRAM và sự phức tạp trong vận hành. Các phương pháp tái sử dụng tính toán hiện có chưa tối ưu vì chúng cố định một token hoặc một layer cụ thể, bỏ qua thông tin hữu ích phân tán trên toàn bộ tensor hidden-state của mô hình.

II. Main Idea:​

Bài nghiên cứu đề xuất tái sử dụng tính toán từ các trạng thái ẩn (hidden states) của LLM đang phục vụ bằng cách huấn luyện các "probe" nhẹ trong cùng một lượt chuyển tiếp (forward pass) được sử dụng để tạo sinh. Phương pháp này coi việc phân loại là một bài toán chọn lọc biểu diễn trên toàn bộ tensor hidden-state (token x layer), thay vì cam kết với một token hoặc layer cố định. Để thực hiện, nghiên cứu giới thiệu một bộ tổng hợp hai giai đoạn: (i) tóm tắt các token trong mỗi layer và (ii) tổng hợp các tóm tắt layer để tạo thành một biểu diễn duy nhất cho phân loại. Các cơ chế tổng hợp bao gồm pooling trực tiếp, cổng chú ý tính điểm (scoring attention gate) và một probe chú ý đa đầu tự điều chỉnh (multi-head self-attention - MHA) với giảm chiều (downcast).

III. Main Results:​

Các probe được đề xuất cải thiện hiệu suất so với phương pháp tái sử dụng chỉ dựa trên logit (ví dụ: MULI) và cạnh tranh với các mô hình baseline chuyên biệt lớn hơn đáng kể. Đồng thời, chúng duy trì độ trễ gần bằng với quá trình phục vụ và tránh được chi phí VRAM và độ trễ của một pipeline mô hình bảo vệ riêng biệt. Trên các benchmark về an toàn (ToxicChat, WildGuardMix) và cảm xúc (IMDB, SST-2, Emotion), các probe này có hiệu suất ngang hoặc vượt trội so với các baseline mạnh mẽ, trong khi chỉ yêu cầu ít hơn hàng bậc độ lớn về số lượng tham số có thể huấn luyện.

IV. Conclusion & Future Works:​

Các probe đề xuất mang lại khả năng phân loại hiệu quả, chính xác và ít tốn kém bằng cách tái sử dụng thông minh các tính toán nội bộ của LLM, cho phép triển khai đơn giản trong cùng một lượt chuyển tiếp với LLM chính. Hướng nghiên cứu trong tương lai bao gồm khảo sát có hệ thống các backbone LLM mạnh mẽ hơn và xác thực thực nghiệm khả năng chuyển giao giữa các backbone khác nhau để cải thiện độ chính xác của probe.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu cơ chế tổng hợp tối ưu cho các tác vụ downstream cụ thể ngoài an toàn và cảm xúc, khám phá các cấu trúc phân cấp phức tạp hơn.
  • Phân tích khả năng giải thích của các trọng số quan trọng của token và layer đã học để hiểu cách thông tin khác nhau nổi lên qua các độ sâu của transformer cho các tác vụ đa dạng.
  • Mở rộng khung probing đến các thiết bị biên tài nguyên thấp và thời gian thực bằng cách tối ưu hóa kiến trúc probe để giảm thiểu dấu chân tính toán và bộ nhớ.

2. Patent:​

  • Một phương pháp phát hiện nội dung độc hại trong tin nhắn hoặc ứng dụng trên điện thoại di động mà không cần gửi dữ liệu ra máy chủ, giúp bảo vệ người dùng ngay trên thiết bị.
  • Một công nghệ phân loại cảm xúc cho các ghi chú giọng nói hoặc phản hồi văn bản trên điện thoại, cho phép các ứng dụng cung cấp phản hồi cá nhân hóa mà không làm tăng độ trễ.
  • Một hệ thống kiểm tra an toàn cho các lệnh thoại hoặc truy vấn tìm kiếm trên thiết bị di động, tự động cảnh báo hoặc chặn các yêu cầu không an toàn trước khi chúng được xử lý hoàn toàn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.13288
ArXiv Abstracthttps://arxiv.org/abs/2601.13288
PDF Downloadhttps://arxiv.org/pdf/2601.13288.pdf
Github RepositoryN/A