Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-01-19

Báo cáo được tạo tự động vào lúc 2026-01-20 17:18:10 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. Your Group-Relative Advantage Is Biased (111 votes)​

Tác giả: Fengkai Yang, Zherui Chen, Xiaohan Wang, Xiaodong Lu, Jiajun Chai, Guojun Yin, Wei Lin, Shuai Ma, Fuzhen Zhuang, Deqing Wang, Yaodong Yang, Jianxin Li, Yikun Ban

Xuất bản lúc: 2026-01-13

Tag: Reinforcement Learning from Verifier Rewards (RLVR), Group-based Reinforcement Learning, Large Language Models (LLMs), Advantage Estimation Bias.

I. Main Problem:​

Bài nghiên cứu chỉ ra một vấn đề cơ bản trong các phương pháp Reinforcement Learning (RL) dựa trên nhóm, đặc biệt là trong bối cảnh RLVR để huấn luyện các Large Language Models (LLMs) về các tác vụ suy luận. Cụ thể, bộ ước lượng lợi thế tương đối theo nhóm (group-relative advantage estimator) vốn dĩ bị thiên lệch so với lợi thế thực sự (kỳ vọng). Nó có xu hướng đánh giá thấp lợi thế đối với các "hard prompts" (câu hỏi khó) và đánh giá quá cao lợi thế đối với các "easy prompts" (câu hỏi dễ), dẫn đến sự mất cân bằng trong khám phá (exploration) và khai thác (exploitation) chính sách, ảnh hưởng tiêu cực đến sự ổn định huấn luyện và khả năng tổng quát hóa.

II. Main Idea:​

Để giải quyết vấn đề ước lượng lợi thế bị thiên lệch, nhóm tác giả đề xuất History-Aware Adaptive Difficulty Weighting (HA-DW). Đây là một cơ chế điều chỉnh trọng số thích ứng (adaptive reweighting scheme) điều chỉnh các ước lượng lợi thế dựa trên một "mỏ neo độ khó" (difficulty anchor) đang phát triển và động lực huấn luyện. HA-DW tích hợp xu hướng phần thưởng dài hạn và thông tin huấn luyện lịch sử (cross-batch information) để bù đắp sự thiên lệch gây ra bởi ước lượng lợi thế tương đối theo nhóm, từ đó cân bằng một cách nguyên tắc hơn giữa khám phá và khai thác trong quá trình huấn luyện RL.

III. Main Results:​

  • Phát hiện cơ bản: Bài nghiên cứu cung cấp phân tích lý thuyết đầu tiên chứng minh rằng ước lượng lợi thế tương đối theo nhóm bị thiên lệch cố hữu: nó hệ thống hóa việc đánh giá thấp lợi thế thực sự cho các câu hỏi khó (khi pt < 0.5) và đánh giá quá cao cho các câu hỏi dễ (khi pt > 0.5). Ước lượng này chỉ không bị thiên lệch khi pt = 0.5. Sự thiên lệch này trở nên xác định trong các trường hợp cực đoan (pt < 1/G hoặc pt > (G-1)/G).
  • Định lượng xác suất: Các định lý và hệ quả đi kèm định lượng khả năng ước lượng lợi thế bị đánh giá thấp hoặc đánh giá quá cao, đặc biệt cho thấy sự thiên lệch này có xác suất cao và trở nên rõ rệt hơn đối với các kích thước nhóm nhỏ (ví dụ G <= 8).
  • Cải thiện hiệu suất: HA-DW đã được thử nghiệm rộng rãi trên năm bộ dữ liệu suy luận toán học và cho thấy hiệu suất được cải thiện một cách nhất quán khi được tích hợp vào GRPO và các biến thể của nó, trên nhiều quy mô mô hình khác nhau.
  • Hiệu quả vượt trội: HA-DW đạt được kết quả vượt trội ngay cả khi so sánh với GRPO sử dụng số lượng rollouts lớn hơn, cho thấy khả năng sửa lỗi ước lượng lợi thế bị thiên lệch là rất quan trọng để huấn luyện RLVR mạnh mẽ và hiệu quả.

IV. Conclusion & Future Works:​

Kết luận chính của bài nghiên cứu là việc ước lượng lợi thế tương đối theo nhóm trong RLVR có một sự thiên lệch thống kê đã bị bỏ qua trước đây. Việc sửa chữa sự thiên lệch này, ngay cả với các điều chỉnh nhẹ nhàng như HA-DW, có thể mang lại những cải tiến hiệu suất đáng kể và nhất quán. Mặc dù trọng tâm là làm lộ ra sự thiên lệch này và đề xuất một giải pháp hiệu quả, nghiên cứu cũng đề cập đến việc mở rộng phân tích cho các phân phối phần thưởng liên tục bị chặn (continuous bounded reward distributions), cho thấy hiện tượng thiên lệch không chỉ giới hạn ở phần thưởng nhị phân.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu mở rộng HA-DW để xử lý các dạng phản hồi người dùng phức tạp hơn hoặc các môi trường RL với tín hiệu phần thưởng liên tục và không bị chặn.
  • Phân tích tác động của sự thiên lệch lợi thế đối với tính ổn định của gradient và sự hội tụ của chính sách trong các thuật toán RL dựa trên nhóm.
  • Khám phá các phương pháp thay thế để ước lượng độ khó của prompt và cách tích hợp chúng vào các lược đồ điều chỉnh trọng số như HA-DW để cải thiện khả năng thích ứng.

2. Patent:​

  • Một hệ thống thông minh trên điện thoại di động có thể điều chỉnh cách học hỏi từ phản hồi của người dùng cho các tác vụ phức tạp, đảm bảo học hiệu quả hơn từ những nhiệm vụ khó và tránh học quá mức từ những nhiệm vụ dễ.
  • Một phương pháp tối ưu hóa trải nghiệm người dùng trên điện thoại bằng cách sử dụng các nhóm phản hồi nhỏ để cải thiện các gợi ý tự động hoặc tính năng trợ lý ảo, khắc phục sự thiên lệch trong đánh giá hiệu suất.
  • Một ứng dụng giáo dục trên thiết bị di động sử dụng công nghệ điều chỉnh trọng số phản hồi để đảm bảo rằng học sinh được khuyến khích học các bài toán khó một cách hiệu quả hơn và không bị đánh lừa bởi việc giải quyết quá nhiều bài toán dễ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.08521
ArXiv Abstracthttps://arxiv.org/abs/2601.08521
PDF Downloadhttps://arxiv.org/pdf/2601.08521.pdf
Github RepositoryN/A

2. RubricHub: A Comprehensive and Highly Discriminative Rubric Dataset via Automated Coarse-to-Fine Generation (46 votes)​

Tác giả: Sunzhu Li, Jiale Zhao, Miteto Wei, Huimin Ren, Yang Zhou, Jingwen Yang, Shunyu Liu, Kaike Zhang, Wei Chen

Xuất bản lúc: 2026-01-13

Tag: LLM Evaluation, Rubrics, Dataset Generation, Reinforcement Learning, Fine-tuning

I. Main Problem:​

Việc tối ưu hóa quá trình tạo nội dung mở (open-ended generation) của các mô hình ngôn ngữ lớn (LLMs) gặp nhiều thách thức do thiếu dữ liệu chuẩn. Mặc dù đánh giá dựa trên thang điểm (rubric-based evaluation) có thể giải quyết phần nào, các phương pháp hiện có lại gặp phải vấn đề về khả năng mở rộng, phụ thuộc nhiều vào chuyên môn thủ công, phạm vi tên miền hẹp và độ phân biệt thấp (tiêu chí thô sơ dẫn đến "hiệu ứng trần giám sát"), khiến chúng khó phân biệt được các phản hồi chất lượng cao thực sự với những phản hồi chỉ có vẻ ngoài tốt.

II. Main Idea:​

Bài báo đề xuất một khung tạo thang điểm tự động từ thô đến tinh tế (Automated Coarse-to-Fine Rubric Generation framework). Khung này kết hợp ba yếu tố chính: tổng hợp tiêu chí dựa trên nguyên tắc và phản hồi, tổng hợp từ nhiều mô hình khác nhau, và cơ chế tiến hóa độ khó. Dựa trên khung này, họ xây dựng RubricHub, một tập dữ liệu thang điểm lớn (khoảng 110 nghìn) và đa tên miền, có khả năng phân biệt cao. Để kiểm tra tính hữu dụng của RubricHub, họ thực hiện một quy trình hậu huấn luyện hai giai đoạn: Rubric-based Rejection Sampling Fine-Tuning (RuFT) để lọc dữ liệu chất lượng cao, và Rubric-based Reinforcement Learning (RuRL) sử dụng điểm thang điểm làm tín hiệu thưởng để tối ưu hóa chính sách.

III. Main Results:​

RubricHub mang lại những cải tiến đáng kể về hiệu suất. Mô hình Qwen3-14B được huấn luyện hậu kỳ đã đạt được kết quả trạng thái nghệ thuật (SOTA) trên HealthBench (69.3), vượt trội so với các mô hình độc quyền tiên tiến như GPT-5 (69.3 so với 67.2), mặc dù kích thước nhỏ hơn đáng kể. Kết quả này chứng minh rằng khung tạo thang điểm tự động của họ có khả năng tạo ra các tiêu chí toàn diện và có độ phân biệt cao.

IV. Conclusion & Future Works:​

Bài báo đã giải quyết thành công các hạn chế của việc đánh giá dựa trên thang điểm hiện có bằng cách đề xuất một khung tạo thang điểm tự động từ thô đến tinh tế và giới thiệu RubricHub, một tập dữ liệu thang điểm lớn, đa tên miền và có khả năng phân biệt cao. Tập dữ liệu này, kết hợp với quy trình hậu huấn luyện hai giai đoạn, cải thiện đáng kể hiệu suất của LLM trong các tác vụ tạo nội dung mở, thậm chí vượt trội so với các mô hình độc quyền lớn hơn. Mã nguồn và dữ liệu sẽ sớm được công bố.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cách tích hợp phản hồi của con người vào quy trình tạo thang điểm tự động để tăng cường độ chính xác và tính phù hợp của tiêu chí cho các tên miền chuyên biệt.
  2. Khám phá việc áp dụng khung tạo thang điểm này để đánh giá và cải thiện chất lượng của các phản hồi đa phương tiện (ví dụ: kết hợp văn bản và hình ảnh) từ các mô hình AI tổng quát.
  3. Phát triển một phương pháp tự động để thích nghi và cập nhật các thang điểm theo thời gian, đảm bảo chúng luôn phù hợp với các xu hướng ngôn ngữ và yêu cầu chất lượng mới của người dùng.

2. Patent:​

  1. Một hệ thống trên điện thoại thông minh tự động tạo các tiêu chí đánh giá chi tiết cho các phản hồi văn bản do người dùng nhập hoặc tạo bởi AI, giúp người dùng nhận được gợi ý cải thiện chất lượng giao tiếp ngay lập tức.
  2. Một ứng dụng di động cho phép người dùng tùy chỉnh và tạo các thang điểm đánh giá cá nhân cho các bài viết, email hoặc tin nhắn, sau đó sử dụng các thang điểm này để tự động chấm điểm hoặc so sánh các bản nháp khác nhau.
  3. Một tính năng trên điện thoại tích hợp sẵn khả năng học hỏi từ các tương tác của người dùng để liên tục tinh chỉnh các tiêu chí đánh giá chất lượng ngôn ngữ, từ đó đưa ra các gợi ý chính xác hơn cho việc viết và giao tiếp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.08430
ArXiv Abstracthttps://arxiv.org/abs/2601.08430
PDF Downloadhttps://arxiv.org/pdf/2601.08430.pdf
Github Repositoryhttps://github.com/teqkilla/RubricHub

3. The Poisoned Apple Effect: Strategic Manipulation of Mediated Markets via Technology Expansion of AI Agents (41 votes)​

Tác giả: Eilam Shapira, Roi Reichart, Moshe Tennenholtz

Xuất bản lúc: 2026-01-16

Tag: AI Agents, Thao túng Thị trường, Lý thuyết Trò chơi, Quy định, Hiệu ứng Táo độc, Mở rộng Công nghệ

I. Main Problem:​

Việc tích hợp các tác nhân AI vào các thị trường kinh tế làm thay đổi cơ bản bối cảnh tương tác chiến lược, tạo ra một lỗ hổng kinh tế bị bỏ qua do sự sẵn có đơn thuần của các công nghệ AI mới. Các khuôn khổ pháp lý tĩnh hiện tại không đủ khả năng đối phó với sự thao túng thị trường thông qua việc mở rộng công nghệ.

II. Main Idea:​

Nghiên cứu điều tra các tác động kinh tế của việc mở rộng các công nghệ AI có sẵn trong ba thiết lập lý thuyết trò chơi kinh điển (đàm phán, thương lượng, thuyết phục) bằng cách sử dụng tập dữ liệu GLEE và các mô hình ngôn ngữ lớn (LLMs) làm tác nhân kinh tế mô phỏng. Nghiên cứu đề xuất mô hình hóa sự tương tác này như một "meta-game" giữa hai tác nhân kinh tế và một cơ quan quản lý. Ý tưởng chính là xác định và phân tích hiện tượng "Poisoned Apple Effect" (Hiệu ứng Táo độc), trong đó một tác nhân chiến lược phát hành công nghệ mới không phải để sử dụng mà để thao túng lựa chọn thiết kế thị trường của cơ quan quản lý, buộc cơ quan này phải chuyển sang một trạng thái thị trường có lợi cho tác nhân đó.

III. Main Results:​

  • Việc mở rộng lựa chọn công nghệ AI có thể thay đổi đáng kể kết quả cân bằng và kết quả quản lý, thường tạo động lực cho các cơ quan quản lý chủ động phát triển và phát hành công nghệ.
  • Hiện tượng "Poisoned Apple Effect" được xác định: một tác nhân có thể phát hành một công nghệ mới mà cả họ và đối thủ đều không sử dụng, chỉ để thao túng lựa chọn thiết kế thị trường của cơ quan quản lý theo hướng có lợi cho mình, cải thiện phúc lợi của bên phát hành với chi phí của đối thủ và mục tiêu công bằng của cơ quan quản lý.
  • Sự thao túng này không phải là một sự bất thường; trên hơn 50.000 trò chơi meta mô phỏng, việc mở rộng tập lựa chọn thường gây ra sự thay đổi đối nghịch trong lợi ích của người chơi, với khoảng một phần ba số trường hợp này xảy ra ngay cả khi công nghệ mới không được sử dụng.
  • Tác động của việc mở rộng công nghệ phụ thuộc vào mục tiêu của cơ quan quản lý: thường cải thiện kết quả khi tối đa hóa phúc lợi xã hội (hiệu quả), nhưng thường phản tác dụng khi mục tiêu là công bằng.
  • Nếu cơ quan quản lý không tối ưu hóa lại thiết kế thị trường sau khi một công nghệ được phát hành, chỉ số quản lý sẽ xấu đi trong khoảng 40% trường hợp, chứng minh rằng các khuôn khổ pháp lý tĩnh là không đủ.

IV. Conclusion & Future Works:​

Nghiên cứu kết luận rằng việc mở rộng lựa chọn công nghệ không phải lúc nào cũng trung lập hoặc có lợi, và tiềm năng sử dụng một công nghệ cũng có tác động mạnh mẽ như việc thực sự áp dụng nó trong các thị trường được quản lý. Hiệu ứng "Poisoned Apple" cho thấy việc phát hành mô hình mã nguồn mở hoặc API có thể đóng vai trò là công cụ chiến lược để thao túng bối cảnh pháp lý. Do đó, các thiết kế thị trường không thể tĩnh mà phải năng động và mạnh mẽ để thích ứng với sự mở rộng liên tục của không gian chiến lược của các tác nhân AI. Hướng nghiên cứu tiếp theo cần tập trung vào việc phát triển các cơ chế thị trường động có khả năng chống lại các chiến lược thao túng này.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu cơ chế "Poisoned Apple Effect" trong các thị trường tài chính định hướng AI, nơi các thuật toán giao dịch có thể được giới thiệu để thao túng các chỉ số thị trường.
  • Khám phá các khung pháp lý động có khả năng tự động điều chỉnh các quy tắc thị trường dựa trên sự xuất hiện và tiềm năng tác động của các công nghệ AI mới.
  • Phân tích vai trò của thông tin bất đối xứng trong việc khuếch đại "Poisoned Apple Effect" và thiết kế các cơ chế tiết lộ thông tin để giảm thiểu rủi ro.

2. Patent:​

  • Hệ thống quản lý thị trường di động tự động phát hiện và cảnh báo người dùng về các công nghệ AI tiềm ẩn có thể gây ra hiệu ứng táo độc trong các ứng dụng giao dịch hoặc mua sắm.
  • Ứng dụng điện thoại thông minh cung cấp mô phỏng các tương tác chiến lược cho người dùng, cho phép họ xem trước các tác động khi các tác nhân AI mới được giới thiệu vào một thị trường cụ thể.
  • Thuật toán bảo mật trên điện thoại thông minh giám sát các ứng dụng AI và đề xuất các điều chỉnh cài đặt quyền riêng tư hoặc tương tác để bảo vệ người dùng khỏi sự thao túng của các tác nhân AI trong thị trường số.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.11496
ArXiv Abstracthttps://arxiv.org/abs/2601.11496
PDF Downloadhttps://arxiv.org/pdf/2601.11496.pdf
Github RepositoryN/A

4. Unlocking Implicit Experience: Synthesizing Tool-Use Trajectories from Text (33 votes)​

Tác giả: Zhihao Xu, Rumei Li, Jiahuan Li, Rongxiang Weng, Jingang Wang, Xunliang Cai, Xiting Wang

Xuất bản lúc: 2026-01-15

Tag: Tool-Use, LLM Agents, Data Synthesis, Text-to-Trajectory

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là sự khan hiếm dữ liệu sử dụng công cụ đa lượt chất lượng cao và đa dạng để huấn luyện các tác nhân tự trị (autonomous agents) sử dụng Mô hình ngôn ngữ lớn (LLMs). Các phương pháp hiện tại dựa trên mô phỏng với tập hợp API được định nghĩa trước thường đắt đỏ, bị giới hạn về phạm vi và không đủ đa dạng để các tác nhân có thể tổng quát hóa hiệu quả trong môi trường thực tế. Điều này khiến LLMs gặp khó khăn trong các tương tác đa lượt thực tế, đặc biệt với các hướng dẫn mơ hồ, phụ thuộc ngữ cảnh dài và lỗi không mong muốn.

II. Main Idea:​

Bài báo đề xuất một mô hình trích xuất dựa trên văn bản (text-based extraction paradigm) mới để tổng hợp các quỹ đạo sử dụng công cụ đa lượt. Ý tưởng chính là các kho ngữ liệu văn bản thô vốn chứa đựng kinh nghiệm giải quyết vấn đề đa bước phong phú từ thế giới thực, có thể được khai thác như một nguồn dữ liệu có khả năng mở rộng và xác thực. Dựa trên nhận định này, bài báo giới thiệu GEM, một quy trình tổng hợp dữ liệu gồm bốn giai đoạn: lọc mức độ liên quan của văn bản, trích xuất quy trình làm việc và định nghĩa công cụ, định hình quỹ đạo và tinh chỉnh độ phức tạp. Để giảm chi phí tính toán, các tác giả còn huấn luyện một Trajectory Synthesizer chuyên biệt thông qua fine-tuning có giám sát, giúp chắt lọc quy trình tạo dữ liệu phức tạp thành một trình tạo quỹ đạo end-to-end hiệu quả.

III. Main Results:​

  • Mô hình GEM-32B đạt được cải thiện 16.5% trên benchmark BFCL V3 Multi-turn và 13.8% trên τ2-bench.
  • Các mô hình được huấn luyện bằng dữ liệu tổng hợp theo mô hình đề xuất đạt hiệu suất tốt, vượt qua một phần các mô hình được huấn luyện trên dữ liệu in-domain của τ-bench (Airline và Retail), cho thấy khả năng tổng quát hóa vượt trội của phương pháp.
  • Trajectory Synthesizer chuyên biệt có chất lượng tương đương với toàn bộ quy trình GEM trong khi giảm đáng kể độ trễ suy luận và chi phí.
  • Phân tích sơ bộ trên kho ngữ liệu Ultra-fineweb cho thấy khoảng 14% các đoạn văn bản chứa các quy trình làm việc đa bước, khẳng định tiềm năng lớn của nguồn dữ liệu này.
  • Các phân đoạn quy trình làm việc đã xác định bao gồm nhiều danh mục tác vụ và kịch bản ứng dụng đa dạng, bao gồm hỗ trợ khách hàng, nghiên cứu, giáo dục, công cụ nhà phát triển và thương mại điện tử.

IV. Conclusion & Future Works:​

Bài nghiên cứu đã chứng minh tính khả thi và hiệu quả của việc tổng hợp các quỹ đạo sử dụng công cụ đa lượt trực tiếp từ các kho ngữ liệu văn bản, mở ra một nguồn dữ liệu xác thực và có khả năng mở rộng cho việc huấn luyện tác nhân tự trị. Quy trình GEM được chứng minh là một phương pháp mạnh mẽ để tạo ra dữ liệu huấn luyện chất lượng cao, dẫn đến những cải thiện đáng kể về hiệu suất cho các mô hình. Trajectory Synthesizer cung cấp một giải pháp hiệu quả về chi phí và khả năng mở rộng để tạo dữ liệu lớn. Hướng nghiên cứu tiếp theo không được đề cập rõ ràng trong đoạn trích.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các kỹ thuật nâng cao để tự động xử lý và sửa chữa các lỗi hoặc sự mơ hồ trong quỹ đạo công cụ được tổng hợp, đặc biệt trong các kịch bản tương tác phức tạp.
  2. Khám phá việc tích hợp thông tin ngữ cảnh thời gian thực hoặc sở thích cá nhân của người dùng vào quá trình tổng hợp quỹ đạo để tạo ra các tương tác tác nhân mang tính cá nhân hóa cao hơn.
  3. Phát triển một khuôn khổ để đánh giá định lượng tính "sáng tạo" và khả năng xử lý các trường hợp ngoại lệ của các quỹ đạo được tổng hợp, vượt ra ngoài các chỉ số hiệu suất tiêu chuẩn.

2. Patent:​

  1. Một hệ thống trên điện thoại thông minh có khả năng phân tích các cuộc trò chuyện hoặc tài liệu trên thiết bị để tự động đề xuất một chuỗi các bước thao tác trên các ứng dụng khác nhau nhằm hoàn thành một mục tiêu cụ thể của người dùng.
  2. Một công nghệ trên thiết bị di động có thể trích xuất các quy trình làm việc từ các văn bản hướng dẫn sử dụng hoặc mô tả sản phẩm và tự động tạo ra một loạt các bước thực thi mà trợ lý ảo có thể thực hiện trên điện thoại.
  3. Một ứng dụng trên điện thoại thông minh cho phép người dùng mô tả một nhiệm vụ đa bước bằng ngôn ngữ tự nhiên, sau đó tổng hợp một kế hoạch thực hiện bao gồm việc gọi các chức năng hoặc ứng dụng phù hợp trên điện thoại để hoàn thành nhiệm vụ đó.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.10355
ArXiv Abstracthttps://arxiv.org/abs/2601.10355
PDF Downloadhttps://arxiv.org/pdf/2601.10355.pdf
Github RepositoryN/A

5. AgencyBench: Benchmarking the Frontiers of Autonomous Agents in 1M-Token Real-World Contexts (24 votes)​

Tác giả: Keyu Li, Junhao Shi, Yang Xiao, Mohan Jiang, Jie Sun, Yunze Wu, Shijie Xia, Xiaojie Cai, Tianze Xu, Weiye Si, Wenjie Li, Dequan Wang, Pengfei Liu

Xuất bản lúc: 2026-01-16

Tag: Autonomous Agents, Large Language Models (LLMs), Benchmarking, Real-World Scenarios, Long-Horizon Tasks, Automated Evaluation

I. Main Problem:​

Các benchmark hiện có cho các tác nhân tự trị dựa trên mô hình ngôn ngữ lớn (LLM) còn hạn chế, chủ yếu tập trung vào một khả năng duy nhất và không thể nắm bắt được các kịch bản thế giới thực với tầm nhìn dài hạn. Hơn nữa, sự phụ thuộc vào phản hồi từ con người trong các tác vụ thực tế tạo ra nút thắt cổ chai về khả năng mở rộng, cản trở việc thu thập và đánh giá tự động.

II. Main Idea:​

Nghiên cứu giới thiệu AGENCYBENCH, một benchmark toàn diện được xây dựng từ việc sử dụng AI hàng ngày, đánh giá 6 khả năng tác nhân cốt lõi trên 32 kịch bản thế giới thực, bao gồm 138 tác vụ. Các kịch bản này được thiết kế để yêu cầu trung bình 90 lệnh gọi công cụ, 1 triệu token và hàng giờ thực thi. Để cho phép đánh giá tự động, nghiên cứu sử dụng một tác nhân mô phỏng người dùng để cung cấp phản hồi lặp lại và một sandbox Docker để thực hiện đánh giá dựa trên các tiêu chí trực quan và chức năng. Quy trình đánh giá này được thiết kế theo cấu trúc phân cấp gồm 6 khả năng, 32 kịch bản và 138 tác vụ, sử dụng một workspace cô lập với một giàn giáo tác nhân (agent scaffold) và bộ công cụ, cùng với một môi trường đánh giá dựa trên Docker sandbox từ xa.

III. Main Results:​

Các mô hình mã nguồn đóng vượt trội đáng kể so với các mô hình mã nguồn mở (48.4% so với 32.1% điểm trung bình). Các mô hình hàng đầu hiện tại vẫn gặp khó khăn trong việc hoàn thành các tác vụ thế giới thực với tầm nhìn dài hạn. Phân tích sâu hơn cho thấy sự khác biệt đáng kể giữa các mô hình về hiệu quả tài nguyên, khả năng tự sửa lỗi dựa trên phản hồi và ưu tiên sử dụng công cụ cụ thể. Cuối cùng, nghiên cứu quan sát thấy rằng các mô hình độc quyền thể hiện hiệu suất vượt trội trong hệ sinh thái gốc của chúng (ví dụ: Claude-4.5-Opus qua Claude-Agent-SDK), trong khi các mô hình mã nguồn mở thể hiện các đỉnh hiệu suất riêng biệt, gợi ý tiềm năng tối ưu hóa cho các khung thực thi cụ thể.

IV. Conclusion & Future Works:​

AGENCYBENCH đóng vai trò là một nền tảng thử nghiệm quan trọng cho các tác nhân thế hệ tiếp theo, làm nổi bật sự cần thiết của việc tối ưu hóa đồng thời kiến trúc mô hình với các khung tác nhân. Công trình này soi sáng hướng đi tương lai của các tác nhân tự trị và để tạo điều kiện cho cộng đồng áp dụng, nhóm nghiên cứu đã phát hành toàn bộ benchmark và bộ công cụ đánh giá.

V. Brainstorming Space:​

1. Publish Papers:​

  • Khám phá các phương pháp tối ưu hóa hiệu quả sử dụng token cho các mô hình mã nguồn mở trong các tác vụ dài hạn trên AGENCYBENCH để thu hẹp khoảng cách hiệu suất so với các mô hình độc quyền.
  • Nghiên cứu các chiến lược phản hồi tự sửa lỗi nâng cao cho các tác nhân dựa trên LLM để cải thiện đáng kể hiệu suất trong các kịch bản thế giới thực phức tạp.
  • Phân tích sâu hơn về sự tương tác giữa các kiến trúc mô hình và các khung tác nhân để xác định các nguyên tắc thiết kế nhằm đạt được hiệu suất tối ưu cho các ứng dụng cụ thể.

2. Patent:​

  • Một hệ thống trợ lý ảo trên điện thoại thông minh có khả năng thực hiện chuỗi tác vụ phức tạp và dài hạn, được huấn luyện để mô phỏng tương tác người dùng nhằm tự động hoàn thành các yêu cầu đa bước như đặt lịch trình du lịch hoặc quản lý dự án cá nhân mà không cần sự can thiệp liên tục của người dùng.
  • Một phương pháp tự động kiểm tra và gỡ lỗi ứng dụng trên điện thoại di động, nơi một tác nhân thông minh mô phỏng người dùng để thực hiện các thao tác trên giao diện người dùng, thu thập phản hồi và sử dụng một môi trường giả lập để đánh giá và báo cáo lỗi theo các tiêu chí đã định sẵn.
  • Một công nghệ tối ưu hóa hiệu suất ứng dụng trên thiết bị di động bằng cách phân tích thói quen sử dụng và phản hồi của người dùng mô phỏng, sau đó tự động điều chỉnh cài đặt hệ thống hoặc đề xuất các cải tiến thiết kế ứng dụng để tăng hiệu quả sử dụng tài nguyên và cải thiện trải nghiệm người dùng trong các tác vụ phức tạp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.11044
ArXiv Abstracthttps://arxiv.org/abs/2601.11044
PDF Downloadhttps://arxiv.org/pdf/2601.11044.pdf
Github Repositoryhttps://github.com/GAIR-NLP/AgencyBench

6. When Personalization Misleads: Understanding and Mitigating Hallucinations in Personalized LLMs (22 votes)​

Tác giả: Zhongxiang Sun, Yi Zhan, Chenglei Shen, Weijie Yu, Xiao Zhang, Ming He, Jun Xu

Xuất bản lúc: 2026-01-16

Tag: LLMs, Personalization, Hallucination, Factuality, Mitigation, Benchmark

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) được cá nhân hóa, mặc dù nâng cao sự hài lòng của người dùng, nhưng có thể vô tình làm sai lệch lập luận thực tế. Cụ thể, khi đối mặt với các truy vấn thực tế, mô hình tạo ra các câu trả lời phù hợp với lịch sử cá nhân của người dùng thay vì sự thật khách quan, dẫn đến "ảo giác do cá nhân hóa" (personalization-induced hallucinations). Hiện tượng này làm giảm độ tin cậy về mặt thực tế, có thể truyền bá niềm tin sai lệch, và phát sinh do sự "vướng víu đại diện" (representational entanglement) giữa các biểu diễn cá nhân hóa và các biểu diễn thực tế trong mô hình.

II. Main Idea:​

Bài báo đề xuất Factuality-Preserving Personalized Steering (FPPS), một phương pháp nhẹ nhàng được thực hiện trong thời gian suy luận để giảm thiểu các sai lệch thực tế do cá nhân hóa mà vẫn duy trì hành vi cá nhân hóa. FPPS bao gồm: một Representation Shift Locator để xác định các lớp nhạy cảm với cá nhân hóa; một Factuality Entanglement Prober để ước tính mức độ cá nhân hóa làm sai lệch lập luận thực tế dựa trên các kích hoạt nội bộ; và một Adaptive Knowledge Steering Module để thực hiện các điều chỉnh tối thiểu, khôi phục hành vi thực tế chỉ khi cần thiết. Ngoài ra, bài báo giới thiệu PFQABench, bộ benchmark đầu tiên được thiết kế để cùng đánh giá khả năng trả lời câu hỏi thực tế và cá nhân hóa dưới sự cá nhân hóa.

III. Main Results:​

Các thử nghiệm trên nhiều kiến trúc LLM cốt lõi và phương pháp cá nhân hóa khác nhau cho thấy FPPS cải thiện đáng kể độ chính xác thực tế trong khi vẫn duy trì hiệu suất cá nhân hóa. PFQABench đã chứng minh rằng các mô hình được cá nhân hóa gặp phải các thất bại thực tế có hệ thống và FPPS khôi phục tính chính xác thực tế một cách nhất quán mà không ảnh hưởng đến hiệu suất cá nhân hóa. Phân tích cấp độ biểu diễn xác nhận rằng ảo giác phát sinh từ sự biến dạng thực tế tiềm ẩn do sự vướng víu đại diện. Các mô phỏng có kiểm soát cũng chỉ ra rằng việc học kiến thức thực tế thông qua mô hình được cá nhân hóa dẫn đến độ chính xác kiến thức thấp hơn đáng kể.

IV. Conclusion & Future Works:​

Cá nhân hóa trong LLMs mang lại lợi ích về trải nghiệm người dùng nhưng đồng thời tiềm ẩn rủi ro nghiêm trọng về độ tin cậy thực tế và sự truyền bá thông tin sai lệch. FPPS cung cấp một giải pháp hiệu quả để giảm thiểu "ảo giác do cá nhân hóa" bằng cách khôi phục tính chính xác thực tế mà vẫn bảo toàn các lợi ích của cá nhân hóa. Công việc này mở ra hướng nghiên cứu về các cơ chế sâu xa của ảo giác trong LLMs được cá nhân hóa và phát triển các phương pháp mạnh mẽ hơn để cân bằng giữa cá nhân hóa và tính chính xác thực tế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu sâu hơn về các cơ chế khác ngoài sự vướng víu đại diện có thể gây ra ảo giác trong các mô hình LLM được cá nhân hóa.
  2. Phát triển các phương pháp định lượng để đánh giá tác động dài hạn của ảo giác do cá nhân hóa đối với niềm tin và kiến thức của người dùng thực tế.
  3. Khám phá các kỹ thuật huấn luyện mô hình LLM mới từ đầu để giảm thiểu sự vướng víu đại diện giữa các biểu diễn cá nhân hóa và thực tế.

2. Patent:​

  1. Một tính năng trên điện thoại thông minh cho phép trợ lý ảo tự động phát hiện và hiệu chỉnh các câu trả lời sai lệch về mặt thực tế dựa trên lịch sử cá nhân của người dùng, đảm bảo thông tin chính xác.
  2. Một hệ thống phần mềm điện thoại di động thông minh có khả năng phân tích ngữ cảnh câu hỏi và lịch sử trò chuyện để ưu tiên độ chính xác thực tế hơn cá nhân hóa khi thông tin có thể gây nhầm lẫn.
  3. Một ứng dụng trên điện thoại di động cung cấp chế độ "Kiểm tra sự thật" cho trợ lý ảo, cho phép người dùng nhận được câu trả lời khách quan, không bị ảnh hưởng bởi dữ liệu cá nhân trước đó, cho các truy vấn quan trọng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.11000
ArXiv Abstracthttps://arxiv.org/abs/2601.11000
PDF Downloadhttps://arxiv.org/pdf/2601.11000.pdf
Github RepositoryN/A

7. ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models (20 votes)​

Tác giả: Linqing Zhong, Yi Liu, Yifei Wei, Ziyu Xiong, Maoqing Yao, Si Liu, Guanghui Ren

Xuất bản lúc: 2026-01-16

Tag: Vision-Language-Action, Robotics, Chain-of-Thought, Action-Space Reasoning, Robot Policy Learning, Explicit Action Reasoner, Implicit Action Reasoner

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) hiện tại cho robot thường dựa vào việc dịch trực tiếp đầu vào đa phương thức thành hành động hoặc sử dụng suy luận trung gian gián tiếp (như dự đoán nhiệm vụ con bằng ngôn ngữ hoặc tổng hợp hình ảnh mục tiêu bằng thị giác). Vấn đề cốt lõi là những suy luận trung gian này thường không trực tiếp và bị hạn chế trong việc truyền tải thông tin chi tiết, cụ thể cần thiết cho việc thực hiện hành động chính xác. Có một "khoảng cách ngữ nghĩa-động học" giữa các đầu vào trừu tượng cấp cao và các lệnh vận động có thể thực thi cấp thấp, khiến các chính sách hiện có gặp khó khăn trong việc học các tiền đề liên quan đến hành động một cách hiệu quả.

II. Main Idea:​

Bài báo đề xuất Chain-of-Thought hành động (ACoT), một mô hình mới nơi quá trình suy luận được xây dựng như một chuỗi có cấu trúc gồm các ý định hành động thô (coarse action intents) để hướng dẫn chính sách cuối cùng. Thay vì suy luận trong không gian ngôn ngữ hoặc thị giác, ACoT suy luận trực tiếp trong không gian hành động, cung cấp hướng dẫn nhất quán về động học. Để hiện thực hóa ACoT, bài báo giới thiệu kiến trúc ACoT-VLA với hai thành phần bổ sung:

  1. Explicit Action Reasoner (EAR): Đề xuất các quỹ đạo tham chiếu hành động thô (coarse reference trajectories) như các bước suy luận cấp hành động rõ ràng. Nó được hiện thực hóa dưới dạng một transformer nhẹ, tổng hợp các chuỗi hành động tham chiếu khả thi về mặt động học.
  2. Implicit Action Reasoner (IAR): Trích xuất các tiền đề hành động tiềm ẩn từ các biểu diễn nội bộ của đầu vào đa phương thức thông qua cơ chế cross-attention. Hai cơ chế này cùng nhau hình thành một Chain-of-Thought hành động để điều kiện hóa bộ phận hành động (action head) tiếp theo, cho phép học chính sách có căn cứ.

III. Main Results:​

Phương pháp đề xuất, ACoT-VLA, đã chứng minh hiệu quả vượt trội trong các môi trường thực tế và mô phỏng. Cụ thể, nó đạt được các kết quả:

  • 98.5% trên LIBERO
  • 84.1% trên LIBERO-Plus
  • 47.4% trên VLABench Những kết quả này cho thấy khả năng vượt trội của ACoT-VLA so với các phương pháp hiện có.

IV. Conclusion & Future Works:​

Kết luận của bài báo là việc giới thiệu Chain-of-Thought hành động (ACoT) là một bước tiến quan trọng cho các chính sách robot tổng quát, định hình lại quá trình suy luận thành một chuỗi các ý định hành động rõ ràng thay vì các mục tiêu con trừu tượng. Việc đề xuất các bộ suy luận hành động rõ ràng (EAR) và ngầm định (IAR) cung cấp cả hướng dẫn quỹ đạo trực tiếp và nguồn cảm hứng hành vi tiềm ẩn, từ đó tạo nên khuôn khổ ACoT-VLA thống nhất. Hướng nghiên cứu tiếp theo sẽ tập trung vào việc tiếp tục phát triển và hoàn thiện cách tổng hợp các tín hiệu chuyển động phức tạp, nhiều chiều từ đầu vào đa phương thức thô để làm phong phú thêm quá trình suy luận ACoT.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu cách tích hợp các phản hồi từ môi trường hoặc từ người dùng vào quá trình suy luận hành động thô của EAR để cải thiện khả năng thích ứng của robot.
  • Khám phá việc sử dụng các mô hình ngôn ngữ lớn (LLM) để tạo ra các ý định hành động thô phức tạp hơn hoặc các chuỗi hành động có tính kế hoạch cao hơn cho ACoT.
  • Điều tra cách ACoT có thể được mở rộng để xử lý các tác vụ cộng tác người-robot hoặc các tác vụ yêu cầu sự phối hợp giữa nhiều robot.

2. Patent:​

  • Một hệ thống điều khiển robot tích hợp khả năng lên kế hoạch chuyển động tự động dựa trên phân tích hình ảnh và ngôn ngữ, tạo ra các chuỗi hành động tham chiếu chi tiết giúp robot thực hiện tác vụ chính xác hơn trong các ứng dụng công nghiệp.
  • Một phương pháp cho phép điện thoại thông minh hướng dẫn robot di động thực hiện các tác vụ đơn giản thông qua việc tổng hợp các quỹ đạo chuyển động tham chiếu trực tiếp từ lệnh giọng nói hoặc hình ảnh được cung cấp bởi người dùng trên điện thoại.
  • Một ứng dụng trên điện thoại di động sử dụng công nghệ nhận dạng ngữ cảnh để suy ra ý định hành động tiềm ẩn của người dùng đối với một thiết bị thông minh hoặc robot, từ đó cung cấp các gợi ý hoặc tự động hóa hành động phù hợp mà không cần lệnh trực tiếp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.11404
ArXiv Abstracthttps://arxiv.org/abs/2601.11404
PDF Downloadhttps://arxiv.org/pdf/2601.11404.pdf
Github RepositoryN/A

8. FrankenMotion: Part-level Human Motion Generation and Composition (13 votes)​

Tác giả: Chuqiao Li, Xianghui Xie, Yong Cao, Andreas Geiger, Gerard Pons-Moll

Xuất bản lúc: 2026-01-15

Tag: Human Motion Generation, Part-level Control, Diffusion, LLMs, Motion Dataset

I. Main Problem:​

Các phương pháp tạo chuyển động người hiện có chủ yếu dựa vào mô tả ở cấp độ chuỗi hoặc hành động, thiếu khả năng kiểm soát chi tiết từng bộ phận cơ thể. Hạn chế này xuất phát từ việc thiếu các chú thích chuyển động cấp độ bộ phận, có tính nhận biết thời gian và chi tiết. Các bộ dữ liệu hiện có không cung cấp chú thích được căn chỉnh theo thời gian và từng bộ phận, cũng như thiếu cấu trúc phân cấp, gây khó khăn cho việc tạo ra chuyển động phức tạp với khả năng kiểm soát cả không gian (bộ phận cơ thể) và thời gian.

II. Main Idea:​

Bài nghiên cứu đề xuất FrankenMotion, một khung tạo chuyển động dựa trên Diffusion, cho phép kiểm soát chi tiết từng bộ phận cơ thể thông qua các lời nhắc văn bản có cấu trúc thời gian. Để đào tạo mô hình này, một bộ dữ liệu mới có tên FrankenStein đã được xây dựng. Bộ dữ liệu này chứa các chú thích chuyển động cấp độ bộ phận có tính nguyên tử và nhận biết thời gian, được tạo tự động bằng cách tận dụng khả năng suy luận của các mô hình ngôn ngữ lớn (LLMs) thông qua một tác nhân được gọi là FrankenAgent. FrankenStein cung cấp các chú thích phân cấp ở ba cấp độ: chuỗi, hành động và từng bộ phận, giải quyết vấn đề thiếu dữ liệu kiểm soát chi tiết.

III. Main Results:​

  • FrankenMotion vượt trội hơn tất cả các mô hình cơ sở trước đây được điều chỉnh và đào tạo lại cho thiết lập này.
  • Mô hình có khả năng tổng hợp các chuyển động chưa từng thấy trong quá trình đào tạo (ví dụ: một người ngồi và giơ tay trái lên).
  • FrankenAgent có độ tin cậy cao, với 93.08% chú thích được các chuyên gia con người đánh giá là chính xác.
  • FrankenStein là bộ dữ liệu chuyển động cấp độ bộ phận lớn nhất cho đến nay.
  • Mô hình của FrankenMotion thể hiện tính đúng đắn về ngữ nghĩa và tính chân thực vượt trội so với các phương pháp hiện đại trong việc tạo chuyển động dựa trên bộ phận.
  • Đây là công trình đầu tiên cung cấp chú thích chuyển động cấp độ bộ phận có tính nguyên tử, nhận biết thời gian và một mô hình cho phép tạo chuyển động với kiểm soát cả không gian (bộ phận cơ thể) và thời gian (hành động nguyên tử).

IV. Conclusion & Future Works:​

FrankenMotion là một mô hình từ văn bản thành chuyển động có khả năng tạo ra các chuyển động phức tạp thông qua việc điều kiện phân cấp dựa trên văn bản ở cấp độ bộ phận, hành động và chuỗi, mang lại khả năng kiểm soát chi tiết đối với các bộ phận cơ thể và thời gian. FrankenStein, bộ dữ liệu mới được giới thiệu, cung cấp các chú thích bộ phận cơ thể có cấu trúc và được căn chỉnh theo thời gian, được tạo ra bằng cách tận dụng các bộ dữ liệu hiện có và tác nhân LLM là FrankenAgent. Khả năng điều kiện phân cấp của mô hình cho phép kiểm soát linh hoạt ở cấp độ bộ phận, hành động hoặc chuỗi và tạo ra các thành phần chuyển động mới lạ. Mã nguồn và bộ dữ liệu của nghiên cứu sẽ được công bố công khai sau khi xuất bản.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu cách tích hợp phản hồi từ cảm biến sinh trắc học để điều chỉnh chuyển động được tạo ra theo thời gian thực, nâng cao độ chính xác và cá nhân hóa.
  • Phát triển một phương pháp để tự động tạo ra các chú thích cấp độ bộ phận cho các hoạt động tương tác giữa người và vật thể, mở rộng khả năng kiểm soát của FrankenMotion trong các kịch bản phức tạp hơn.
  • Khám phá việc sử dụng các mô hình generative khác (ví dụ: GAN) kết hợp với phương pháp của FrankenMotion để so sánh hiệu suất và chất lượng chuyển động tạo ra.

2. Patent:​

  • Hệ thống ứng dụng điện thoại thông minh cho phép người dùng mô tả bằng lời nói hoặc văn bản các hành động và chuyển động của từng bộ phận cơ thể, sau đó tạo ra video hướng dẫn tập thể dục cá nhân hóa với hình ảnh nhân vật ảo thực hiện động tác chi tiết.
  • Công nghệ tích hợp vào camera điện thoại để phân tích chuyển động của người dùng trong thời gian thực, sau đó sử dụng các mô hình ngôn ngữ lớn để tạo ra hướng dẫn chỉnh sửa chuyển động chi tiết cho từng bộ phận cơ thể, giúp cải thiện dáng điệu hoặc tư thế.
  • Phương pháp tự động tạo ra các bộ dữ liệu chuyển động người chi tiết cho các ứng dụng trò chơi di động và thực tế tăng cường, bằng cách diễn giải các kịch bản chuyển động cấp cao thành các hành động nguyên tử và chuyển động bộ phận, giảm thiểu đáng kể chi phí sản xuất hoạt hình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.10909
ArXiv Abstracthttps://arxiv.org/abs/2601.10909
PDF Downloadhttps://arxiv.org/pdf/2601.10909.pdf
Github Repositoryhttps://github.com/Coral79/FrankenMotion-Code

9. BAPO: Boundary-Aware Policy Optimization for Reliable Agentic Search (12 votes)​

Tác giả: Shiyu Liu, Yongjing Yin, Jianhao Yan, Yunbo Tang, Qinggang Zhang, Bei Li, Xin Chen, Jingang Wang, Xunliang Cai, Jinsong Su

Xuất bản lúc: 2026-01-16

Tag: Agentic Search, Reinforcement Learning, Large Language Models, Reliability, Boundary Awareness, IDK, Policy Optimization

I. Main Problem:​

Các mô hình tìm kiếm tác nhân dựa trên Học tăng cường (RL-based agentic search) sử dụng Large Language Models (LLM) tuy cải thiện đáng kể độ chính xác trong việc giải quyết các câu hỏi phức tạp thông qua lập kế hoạch động và tìm kiếm bên ngoài, nhưng chúng gặp phải một vấn đề nghiêm trọng về độ tin cậy. Các tác nhân này không nhận biết được ranh giới lý luận của mình và hiếm khi thừa nhận "TÔI KHÔNG BIẾT" (IDK) ngay cả khi bằng chứng không đủ hoặc lý luận đã đạt đến giới hạn. Điều này dẫn đến các câu trả lời có vẻ hợp lý nhưng không đáng tin cậy, gây ra rủi ro đáng kể trong các tình huống thực tế. Các phương pháp RL tiêu chuẩn làm suy yếu nhận thức về ranh giới này bằng cách ưu tiên khám phá toàn diện để đạt độ chính xác và không khuyến khích việc thừa nhận sự không chắc chắn.

II. Main Idea:​

Bài báo đề xuất Phương pháp Tối ưu hóa Chính sách Nhận biết Ranh giới (Boundary-Aware Policy Optimization - BAPO), một khung RL mới được thiết kế để phát triển nhận thức đáng tin cậy về ranh giới mà không làm giảm độ chính xác. BAPO giới thiệu hai thành phần chính:

  1. Một phần thưởng nhận biết ranh giới dựa trên nhóm (group-based boundary-aware reward) khuyến khích phản hồi IDK chỉ khi quá trình lý luận của mô hình đạt đến giới hạn.
  2. Một bộ điều chỉnh phần thưởng thích ứng (adaptive reward modulator) đình chỉ một cách chiến lược phần thưởng IDK trong giai đoạn khám phá ban đầu để ngăn chặn mô hình lợi dụng IDK như một lối tắt. BAPO nhằm mục đích giải quyết cách mô hình hóa tín hiệu học tập để xác định chính xác ranh giới của mô hình tìm kiếm tác nhân và cách tích hợp tín hiệu này vào khung RL để cân bằng giữa việc khám phá sâu và khai thác thích hợp.

III. Main Results:​

  1. Suy giảm nhận thức về ranh giới sau RL: Các nghiên cứu sơ bộ chỉ ra rằng các mô hình trước khi huấn luyện RL có tỷ lệ IDK cao và nhận thức ranh giới rõ ràng hơn. Tuy nhiên, sau khi huấn luyện RL với phần thưởng dựa trên độ chính xác, tỷ lệ IDK giảm mạnh (ví dụ, từ 18.75% xuống 3.65% đối với ReSearch-Qwen-7B-Instruct), cho thấy nhận thức ranh giới bị suy yếu đáng kể dù độ chính xác tổng thể có thể tăng.
  2. Khó khăn trong việc khuyến khích IDK trực tiếp: Việc khuyến khích trực tiếp phản hồi IDK bằng cách thêm phần thưởng tích cực có thể dẫn đến việc mô hình lợi dụng IDK như một lối tắt, làm giảm độ chính xác của lý luận và độ sâu khám phá.
  3. Hiệu suất của BAPO: Các thí nghiệm trên bốn bộ dữ liệu đánh giá chứng minh BAPO cải thiện đáng kể độ tin cậy tổng thể của tìm kiếm tác nhân. Với chỉ 5000 mẫu huấn luyện RL, BAPO kết hợp với Qwen2.5-7B-Instruct thể hiện độ tin cậy vượt trội so với các mô hình tìm kiếm tác nhân mã nguồn mở mạnh mẽ khác mà không làm ảnh hưởng đến độ chính xác trung bình.

IV. Conclusion & Future Works:​

Bài báo đã chỉ ra một hạn chế quan trọng của các mô hình tìm kiếm tác nhân dựa trên RL là thiếu nhận thức về ranh giới lý luận, dẫn đến các câu trả lời không đáng tin cậy. Để giải quyết vấn đề này, BAPO được giới thiệu như một khung RL mới sử dụng phần thưởng nhận biết ranh giới dựa trên nhóm và bộ điều chỉnh phần thưởng thích ứng để nuôi dưỡng nhận thức ranh giới đáng tin cậy mà không ảnh hưởng đến độ chính xác. Các kết quả thực nghiệm khẳng định BAPO tăng cường hiệu quả độ tin cậy của tìm kiếm tác nhân. Hướng nghiên cứu trong tương lai có thể tập trung vào việc tinh chỉnh các cơ chế nhận biết ranh giới động và áp dụng chúng trong các tình huống phức tạp hơn để xây dựng các tác nhân LLM không chỉ thông minh mà còn đáng tin cậy và có khả năng tự nhận thức giới hạn của mình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cách áp dụng BAPO để cải thiện khả năng tự đánh giá và từ chối trả lời cho các tác vụ sáng tạo của LLM như viết truyện hoặc tạo mã khi thông tin đầu vào không rõ ràng hoặc không đầy đủ.
  2. Khám phá việc tích hợp các phương pháp nhận biết ranh giới khác nhau (ví dụ: dựa trên độ tin cậy của đầu ra hoặc độ không chắc chắn của mô hình) với BAPO để tạo ra các tác nhân đáng tin cậy hơn trên nhiều lĩnh vực.
  3. Đánh giá hiệu suất của BAPO trên các ngôn ngữ khác ngoài tiếng Anh, đặc biệt trong các bối cảnh mà thông tin tìm kiếm có thể khan hiếm hoặc chất lượng không đồng đều.

2. Patent:​

  1. Một hệ thống hỗ trợ cá nhân trên điện thoại di động có khả năng nhận biết khi không thể trả lời chính xác câu hỏi của người dùng và chủ động đề xuất các phương án tìm kiếm thay thế hoặc xác nhận sự không chắc chắn để tránh cung cấp thông tin sai lệch.
  2. Một ứng dụng tìm kiếm thông minh trên điện thoại tích hợp cơ chế nhận biết giới hạn, cho phép ứng dụng tự động đưa ra cảnh báo "Tôi không biết" hoặc "Tôi cần thêm thông tin" thay vì đưa ra các kết quả không đáng tin cậy khi tìm kiếm thông tin phức tạp.
  3. Một giao diện chatbot trên điện thoại cho phép người dùng tương tác với một trợ lý ảo, trong đó trợ lý ảo được huấn luyện để có thể từ chối trả lời hoặc yêu cầu thêm chi tiết một cách lịch sự khi gặp câu hỏi vượt quá khả năng hiện tại, cải thiện trải nghiệm và độ tin cậy của người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.11037
ArXiv Abstracthttps://arxiv.org/abs/2601.11037
PDF Downloadhttps://arxiv.org/pdf/2601.11037.pdf
Github Repositoryhttps://github.com/Liushiyu-0709/BAPO-Reliable-Search

10. Entropy Sentinel: Continuous LLM Accuracy Monitoring from Decoding Entropy Traces in STEM (12 votes)​

Tác giả: Pedro Memoli Buffa, Luciano Del Corro

Xuất bản lúc: 2026-01-13

Tag: LLM monitoring, entropy, accuracy estimation, domain shift, STEM reasoning, uncertainty quantification

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) khi được triển khai trong môi trường thực tế đối mặt với hai thách thức chính: (1) giám sát liên tục để xác định khi nào và ở đâu mô hình hoạt động kém hiệu quả do sự thay đổi của lưu lượng truy cập và miền dữ liệu, và (2) cải thiện hiệu suất bằng cách ưu tiên thu thập dữ liệu để thu hẹp những khoảng cách lớn nhất. Các phương pháp hiện tại, dựa trên đánh giá thủ công và các bộ dữ liệu được gắn nhãn định kỳ, rất tốn kém, chậm chạp và không phù hợp để giám sát liên tục ở mức độ chi tiết cần thiết trong sản xuất.

II. Main Idea:​

Bài nghiên cứu đề xuất một phương pháp liên tục giám sát độ chính xác của LLM bằng cách tận dụng "dấu vết entropy" trong quá trình giải mã tại thời điểm suy luận. Cụ thể, với mỗi phản hồi được tạo ra bởi LLM, một "hồ sơ entropy đầu ra" được tính toán từ các xác suất token tiếp theo của lớp cuối cùng (sử dụng top-k log-probabilities). Hồ sơ này sau đó được tóm tắt thành một vector đặc trưng nhỏ gọn gồm mười một thống kê. Một bộ phân loại nhẹ sẽ được huấn luyện để dự đoán xác suất đúng sai ở cấp độ từng trường hợp. Bằng cách lấy trung bình các xác suất dự đoán này trên một lát dữ liệu (domain/slice) cụ thể, phương pháp có thể ước tính độ chính xác của miền đó, từ đó hỗ trợ giám sát mở rộng và nhắm mục tiêu thu thập dữ liệu.

III. Main Results:​

  • Các ước tính độ chính xác được tạo ra bởi phương pháp này thường theo sát độ chính xác thực tế trên các tập dữ liệu kiểm thử chưa từng thấy, với nhiều mô hình cho thấy thứ tự các miền gần như đơn điệu.
  • Các hồ sơ entropy đầu ra được chứng minh là một tín hiệu dễ tiếp cận và hiệu quả cho việc giám sát có khả năng mở rộng và hỗ trợ thu thập dữ liệu có mục tiêu.
  • Nhiều thống kê tóm tắt entropy đơn lẻ (như giá trị trung bình, độ lệch chuẩn, giá trị tối đa, các phân vị, độ lệch, độ nhọn và các chỉ số tích lũy entropy) đạt AUROC > 0.5, cho thấy khả năng phân biệt đáng kể giữa các phản hồi đúng và sai (phản hồi không chính xác thường có entropy cao hơn, biểu thị độ tin cậy thấp hơn).
  • Kết quả cho thấy không có một thống kê đơn lẻ nào là tốt nhất một cách đáng tin cậy trên tất cả các mô hình và tập dữ liệu, điều này ủng hộ việc sử dụng một vector đặc trưng đa thống kê để nắm bắt các tín hiệu không chắc chắn bổ sung.
  • Phương pháp được đánh giá toàn diện trên mười bộ kiểm định suy luận STEM, với các cấu trúc huấn luyện/kiểm thử đa dạng và chín LLM từ sáu dòng họ (3B–20B), thể hiện tính bền vững dưới sự dịch chuyển miền.

IV. Conclusion & Future Works:​

Nhìn chung, các bộ phân loại nhẹ được huấn luyện trên các hồ sơ entropy cung cấp một tín hiệu thực tế có thể hỗ trợ hiệu quả cả việc giám sát liên tục và thu thập dữ liệu có mục tiêu cho các LLM. Mặc dù các thí nghiệm ban đầu được thực hiện trong môi trường STEM với khả năng xác minh cao và sử dụng các mô hình mã nguồn mở (áp dụng tín hiệu top-k logprob tương thích với các API thương mại), các hướng nghiên cứu tiếp theo tự nhiên bao gồm việc mở rộng phương pháp này sang các miền ít có khả năng xác minh hơn (ví dụ: các miền mở) và xác thực khả năng chuyển giao của nó cho các mô hình thương mại đóng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc kết hợp các phương pháp học không giám sát hoặc bán giám sát để tự động điều chỉnh và cải thiện bộ phân loại độ chính xác dựa trên entropy trong môi trường dữ liệu thực tế liên tục thay đổi.
  2. Đánh giá hiệu quả của việc sử dụng các mô hình nhỏ hơn, chuyên biệt hơn thay vì bộ phân loại nhẹ, để xử lý hồ sơ entropy và dự đoán độ chính xác, đặc biệt là trong các ứng dụng yêu cầu tài nguyên tính toán hạn chế.
  3. Phân tích tác động của các chiến lược lấy mẫu khác nhau khi huấn luyện bộ phân loại entropy đối với khả năng khái quát hóa và độ bền của nó khi đối mặt với sự dịch chuyển miền và sự mất cân bằng lớp (correct/incorrect).

2. Patent:​

  1. Một hệ thống tích hợp trong điện thoại thông minh để liên tục theo dõi độ tin cậy của các phản hồi được tạo bởi trợ lý ảo trên thiết bị bằng cách phân tích các dấu vết xác suất từ quá trình tạo văn bản, tự động cảnh báo người dùng hoặc đề xuất xác minh khi độ tin cậy thấp.
  2. Một công nghệ được xây dựng vào các ứng dụng giáo dục trên điện thoại, tự động đánh giá và hiển thị mức độ chắc chắn của câu trả lời do AI tạo ra cho các bài toán, giúp học sinh nhận biết khi nào cần xem xét lại thông tin.
  3. Một phương pháp được triển khai trên điện thoại để đánh giá chất lượng của các bản tóm tắt văn bản hoặc bài viết do AI thực hiện, dựa trên phân tích mức độ chắc chắn của AI trong việc chọn lọc và sắp xếp thông tin, cung cấp chỉ số tin cậy cho người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.09001
ArXiv Abstracthttps://arxiv.org/abs/2601.09001
PDF Downloadhttps://arxiv.org/pdf/2601.09001.pdf
Github RepositoryN/A

11. ProFit: Leveraging High-Value Signals in SFT via Probability-Guided Token Selection (11 votes)​

Tác giả: Tao Liu, Taiqiang Wu, Runming Yang, Shaoning Sun, Junjie Wang, Yujiu Yang

Xuất bản lúc: 2026-01-14

Tag: SFT, LLM Fine-tuning, Token Masking, Probability-Guided Training

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLM) được điều chỉnh thông qua Supervised Fine-tuning (SFT) truyền thống thường bị quá khớp với các biểu thức không cốt lõi do bị buộc phải căn chỉnh theo một câu trả lời tham chiếu duy nhất. Điều này bỏ qua bản chất "một-nhiều" của ngôn ngữ, nơi nhiều cách diễn đạt có thể truyền tải cùng một ý nghĩa, dẫn đến việc mô hình chỉ đơn thuần ghi nhớ các mẫu cụ thể và phạt các biến thể diễn đạt hợp lệ. Mặc dù việc sử dụng nhiều câu trả lời tham chiếu có thể giảm nhẹ vấn đề này, nhưng nó đi kèm với chi phí dữ liệu và tính toán quá cao, cùng với các thách thức về sự ổn định tối ưu hóa và khó khăn trong việc hội tụ huấn luyện.

II. Main Idea:​

Bài báo đề xuất ProFit, một phương pháp huấn luyện SFT tận dụng các tín hiệu giá trị cao bằng cách chọn lọc token dựa trên xác suất dự đoán. Ý tưởng cốt lõi là phát hiện ra mối liên hệ nội tại giữa xác suất token và tầm quan trọng về ngữ nghĩa: các token có xác suất cao mang khung logic cốt lõi, trong khi các token có xác suất thấp chủ yếu là các biểu thức có thể thay thế. ProFit thực hiện một cơ chế che giấu (masking) chiến lược, chỉ chọn lọc giữ lại và huấn luyện các token có xác suất cao mang thông tin ngữ nghĩa quan trọng, đồng thời che giấu các token có xác suất thấp và không thiết yếu. Điều này giúp ngăn chặn hiện tượng quá khớp ở cấp độ bề mặt và cho phép mô hình tập trung vào các tín hiệu huấn luyện có giá trị cao từ một câu trả lời tham chiếu duy nhất.

III. Main Results:​

Các thử nghiệm sâu rộng đã xác nhận rằng ProFit vượt trội hơn một cách nhất quán so với các phương pháp SFT cơ sở truyền thống trên các điểm chuẩn về lý luận chung (GPQA-Diamond), toán học (MATH-500, AIME’24, GSM8K) và tuân thủ hướng dẫn (IFEval). Đặc biệt, trên dòng mô hình Qwen3, ProFit vượt trội hơn SFT với biên độ đáng kể từ 3.0% đến 10.9% về độ chính xác trung bình, chứng minh tính hiệu quả của chiến lược. Bài báo cũng cung cấp bằng chứng lý thuyết cho thấy gradient của các token có xác suất thấp có thể làm lu mờ hướng tối ưu hóa của các token quan trọng.

IV. Conclusion & Future Works:​

Bài báo xác định mối tương quan tích cực giữa xác suất dự đoán và tầm quan trọng về ngữ nghĩa, cho thấy các token có xác suất thấp thường đại diện cho các biểu thức không cần thiết. Dựa trên phát hiện này, ProFit, một chiến lược che giấu dựa trên xác suất, đã được đề xuất và chứng minh về mặt lý thuyết cũng như thực nghiệm về khả năng ngăn chặn các gradient lớn từ token không quan trọng làm lu mờ các tín hiệu ngữ nghĩa chính. Kết quả thực nghiệm mạnh mẽ củng cố sự hiệu quả của ProFit trong việc cải thiện hiệu suất của LLM trên nhiều tác vụ khác nhau. Hướng nghiên cứu tiếp theo có thể bao gồm việc khám phá các ngưỡng động (dynamic thresholds) thay vì tĩnh và áp dụng chiến lược này cho các định dạng dữ liệu hoặc loại mô hình khác nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu ảnh hưởng của việc kết hợp các chiến lược che giấu xác suất với các phương pháp huấn luyện đa tham chiếu (multi-reference training) để đạt được sự cân bằng tối ưu giữa tính đa dạng ngữ nghĩa và chi phí tính toán.
  • Phát triển các phương pháp xác định ngưỡng xác suất động (dynamic probability thresholds) dựa trên ngữ cảnh hoặc đặc điểm tác vụ thay vì ngưỡng tĩnh để tinh chỉnh việc lựa chọn token.
  • Khám phá ứng dụng của ProFit trong các tác vụ tạo sinh ngôn ngữ khác ngoài SFT, chẳng hạn như tóm tắt văn bản hoặc dịch máy, nơi việc duy trì thông tin cốt lõi là rất quan trọng.

2. Patent:​

  • Một hệ thống trên điện thoại di động giúp người dùng tạo ra phản hồi thông minh dựa trên ngữ cảnh, nơi thuật toán sẽ ưu tiên các từ khóa quan trọng và loại bỏ các cách diễn đạt thừa thãi để tạo ra câu trả lời ngắn gọn và chính xác hơn.
  • Một ứng dụng trên điện thoại thông minh tích hợp tính năng chỉnh sửa văn bản tự động, tự động làm nổi bật hoặc đề xuất xóa bỏ các phần văn bản ít quan trọng, cho phép người dùng tối ưu hóa độ chính xác và tính rõ ràng của tin nhắn hoặc email.
  • Một tính năng trên bàn phím ảo của điện thoại di động giúp dự đoán và gợi ý các từ hoặc cụm từ cốt lõi với độ chính xác cao hơn, đồng thời giảm thiểu các gợi ý cho các từ hoặc câu có tính chất lặp lại hoặc không cần thiết, giúp người dùng nhập liệu nhanh chóng và hiệu quả hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.09195
ArXiv Abstracthttps://arxiv.org/abs/2601.09195
PDF Downloadhttps://arxiv.org/pdf/2601.09195.pdf
Github Repositoryhttps://github.com/Utaotao/ProFit

12. Future Optical Flow Prediction Improves Robot Control & Video Generation (10 votes)​

Tác giả: Kanchana Ranasinghe, Honglu Zhou, Yu Fang, Luyu Yang, Le Xue, Ran Xu, Caiming Xiong, Silvio Savarese, Michael S Ryoo, Juan Carlos Niebles

Xuất bản lúc: 2026-01-15

Tag: Diffusion, Vision-Language Model, Optical Flow Prediction, Robot Control, Video Generation

I. Main Problem:​

Vấn đề cốt lõi mà bài báo đề cập là dự báo các biểu diễn chuyển động mật độ không gian tổng quát (như optical flow) một cách đáng tin cậy và tổng quát, đặc biệt là khi học từ dữ liệu thực tế, nhiễu loạn và không có cấu trúc. Việc này rất quan trọng cho các nhiệm vụ điều khiển (robot) và sinh tạo (video) nhưng còn là một thách thức lớn.

II. Main Idea:​

Bài báo giới thiệu FOFPred, một mô hình dự báo optical flow trong tương lai được điều kiện hóa bằng ngôn ngữ. FOFPred có kiến trúc thống nhất giữa Mô hình Ngôn ngữ Tầm nhìn (VLM) và kiến trúc Diffusion. Mô hình được đào tạo trên dữ liệu hoạt động của con người quy mô web (video-caption) vốn rất nhiễu, sử dụng các kỹ thuật tiền xử lý dữ liệu và tiền huấn luyện mạnh mẽ trên hình ảnh. Kiến trúc này cho phép suy luận đa phương thức mạnh mẽ với độ chân thực sinh tạo cấp độ pixel cho việc dự đoán chuyển động trong tương lai. Sau đó, mô hình được mở rộng cho hai tác vụ hạ nguồn riêng biệt: điều khiển robot và sinh tạo video.

III. Main Results:​

Dựa trên văn bản đã trích xuất, các kết quả chính được trình bày dưới dạng đóng góp và xác nhận tính hiệu quả:

  • Tính Đa Năng Liên Miền: FOFPred thể hiện tính đa năng liên miền thông qua việc đánh giá trên các tác vụ điều khiển robot và sinh tạo video được điều khiển bằng ngôn ngữ.
  • Giá trị của Kiến trúc Thống nhất VLM-Diffusion: Kết quả xác nhận giá trị của kiến trúc VLM-Diffusion thống nhất và khả năng học mở rộng từ dữ liệu web đa dạng để dự đoán optical flow trong tương lai.
  • Ba đóng góp chính:
    1. VLM-Diffusion Thống nhất: Áp dụng kiến trúc này cho việc dự đoán optical flow trong tương lai một cách tổng quát.
    2. Học có khả năng mở rộng: Thiết lập khuôn khổ để học dự đoán optical flow trong tương lai từ các video hoạt động của con người quy mô web.
    3. Tính đa năng liên miền: Là công trình đầu tiên sử dụng kiến trúc nền VLM-Diffusion cho điều khiển robot và sinh tạo video có kiểm soát trong các cài đặt điều khiển bằng ngôn ngữ.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng việc dự đoán optical flow trong tương lai bằng mô hình FOFPred, sử dụng kiến trúc thống nhất VLM-Diffusion và được đào tạo từ dữ liệu web nhiễu quy mô lớn, mang lại giá trị to lớn cho việc điều khiển robot và sinh tạo video. Các thí nghiệm xác nhận tính đa năng liên miền của FOFPred và hiệu quả của phương pháp học mở rộng này. Hướng nghiên cứu tiếp theo ngụ ý là khám phá và cải tiến thêm các ứng dụng của mô hình này trong các miền khác hoặc cải thiện khả năng học từ dữ liệu nhiễu.

V. Brainstorming Space:​

1. Publish Papers:​

  • Nghiên cứu sâu hơn về việc cải thiện khả năng chống nhiễu của mô hình khi học từ dữ liệu web không có cấu trúc bằng cách tích hợp các cơ chế tự giám sát nâng cao.
  • Mở rộng FOFPred để dự đoán các biểu diễn chuyển động phức tạp hơn hoặc đa modal khác ngoài optical flow, ví dụ như quỹ đạo 3D hoặc chuyển động khớp, cho các tác vụ robot tinh vi hơn.
  • Khám phá việc áp dụng FOFPred vào các miền ứng dụng mới như mô phỏng vật lý trong game hoặc tạo hiệu ứng hình ảnh trong điện ảnh.

2. Patent:​

  • Một phương pháp tạo ra video hướng dẫn cách thực hiện một hành động cụ thể trên điện thoại thông minh, ví dụ như "di chuyển biểu tượng ứng dụng từ trái sang phải", bằng cách dự đoán các chuyển động pixel trong tương lai và tạo ra chuỗi video tương ứng.
  • Một hệ thống điều khiển robot để thực hiện các thao tác vật lý theo lệnh thoại thông qua một ứng dụng điện thoại, ví dụ như "nhấc điện thoại lên và đặt nó vào đế sạc", nơi ứng dụng này dự đoán luồng chuyển động quang học mong muốn cho robot.
  • Một công nghệ cho phép người dùng điện thoại thông minh chỉnh sửa chuyển động của các đối tượng trong video quay bằng điện thoại, chẳng hạn như "làm cho con mèo nhảy cao hơn", thông qua giao diện kéo và thả trực quan được hỗ trợ bởi dự đoán chuyển động quang học.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2601.10781
ArXiv Abstracthttps://arxiv.org/abs/2601.10781
PDF Downloadhttps://arxiv.org/pdf/2601.10781.pdf
Github Repositoryhttps://github.com/SalesforceAIResearch/FOFPred