Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-05-20

Báo cáo được tạo tự động vào lúc 2026-05-21 11:01:57 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. When Vision Speaks for Sound (88 votes)​

Tác giả: Xiaofei Wen, Wenjie Jacky Mo, Xingyu Fu, Rui Cai, Tinghui Zhu, Wendi Li, Yanan Xie, Muhao Chen, Peng Qi

Xuất bản lúc: 2026-05-13

Tag: Multimodal Large Language Models, Audio-Visual Grounding, Clever Hans Effect, THUD, Preference Optimization, Video Understanding, Counterfactual Interventions

I. Main Problem:​

Các mô hình MLLM hiện tại có khả năng xử lý video dường như hiểu được âm thanh, nhưng thực tế chúng thường dựa vào các tín hiệu thị giác (visual cues) để suy luận hoặc tưởng tượng ra thông tin âm thanh (hallucinate), thay vì kiểm tra luồng âm thanh thực tế. Hành vi này được gọi là hiệu ứng 'Clever Hans' trong lĩnh vực âm thanh-hình ảnh, khiến các mô hình tạo ra ảo tưởng về sự hiểu biết đa phương thức một cách sai lầm.

II. Main Idea:​

Để phát hiện và khắc phục hiệu ứng này, các tác giả giới thiệu THUD (Temporal and Hallucination Unmasking Diagnostics), một khung chẩn đoán dựa trên các can thiệp có kiểm soát. THUD sử dụng ba loại can thiệp đối lập (counterfactual interventions) vào âm thanh của video: Shift (dịch chuyển thời gian), Mute (tắt tiếng), và Swap (hoán đổi âm thanh) để kiểm tra khả năng đồng bộ thời gian, sự tồn tại của âm thanh và tính nhất quán giữa âm thanh và hình ảnh. Ngoài ra, nhóm nghiên cứu đề xuất một công thức căn chỉnh hai giai đoạn (two-stage alignment recipe) kết hợp dữ liệu ưu tiên từ các can thiệp (intervention-derived preference pairs) và dữ liệu video tổng quát (general video preferences) để huấn luyện mô hình kiểm tra âm thanh thay vì chỉ dựa vào suy luận thị giác.

III. Main Results:​

Kết quả thực nghiệm cho thấy hầu hết các mô hình hiện tại (như Gemini, Qwen3-Omni) đều có độ chính xác giảm mạnh khi áp dụng các can thiệp, chứng tỏ sự phụ thuộc vào lối tắt thị giác. Công thức căn chỉnh tốt nhất chỉ với 10K mẫu đã cải thiện hiệu suất trung bình trên ba chiều can thiệp (Shift, Mute, Swap) lên 28 điểm phần trăm, đồng thời vẫn duy trì hoặc cải thiện nhẹ hiệu suất trên các benchmark hiểu video và âm thanh-hình ảnh tổng quát (ví dụ: Video-MME, LVBench).

IV. Conclusion & Future Works:​

Nghiên cứu này chỉ ra rằng khả năng hiểu âm thanh rõ ràng của các mô hình đa phương thức thường bị chi phối mạnh bởi thị giác. Các tác giả cho rằng trong tương lai, các mô hình nên được đánh giá và huấn luyện trên các điều kiện âm thanh-hình ảnh đối lập (counterfactual audio-visual conditions), chứ không chỉ trên các video có tương quan tự nhiên. Các hướng nghiên cứu trong tương lai bao gồm mở rộng khung THUD sang các loại can thiệp phức tạp hơn và phát triển các phương pháp căn chỉnh hiệu quả hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển THUD cho các can thiệp phức tạp hơn: Mở rộng khung chẩn đoán THUD để bao gồm các loại can thiệp phức tạp hơn, chẳng hạn như thay đổi âm lượng, thêm nhiễu nền, hoặc kết hợp nhiều can thiệ cùng lúc (ví dụ: vừa tắt tiếng vừa dịch chuyển thời gian). Mục tiêu là xây dựng một bộ đánh giá toàn diện hơn cho khả năng căn chỉnh âm thanh-hình ảnh.
  2. Nghiên cứu căn chỉnh đa tác vụ cho các lỗi âm thanh khác: Nghiên cứu sâu hơn về việc liệu một công thức huấn luyện duy nhất có thể giải quyết đồng thời nhiều dạng lỗi khác nhau (như tưởng tượng âm thanh, không phát hiện được sự lệch thời gian, và nhầm lẫn nguồn âm thanh) hay không, hay mỗi lỗi cần một chiến lược căn chỉnh riêng.
  3. Áp dụng THUD để đánh giá các mô hình âm thanh-hình ảnh mới: Sử dụng khung THUD để đánh giá một cách có hệ thống các thế hệ mô hình đa phương thức mới nhất, bao gồm cả các mô hình omni (xử lý đồng thời nhiều phương thức) và các mô hình được huấn luyện với các kiến trúc khác nhau, nhằm cập nhật bức tranh toàn cảnh về hiệu ứng Clever Hans.

2. Patent:​

  1. Hệ thống kiểm tra độ chân thực của âm thanh trong video trên điện thoại: Một ứng dụng trên điện thoại thông minh sử dụng công nghệ AI để phân tích video do người dùng quay. Hệ thống sẽ tự động phát hiện và cảnh báo nếu âm thanh trong video có vẻ không khớp với hình ảnh (ví dụ: tiếng động mạnh xuất hiện nhưng hình ảnh không có hành động tương ứng), giúp người dùng tạo ra các video chân thực và chất lượng hơn.
  2. Tính năng 'Âm thanh thông minh' cho máy ảnh điện thoại: Một tính năng trên điện thoại thông minh cho phép người dùng quay video trong môi trường yên tĩnh. Hệ thống AI sẽ sử dụng thông tin từ hình ảnh (ví dụ: một quả bóng rơi) để tự động tạo ra và thêm các hiệu ứng âm thanh phù hợp, chân thực vào video, giúp video sinh động hơn mà không cần thu âm thực tế.
  3. Công cụ chỉnh sửa video tự động dựa trên căn chỉnh âm thanh-hình ảnh: Một ứng dụng chỉnh sửa video trên điện thoại có thể tự động phát hiện sự lệch thời gian giữa âm thanh và hình ảnh (ví dụ: tiếng vỗ tay xuất hiện chậm hơn so với hành động vỗ tay trong hình) và đề xuất hoặc tự động điều chỉnh để đồng bộ chúng, giúp người dùng dễ dàng tạo ra các video chuyên nghiệp hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.16403
ArXiv Abstracthttps://arxiv.org/abs/2605.16403
PDF Downloadhttps://arxiv.org/pdf/2605.16403.pdf
Github Repositoryhttps://github.com/rakanWen/wvs-code

2. Active Learners as Efficient PRP Rerankers (85 votes)​

Tác giả: Jeremías Figueiredo Paschmann, Juan Kaplan, Francisco Nattero, Santiago Barron, Juan Wisznia, Luciano del Corro

Xuất bản lúc: 2026-05-15

Tag: PRP, Reranking, Active Learning, LLMs, RAG, Pairwise Comparison, Noisy Feedback

I. Main Problem:​

Các phương pháp Pairwise Ranking Prompting (PRP) hiện tại sử dụng các thuật toán sắp xếp cổ điển (như BubbleSort, QuickSort) để tổng hợp các đánh giá cặp từ LLM. Tuy nhiên, việc này gặp phải sự không khớp về cấu trúc: các thuật toán sắp xếp giả định các so sánh có tính bắc cầu (transitive), trong khi các đánh giá của LLM lại nhiễu, nhạy cảm với thứ tự và đôi khi không bắc cầu. Vì vậy, việc cắt bớt một bảng xếp hạng đầy đủ để đáp ứng ngân sách gọi API (LLM calls) không tạo ra được top-K đáng tin cậy. Bài toán cốt lõi là làm thế nào để tối đa hóa chất lượng top-K trong một ngân sách gọi LLM hạn chế.

II. Main Idea:​

Bài báo đề xuất tái cấu trúc bài toán PRP reranking thành một bài toán học tích cực (active learning) từ các so sánh cặp nhiễu. Thay vì sử dụng các thuật toán sắp xếp, các tác giả sử dụng các bộ xếp hạng tích cực (active rankers) như thuật toán Mohajer, vốn tập trung các so sánh vào các ứng cử viên có thứ hạng còn không chắc chắn. Ngoài ra, bài báo giới thiệu một oracle hướng ngẫu nhiên (randomized-direction oracle) chỉ sử dụng một lần gọi LLM cho mỗi cặp, giúp chuyển đổi độ lệch vị trí có hệ thống thành nhiễu trung bình bằng 0, cải thiện hiệu quả chi phí.

III. Main Results:​

Trên tập dữ liệu TREC DL 2019/2020 với Flan-T5-XL, bộ xếp hạng tích cực Mohajer vượt trội so với đường cơ sở sắp xếp tốt nhất (BubbleSort) +9.7 NDCG@10 tại ngân sách B=300 cuộc gọi (66.1 so với 56.4). Oracle hướng ngẫu nhiên giúp Mohajer giảm 44% số cuộc gọi cần thiết để đạt chất lượng đỉnh (từ B=450 xuống B=250). Trên các tác vụ BEIR, các bộ xếp hạng tích cực đạt NDCG@10 tương đương QuickSort (trung bình 56.8) với số cuộc gọi ít hơn tới 7 lần.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng PRP reranking nên được mô hình hóa như một bài toán học có ngân sách từ các so sánh cặp nhiễu. Các bộ xếp hạng tích cực mang lại NDCG@10 cao hơn ở ngân sách thấp, trong khi sắp xếp chỉ hữu ích khi ngân sách đủ lớn. Oracle hướng ngẫu nhiên cải thiện hiệu quả. Các hướng nghiên cứu tương lai bao gồm: khám phá lý thuyết cho lợi ích của oracle hướng ngẫu nhiên, tối ưu hóa tham số cho phương pháp PAC, và nghiên cứu ảnh hưởng của việc vi phạm giả định độc lập có điều kiện trong các API LLM thực tế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của các oracle hướng ngẫu nhiên và song phương đến các thuật toán học tích cực khác nhau trong bài toán reranking, đặc biệt là khi kết hợp với các mô hình ngôn ngữ lớn khác nhau.
  2. Phát triển một phương pháp PAC mới có khả năng tự động điều chỉnh tham số 'm' (pool multiplier) dựa trên chất lượng của bộ xếp hạng ban đầu (prior) và đặc điểm của tập dữ liệu.
  3. Mở rộng khung học tích cực cho các bài toán reranking listwise hoặc setwise, so sánh hiệu quả của việc lấy mẫu thích ứng so với các phương pháp xử lý hàng loạt.

2. Patent:​

  1. Phương pháp và hệ thống sắp xếp lại kết quả tìm kiếm trên điện thoại di động sử dụng học tích cực từ các so sánh cặp nhiễu, giúp tiết kiệm năng lượng và thời gian xử lý bằng cách chỉ thực hiện các so sánh cần thiết nhất để đưa ra top kết quả chính xác.
  2. Ứng dụng trên thiết bị di động: một ứng dụng gợi ý tin tức hoặc sản phẩm sử dụng oracle hướng ngẫu nhiên để giảm thiểu độ lệch vị trí, đảm bảo các gợi ý được đánh giá công bằng mà không làm tăng chi phí tính toán.
  3. Phương pháp tối ưu hóa cuộc gọi API cho các trợ lý ảo trên điện thoại, sử dụng các bộ xếp hạng tích cực để cải thiện chất lượng phản hồi trong các tác vụ Retrieval-Augmented Generation (RAG) với ngân sách cuộc gọi LLM hạn chế.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.14236
ArXiv Abstracthttps://arxiv.org/abs/2605.14236
PDF Downloadhttps://arxiv.org/pdf/2605.14236.pdf
Github Repositoryhttps://github.com/jerecoder/IReranker

3. Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information (65 votes)​

Tác giả: Guobin Shen, Xiang Cheng, Chenxiao Zhao, Lei Huang, Jindong Li, Dongcheng Zhao, Xing Yu

Xuất bản lúc: 2026-05-12

Tag: Self-Distillation, Reinforcement Learning, Reasoning, Language Models, Pointwise Mutual Information, Jensen-Shannon Divergence

I. Main Problem:​

Bài báo giải quyết vấn đề tín hiệu thưởng thưa thớt trong học tăng cường cho suy luận toán học (RLVR), nơi chỉ có điểm thưởng cuối cùng cho mỗi rollout, không chỉ ra bước trung gian nào chịu trách nhiệm. Phương pháp tự chưng cất (self-distillation) mặc định, sử dụng mô hình làm giáo viên có điều kiện ngữ cảnh đặc quyền (lời giải đã xác minh), thất bại trong suy luận toán học vì tạo ra tín hiệu sai lệch: thưởng cho các token 'lối tắt' (shortcut tokens) và trừng phạt các token 'suy luận' (deliberation tokens) cần thiết cho tìm kiếm đa bước.

II. Main Idea:​

Các tác giả đề xuất Anti-Self-Distillation (AntiSD), đảo ngược hướng gradient của quá trình tự chưng cất: thay vì giảm phân kỳ Kullback-Leibler (KL) giữa học sinh và giáo viên, AntiSD tăng phân kỳ Jensen-Shannon (JSD). Điều này đảo ngược dấu hiệu của tín hiệu thưởng theo từng token, biến việc trừng phạt token suy luận thành thưởng cho chúng. Một cổng kích hoạt dựa trên entropy (entropy-triggered gate) tự động vô hiệu hóa tín hiệu khi entropy của giáo viên sụp đổ, ngăn chặn sự mất ổn định. AntiSD là sự thay thế trực tiếp cho self-distillation mặc định, không yêu cầu mô hình bên ngoài hay chi phí bổ sung.

III. Main Results:​

Trên năm mô hình từ 4B đến 30B tham số (Qwen3, Olmo3) với các benchmark suy luận toán học (AIME 2024/2025/2026, HMMT 2025, MinervaMath), AntiSD đạt độ chính xác của baseline GRPO trong 2 đến 10 lần số bước huấn luyện ít hơn và cải thiện độ chính xác cuối cùng lên tới 11.5 điểm. Self-distillation mặc định thường kém hơn GRPO. AntiSD cũng cho thấy cải thiện nhỏ nhưng nhất quán trên các tác vụ lập trình (HumanEval+, MBPP+).

IV. Conclusion & Future Works:​

Bài báo kết luận rằng việc đảo ngược hướng gradient trong self-distillation là chìa khóa để khắc phục độ chệch lối tắt cấu trúc, cho phép mô hình ngôn ngữ tự cải thiện khả năng suy luận thông qua tín hiệu huấn luyện của chính nó. Hướng phát triển trong tương lai bao gồm mở rộng sang các cài đặt tác nhân đa lượt (multi-turn agentic settings) và các benchmark lập trình rộng hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng AntiSD cho các tác vụ suy luận đa phương thức (Multimodal Reasoning): Nghiên cứu áp dụng AntiSD cho các mô hình ngôn ngữ lớn đa phương thức (ví dụ: VLM) trong các bài toán suy luận hình ảnh, nơi ngữ cảnh đặc quyền có thể là chú thích hình ảnh hoặc mô tả chi tiết. Câu hỏi đặt ra là liệu tín hiệu PMI có điều kiện có bị ảnh hưởng bởi độ chệch tương tự giữa các token mô tả và token suy luận không gian hay không.
  2. Phân tích lý thuyết về sự hội tụ của AntiSD: Phát triển một phân tích lý thuyết chặt chẽ về sự hội tụ và tính ổn định của AntiSD, đặc biệt là vai trò của cổng entropy trong việc ngăn chặn sự sụp đổ của chính sách. Có thể chứng minh AntiSD hội tụ đến một điểm yên ngựa (saddle point) hoặc tối ưu cục bộ tốt hơn so với self-distillation tiêu chuẩn trong không gian chính sách.
  3. AntiSD cho Học Tăng cường Từ Phản hồi của Con người (RLHF): Khám phá việc sử dụng AntiSD như một cơ chế tín hiệu thưởng theo từng token trong RLHF, nơi ngữ cảnh đặc quyền là sở thích của con người hoặc phản hồi chi tiết. Liệu việc đảo ngược gradient có giúp mô hình khám phá các hành vi ưa thích một cách sáng tạo hơn thay vì chỉ bắt chước các mẫu phản hồi không?

2. Patent:​

  1. Phương pháp cải thiện khả năng suy luận của trợ lý ảo trên điện thoại thông minh: Một hệ thống trên điện thoại sử dụng AntiSD để huấn luyện mô hình ngôn ngữ nhỏ gọn (on-device) cải thiện khả năng trả lời các câu hỏi phức tạp, nhiều bước (ví dụ: lên kế hoạch du lịch, giải toán). Mô hình được huấn luyện với tín hiệu từ chính nó khi có lời giải mẫu (privileged context), giúp nó học cách suy luận logic mà không cần kết nối mạng hay máy chủ mạnh.
  2. Ứng dụng tạo nội dung sáng tạo (Creative Writing Assistant): Một ứng dụng viết lách trên điện thoại sử dụng AntiSD để giúp người dùng phát triển ý tưởng. Khi người dùng cung cấp một cốt truyện mẫu (privileged context), mô hình sẽ được huấn luyện để tạo ra các chi tiết, nhân vật và tình tiết mới lạ, thay vì chỉ sao chép cốt truyện mẫu. Điều này khuyến khích sự sáng tạo và đa dạng trong nội dung được tạo ra.
  3. Hệ thống gợi ý (Recommendation System) thích ứng trên thiết bị di động: Một hệ thống gợi ý trên điện thoại sử dụng AntiSD để học sở thích người dùng một cách linh hoạt. Thay vì chỉ dự đoán các mục người dùng có thể thích (shortcut), hệ thống sẽ được huấn luyện để khám phá các mục mới, không quen thuộc (deliberation) dựa trên lịch sử tương tác (privileged context). Điều này giúp tránh hiệu ứng 'bong bóng lọc' (filter bubble) và tăng khả năng khám phá nội dung mới.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.11609
ArXiv Abstracthttps://arxiv.org/abs/2605.11609
PDF Downloadhttps://arxiv.org/pdf/2605.11609.pdf
Github Repositoryhttps://github.com/FloyedShen/AntiSD

4. OpenComputer: Verifiable Software Worlds for Computer-Use Agents (52 votes)​

Tác giả: Jinbiao Wei, Qianran Ma, Yilun Zhao, Xiao Zhou, Kangqi Ni, Guo Gan, Arman Cohan

Xuất bản lúc: 2026-05-19

Tag: Computer-Use Agents, GUI Agents, Benchmarking, Verification, Programmatic Reward, Synthetic Environments, Desktop Automation

I. Main Problem:​

Việc xây dựng và đánh giá các tác nhân AI có khả năng thao tác trên giao diện máy tính để bàn (desktop) gặp phải hai nút thắt chính: (1) Chi phí cao và khó khăn trong việc xây dựng thủ công các môi trường desktop và nhiệm vụ (task) một cách thực tế, có thể tái lập; (2) Việc xác minh kết quả đầu ra của tác nhân một cách đáng tin cậy gặp nhiều thách thức, vì các phương pháp đánh giá phổ biến như 'LLM-as-a-judge' thường dựa trên ảnh chụp màn hình, dễ bỏ sót các lỗi tinh vi trong trạng thái ứng dụng bên dưới, khó kiểm toán và tái lập.

II. Main Idea:​

Bài báo giới thiệu OpenComputer, một khung làm việc (framework) lấy bộ xác minh (verifier) làm trung tâm để xây dựng các thế giới phần mềm có thể xác minh được cho các tác nhân sử dụng máy tính. OpenComputer tích hợp bốn thành phần chính: (1) Bộ xác minh trạng thái theo từng ứng dụng (app-specific state verifiers) giúp kiểm tra trạng thái ứng dụng một cách có cấu trúc và đáng tin cậy. (2) Tầng xác minh tự tiến hóa (self-evolving verification layer) giúp cải thiện độ tin cậy của bộ xác minh dựa trên phản hồi từ quá trình thực thi thực tế. (3) Quy trình tạo nhiệm vụ tự động (task-generation pipeline) tổng hợp các tác vụ desktop thực tế và có thể kiểm tra bằng máy. (4) Bộ đánh giá (evaluation harness) ghi lại toàn bộ quá trình tương tác và tính điểm thưởng (reward) một cách có kiểm toán.

III. Main Results:​

Kết quả thử nghiệm trên 33 ứng dụng desktop và 1,000 nhiệm vụ cho thấy: (1) Các tác nhân tiên tiến (frontier agents) như GPT-5.4 (68.3%), Claude-Sonnet-4.6 (64.4%) và Kimi-K2.6 (58.8%) vẫn gặp nhiều khó khăn khi hoàn thành các tác vụ một cách trọn vẹn. (2) Các bộ xác minh được lập trình cứng (hard-coded verifiers) của OpenComputer có độ tương đồng với đánh giá của con người cao hơn nhiều so với phương pháp LLM-as-a-judge (92.2% so với 79.2% ở cấp độ nhiệm vụ). (3) Các mô hình mã nguồn mở cho thấy sự sụt giảm hiệu năng rõ rệt so với điểm số trên benchmark OSWorld, ví dụ GUI-OWL-1.5-8B giảm từ 52.3% xuống còn 5.7%, cho thấy khoảng cách lớn trong khả năng tự động hóa máy tính một cách mạnh mẽ.

IV. Conclusion & Future Works:​

OpenComputer cung cấp một cơ sở hạ tầng vững chắc cho nghiên cứu về tác nhân sử dụng máy tính, giúp tạo ra các môi trường đáng tin cậy, phần thưởng có cơ sở và quy trình xây dựng nhiệm vụ có thể tái lập. Hướng phát triển trong tương lai bao gồm việc kết hợp xác minh lai (hybrid verification), nơi các kiểm tra trạng thái có thể thực thi được kết hợp với các đánh giá trực quan cho những tác vụ mà kết quả phụ thuộc vào bố cục, hình học hoặc giao diện hiển thị.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về cơ chế tự tiến hóa cho bộ xác minh trong môi trường động. Mở rộng tầng tự tiến hóa của OpenComputer để thích ứng với các ứng dụng thay đổi thường xuyên (ví dụ: cập nhật giao diện, thay đổi API), đảm bảo độ tin cậy lâu dài mà không cần can thiệp thủ công.
  2. Phát triển các phương pháp xác minh lai (Hybrid Verification) cho tác vụ desktop. Kết hợp bộ xác minh lập trình (programmatic verifiers) với các mô hình thị giác máy tính để xử lý các tác vụ đòi hỏi đánh giá trực quan như bố cục, căn chỉnh, hoặc màu sắc, mở rộng phạm vi các tác vụ có thể kiểm tra một cách đáng tin cậy.
  3. Xây dựng quy trình huấn luyện tác nhân sử dụng máy tính dựa trên phần thưởng từ bộ xác minh (Verifier-Grounded RL). Sử dụng các phần thưởng có thể kiểm tra bằng máy từ OpenComputer làm tín hiệu cho các thuật toán học tăng cường (RL) hoặc lấy mẫu loại bỏ (rejection sampling) để huấn luyện các tác nhân mạnh mẽ và đáng tin cậy hơn.

2. Patent:​

  1. Phương pháp và hệ thống tự động kiểm tra và sửa lỗi cho các ứng dụng trên điện thoại thông minh. Hệ thống này sử dụng một bộ xác minh (verifier) để kiểm tra trạng thái của ứng dụng sau mỗi thao tác. Nếu phát hiện lỗi, hệ thống sẽ tự động phân tích nguyên nhân và đề xuất hoặc thực hiện các bước sửa lỗi, giúp người dùng không cần can thiệp thủ công, đặc biệt hữu ích cho các ứng dụng phức tạp như chỉnh sửa ảnh hay soạn thảo văn bản.
  2. Trợ lý ảo trên điện thoại thông minh có khả năng thực hiện các tác vụ nhiều bước và tự kiểm tra kết quả. Trợ lý này không chỉ thực hiện các lệnh như 'gửi email' hay 'đặt lịch hẹn' mà còn có khả năng kiểm tra lại xem email đã được gửi thành công chưa, lịch hẹn đã được tạo với đúng thông tin chưa, dựa trên trạng thái thực tế của các ứng dụng, đảm bảo độ chính xác cao hơn so với các trợ lý chỉ dựa trên suy luận ngôn ngữ.
  3. Hệ thống tạo và kiểm tra bài kiểm tra tự động cho các khóa học sử dụng phần mềm trên thiết bị di động. Hệ thống này có thể tự động tạo ra các bài tập thực hành (ví dụ: 'Tạo một bảng tính với các ô được tô màu') và sử dụng bộ xác minh để chấm điểm dựa trên trạng thái thực tế của tệp tin, thay vì chỉ dựa trên ảnh chụp màn hình, giúp việc đánh giá khách quan và chi tiết hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.19769
ArXiv Abstracthttps://arxiv.org/abs/2605.19769
PDF Downloadhttps://arxiv.org/pdf/2605.19769.pdf
Github Repositoryhttps://github.com/echo0715/OpenComputer

5. AutoResearchClaw: Self-Reinforcing Autonomous Research with Human-AI Collaboration (52 votes)​

Tác giả: Jiaqi Liu, Shi Qiu, Mairui Li, Bingzhou Li, Haonian Ji, Siwei Han, Xinyu Ye, Peng Xia, Zihan Dong, Congyu Zhang, Letian Zhang, Guiming Chen, Haoqin Tu, Xinyu Yang, Lu Feng, Xujiang Zhao, Haifeng Chen, Jiawei Zhou, Xiao Wang, Weitong Zhang, Hongtu Zhu, Yun Li, Jieru Mei, Hongliang Fei, Jiaheng Zhang, Linjie Li, Linjun Zhang, Yuyin Zhou, Sheng Wang, Caiming Xiong, James Zou, Zeyu Zheng, Cihang Xie, Mingyu Ding, Huaxiu Yao

Xuất bản lúc: 2026-05-19

Tag: Multi-Agent Systems, LLMs, Self-Healing, Human-in-the-Loop, Scientific Discovery, Debate

I. Main Problem:​

Các hệ thống nghiên cứu tự động hiện tại xử lý quá trình nghiên cứu như một quy trình tuyến tính một chiều: chúng dựa vào suy luận của một tác tử duy nhất, dừng lại khi thực thi thất bại và không tích lũy kinh nghiệm qua các lần chạy. Điều này dẫn đến ba hạn chế chính: chất lượng giả thuyết kém do thiếu phản biện đa chiều, khả năng chịu lỗi kém khi thí nghiệm thất bại, và không có cơ chế học hỏi từ những sai lầm trong quá khứ.

II. Main Idea:​

Bài báo đề xuất AutoResearchClaw, một hệ thống nghiên cứu tự động đa tác tử được xây dựng dựa trên năm cơ chế chính: (1) Tranh luận có cấu trúc với nhiều tác tử đóng vai trò khác nhau (Người đổi mới, Người thực dụng, Người phản biện) để tạo và đánh giá giả thuyết; (2) Cơ chế tự phục hồi với vòng lặp quyết định Pivot/Refine, biến thất bại thành thông tin thay vì điểm dừng; (3) Báo cáo kết quả có thể kiểm chứng, ngăn chặn số liệu bịa đặt và trích dẫn ảo giác; (4) Cộng tác người-máy với bảy chế độ can thiệp, từ tự động hoàn toàn đến giám sát từng bước; (5) Tiến hóa qua các lần chạy, lưu trữ bài học từ các lần chạy trước và áp dụng cho các lần chạy sau với cơ chế suy giảm theo thời gian.

III. Main Results:​

Trên bộ benchmark ARC-Bench (25 chủ đề), AutoResearchClaw vượt trội AI Scientist v2 tới 54,7%. Cải thiện lớn nhất nằm ở khả năng Phân tích Kết quả (tăng 100,4%). Trong thử nghiệm với con người, chế độ CoPilot (can thiệp có mục tiêu tại 6 điểm quyết định) đạt tỷ lệ chấp nhận bài báo cao nhất (87,5%), vượt xa cả chế độ tự động hoàn toàn (25%) và giám sát từng bước (50%).

IV. Conclusion & Future Works:​

AutoResearchClaw là một hệ thống nghiên cứu tự động đa tác tử, kết hợp các cơ chế tranh luận, tự phục hồi, kiểm chứng, cộng tác người-máy và tiến hóa qua các lần chạy. Kết quả cho thấy sự cộng tác chính xác, có mục tiêu giữa người và máy là một mô hình hiệu quả hơn so với tự động hóa hoàn toàn hoặc giám sát chi tiết từng bước. Hướng phát triển trong tương lai có thể bao gồm mở rộng sang các lĩnh vực khoa học khác và cải thiện cơ chế học hỏi qua các lần chạy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc áp dụng cơ chế 'tranh luận đa tác tử' (multi-agent debate) trong các hệ thống hỗ trợ quyết định y tế, nơi các tác tử đóng vai trò là các chuyên gia khác nhau (ví dụ: bác sĩ chẩn đoán, bác sĩ xét nghiệm, bác sĩ điều trị) để đưa ra chẩn đoán và phác đồ điều trị chính xác hơn.
  2. Phát triển một hệ thống 'tự phục hồi' (self-healing) cho các quy trình tự động hóa trong sản xuất công nghiệp, nơi hệ thống có thể tự động chẩn đoán lỗi và quyết định 'sửa chữa' (Refine) quy trình hiện tại hoặc 'chuyển hướng' (Pivot) sang một quy trình khác dựa trên thông tin từ lỗi.
  3. Xây dựng một nền tảng 'tiến hóa qua các lần chạy' (cross-run evolution) cho các chatbot dịch vụ khách hàng, nơi các bài học từ các tương tác thất bại trước đó (ví dụ: không hiểu yêu cầu của khách hàng) được lưu trữ và sử dụng để cải thiện phản hồi trong các tương tác tương lai.

2. Patent:​

  1. Phương pháp và hệ thống tối ưu hóa thí nghiệm trên điện thoại thông minh dựa trên cơ chế tự phục hồi: Hệ thống này giúp người dùng điện thoại thông minh thiết kế và chạy các thí nghiệm khoa học đơn giản (ví dụ: đo tốc độ rơi của vật thể bằng camera). Khi thí nghiệm thất bại (ví dụ: vật thể rơi quá nhanh, camera không bắt kịp), hệ thống sẽ tự động phân tích nguyên nhân thất bại và đề xuất các điều chỉnh (ví dụ: giảm độ cao thả vật, tăng tốc độ quay phim) hoặc chuyển sang một hướng thí nghiệm khác (ví dụ: đo tốc độ lăn trên mặt phẳng nghiêng).
  2. Ứng dụng trên điện thoại thông minh hỗ trợ học tập dựa trên cơ chế tranh luận đa tác tử: Ứng dụng này giúp học sinh, sinh viên hiểu sâu hơn về một chủ đề bằng cách mô phỏng một cuộc tranh luận giữa các 'chuyên gia' khác nhau. Ví dụ, khi học về biến đổi khí hậu, người dùng có thể yêu cầu ứng dụng tổ chức một cuộc tranh luận giữa 'Nhà khoa học môi trường', 'Nhà kinh tế' và 'Nhà hoạch định chính sách'. Mỗi 'chuyên gia' sẽ đưa ra quan điểm và phản biện lẫn nhau, giúp người dùng có cái nhìn đa chiều về vấn đề.
  3. Phương pháp kiểm tra độ tin cậy của thông tin trên điện thoại thông minh dựa trên cơ chế báo cáo kết quả có thể kiểm chứng: Một ứng dụng hoặc tiện ích mở rộng trình duyệt trên điện thoại thông minh có thể tự động kiểm tra các số liệu và trích dẫn được đưa ra trong các bài báo, bài viết trên mạng xã hội. Ứng dụng sẽ truy xuất nguồn gốc của số liệu và trích dẫn, so sánh với một cơ sở dữ liệu đã được kiểm chứng, và cảnh báo người dùng nếu phát hiện thông tin có dấu hiệu bịa đặt hoặc sai lệch.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.20025
ArXiv Abstracthttps://arxiv.org/abs/2605.20025
PDF Downloadhttps://arxiv.org/pdf/2605.20025.pdf
Github Repositoryhttps://github.com/aiming-lab/AutoResearchClaw

6. GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment (51 votes)​

Tác giả: Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

Xuất bản lúc: 2026-05-19

Tag: Reinforcement Learning, Long-Context, Large Language Models, GRPO, Multi-Task Learning, RLVR

I. Main Problem:​

Các phương pháp học tăng cường ngữ cảnh dài hiện tại thường xây dựng dữ liệu xoay quanh các đường dẫn truy xuất phức tạp, dẫn đến phạm vi nhiệm vụ hạn hẹp và thiết kế phần thưởng không phản ánh đầy đủ các yêu cầu thực tế của ngữ cảnh dài. Hơn nữa, khi huấn luyện trên nhiều tác vụ không đồng nhất, phương pháp GRPO tiêu chuẩn gặp vấn đề về sự khác biệt tỷ lệ phần thưởng giữa các tác vụ và độ lệch độ khó, khiến việc tối ưu hóa không hiệu quả.

II. Main Idea:​

Bài báo đề xuất GoLongRL, một quy trình huấn luyện sau mã nguồn mở hoàn toàn cho học tăng cường ngữ cảnh dài với phần thưởng có thể xác minh. Đóng góp chính gồm: (1) Xây dựng bộ dữ liệu 23K mẫu RLVR theo hướng năng lực, bao phủ 9 loại tác vụ, mỗi tác vụ đi kèm với một hàm đánh giá tự nhiên làm phần thưởng. (2) Đề xuất TMN-Reweight, kết hợp chuẩn hóa trung bình cấp tác vụ và trọng số thích ứng độ khó để giải quyết các vấn đề tối ưu hóa từ phần thưởng không đồng nhất.

III. Main Results:​

Dưới cùng thiết lập GRPO, huấn luyện trên bộ dữ liệu theo hướng năng lực cải thiện điểm trung bình ngữ cảnh dài từ 53.0 lên 62.2 trên Qwen3-4B-Thinking và từ 60.1 lên 69.8 trên Qwen3-30B-A3B, vượt trội hơn so với QwenLong-L1.5 được huấn luyện với GRPO ở cả hai tỷ lệ. TMN-Reweight nâng điểm trung bình lên 63.0 trên mô hình 4B. Mô hình GoLongRL-30B-A3B đạt hiệu suất ngữ cảnh dài tương đương với DeepSeek-R1-0528 và Qwen3-235B-A22B-Thinking.

IV. Conclusion & Future Works:​

GoLongRL chứng minh rằng phạm vi bao phủ rộng hơn và sự đa dạng phần thưởng lớn hơn mang lại lợi ích đáng kể cho việc cải thiện năng lực ngữ cảnh dài. Học tăng cường ngữ cảnh dài với dữ liệu theo hướng năng lực bảo toàn hoặc cải thiện khả năng suy luận và trí nhớ tổng quát. Hướng nghiên cứu tương lai bao gồm kết hợp trọng số cấp token với RLVR và áp dụng quy trình này cho các mô hình nền tảng mạnh hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển một phương pháp học tăng cường mới kết hợp trọng số cấp token với RLVR để cải thiện khả năng học các tín hiệu ngữ cảnh dài.
  2. Nghiên cứu mở rộng khung TMN-Reweight cho các bài toán đa tác vụ khác ngoài ngữ cảnh dài, như suy luận đa phương thức hoặc lập kế hoạch tác nhân.
  3. Xây dựng một bộ dữ liệu mới với các tác vụ ngữ cảnh dài phức tạp hơn, chẳng hạn như lập luận pháp lý hoặc phân tích tài chính đa tài liệu, và đánh giá hiệu quả của GoLongRL.

2. Patent:​

  1. Phương pháp và hệ thống cải thiện khả năng tóm tắt cuộc hội thoại dài trên điện thoại di động bằng cách sử dụng học tăng cường với phần thưởng đa dạng, giúp tạo ra các bản tóm tắt chính xác và súc tích hơn cho người dùng.
  2. Ứng dụng trên thiết bị di động giúp người dùng tìm kiếm thông tin trong các tài liệu dài như sách điện tử hoặc báo cáo, sử dụng mô hình ngôn ngữ lớn được huấn luyện bằng GoLongRL để truy xuất chính xác các đoạn văn bản liên quan dựa trên câu hỏi tự nhiên.
  3. Hệ thống gợi ý nội dung cá nhân hóa trên điện thoại thông minh, sử dụng khả năng xếp hạng và hiểu ngữ cảnh dài từ mô hình được huấn luyện với GoLongRL để phân tích lịch sử tương tác và đề xuất các bài viết, video hoặc sản phẩm phù hợp nhất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.19577
ArXiv Abstracthttps://arxiv.org/abs/2605.19577
PDF Downloadhttps://arxiv.org/pdf/2605.19577.pdf
Github Repositoryhttps://github.com/xiaoxuanNLP/GoLongRL

7. Process Rewards with Learned Reliability (45 votes)​

Tác giả: Jinyuan Li, Langlin Huang, Chengsong Huang, Shaoyang Xu, Donghong Cai, Yuyi Yang, Wenxuan Zhang, Jiaxin Huang

Xuất bản lúc: 2026-05-15

Tag: Process Reward Models, Uncertainty Estimation, Beta Distribution, Best-of-N, Test-Time Scaling, Multi-modal Reasoning, Reinforcement Learning

I. Main Problem:​

Các mô hình Phần thưởng Quy trình (PRM) hiện tại chỉ đưa ra một điểm số thưởng duy nhất cho mỗi bước suy luận, mà không có bất kỳ tín hiệu nào về độ tin cậy của dự đoán đó. Điều này dẫn đến các phương pháp hạ nguồn (downstream) buộc phải coi các điểm thưởng dự đoán không hoàn hảo là các tín hiệu quyết định đáng tin cậy, gây ra nhiều vấn đề khi điểm số không chắc chắn. Ngoài ra, nhãn huấn luyện (step-level labels) thường là các ước lượng nhiễu từ mẫu hữu hạn (Monte Carlo), việc ép mô hình khớp với một nhãn điểm duy nhất này có thể dẫn đến overfitting với nhiễu mẫu.

II. Main Idea:​

Bài báo đề xuất BETAPRM, một mô hình PRM phân phối (distributional PRM) dự đoán cả xác suất thành công của một bước suy luận (process reward) và độ tin cậy của dự đoán đó. BETAPRM mô hình hóa niềm tin (belief) về xác suất thành công của một tiền tố (prefix) dưới dạng phân phối Beta, được tham số hóa bởi giá trị trung bình (mean) và độ tập trung (concentration). Mô hình được huấn luyện với hàm mục tiêu Beta-Binomial, tối đa hóa khả năng xảy ra của số lần thành công quan sát được từ các mẫu Monte Carlo, thay vì hồi quy về một tỷ lệ điểm duy nhất. Tín hiệu độ tin cậy này cho phép các ứng dụng hạ nguồn phân biệt giữa các phần thưởng đáng tin cậy và không chắc chắn. Bài báo cũng giới thiệu một ứng dụng cụ thể là Phân bổ Tính toán Thích ứng (ACA) cho phương pháp Best-of-N, giúp tiết kiệm tài nguyên tính toán bằng cách dừng sớm khi tìm thấy kết quả đáng tin cậy và tập trung tính toán vào các tiền tố không chắc chắn.

III. Main Results:​

BETAPRM cải thiện hiệu suất lựa chọn Best-of-N trên bốn backbone (mô hình nền) và bốn bộ dữ liệu chuẩn. Ví dụ, trên backbone InternVL2.5-8B, BETAPRM đạt mức cải thiện trung bình +3.37 điểm so với PRM tiêu chuẩn. Trên backbone InternVL3-14B, mức cải thiện là +1.29 điểm. ACA, dựa trên tín hiệu độ tin cậy từ BETAPRM, cải thiện sự cân bằng giữa độ chính xác và số lượng token sử dụng so với Best-of-16 thông thường, giảm tới 33.57% lượng token tiêu thụ trên bộ dữ liệu MathVerse với backbone InternVL2.5-8B, đồng thời vẫn cải thiện độ chính xác của câu trả lời cuối cùng. BETAPRM cũng duy trì khả năng phát hiện lỗi ở cấp độ bước (step-level error detection) tương đương với PRM tiêu chuẩn.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng BETAPRM đã biến các điểm thưởng quy trình đơn lẻ thành các tín hiệu có nhận thức về độ tin cậy, hữu ích cho việc lựa chọn và phân bổ tính toán trong suy luận. Hướng nghiên cứu trong tương lai có thể bao gồm: (1) Mở rộng BETAPRM cho các nhiệm vụ khác ngoài suy luận đa phương thức (multi-modal reasoning). (2) Khám phá các ứng dụng khác của tín hiệu độ tin cậy, ví dụ như trong tinh chỉnh bằng học tăng cường (reinforcement learning fine-tuning) hoặc các chiến lược tìm kiếm phức tạp hơn. (3) Cải thiện khả năng ước lượng độ tin cậy cho các tiền tố có độ dài khác nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng BETAPRM cho các tác vụ lập kế hoạch và ra quyết định theo chuỗi, nơi độ tin cậy của từng bước là rất quan trọng.
  2. Nghiên cứu việc tích hợp tín hiệu độ tin cậy từ BETAPRM vào các thuật toán học tăng cường như PPO để cải thiện hiệu quả huấn luyện.
  3. Phát triển các phương pháp ước lượng độ tin cậy mới dựa trên các phân phối xác suất khác (ví dụ: phân phối Dirichlet) để mô hình hóa sự không chắc chắn một cách phong phú hơn.

2. Patent:​

  1. Phương pháp và hệ thống tối ưu hóa việc tạo câu trả lời trên thiết bị di động dựa trên độ tin cậy: Hệ thống này sử dụng mô hình BETAPRM để đánh giá độ tin cậy của từng bước suy luận. Khi người dùng đặt câu hỏi, hệ thống sẽ tạo ra nhiều câu trả lời tiềm năng và đánh giá độ tin cậy của chúng. Nếu một câu trả lời có điểm số cao và độ tin cậy cao, hệ thống sẽ dừng việc tạo thêm và trả về kết quả ngay lập tức. Điều này giúp tiết kiệm năng lượng và thời gian xử lý trên điện thoại di động, đặc biệt hữu ích cho các tác vụ phức tạp.
  2. Ứng dụng trên điện thoại thông minh để hỗ trợ dịch thuật và giải thích văn bản với độ tin cậy được hiển thị: Ứng dụng này sử dụng BETAPRM để dịch hoặc giải thích một đoạn văn bản. Mỗi bước dịch hoặc giải thích sẽ được hiển thị kèm theo một chỉ số độ tin cậy (ví dụ: dưới dạng thanh màu hoặc biểu tượng). Người dùng có thể dễ dàng nhận biết những phần nào của bản dịch hoặc giải thích là đáng tin cậy và những phần nào cần được kiểm tra lại, giúp họ đưa ra quyết định chính xác hơn khi sử dụng thông tin.
  3. Phương pháp phân bổ tài nguyên tính toán thích ứng cho trợ lý ảo trên điện thoại dựa trên độ phức tạp câu hỏi: Trợ lý ảo sử dụng BETAPRM để ước tính độ tin cậy của câu trả lời sơ bộ. Nếu câu hỏi đơn giản và câu trả lời có độ tin cậy cao, trợ lý sẽ trả lời nhanh chóng mà không cần nhiều tài nguyên. Nếu câu hỏi phức tạp hoặc câu trả lời có độ tin cậy thấp, trợ lý sẽ phân bổ thêm tài nguyên (ví dụ: kết nối đám mây) để tạo ra câu trả lời chính xác hơn. Điều này tối ưu hóa hiệu suất và thời gian phản hồi trên thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.15529
ArXiv Abstracthttps://arxiv.org/abs/2605.15529
PDF Downloadhttps://arxiv.org/pdf/2605.15529.pdf
Github Repositoryhttps://github.com/JinYuanLi0012/Beta-Binomial-PRM

8. EnvFactory: Scaling Tool-Use Agents via Executable Environments Synthesis and Robust RL (40 votes)​

Tác giả: Minrui Xu, Zilin Wang, Mengyi DENG, Zhiwei Li, Zhicheng Yang, Xiao Zhu, Yinhong Liu, Boyu Zhu, Baiyu Huang, Chao Chen, Heyuan Deng, Fei Mi, Lifeng Shang, Xingshan Zeng, Zhijiang Guo

Xuất bản lúc: 2026-05-18

Tag: Agentic RL, Tool-Use Agents, Environment Synthesis, Reinforcement Learning, LLMs

I. Main Problem:​

Hiện nay, việc huấn luyện các tác nhân AI (Agent) sử dụng công cụ (tool-use) gặp hai khó khăn chính: (1) Thiếu môi trường thực thi (execution environments) có khả năng mở rộng và ổn định, vì các phương pháp hiện tại hoặc dựa vào API thực tế (đắt đỏ, độ trễ cao), hoặc dùng LLM để mô phỏng (dễ bị ảo giác, không ổn định), hoặc tạo môi trường tổng hợp nhưng phụ thuộc vào tài liệu có sẵn và thường chỉ hỗ trợ một lượt tương tác. (2) Thiếu dữ liệu huấn luyện thực tế, vì các quỹ đạo (trajectories) tổng hợp hiện tại thường quá chi tiết, giống như danh sách hướng dẫn máy móc, không phản ánh được sự mơ hồ và suy luận ngầm trong các yêu cầu của con người.

II. Main Idea:​

Tác giả đề xuất EnvFactory, một khung làm việc hoàn toàn tự động giúp giải quyết cả hai vấn đề trên. EnvFactory tự động khám phá và xác minh các môi trường công cụ có trạng thái (stateful) từ các nguồn tài nguyên thực tế, sau đó tổng hợp các quỹ đạo đa lượt tự nhiên thông qua chiến lược lấy mẫu có nhận thức về cấu trúc liên kết (topology-aware sampling) và tinh chỉnh có kiểm soát (calibrated refinement). Cụ thể, EnvFactory có ba thành phần chính: (1) Xây dựng môi trường (EnvGen): tự động đề xuất, tìm kiếm, xây dựng và xác minh các môi trường công cụ. (2) Đồ thị phụ thuộc công cụ (Dependency Tool Graph): xây dựng đồ thị có hướng thể hiện mối quan hệ giữa các công cụ để hỗ trợ lấy mẫu. (3) Tổng hợp quỹ đạo (QueryGen): sử dụng đồ thị để lấy mẫu các chuỗi công cụ, sau đó tạo ra các câu truy vấn tự nhiên, có chứa các suy luận ngầm và sự mơ hồ, và cuối cùng là giải quyết chúng trong môi trường sandbox để tạo ra các quỹ đạo tham chiếu đã được xác minh.

III. Main Results:​

Chỉ với 85 môi trường đã được xác minh trên 7 lĩnh vực, EnvFactory tạo ra 2,575 quỹ đạo cho cả SFT và RL. Kết quả thực nghiệm cho thấy EnvFactory đạt được hiệu quả huấn luyện vượt trội so với các phương pháp trước đó (vốn sử dụng số lượng môi trường nhiều gấp 5 lần). Cụ thể, mô hình Qwen3-series được cải thiện lên tới +15% trên BFCLv3, +8.6% trên MCP-Atlas và +6% trên các benchmark đối thoại như 𝜏2-Bench và VitaBench. EnvFactory cũng cho thấy khả năng mở rộng tốt: tăng số lượng môi trường giúp cải thiện hiệu suất một cách nhất quán.

IV. Conclusion & Future Works:​

EnvFactory cung cấp một nền tảng có khả năng mở rộng, linh hoạt và mạnh mẽ cho Agentic RL bằng cách tự động hóa hoàn toàn việc xây dựng môi trường và tổng hợp quỹ đạo. Các kết quả thực nghiệm cho thấy phương pháp này vượt trội hơn so với các phương pháp hiện có, đặc biệt là về hiệu quả sử dụng dữ liệu. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng EnvFactory để hỗ trợ nhiều lĩnh vực và loại công cụ hơn, cũng như cải thiện các kỹ thuật tinh chỉnh để tạo ra các quỹ đạo thậm chí còn tự nhiên và phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng EnvFactory cho các lĩnh vực chuyên biệt: Áp dụng EnvFactory để xây dựng môi trường và tổng hợp dữ liệu cho các lĩnh vực hẹp như y tế, luật, hoặc giáo dục, nơi các công cụ có tính chuyên môn cao và yêu cầu độ chính xác tuyệt đối. Nghiên cứu sự khác biệt về hiệu quả khi so sánh với việc sử dụng các môi trường tổng quát.
  2. Cải thiện chất lượng tổng hợp quỹ đạo bằng mô hình ngôn ngữ lớn hơn: Nghiên cứu việc sử dụng các mô hình ngôn ngữ lớn hơn và mạnh hơn (ví dụ: GPT-5, Claude-4) trong các giai đoạn tinh chỉnh (refinement) của EnvFactory để tạo ra các quỹ đạo có độ tự nhiên và độ phức tạp cao hơn, đồng thời giảm thiểu sự phụ thuộc vào các quy tắc được xác định trước.
  3. Tích hợp phản hồi của con người vào vòng lặp huấn luyện: Kết hợp EnvFactory với các kỹ thuật học tăng cường từ phản hồi của con người (RLHF) để tinh chỉnh các phần thưởng (reward) cho quá trình RL. Nghiên cứu cách phản hồi của con người có thể giúp cải thiện khả năng suy luận ngầm và xử lý sự mơ hồ của tác nhân AI.

2. Patent:​

  1. Phương pháp và hệ thống tạo môi trường ảo để huấn luyện trợ lý ảo trên điện thoại thông minh: Một hệ thống tự động xây dựng các ứng dụng mô phỏng (ví dụ: ứng dụng đặt vé máy bay, ứng dụng ngân hàng) trên điện thoại. Hệ thống này sẽ tạo ra các tình huống thực tế (ví dụ: hủy đặt phòng, chuyển tiền) và các cuộc hội thoại tự nhiên để huấn luyện trợ lý ảo hiểu và thực hiện các thao tác phức tạp, thay vì chỉ thực hiện các lệnh đơn giản.
  2. Ứng dụng trên điện thoại sử dụng AI để tự động hóa các tác vụ đa bước dựa trên ngữ cảnh: Một ứng dụng di động cho phép người dùng đưa ra các yêu cầu mơ hồ, không đầy đủ (ví dụ: 'Lên kế hoạch cho chuyến đi cuối tuần này'). Ứng dụng sẽ sử dụng một tác nhân AI đã được huấn luyện với phương pháp EnvFactory để tự động suy luận ra các bước cần thiết, truy xuất thông tin từ nhiều ứng dụng khác nhau trên điện thoại (lịch, thời tiết, đặt vé, bản đồ) và thực hiện chúng một cách tuần tự.
  3. Hệ thống tổng hợp dữ liệu huấn luyện cho trợ lý ảo trên thiết bị di động: Một hệ thống chạy trên server hoặc đám mây, có khả năng tự động tạo ra các bộ dữ liệu huấn luyện chất lượng cao cho các trợ lý ảo trên điện thoại. Hệ thống này mô phỏng các ứng dụng phổ biến trên điện thoại (ví dụ: nhắn tin, gọi điện, danh bạ, lịch) và tạo ra các cuộc hội thoại thực tế, có chứa các yếu tố như tham chiếu ngầm (ví dụ: 'gọi cho anh ấy'), sự mơ hồ (ví dụ: 'nhắc tôi về cuộc họp đó'), và các yêu cầu phức tạp, nhiều bước.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.18703
ArXiv Abstracthttps://arxiv.org/abs/2605.18703
PDF Downloadhttps://arxiv.org/pdf/2605.18703.pdf
Github Repositoryhttps://github.com/LARK-AI-Lab/EnvFactory

9. CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition (31 votes)​

Tác giả: Hongji Yang, Songlian Li, Yucheng Zhou, Xiaotong Zhao, Alan Zhao, Chengzhong Xu, Jianbing Shen

Xuất bản lúc: 2026-05-19

Tag: Video Generation, Controllable Generation, Vision-Language Model, Diffusion Model, Reinforcement Learning

I. Main Problem:​

Các mô hình sinh video hiện tại gặp khó khăn trong việc hiểu và thực thi các điều kiện đầu vào trừu tượng, thưa thớt hoặc phức tạp (ví dụ: bản phác thảo storyboard, kết xuất đất sét) trong quy trình sản xuất chuyên nghiệp. Cụ thể, có hai khoảng cách chính: (1) Khoảng cách nhận thức: Các mô hình ngôn ngữ-hình ảnh (VLM) thông thường không hiểu được ý đồ sáng tạo tiềm ẩn từ các tín hiệu đa phương thức phức tạp hoặc mâu thuẫn. (2) Khoảng cách căn chỉnh: Đầu ra suy luận từ VLM chưa được căn chỉnh tốt với video được sinh ra, dẫn đến nhiễu và kết quả không như mong muốn.

II. Main Idea:​

Bài báo đề xuất CogOmniControl, một khung kiến trúc điều khiển sinh video dựa trên suy luận. Khung này tách quá trình sinh thành hai phần: (1) Nhận thức ý đồ sáng tạo: CogVLM, một VLM chuyên biệt được huấn luyện trên dữ liệu sản xuất anime thực tế, có khả năng hiểu các điều kiện trừu tượng, suy luận ý đồ sáng tạo và chuyển đổi các tín hiệu đa phương thức thành đầu ra logic chi tiết. (2) Sinh video: CogOmniDiT, một Diffusion Transformer thống nhất, tích hợp các tín hiệu điều khiển đa dạng với các đặc trưng ngữ nghĩa cao từ CogVLM để tạo video. Ngoài ra, CogVLM còn có thể chọn ra các bộ đánh giá phù hợp để thực hiện chiến lược Best-of-N, tạo thành một vòng lặp khép kín 'Reasoning-Generation-Verification'.

III. Main Results:​

Kết quả thực nghiệm trên hai bộ benchmark mới (CogReasonBench và CogControlBench) cho thấy CogOmniControl vượt trội so với các mô hình mã nguồn mở hiện có như VINO và VACE-Wan2.1, đạt điểm trung bình cao nhất (0.727). Mô hình cũng thu hẹp khoảng cách với các hệ thống thương mại mạnh nhất như Seedance2.0 (0.750). Việc sử dụng Best-of-N với các bộ đánh giá được chọn thích ứng dựa trên đầu vào của CogVLM giúp cải thiện hiệu suất hơn nữa.

IV. Conclusion & Future Works:​

CogOmniControl là một khung kiến trúc thành công trong việc kết nối khoảng cách giữa các điều kiện trừu tượng và sinh video có điều khiển. Bằng cách phân tách rõ ràng quá trình thành nhận thức và sinh, mô hình đã chứng minh được hiệu quả trong việc hiểu và thực thi ý đồ sáng tạo. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng khả năng của mô hình cho nhiều loại điều kiện đầu vào hơn, cải thiện hiệu quả tính toán, và ứng dụng vào các quy trình sản xuất chuyên nghiệp khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu phương pháp huấn luyện CogVLM hiệu quả hơn với ít dữ liệu chuyên ngành hơn, sử dụng kỹ thuật học chuyển giao hoặc tổng hợp dữ liệu.
  2. Phát triển kiến trúc CogOmniDiT mới có khả năng xử lý đồng thời nhiều điều kiện đầu vào phức tạp hơn, như kết hợp nhiều luồng video điều khiển khác nhau.
  3. Mở rộng khung kiến trúc CogOmniControl để hỗ trợ sinh video tương tác, nơi người dùng có thể điều chỉnh ý đồ sáng tạo trong thời gian thực.

2. Patent:​

  1. Phương pháp và hệ thống trên điện thoại di động cho phép người dùng tạo video ngắn từ bản phác thảo tay vẽ trực tiếp trên màn hình cảm ứng. Hệ thống sử dụng mô hình AI để hiểu ý đồ của người dùng từ bản phác thảo và sinh ra video hoàn chỉnh với chuyển động mượt mà.
  2. Ứng dụng trên điện thoại thông minh cho phép người dùng chụp ảnh một vật thể hoặc cảnh vật, sau đó mô tả bằng văn bản một hành động hoặc bối cảnh khác. Hệ thống AI sẽ kết hợp hình ảnh và văn bản để tạo ra một video mới với nội dung theo ý muốn.
  3. Phương pháp cải thiện chất lượng video được tạo trên điện thoại di động bằng cách sử dụng mô hình AI để tự động đánh giá và chọn ra phiên bản video tốt nhất từ nhiều phiên bản được sinh ra. Mô hình AI sẽ xem xét các tiêu chí như độ mượt của chuyển động, sự nhất quán của nhân vật và chất lượng hình ảnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.19995
ArXiv Abstracthttps://arxiv.org/abs/2605.19995
PDF Downloadhttps://arxiv.org/pdf/2605.19995.pdf
Github RepositoryN/A

10. Harnessing LLM Agents with Skill Programs (28 votes)​

Tác giả: Hongjun Liu, Yifei Ming, Shafiq Joty, Chen Zhao

Xuất bản lúc: 2026-05-18

Tag: LLM Agents, Skill Programs, Program Functions, Agent Harness, Self-Improvement, Web Search, Mathematical Reasoning, Coding

I. Main Problem:​

Các tác nhân LLM (Large Language Model) hiện tại thường gặp lỗi lặp lại khi giải quyết các tác vụ phức tạp và dài hạn. Các kỹ năng (skill) được lưu trữ dưới dạng văn bản (textual) thường mang tính tư vấn (advisory) và không có cơ chế rõ ràng để can thiệp trực tiếp vào vòng lặp ra quyết định của tác nhân, dẫn đến hiệu quả kiểm soát hành vi kém.

II. Main Idea:​

Bài báo giới thiệu HASP (Harnessing LLM Agents with Skill Programs), một framework biến các kỹ năng thành các Program Functions (PFs) có thể thực thi được. Mỗi PF là một module can thiệp vào trạng thái-hành động (state-action intervention function) có thể: (1) kích hoạt dựa trên trạng thái hiện tại của tác nhân, (2) sửa đổi hành động tiếp theo hoặc tiêm ngữ cảnh sửa lỗi, và (3) cung cấp tín hiệu có cấu trúc cho quá trình huấn luyện sau (post-training). HASP hoạt động như một lớp điều khiển (harness) bên ngoài, hỗ trợ can thiệp trong suy luận (inference), nội hóa kỹ năng qua huấn luyện, và tự cải thiện thư viện kỹ năng thông qua quá trình tiến hóa có kiểm soát.

III. Main Results:​

Trên các tác vụ web-search reasoning, HASP đạt độ chính xác trung bình 51.0% với can thiệp PF, và 56.2% khi có thêm giáo viên hỗ trợ chọn PF, vượt trội so với ReAct Agent (31.2%). Với huấn luyện, HASP-Evolve + RS đạt 60.3% trên web-search, 45.4% trên toán học, và 69.9% pass@1 trên mã nguồn, cải thiện đáng kể so với các baseline như Search-R1 (29.9%) và các phương pháp RL khác.

IV. Conclusion & Future Works:​

HASP chứng minh rằng việc biểu diễn kỹ năng dưới dạng các hàm can thiệp có thể thực thi (PFs) giúp cải thiện hành vi của tác nhân một cách đáng tin cậy, hỗ trợ nội hóa kỹ năng có chọn lọc và tiến hóa thư viện kỹ năng một cách ổn định. Hướng phát triển trong tương lai bao gồm kết hợp PFs với các phương pháp RL khám phá (exploration) rộng hơn để tìm ra các chiến lược hoàn toàn mới, và mở rộng framework cho các tác vụ phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng HASP cho các tác vụ đa phương thức (Multimodal Tasks): Nghiên cứu cách áp dụng Program Functions vào các tác nhân hoạt động trên cả văn bản và hình ảnh, ví dụ như phân tích biểu đồ hoặc điều khiển robot, nơi các lỗi có thể xảy ra ở nhiều dạng thức khác nhau.
  2. Kết hợp HASP với Học Tăng cường (Reinforcement Learning): Phát triển một framework kết hợp giữa PFs và RL, nơi PFs cung cấp các hành vi cơ bản ổn định trong khi RL khám phá các chiến lược mới, tạo ra một hệ thống học tập lai mạnh mẽ hơn.
  3. Tối ưu hóa thư viện PF quy mô lớn: Nghiên cứu các phương pháp lưu trữ, truy xuất và quản lý thư viện PF với hàng nghìn kỹ năng, đảm bảo hiệu suất và độ chính xác khi số lượng PF tăng lên, tương tự như các hệ thống cơ sở dữ liệu.

2. Patent:​

  1. Phương pháp và hệ thống tự động sửa lỗi tìm kiếm trên điện thoại thông minh: Một hệ thống trên điện thoại thông minh sử dụng các 'chương trình kỹ năng' (skill programs) để phát hiện và tự động sửa các truy vấn tìm kiếm không hiệu quả của người dùng, ví dụ như truy vấn quá dài hoặc quá hẹp, giúp cải thiện kết quả tìm kiếm mà không cần người dùng phải nhập lại.
  2. Trợ lý ảo thông minh có khả năng tự học từ lỗi lịch sử trên thiết bị di động: Một trợ lý ảo trên điện thoại ghi nhận các lỗi lặp lại của người dùng (ví dụ: đặt báo thức sai giờ, gửi tin nhắn nhầm người) và tạo ra các 'chương trình sửa lỗi' tạm thời. Các chương trình này sẽ tự động can thiệp để ngăn ngừa lỗi tương tự trong tương lai, giúp trải nghiệm người dùng tốt hơn.
  3. Hệ thống gợi ý hành động thông minh dựa trên ngữ cảnh cho ứng dụng di động: Một hệ thống phân tích lịch sử tương tác của người dùng với ứng dụng (ví dụ: mở nhầm ứng dụng, thực hiện thao tác thừa) và tạo ra các 'chương trình kỹ năng' để đưa ra gợi ý hoặc tự động thực hiện các hành động phù hợp, chẳng hạn như tự động mở ứng dụng bản đồ khi phát hiện người dùng thường xuyên tra cứu đường đi vào một thời điểm nhất định trong ngày.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.17734
ArXiv Abstracthttps://arxiv.org/abs/2605.17734
PDF Downloadhttps://arxiv.org/pdf/2605.17734.pdf
Github RepositoryN/A

11. Aurora: Unified Video Editing with a Tool-Using Agent (22 votes)​

Tác giả: Yongsheng Yu, Ziyun Zeng, Zhiyuan Xiao, Zhenghong Zhou, Hang Hua, Wei Xiong, Jiebo Luo

Xuất bản lúc: 2026-05-18

Tag: Video Editing, Vision-Language Model, Agent, Diffusion Transformer, DPO

I. Main Problem:​

Các mô hình chỉnh sửa video thống nhất hiện tại yêu cầu đầu vào đầu đủ (văn bản, ảnh tham chiếu, mặt nạ) nhưng người dùng thường đưa ra yêu cầu thiếu thông tin, dẫn đến hiệu suất kém. Cụ thể có hai dạng thiếu hụt: (1) Thiếu hụt thị giác (visual underspecification) khi yêu cầu không có ảnh tham chiếu cho đối tượng cụ thể và (2) Thiếu hụt văn bản (textual underspecification) khi yêu cầu mơ hồ, không trực tiếp.

II. Main Idea:​

Bài báo đề xuất Aurora, một framework chỉnh sửa video dạng agent, bao gồm hai phần chính: (1) Một VLM agent (Qwen3-VL-8B-Instruct với LoRA) được huấn luyện để lập kế hoạch chỉnh sửa từ yêu cầu thô của người dùng, bao gồm viết lại câu lệnh, gán nhãn tác vụ, và gọi công cụ (tìm kiếm ảnh trên web, phân đoạn) để tạo ra các điều kiện đầu vào đầy đủ. (2) Một video diffusion transformer (dựa trên Wan2.2-TI2V-5B) tiêu thụ tuple điều kiện thống nhất này để tạo ra video đã chỉnh sửa. VLM agent được huấn luyện với dữ liệu có giám sát (SFT) và tối ưu hóa sở thích (DPO).

III. Main Results:​

Trên benchmark AgentEdit-Bench (đo lường khả năng xử lý yêu cầu thiếu thông tin), Aurora đạt 87.9 điểm Overall, vượt trội so với UniVideo (67.0) và Kiwi-Edit (69.7). Việc thêm VLM agent vào cùng video DiT giúp tăng điểm từ 74.7 lên 87.9. Trên các benchmark chuẩn (EditVerse-Bench, OpenVE-Bench), Aurora vẫn duy trì hiệu suất cạnh tranh, và VLM agent có thể chuyển giao (transfer) để cải thiện các mô hình chỉnh sửa video khác.

IV. Conclusion & Future Works:​

Aurora chứng minh rằng việc tách biệt quá trình xây dựng điều kiện (condition construction) khỏi quá trình sinh video (video generation) là một hướng đi hiệu quả. Hướng phát triển tương lai bao gồm: sử dụng online RL (ví dụ GRPO) thay vì DPO offline, và mở rộng backbone để xử lý các chuyển động lớn và phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng framework Aurora để hỗ trợ chỉnh sửa video dạng multi-step, nơi agent có thể thực hiện nhiều thao tác chỉnh sửa liên tiếp dựa trên phản hồi từ người dùng.
  2. Nghiên cứu huấn luyện VLM agent bằng online reinforcement learning (GRPO) với phần thưởng dựa trên chất lượng video đầu ra thay vì chỉ dựa trên kế hoạch (plan).
  3. Phát triển một benchmark mới tập trung vào các yêu cầu chỉnh sửa video đa phương thức, nơi người dùng có thể kết hợp văn bản, giọng nói và cử chỉ để mô tả ý đồ chỉnh sửa.

2. Patent:​

  1. Phương pháp và hệ thống chỉnh sửa video trên điện thoại thông minh sử dụng trợ lý ảo: Người dùng nói 'thay áo cho tôi thành áo sọc xanh trắng', hệ thống tự động tìm kiếm hình ảnh áo sọc trên web, phân tích video để xác định vị trí cần thay, và tạo ra video hoàn chỉnh.
  2. Ứng dụng chỉnh sửa video cho phép người dùng thay đổi biển quảng cáo trong video thành logo thương hiệu yêu thích: Người dùng chỉ cần nói tên thương hiệu, hệ thống tự động tìm kiếm logo, xác định vị trí biển quảng cáo trong video và thay thế một cách mượt mà.
  3. Công cụ chỉnh sửa video cho phép xóa bỏ người lạ khỏi video du lịch: Người dùng chỉ cần nói 'xóa người đang đi bộ phía sau tôi', hệ thống tự động phân đoạn để xác định người đó, tạo mặt nạ, và chỉnh sửa video để loại bỏ họ mà không làm ảnh hưởng đến nền.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.18748
ArXiv Abstracthttps://arxiv.org/abs/2605.18748
PDF Downloadhttps://arxiv.org/pdf/2605.18748.pdf
Github Repositoryhttps://github.com/yeates/Aurora

12. Artifact-Bench: Evaluating MLLMs on Detecting and Assessing the Artifacts of AI-Generated Videos (21 votes)​

Tác giả: Yuqi Tang, Yang Shi, Zhuoran Zhang, Qixun Wang, Xuehai Bai, Yue Ding, Ruizhe Chen, Bohan Zeng, Xinlong Chen, Xuanyu Zhu, Bozhou Li, Yuran Wang, Yifan Dai, Chengzhuo Tong, Xinyu Liu, Yiyan Ji, Yujie Wei, Yuhao Dong, Shilin Yan, Fengxiang Wang, Yi-Fan Zhang, Haotian Wang, Yuanxing Zhang, Pengfei Wan

Xuất bản lúc: 2026-05-18

Tag: MLLMs, AI-Generated Video, Artifact Detection, Benchmark, Video Generation, Realism Assessment, Multimodal, Evaluation

I. Main Problem:​

Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) hiện tại gặp khó khăn trong việc phát hiện và phân tích các lỗi (artifact) trong video do AI tạo ra. Các benchmark hiện có thường thiếu đánh giá có hệ thống về khả năng nhận biết lỗi và lý giải chi tiết, đặc biệt là trên nhiều loại video khác nhau (như hoạt hình, CGI) ngoài video chân thực.

II. Main Idea:​

Bài báo giới thiệu Artifact-Bench, một benchmark toàn diện để đánh giá khả năng của MLLMs trong việc phát hiện và phân tích lỗi của video do AI tạo ra. Các tác giả xây dựng một hệ thống phân cấp lỗi ba cấp độ, bao gồm các lỗi bề mặt, khuyết tật cấu trúc và vi phạm ngữ nghĩa-thời gian. Dựa trên hệ thống này, Artifact-Bench định nghĩa ba nhiệm vụ bổ sung: (1) Phân loại video thật và video do AI tạo, (2) So sánh độ chân thực theo cặp, và (3) Xác định lỗi chi tiết. Benchmark được xây dựng với một pipeline lai kết hợp video thực, video được tạo có kiểm soát và tổng hợp lỗi có mục tiêu, cùng với sự phân tầng độ khó.

III. Main Results:​

Thử nghiệm trên 19 MLLMs hàng đầu cho thấy những hạn chế đáng kể trong nhận thức và lý luận về lỗi. Nhiều mô hình có hiệu suất gần như ngẫu nhiên hoặc thậm chí dưới mức ngẫu nhiên trong các cài đặt thử thách. Đặc biệt, ở nhiệm vụ Xác định lỗi (AID), hầu hết các mô hình đều đạt độ chính xác trung bình dưới 10%. Ngoài ra, có sự sai lệch đáng kể giữa đánh giá của MLLM và sở thích nhận thức của con người.

IV. Conclusion & Future Works:​

Artifact-Bench cho thấy khả năng nhận biết lỗi của MLLMs vẫn còn rất hạn chế, đặc biệt là trong việc lý giải nguyên nhân gây ra sự thiếu chân thực. Các phát hiện này nhấn mạnh sự cần thiết của các MLLM trong tương lai với khả năng nhận thức chi tiết, không gian-thời gian và hiểu biết về tính chân thực phù hợp với con người hơn. Hướng nghiên cứu trong tương lai bao gồm cải thiện khả năng nhận thức lỗi tinh vi, mô hình hóa thời gian và căn chỉnh với nhận thức của con người.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về kiến trúc MLLM chuyên biệt cho phát hiện lỗi video AI: Phát triển các mô hình có cơ chế chú ý không gian-thời gian nâng cao, tập trung vào các vùng nhỏ và các mẫu chuyển động bất thường, nhằm cải thiện độ chính xác trong việc phát hiện các lỗi tinh vi mà các MLLM hiện tại bỏ sót.
  2. Xây dựng bộ dữ liệu tổng hợp lỗi video AI có kiểm soát: Tạo ra một bộ dữ liệu quy mô lớn với các lỗi được chú thích chi tiết ở cấp độ pixel và khung hình, sử dụng các kỹ thuật tổng hợp lỗi có chủ đích để huấn luyện MLLM nhận biết và lý giải các loại lỗi cụ thể một cách hiệu quả hơn.
  3. Phương pháp học tăng cường với phần thưởng từ con người cho đánh giá độ chân thực của video AI: Sử dụng phản hồi của con người để tinh chỉnh MLLM, giúp căn chỉnh đánh giá của mô hình với nhận thức chủ quan về độ chân thực, từ đó tạo ra các hệ thống đánh giá tự động đáng tin cậy hơn cho các mô hình sinh video.

2. Patent:​

  1. Phương pháp và hệ thống phát hiện video giả mạo trên điện thoại thông minh: Ứng dụng MLLM được tinh chỉnh để phân tích video theo thời gian thực trên thiết bị di động, tự động cảnh báo người dùng khi phát hiện các dấu hiệu bất thường như chuyển động không tự nhiên, biến dạng đối tượng hoặc lỗi ánh sáng, giúp nhận diện video deepfake hoặc nội dung AI tạo ra.
  2. Ứng dụng chỉnh sửa video thông minh trên điện thoại: Một công cụ trên điện thoại thông minh sử dụng MLLM để tự động phân tích và xác định các lỗi trong video do người dùng quay hoặc tạo ra, sau đó đề xuất và tự động thực hiện các bước chỉnh sửa để cải thiện chất lượng, như làm mượt chuyển động hoặc sửa lỗi ánh sáng.
  3. Hệ thống đánh giá chất lượng nội dung số cho mạng xã hội trên thiết bị di động: Một nền tảng tích hợp trên điện thoại sử dụng MLLM để đánh giá độ chân thực của video trước khi đăng tải lên mạng xã hội. Hệ thống sẽ cung cấp điểm số và giải thích chi tiết về các yếu tố làm giảm chất lượng, giúp người dùng hiểu rõ hơn về nội dung họ chia sẻ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.18984
ArXiv Abstracthttps://arxiv.org/abs/2605.18984
PDF Downloadhttps://arxiv.org/pdf/2605.18984.pdf
Github Repositoryhttps://github.com/FrankYang-17/Artifact-Bench

13. CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization (13 votes)​

Tác giả: Ahmed Heakl, Abdelrahman M. Shaker, Youssef Mohamed, Rania Elbadry, Omar Fetouh, Fahad Shahbaz Khan, Salman Khan

Xuất bản lúc: 2026-05-19

Tag: RLVR, GRPO, Self-Distillation, Credit Assignment, Contrastive Learning, Multimodal Reasoning, Mathematical Reasoning

I. Main Problem:​

Trong huấn luyện tăng cường với phần thưởng có thể kiểm chứng (RLVR) như GRPO, mọi token trong một lời giải đúng đều nhận cùng một tín hiệu phần thưởng dương, bất kể token đó có thực sự quyết định kết quả suy luận hay chỉ là từ nối, định dạng. Điều này dẫn đến việc gán tín hiệu gradient không chính xác, gây lãng phí tín hiệu, hội tụ chậm và hiệu quả mẫu kém. Các phương pháp tự chưng cất (self-distillation) trước đây như OPSD, SDPO bị rò rỉ thông tin (information leakage) khiến mô hình suy giảm hiệu năng. Phương pháp RLSD tuy an toàn về mặt cấu trúc nhưng tín hiệu gán công lao (credit assignment) còn yếu do ba hạn chế: (1) nhiễu do độ trôi chảy (fluency confound), (2) tín hiệu phạt gián tiếp cho lời giải sai, và (3) không phân biệt được token quyết định với token đệm (filler).

II. Main Idea:​

Bài báo đề xuất Contrastive Evidence Policy Optimization (CEPO), một phương pháp gán công lao cấp token cho RLVR. Thay vì chỉ so sánh token hiện tại với phân phối của mô hình khi biết câu trả lời đúng (P+_T / PS) như RLSD, CEPO sử dụng tỷ lệ tương phản (contrastive ratio) P+_T / P-_T, trong đó P-_T là phân phối của mô hình khi biết câu trả lời sai. Câu trả lời sai được lấy từ các lời giải bị từ chối trong batch huấn luyện, không tốn thêm chi phí lấy mẫu. Tỷ lệ này có ý nghĩa Bayes: nó đo lường mức độ một token đồng thời làm tăng niềm tin vào câu trả lời đúng và giảm niềm tin vào câu trả lời sai. CEPO điều chỉnh độ lớn của lợi thế (advantage) GRPO dựa trên tỷ lệ này, giữ nguyên dấu của lợi thế (direction anchoring) và không gây rò rỉ thông tin (leakage-free). Khi không có lời giải sai, CEPO suy biến thành RLSD.

III. Main Results:​

CEPO đạt độ chính xác trung bình lần lượt là 43.43% và 60.56% trên năm bộ dữ liệu suy luận toán học đa phương thức ở quy mô 2B và 4B tham số, so với 41.17% và 57.43% của GRPO, 34.96% và 56.23% của OPSD, 35.70% và 55.75% của SDPO. Các phương pháp OPSD và SDPO bị suy giảm hiệu năng so với mô hình cơ sở chưa huấn luyện, xác nhận lý thuyết về rò rỉ thông tin. CEPO cải thiện rõ nhất trên các bộ dữ liệu yêu cầu suy luận đa bước tinh vi như LogicVista (+6.18pp so với GRPO) và MathVisionmini (+4.94pp).

IV. Conclusion & Future Works:​

CEPO là một phương pháp gán công lao cấp token hiệu quả và an toàn cho RLVR, vượt trội so với GRPO, OPSD, SDPO và RLSD. Các kết quả được xác thực trên mô hình Qwen3-VL huấn luyện trên Geo3k. Hướng phát triển trong tương lai bao gồm mở rộng CEPO cho các mô hình lớn hơn, suy luận thuần văn bản và sinh mã.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CEPO cho các mô hình ngôn ngữ lớn thuần văn bản (text-only LLMs): Áp dụng CEPO cho các bài toán suy luận văn bản như GSM8K, MATH, hoặc sinh mã, nơi các chuỗi suy luận dài và thưa thớt các token quyết định.
  2. Kết hợp CEPO với các phương pháp khám phá (exploration) nâng cao: Nghiên cứu tích hợp CEPO với DAPO hoặc các chiến lược lấy mẫu khác để cải thiện độ ổn định và hiệu quả khám phá trong không gian hành động lớn.
  3. Phân tích lý thuyết sâu hơn về độ nhạy của CEPO với siêu tham số: Thực hiện các thí nghiệm có hệ thống để hiểu rõ hơn về ảnh hưởng của lịch trình λ, ngưỡng clip ε_w và nguồn giáo viên (teacher) lên hiệu năng và độ ổn định của CEPO trên nhiều tác vụ khác nhau.

2. Patent:​

  1. Phương pháp cải thiện độ chính xác của trợ lý ảo trên điện thoại trong việc giải thích các bước tính toán: Khi người dùng hỏi trợ lý ảo một bài toán, hệ thống sẽ không chỉ đưa ra đáp án mà còn tự động xác định và làm nổi bật các bước suy luận quan trọng nhất, đồng thời giải thích lý do tại sao bước đó lại quyết định kết quả, giúp người dùng học hiệu quả hơn.
  2. Hệ thống gợi ý công thức và bước giải thông minh trên ứng dụng máy tính ảnh: Khi người dùng chụp ảnh một bài toán, ứng dụng sẽ phân tích và đề xuất các bước giải, trong đó ưu tiên làm rõ các phép biến đổi hoặc suy luận then chốt, thay vì chỉ liệt kê tất cả các bước một cách đồng đều, giúp người dùng tập trung vào phần khó nhất.
  3. Phương pháp huấn luyện chatbot dịch vụ khách hàng trên điện thoại để đưa ra câu trả lời chính xác và ngắn gọn hơn: Bằng cách sử dụng kỹ thuật gán công lao tương phản, chatbot sẽ được huấn luyện để nhận diện và tập trung vào các từ khóa hoặc câu văn quyết định trong câu hỏi của khách hàng, từ đó đưa ra câu trả lời ngắn gọn, chính xác và bỏ qua các thông tin thừa, cải thiện trải nghiệm người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.19436
ArXiv Abstracthttps://arxiv.org/abs/2605.19436
PDF Downloadhttps://arxiv.org/pdf/2605.19436.pdf
Github Repositoryhttps://github.com/ahmedheakl/CEPO

14. OmniGUI: Benchmarking GUI Agents in Omni-Modal Smartphone Environments (12 votes)​

Tác giả: Felix Henry, Xiaochen Lin, Jiangyou Zhu, Yangfan, Bingqian Zhang, Min Chen, Shiyu Huang

Xuất bản lúc: 2026-04-03

Tag: GUI Agent, Multimodal Benchmark, Omni-modal Perception, Sequential Decision Making, Smartphone Automation

I. Main Problem:​

Các benchmark hiện tại cho GUI agent chủ yếu dựa trên ảnh chụp màn hình tĩnh, bỏ qua các tín hiệu âm thanh và video động xuất hiện trong quá trình tương tác thực tế trên smartphone. Điều này khiến các agent không thể xử lý các tác vụ yêu cầu phản hồi tức thời với các tín hiệu đa phương thức nhất thời như âm thanh thông báo, trạng thái phát video, hoặc hướng dẫn bằng giọng nói.

II. Main Idea:​

Tác giả giới thiệu OmniGUI, benchmark đầu tiên đánh giá GUI agent trong môi trường smartphone đa phương thức toàn diện (omni-modal). OmniGUI cung cấp đầu vào đa phương thức liên tục và xen kẽ tại mỗi bước hành động, bao gồm ảnh tĩnh, âm thanh đồng bộ và video clip. Bộ dữ liệu gồm 709 kịch bản (2,579 bước hành động) trên 29 ứng dụng, được phân loại theo năm chiều nhận thức (Định vị, Hiểu ngữ nghĩa, Phân biệt đa phương thức, Suy luận thời gian, Phản hồi tức thời) và ba mức phụ thuộc đa phương thức (AV-Critical, AV-Supportive, AV-Present). Các agent được đánh giá qua các chỉ số Type Match (TM) và Exact Match (EM) ở cấp độ bước.

III. Main Results:​

Mô hình tốt nhất (Gemini 3.0 Pro) đạt Exact Match (EM) là 66.4% và Success Rate (SR) là 33.1%, cho thấy việc xử lý tín hiệu đa phương thức nhất thời vẫn là thách thức lớn. Mô hình nguồn mở tốt nhất (Qwen3-Omni) đạt EM 33.4% và SR 5.2%. Hiệu suất giảm đáng kể trên các tác vụ AV-Critical khi loại bỏ phương thức phi thị giác. Các mô hình cũng gặp vấn đề về nhiễu chéo giữa các phương thức và suy giảm hiệu suất khi xử lý đồng thời hai luồng âm thanh.

IV. Conclusion & Future Works:​

OmniGUI thiết lập nền tảng đánh giá cho các GUI agent đa phương thức, chứng minh sự cần thiết của việc tích hợp tín hiệu âm thanh và video đồng bộ tại mỗi bước hành động. Các hướng phát triển tương lai bao gồm cải thiện kiến trúc agent để giảm nhiễu chéo giữa các phương thức, tăng cường khả năng suy luận thời gian, và phát triển các framework omni-modal agent chuyên dụng cho GUI.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển kiến trúc agent đa phương thức giảm nhiễu chéo: Nghiên cứu cơ chế chú ý có chọn lọc để agent chỉ tập trung vào tín hiệu đa phương thức liên quan đến tác vụ, giảm ảnh hưởng của nhiễu môi trường.
  2. Cải thiện khả năng suy luận thời gian cho GUI agent: Đề xuất mô hình dự đoán hành động dựa trên chuỗi video ngắn, kết hợp với thông tin âm thanh để xác định thời điểm chính xác cho các thao tác.
  3. Mở rộng benchmark đa phương thức cho các nền tảng khác: Xây dựng benchmark tương tự cho desktop và web, với các tác vụ yêu cầu xử lý tín hiệu âm thanh và video đồng bộ.

2. Patent:​

  1. Phương pháp và hệ thống điều khiển điện thoại thông minh bằng giọng nói kết hợp hình ảnh: Hệ thống cho phép người dùng ra lệnh bằng giọng nói, điện thoại sẽ chụp ảnh màn hình và kết hợp với âm thanh để xác định chính xác thao tác cần thực hiện, ví dụ: 'Bấm vào nút phát video màu đỏ ở góc phải'.
  2. Ứng dụng hỗ trợ người khiếm thị tương tác với điện thoại thông minh: Ứng dụng sử dụng camera và micro để nhận diện các tín hiệu âm thanh (như thông báo, nhạc chuông) và hình ảnh động (như video đang phát) để mô tả bằng giọng nói và thực hiện các thao tác theo yêu cầu của người dùng.
  3. Phương pháp tự động hóa tác vụ trên điện thoại dựa trên cảm biến môi trường: Hệ thống sử dụng micro và camera để phát hiện các sự kiện như có người gọi đến (âm thanh chuông) hoặc video đang phát (hình ảnh động), từ đó tự động thực hiện các hành động như tắt chuông hoặc tạm dừng video.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.18758
ArXiv Abstracthttps://arxiv.org/abs/2605.18758
PDF Downloadhttps://arxiv.org/pdf/2605.18758.pdf
Github Repositoryhttps://github.com/omni-gui/OmniGUI

15. MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation (11 votes)​

Tác giả: Yujie Wei, Yujin Han, Zhekai Chen, Yongming Li, Kaixun Jiang, Zhihang Liu, Quanhao Li, Zhiwu Qing, Xiang Wang, Zhen Xing, Ruihang Chu, Lingyi Hong, Yefei He, Junjie Zhou, Junqiu Yu, Yang Shi, Difan Zou, Kai Zhu, Shiwei Zhang, Yingya Zhang, Yu Liu, Xihui Liu, Hongming Shan

Xuất bản lúc: 2026-05-19

Tag: Multi-Shot Audio-Video Generation, Benchmark, Evaluation Framework, Video Generation, Audio-Visual Synchronization, Large Language Models, Diffusion Models

I. Main Problem:​

Các hệ thống tạo video hiện tại đang chuyển từ tạo một cảnh duy nhất, không có âm thanh sang tạo đa cảnh có âm thanh phức tạp (MSAV). Tuy nhiên, việc đánh giá các mô hình tiên tiến này gặp nhiều thách thức: (i) Phạm vi đánh giá và dữ liệu hạn chế: các chuẩn đánh giá hiện tại chỉ tập trung vào một khía cạnh riêng lẻ, thiếu sự đa dạng và phức tạp, bỏ qua các kịch bản giàu ngôn ngữ điện ảnh và nội dung phản thực tế. (ii) Quy trình đánh giá cứng nhắc và tĩnh: các pipeline hiện tại dễ bị lỗi phân đoạn cảnh, sử dụng các phương pháp chấm điểm trực tiếp từ VLM thiếu ổn định và dễ bị ảo giác, không đáng tin cậy cho các tác vụ phức tạp.

II. Main Idea:​

Bài báo giới thiệu MSAVBench, một chuẩn đánh giá toàn diện và khung đánh giá lai thích ứng đầu tiên cho tạo video-âm thanh đa cảnh. Chuẩn đánh giá bao phủ bốn khía cạnh chính: video, âm thanh, cảnh quay và tham chiếu, với số lượng cảnh lên đến 15 và các kịch bản phi thực tế. Khung đánh giá cải thiện độ tin cậy thông qua: (1) Cơ chế tự sửa lỗi thích ứng cho việc phân đoạn cảnh, (2) Phiếu đánh giá theo từng trường hợp cho các chỉ số chủ quan, và (3) Trích xuất bằng chứng dựa trên công cụ cho các đánh giá phức tạp. MSAVBench đạt được độ tương quan Spearman 91,5% với đánh giá của con người.

III. Main Results:​

Đánh giá có hệ thống trên 19 mô hình nguồn đóng và nguồn mở cho thấy: (1) Có khoảng cách hiệu năng đáng kể giữa mô hình nguồn đóng và nguồn mở, nhưng các pipeline tạo mô-đun hoặc tác nhân có tiềm năng thu hẹp khoảng cách này. (2) Các mô hình hiện tại còn xa mới đạt được khả năng tạo 'cấp đạo diễn', gặp khó khăn trong kiểm soát điện ảnh, tính nhất quán cấu trúc và căn chỉnh âm thanh-hình ảnh chi tiết. (3) Mô hình 'video trước, lồng tiếng sau' là không đủ cho tạo video-âm thanh đa cảnh phức tạp, nhấn mạnh nhu cầu về kiến trúc âm thanh-hình ảnh thống nhất.

IV. Conclusion & Future Works:​

MSAVBench là chuẩn đánh giá đầu tiên cho tạo video-âm thanh đa cảnh với khung đánh giá lai thích ứng, cung cấp phạm vi bao phủ toàn diện và đánh giá đáng tin cậy. Các pipeline mô-đun và tác nhân nguồn mở có tiềm năng thu hẹp khoảng cách với mô hình nguồn đóng, nhưng các mô hình hiện tại vẫn còn xa mới đạt được khả năng tạo cấp đạo diễn. MSAVBench sẽ phục vụ như một công cụ chuẩn và chẩn đoán cho nghiên cứu MSAV trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Hướng 1: Cải thiện kiến trúc thống nhất âm thanh-hình ảnh cho tạo video đa cảnh. Nghiên cứu kiến trúc mới tích hợp chặt chẽ quá trình tạo video và âm thanh trong cùng một mô hình, thay vì pipeline 'video trước, lồng tiếng sau', để cải thiện đồng bộ hóa chi tiết và giảm lỗi như khớp môi, gán âm thanh sai.
  2. Hướng 2: Phát triển phương pháp kiểm soát 'cấp đạo diễn' trong tạo video đa cảnh. Tập trung vào việc cho phép mô hình hiểu và thực thi chính xác các chỉ dẫn điện ảnh phức tạp như kích thước cảnh, góc máy, chuyển động máy quay, và chuyển cảnh, biến mô hình từ 'công cụ tạo pixel' thành 'người kể chuyện' có kiểm soát.
  3. Hướng 3: Mở rộng đánh giá tạo video đa cảnh với các kịch bản phản thực tế và đa ngôn ngữ. Xây dựng các bộ dữ liệu và phương pháp đánh giá chuyên sâu hơn cho các kịch bản khó như kết hợp chủ thể/cảnh vật không thực tế, yêu cầu văn bản phức tạp, và nội dung đa ngôn ngữ, để kiểm tra giới hạn của các mô hình hiện tại.

2. Patent:​

  1. 1. Phương pháp và hệ thống tạo video quảng cáo đa cảnh có âm thanh trên thiết bị di động dựa trên mô tả văn bản. Hệ thống nhận đầu vào là một kịch bản quảng cáo ngắn bằng văn bản (ví dụ: 'Giới thiệu điện thoại mới với cảnh mở máy, cảnh chụp ảnh, và cảnh kết thúc với logo'), sau đó tự động tạo ra một video hoàn chỉnh gồm nhiều cảnh, mỗi cảnh có âm thanh nền, lời thoại và hiệu ứng chuyển cảnh phù hợp, được tối ưu hóa để phát trên màn hình điện thoại thông minh.
  2. 2. Ứng dụng tạo nội dung giáo dục tương tác trên điện thoại thông minh bằng cách sinh video đa cảnh có lồng tiếng và phụ đề. Người dùng nhập một chủ đề học tập (ví dụ: 'Vòng tuần hoàn của nước'), hệ thống sẽ tự động tạo ra một video gồm nhiều cảnh, mỗi cảnh giải thích một bước của quá trình, kèm theo giọng đọc và phụ đề chính xác, giúp việc học trở nên trực quan và sinh động hơn trên thiết bị di động.
  3. 3. Phương pháp tạo video kể chuyện cá nhân hóa trên điện thoại từ ảnh và giọng nói của người dùng. Người dùng cung cấp một vài bức ảnh chân dung và một đoạn ghi âm giọng nói ngắn. Hệ thống sẽ tạo ra một câu chuyện video ngắn (ví dụ: lời chúc mừng sinh nhật) với nhân vật chính có khuôn mặt và giọng nói giống người dùng, bao gồm nhiều cảnh quay và bối cảnh khác nhau, phù hợp để chia sẻ trên mạng xã hội.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.20183
ArXiv Abstracthttps://arxiv.org/abs/2605.20183
PDF Downloadhttps://arxiv.org/pdf/2605.20183.pdf
Github RepositoryN/A

16. Interactive Evaluation Requires a Design Science (11 votes)​

Tác giả: Keyang Xuan, Peiyang Song, Pan Lu, Pengrui Han, Wenkai Li, Zhenyu Zhang, Zexue He, Wenyue Hua, Manling Li, Jiaxuan You, Adrian Weller, Yizhong Wang, Jiaxin Pei

Xuất bản lúc: 2026-05-18

Tag: Interactive Evaluation, LLMs, Benchmark Design, Agent Evaluation, Trajectory Evaluation

I. Main Problem:​

Các hệ thống AI ngày càng hoạt động thông qua tương tác (với công cụ, môi trường, người dùng và các tác nhân khác), nhưng các phương pháp đánh giá hiện tại vẫn kế thừa các giả định từ đánh giá tập trung vào phản hồi (response-centered evaluation): đầu vào cố định, đầu ra độc lập và đánh giá dựa trên một phản hồi duy nhất. Điều này dẫn đến sự phân mảnh trong các benchmark tương tác, thiếu một khung khái niệm thống nhất để thiết kế, so sánh và diễn giải các đánh giá, khiến cho các kết quả khó có thể so sánh và khoa học.

II. Main Idea:​

Bài báo lập luận rằng đánh giá tương tác (interactive evaluation) nên được coi là một ngành khoa học thiết kế (design science) chứ không chỉ đơn thuần là một họ benchmark mới. Các tác giả định nghĩa đánh giá như một ánh xạ tự động từ bằng chứng (evidence) đến phán đoán (judgment) (E: X → Y). Trong đánh giá tương tác, cả hai phía của ánh xạ này đều thay đổi: bằng chứng (X) trở thành các quỹ đạo (trajectories) được tạo ra từ tương tác, và quy trình đánh giá (E) phải đánh giá quá trình, khả năng phục hồi, sự phối hợp, độ mạnh mẽ và hiệu suất ở cấp độ hệ thống. Dựa trên định nghĩa này, bài báo đề xuất một bảng phân loại hai trục: (1) đầu vào đánh giá (công cụ & môi trường, người dùng, các tác nhân khác, hệ thống lai) và (2) chương trình đánh giá (thành công nhiệm vụ, chất lượng quy trình, khả năng phục hồi, an toàn & xã hội).

III. Main Results:​

Bài báo không trình bày các kết quả thực nghiệm mới mà là một bài báo quan điểm (position paper). Các kết quả chính bao gồm: (1) Một định nghĩa chặt chẽ về đánh giá tương tác. (2) Một bảng phân loại hai trục giúp so sánh các benchmark tương tác hiện tại. (3) Các nguyên tắc thiết kế và lộ trình cho các benchmark trong tương lai, bao gồm việc chỉ rõ hệ thống, bằng chứng quỹ đạo, giao thức tương tác, thiết kế cho sự xáo trộn và sửa chữa, và tách biệt kết quả, quy trình và rủi ro. (4) Phân tích các rủi ro lâu dài (overfitting, gaming, distribution shift) và rủi ro mới nổi (trade-off giữa tiêu chuẩn hóa và đa dạng, hiện vật mô phỏng, sự phụ thuộc vào người đánh giá).

IV. Conclusion & Future Works:​

Bài báo kết luận rằng đánh giá tương tác phải được thiết kế một cách có hệ thống, không chỉ đơn thuần là áp dụng. Cộng đồng cần xây dựng các giao thức rõ ràng, các thước đo quỹ đạo phong phú hơn, các bài kiểm tra độ mạnh mẽ, cơ sở hạ tầng dùng chung và các tiêu chuẩn báo cáo. Hướng phát triển trong tương lai bao gồm: (1) Phát triển các chương trình đánh giá tập trung vào khả năng phục hồi và an toàn trong các hệ thống lai và động. (2) Xây dựng cơ sở hạ tầng dùng chung nhưng vẫn đảm bảo sự đa dạng trong thiết kế. (3) Nghiên cứu các phương pháp giảm thiểu rủi ro như overfitting, gaming và sự phụ thuộc vào người đánh giá ở cấp độ quỹ đạo.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Xây dựng một benchmark mới tập trung vào đánh giá khả năng phục hồi (recoverability) của các tác nhân AI trong môi trường lai ghép giữa công cụ và người dùng, nơi các tác nhân phải đối mặt với các lỗi bất ngờ và phải tự sửa chữa.
  2. Phát triển một khung đánh giá (evaluation framework) cho các tác nhân đa tác tử (multi-agent) tập trung vào các khía cạnh xã hội như hợp tác, đàm phán và tránh các hành vi lừa đảo, sử dụng các thước đo quy trình (process metrics) thay vì chỉ đo lường kết quả cuối cùng.
  3. Nghiên cứu sự ảnh hưởng của các lựa chọn giao thức (protocol choices) như không gian quan sát, ngân sách thử lại và điều kiện reset đến kết quả đánh giá của các benchmark tương tác, nhằm xây dựng các tiêu chuẩn báo cáo chặt chẽ hơn.

2. Patent:​

  1. Phương pháp và hệ thống đánh giá khả năng phục hồi của trợ lý ảo trên điện thoại thông minh: Phát minh này mô tả một hệ thống tự động đưa ra các tình huống lỗi bất ngờ (ví dụ: mất kết nối mạng, đầu vào của người dùng không rõ ràng) trong quá trình trợ lý ảo thực hiện một nhiệm vụ (ví dụ: đặt báo thức, gửi tin nhắn). Hệ thống sẽ đánh giá khả năng của trợ lý trong việc phát hiện lỗi, thông báo cho người dùng và đề xuất các giải pháp thay thế, từ đó tính điểm cho khả năng phục hồi của trợ lý.
  2. Ứng dụng đánh giá sự an toàn và phù hợp xã hội của chatbot trên thiết bị di động: Phát minh này mô tả một ứng dụng chạy nền trên điện thoại, có nhiệm vụ giám sát các cuộc trò chuyện của người dùng với chatbot. Ứng dụng sẽ phân tích nội dung hội thoại, hành vi của chatbot (ví dụ: có đưa ra lời khuyên nguy hiểm, có thao túng cảm xúc người dùng hay không) và đưa ra cảnh báo hoặc điểm số về mức độ an toàn và phù hợp xã hội của chatbot đó.
  3. Hệ thống tạo và quản lý các bài kiểm tra tương tác động cho ứng dụng di động: Phát minh này mô tả một hệ thống có thể tự động tạo ra các kịch bản kiểm tra tương tác (ví dụ: mô phỏng một người dùng thực hiện một loạt các thao tác trên ứng dụng) dựa trên các thay đổi của giao diện người dùng. Hệ thống này không chỉ kiểm tra xem ứng dụng có hoàn thành nhiệm vụ hay không, mà còn đánh giá chất lượng của quá trình tương tác (ví dụ: số bước thực hiện, có xảy ra lỗi hay không), giúp các nhà phát triển phát hiện sớm các vấn đề về trải nghiệm người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.17829
ArXiv Abstracthttps://arxiv.org/abs/2605.17829
PDF Downloadhttps://arxiv.org/pdf/2605.17829.pdf
Github Repositoryhttps://github.com/keyangds/interactive_evaluation