Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-06-30

Báo cáo được tạo tự động vào lúc 2026-07-01 08:57:19 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. Agentic Abstention: Do Agents Know When to Stop Instead of Act? (120 votes)​

Tác giả: Han Luo, Bingbing Wen, Lucy Lu Wang

Xuất bản lúc: 2026-06-27

Tag: LLM Agents, Agentic Abstention, Sequential Decision Making, WebShop, Terminal-Bench, Context Engineering, CONVOLVE

I. Main Problem:​

Các tác nhân LLM thường được đánh giá dựa trên khả năng hoàn thành nhiệm vụ, nhưng bỏ qua một khía cạnh quan trọng: khi nào nên dừng thay vì tiếp tục hành động. Trong thực tế, nhiều hướng dẫn của người dùng không khả thi (mơ hồ, thiếu thông tin hoặc mâu thuẫn), và tác nhân cần nhận ra điều này qua nhiều lượt tương tác, thay vì chỉ quyết định trả lời hoặc từ chối trong một lượt duy nhất như bài toán LLM abstention truyền thống.

II. Main Idea:​

Bài báo định nghĩa 'Agentic Abstention' như bài toán quyết định tuần tự: tại mỗi bước, tác nhân có thể trả lời, từ chối hoặc thu thập thêm thông tin từ môi trường. Tác giả xây dựng benchmark với hơn 28.000 nhiệm vụ trên ba kịch bản (web shopping, terminal, QA), bao gồm các tình huống nhiệm vụ bất khả thi ngay từ đầu (Request-based Abstention) và nhiệm vụ chỉ trở nên bất khả thi sau khi tương tác (Environment-based Abstention). Để cải thiện, họ đề xuất CONVOLVE, một phương pháp context engineering trích xuất các quy tắc dừng tái sử dụng từ các quỹ đạo tương tác hoàn chỉnh và thêm chúng vào ngữ cảnh của tác nhân.

III. Main Results:​

  • Hầu hết các mô hình đạt <50% abstention recall sau 10 bước; timely recall (từ chối đúng bước đầu tiên có thể) thấp, thường dưới 30%.
  • Nhiệm vụ Missing Target (chỉ phát hiện bất khả thi sau khi tương tác) là khó nhất ở kịch bản web; False Premise và Underspecified Intent là khó nhất ở QA.
  • Suy luận (reasoning) cải thiện timely recall nhưng giảm overall recall; tăng kích thước mô hình cải thiện overall recall nhưng hầu như không ảnh hưởng timely recall.
  • CONVOLVE nâng timely recall của Llama-3.3-70B trên WebShop từ 26,7% lên 57,4% và overall recall từ 83,2% lên 100%.

IV. Conclusion & Future Works:​

Bài báo khẳng định agentic abstention là thách thức lớn: tác nhân thường từ chối quá muộn hoặc không từ chối, đặc biệt khi nhiệm vụ ban đầu có vẻ khả thi. CONVOLVE chứng minh có thể cải thiện abstention hiệu quả mà không cần cập nhật tham số. Hướng tới: tối ưu hóa chiến lược thăm dò và mở rộng cho môi trường động khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển phương pháp học abstention từ phản hồi của người dùng: nếu tác nhân không từ chối nhưng người dùng hủy bỏ, hệ thống tự động sinh quy tắc dừng mới, tinh chỉnh qua online learning.
  2. Kết hợp agentic abstention với uncertainty quantification: dùng độ không chắc chắn dự đoán để quyết định thăm dò hay từ chối, giảm thiểu chi phí tính toán và tương tác thừa.
  3. Nghiên cứu abstention hợp tác đa tác nhân: nhiều tác nhân chuyên biệt chia sẻ thông tin và cùng quyết định có nên tiếp tục hay dừng lại khi gặp nhiệm vụ không khả thi.

2. Patent:​

  1. Trợ lý mua sắm trực tuyến trên điện thoại: nếu người dùng yêu cầu sản phẩm không tồn tại hoặc mâu thuẫn (ví dụ: 'áo đỏ nhưng 100% cotton không có đỏ'), tác nhân lập tức thông báo và đề xuất thay thế thay vì tiếp tục lọc hàng vô ích.
  2. Hệ thống hỗ trợ lập trình dòng lệnh trên mobile: khi người dùng gõ lệnh sai hoặc yêu cầu file không tồn tại, hệ thống nhận diện ngay và đưa ra gợi ý sửa lỗi hoặc cảnh báo khả năng thất bại, không thực thi lệnh vô nghĩa.
  3. Ứng dụng chatbot hỏi đáp thông minh cho di động: nếu câu hỏi mơ hồ hoặc thiếu ngữ cảnh rõ ràng (ví dụ: 'đám đông đó tốt không?'), tác nhân yêu cầu làm rõ hoặc từ chối trả lời, thay vì tìm kiếm kết quả không liên quan.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.28733
ArXiv Abstracthttps://arxiv.org/abs/2606.28733
PDF Downloadhttps://arxiv.org/pdf/2606.28733.pdf
Github RepositoryN/A

2. LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing (71 votes)​

Tác giả: Xinyu Wang, Chongbo Zhao, Fangneng Zhan, Yue Ma

Xuất bản lúc: 2026-06-25

Tag: Video Editing, Diffusion Models, Streaming, Real-Time, Knowledge Distillation, Attention Mechanism, Cache

I. Main Problem:​

Các mô hình chỉnh sửa video dùng diffusion hiện tại chủ yếu hoạt động offline, cần toàn bộ video để xử lý, gây độ trễ cao và không thể chỉnh sửa theo luồng (streaming) thời gian thực. Khi chuyển sang chế độ nhân quả (causal), chúng gặp vấn đề dịch chuyển phân bố attention và dư thừa token không gian-thời gian, dẫn đến hiệu ứng quên và nhấp nháy nghiêm trọng.

II. Main Idea:​

LiveEdit giải quyết vấn đề bằng pipeline distillation ba giai đoạn: (1) Fine-tune mô hình nền bidirectional Diffusion Transformer (DiT) để có khả năng chỉnh sửa mạnh; (2) Dùng Teacher Forcing với causal attention để chuyển thành mô hình nhân quả xử lý từng khung hình; (3) Áp dụng Distribution Matching Distillation (DMD) để nén xuống còn 4 bước suy luận. Kết hợp với AR-oriented Mask Cache, chỉ tính toán lại các token ở vùng được chỉnh sửa, các token nền được tái sử dụng từ cache, giảm tải tính toán và giữ nguyên vùng không chỉnh sửa.

III. Main Results:​

  • LiveEdit đạt 12.66 FPS khi chỉnh sửa video streaming, nhanh hơn 12.05 lần so với StreamDiffusionV2 và 97.38 lần so với InsV2V.
  • Độ trễ mỗi khung hình chỉ 79ms, đáp ứng yêu cầu thời gian thực.
  • Vượt trội về Text Alignment (0.270) so với InsV2V (0.259) và các baseline khác.
  • Giữ nguyên Background Consistency (0.956) nhờ Mask Cache, không gây suy giảm vùng không chỉnh sửa.
  • Pipeline 3 giai đoạn giảm NFEs từ 100 xuống còn 4, tiết kiệm chi phí tính toán lớn.

IV. Conclusion & Future Works:​

LiveEdit là framework streaming video editing đầu tiên cân bằng được chất lượng chỉnh sửa cao và độ trễ thấp, nhờ pipeline distillation và Mask Cache. Hướng tương lai có thể mở rộng cho các tác vụ như super-resolution streaming hoặc tối ưu hóa cache cho các module khác như FFN khi có giải pháp phù hợp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng pipeline distillation ba giai đoạn cho các tác vụ video-to-video khác như chuyển đổi phong cách (style transfer) hoặc chỉnh sửa đồng nhất đối tượng, kiểm tra tính tổng quát trên nhiều mô hình nền.
  2. Nghiên cứu cơ chế cache thông minh hơn, kết hợp cả Self-Attention và FFN, có thể tự động chọn module nào nên cache dựa trên độ tương tự token, để tăng tốc hơn nữa.
  3. Phát triển phương pháp học tăng cường (reinforcement learning) để tối ưu hóa chiến lược cắt tỉa token trong Mask Cache, cân bằng giữa tốc độ và chất lượng chỉnh sửa.

2. Patent:​

  1. Ứng dụng chỉnh sửa video trực tiếp trên điện thoại: người dùng chọn đối tượng và nhập mô tả bằng giọng nói, hệ thống tự động xác định vùng cần sửa và thực hiện chỉnh sửa theo luồng với độ trễ thấp, cho phép tạo nội dung sống động ngay lập tức.
  2. Tích hợp vào kính thực tế tăng cường (AR): camera trên kính ghi lại cảnh vật xung quanh, người dùng ra lệnh thay đổi màu sắc hoặc họa tiết đồ vật, hệ thống xử lý từng khung hình và hiển thị kết quả tức thì, tạo trải nghiệm AR tương tác chân thực.
  3. Hệ thống live-stream cho người sáng tạo nội dung: trực tiếp chỉnh sửa nền hoặc trang phục theo yêu cầu của khán giả trong thời gian thực, dùng Mask Cache để đảm bảo vùng không sửa không bị biến dạng, nâng cao tính chuyên nghiệp và tương tác.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.26740
ArXiv Abstracthttps://arxiv.org/abs/2606.26740
PDF Downloadhttps://arxiv.org/pdf/2606.26740.pdf
Github Repositoryhttps://github.com/cp-cp/LiveEdit

3. Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent (67 votes)​

Tác giả: Lei Bai, Zongsheng Cao, Yang Chen, Zhiyao Cui, Shangheng Du, et al.

Xuất bản lúc: 2026-06-29

Tag: Mixture-of-Experts, Agentic Model, Long-Horizon, Knowledge-Action Graph, On-Policy Distillation, Multi-Teacher, Scalable AI

I. Main Problem:​

Các mô hình agent hiện tại phải đối mặt với hai rào cản lớn khi mở rộng quy mô: thiếu hạ tầng kiến thức-hành động để tạo giám sát quy trình cho các tác vụ dài hạn, và khó tích hợp các năng lực chuyên biệt không đồng nhất từ nhiều lĩnh vực vào một mô hình thống nhất. Hướng tiếp cận tăng tham số tốn kém và khó tái tạo.

II. Main Idea:​

Bài báo giới thiệu Agents-A1, mô hình MoE 35B đạt hiệu suất ngang mô hình 1.000B nhờ mở rộng tầm nhìn agent (horizon scaling) thay vì tham số. Một hạ tầng Kiến thức-Hành đồ (Knowledge-Action Graph) được xây dựng để ghi lại bằng chứng, hành động, quan sát và kết quả xác thực trong các trajectory dài 45K token. Sau đó, mô hình được huấn luyện qua ba giai đoạn: SFT toàn miền, huấn luyện teacher chuyên biệt cho từng lĩnh vực, và distillation on-policy đa teacher với căn chỉnh từ vựng nổi bật (SVA) để hợp nhất sáu lĩnh vực không đồng nhất vào một student duy nhất.

III. Main Results:​

  • Agents-A1 (35B) vượt mô hình 1.000B (Kimi-K2.6, DeepSeek-V4-pro) trên SEAL-0 (56.4), IFBench (80.6), HiPhO (46.4), FrontierScience-Olympiad (79.0) và MolBench-Bind (56.8).
  • Đạt kết quả cạnh tranh trên SciCode (44.3), HLE (47.6) và BrowseComp (75.5).
  • Trajectory trung bình dài 45K token, cung cấp giám sát quy trình chi tiết.
  • Pipeline huấn luyện ba giai đoạn cho phép tổng hợp hiệu quả năng lực agent từ sáu lĩnh vực.
  • Phương pháp distillation SVA giảm xung đột giữa các pattern suy luận khác nhau.

IV. Conclusion & Future Works:​

Agents-A1 chứng minh rằng mở rộng tầm nhìn agent (horizon scaling) có thể đạt hiệu suất ngang mô hình lớn hơn gấp nhiều lần về tham số. Hướng tương lai: tối ưu hóa chiến lược thăm dò tự chơi và mở rộng infrastructure KAG cho thêm nhiều lĩnh vực mới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu khả năng mở rộng của KAG với các tác vụ đa phương thức (hình ảnh, video) để agent có thể lập kế hoạch dựa trên quan sát trực quan dài hạn.
  2. Áp dụng multi-teacher OPD với SVA cho mô hình ngôn ngữ lớn đa ngữ, teacher chuyên cho từng ngôn ngữ giúp giảm xung đột và tăng chất lượng đầu ra.
  3. Phát triển pipeline tự động hóa hoàn toàn việc xây dựng KAG cho các lĩnh vực mới (y tế, tài chính) mà không cần can thiệp thủ công nhiều.

2. Patent:​

  1. Hệ thống trợ lý ảo trên điện thoại có khả năng tự tìm kiếm thông tin qua nhiều bước, ghi nhớ lịch sử tương tác dài và tự kiểm tra độ chính xác của câu trả lời.
  2. Ứng dụng trên điện thoại hỗ trợ sinh viên giải bài tập khoa học phức tạp, tự động phân tích đề bài, tìm tài liệu tham khảo và đưa ra lời giải từng bước có kiểm chứng.
  3. Công cụ tối ưu hóa mã nguồn tự động trên thiết bị di động, có thể viết, chạy thử và đánh giá hàng loạt giải pháp lập trình để tìm ra phiên bản tốt nhất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.30616
ArXiv Abstracthttps://arxiv.org/abs/2606.30616
PDF Downloadhttps://arxiv.org/pdf/2606.30616.pdf
Github Repositoryhttps://github.com/InternScience/Agents-A1

4. TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents (44 votes)​

Tác giả: Shoufa Chen, Luyuan Wang, Xuan Yang, Zhiheng Liu, Yuren Cong, et al.

Xuất bản lúc: 2026-06-26

Tag: LLM Agents, Terminal Agents, Benchmark, CLI, Computer Use, AI Evaluation, Agentic AI

I. Main Problem:​

Các benchmark hiện tại đánh giá khả năng sử dụng máy tính của AI tập trung vào giao diện đồ họa (GUI) hoặc các tác vụ lập trình đơn thuần. Trong khi đó, các tác vụ đa dạng và chuyên nghiệp ngoài lập trình (soạn thảo văn bản, email, tìm kiếm thông tin, mô phỏng khoa học) thông qua dòng lệnh (terminal) hầu như chưa được đánh giá một cách toàn diện.

II. Main Idea:​

Bài báo giới thiệu TUA-Bench, một benchmark với 120 tác vụ thực tế, đa dạng trên terminal. Các tác vụ được chia thành 5 nhóm: Văn phòng, Web & Thông tin, Hệ thống & Phần mềm, Khoa học & Kỹ thuật, và Đa phương tiện. Mỗi tác vụ được thiết kế thủ công, chạy trong môi trường container cô lập, và được đánh giá tự động dựa trên kết quả đầu ra. Benchmark này bao gồm cả tác vụ hàng ngày được chuyển đổi từ GUI sang CLI và các quy trình chuyên môn do chuyên gia đồng thiết kế.

III. Main Results:​

  • Agent mạnh nhất (Claude Code với Claude Opus 4.8) chỉ đạt 65.8% thành công, cho thấy dư địa cải thiện lớn.
  • Các mô hình mạnh như GPT-5.5 và Claude Opus 4.8 cho kết quả gần ngang nhau (~60%) trên cùng một agent framework.
  • Tăng thời gian xử lý mỗi tác vụ từ 150s lên 2400s giúp cải thiện tỷ lệ thành công thêm 27.1%.
  • Chi phí vận hành dao động từ 12đe^ˊn12 đến 304 mỗi lần chạy, phụ thuộc vào mô hình và cấu hình.
  • Nhóm tác vụ Văn phòng và Đa phương tiện là khó nhất, với hầu hết các mô hình đạt dưới 45%.

IV. Conclusion & Future Works:​

TUA-Bench là một benchmark toàn diện và thách thức cho các agent terminal, giúp đo lường khả năng lập kế hoạch, sử dụng công cụ và phục hồi lỗi. Hướng phát triển trong tương lai có thể bao gồm mở rộng bộ tác vụ chuyên môn hoặc tích hợp các cơ chế đánh giá mới cho các agent đa phương thức.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của chiến lược xử lý lỗi và phục hồi (error recovery) đến hiệu suất của các agent terminal, dựa trên các tác vụ thất bại được phân loại trong TUA-Bench.
  2. Phát triển một phương pháp huấn luyện hoặc tinh chỉnh mô hình ngôn ngữ (LLM) đặc thù cho các tác vụ CLI tổng hợp, sử dụng các trajectory thành công từ TUA-Bench làm dữ liệu huấn luyện.
  3. So sánh hiệu quả giữa việc sử dụng terminal native và các interface giả lập (MCP tools, GUI) trên cùng một bộ tác vụ để phân tích điểm mạnh/yếu của từng modality tương tác.

2. Patent:​

  1. Trợ lý ảo trên điện thoại có thể thực thi các lệnh phức tạp trên máy tính từ xa thông qua terminal: người dùng ra lệnh thoại, hệ thống tự động phân tích, chuyển thành lệnh shell và thực hiện trên máy chủ đám mây, sau đó gửi kết quả về điện thoại.
  2. Hệ thống tự động hóa quy trình làm việc văn phòng (email, bảng tính) trên điện thoại bằng cách chạy lệnh CLI thay vì thao tác GUI: người dùng chỉ cần mô tả mục tiêu, agent sẽ thao tác trực tiếp trên file và gửi báo cáo về điện thoại.
  3. Công cụ kiểm tra an ninh mạng di động sử dụng agent terminal để tự động thực hiện các tác vụ quét lỗ hổng, cấu hình tường lửa và phân tích nhật ký thông qua lệnh CLI, giúp quản trị viên làm việc hiệu quả hơn từ xa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.28480
ArXiv Abstracthttps://arxiv.org/abs/2606.28480
PDF Downloadhttps://arxiv.org/pdf/2606.28480.pdf
Github Repositoryhttps://github.com/facebookresearch/TUA-Bench

5. ReFreeKV: Towards Threshold-Free KV Cache Compression (43 votes)​

Tác giả: Xuanfan Ni, Liyan Xu, Chenyang Lyu, Longyue Wang, Mo Yu, et al.

Xuất bản lúc: 2026-06-26

Tag: KV Cache, LLM Inference, Memory Compression, Threshold-Free, Attention Pruning, Dynamic Budget

I. Main Problem:​

Các phương pháp nén KV cache hiện tại đều phụ thuộc vào một ngưỡng ngân sách cố định, nhạy cảm với từng miền dữ liệu đầu vào. Ngưỡng tối ưu này thay đổi mạnh giữa các tác vụ (ví dụ 20% trên LongBench nhưng 80% trên GSM8K), khiến việc chọn trước ngưỡng là bất khả thi trong thực tế với đầu vào đa dạng, gây suy giảm hiệu suất nghiêm trọng.

II. Main Idea:​

ReFreeKV đề xuất một mục tiêu mới: nén KV cache không cần ngưỡng đầu vào, tự động điều chỉnh ngân sách cho từng mẫu. Phương pháp gồm hai giai đoạn: đầu tiên sắp xếp các vị trí KV cache theo thứ tự vị trí (ưu tiên đầu và cuối dãy), sau đó lần lượt giữ lại KV cho đến khi chênh lệch chuẩn Frobenius của ma trận attention gốc so với ma trận đã cắt đạt ngưỡng 1% — một ngưỡng phổ quát không phụ thuộc đầu vào. Quy trình được tối ưu hoàn toàn bằng toán tử song song nên có độ trễ thấp.

III. Main Results:​

  • ReFreeKV duy trì hiệu suất full-cache trên 13 dataset (toán, suy luận, QA, tóm tắt) với nhiều mô hình (Llama3-8B/70B, Mistral-7B, Qwen2.5-7B/32B/72B).
  • Với Llama3-8B, nó đạt +0.12% so với full-cache khi chỉ dùng trung bình 63.68% KV cache; Qwen2.5-7B đạt +2.63% với 76.02% budget.
  • Các baseline (H2O, SnapKV, PyramidKV) ở budget 20% mất tới 20-35% hiệu suất, trong khi ReFreeKV tự động điều chỉnh lên budget cao hơn cho tác vụ khó.
  • Độ trễ pruning của ReFreeKV ngang bằng các phương pháp trước, và thời gian sinh tổng thể nhanh hơn nhờ giảm attention computation.

IV. Conclusion & Future Works:​

ReFreeKV lần đầu hiện thực hóa mục tiêu nén KV cache không cần ngưỡng, đảm bảo hiệu suất gần như lossless trên mọi đầu vào. Hạn chế chính là tỷ lệ nén có thể chưa tối ưu tuyệt đối (ví dụ giữ 84% budget trong khi 50% vẫn ổn) và chưa có đảm bảo lý thuyết chặt chẽ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu áp dụng Frobenius norm làm stopping criterion cho tác vụ streaming, nơi KV cache cần được cập nhật động theo từng bước decoding thay vì chỉ một lần sau prefilling.
  2. Mở rộng tư tưởng threshold-free sang các cơ chế nén khác (merging, quantization), xây dựng khung lý thuyết chung để thiết lập ngưỡng phổ quát cho nhiều loại nén.
  3. Kết hợp ReFreeKV với hardware-aware scheduling để tự động phân bổ ngân sách KV cache theo layer, tận dụng đặc điểm phân bố attention không đều giữa các layer sâu và nông.

2. Patent:​

  1. Ứng dụng trên điện thoại: hệ thống chatbot LLM di động tự động điều chỉnh dung lượng KV cache dựa trên độ khó câu hỏi — câu hỏi toán logic giữ nhiều hơn, câu hỏi thông thường giữ ít hơn — giúp giảm RAM mà không cần người dùng cài đặt.
  2. Trình biên dịch prompt cho ứng dụng doanh nghiệp: phân tích tự động độ phức tạp của câu lệnh đầu vào, dùng ReFreeKV để quyết định số token giữ lại, tối ưu hóa thời gian phản hồi mà không hy sinh độ chính xác.
  3. Module tối ưu hóa cho serverless LLM inference trên cloud: mỗi request được gán ngân sách KV cache động dựa trên ước lượng từ ReFreeKV, giúp nhà cung cấp dịch vụ tiết kiệm chi phí GPU mà vẫn đảm bảo chất lượng đầu ra đồng đều.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2502.16886
ArXiv Abstracthttps://arxiv.org/abs/2502.16886
PDF Downloadhttps://arxiv.org/pdf/2502.16886.pdf
Github Repositoryhttps://github.com/Patrick-Ni/ReFreeKV

6. Beyond IID: How General Are Tabular Foundation Models, Really? (36 votes)​

Tác giả: Lennart Purucker, Andrej Tschalzev, Nick Erickson, Gioia Blayer, David Holzmüller, et al.

Xuất bản lúc: 2026-06-29

Tag: Tabular Foundation Models, Benchmarking, Non-IID Data, Tabular Data, Tree-based Models, Deep Learning, Data Curation

I. Main Problem:​

Các mô hình nền tảng cho dữ liệu dạng bảng (tabular foundation models – TFMs) hiện chủ yếu được đánh giá trên các bộ dữ liệu IID, bỏ qua các thách thức ngoài IID như dữ liệu theo thời gian, theo nhóm, quy mô lớn hoặc có đặc trưng phức tạp. Việc thiếu một chuẩn đánh giá thống nhất và toàn diện khiến các nhà nghiên cứu khó xác định được điểm yếu thực sự của TFMs, dẫn đến tập trung cải tiến trên các bài toán dễ thay vì giải quyết những khó khăn thực tiễn.

II. Main Idea:​

Bài báo giới thiệu BeyondArena, một chuẩn đánh giá toàn diện đầu tiên hợp nhất các loại tác vụ IID, theo thời gian và theo nhóm, với nhiều quy mô dữ liệu (từ rất nhỏ đến rất lớn), chiều đặc trưng và kiểu đặc trưng khác nhau (có văn bản, có cardinality cao). Để hỗ trợ việc tuyển chọn dữ liệu có thể tái lập, tác giả xây dựng DataFoundry – một framework và lược đồ siêu dữ liệu cho việc quản lý bộ dữ liệu dạng bảng. Qua 142 bộ dữ liệu và 11 mô hình, kết quả cho thấy TFMs vượt trội trên dữ liệu IID từ nhỏ đến vừa, nhưng các mô hình truyền thống (cây quyết định, MLP) vẫn chiếm ưu thế trên dữ liệu phi IID, quy mô lớn và chiều cao.

III. Main Results:​

  • TFMs (TabICLv2, TabPFN-2.6) đứng đầu trên 70% số bộ dữ liệu, nhưng chủ yếu trên IID cỡ nhỏ và vừa; trên dữ liệu phi IID/temporal/large, tỷ lệ đứng đầu giảm mạnh.
  • GBDT (CatBoost, XGBoost) và MLP (RealMLP) sau khi tuning + ensembling vượt TFMs trên dữ liệu non-IID, large-scale và high-dimensional.
  • TFMs có chi phí huấn luyện mặc định thấp hơn đáng kể so với các đối thủ đã tuning, nhưng chi phí suy luận vẫn cao.
  • Các ablation cho thấy việc dùng đúng kiểu split (temporal, grouped) và preprocessing phù hợp ảnh hưởng lớn đến xếp hạng mô hình; calibration cải thiện log-loss cho hầu hết mô hình trừ TabPFN-2.6 và RealMLP.

IV. Conclusion & Future Works:​

BeyondArena cho thấy TFMs chưa thực sự tổng quát cho mọi dữ liệu dạng bảng, còn yếu trên các thách thức phi IID, quy mô lớn và đặc trưng phức tạp. Hướng tương lai có thể mở rộng chuẩn đánh giá sang dữ liệu few-shot, đa phương thức (bảng-hình ảnh-văn bản) và các tác vụ khác như học quan hệ hay phân tích sống còn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cách fine-tuning TFMs trên dữ liệu phi IID để cải thiện khả năng tổng quát, thay vì chỉ dùng in-context learning như hiện tại.
  2. Phát triển phương pháp preprocessing cho dữ liệu grouped và text như một phần của không gian tìm kiếm siêu tham số, nhằm tối ưu hóa cho từng loại mô hình.
  3. Mở rộng BeyondArena cho các tác vụ few-shot (dưới 100 mẫu) và dữ liệu bảng kết hợp hình ảnh, tạo ra benchmark thống nhất cho cả TFMs và các mô hình truyền thống.

2. Patent:​

  1. Hệ thống gợi ý mô hình và pipeline tiền xử lý tự động dựa trên đặc điểm dữ liệu (kích thước, kiểu split, loại đặc trưng) để người dùng điện thoại có thể chọn mô hình phù hợp nhất cho bài toán dự báo của mình.
  2. Ứng dụng BeyondArena làm nền tảng đánh giá nhanh cho các ứng dụng di động: khi người dùng tải lên một bảng dữ liệu nhỏ, hệ thống tự động chạy benchmark và đề xuất mô hình tối ưu (TFM hay GBDT) kèm pipeline tiền xử lý.
  3. Phương pháp sinh bộ dữ liệu con (subset) đại diện cho từng loại thách thức (non-IID, high-dim) để huấn luyện TFMs chuyên biệt, có thể triển khai trên thiết bị di động để dự báo ngoại tuyến.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.30410
ArXiv Abstracthttps://arxiv.org/abs/2606.30410
PDF Downloadhttps://arxiv.org/pdf/2606.30410.pdf
Github RepositoryN/A

7. Trimming the Long-Tail of Visual World Modeling Evaluation (35 votes)​

Tác giả: Bingxuan Li, Yining Hong, Cheng Qian, Hyeonjeong Ha, Jiateng Liu, et al.

Xuất bản lúc: 2026-06-23

Tag: World Models, Video Generation, Image Generation, Physical Reasoning, Long-Tail Distribution, Affordance, Benchmark

I. Main Problem:​

Các mô hình thế giới (world models) hiện tại như Sora-2, Veo-3.1 đạt kết quả ấn tượng khi mô phỏng các tương tác vật lý phổ biến (head distribution). Tuy nhiên, không rõ liệu thành công này đến từ việc nội hóa các nguyên lý vật lý hay chỉ là khớp mẫu thống kê từ dữ liệu huấn luyện. Bài toán đặt ra là kiểm tra khả năng tổng quát hóa của các mô hình này trong các kịch bản hiếm gặp (long-tail).

II. Main Idea:​

TailOR giới thiệu một benchmark ba kịch bản: Thông thường (công cụ-chức năng phổ biến), Bất thường (công cụ thay thế tương thích thuộc tính) và Bất khả thi (công cụ vi phạm thuộc tính). Mỗi kịch bản được đánh giá dưới hai chế độ: Sinh dự đoán (suy luận kết quả) và Sinh mô tả (tái hiện kết quả được chỉ định). Bộ tiêu chí đánh giá gồm: Tuân thủ hướng dẫn, Độ chính xác tương tác, Tính hiện thực vật lý và Chất lượng cảm nhận.

III. Main Results:​

  • Hiệu suất giảm đều đặn từ kịch bản Thông thường → Bất thường → Bất khả thi trên mọi mô hình, cho thấy lỗ hổng long-tail.
  • Điểm sụt giảm mạnh nhất ở Độ chính xác tương tác và Tính hiện thực vật lý, chỉ ra vấn đề về suy luận affordance.
  • Mô hình video đạt điểm thấp hơn ảnh, phản ánh khó khăn khi phải duy trì tính nhất quán tạm thời.
  • Các mô hình thường dựa vào mẫu trực quan bề mặt: ảnh bỏ qua thay đổi trạng thái, video mắc lỗi động lực.
  • Ngay khi có mô tả kết quả rõ ràng, mô hình vẫn hay quay về mẫu quen thuộc, thiếu tuân thủ hướng dẫn.

IV. Conclusion & Future Works:​

TailOR chứng minh các world model hiện tại chủ yếu ghi nhớ mẫu tương tác thay vì thực hiện suy luận vật lý thành phần. Hướng tương lai: phát triển mô hình có khả năng hiểu thuộc tính đối tượng, động lực nhân quả và tương tác có ý thức về ràng buộc.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng TailOR cho tương tác đa đối tượng và cảnh động không chỉ dụng cụ, ví dụ đổ chất lỏng vào vật chứa lạ hoặc phản ứng dây chuyền phức tạp, để kiểm tra suy luận nhân quả sâu hơn.
  2. Phát triển mô hình world model kết hợp suy luận thuộc tính rõ ràng, như lý luận về độ cứng, độ sắc, trọng lượng, kết hợp với sinh ảnh/video để cải thiện tổng quát hóa long-tail.
  3. Nghiên cứu chiến lược data augmentation có hướng dẫn bằng thuộc tính để tạo dữ liệu huấn luyện phong phú cho kịch bản bất thường, từ đó nâng cao khả năng tổng quát affordance.

2. Patent:​

  1. Hệ thống gợi ý công cụ thay thế thông minh trên điện thoại: khi người dùng chụp ảnh một vật dụng hỏng và mô tả tác vụ, ứng dụng sẽ gợi ý đồ vật thường ngày có thuộc tính vật lý phù hợp để thay thế (ví dụ: dùng đồng xu thay tua vít).
  2. Tính năng kiểm tra an toàn khi sử dụng vật dụng lạ cho nội trợ thông minh: camera điện thoại phân tích xem một vật dụng lạ (ví dụ: bút chì) có đáp ứng yêu cầu về độ cứng, kích thước để thực hiện tác vụ nguy hiểm tiềm tàng (ví dụ: mở hộp) hay không.
  3. Ứng dụng mô phỏng DIY (tự làm) trên smartphone: người dùng nhập tác vụ và danh sách đồ gia dụng; ứng dụng sinh video mô tả cách dùng đồ vật thay thế (ví dụ: dây kẹp giấy để kéo khóa áo), giúp người dùng hình dung trước khi thực hiện thật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.24256
ArXiv Abstracthttps://arxiv.org/abs/2606.24256
PDF Downloadhttps://arxiv.org/pdf/2606.24256.pdf
Github Repositoryhttps://github.com/tailor-bench/code

8. Video-MME-Logical: A Controlled Diagnostic Benchmark for Video Temporal-Logical Reasoning (23 votes)​

Tác giả: Hohin Kwan, Hongyu Li, Ray Zhang, Manyuan Zhang, Xianghao Kong, et al.

Xuất bản lúc: 2026-06-26

Tag: Video Understanding, Temporal-Logical Reasoning, MLLMs, Benchmark, State Tracking, Sequential Counting, Procedural Generation

I. Main Problem:​

Các multimodal large language models (MLLMs) hiện tại thường được đánh giá qua các benchmark video chung chung, khó phân biệt giữa nhận diện tĩnh và suy luận logic động qua thời gian. Các benchmark này thiếu khả năng cô lập và kiểm soát từng thao tác temporal-logical, không có các mức độ khó rõ ràng, và chỉ đánh giá kết quả cuối cùng mà không kiểm tra quá trình suy luận trung gian.

II. Main Idea:​

Bài báo giới thiệu VIDEO-MME-LOGICAL, một benchmark chuẩn đoán có kiểm soát cho suy luận temporal-logical video. Benchmark được tổ chức xoay quanh năm thao tác temporal-logical cốt lõi: State Tracking, Sequential Counting, Temporal Ordering, Dynamic Spatiality, và Structural Composition. Nó bao gồm 25 task được sinh thủ tục với khả năng kiểm soát độ khó (dễ, trung bình, khó) bằng cách thay đổi temporal horizon và reasoning complexity. Benchmark cũng cung cấp intermediate-state diagnostics (VIDEO-MME-LOGICAL-S) để xác minh xem mô hình có tạo ra dấu vết suy luận đúng trước khi đưa ra câu trả lời cuối cùng hay không.

III. Main Results:​

  • Khoảng cách lớn giữa người (95.9%) và mô hình tốt nhất (gemini-3.1 Pro: 28.6% trên các thử nghiệm khó).
  • 'Thinking' không luôn cải thiện suy luận temporal-logical; Qwen3-VL-8B giảm từ 11.9% (instruct) xuống 6.6% (think).
  • Final-answer accuracy có thể che giấu lỗi intermediate-state (ví dụ: GPT-5.4 sai swap trace nhưng dự đoán đúng vị trí cuối).
  • Supervised fine-tuning trên 375K mẫu cải thiện độ chính xác lên 39.2% nhưng bão hòa và không tăng thêm với nhiều dữ liệu hơn.

IV. Conclusion & Future Works:​

VIDEO-MME-LOGICAL cho thấy các MLLM hiện tại còn hạn chế trong suy luận temporal-logical, đặc biệt là với temporal horizon dài và độ phức tạp cao. Huấn luyện có giám sát bằng dữ liệu được sinh thủ tục có thể cải thiện hiệu suất nhưng nhanh chóng bão hòa, cho thấy cần các phương pháp mạnh hơn. Benchmark này hỗ trợ chẩn đoán chính xác điểm yếu của mô hình trên từng thao tác temporal-logical cụ thể.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của các kiến trúc MLLM và phương pháp huấn luyện khác nhau lên hiệu suất suy luận temporal-logical, như sử dụng reinforcement learning để cải thiện khả năng theo dõi trạng thái qua nhiều bước biến đổi.
  2. Mở rộng benchmark với các video tự nhiên hơn, kết hợp sinh thủ tục và các cảnh quay ngoài đời thực để tăng tính tổng quát mà vẫn giữ được khả năng kiểm soát và gán nhãn trung gian.
  3. Phát triển các mô hình chuyên biệt cho từng thao tác temporal-logical (ví dụ: State Tracking) và sau đó kết hợp chúng trong một kiến trúc tổng thể để giải quyết các bài toán phức tạp hơn.

2. Patent:​

  1. Hệ thống giám sát kho hàng tự động: camera ghi lại chuyển động của các thùng hàng, mô hình theo dõi vị trí và trạng thái của chúng qua thời gian để phát hiện thất lạc hoặc sắp xếp sai, phản hồi ngay lập tức cho người quản lý qua ứng dụng điện thoại.
  2. Trợ lý lắp ráp đồ nội thất bằng điện thoại: người dùng quay video quá trình lắp ghép, mô hình đếm số mảnh ghép và phân tích thứ tự lắp ráp, kiểm tra xem có bước nào sai hoặc thiếu linh kiện không, đưa ra hướng dẫn sửa lỗi.
  3. Ứng dụng điện thoại luyện tập thể thao: người dùng đặt điện thoại quay lại toàn bộ động tác, mô hình phân tích quỹ đạo chuyển động và thời gian của từng giai đoạn, so sánh với mẫu chuẩn để đề xuất cải thiện kỹ thuật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.27828
ArXiv Abstracthttps://arxiv.org/abs/2606.27828
PDF Downloadhttps://arxiv.org/pdf/2606.27828.pdf
Github Repositoryhttps://github.com/Mrakas/video-mme-logical

9. AsyncOPD: How Stale Can On-Policy Distillation Be? (23 votes)​

Tác giả: Wonjun Kang, Kevin Galim, Seunghyuk Oh, Minjun Kang, Sanghyun Park, et al.

Xuất bản lúc: 2026-06-23

Tag: On-Policy Distillation, Asynchronous Training, Large Language Models, Knowledge Distillation, Stale Data, Policy Gradient, Monte Carlo

I. Main Problem:​

On-policy distillation (OPD) gặp bottleneck hệ thống vì phải chờ rollout mới mỗi lần cập nhật student, đặc biệt nặng với tác vụ suy luận. Asynchronous pipeline có thể khắc phục bằng cách tách rời rollout khỏi learner, nhưng gây ra dữ liệu chính sách cũ (stale-policy data). Tác động của dữ liệu cũ trong OPD chưa được nghiên cứu, nhất là với ràng buộc cache điểm số teacher có hạn.

II. Main Idea:​

Bài báo nghiên cứu ảnh hưởng của độ cũ (staleness) trong OPD không đồng bộ dưới ràng buộc teacher-score cache. Chỉ ra rằng forward KL ít bị ảnh hưởng vì teacher-weighted, còn reverse KL dễ tổn thương vì student-weighted. Với reverse KL, giải pháp hiệu quả nhất là tính lại advantage Aθ tại thời điểm learner mà không dùng clipping; các kỹ thuật asynchronous RL cao cấp không cải thiện hơn. Để khắc phục bias của stale top-k, đề xuất multi-sample Monte Carlo giảm phương sai trong khi vẫn giữ tính hiệu chỉnh được (correctability). Cuối cùng, xây dựng pipeline AsyncOPD đạt tăng tốc 1.6×–3.8× so với đồng bộ.

III. Main Results:​

  • Forward KL ổn định hơn reverse KL khi độ cũ tăng; reverse KL giảm độ chính xác nhanh hơn.
  • Surrogate tốt nhất cho reverse KL là dùng Aθ tại learner, không clipping; Decoupled PPO và M2PO không vượt trội.
  • Multi-sample MC (m=4–64) giảm phương sai và cải thiện độ chính xác tại độ cũ lớn so với one-sample MC.
  • AsyncOPD đạt throughput tăng 1.6×–3.3× so với đồng bộ trên Qwen3-Base (1.7B–8B) mà không giảm độ chính xác.
  • Sparse top-k cũ bị support-mismatch, không thể hiệu chỉnh bằng reweighting.

IV. Conclusion & Future Works:​

Nghiên cứu hệ thống đầu tiên về độ cũ trong asynchronous OPD, cho thấy hướng KL và lựa chọn surrogate quyết định độ bền vững. Hướng tương lai: mở rộng dense KL cho async, và tối ưu pipeline trên cụm đa node lớn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phân tích tác động độ cũ cho các biến thể OPD ngoài forward/reverse KL, như Jensen-Shannon divergence, để tìm hướng tối ưu tổng quát.
  2. Nghiên cứu cơ chế cache thích ứng: thay vì cache cố định top-k, dùng dự đoán hành vi student tương lai để ưu tiên teacher-score các action có khả năng cao.
  3. Kết hợp multi-sample MC với adaptive importance sampling để tự động điều chỉnh số mẫu dựa trên độ bất định của policy gradient.

2. Patent:​

  1. Phương pháp huấn luyện mô hình ngôn ngữ không đồng bộ trên điện thoại: thiết bị di động sinh rollout, gửi lên server teacher scoring; learner cập nhật theo batch mà không cần lưu toàn bộ logits teacher, tiết kiệm băng thông.
  2. Hệ thống cache thông minh trên điện thoại cho OPD: lưu teacher scores chỉ cho top-k action cũ, vẫn giữ khả năng hiệu chỉnh bằng importance sampling khi student thay đổi, tối ưu dung lượng lưu trữ.
  3. Ứng dụng multi-sample MC cho chatbot di động: mỗi câu trả lời được mô phỏng nhiều nhánh local, teacher chấm điểm đồng thời, giúp cập nhật chính sách nhanh hơn mà không cần rollout dài.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.24143
ArXiv Abstracthttps://arxiv.org/abs/2606.24143
PDF Downloadhttps://arxiv.org/pdf/2606.24143.pdf
Github Repositoryhttps://github.com/furiosa-ai/async-opd

10. Bridging VideoQA and Video-Guided Agentic Tasks via Generalized Keyframe Extraction (21 votes)​

Tác giả: Sunqi Fan, Qingle Liu, Runqi Yin, Meng-Hao Guo, Shuojin Yang

Xuất bản lúc: 2026-06-28

Tag: Video Understanding, Keyframe Extraction, GUI Agent, Multimodal LLM, VideoQA, Benchmark, In-Context Learning

I. Main Problem:​

Các chuẩn đánh giá VideoQA hiện tại chỉ kiểm tra khả năng cảm nhận nông (nhận diện đối tượng, hành động ngắn) của MLLM, chưa xem xét khả năng học tri thức chuyên sâu hay kỹ năng thủ tục từ video hướng dẫn để áp dụng vào các tác vụ tác nhân dài hạn. Thiếu một benchmark chuẩn cho mục tiêu này.

II. Main Idea:​

Bài báo đề xuất VG-GUI-Bench, một benchmark mới đánh giá khả năng của tác nhân GUI dựa trên MLLM trong việc theo dõi video hướng dẫn để hoàn thành tác vụ tương tác GUI (ví dụ: đặt lại mật khẩu Discord). Đồng thời giới thiệu TASKER, thuật toán trích xuất keyframe kết hợp đánh giá mức độ liên quan đến nhiệm vụ (task-driven) và động thái cảnh (scene-aware) để lựa chọn khung hình thông tin. TASKER gồm bốn biến thể dựa trên các thuật toán tìm kiếm đồ thị kinh điển (GBFS, Dijkstra, A*, BFS) và sử dụng khả năng tự đánh giá của MLLM để quyết định điểm dừng.

III. Main Results:​

  • TASKER (GPT-4) đạt 63.1% trên EgoSchema fullset (vượt baseline tốt nhất 2.0%) và 77.4% trên NExT-QA (vượt 1.8%).
  • TASKER chỉ dùng khoảng 15% tổng số khung hình nhưng vẫn đạt kết quả vượt trội so với các phương pháp xử lý toàn bộ khung hình.
  • TASKER hoạt động hiệu quả trên cả hai tác vụ VideoQA và video-guided agentic task, thể hiện tính khái quát hóa.
  • Trên VG-GUI-Bench, TASKER cải thiện đáng kể độ chính xác và hiệu suất so với uniform sampling và các phương pháp trích xuất keyframe khác.

IV. Conclusion & Future Works:​

TASKER chứng tỏ rằng một thuật toán trích xuất keyframe tổng quát, kết hợp đánh giá nhiệm vụ và động thái cảnh, có thể cải thiện đáng kể hiệu suất trên cả VideoQA và tác vụ tác nhân có video hướng dẫn. Hướng tương lai: mở rộng cho các video dài hơn và các loại tác vụ tác nhân khác ngoài GUI.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng TASKER sang các lĩnh vực khác như robot học từ video hướng dẫn, nơi keyframe có thể đại diện cho các bước hành động quan trọng.
  2. Kết hợp TASKER với cơ chế học tăng cường để tối ưu hóa chiến lược tìm kiếm keyframe theo thời gian thực dựa trên phản hồi từ tác vụ.
  3. Xây dựng benchmark mới cho video-guided agentic task trong môi trường 3D (ví dụ: game, mô phỏng) để kiểm tra khả năng chuyển giao kiến thức thủ tục không gian.

2. Patent:​

  1. Hệ thống trợ lý di động xem video hướng dẫn thao tác ứng dụng và tự động thực hiện các bước thay người dùng, chỉ dùng keyframe được trích xuất thông minh để ra lệnh.
  2. Tính năng trên điện thoại cho phép chụp ảnh màn hình và tự động trích xuất các khung hình chính từ video hướng dẫn để tạo tóm tắt trực quan các bước.
  3. Ứng dụng camera thông minh: khi quay video hướng dẫn nấu ăn, hệ thống tự động đánh dấu các keyframe (khoảnh khắc tỉa rau, đổ gia vị) và tạo hướng dẫn trực tiếp từng bước.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.29445
ArXiv Abstracthttps://arxiv.org/abs/2606.29445
PDF Downloadhttps://arxiv.org/pdf/2606.29445.pdf
Github Repositoryhttps://github.com/VG-GUI-TASKER/VG-GUI-TASKER

11. One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining (19 votes)​

Tác giả: Philip Zmushko, Egor Petrov, Nursultan Abdullaev, Mikhail Khrushchev, Samuel Horváth

Xuất bản lúc: 2026-06-29

Tag: Pipeline Parallelism, Asynchronous Training, LLM Pretraining, Gradient Delay, Optimizer Robustness, Muon, Error Feedback, PipeDream-2BW

I. Main Problem:​

Huấn luyện LLM quy mô lớn với Pipeline Parallelism đồng bộ gây lãng phí tài nguyên GPU do “bọt” đường ống (pipeline bubbles). Asynchronous Pipeline Parallelism (Async PP) loại bỏ bọt này nhưng đánh đổi bằng độ trễ gradient (gradient staleness), vốn được cho là gây mất ổn định. Trước đây chưa có nghiên cứu nào chứng minh Async PP có thể đạt chất lượng ngang đồng bộ ở quy mô lớn.

II. Main Idea:​

Bài báo thách thức giả định rằng độ trễ gradient là rào cản cố hữu, chỉ ra rằng mức độ suy giảm phụ thuộc mạnh vào lựa chọn optimizer. Phân tích toàn diện cho thấy AdamW suy giảm nghiêm trọng dưới độ trễ một bước, nhưng các optimizer hiện đại như Muon lại rất bền vững. Tác giả đề xuất cơ chế hiệu chỉnh lấy cảm hứng từ Error Feedback (EF) ở mức cập nhật optimizer, có thể áp dụng bất kỳ với optimizer nào để giảm thêm khoảng cách với huấn luyện đồng bộ. Kết quả lý thuyết và thực nghiệm (mô hình 10B MoE) xác nhận Async PP với PipeDream-2BW + Muon + EF đạt chất lượng ngang đồng bộ.

III. Main Results:​

  • Khảo sát 12 optimizer: AdamW và MARS suy giảm mạnh (gap>0.2 loss) dưới độ trễ một bước; Muon, Adan, NorMuon, SOAP, Lion giữ gap trong 0.03.
  • Hệ số momentum cao là yếu tố quyết định nhất giúp optimizer bền vững với độ trễ.
  • Error Feedback (EF) phục hồi 50-90% khoảng cách sync-async cho hầu hết optimizer; với AdamW/MARS phục hồi 85-90%.
  • Trên mô hình 10B MoE, Async PP + EF đạt final validation loss 1.906, giống hệt đồng bộ (so với Async PP không EF là 1.911).
  • So sánh PipeDream cũ (độ trễ biến thiên) với PipeDream-2BW (độ trễ hằng): khi số pipeline stage tăng, PipeDream cũ suy giảm mạnh dù dùng optimizer mạnh, khẳng định lợi thế của độ trễ hằng.

IV. Conclusion & Future Works:​

Kết quả cho thấy độ trễ một bước không phải rào cản cơ bản cho Async PP quy mô lớn, nếu chọn optimizer phù hợp (Muon) và dùng EF. Hạn chế: chưa có giải thích cơ chế đầy đủ cho vai trò của momentum; thử nghiệm batch size chỉ ở mô hình nhỏ; lịch WPipe cần nghiên cứu thêm. Hướng tới là phân tích sâu hơn về động lực học optimizer và ảnh hưởng của batch size.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế lý thuyết giải thích tại sao momentum cao giúp optimizer bền vững với độ trễ gradient, có thể liên quan đến khả năng làm dịu nhiễu do độ trễ gây ra.
  2. Mở rộng phân tích độ trễ gradient sang các kiến trúc khác ngoài MoE, như mô hình dense siêu lớn (>100B) để kiểm tra tính tổng quát của Muon và Error Feedback.
  3. Kết hợp PipeDream-2BW với các chiến lược lập lịch thích ứng khác (ví dụ WPipe) để tối ưu đồng thời thông lượng và chất lượng huấn luyện không đồng bộ.

2. Patent:​

  1. Hệ thống huấn luyện mô hình ngôn ngữ lớn trên điện thoại: dùng pipeline không đồng bộ với độ trễ hằng và bộ đệm lỗi để cập nhật mô hình từ dữ liệu người dùng mà không cần đồng bộ toàn bộ, tiết kiệm pin và băng thông.
  2. Phương pháp tăng tốc huấn luyện AI trên đám mây: thay vì chờ đồng bộ tất cả GPU, hệ thống dùng lịch PipeDream-2BW kết hợp optimizer có khả năng chịu độ trễ (như Muon) để loại bỏ thời gian rảnh của GPU, giảm chi phí điện toán.
  3. Ứng dụng trong điện thoại thông minh: module học tăng cường cá nhân hóa sử dụng pipeline không đồng bộ để cập nhật mô hình đề xuất nội dung từ dữ liệu cục bộ, duy trì chất lượng dù có độ trễ nhỏ trong lan truyền gradient.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.30634
ArXiv Abstracthttps://arxiv.org/abs/2606.30634
PDF Downloadhttps://arxiv.org/pdf/2606.30634.pdf
Github RepositoryN/A

12. Monte Carlo Energy Aggregation for Mobile 3D Gaussian Splatting (16 votes)​

Tác giả: Xiaobiao Du, YuAn Wang, Hao Li, Bosheng Wang, Xun Sun, et al.

Xuất bản lúc: 2026-06-29

Tag: 3D Gaussian Splatting, Mobile Rendering, Novel View Synthesis, Spherical Harmonics, Monte Carlo, Model Compression

I. Main Problem:​

Triển khai 3D Gaussian Splatting trên nền tảng di động gặp hai nút thắt chính: (1) bậc ba Spherical Harmonics cần 48 tham số float mỗi Gaussian, gây tốn bộ nhớ và băng thông; (2) phương pháp densification dựa trên gradient một góc nhìn tạo ra quá nhiều Gaussian dư thừa và dễ overfit.

II. Main Idea:​

Flux-GS đề xuất Monte Carlo Specular Energy Aggregator để nén năng lượng đặc tả bậc cao vào không gian tiềm ẩn nhỏ gọn, thay vì dùng distillation tốn kém. Một Attribute-Conditioned SH Enhancement module dùng MLP nhẹ dự đoán offset cho SH bậc một dựa trên thuộc tính Gaussian, tinh chỉnh biểu diễn mà không tăng chi phí inference. Đồng thời, Multi-view Alpha-based Densification and Pruning dùng nhiều camera để đánh giá lỗi và đóng góp alpha, giúp kiểm soát số lượng Gaussian chính xác, đảm bảo tính nhất quán đa góc nhìn.

III. Main Results:​

  • Flux-GS đạt PSNR ~30.14 chỉ với 1.6 MB bộ nhớ, giảm 61% so với 3DGS (4.2 MB).
  • Số Gaussian giảm đáng kể, tăng FPS trên Snapdragon 8 Gen 3 (137 FPS vs 151 FPS của Mobile-GS).
  • Chất lượng rendering tương đương 3DGS và Mobile-GS nhưng với ít tham số hơn.
  • SH compression tiết kiệm 26% bộ nhớ so với Mobile-GS nhờ chỉ dùng SH bậc một.
  • Multi-view pruning giảm Gaussian dư thừa, cải thiện tính nhất quán đa góc nhìn.

IV. Conclusion & Future Works:​

Flux-GS là giải pháp mạnh mẽ cho real-time rendering trên thiết bị di động nhờ nén SH hiệu quả và chiến lược densification/pruning thông minh. Hướng phát triển: tối ưu thêm MLP cho các thiết bị có tài nguyên cực hạn, mở rộng cho scene động và video.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng Monte Carlo Energy Aggregator cho các biểu diễn neural khác (NeRF) để nén view-dependent color trên mobile mà không cần distillation.
  2. Kết hợp Multi-view Alpha-based Densification với các cấu trúc anchor (anchor-based) để giảm hơn nữa số lượng Gaussian trong scene lớn.
  3. Nghiên cứu học end-to-end tham số Monte Carlo sampling (K) và ngưỡng pruning (τ) để tự động thích ứng với độ phức tạp scene.

2. Patent:​

  1. Ứng dụng trong ứng dụng AR/VR trên điện thoại: nén mô hình 3D scene từ ảnh chụp, cho phép render real-time với dung lượng nhỏ, hỗ trợ xem sản phẩm 3D trực tiếp từ camera.
  2. Hệ thống bản đồ 3D nhẹ cho robot di động: dùng Flux-GS để biểu diễn môi trường với ít Gaussian, giúp robot lưu trữ và render nhanh trên chip nhúng.
  3. Tối ưu hóa streaming 3D cho game mobile: nén scene thành Flux-GS, tải xuống một lần, render mượt mà trên GPU điện thoại mà không cần server đám mây.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.30017
ArXiv Abstracthttps://arxiv.org/abs/2606.30017
PDF Downloadhttps://arxiv.org/pdf/2606.30017.pdf
Github Repositoryhttps://github.com/xiaobiaodu/Flux-GS

13. One Model, Many Latencies: Universal Speech Enhancement for Diverse Real-Time Applications (16 votes)​

Tác giả: Szu-Wei Fu, Rong Chao, Xuesong Yang, Sung-Feng Huang, Ante Jukić, et al.

Xuất bản lúc: 2026-06-24

Tag: Universal Speech Enhancement, Real-Time Processing, Early-Exit Mechanism, Look-Ahead Frames, Mixture-of-Experts, Mamba

I. Main Problem:​

Các ứng dụng giọng nói thời gian thực khác nhau đòi hỏi ngân sách độ trễ riêng biệt, thường buộc phải huấn luyện riêng một mô hình tăng cường giọng nói cho mỗi kịch bản. Chưa có mô hình nào vừa cho phép kiểm soát linh hoạt cả độ trễ thuật toán lẫn độ trễ tính toán trong cùng một kiến trúc duy nhất.

II. Main Idea:​

Bài báo đề xuất mô hình "one-for-all" cho tăng cường giọng nói thời gian thực, kiểm soát độ trễ thuật toán qua các lớp convolution song song ứng với mỗi số lượng look-ahead frames khác nhau (lấy cảm hứng từ mixture-of-experts). Độ trễ tính toán được điều chỉnh bằng cơ chế early-exit, cho phép suy luận ở các độ sâu mạng khác nhau. Một chiến lược huấn luyện hai giai đoạn (shared decoder rồi multiple decoder) thu hẹp khoảng cách hiệu năng so với các model chuyên biệt.

III. Main Results:​

  • Mô hình hỗ trợ 30 cấu hình độ trễ (10 exit layers × 3 look-ahead settings) mà không cần huấn luyện lại.
  • Trên tập URGENT 2025, model đạt chất lượng tương đương model chuyên biệt (ví dụ: PESQ 2.24 vs. 2.27 với exit-8, look-ahead=1).
  • Trên VoiceBank-DEMAND (zero-shot), model đạt PESQ 2.76–2.82, ESTOI 0.86, SI-SDR 18.6–18.8 dB, vượt các baseline mạnh như DEMUCS, DeepFilterNet3, Stream.FM.
  • Tăng look-ahead từ 0 lên 1 cải thiện rõ ASR accuracy (CAcc từ 83.1% lên 84.6% với exit-8).
  • Khi triển khai, chỉ cần giữ lại các lớp đến exit đã chọn và nhánh convolution tương ứng, không tăng dung lượng so với model chuyên biệt.

IV. Conclusion & Future Works:​

Mô hình one-for-all cho phép một kiến trúc duy nhất thích ứng với nhiều ràng buộc độ trễ, tiết kiệm chi phí huấn luyện riêng lẻ. Hướng tương lai có thể kết hợp pruning/quantization và distillation từ các mô hình lớn để nâng cao chất lượng đầu ra nông.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng early-exit cho mô hình tăng cường giọng nói dạng generative flow (streamable flow matching) để kiểm soát cả độ trễ lẫn chất lượng âm thanh.
  2. Áp dụng chiến lược two-stage shared-to-multiple decoder cho các tác vụ audio khác như tách nguồn hoặc khử tiếng vọng.
  3. Nghiên cứu cơ chế routing học được thay vì cố định để tự động chọn look-ahead frames và độ sâu mạng tối ưu dựa trên điều kiện âm thanh hiện tại.

2. Patent:​

  1. Ứng dụng trên điện thoại cho phép người dùng chọn chế độ âm thanh (gọi điện, ghi chú, livestream) và tự động chọn độ trễ phù hợp. Ví dụ: khi gọi video, model dùng ít look-ahead và early-exit nông để giảm độ trễ; khi ghi notes, dùng nhiều look-ahead và exit sâu hơn để tối ưu chất lượng.
  2. Hệ thống tăng cường giọng nói cho trợ lý ảo trên thiết bị đeo (smartwatch) tự động điều chỉnh độ sâu mạng dựa trên tài nguyên CPU/pin hiện tại, đảm bảo thời gian phản hồi nhanh khi pin thấp và chất lượng tốt khi pin đầy.
  3. Micro không dây thông minh có chip tích hợp mô hình one-for-all: người dùng chọn ứng dụng (hội nghị, thu âm, livestream) và cảm biến trên chip tự động chọn look-ahead frames và exit layer phù hợp, giảm hao pin mà vẫn đảm bảo hiệu suất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.25621
ArXiv Abstracthttps://arxiv.org/abs/2606.25621
PDF Downloadhttps://arxiv.org/pdf/2606.25621.pdf
Github RepositoryN/A

14. TACO: Tool-Augmented Credit Optimization for Agentic Tool Use (15 votes)​

Tác giả: Mingkuan Feng, Jinyang Wu, Hao Gu, Fangrui Lv, Ruihan Jin, et al.

Xuất bản lúc: 2026-06-29

Tag: RLVR, GRPO, Vision-Language Models, Credit Assignment, Code-Tool Agents, Process Reward

I. Main Problem:​

Trong các agent đa phương thức sử dụng mã code để thao tác ảnh, một lệnh gọi công cụ (tool call) có thể hữu ích, dư thừa hoặc gây hiểu lầm. Phần thưởng chỉ dựa trên kết quả cuối cùng không thể phân biệt chính xác các trường hợp này, trong khi các phần thưởng quy trình hiện có hoặc không quy trách nhiệm được cho từng lệnh gọi, hoặc yêu cầu một mô hình đánh giá bên ngoài.

II. Main Idea:​

TACO giới thiệu một biến thể GRPO với hai kênh lợi thế. Kênh thứ nhất, DAPR, là phần thưởng tự giám sát, không cần bộ đánh giá, định lượng đóng góp của một tool call bằng cách so sánh câu trả lời của mô hình ngay trước và sau khi gọi công cụ, từ đó gán giá trị dương, âm hoặc không. Kênh thứ hai, OGAR, định tuyến lợi thế từ câu trả lời cuối cùng đến đúng các token chịu trách nhiệm dựa trên kết quả của tool call, triệt tiêu các lệnh gọi lãng phí mà không cần thêm chi phí. Hai kênh này được tối ưu hóa đồng thời trong một pipeline SFT rồi RL.

III. Main Results:​

  • TACO đạt điểm trung bình 68.1% trên 12 benchmark, vượt agent mạnh nhất trước đó (PyVision) 4.4 điểm.
  • Đồng thời là agent chính xác nhất và nhanh nhất, giảm độ trễ nhờ chỉ gọi công cụ khi cần (VD: V* 89.6% tại 2.3s so với PyVision 88.7% tại 3.6s).
  • Ablation: bỏ DAPR giảm 4.5 điểm, bỏ OGAR giảm 2.0 điểm; cả hai đều cần thiết.
  • TACO tổng quát hóa tốt: tăng Qwen2.5-VL-7B thêm 11.6 điểm và Qwen3-VL-8B thêm 5.9 điểm.
  • Phân tích động lực huấn luyện cho thấy TACO chống lại probe-hacking và duy trì entropy cao hơn, tránh hội tụ sớm.

IV. Conclusion & Future Works:​

TACO cung cấp tín hiệu học tập cấp độ tool call cho các agent đa phương thức, giúp chúng học khi nào nên gọi công cụ. Hướng phát triển: phân bổ giá trị công cụ cho từng bước cắt xén (crop-step level) và mở rộng sang các loại công cụ hình ảnh phức tạp khác ngoài cắt/zoom.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ý tưởng DAPR cho các agent đa bước có nhiều lần gọi công cụ khác loại (VD: gọi API tìm kiếm, tính toán), so sánh câu trả lời trước/sau mỗi lần gọi.
  2. Kết hợp TACO với active learning: agent tự sinh câu hỏi khó để huấn luyện DAPR tốt hơn, giảm chi phí thu thập dữ liệu thủ công.
  3. Nghiên cứu khả năng chống probe-hacking của DAPR trong các tác vụ khác như robot hoặc điều khiển, nơi probe có thể bị lợi dụng phức tạp hơn.

2. Patent:​

  1. Ứng dụng TACO vào camera điện thoại: mô hình tự động quyết định cắt phóng to vùng ảnh dựa trên câu hỏi của người dùng (VD: 'biển số xe màu gì?') và chỉ cắt khi thực sự cần thiết, tiết kiệm pin và băng thông.
  2. Tích hợp vào trình trợ lý ảnh chụp màn hình: khi người dùng hỏi về chi tiết nhỏ trong ảnh, trợ lý thử trả lời trước; nếu sai, nó tự động phóng to vùng liên quan và trả lời lại, giảm sai sót mà không cần phóng to mọi lúc.
  3. Phần mềm chấm điểm bài thi bằng ảnh: hệ thống chấm điểm tự quyết định cắt phóng to vùng chữ viết tay nhỏ để đọc chính xác, chỉ khi phép cắt đó thực sự làm thay đổi kết quả chấm (cải thiện từ sai thành đúng).

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.30251
ArXiv Abstracthttps://arxiv.org/abs/2606.30251
PDF Downloadhttps://arxiv.org/pdf/2606.30251.pdf
Github RepositoryN/A

15. OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks (15 votes)​

Tác giả: Mengqi Yuan, Zilong Zhou, Xinzhuang Xiong, Weiming Wu, Jiayang Sun, et al.

Xuất bản lúc: 2026-06-28

Tag: Benchmark, Computer Use Agents, Long-Horizon Tasks, GUI Agents, Evaluation, State Tracking

I. Main Problem:​

Các benchmark hiện tại dùng để đánh giá tác nhân thao tác máy tính quá ngắn và đơn giản, không nắm bắt được độ phức tạp, tính thực tế và yêu cầu dài hạn của các workflow chuyên nghiệp ngoài đời thực. Điều này khiến điểm số cao trên benchmark bị thổi phồng và che giấu điểm yếu thực sự của các tác nhân khi phải xử lý các tác vụ đầu cuối kéo dài.

II. Main Idea:​

OSWORLD2.0 giới thiệu một benchmark gồm 108 workflow dài hạn, mỗi tác vụ mất trung bình 1.6 giờ để hoàn thành (gấp ~48 lần OSWORLD1.0). Các tác vụ mô phỏng công việc thực tế, yêu cầu tác nhân phối hợp qua nhiều ứng dụng, suy luận từ nhiều nguồn thông tin (file, email, web), xử lý môi trường động (tin nhắn đến giữa chừng) và tương tác chủ động với người dùng. Mỗi tác vụ được chấm điểm chi tiết qua trung bình 27.25 checkpoint, ưu tiên kiểm tra trạng thái đầu ra thay vì đánh giá mô hình.

III. Main Results:​

  • Mô hình mạnh nhất (Claude Opus 4.8) chỉ hoàn thành 20.6% tác vụ ở chế độ nhị phân, đạt 54.8% điểm từng phần.
  • GPT-5.5 tiết kiệm token nhất nhưng bão hòa ở ~13% hoàn thành nhị phân.
  • Hiệu suất giảm mạnh theo độ dài tác vụ: không mô hình nào vượt quá 10% ở các tác vụ dài hơn 137 phút.
  • Các điểm yếu tập trung vào các hiện tượng yêu cầu suy luận và duy trì trạng thái ẩn (implicit-state inference, multi-item tracking).

IV. Conclusion & Future Works:​

Các tác nhân hiện tại giỏi thao tác cục bộ nhưng không thể duy trì mô hình tác vụ tổng thể trên một chân trời dài: bỏ rơi ràng buộc, bỏ lỡ thông tin giữa chừng, phán đoán thay vì hỏi người dùng và bỏ qua bước xác minh. Tiến bộ trong tương lai phụ thuộc vào việc phát triển tác nhân có thể theo dõi trạng thái luồng thay đổi liên tục, ghi nhớ mô hình tác vụ dài hạn và tự sửa lỗi trước khi lan rộng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng OSWORLD2.0 với các tác vụ yêu cầu tương tác nhiều người dùng (phê duyệt chéo, làm việc nhóm) để kiểm tra khả năng phối hợp xã hội của agent.
  2. Phát triển cơ chế "tự kiểm tra và sửa lỗi" cho agent thao tác máy tính, dùng mô hình phụ để dò lỗi sai lệch so với mục tiêu dài hạn và kích hoạt hành động khắc phục.
  3. Xây dựng phương pháp tóm tắt và ghi nhớ trạng thái tác vụ cho agent, sử dụng bộ nhớ ngoài hoặc embedding để duy trì mô hình tác vụ chính xác qua hàng trăm bước.

2. Patent:​

  1. Trợ lý ảo hoàn thiện hồ sơ trực tuyến: người dùng nói mục tiêu (ví dụ: "nộp đơn xin visa"), agent tự động tìm kiếm hướng dẫn, điền form, tải file chứng từ và xử lý email yêu cầu bổ sung; trên điện thoại, agent nhận từng bước, xác nhận với người dùng khi gặp mâu thuẫn dữ liệu.
  2. Hỗ trợ quản lý chi tiêu cá nhân: agent tự động quét hóa đơn từ email và ngân hàng, đối chiếu với ngân sách đã đặt ra; nếu phát hiện mâu thuẫn (ví dụ: cùng một giao dịch có hai số tiền khác nhau), agent dừng lại, hỏi người dùng qua điện thoại để làm rõ trước khi cập nhật.
  3. Giải pháp lập kế hoạch du lịch thông minh: agent theo dõi email xác nhận đặt vé và khách sạn, nếu có email mới thay đổi ngày giờ, agent tự động cập nhật lịch trình và kiểm tra lại tính khả dụng; trên điện thoại, agent hiển thị các thay đổi và yêu cầu xác nhận từ người dùng trước khi hủy đặt cũ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.29537
ArXiv Abstracthttps://arxiv.org/abs/2606.29537
PDF Downloadhttps://arxiv.org/pdf/2606.29537.pdf
Github Repositoryhttps://github.com/xlang-ai/OSWorld-V2

16. SWE-Together: Evaluating Coding Agents in Interactive User Sessions (11 votes)​

Tác giả: Yifan Wu, Zhuokai Zhao, Songlin Li, Ho Hin Lee, Jiacheng Zhu, et al.

Xuất bản lúc: 2026-06-29

Tag: Coding Agents, Multi-turn Benchmark, User Simulator, Interactive Session, LLM Evaluation, Software Engineering

I. Main Problem:​

Các benchmark coding agent hiện tại đều tĩnh: agent nhận mô tả đầy đủ ngay từ đầu và chỉ được đánh giá dựa trên mã cuối cùng. Trong thực tế, người dùng thường làm rõ mục tiêu, thêm ràng buộc và sửa lỗi qua nhiều lượt tương tác. Sự thiếu hụt này khiến các benchmark không phản ánh đúng trải nghiệm người dùng thực tế và bỏ qua chi phí tương tác cần thiết để đạt được giải pháp.

II. Main Idea:​

SWE-Together xây dựng 109 tác vụ từ 11.260 phiên tương tác thực tế giữa người dùng và coding agent. Các phiên được lọc, chuẩn hóa và chuyển thành các bài toán có thể tái tạo trong môi trường sandbox. Bài báo phát triển một trình mô phỏng người dùng dựa trên LLM có điều kiện trạng thái, chỉ đưa ra phản hồi khi các điều kiện kích hoạt từ phiên gốc xuất hiện trong quỹ đạo của agent đang được đánh giá. Phương pháp đánh giá kết hợp điểm chính xác của trạng thái kho lưu trữ cuối cùng (bằng bộ đánh giá rubric agent) với thước đo User Correction để định lượng nỗ lực điều chỉnh mà agent yêu cầu.

III. Main Results:​

  • Claude Opus 4.8 đạt kết quả tốt nhất: pass@1 63%, SSR 59%, mean judge 0.801, User Correction thấp nhất 1.38.
  • Tương quan nghịch rất mạnh giữa năng lực agent và User Correction (Pearson -0.92 với pass@1), nghĩa là agent mạnh hơn cần ít can thiệp hơn.
  • Chỉ 0.97% phiên gốc được chuyển đổi thành tác vụ (109/11.260), ưu tiên độ tin cậy cao.
  • Reference patch chỉ đạt ~78% pass@1, cho thấy benchmark còn dư địa cải thiện và rubric đánh giá các yêu cầu quy trình.
  • Intent Coverage ổn định (0.70-0.72) ở hầu hết các model, đảm bảo so sánh công bằng.

IV. Conclusion & Future Works:​

SWE-Together chứng minh rằng đánh giá coding agent nên bao gồm tính tương tác đa lượt và chi phí điều chỉnh của người dùng. Kết quả cho thấy agent mạnh hơn thường đạt điểm cao hơn và cần ít can thiệp hơn. Hướng phát triển tương lai có thể mở rộng tập dữ liệu, cải thiện trình mô phỏng người dùng, và giảm nhiễu trong quy trình xây dựng tác vụ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng pipeline xây dựng tác vụ tự động cho các phiên tương tác phức tạp hơn, bao gồm các sửa lỗi trải dài nhiều phiên hoặc nhiều commit, nhằm tăng tỷ lệ chuyển đổi và độ phủ của benchmark.
  2. Phát triển một trình mô phỏng người dùng thích ứng hơn, có khả năng thay đổi chiến lược phản hồi dựa trên hồ sơ người dùng (ví dụ: chuyên gia vs. người mới) để tạo ra các kịch bản tương tác đa dạng và thực tế hơn.
  3. Tích hợp các thước đo về sự hài lòng của người dùng (ví dụ: số lượt hỏi lại, thời gian hoàn thành) vào khung đánh giá để có cái nhìn toàn diện hơn về trải nghiệm người dùng ngoài độ chính xác và số lần sửa.

2. Patent:​

  1. Phương pháp và hệ thống đánh giá chất lượng trợ lý lập trình trên điện thoại di động: ghi lại các phiên tương tác, tự động chuyển đổi thành bài kiểm tra có thể tái tạo, và chấm điểm dựa trên cả độ chính xác của mã lẫn số lần người dùng phải can thiệp.
  2. Ứng dụng điện thoại thông minh có tích hợp trình mô phỏng người dùng ảo để kiểm thử các agent lập trình mới mà không cần người thật tham gia, giúp tiết kiệm chi phí và thời gian phát triển.
  3. Hệ thống tự động tạo rubric đánh giá cho mã nguồn được sửa bởi agent lập trình, kết hợp kiểm tra thực thi với phân tích tĩnh, có thể tích hợp vào môi trường phát triển tích hợp (IDE) trên điện thoại để cung cấp phản hồi tức thì.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.29957
ArXiv Abstracthttps://arxiv.org/abs/2606.29957
PDF Downloadhttps://arxiv.org/pdf/2606.29957.pdf
Github Repositoryhttps://github.com/Togetherbench/SWE-Together

17. GUICrafter: Weakly-Supervised GUI Agent Leveraging Massive Unannotated Screenshots (10 votes)​

Tác giả: Sunqi Fan, Lingshan Chen, Runqi Yin, Qingle Liu, Yongming Rao, et al.

Xuất bản lúc: 2026-06-29

Tag: GUI Agent, Reinforcement Learning, Weakly-Supervised Learning, Visual Grounding, Multimodal Large Language Models, Curriculum Learning

I. Main Problem:​

Các GUI agent hiện tại gặp khó khăn trong việc định vị trực quan các phần tử giao diện tinh vi và khả năng khái quát hóa kém giữa các nền tảng GUI khác nhau. Nguyên nhân gốc rễ là thiếu dữ liệu huấn luyện GUI đa dạng và phong phú do chi phí chú thích thủ công quá cao, dẫn đến không bao quát được nhiều phong cách và mẫu thiết kế GUI khác nhau.

II. Main Idea:​

GUICrafter khai thác hàng loạt ảnh chụp màn hình không có chú thích từ web và thiết bị di động. Nó tự động trích xuất tín hiệu tương tác (ví dụ: nút bấm, ô nhập liệu) từ các trang web và cây trợ năng, rồi tạo ra các 'meta-task' trừu tượng hóa mọi tác vụ GUI. Mô hình được huấn luyện theo hai giai đoạn: Giai đoạn 1 học định vị trực quan từ dữ liệu tự sinh này bằng Reinforcement Learning with Verifiable Rewards (RLVR), Giai đoạn 2 tinh chỉnh bằng một lượng nhỏ dữ liệu chú thích chất lượng cao.

III. Main Results:​

  • GUICrafter đạt độ chính xác định vị trung bình 60.2% trên Mind2Web (cao hơn UI-TARS-2B dù chỉ dùng 0.1% dữ liệu).
  • Trên ScreenSpot-Pro, GUICrafter-3B đạt 33.5% chính xác, vượt UI-TARS-2B (27.7%) và GUI-R1-3B (17.9%).
  • Chỉ riêng Giai đoạn 1 (không cần chú thích) đã cải thiện ~12% độ chính xác định vị so với mô hình gốc Qwen2.5-VL-3B.
  • GUICrafter vượt GUI-R1 với cùng lượng dữ liệu chú thích (6.7K vs 7.7K).
  • Mô hình 7B đạt kết quả cạnh tranh với UI-TARS-7B, sử dụng ít hơn 2700 lần dữ liệu.

IV. Conclusion & Future Works:​

GUICrafter chứng minh rằng huấn luyện yếu giám sát từ ảnh chụp màn hình không chú thích là cách hiệu quả để nâng cao năng lực định vị và khái quát hóa của GUI agent, giảm đáng kể sự phụ thuộc vào dữ liệu chú thích đắt đỏ. Hướng tương lai có thể mở rộng kỹ thuật này sang nhiều nền tảng hơn và cải thiện chiến lược khám phá dữ liệu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của số lượng ảnh chụp màn hình không chú thích trong Giai đoạn 1 đến hiệu suất cuối cùng, tìm ra điểm bão hòa và chiến lược lấy mẫu tối ưu.
  2. Mở rộng phương pháp meta-task cho các tương tác phức tạp hơn như kéo thả, cuộn trang, hoặc thao tác đa ngón trên thiết bị cảm ứng.
  3. Áp dụng kiến trúc GUICrafter vào agent cho các ứng dụng desktop và phần mềm chuyên dụng (ví dụ: CAD, IDE) để kiểm tra khả năng khái quát hóa trên GUI phi web.

2. Patent:​

  1. Hệ thống tự động tạo và thực thi bài kiểm tra giao diện người dùng (UI testing) cho ứng dụng di động hoặc web: dùng ảnh chụp màn hình và meta-task để agent tự động dò tìm và tương tác với các phần tử, phát hiện lỗi giao diện mà không cần kịch bản kiểm thử viết tay.
  2. Tính năng trợ năng trên điện thoại thông minh: người dùng chụp màn hình ứng dụng bất kỳ, và GUICrafter phân tích để đưa ra hướng dẫn điều hướng bằng giọng nói (ví dụ: 'bấm nút đăng nhập ở góc trên bên phải') dựa trên khả năng định vị trực quan chính xác.
  3. Công cụ tự động hóa quy trình làm việc trên điện thoại: người dùng quay video ngắn thực hiện thao tác, hệ thống trích xuất tín hiệu tương tác và meta-task để tạo macro có thể phát lại, giúp tự động hóa các tác vụ lặp đi lặp lại như nhập dữ liệu hàng loạt vào ứng dụng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.29705
ArXiv Abstracthttps://arxiv.org/abs/2606.29705
PDF Downloadhttps://arxiv.org/pdf/2606.29705.pdf
Github Repositoryhttps://github.com/fansunqi/GUICrafter

18. Interleaved Speech Language Models Latently Work In Text (10 votes)​

Tác giả: Talia Sternberg, Gallil Maimon, Yossi Adi

Xuất bản lúc: 2026-06-21

Tag: Speech Language Models, Interleaved Speech-Text, Implicit Transcription, Logit Lens, Mechanistic Interpretability, Knowledge Retrieval, Modality Gap

I. Main Problem:​

Mặc dù các mô hình ngôn ngữ giọng nói (SLM) kết hợp dữ liệu văn bản để cải thiện khả năng, cách thức hai phương thức giọng nói và văn bản tương tác trong không gian tiềm ẩn của mô hình vẫn chưa rõ ràng. Cụ thể, không biết liệu SLM có xử lý lời nói bên trong bằng cách chuyển đổi ngầm sang biểu diễn văn bản hay không.

II. Main Idea:​

Nghiên cứu sử dụng Logit Lens để chiếu các trạng thái ẩn trung gian vào không gian từ vựng, phân tích các mô hình SLM ghép xen kẽ văn bản-giọng nói. Kết quả cho thấy các mô hình này trải qua một giai đoạn phiên âm ngầm (implicit transcription), nơi token văn bản của từ được nói có thể giải mã được ở các lớp giữa. Sau đó, mô hình dự đoán từ tiếp theo trong không gian văn bản trước khi chuyển lại về miền token giọng nói để sinh đầu ra. Hiện tượng này xuất hiện mà không có sự giám sát phiên âm rõ ràng.

III. Main Results:​

  • Phiên âm ngầm xuất hiện ở 77% dữ liệu thử nghiệm (Recall@50 ~80%).
  • Mô hình cần cả khởi tạo từ text LM và dữ liệu ghép xen kẽ để có phiên âm ngầm mạnh.
  • Điểm phiên âm tương quan thuận với khả năng truy xuất kiến thức thực tế từ giọng nói (ρ=0.7).
  • Các mô hình chỉ có giọng nói hoặc khởi tạo ngẫu nhiên hầu như không có phiên âm ngầm.
  • Dữ liệu ghép xen kẽ quá nhiều (5/6) làm giảm tín hiệu phiên âm.

IV. Conclusion & Future Works:​

Nghiên cứu khẳng định các SLM ghép xen kẽ hoạt động ẩn trong không gian văn bản, mở ra hướng tối ưu hóa trực tiếp hiện tượng này để cải thiện hiệu suất. Tuy nhiên, cần phân tích ảnh hưởng đến khả năng âm học và nguyên nhân gây ra khoảng cách phương thức (modality gap).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế nhân-quả: Tác động trực tiếp đến phiên âm ngầm (ví dụ: qua can thiệp vào lớp ẩn) có cải thiện khả năng suy luận từ giọng nói không.
  2. Phân tích chi tiết các lỗi phiên âm ngầm (ví dụ: lime → "line") và tác động của chúng đến các tác vụ đòi hỏi thông tin chính xác, như hội thoại đa vòng.
  3. So sánh ghép xen kẽ với các phương pháp khác như đầu vào ghép nối (concatenation) hoặc huấn luyện đa tác vụ để xem phương pháp nào tạo ra không gian văn bản ngầm tốt hơn.

2. Patent:​

  1. Trợ lý giọng nói trên điện thoại thông minh chủ động xác nhận lại thông tin quan trọng: khi bị nghi ngờ, hệ thống kiểm tra phiên âm ngầm trong các lớp giữa và nếu phát hiện lỗi tiềm ẩn, nó sẽ hỏi lại người dùng để đảm bảo chính xác.
  2. Ứng dụng đa ngôn ngữ trên di động: tận dụng phiên âm ngầm làm cầu nối trung gian để chuyển kiến thức từ văn bản tiếng Anh sang các ngôn ngữ ít tài nguyên hơn mà không cần dữ liệu song ngữ.
  3. Phần mềm phân loại cuộc gọi nhỡ: phân tích phiên âm ngầm của tin nhắn thoại đế xác định ngữ cảnh (khẩn cấp, quảng cáo, bạn bè) và tự động gợi ý hành động (gọi lại, bỏ qua, thêm lịch).

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.22473
ArXiv Abstracthttps://arxiv.org/abs/2606.22473
PDF Downloadhttps://arxiv.org/pdf/2606.22473.pdf
Github RepositoryN/A