🤗 Daily Hugging Face Paper Digest - 2026-06-02
Báo cáo được tạo tự động vào lúc 2026-06-28 15:28:02 bằng mô hình deepseek-ai/deepseek-v4-flash.
📰 Summary of Papers
1. Crafter: A Multi-Agent Harness for Editable Scientific Figure Generation from Diverse Inputs (250 votes)
Tác giả: Haozhe Zhao, Shuzheng Si, Zhenhailong Wang, Zheng Wang, Liang Chen, et al.
Xuất bản lúc: 2026-05-28
Tag: Multi-Agent System, Scientific Figure Generation, Text-to-Image, Raster-to-Vector, Editable SVG, CRAFTBENCH, Image Editing
I. Main Problem:
Các hệ thống tạo hình minh họa khoa học tự động hiện tại chỉ hoạt động tốt với một loại hình đầu vào (text-to-image) và một loại biểu đồ duy nhất, không đáp ứng được sự đa dạng của quy trình nghiên cứu thực tế. Hơn nữa, đầu ra raster (ảnh) không thể chỉnh sửa cục bộ, khiến việc sửa lỗi cục bộ trên các bố cục phức tạp trở nên khó khăn.
II. Main Idea:
Bài báo đề xuất một
III. Main Results:
- CRAFTER đạt 50.34% win-rate trên CRAFTBENCH, vượt qua baseline mạnh nhất (PaperBanana) 22.20 điểm.
- Trên PaperBanana-Bench, CRAFTER cũng vượt trội với 50.34% win-rate, nhỉnh hơn 16.61 điểm so với PaperBanana.
- Mỗi cơ chế trong CRAFTER đều đóng góp độc lập: loại bỏ bất kỳ cơ chế nào làm giảm 5.04 đến 8.90 điểm win-rate.
- CRAFTEDITOR đạt điểm tổng thể 8.04/10 trong việc chuyển đổi raster thành SVG, vượt xa các phương pháp trước đó (AutoFigure-Edit: 6.91, Edit-Banana: 3.69).
IV. Conclusion & Future Works:
CRAFTER và CRAFTEDITOR chứng minh hiệu quả của lớp điều phối (harness) trong việc tạo và chỉnh sửa hình minh họa khoa học. Do kiến trúc không phụ thuộc vào engine cụ thể, các mô hình tạo sinh mạnh hơn trong tương lai có thể được tích hợp mà không cần sửa đổi. Hướng phát triển tiếp theo là mở rộng nguyên lý này sang các lĩnh vực đầu ra có cấu trúc khác.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu khả năng áp dụng kiến trúc harness đa tác tử (multi-agent harness) của CRAFTER vào tạo hình ảnh y tế từ dữ liệu đa dạng (MRI, X-quang) và yêu cầu điều kiện khác nhau.
- Phát triển một harness tương tự nhưng cho đầu ra là code (ví dụ: TikZ) thay vì SVG, nhằm tạo ra các biểu đồ có thể biên dịch và tinh chỉnh từ các mô tả ngôn ngữ phức tạp.
- Mở rộng CRAFTBENCH để bao gồm các loại hình kiến trúc phần mềm và sơ đồ quy trình, kết hợp với đánh giá tự động dựa trên tính đúng đắn của cấu trúc và luồng dữ liệu.
2. Patent:
- Ứng dụng trên điện thoại: cho phép người dùng vẽ phác thảo một biểu đồ khoa học, chụp ảnh và hệ thống tự động hoàn thiện thành hình minh họa chuyên nghiệp dạng SVG có thể chỉnh sửa từng thành phần.
- Plugin cho trình soạn thảo văn bản: hỗ trợ sinh tự động hình minh họa cho luận văn hoặc báo cáo từ đoạn văn mô tả, đồng thời cho phép người dùng nhấp vào bất kỳ đối tượng nào trong hình để sửa label, đổi màu hoặc di chuyển.
- Công cụ chuyển đổi ảnh chụp màn hình sơ đồ (từ slide, sách báo) thành file SVG chỉnh sửa được, với khả năng tự động tách các thành phần (hộp, mũi tên, chữ) và cho phép người dùng điều chỉnh trên ứng dụng di động.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.30611 |
| ArXiv Abstract | https://arxiv.org/abs/2605.30611 |
| PDF Download | https://arxiv.org/pdf/2605.30611.pdf |
| Github Repository | https://github.com/HaozheZhao/Crafter |
2. On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters (235 votes)
Tác giả: Mind Lab, Song Cao, Vic Cao, Kaijie Chen, Bunny Fan, et al.
Xuất bản lúc: 2026-06-01
Tag: PEFT, LoRA, Personal Models, Reinforcement Learning, Mixture-of-Experts, Model Scaling, Scalable Infrastructure
I. Main Problem:
Các mô hình nền tảng mạnh hiện tại vẫn là trình trợ lý chung, chưa thể trở thành trợ lý cá nhân bền vững cho từng người vì thiếu trạng thái thích nghi cục bộ nhỏ gọn, có thể lưu giữ và cập nhật liên tục. PEFT thường chỉ được coi là giải pháp thay thế rẻ hơn cho fine-tuning toàn bộ, chưa được khai thác như đơn vị trạng thái cá nhân hóa quy mô lớn.
II. Main Idea:
Bài báo xem xét ba thang mở rộng phụ thuộc lẫn nhau: Scale Up (tăng năng lực mô hình nền để biến điều chỉnh nhỏ thành hiệu quả), Scale Down (thu nhỏ trạng thái thích nghi cục bộ—ví dụ LoRA—đến mức tối thiểu mà vẫn học tin cậy), và Scale Out (duy trì hàng triệu instance thích nghi bền vững). Trọng tâm là chứng minh PEFT không chỉ thay thế fine-tuning toàn bộ, mà là cơ chế lưu trữ lai ghép: base model mang trí tuệ chung, adapter (LoRA) mang ký ức hành vi cá nhân hóa. Kết quả bao gồm thí nghiệm LoRA RL quy mô nghìn tỷ tham số, phân tích rank, khởi tạo RL-native, và cơ chế bỏ phiếu đa dạng để nâng hiệu năng tập thể.
III. Main Results:
- Trên mô hình một nghìn tỷ tham số MoE (Kimi K2), LoRA RL giảm budget GPU xuống còn ~10% so với full-parameter RL mà vẫn cho hiệu suất ổn định.
- Router Replay (R3) khắc phục mismatch giữa training và inference trong sparse MoE, giảm độ lệch xác suất rollout và giữ KL divergence gần 0.
- Thí nghiệm bỏ phiếu đa dạng với 198 adapter LoRA riêng biệt nâng AIME24 accuracy từ 0.3644 lên 0.4867.
- So sánh prior: base model 32B + LoRA (chỉ 0.07B tham số trainable) vượt model 1.5B full RL với cùng budget huấn luyện.
IV. Conclusion & Future Works:
PEFT có thể trở thành đơn vị trạng thái cá nhân hóa bền vững nếu cả ba thang Scale Up, Scale Down, Scale Out được thiết kế đồng bộ. Tương lai cần tiếp tục tối ưu hóa adapter nhỏ hơn, ổn định hơn, và mở rộng hạ tầng lifecycle để hỗ trợ hàng triệu mô hình cá nhân tồn tại lâu dài.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu tác động của việc kết hợp nhiều adapter LoRA chuyên biệt cho từng ngữ cảnh (ví dụ: một adapter cho lập trình, một adapter cho viết sáng tạo) trên cùng một base model và cơ chế routing thông minh.
- Xây dựng khung đánh giá tính liên tục và tính ổn định của adapter LoRA khi được cập nhật lặp lại qua nhiều phiên tương tác dài hạn.
- Phân tích ảnh hưởng của số lượng adapter trong một quần thể đến hiệu năng tổng thể khi áp dụng các phương pháp tổng hợp như bỏ phiếu, debate hoặc distillation.
2. Patent:
- Hệ thống cá nhân hóa trợ lý ảo trên điện thoại: người dùng tải một adapter LoRA nhỏ (vài MB) lưu sở thích, thói quen dùng công cụ; trợ lý dùng model nền chung + adapter riêng cho mỗi người, cập nhật lặp mà không ảnh hưởng nhau.
- Phương pháp huấn luyện đa dạng adapter cho robot gia đình: mỗi robot (ví dụ robot lau dọn) nhận một adapter LoRA riêng ghi lại cách bố trí nhà, lịch trình; adapter được cập nhật qua tương tác hằng ngày, và khi có nhiều robot, chúng có thể bỏ phiếu để chọn hành động tối ưu.
- Cơ chế bầu chọn đa dạng cho ứng dụng gợi ý nội dung: hệ thống chạy nhiều model giống nhau nhưng mỗi model mang một adapter LoRA khác nhau (ví dụ ghi nhớ sở thích từng nhóm tuổi); kết quả gợi ý cuối cùng dựa trên đa số phiếu từ các adapter này.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.02437 |
| ArXiv Abstract | https://arxiv.org/abs/2606.02437 |
| PDF Download | https://arxiv.org/pdf/2606.02437.pdf |
| Github Repository | N/A |
3. Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding (150 votes)
Tác giả: Jianuo Huang, Yaojie Zhang, Qituan Zhang, Hao Lin, Hanlin Xu, et al.
Xuất bản lúc: 2026-05-28
Tag: Speculative Decoding, LLM Inference Acceleration, Autoregressive Drafting, Parallel Drafting, Causal Correction, DFlash, EAGLE
I. Main Problem:
Các phương pháp speculative decoding hiện tại phải đánh đổi giữa chất lượng bản nháp (draft) và chi phí tạo bản nháp. Tạo bản nháp tự hồi quy (autoregressive) cho chất lượng cao nhưng tốn kém do phải thực hiện tuần tự, trong khi tạo bản nháp song song giảm chi phí nhưng làm yếu đi mô hình hóa phụ thuộc nhân quả trong khối, dẫn đến độ dài chấp nhận thấp hơn.
II. Main Idea:
Domino tách rời việc mô hình hóa phụ thuộc nhân quả khỏi quá trình tạo bản nháp tự hồi quy tốn kém. Nó dùng một backbone song song để tạo phân phối bản nháp sơ bộ cho toàn bộ khối, sau đó dùng một Domino head nhẹ để tinh chỉnh các phân phối này bằng thông tin nhân quả phụ thuộc tiền tố. Domino head bao gồm bộ mã hóa nhân quả GRU nhẹ và một head hiệu chỉnh hạng thấp, cho phép đưa thông tin nhân quả vào với chi phí rất thấp, tránh phải thực hiện lại toàn bộ mô hình và LM head.
III. Main Results:
- Domino đạt speedup end-to-end lên đến 5.49× trên Qwen3-8B (backend Transformers) và 5.8× throughput speedup trên SGLang serving.
- So với DFlash, Domino tăng acceptance length trung bình 16.6% và speedup end-to-end 12.3% với chỉ 5.3% tham số tăng thêm.
- Trên GSM8K, Domino đạt speedup 7.92×, vượt trội so với EAGLE-3 (2.56×) và DFlash (5.21×).
- Kết quả nhất quán trên nhiều benchmark (toán, code, chat) và cả hai chế độ greedy decoding và sampling.
- Chiến lược huấn luyện teacher forcing kết hợp curriculum base-anchored cải thiện acceptance length từ 3.96 lên 4.19.
IV. Conclusion & Future Works:
Domino chứng minh rằng thông tin nhân quả có thể được đưa lại vào quá trình tạo bản nháp song song một cách hiệu quả, cải thiện chất lượng bản nháp mà vẫn duy trì chi phí thấp. Hướng phát triển tương lai bao gồm tối ưu hóa cho các nền tảng phần cứng khác nhau và mở rộng khả năng tương thích với các framework serving khác ngoài SGLang.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Domino để hỗ trợ nhiều target model đồng thời, mỗi target model có một Domino head riêng, phục vụ các tác vụ suy luận đa dạng.
- Nghiên cứu các kiến trúc backbone song song thay thế cho DFlash và tối ưu hóa Domino head (ví dụ: dùng attention thay vì GRU) để cải thiện hơn nữa chất lượng bản nháp.
- Kết hợp Domino với các kỹ thuật giảm chi phí vocabulary (FR-Spec) để giảm thêm overhead của LM head trong backbone song song.
2. Patent:
- Hệ thống tăng tốc suy luận chatbot trên điện thoại: dùng một mô hình nhỏ song song để tạo nhanh nhiều token dự đoán, sau đó một head nhẹ hiệu chỉnh các token này dựa trên ngữ cảnh trước đó, giúp giảm độ trễ khi chat.
- Ứng dụng cho trợ lý giọng nói: thay vì chờ từng từ, hệ thống dự đoán trước một cụm từ bằng cách tạo song song rồi tinh chỉnh nhân quả, giúp phản hồi nhanh và tự nhiên hơn.
- Module tăng tốc cho ứng dụng gợi ý từ khóa trên bàn phím điện thoại: dự đoán song song các từ tiếp theo, sau đó một bộ hiệu chỉnh nhẹ dùng thông tin từ đã gõ trước đó để cải thiện độ chính xác, giảm độ trễ gợi ý.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.29707 |
| ArXiv Abstract | https://arxiv.org/abs/2605.29707 |
| PDF Download | https://arxiv.org/pdf/2605.29707.pdf |
| Github Repository | https://github.com/jianuo-huang/Domino |
4. A Matter of TASTE: Improving Coverage and Difficulty of Agent Benchmarks (73 votes)
Tác giả: Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, et al.
Xuất bản lúc: 2026-05-27
Tag: Agent Benchmark, Synthetic Data Generation, Tool-Use Agents, N-Gram Model, Adaptive Contrastive, Task Evolution, Coverage, Difficulty
I. Main Problem:
Các benchmark dành cho tool-using agent hiện tại ngày càng bão hòa, trong khi việc xây dựng task mới thủ công vừa tốn kém vừa hạn chế khả năng bao phủ các mẫu sử dụng tool đa dạng. Quy trình thông thường viết kịch bản bằng ngôn ngữ tự nhiên trước rồi mới suy ra chuỗi công cụ, chỉ chạm đến tập con hẹp của không gian mà không khám phá triệt để.
II. Main Idea:
TASTE đảo ngược quá trình xây dựng: trước tiên, mô hình Adaptive Contrastive n-gram sinh và xác thực hàng nghìn chuỗi tool tiềm năng từ phán đoán LLM, đảm bảo tính hợp lệ và đa dạng. Sau đó, K-medoids phân cụm và chọn K chuỗi đại diện. Cuối cùng, mỗi chuỗi được khởi tạo thành task hoàn chỉnh và tiến hóa để tăng độ khó bằng cách thêm bản ghi gây nhiễu, làm mơ hồ hướng dẫn hoặc khiến user kém hợp tác.
III. Main Results:
- Các agent gần bão hòa τBV (Gemini-3-Flash 0.82–0.94) giảm mạnh xuống 0.28–0.61 trên τc-Bench.
- Weighted Edit Distance giữa các chuỗi gold tăng đến 124%, Type–Token Ratio tăng tới 111% so với τBV.
- Phân phối tần suất tool trở nên cân bằng hơn: entropy tool tăng 35%.
- Trong ablation, mô hình n-gram đầy đủ đạt tỉ lệ hợp lệ 86.7% so với uniform tool sampling chỉ 6.7%.
- Task evolution làm giảm 36–55% thành công của hai agent mạnh trên Airline và Retail.
IV. Conclusion & Future Works:
TASTE chứng minh tự động sinh benchmark khó và giàu độ phủ có thể thay thế xây dựng thủ công, vạch trần bão hòa giả tạo trên các benchmark cũ. Hướng tương lai: áp dụng TASTE cho dữ liệu huấn luyện, mở rộng khái niệm coverage và difficulty sang các không gian khác ngoài chuỗi tool.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng TASTE sang miền multi-agent, đồng thời sinh cả tool sequence cho nhiều agent cộng tác hoặc cạnh tranh, kết hợp validation liên agent.
- Khảo sát tác động của độ dài tool sequence và tỉ lệ read/write lên độ khó của benchmark, đề xuất công thức tối ưu tự động cho từng mô hình.
- Sử dụng TASTE để sinh dữ liệu huấn luyện cho agent yếu hơn bằng cách cung cấp chuỗi tool mẫu khó và đa dạng, đánh giá hiệu quả tăng khả năng generalization.
2. Patent:
- Hệ thống tự động sinh bài kiểm tra cho chatbot dịch vụ khách hàng: dựa trên danh sách thao tác hỗ trợ, sinh kịch bản phức tạp kèm dữ liệu lừa để đánh giá năng lực thật của chatbot trước khi triển khai.
- Công cụ kiểm tra an ninh cho voice assistant trên điện thoại: xây dựng task yêu cầu assistant phối hợp nhiều bước (vd: xác minh danh tính, tra cứu lịch sử, đặt lại mật khẩu) để phát hiện lỗ hổng bảo mật khi người dùng cung cấp thông tin sai lệch.
- Ứng dụng trên smartphone tự động tạo thử thách kỹ năng số cho người dùng: chọn ngẫu nhiên chuỗi thao tác trong ứng dụng ngân hàng hoặc đặt vé, yêu cầu người dùng hoàn thành dưới sự giám sát để đo mức độ thành thạo.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.28556 |
| ArXiv Abstract | https://arxiv.org/abs/2605.28556 |
| PDF Download | https://arxiv.org/pdf/2605.28556.pdf |
| Github Repository | https://github.com/tomerkeren42/TASTE-task-synthesis-from-tool-sequence-evolution |
5. Masking Stale Observations Helps Search Agents -- Until It Doesn't: A Regime Map and Its Mechanism (65 votes)
Tác giả: Haoxiang Zhang, Qixin Xu, Zhuofeng Li, Lei Zhang, Pengcheng Jiang, et al.
Xuất bản lúc: 2026-05-29
Tag: Search Agents, Context Management, Observation Masking, Retrieval-Augmented Generation, Long-Horizon Reasoning, Agentic Search
I. Main Problem:
Các tác nhân tìm kiếm đa bước (long-horizon search agents) tích lũy lượng lớn văn bản từ nhiều lần gọi công cụ, gây quá tải ngữ cảnh. Che giấu (mask) các quan sát cũ là biện pháp can thiệp tối thiểu nhưng chưa rõ khi nào thực sự hiệu quả và tại sao.
II. Main Idea:
Nghiên cứu thực hiện quét hệ thống trên nhiều backbone (4B-284B tham số) và ba bộ truy xuất (retriever) khác nhau, đo độ chính xác khi có và không có che giấu. Kết quả cho thấy lợi ích của che giấu tuân theo dạng chữ U ngược: tăng mạnh khi retriever mạnh kết hợp với mô hình trung bình, nhưng sụp đổ khi mô hình đã đủ mạnh. Cơ chế là che giấu loại bỏ các quan sát mà mô hình không còn chú ý và ít khi mở lại, giải phóng ngân sách ngữ cảnh, nhưng có thể xóa mất bằng chứng cần thiết khi mô hình đã đủ năng lực.
III. Main Results:
- Độ chính xác tăng tối đa +11.7 điểm khi dùng AgentIR-4B + Qwen3.5-35B-A3B (vùng 'CM optimum').
- Khi mô hình bão hòa (No-CM accuracy >70%), che giấu gây hại: giảm -4.8 điểm trên GAIA với GPT-OSS-120B.
- Retriever yếu (BM25) tạo 'retriever bottleneck' với mức tăng tối đa chỉ +6.6 điểm.
- Số lần gọi công cụ tăng vọt ở mô hình bão hòa khi dùng che giấu (ví dụ GPT-OSS-120B: +68.7 cuộc gọi/truy vấn).
- Che giấu tiết kiệm token khi cải thiện, nhưng tốn token hơn nhiều khi làm hỏng.
IV. Conclusion & Future Works:
Che giấu quan sát cũ là công cụ phụ thuộc vào chế độ (regime-dependent), không phải mặc định. Nó hiệu quả nhất trong vùng trung gian giữa retriever mạnh và mô hình chưa đủ năng lực lọc. Nghiên cứu tương lai nên tập trung vào cải thiện chất lượng truy xuất hơn là cắt bỏ heuristic.
V. Brainstorming Space:
1. Publish Papers:
- Phát triển giao thức context management thích ứng tự động xác định vùng 'CM optimum' dựa trên độ phức tạp đầu vào và recall của retriever, không áp dụng cố định.
- Kết hợp che giấu có chọn lọc với tóm tắt động (dynamic summarization) để giữ lại bằng chứng quan trọng trong khi loại bỏ nhiễu, thử nghiệm trên các tác vụ tìm kiếm đa ngôn ngữ.
- Nghiên cứu cơ chế chú ý của mô hình để dự đoán trước khi nào che giấu gây hại, tạo bộ lọc tiên nghiệm giảm rủi ro cho agentic search.
2. Patent:
- Hệ thống tìm kiếm trên điện thoại tự động rút gọn lịch sử hội thoại khi người dùng thực hiện nhiều truy vấn liên quan, giữ lại các kết quả quan trọng đã được người dùng nhấp vào.
- Trợ lý du lịch trên điện thoại: che các gợi ý nhà hàng hoặc địa điểm cũ sau khi người dùng đã quyết định, nhưng vẫn giữ khả năng mở lại nếu người dùng quay lại xem.
- Ứng dụng đọc tin tức trên điện thoại: tự động ẩn các bài báo đã đọc lâu nhưng vẫn hiển thị tiêu đề và tóm tắt ngắn, giúp tiết kiệm bộ nhớ đệm và tăng tốc duyệt.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.00408 |
| ArXiv Abstract | https://arxiv.org/abs/2606.00408 |
| PDF Download | https://arxiv.org/pdf/2606.00408.pdf |
| Github Repository | https://github.com/i-DeepSearch/observation-masking |
6. Harness-1: Reinforcement Learning for Search Agents with State-Externalizing Harnesses (59 votes)
Tác giả: Pengcheng Jiang, Zhiyi Shi, Kelly Hong, Xueqiang Xu, Jiashuo Sun, et al.
Xuất bản lúc: 2026-06-01
Tag: Reinforcement Learning, Search Agents, Retrieval-Augmented Generation, Stateful Harness, Cognitive Offloading, LLMs, Multi-hop QA
I. Main Problem:
Các tác nhân tìm kiếm hiện tại thường được huấn luyện dưới dạng chính sách trên các bản ghi tuần tự, buộc mô hình phải đồng thời thực hiện cả quyết định tìm kiếm ngữ nghĩa và quản lý trạng thái nội bộ. Điều này gây kém hiệu quả vì các tác vụ quản lý trạng thái thông thường có thể được môi trường thực hiện đáng tin cậy hơn.
II. Main Idea:
Harness-1 giới thiệu nguyên lý 'giảm tải nhận thức có trạng thái' (stateful cognitive offloading) bằng cách dời toàn bộ việc quản lý trạng thái khỏi chính sách vào một harness chuyên biệt. Harness duy trì bộ nhớ làm việc phía môi trường gồm pool ứng viên, tập đã quản lý (curated set) với thẻ mức độ quan trọng, đồ thị bằng chứng, bản ghi xác minh và bộ nén/deduplication. Chính sách (20B) chỉ giữ lại các quyết định ngữ nghĩa: tìm gì, giữ hay bỏ tài liệu nào, xác thực điều gì và khi nào dừng lại. Huấn luyện gồm SFT từ các quỹ đạo của GPT-5.4 và RL với CISPO trên tập SEC.
III. Main Results:
- Đạt 0.730 curated recall trung bình trên 8 benchmark, vượt tác nhân mở mạnh nhất tiếp theo (Tongyi DeepResearch 30B) +11.4 điểm.
- Trên 4 benchmark chuyển giao (không thấy trong huấn luyện), mức tăng recall lên tới +17.0 điểm, gấp 2.2 lần so với các benchmark nguồn (+7.9 điểm).
- Ablation: tắt tất cả cơ chế harness làm giảm recall 12.2% và final-answer recall 6.4% so với đầy đủ.
- Không có phần thưởng đa dạng công cụ, chính sách suy giảm về chiến lược chỉ tìm kiếm đơn điệu; có phần thưởng, recall tăng cao hơn đáng kể.
IV. Conclusion & Future Works:
Harness-1 chứng minh việc thiết kế harness có trạng thái là một hướng quan trọng cho RL trong tác nhân tìm kiếm. Hướng tương lai có thể thay thế trích xuất thực thể bằng regex bằng học liên kết thực tử, trích xuất quan hệ và tổ chức bằng chứng có nhận thức độ không chắc chắn.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu harness cho tìm kiếm đa phương thức (hình ảnh + văn bản): harness duy trì pool ứng viên và đồ thị quan hệ giữa các ảnh và đoạn văn, chính sách quyết định truy vấn và đối chiếu chéo.
- Mở rộng harness cho các tác vụ lập kế hoạch dài hạn (long-horizon planning) nơi trạng thái giữa các bước thay đổi; harness ghi nhớ các mục tiêu con và ràng buộc chưa hoàn thành.
- Áp dụng harness có trạng thái cho các tác nhân tương tác với cơ sở dữ liệu quan hệ, harness quản lý schema bảng, lịch sử truy vấn và kết quả đã thấy để chính sách sinh truy vấn SQL chính xác hơn.
2. Patent:
- Ứng dụng trên điện thoại giúp tìm kiếm thông tin phức tạp (như hồ sơ y tế hoặc tài liệu pháp lý): harness lưu tạm danh sách kết quả tìm được cùng mức độ quan trọng, người dùng chỉ cần xác nhận hoặc chỉnh sửa thay vì nhập lại truy vấn.
- Trợ lý mua sắm thông minh: harness ghi nhớ các sản phẩm đã tìm, so sánh giá và đánh giá; chính sách tự động đề xuất sản phẩm tốt nhất dựa trên ràng buộc giá và tính năng.
- Ứng dụng hỗ trợ học tập: sinh viên đặt câu hỏi; harness lưu trữ các đoạn sách giáo khoa và ghi chú đã thu thập; chính sách tổ chức chúng thành dàn ý và kiểm tra xem còn thiếu thông tin nào không, sau đó đề xuất tìm kiếm bổ sung.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.02373 |
| ArXiv Abstract | https://arxiv.org/abs/2606.02373 |
| PDF Download | https://arxiv.org/pdf/2606.02373.pdf |
| Github Repository | https://github.com/pat-jj/harness-1 |
7. K-BrowseComp: A Web Browsing Agent Benchmark Grounded in Korean Contexts (59 votes)
Tác giả: Nahyun Lee, Dongkeun Yoon, Guijin Son, Geewook Kim, Dayoon Ko, et al.
Xuất bản lúc: 2026-06-01
Tag: Web Browsing Agent, Benchmark, Korean NLP, LLM Evaluation, Agentic Evaluation, Synthetic Data Generation, Failure Mode Analysis
I. Main Problem:
Các benchmark cho tác tử (agent) web tiếng Hàn hầu như không tồn tại, trong khi các đánh giá hiện tại chỉ tập trung vào năng lực tĩnh như đọc hiểu hay suy luận đa tác vụ. Thiếu công cụ kiểm tra trong bối cảnh Hàn Quốc gây bất lợi cho người dùng địa phương và làm chậm tiến bộ của các mô hình Hàn Quốc.
II. Main Idea:
K-BrowseComp là benchmark gồm 400 bài toán duyệt web bằng tiếng Hàn. Bộ con 300 câu hỏi Verified được xây thủ công và xác thực bởi người bản ngữ, mỗi câu yêu cầu đa bước suy luận hoặc thỏa mãn song song nhiều ràng buộc trên các trang web Hàn Quốc. Bộ con 100 câu Synthetic được sinh tự động bằng cách dùng một tác tử duyệt web để tạo câu hỏi nhắm vào các chế độ lỗi đã được phân loại trước, sau đó lọc qua ba bước kiểm tra tính khó, tính đúng đắn và khả năng gây lỗi.
III. Main Results:
- Mô hình mạnh nhất (GPT-5.5) chỉ đạt 45,67% trên Verified, giảm mạnh so với 84,4% trên BrowseComp tiếng Anh.
- Các mô hình mã nguồn mở Hàn Quốc đạt rất thấp (0–10,33%), không hề có lợi thế dù benchmark dùng bối cảnh Hàn.
- Trên Synthetic, hiệu suất cao nhất chỉ 26% (GPT-5.5), cho thấy độ khó cao của bộ câu hỏi sinh tự động.
- Phân tích quỹ đạo cho thấy nhiều lỗi xảy ra sau khi đã truy xuất đủ bằng chứng: mất dấu ứng viên, ràng buộc, hoặc vai trò thực thể qua nhiều bước.
IV. Conclusion & Future Works:
K-BrowseComp là benchmark chuẩn duyệt web Hàn Quốc, bộc lộ điểm yếu cốt lõi của các mô hình hiện tại: duy trì trạng thái ứng viên và ràng buộc xuyên suốt quỹ đạo. Hướng tương lai cần cải thiện khả năng này, kết hợp với phủ rộng lĩnh vực hơn và tái xác thực theo thời gian do dữ liệu web thay đổi.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng K-BrowseComp sang nhiều lĩnh vực hơn (ví dụ tài chính, y tế) để kiểm tra khả năng khái quát hóa của tác tử duyệt web Hàn Quốc.
- Phát triển phương pháp sinh câu hỏi Synthetic tự động dựa trên phản hồi từ chính tác tử, tạo vòng lặp cải thiện liên tục cho benchmark.
- Nghiên cứu cơ chế duy trì trạng thái (state tracking) cho tác tử duyệt web, đặc biệt là cách lưu ứng viên và ràng buộc qua nhiều bước tìm kiếm.
2. Patent:
- Trợ lý tìm kiếm thông tin Hàn Quốc trên điện thoại: người dùng hỏi bằng tiếng Hàn về sự kiện địa phương, hệ thống duyệt web tự động lập kế hoạch nhiều bước và tổng hợp câu trả lời chính xác.
- Công cụ kiểm tra khả năng duyệt web của chatbot Hàn Quốc: nhà phát triển chạy bộ câu hỏi chuẩn hóa để phát hiện lỗi suy luận đa bước hoặc mất dấu thông tin, từ đó cải thiện mô hình trước khi ra mắt.
- Hệ thống tự sinh câu hỏi kiểm tra cho ứng dụng mua sắm Hàn Quốc: dùng tác tử duyệt web để tạo các bài toán phức tạp (ví dụ so sánh giá nhiều sản phẩm qua các trang khác nhau) nhằm đánh giá trợ lý mua sắm.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.02404 |
| ArXiv Abstract | https://arxiv.org/abs/2606.02404 |
| PDF Download | https://arxiv.org/pdf/2606.02404.pdf |
| Github Repository | https://github.com/prometheus-eval/K-BrowseComp |
8. SkillAdaptor: Self-Adapting Skills for LLM Agents from Trajectories (37 votes)
Tác giả: Zhuoyun Yu, Xin Xie, Wuguannan Yao, Chenxi Wang, Lei Liang, et al.
Xuất bản lúc: 2026-05-31
Tag: LLM Agents, Skill Adaptation, Training-Free, Failure Attribution, Skill Refinement, Step-Level, WebShop, PinchBench
I. Main Problem:
Các tác nhân LLM sử dụng kỹ năng ngoài để giải quyết tác vụ dài hạn. Các phương pháp thích ứng kỹ năng hiện tại cập nhật dựa trên toàn bộ quỹ đạo hoặc phản hồi phiên, dẫn đến việc gán lỗi sai, bản sửa quá rộng và mất ổn định.
II. Main Idea:
SkillAdaptor là khung thích ứng kỹ năng phi huấn luyện, chuyển từ phản hồi cấp quỹ đạo sang gán lỗi cấp bước. Khi quỹ đạo thất bại, nó xác định bước lỗi đầu tiên, liên kết trách nhiệm với các kỹ năng nghi vấn, và chỉ sửa những kỹ năng đó. Quy trình gồm Attribution (định vị bước lỗi và liên kết kỹ năng), Modification (sửa hoặc tạo kỹ năng mới) và Qualification (kiểm tra chấp nhận cập nhật qua tái thực thi).
III. Main Results:
- Cải thiện điểm PinchBench Avg Score% thêm +1.5, Claw-Eval Avg Score thêm +1.8, và WebShop success rate thêm +1.7% so với baseline mạnh nhất.
- Trên WebShop, cải thiện điểm cao nhất +2.3 (Score) và +1.7% (Succ%) với GLM-5 và Kimi-K2.5.
- Bỏ Localizer và Linker giảm WebShop success từ 33.0% xuống 28.6%.
- Bỏ Qualifier (kiểm tra chấp nhận) làm tăng độ phân tán và giảm hiệu suất.
- Hầu hết cập nhật hữu ích tập trung ở 2 vòng đầu; vòng sau ít cải thiện do giới hạn backbone.
IV. Conclusion & Future Works:
SkillAdaptor cho thấy gán lỗi cấp bước giúp cập nhật kỹ năng chính xác hơn và ít can thiệp hơn. Phương pháp này hiệu quả nhất với lỗi có thể định vị và cấu trúc bước rõ ràng; yếu hơn khi tác vụ phụ thuộc trạng thái bên ngoài hoặc bối cảnh xuyên phiên.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng gán lỗi cấp bước cho các tác vụ có nhiều kỹ năng phối hợp (multi-skill coordination), nghiên cứu cách định vị lỗi chính xác hơn khi nhiều kỹ năng cùng tham gia.
- Khảo sát khả năng mở rộng của SkillAdaptor khi số lượng kỹ năng tăng lên hàng trăm, bằng cách tối ưu hóa bước Localizer và Linker với chiến lược truy vết ngược nhanh hơn.
- Kết hợp SkillAdaptor với các cơ chế bộ nhớ dài hạn để xử lý lỗi liên quan đến trạng thái xuyên phiên, mở rộng phạm vi áp dụng cho các tác vụ an ninh và nghiên cứu.
2. Patent:
- Hệ thống tự động sửa lỗi cho chatbot hỗ trợ khách hàng trên điện thoại: khi chatbot sai bước, module gán lỗi cấp bước tự phát hiện và sửa kỹ năng tương ứng; cập nhật được kiểm tra tự động trước khi áp dụng, giúp chatbot ngày càng chính xác.
- Ứng dụng quản lý tác vụ (task manager) trên điện thoại dùng LLM để phân tích nhật ký công việc thất bại, xác định bước lỗi đầu tiên và đề xuất sửa quy trình tự động; người dùng có thể xem lại và phê duyệt cập nhật.
- Công cụ hỗ trợ học tập trên điện thoại: phân tích lỗi từ lời giải của học sinh, định vị chính xác bước sai và sửa kỹ năng liên quan trong ngân hàng hướng dẫn; giúp cá nhân hóa việc giảng dạy mà không cần cập nhật mô hình.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.01311 |
| ArXiv Abstract | https://arxiv.org/abs/2606.01311 |
| PDF Download | https://arxiv.org/pdf/2606.01311.pdf |
| Github Repository | N/A |
9. X-Stream: Exploring MLLMs as Multiplexers for Multi-Stream Understanding (36 votes)
Tác giả: Peiwen Sun, Xudong Lu, Huadai Liu, Yang Bo, Dongming Wu, et al.
Xuất bản lúc: 2026-06-01
Tag: Multi-Stream Understanding, MLLMs, Streaming Understanding, Benchmark, Multiplexing, Video Understanding, Cross-Stream Reasoning
I. Main Problem:
Các benchmark hiện tại chỉ đánh giá video đơn luồng, thiếu các hiểu biết cần thiết cho ứng dụng đa luồng thực tế như phát trực tiếp thể thao, lái xe tự hành và cộng tác màn hình. Hiện chưa có chuẩn đánh giá nào yêu cầu tích hợp liên tục nhiều luồng thông tin.
II. Main Idea:
Giới thiệu X-Stream, benchmark đầu tiên chuyên về hiểu video đa luồng trực tuyến, gồm 4.220 cặp QA trên 932 video và 451 take, đánh giá 4 năng lực cốt lõi và 11 nhiệm vụ con. Để đảm bảo tính cần và đủ của đa luồng, tác giả dùng quy trình kiểm tra kép. Đồng thời, khái niệm MLLMs như bộ ghép kênh naïve được đưa ra, cùng ba chiến lược ghép kênh (không gian, thời gian, ngữ nghĩa) nhằm phơi bày sự đánh đổi vốn có.
III. Main Results:
- Mô hình SOTA chỉ đạt khoảng 50% điểm số trên X-Stream, cho thấy khả năng đa luồng còn rất hạn chế.
- Phân tích cho thấy các mô hình yếu kém trong các kỹ năng xuyên luồng như suy luận nhân quả.
- Các chiến lược ghép kênh cho thấy sự đánh đổi: ghép không gian tốt ở tham chiếu chéo luồng, nhưng ngữ nghĩa cần thiết khi số luồng tăng.
- Khoảng 20% dữ liệu có 3-5 luồng, phản ánh độ phức tạp thực tế.
- Kiểm tra con người khẳng định QA đảm bảo tính cần và đủ của đa luồng.
IV. Conclusion & Future Works:
X-Stream phơi bày khoảng cách lớn giữa các mô hình hiện tại và yêu cầu đa luồng thực tế, đặt nền tảng cho các thiết kế kiến trúc tương lai. Hướng phát triển: cải thiện khả năng suy luận xuyên luồng và kỹ năng chủ động trong môi trường nhiều luồng.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu kỹ thuật ghép kênh thích nghi động: mô hình tự động chọn chiến lược ghép kênh dựa trên số luồng và băng thông token hiện có.
- Phát triển kiến trúc MLLM hỗ trợ xử lý đồng thời nhiều luồng video với cơ chế chú ý xuyên luồng chuyên biệt.
- Xây dựng công cụ tạo dữ liệu đa luồng tự động dựa trên đại lý MLLM, giảm phụ thuộc vào con người trong quy trình kiểm tra.
2. Patent:
- Ứng dụng giám sát an ninh đa camera: điện thoại thông minh hiển thị hình ảnh từ nhiều camera đồng thời, hệ thống tự động phát hiện và cảnh báo khi sự kiện bất thường xảy ra ở bất kỳ luồng nào.
- Hệ thống hướng dẫn nấu ăn đa góc nhìn trên thiết bị di động: người dùng xem đồng thời video từ nhiều camera (ví dụ: từ trên cao và bàn tay) và nhận chỉ dẫn theo thời gian thực dựa trên phân tích toàn bộ luồng.
- Trợ lý thể thao cá nhân cho điện thoại: kết hợp nguồn phát trực tiếp từ nhiều góc quay, hệ thống phân tích tình huống và đưa ra nhận xét, dự đoán diễn biến trận đấu.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.02482 |
| ArXiv Abstract | https://arxiv.org/abs/2606.02482 |
| PDF Download | https://arxiv.org/pdf/2606.02482.pdf |
| Github Repository | https://github.com/PeiwenSun2000/X-Stream |
10. Draft-OPD: On-Policy Distillation for Speculative Draft Models (36 votes)
Tác giả: Haodi Lei, Yafy Li, Haoran Zhang, Shunkai Zhang, Qianjia Cheng, et al.
Xuất bản lúc: 2026-05-28
Tag: Speculative Decoding, Knowledge Distillation, On-Policy Learning, LLM Inference, Draft Models
I. Main Problem:
Huấn luyện draft model cho speculative decoding hiện nay dùng supervised fine-tuning (SFT) trên các trajectory cố định do target model sinh ra, nhưng phương pháp này nhanh chóng bão hòa và không cải thiện được độ dài chấp nhận (acceptance length) của draft model. Nguyên nhân là sự lệch pha giữa huấn luyện và suy luận: trong lúc kiểm thử speculative decoding, draft model phải dự đoán trên các trạng thái do chính nó tạo ra, chứ không phải các trạng thái tĩnh từ target model.
II. Main Idea:
Bài báo đề xuất Draft-OPD, một khung on-policy distillation dành riêng cho draft model. Draft-OPD dùng target-assisted rollout để tạo chuỗi sinh ổn định, đồng thời ghi lại vị trí lỗi khi target model kiểm tra và từ vị trí đó cho draft model dự đoán lại. Nhờ vậy, draft model được huấn luyện trên các trạng thái do chính nó gây ra, bao gồm cả token được chấp nhận và bị từ chối. Draft-OPD còn dùng hàm mục tiêu kết hợp forward KL cho token được chấp nhận và reverse KL có trọng số giảm dần cho token bị từ chối.
III. Main Results:
- Draft-OPD đạt tăng tốc hơn 5× lossless trên các mô hình thinking, cải thiện 23% so với EAGLE-3 và 13% so với DFlash.
- Trên SGLang, Draft-OPD cải thiện throughput từ 6% đến 17% tùy tác vụ và mức độ đồng thời.
- Ablation cho thấy lợi ích đến từ on-policy distillation, không phải từ thêm dữ liệu SFT.
- Chọn anchor tại vị trí lỗi và dùng weight decay cho token bị từ chối đều quan trọng.
- Naive target-assisted rollout (không replay lỗi) giảm speedup 7.3% so với Draft-OPD.
IV. Conclusion & Future Works:
Draft-OPD chứng minh draft model hưởng lợi từ huấn luyện on-policy trên các lỗi khi kiểm tra. Hạn chế: độ dài huấn luyện bị giới hạn 4096 token trong khi đánh giá lên đến 8192; thí nghiệm chủ yếu trên Qwen3 và kiến trúc DFlash. Hướng tương lai: mở rộng sang các nhóm mô hình khác và các cơ chế xác minh xấp xỉ.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Draft-OPD cho các draft model kiến trúc khác như EAGLE-3, xem liệu cơ chế replay lỗi có hiệu quả tương tự với kiểu drafting tuần tự.
- Nghiên cứu tác động của độ dài rollout trong OPD: liệu huấn luyện với rollout dài hơn có giúp draft model khái quát hóa tốt hơn cho các tác vụ sinh văn bản rất dài.
- Áp dụng tư tưởng on-policy distillation cho speculative decoding có xác minh xấp xỉ, nơi target model không yêu cầu bảo toàn phân phối đầu ra.
2. Patent:
- Hệ thống tăng tốc suy luận cho trợ lý ảo trên điện thoại: dùng draft model nhẹ (huấn luyện theo Draft-OPD) để sinh nhanh câu trả lời, chỉ gọi mô hình lớn khi cần xác minh, giúp giảm độ trễ và tiết kiệm pin.
- Phương pháp huấn luyện draft model cho chatbot thời gian thực trong ứng dụng nhắn tin: draft model được cập nhật liên tục dựa trên lỗi dự đoán gần đây, cải thiện tốc độ phản hồi mà không ảnh hưởng chất lượng.
- Cơ chế caching thông minh cho draft model trên thiết bị di động: lưu lại các trạng thái lỗi thường gặp và các phản hồi ưu tiên từ target model, giúp draft model cải thiện độ chính xác cục bộ mà không cần kết nối đám mây.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.29343 |
| ArXiv Abstract | https://arxiv.org/abs/2605.29343 |
| PDF Download | https://arxiv.org/pdf/2605.29343.pdf |
| Github Repository | https://github.com/bingyang-lei/Draft-OPD |
11. NITP: Next Implicit Token Prediction for LLM Pre-training (35 votes)
Tác giả: Xiangdong Zhang, Debing Zhang, Shaofeng Zhang, Xiaohan Qin, Yu Cheng, et al.
Xuất bản lúc: 2026-05-24
Tag: LLM Pre-training, Next-Token Prediction, Representation Degeneration, Self-Supervised Learning, Continuous Supervision, MoE
I. Main Problem:
Phương pháp Next-Token Prediction (NTP) chuẩn chỉ giám sát mô hình ngôn ngữ qua nhãn rời rạc one-hot ở không gian logit đầu ra, khiến không gian biểu diễn tiềm ẩn bị thiếu ràng buộc. Điều này cho phép các hidden state trôi dạt thành cấu trúc suy biến (anisotropic), hạn chế khả năng tổng quát hóa của mô hình.
II. Main Idea:
Bài báo đề xuất Next Implicit Token Prediction (NITP), một mục tiêu tiền huấn luyện bổ sung, kết hợp giám sát rời rạc với giám sát liên tục, dày đặc trực tiếp trong không gian biểu diễn. Cụ thể, NITP yêu cầu mô hình dự đoán biểu diễn ngữ nghĩa tiềm ẩn của token tiếp theo, sử dụng biểu diễn từ các lớp nông của chính mô hình làm mục tiêu tự giám sát ổn định (implicit tokens). Mục tiêu này được tối ưu cùng với NTP chuẩn bằng tổ hợp tuyến tính và hoạt động như một bộ điều chỉnh hình học, giúp ngăn chặn suy biến và tạo cấu trúc biểu diễn nhỏ gọn, có tổ chức.
III. Main Results:
- NITP cải thiện hiệu suất trung bình trên 13 benchmark cho mô hình MoE 9B (từ 40.27% lên 42.94%), với mức tăng 5.71% tuyệt đối trên MMLU-Pro và 6.36% trên C3.
- Trên mô hình dense 2B, NITP tăng điểm trung bình 1.79% (31.91% lên 33.70%), với cải thiện rõ rệt trên C3 (+4.16) và MMLU (+2.18).
- NITP chỉ thêm khoảng 2% FLOPs huấn luyện và không tăng chi phí suy luận.
- Phân tích lý thuyết chứng minh NITP tạo độ cong dương cho không gian con thuộc về ngữ nghĩa, giải quyết vùng null của NTP.
- Các thí nghiệm ablation khẳng định tầng nông (khoảng 20% độ sâu mô hình) và mất mát cosine là lựa chọn tối ưu.
IV. Conclusion & Future Works:
NITP khắc phục hiệu quả sự suy biến biểu diễn bằng cách thêm giám sát liên tục vào mục tiêu NTP, giúp cải thiện hiệu suất ổn định qua nhiều kiến trúc và quy mô mô hình với chi phí tính toán không đáng kể. Hạn chế chính là phát sinh thêm siêu tham số (tầng mục tiêu, trọng số mất mát), cần kiểm chứng thêm trên nhiều mô hình hơn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng NITP cho mô hình đa phương thức: dùng biểu diễn các lớp nông từ encoder thị giác làm implicit token để cải thiện alignment giữa văn bản và hình ảnh trong tiền huấn luyện.
- Nghiên cứu cơ chế tối ưu hóa động (adaptive weighting) cho λ trong NITP dựa trên độ hội tụ của từng giai đoạn huấn luyện, thay vì cố định.
- Kết hợp NITP với multi-token prediction để vừa giám sát hình học biểu diễn vừa mở rộng tầm nhìn dự đoán, hướng tới mô hình có khả năng lập kế hoạch dài hạn tốt hơn.
2. Patent:
- Hệ thống tăng cường chất lượng biểu diễn cho chatbot trên điện thoại: trong quá trình huấn luyện, mô hình được điều chỉnh để dự đoán ngữ nghĩa tiềm ẩn của từ tiếp theo từ các lớp nông, giúp câu trả lời giàu ngữ cảnh và ít lặp hơn.
- Phương pháp tự hiệu chỉnh cho bộ gõ thông minh: thay vì chỉ dựa vào từ tiếp theo, mô hình dự đoán cả biểu diễn ngữ nghĩa của từ, cải thiện độ chính xác và giảm lỗi gợi ý trong các tình huống đa nghĩa.
- Module tối ưu hóa không gian biểu diễn cho trợ lý ảo nhúng trong thiết bị IoT: dùng NITP để nén biểu diễn mà vẫn giữ thông tin ngữ nghĩa, giúp giảm bộ nhớ và tăng tốc suy luận trên thiết bị biên.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.24956 |
| ArXiv Abstract | https://arxiv.org/abs/2605.24956 |
| PDF Download | https://arxiv.org/pdf/2605.24956.pdf |
| Github Repository | https://github.com/aHapBean/NITP |
12. Where to Look: Can Foundation Models Reach a Target Viewpoint Through Active Exploration? (31 votes)
Tác giả: Liyang Li, Muzhi Zhu, Zhiyue Zhao, Hengyu Zhao, Ke Liu, et al.
Xuất bản lúc: 2026-05-31
Tag: Active Exploration, Embodied AI, Foundation Models, Visual Navigation, Reinforcement Learning, Spatial Intelligence, Viewpoint Matching, MLLM
I. Main Problem:
Các foundation model hiện nay xử lý không gian chủ yếu ở chế độ thụ động—quan sát đã được thu thập sẵn—chứ không tự di chuyển để tái tạo góc nhìn như con người. Bài toán tái tạo góc nhìn đích từ một ảnh duy nhất thông qua dịch chuyển thân và xoay đầu vẫn chưa được nghiên cứu bài bản; các mô hình mạnh nhất chỉ đạt 12% thành công so với 93% của con người.
II. Main Idea:
Bài báo định nghĩa bài toán Target Viewpoint Reproduction (TVR): tác nhân trong môi trường 3D phải tự điều chỉnh tư thế (dịch chuyển + xoay) cho đến khi quan sát khớp chính xác với ảnh đích. Họ xây dựng benchmark TVRBench chia làm 4 nhóm (phòng đơn/đa phòng × giàu/nghèo đặc điểm). Để cải thiện, họ phát triển khung hậu huấn luyện thống nhất: SFT trên quỹ đạo chuyên gia, GRPO một bước (offline) và GRPO đa bước (on-policy từ mô phỏng). Kết hợp SFT trực quan-hành động + Multi-turn GRPO nâng tỉ lệ thành công của mô hình 9B từ 2,8% lên 51,4%.
III. Main Results:
- Mô hình mạnh nhất trước huấn luyện chỉ đạt 12% (Gemini-3.1-Pro) và 7,8% (Qwen3.5-27B); con người đạt 93%.
- Nút thắt chính là ánh xạ chênh lệch không gian thành hành động thân, không phải khớp hình ảnh: bỏ chuyển động thân giúp tỉ lệ tăng vọt lên 80,5%.
- SFT trực quan-hành động (VA-SFT) nâng Qwen3.5-9B lên 50,8% thành công tổng thể; CoT làm giảm hiệu suất.
- Multi-turn GRPO cải thiện thêm 0,6 pp, chủ yếu ở tác vụ đa phòng (+7,2 pp), trong khi Single-turn GRPO làm suy giảm 18 pp.
- Mô hình cuối đạt 81,6% (dễ 1 phòng) và 34,4% (dễ đa phòng), tỉ lệ dừng sai F-stop = 0%.
IV. Conclusion & Future Works:
TVRBench phơi bày khoảng cách lớn giữa mô hình nền và con người trong tái tạo góc nhìn chủ động. Khung hậu huấn luyện cho thấy SFT trực quan-hành động là yếu tố chính, RL đa bước bổ sung tinh chỉnh ở tác vụ xa. Hướng tới: mở rộng sang tọa độ liên tục, dung sai thực tế, và thử nghiệm trên nhiều backbone hơn.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu tích hợp bộ nhớ không gian 3D rõ ràng (bản đồ điểm, đồ thị cảnh) vào kiến trúc TVR để giảm lỗi vòng lặp và tăng hiệu quả khám phá tầm xa.
- Phát triển cơ chế Chain-of-Thought chuyên biệt cho điều khiển góc nhìn: đầu ra lý luận song song với dự đoán hành động, có thể cải thiện thay vì làm suy giảm hiệu suất như CoT hiện tại.
- Đề xuất phương pháp học tăng cường đa bước có thưởng thưa dựa trên đối sánh đặc trưng thị giác (thay vì tọa độ chính xác) để áp dụng được trong môi trường liên tục và thực tế.
2. Patent:
- Hệ thống hướng dẫn người dùng chụp ảnh đồ vật trên điện thoại: camera điện thoại tự động đề xuất dịch chuyển và xoay (qua overlay) để người dùng đưa thiết bị vào góc chụp giống mẫu tham khảo, ứng dụng trong nhiếp ảnh và bán hàng online.
- Robot quét dọn nhà có khả năng tự kiểm tra vị trí: sau khi dọn, robot chụp ảnh so với ảnh đích (do người dùng chụp trước) và tự điều chỉnh góc nhìn + vị trí để xác nhận khu vực đã sạch hoàn toàn.
- Ứng dụng thực tế ảo tăng cường (AR) cho nội thất: người dùng chụp góc mong muốn, điện thoại phân tích chênh lệch không gian và hiển thị mũi tên chỉ đường + hiệu ứng dẫn hướng để đưa camera đến đúng góc nhìn, giúp đặt đồ ảo chính xác.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.01247 |
| ArXiv Abstract | https://arxiv.org/abs/2606.01247 |
| PDF Download | https://arxiv.org/pdf/2606.01247.pdf |
| Github Repository | https://github.com/aim-uofa/TVRBench |
13. VLMs are Good Teachers for Video Reasoning via Adaptive Test-Time Optimization (29 votes)
Tác giả: Junhao Cheng, Liang Hou, Tianxiong Zhong, Xin Tao, Pengfei Wan, et al.
Xuất bản lúc: 2026-06-01
Tag: Video Reasoning, Video Generation, Vision-Language Models, Test-Time Optimization, LoRA, Diffusion Models, Reward Design
I. Main Problem:
Các mô hình sinh video (VGM) hiện nay tối ưu cho chất lượng hình ảnh, thường không tuân thủ logic nhiệm vụ cụ thể, dẫn đến sai lầm trong suy luận. Các phương pháp trước dùng VLM làm người giải văn bản thì mô tả ngôn ngữ không nắm bắt đủ chi tiết không gian-thời gian, và VGM khó thực thi hướng dẫn phức tạp.
II. Main Idea:
Chuyển vai trò VLM từ 'người giải' sang 'giáo viên': một VLM trích xuất quy tắc nhiệm vụ và tạo ra các phần thưởng khả vi để hướng dẫn VGM thông qua tối ưu hóa tại thời điểm kiểm tra (test-time optimization). Cụ thể, một module LoRA nhẹ được tối ưu cho từng phiên bản suy luận riêng, cho phép VGM tự thích ứng và mở rộng khả năng suy luận vượt giới hạn vốn có.
III. Main Results:
- Phương pháp đề xuất đạt trung bình 16.7 điểm cải thiện trên hai benchmark VBVR-Bench và RULER-Bench.
- Trên VBVR-Bench, vượt phương pháp VLM-as-Solver (+0.4 điểm) và Best-of-N (+2.2 điểm) với chi phí tính toán tương đương.
- Trên RULER-Bench, cải thiện hạng mục 'Anomaly' từ 26.7 lên 65.0, vượt trội so với VideoTPO.
- Tổng thời gian suy luận 69-88 giây/mẫu, thấp hơn hoặc tương đương các baseline mạnh.
IV. Conclusion & Future Works:
Phương pháp VLM-as-Teacher chứng tỏ hiệu quả vượt trội so với tối ưu hóa dựa trên văn bản hay lấy mẫu lặp. Hướng tương lai gồm cải thiện chiến lược thăm dò tối ưu hóa và mở rộng sang các mô hình nền tảng khác.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng khung VLM-as-Teacher cho suy luận tương tác nhiều bước, nơi VLM giáo viên đưa ra phản hồi tuần tự theo từng bước con của quỹ đạo video.
- Nghiên cứu áp dụng tối ưu hóa tại thời điểm kiểm tra cho các mô hình khuếch tán văn bản thành hình ảnh hoặc 3D, với VLM giáo viên hướng dẫn tuân thủ quy tắc logic.
- Kết hợp kỹ thuật active learning để VLM giáo viên tự động chọn câu hỏi giám sát thông tin nhất thay vì ba câu hỏi cố định cho mỗi nhiệm vụ.
2. Patent:
- Hệ thống trên điện thoại dùng VLM giáo viên để kiểm tra xem robot có di chuyển đúng hướng dẫn không, cập nhật tham số robot ngay lập tức thay vì phải huấn luyện lại.
- Trình chỉnh sửa video di động tự động sửa lỗi suy luận: người dùng mô tả quy tắc, VLM giáo viên phát hiện sai và tối ưu video đầu ra theo thời gian thực.
- Công cụ hỗ trợ giáo dục tương tác: giáo viên nhập bài toán suy luận không gian, VLM sinh video hướng dẫn và tự động kiểm tra đáp án bằng cách đánh giá quỹ đạo cuối cùng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.02564 |
| ArXiv Abstract | https://arxiv.org/abs/2606.02564 |
| PDF Download | https://arxiv.org/pdf/2606.02564.pdf |
| Github Repository | N/A |
14. Linear Ensembles Wash Away Watermarks: On the Fragility of Distributional Perturbations in LLMs (29 votes)
Tác giả: Zhihao Wu, Gracia Gong, Qinglin Zhu, Yudong Chen, Runcong Zhao
Xuất bản lúc: 2026-05-28
Tag: Watermarking, LLMs, Linear Ensembles, Detection Failure, Statistical Hybridisation, Fluency-Aware Routing
I. Main Problem:
Watermarking hiện tại giả định kẻ tấn công chỉ có một mô hình. Trong thực tế, người dùng có thể truy cập nhiều LLM độc lập. Nghiên cứu này chỉ ra rằng watermark tác động lên phân phối đầu ra, và khi các nhiễu này độc lập giữa các nhà cung cấp, việc lấy trung bình sẽ triệt tiêu tín hiệu watermark, khiến cơ chế phát hiện trở nên bất khả thi.
II. Main Idea:
Các tác giả chứng minh lý thuyết rằng trung bình phân phối xác suất đầu ra của N mô hình độc lập hội tụ về phân phối gốc không watermark với sai số O(1/√N). Họ giới thiệu WASH, một thuật toán dùng Fluency-Aware Routing để giải quyết vấn đề không khớp từ vựng giữa các tokenizer khác nhau. WASH đồng bộ hóa ngữ cảnh bằng decode-encode, cho phép lấy trung bình hiệu quả trên hợp của từ vựng mà không làm mất tính mạch lạc.
III. Main Results:
- Với 3-5 mô hình, WASH hạ z-score phát hiện từ 5-300 (phát hiện mạnh) xuống dưới 2 (dưới ngưỡng phát hiện 4).
- TPR@5%FPR giảm xuống dưới 50% trên mọi sơ đồ watermark.
- Chất lượng sinh cải thiện 27.5% so với baseline.
- WASH nhanh hơn 6x so với De-mark trên sinh văn bản dài.
- Trung bình trọng tài không ảnh hưởng đến việc loại bỏ watermark khi watermark được đồng bộ hóa.
IV. Conclusion & Future Works:
Phát hiện này cho thấy watermark phân phối yếu kém về cấu trúc trước tấn công trung bình tuyến tính. Để phát hiện đáng tin cậy, cần chuẩn hóa toàn ngành hoặc chấp nhận lỗ hổng này. Hướng tương lai: nghiên cứu watermark phối hợp và phòng thủ thích ứng trước tấn công đa mô hình.
V. Brainstorming Space:
1. Publish Papers:
- Phát triển watermark phối hợp sử dụng khóa chung giữa các nhà cung cấp mô hình (LLM) để ngăn chặn tấn công trung bình tuyến tính.
- Nghiên cứu khả năng thích ứng của watermark khi kẻ tấn công có quyền truy cập không đối xứng vào các mô hình (ví dụ: chỉ một số mô hình bị watermark).
- Áp dụng WASH cho các loại watermark khác ngoài watermark văn bản (ví dụ: watermark hình ảnh, âm thanh) để kiểm tra tính khái quát của lỗ hổng.
2. Patent:
- Hệ thống kiểm tra đạo văn AI trên điện thoại: người dùng chạy văn bản qua nhiều chatbot độc lập, lấy trung bình phân phối đầu ra để loại bỏ watermark trước khi nộp bài.
- Ứng dụng dịch thuật đa mô hình: kết hợp đầu ra từ nhiều dịch vụ dịch AI khác nhau để tạo văn bản trung thực, không bị phát hiện là AI, dùng cho giao tiếp an toàn.
- Công cụ sáng tạo nội dung trên điện thoại: quét watermark từ nhiều nguồn AI, tính trung bình ngưỡng tin cậy để xóa dấu hiệu, tạo nội dung gốc mà không vi phạm bản quyền.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.30501 |
| ArXiv Abstract | https://arxiv.org/abs/2605.30501 |
| PDF Download | https://arxiv.org/pdf/2605.30501.pdf |
| Github Repository | https://github.com/Kunhao18/WASH |
15. VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion (26 votes)
Tác giả: Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, et al.
Xuất bản lúc: 2026-05-28
Tag: Video Diffusion, Autoregressive Generation, Multi-Head Latent Attention (MLA), KV Cache Compression, Long-Horizon Video Generation, Efficient Inference
I. Main Problem:
Các mô hình video diffusion tự hồi quy, dù dùng sliding-window, vẫn có KV cache per-head lớn (ví dụ 6GB cho Wan 1.3B), chiếm phần lớn bộ nhớ và hạn chế chiều dài rollout, batch size và tốc độ inference. Các giải pháp hiện tại chỉ thay đổi token nào được lưu hay cách đặt vị trí, chứ không giảm kích thước mỗi token.
II. Main Idea:
VideoMLA thay thế mỗi cặp key-value cho từng head bằng một latent content chung rank thấp (giảm từ 3072 xuống 224 scalar mỗi token) và một key 3D-RoPE decoupled dùng chung cho tất cả head. Phần content không có vị trí, còn phần vị trí nằm riêng trong RoPE subspace. Phương pháp này cắt giảm bộ nhớ KV 92.7%, đồng thời tương thích với pipeline chunk-causal hiện có. Quan trọng, thành công không đến từ sự low-rank vốn có của attention trong video diffusion (vốn không low-rank), mà do bottleneck kiến trúc tạo rank-budget mà mô hình học được lấp đầy gần như hoàn toàn.
III. Main Results:
- VideoMLA giảm per-token KV cache từ 3072 xuống 224 scalar (92.7%) và tăng throughput lên 1.23× trên một B200.
- Trên VBench 60s, VideoMLA đạt overall score cao nhất (0.859), vượt qua các baseline như Reward Forcing, Infinity-RoPE, LongSANA.
- Dynamic Degree đạt 0.981 ở 30s và 0.958 ở 60s, chứng tỏ không làm mất động lượng video.
- Batch headroom tăng 8.0× với dc = 192; với dc = 64, non-OOM batch có thể lên tới 320.
- Dù attention trong video diffusion không low-rank (99%-energy effective rank >1300), VideoMLA vẫn giữ chất lượng nhờ rank-budget kiến trúc.
IV. Conclusion & Future Works:
VideoMLA chứng minh can thiệp vào layout per-head của KV cache là hướng hiệu quả và bổ trợ để mở rộng video diffusion tầm phút. Tuy nhiên latent budget không thể thu nhỏ vô tận—dc=64 mất chi tiết—cần cân bằng chất lượng-hiệu quả. Tương lai có thể mở rộng cho backbone lớn hơn, độ phân giải cao hơn, rollout dài hơn và prompt switching.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng VideoMLA cho video diffusion có backbone mạnh hơn (3B, 7B) kết hợp với kỹ thuật lưu trữ top-k token để giảm thêm bộ nhớ mà vẫn duy trì phong phú ngữ nghĩa.
- Nghiên cứu cơ chế rank-adaptation: thay vì fixed latent dimension, cho phép latent dimension thay đổi theo layer hoặc nội dung frame để tiết kiệm hơn.
- Kết hợp VideoMLA với linear attention (như SANA-Video) để loại bỏ hoàn toàn KV cache cổ điển, hướng tới video generation không giới hạn độ dài với bộ nhớ hằng số.
2. Patent:
- Ứng dụng VideoMLA trên điện thoại cho phép tạo video 30-60 giây từ prompt văn bản với độ trễ thấp, phù hợp cho ứng dụng chỉnh sửa video, tạo nội dung mạng xã hội real-time.
- Tích hợp VideoMLA vào camera AI để tạo video tua nhanh thời gian (time-lapse) chất lượng cao trực tiếp trên thiết bị, giảm tải đám mây và tiết kiệm pin.
- Hệ thống game động dùng VideoMLA để sinh nền video dài liên tục dựa trên hành động người chơi, cho phép trải nghiệm mở thay đổi nội dung môi trường mà không tốn nhiều bộ nhớ GPU.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.30351 |
| ArXiv Abstract | https://arxiv.org/abs/2605.30351 |
| PDF Download | https://arxiv.org/pdf/2605.30351.pdf |
| Github Repository | https://github.com/yesiltepe-hidir/VideoMLA |
16. Which Pretraining Paradigm Better Serves Spatial Intelligence? An Empirical Comparison of Vision-Language and Video Generation Models (25 votes)
Tác giả: Haozhan Shen, Tiancheng Zhao, Kangjia Zhao, Jianwei Yin
Xuất bản lúc: 2026-05-27
Tag: Spatial Intelligence, Vision-Language Models, Video Generation Models, Frozen Probing, 3D Geometry Prediction, Instance Grouping, Feature Fusion
I. Main Problem:
Các hệ thống trí tuệ không gian cần biểu diễn thị giác vừa nắm bắt ngữ nghĩa đối tượng vừa bảo toàn cấu trúc hình học. Hai hướng tiền huấn luyện chính hiện nay là Vision-Language Models (VLMs) và Video Generation Models (VGMs), nhưng chưa rõ hướng nào cung cấp biểu diễn tốt hơn cho trí tuệ không gian, do các so sánh trước đây bị nhiễu bởi bộ giải mã và tinh chỉnh hạ nguồn.
II. Main Idea:
Bài báo thực hiện nghiên cứu frozen-feature probing có kiểm soát đầu tiên, so sánh biểu diễn của VLMs và VGMs trên ba trục: semantic tagging (gắn nhãn ngữ nghĩa), instance grouping (gom cụm thể hiện) và 3D geometry prediction (dự đoán hình học 3D). Các đặc trưng được đông lạnh, chỉ huấn luyện đầu dò nhẹ với kiến trúc giống hệt nhau, loại bỏ yếu tố nhiễu từ các bộ giải mã riêng. Kết quả cho thấy sự bổ trợ rõ ràng: VLMs mạnh về ngữ nghĩa và gom cụm thể hiện, trong khi VGMs cung cấp tín hiệu hình học dày đặc và chuyển động camera dễ khai thác hơn. Phép hợp nhất đặc trưng đơn giản đã kết hợp được ưu điểm của cả hai họ mô hình.
III. Main Results:
- VLMs vượt trội VGMs trên semantic tagging: mAP trung bình 92.08% so với 69.89%, và APmid 87.28% so với 58.63%.
- Trên instance grouping, VLMs cũng tốt hơn: T-mIoU trung bình 22.66 so với 13.24 của VGMs.
- VGMs chiếm ưu thế trên 3D geometry: P-map Err. 0.152 so với 0.223, depth AbsRel 0.072 so với 0.113, AUC@30 0.527 so với 0.330.
- WAN2.1-T2V-14B là VGM mạnh nhất về hình học; Qwen3-VL-2B là VLM mạnh nhất về ngữ nghĩa và gom cụm.
- Hợp nhất đặc trưng đơn giản (concatenate) của WAN2.1-T2V-14B và Qwen3-VL-8B đạt mAP 92.30%, T-mIoU 23.70, AbsRel 0.042 và AUC@30 0.615—cải thiện cả ngữ nghĩa lẫn hình học.
IV. Conclusion & Future Works:
Trí tuệ không gian không nằm ở một trục đơn lẻ: VLMs thiên về ngữ nghĩa đối tượng, VGMs thiên về cấu trúc hình học đa khung hình. Hợp nhất đặc trưng đơn giản cho thấy triển vọng xây dựng backbone tích hợp cả hai. Hướng tương lai cần khám phá các cơ chế hợp nhất tinh vi hơn và mở rộng đánh giá ra các môi trường ngoài trời, động và robot.
V. Brainstorming Space:
1. Publish Papers:
- Phát triển cơ chế hợp nhất đặc trưng có học (learned fusion) thay vì ghép nối đơn giản, sử dụng cross-attention để căn chỉnh biểu diễn ngữ nghĩa từ VLM với biểu diễn hình học từ VGM.
- Mở rộng khung probing cho các tác vụ không gian bổ sung như động lực học vật lý, nhận biết affordance và lập kế hoạch đường đi dài hạn, đánh giá trên các dataset đa dạng như ngoài trời và robot.
- Nghiên cứu ảnh hưởng của kiến trúc VGM (ví dụ: số bước denoising, loại VAE) đến chất lượng biểu diễn hình học, từ đó đề xuất hướng tối ưu cho spatial understanding.
2. Patent:
- Ứng dụng trên điện thoại thông minh: chụp ảnh nội thất, kết hợp mô hình VLM (nhận diện đồ vật) và VGM (dựng bản đồ độ sâu) để tạo mô hình 3D phòng nhanh chóng phục vụ thử đồ nội thất ảo.
- Hệ thống điều hướng trong nhà cho người khiếm thị: camera điện thoại quét video ngắn, dùng VGM dự đoán độ sâu và chướng ngại vật, kết hợp VLM gắn nhãn cửa, cầu thang, bàn ghế để đưa chỉ dẫn bằng giọng nói.
- Tính năng chụp ảnh thông minh trên điện thoại: khi quay video xung quanh vật thể, VLM nhận diện vật thể chính, VGM dựng đám mây điểm 3D, cho phép chỉnh sửa hậu kỳ (xóa phông, thay đổi góc nhìn) dựa trên cấu trúc thực tế.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.28132 |
| ArXiv Abstract | https://arxiv.org/abs/2605.28132 |
| PDF Download | https://arxiv.org/pdf/2605.28132.pdf |
| Github Repository | https://github.com/om-ai-lab/Probing-VLM-VGM |
17. OpenWebRL: Demystifying Online Multi-turn Reinforcement Learning for Visual Web Agents (20 votes)
Tác giả: Rui Yang, Qianhui Wu, Yuxi Chen, Hao Bai, Wenlin Yao, et al.
Xuất bản lúc: 2026-06-01
Tag: Online RL, Visual Web Agents, Vision-Language Models, Multi-turn RL, GRPO, Browser Automation, Open-source
I. Main Problem:
Các tác nhân web nhìn mạnh nhất hiện nay đều là mã nguồn đóng, còn các tác nhân mở phụ thuộc nặng vào huấn luyện có giám sát trên hàng trăm nghìn quỹ đạo web được thu thập thủ công. Điều này tạo ra nút thắt về khả năng mở rộng: dữ liệu tĩnh đắt đỏ và không bao phủ được sự đa dạng của web thật luôn thay đổi. Học tăng cường trực tuyến cho tác nhân web nhìn trên web sống hầu như chưa được khám phá.
II. Main Idea:
OpenWebRL là một framework mã nguồn mở hoàn chỉnh để huấn luyện tác nhân web nhìn bằng học tăng cường đa vòng trực tuyến trên các website thật. Framework gồm ba thành phần chính: (1) khởi tạo có giám sát chỉ với 0.4K quỹ đạo; (2) harness tác nhân với đa công cụ, phản hồi môi trường dạng văn bản và quản lý ngữ cảnh đa phương thức; (3) mục tiêu GRPO đa phương thức đa vòng với phán đoán thành công cấp độ quỹ đạo. Với backbone 4B và chỉ 2.2K tác vụ huấn luyện RL, OpenWebRL-4B thiết lập state-of-the-art mới cho tác nhân mở trên ba benchmark web sống, cạnh tranh với các hệ thống độc quyền như OpenAI CUA và Gemini CUA.
III. Main Results:
- OpenWebRL-4B đạt 67.0% trên Online-Mind2Web và 64.0% trên DeepShop, vượt xa các tác nhân mở trước đó như FARA-7B và MolmoWeb-8B.
- Cả SFT và MM-GRPO đều đóng góp: SFT cải thiện từ 39.3% lên 52.0%, MM-GRPO nâng tiếp lên 68.4% (trung bình ba benchmark).
- Quá trình RL không làm tăng độ dài quỹ đạo tổng thể mà tập trung mở rộng suy luận có chọn lọc vào các bước quan trọng.
- OpenWebRL-Judge-8B (huấn luyện từ 12.5K quỹ đạo) đạt 89.8% độ chính xác so với GPT-4.1, cắt giảm $545.5 chi phí đánh giá mỗi lần chạy.
- Pass@4 đạt trên 90% trên cả ba benchmark web sống.
IV. Conclusion & Future Works:
OpenWebRL chứng minh rằng học tăng cường trực tuyến với quy trình thiết kế hợp lý có thể biến các VLM nhỏ thành tác nhân web sống cạnh tranh với hệ thống độc quyền. Hướng phát triển tương lai bao gồm mở rộng lên backbone lớn hơn, cải thiện chiến lược thăm dò tự động và làm giàu kho dữ liệu tác vụ RL.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu chiến lược thăm dò chủ động cho tác nhân web RL trực tuyến, tự động chọn các trang web khó và tác vụ mang tính thông tin cao để tăng tốc hội tụ.
- Mở rộng OpenWebRL cho tác nhân đa phương thức trong môi trường máy tính để bàn và ứng dụng di động, đánh giá tính khái quát của phương pháp.
- Phân tích cơ chế nội tại của suy luận đa vòng trong RL trực tuyến: hiểu cách RL thay đổi biểu diễn tiềm ẩn và chiến lược ra quyết định của tác nhân.
2. Patent:
- Hệ thống tự động kiểm tra và sửa lỗi giao diện người dùng trên điện thoại: dùng tác nhân web RL trực tuyến để tự động thực hiện các luồng tác vụ phổ biến, phát hiện và báo cáo lỗi hiển thị hoặc chức năng trên ứng dụng di động.
- Trợ lý mua sắm trên điện thoại thông minh có khả năng học thích ứng: người dùng nói mô tả sản phẩm, tác nhân RL tương tác với nhiều website thương mại điện tử, tự động so sánh giá và đặt hàng dựa trên học từ phản hồi thành công/thất bại.
- Công cụ kiểm tra bảo mật tự động cho ứng dụng web di động: tác nhân RL thực hiện các chuỗi hành vi phức tạp (đăng nhập, chuyển trang, nhập dữ liệu) để phát hiện lỗ hổng XSS hoặc CSRF mà các công cụ tĩnh bỏ sót.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.02031 |
| ArXiv Abstract | https://arxiv.org/abs/2606.02031 |
| PDF Download | https://arxiv.org/pdf/2606.02031.pdf |
| Github Repository | https://github.com/OpenWebRL/OpenWebRL |
18. ESPO: Early-Stopping Proximal Policy Optimization (20 votes)
Tác giả: Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, et al.
Xuất bản lúc: 2026-05-28
Tag: Proximal Policy Optimization, Reinforcement Learning, LLM Reasoning, Early Stopping, Token Efficiency, Mathematical Reasoning
I. Main Problem:
Khi mô hình ngôn ngữ lớn mắc lỗi suy luận sớm trong quỹ đạo, các thuật toán PPO tiêu chuẩn buộc nó tiếp tục sinh token đến hết tầm nhìn tối đa, gây lãng phí tính toán và nhiễu gradient từ các token sau lỗi. Không có phương pháp nào phát hiện thất bại trong lúc rollout chỉ dùng tín hiệu có sẵn từ actor và critic.
II. Main Idea:
ESPO phát hiện thất bại ngay trong khi sinh token bằng cách tính surrogate regret từ logit tại mỗi bước—chênh lệch giữa token được lấy mẫu và token có xác suất cao nhất. Regret tích lũy được so sánh với ước lượng giá trị từ critic; nếu vượt ngưỡng, trajectory bị dừng sớm và chuyển thành trạng thái thất bại hấp thụ với phần thưởng cuối âm. Phương pháp này không cần mô hình phần thưởng phụ hay chú thích con người, và có thể áp dụng trên mọi cơ chế ước lượng advantage của PPO.
III. Main Results:
- Trên DeepSeek-R1-Distill-Qwen-7B, ESPO đạt 46.28% trên AIME 2024, 85.83% trên AMC 2023, vượt PPO và DAPO trên mọi benchmark (trung bình +1.97pp so với PPO).
- Tiết kiệm hơn 20% token rollout tích lũy ở quy mô 7B (839.24M so với 1072.40M của PPO).
- Tỷ lệ dương tính giả (cắt nhầm quỹ đạo đúng) trung bình chỉ 2.7% trong huấn luyện.
- Ablation chứng minh thành phần giá trị và regret bổ sung cho nhau: cắt ngẫu nhiên chỉ đạt 42.4% trên AIME so với 46.3% của ESPO đầy đủ.
- ESPO duy trì entropy chính sách cao hơn PPO, giảm hiện tượng suy giảm entropy sớm.
IV. Conclusion & Future Works:
ESPO cung cấp cơ chế dừng rollout nhẹ, hiệu quả dựa trên regret và giá trị, loại bỏ nhiễu hậu thất bại và tiết kiệm token. Hạn chế: khó phát hiện lỗi khi mô hình tự tin sai; cần điều chỉnh tỷ lệ dừng thủ công. Hướng tương lai: mở rộng cho môi trường đa bước và tool-use với cơ chế thích ứng tham số tự động.
V. Brainstorming Space:
1. Publish Papers:
- Áp dụng ESPO cho fine-tuning mô hình ngôn ngữ trong tác vụ đối thoại đa lượt, nơi lỗi sớm như hiểu sai ý định dẫn dắt toàn bộ cuộc hội thoại sai lệch; early stopping có thể giảm nhiễu và tiết kiệm token.
- Kết hợp ESPO với cơ chế ước lượng advantage theo nhóm (GRPO/DAPO) để tạo khung huấn luyện hiệu quả cho suy luận khoa học dài, nơi sai bước đầu thường gây tổn phí tính toán lớn.
- Mở rộng tín hiệu regret từ logit sang embedding không gian liên tục cho mô hình hành động liên tục trong robot, phát hiện hành vi lạc hướng sớm dựa trên độ chệch khỏi quỹ đạo kỳ vọng.
2. Patent:
- Phương pháp tối ưu hóa chính sách cho trợ lý ảo trên điện thoại: khi người dùng đặt câu hỏi, hệ thống tự dừng sinh phản hồi nếu phát hiện độ tự tin thấp sớm, tiết kiệm năng lượng xử lý và tránh câu trả lời sai.
- Hệ thống học tăng cường cho game di động: phát hiện người chơi mắc lỗi chiến thuật sớm (ví dụ chọn trang bị sai) và tự động dừng mô phỏng, tập trung dữ liệu huấn luyện vào điểm quyết định thay vì kết quả cuối.
- Công cụ đánh giá chất lượng suy luận trong thiết bị y tế di động: khi mô hình chẩn đoán bắt đầu đi lệch khỏi hướng hợp lý, hệ thống dừng suy luận sớm, cảnh báo bác sĩ mà không tiêu tốn tài nguyên cho suy luận vô ích.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.29860 |
| ArXiv Abstract | https://arxiv.org/abs/2605.29860 |
| PDF Download | https://arxiv.org/pdf/2605.29860.pdf |
| Github Repository | N/A |
19. LongLive-RAG: A General Retrieval-Augmented Framework for Long Video Generation (19 votes)
Tác giả: Qixin Hu, Shuai Yang, Wei Huang, Song Han, Yukang Chen
Xuất bản lúc: 2026-06-01
Tag: Video Generation, Retrieval-Augmented Generation, Autoregressive Models, Diffusion, Long Video, Error Accumulation, Attention
I. Main Problem:
Các mô hình video diffusion tự hồi quy (AR) có thể sinh video dài tùy ý, nhưng thường bị lỗi tích lũy và mất nhất quán đối tượng do chỉ dùng cửa sổ trượt gần nhất làm ngữ cảnh, bỏ qua lịch sử xa hơn. Khi cửa sổ này đã chứa lỗi, các khối sau càng đi chệch hướng.
II. Main Idea:
LongLive-RAG đặt bài toán sinh video dài thành truy xuất tăng cường (RAG): lưu các latent đã sinh thành kho lưu trữ có thể tìm kiếm. Mỗi khối mới, một bộ mã hóa nhẹ ánh xạ latent gần nhất thành truy vấn, tìm top-K latent lịch sử phù hợp nhất rồi ghép vào ngữ cảnh attention cùng cửa sổ địa phương. Để tránh nhiễu, họ giới thiệu Window Temporal Delta Loss giúp embedding phân biệt các khung gần nhau và hàm làm mịn giữ ổn định quỹ đạo embedding. Phương pháp này không thay đổi mô hình sinh nền.
III. Main Results:
- Trên 3 backbone (Self-Forcing, LongLive, Causal-Forcing) và 3 độ dài (30s, 60s, 120s), LongLive-RAG đạt hạng trung bình VBench-Long tốt nhất (1.33–1.50) so với ∞-RoPE và Deep Forcing.
- Cải thiện rõ rệt về subject consistency, background consistency, motion smoothness và imaging quality.
- Chi phí truy xuất chỉ ~490ms cho 120s (4.08ms/block).
- Ablation: embedding học đầy đủ (AE + SeqDelta + Smooth) vượt random retrieval, avg-pool, AE-only.
- K=6 (số latent truy xuất) cho kết quả tốt nhất trong tổng budget attention cố định.
IV. Conclusion & Future Works:
LongLive-RAG là khung tổng quát giúp bộ sinh video AR sử dụng lại lịch sử hữu ích thay vì chỉ cửa sổ gần, giảm tích lũy lỗi với overhead nhỏ. Hướng tương lai có thể tối ưu chiến lược truy xuất động hoặc kết hợp với bộ nhớ nén để xử lý video siêu dài.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng LongLive-RAG cho sinh video 3D hoặc nhiều góc nhìn, nơi latent lịch sử từ các góc khác nhau có thể hỗ trợ tính nhất quán không gian.
- Kết hợp truy xuất thích ứng với bộ nhớ nén (compressed memory) để giảm kích thước kho lưu trữ mà vẫn giữ thông tin đặc trưng cho sinh video hàng chục phút.
- Áp dụng cơ chế truy xuất tương tự cho sinh video có điều khiển bằng prompt phức tạp, nơi cần giữ nhất quán nhân vật hoặc bối cảnh qua nhiều cảnh.
2. Patent:
- Hệ thống sinh video quảng cáo dài trên di động: người dùng nhập mô tả, ứng dụng sinh từng đoạn rồi tự động tra cứu các khung trước để giữ logo, màu sắc và nhân vật nhất quán xuyên suốt video.
- Ứng dụng chỉnh sửa video thông minh trên điện thoại: khi kéo dài clip ngắn, hệ thống truy xuất các frame cũ để duy trì phong cách hoặc đối tượng giống hệt mà không cần người dùng can thiệp.
- Tính năng 'storyboard liền mạch' cho thiết bị di động: người dùng vẽ storyboard từng cảnh, mô hình sinh cảnh mới dựa trên cảnh trước đó bằng cách tra cứu latent đã sinh, giúp chuyển cảnh mượt và bối cảnh đồng nhất.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.02553 |
| ArXiv Abstract | https://arxiv.org/abs/2606.02553 |
| PDF Download | https://arxiv.org/pdf/2606.02553.pdf |
| Github Repository | https://github.com/qixinhu11/LongLive-RAG |
20. Skill is Not One-Size-Fits-All: Model-Aware Skill Alignment for LLM Agents (17 votes)
Tác giả: Jianxiang Yu, Jiapeng Zhu, Bochen Lin, Qier Cui, Zichen Ding, et al.
Xuất bản lúc: 2026-05-29
Tag: LLM Agents, Skill Library, Model-Aware Adaptation, Hierarchical Search, Skill Rewriting, ALFWorld, WebShop, Qwen3
I. Main Problem:
Các thư viện kỹ năng (skill library) cho LLM agent hiện nay thường được thiết kế như một công thức chung cho mọi mô hình nền (model-agnostic). Tuy nhiên, thực nghiệm cho thấy cùng một kỹ năng có thể giúp ích cho mô hình này nhưng lại gây hại cho mô hình khác, vì mỗi backbone có năng lực và hành vi khác nhau. Do đó, giả định "một kích cỡ phù hợp tất cả" là sai lầm, làm giảm hiệu suất của agent.
II. Main Idea:
MASA đề xuất khung căn chỉnh kỹ năng có nhận thức về mô hình (model-aware skill alignment) gồm hai giai đoạn: (1) tiến hóa kỹ năng phân cấp, dùng teacher LLM mạnh để viết lại kỹ năng chung (hill climbing) và kỹ năng tác vụ riêng (UCB tree search) dựa trên phản hồi môi trường và hồ sơ năng lực của backbone mục tiêu; (2) huấn luyện một bộ viết lại kỹ năng nhẹ (model-conditioned skill rewriter) từ quỹ đạo tiến hóa, cho phép thích ứng kỹ năng chỉ trong một lượt suy luận mà không cần tương tác môi trường.
III. Main Results:
- MASA đạt tỉ lệ thành công (success rate) cao nhất trên mọi backbone Qwen3 (4B-32B), với mức cải thiện lên tới +25.8 điểm so với baseline tốt nhất.
- Trên WebShop, MASA giảm số bước tương tác xuống chỉ còn 4.7 bước trong khi baseline cần 12-13 bước.
- Bộ viết lại kỹ năng (MASA-Rewriter, 4B tham số) tổng quát hóa sang tác vụ và môi trường mới chưa thấy, vượt teacher LLM (DeepSeek-V4) dù chi phí thấp hơn nhiều.
- Các kỹ năng căn chỉnh giúp giảm trung bình số bước tương tác (ví dụ ALFWorld: 39.1 -> 29.2 trên Qwen3-8B).
- MASA-Rewriter đạt hiệu suất vượt trội ngay khi không có dữ liệu từ môi trường mục tiêu (cross-environment transfer).
IV. Conclusion & Future Works:
MASA chứng minh kỹ năng nên được thiết kế tùy chỉnh cho từng backbone thay vì dùng chung. Bộ viết lại kỹ năng có thể hoạt động như middleware plug-and-play, giúp thích ứng thư viện kỹ năng cho mô hình mới mà không cần rollouts hay tinh chỉnh thủ công, hướng tới triển khai hiệu quả tài nguyên.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng MASA sang các mô hình nền đóng như GPT-o3 hoặc Claude, dùng teacher LLM và bộ viết lại để tối ưu kỹ năng thông qua API trả phí, giảm chi phí triển khai.
- Tích hợp MASA-Rewriter với reinforcement learning để bộ viết lại tự học cách sinh kỹ năng thích ứng với hành vi backbone thay đổi theo thời gian.
- Xây dựng bộ viết lại đa ngôn ngữ cho agent hoạt động trong môi trường giao diện web thực tế (online shopping, travel booking), yêu cầu kỹ năng thích ứng với luồng tương tác đa dạng.
2. Patent:
- Hệ thống viết lại hướng dẫn thao tác trên điện thoại thông minh: dựa trên cấu hình thiết bị và lịch sử lỗi, module nhỏ tự động điều chỉnh văn bản chỉ dẫn cho phù hợp với khả năng hiểu của từng dòng máy.
- Phần mềm trợ lý ảo siêu nhẹ cho thiết bị IoT: tải trước bộ viết lại kỹ năng cỡ nhỏ để tùy biến lệnh thoại theo năng lực xử lý của từng thiết bị, không cần kết nối đám mây.
- Tính năng tự động tinh chỉnh kỹ năng cho chatbot hỗ trợ khách hàng: khi chatbot gặp lỗi liên tục, hệ thống phân tích phiên làm việc và sinh ra kỹ năng xử lý mới phù hợp với kiến trúc chatbot hiện tại.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.30723 |
| ArXiv Abstract | https://arxiv.org/abs/2605.30723 |
| PDF Download | https://arxiv.org/pdf/2605.30723.pdf |
| Github Repository | N/A |
21. When Does Multi-Agent RL Improve LLM Workflows? Workflow, Scale, and Policy-Sharing Tradeoffs (17 votes)
Tác giả: Yifan Zeng, Yiran Wu, Yaolun Zhang, Wentian Zhao, Kun Wan, et al.
Xuất bản lúc: 2026-05-22
Tag: Multi-Agent RL, LLM Workflows, GRPO, Policy Sharing, Role-Level Gradient, Reinforcement Learning, Language Models
I. Main Problem:
Huấn luyện multi-agent LLM bằng reinforcement learning (RL) thường không ổn định nhưng chưa được hiểu rõ. Các nghiên cứu trước áp dụng RL cho từng workflow cụ thể mà không có bức tranh hệ thống về khi nào RL cải thiện hiệu suất và tại sao huấn luyện thành công hay thất bại.
II. Main Idea:
Bài báo thực hiện nghiên cứu có kiểm soát trên ba workflow multi-agent (Eval-Opt, Voting, Orch-Workers), hai tác vụ (toán và code), ba quy mô mô hình (0.6B, 1.7B, 4B) và hai chiến lược chia sẻ policy: Shared-Policy (SP) – một policy chung cho mọi vai trò – và Isolated-Policy (IP) – mỗi vai trò có policy riêng. Kết quả cho thấy multi-agent RL thường cải thiện so với base model, nhưng lợi ích phụ thuộc phối hợp vào workflow, tác vụ và quy mô, không chỉ riêng chính sách chia sẻ. Hai cơ chế gradient cấp vai trò giải thích các mẫu chính: gradient_amplification trong IP và sp_role_capture trong SP.
III. Main Results:
- IP thường đạt đỉnh cao hơn SP nhưng dễ suy giảm cuối huấn luyện (lower floor).
- SP làm chậm drift nhưng không loại bỏ thất bại, chỉ phân phối lại thành các dạng khác nhau (ví dụ: evaluator bị bắt chước generator).
- Hiệu suất multi-agent RL (IP/SP) trên hầu hết các ô vượt base model, nhưng phần thặng dư so với single-agent RL thay đổi theo workflow và tác vụ.
- Cùng-role parallelism trong IP gây khuếch đại gradient, đặc biệt ở Voting và Orch-Workers.
- SP bị dominant role chiếm giữ policy chung (sp_role_capture) do bất đối xứng token/ tần suất episode.
IV. Conclusion & Future Works:
Multi-agent RL thường cải thiện workflow nhưng ổn định phụ thuộc vào workflow, tác vụ, quy mô và chính sách chia sẻ. IP đỉnh cao nhưng dễ sụp; SP phân phối lại drift thành các mẫu thất bại đặc thù. Việc chọn chiến lược chia sẻ policy nên dựa trên cấu trúc workflow và vai trò, không mặc định SP là an toàn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng nghiên cứu sang các workflow multi-agent phức tạp hơn (ví dụ: debate, hierarchical tool use) để kiểm tra gradient_amplification và sp_role_capture có tái hiện không.
- Phát triển phương pháp giám sát per-role drift signatures (χ2, perplexity, gradient norm) để cảnh báo sớm suy giảm cuối huấn luyện cho IP và SP.
- Đề xuất kỹ thuật chia sẻ policy lai (hybrid) kết hợp ưu điểm của IP (đỉnh cao) và SP (ổn định) dựa trên cấu trúc workflow.
2. Patent:
- Hệ thống cảnh báo sớm suy giảm chất lượng hội thoại cho chatbot đa tác vụ: giám sát per-role drift (ví dụ: evaluator bắt chước generator) và gửi thông báo yêu cầu can thiệp (fine-tune lại) khi drift vượt ngưỡng.
- Phương pháp tối ưu hóa pipeline xử lý ảnh trên điện thoại: chia ảnh thành nhiều worker (thuật toán) và orchestrator; dùng IP nếu mỗi worker có chuyên môn riêng, dùng SP nếu worker giống nhau để tiết kiệm bộ nhớ.
- Công cụ hỗ trợ lập trình cộng tác: ba mô hình LLM viết code độc lập, một mô hình tổng hợp chọn kết quả tốt nhất; áp dụng IP cho các trình tạo code để đạt độ chính xác cao, giám sát gradient để tránh suy giảm.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.24202 |
| ArXiv Abstract | https://arxiv.org/abs/2605.24202 |
| PDF Download | https://arxiv.org/pdf/2605.24202.pdf |
| Github Repository | https://github.com/XHMY/marl-llm-workflows |
22. MCP-Persona: Benchmarking LLM Agents on Real-World Personal Applications via Environment Simulation (16 votes)
Tác giả: Wenhao Wang, Peizhi Niu, Gongyi Zou, Xiyuan Yang, Jingxing Wang, et al.
Xuất bản lúc: 2026-06-01
Tag: LLM Agents, MCP, Personalization, Benchmark, Tool Use, Simulation
I. Main Problem:
Các benchmark hiện có đánh giá tác nhân LLM chủ yếu dựa trên câu hỏi thông tin tổng quát, không mô phỏng được thách thức từ các ứng dụng cá nhân hóa (mạng xã hội, email, lịch) nơi công cụ gắn chặt với tài khoản và dữ liệu riêng tư của từng người dùng. Điều này khiến việc thu thập dữ liệu và tái lập thí nghiệm trở nên khó khăn do ràng buộc quyền riêng tư và bảo mật.
II. Main Idea:
MCP-Persona là nền tảng benchmark đầu tiên được thiết kế riêng cho tác nhân LLM làm việc trên các công cụ MCP thực tế, cá nhân hóa. Nó dùng cơ chế mô phỏng ba thành phần: Tool-Traverse (khảo sát lời gọi thật để viết code mô phỏng), Context-Tree (xây cấu trúc cây người dùng giả lập) và Persona-Gen (sinh tác vụ cá nhân hóa bằng cách làm mờ hướng dẫn tự nhiên). Hệ thống tạo ra 173 tác vụ được xác minh bởi con người, trải dài trên 12 máy chủ MCP mô phỏng từ ứng dụng phổ biến như Slack, Reddit và Xiaohongshu.
III. Main Results:
- Các mô hình SOTA như GPT-5 và Claude-Sonnet-4.5 đều đạt độ chính xác dưới 50% trên MCP-Persona, cho thấy khó khăn lớn trong việc dùng công cụ cá nhân hóa.
- Cross-server (dùng nhiều ứng dụng cùng lúc) là kịch bản khó nhất, hodgepodge (kết hợp ngẫu nhiên) ghi nhận điểm thấp nhất.
- Tool-Traverse đạt 94% độ chính xác trong mô phỏng, vượt trội so với baseline dùng tài liệu tĩnh (58%).
- Khi thêm skill hướng dẫn chi tiết, hiệu suất cải thiện nhưng vẫn chưa đạt mức hài lòng.
- Phân tích lỗi chính: khám phá môi trường chưa đủ, bỏ qua bước phụ thuộc và suy giảm do ngữ cảnh dài.
IV. Conclusion & Future Works:
MCP-Persona chứng minh rằng tác nhân LLM hiện tại vẫn yếu trong việc suy luận ngầm và duy trì trạng thái đa bước trên ứng dụng thực tế. Nền tảng này cung cấp một testbed tái lập, tôn trọng quyền riêng tư để thúc đẩy nghiên cứu về cá nhân hóa trong tương lai.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng MCP-Persona sang lĩnh vực y tế và tài chính, nơi yêu cầu quyền truy cập cá nhân hóa cao và độ nhạy cảm lớn, để đánh giá tác nhân LLM trong bối cảnh nhạy cảm hơn.
- Phát triển phương pháp khám phá môi trường chủ động cho tác nhân, giúp chúng tự động suy luận thông tin ngầm từ ngữ cảnh thay vì dựa vào hướng dẫn tường minh.
- Kết hợp cơ chế bộ nhớ dài hạn với MCP để tác nhân có thể duy trì trạng thái và học từ các tương tác trước đó, giảm lỗi suy giảm theo ngữ cảnh dài.
2. Patent:
- Hệ thống trợ lý cá nhân trên điện thoại dùng MCP-Persona để tự động gợi ý lịch họp dựa trên phân tích lịch sử nhắn tin và email của người dùng, không cần nhập thủ công.
- Phần mềm quản lý công việc nhóm tích hợp: khi người dùng nói 'gửi biên bản cho team Slack', tác nhân tự động truy xuất người tham gia, gửi tin nhắn và đính kèm file mà không cần khai báo ID từng người.
- Tính năng an toàn cho email doanh nghiệp: trước khi gửi thư, tác nhân kiểm tra người nhận dựa trên tên trong sổ liên lạc (không cần chép địa chỉ), tránh gửi nhầm bằng cách xác thực danh tính trong ứng dụng chat nội bộ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.02470 |
| ArXiv Abstract | https://arxiv.org/abs/2606.02470 |
| PDF Download | https://arxiv.org/pdf/2606.02470.pdf |
| Github Repository | https://github.com/wwh0411/MCP-Persona |
23. StreamChar: Long-Horizon Streaming Character Audio-Video Generation with Decoupled Orchestration (16 votes)
Tác giả: Linrui Tian, Qi Wang, Bang Zhang
Xuất bản lúc: 2026-05-25
Tag: Audio-Video Generation, Diffusion Transformer, LLM Orchestrator, Knowledge Distillation, Streaming, Character Animation, Long-Horizon Generation
I. Main Problem:
Sinh đồng thời audio-video theo thời gian thực cho nhân vật hoạt hình đòi hỏi vừa giữ đúng kịch bản dài, vừa duy trì nhận dạng và đồng bộ môi qua nhiều chunk. Các mô hình nguyên khối phải kiêm quá nhiều trách nhiệm (hiểu ngữ nghĩa, ghi nhớ dài hạn, khử nhiễu cục bộ) dẫn đến lỗi tích lũy và trôi dạt hình ảnh. Thêm vào đó, giảm số bước khử nhiễu để đạt tốc độ real-time thường gây suy giảm đa dạng không gian và chất lượng theo thời gian.
II. Main Idea:
StreamChar tách vai trò: LLM Orchestrator đọc transcript và ngữ cảnh lịch sử để tạo điều kiện âm thanh frame-aligned, còn DiT chỉ tập trung khử nhiễu song phương hai chiều audio-video trong cửa sổ ngắn. Để đạt tốc độ thời gian thực, tác giả dùng quy trình distillation hai giai đoạn: Giai đoạn I nén sampler từ 50 bước xuống 4 bước bằng Distribution Matching Distillation; Giai đoạn II fine-tune student trên online rollout nhiều chunk với Progress-Aware Pointer căn chỉnh transcript và sink-frame memory giảm trôi dạt dài hạn. Kiến trúc này cho phép mỗi chunk 33 frame (~1.38s) được sinh trong ~1.34s trên một GPU H100.
III. Main Results:
- StreamChar đạt WER 3.65% sau distillation, vượt trội các baseline joint generation (LTX-2: 4.55%, OVI: 10.46%).
- Chất lượng trôi dạt (Quality Drift) chỉ 0.0067, thấp hơn nhiều so với bỏ sink chunk (0.0304).
- Điểm VBench Dynamic đạt tối đa 1.0, cho thấy chuyển động đa dạng dù giữ ổn định dài hạn.
- Trên single H100, latency mỗi chunk 33 frame là ~1.34s, nằm trong budget playback 1.38s.
IV. Conclusion & Future Works:
StreamChar chứng minh kiến trúc tách rời LLM + DiT kết hợp distillation hai giai đoạn có thể sinh audio-video nhân vật real-time với chất lượng cạnh tranh. Hướng tới: mở rộng cho nhiều ngôn ngữ, tối ưu hóa cho GPU tầm thấp, và tích hợp thêm biểu cảm khuôn mặt chi tiết hơn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Progress-Aware Pointer thành module căn chỉnh đa ngôn ngữ để xử lý transcript với tốc độ nói và ngữ điệu khác nhau giữa các ngôn ngữ.
- Kết hợp sink-frame memory với cơ chế chú ý đa tầng để giảm triệt để trôi dạt nhận dạng khi sinh video nhân vật kéo dài trên 10 phút.
- Thiết kế pipeline distillation ba giai đoạn thêm bước fine-tune trên dữ liệu ưu tiên con người để tăng tính tự nhiên trong tương tác dài hạn.
2. Patent:
- Hệ thống tạo avatar trò chuyện trên điện thoại di động: người dùng nhập văn bản, điện thoại gửi lên server và nhận audio-video đồng bộ được nén tối ưu, giúp chat video ảo mà không cần stream dữ liệu lớn.
- Ứng dụng đọc sách tương tác cho trẻ em: camera điện thoại quay mặt trẻ và môi trường, mô hình sinh nhân vật hoạt hình đọc transcript đồng bộ với khẩu hình và cử chỉ tự nhiên, phục vụ học tập giải trí.
- Tính năng tạo video chào hỏi cá nhân hóa trên mạng xã hội: người dùng chọn kịch bản mẫu, điện thoại ghi âm giọng nói và ảnh đại diện, hệ thống tự động sinh video nhân vật nói theo transcript với biểu cảm và chuyển động phù hợp, xuất bản trực tiếp.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.25659 |
| ArXiv Abstract | https://arxiv.org/abs/2605.25659 |
| PDF Download | https://arxiv.org/pdf/2605.25659.pdf |
| Github Repository | N/A |
24. Joint Agent Memory and Exploration Learning via Novelty Signals (15 votes)
Tác giả: Shizuo Tian, Xiaohong Weng, Rui Kong, Yuxuan Chen, Guohong Liu, et al.
Xuất bản lúc: 2026-06-01
Tag: Agent Memory, Exploration, Novelty Signal, GUI Agent, LLM Agents, Code Coverage, Reinforcement Learning
I. Main Problem:
Các tác nhân ngôn ngữ lớn hiện nay thiếu khả năng khám phá hiệu quả trong môi trường mở. Dùng toàn bộ lịch sử tương tác sẽ tốn kém tính toán, trong khi nén lịch sử thành bộ nhớ ẩn thiếu tín hiệu giám sát đáng tin cậy để huấn luyện, khiến tác nhân dễ lặp lại hành vi và không khám phá được trạng thái mới.
II. Main Idea:
JAMEL (Joint Agent Memory and Exploration Learning) giải quyết bằng vòng phụ thuộc lẫn nhau: khám phá cần bộ nhớ để phân biệt hành vi cũ-mới, và hành vi tìm kiếm cái mới cung cấp giám sát cho bộ nhớ. Trong miền GUI, tín hiệu novelty là code coverage (xác định deterministic khi mã nguồn được thực thi lần đầu). JAMEL dùng mô hình vision-language đóng băng để nén mỗi cặp (quan sát, hành động) thành một memory token, các token này được chiếu và ghép nối tiếp vào biểu diễn đầu vào của policy. Bộ nhớ aligner được huấn luyện cùng policy trên 24k mẫu từ 86 ứng dụng web.
III. Main Results:
- JAMEL-9B đạt cumulative coverage reward 20.7, vượt xa các baseline open-source (MAI-UI-8B: 8.4, Mobile-Agent-v3.5: 5.9) và sát với ReAct-vision (20.9).
- Tiêu thụ token chỉ 2,122 mỗi bước, giảm 2.76× so với Mobile-Agent-v3.5 và 21.92× so với ReAct-vision.
- Trên 10 ứng dụng chưa thấy, JAMEL duy trì quỹ đạo khám phá liên tục, tránh plateau sớm nhờ bộ nhớ ẩn không bị cắt xén.
- Khả năng tổng quát hóa: hoạt động ổn định trên nhiều loại ứng dụng (thương mại, truyền thông, thể thao), dù giao diện dày đặc overlay vẫn gây thách thức.
IV. Conclusion & Future Works:
JAMEL chứng minh novelty tín hiệu như code coverage có thể đồng thời huấn luyện bộ nhớ ẩn và chính sách khám phá. Hướng tới: kết hợp reinforcement learning để tận dụng chương trình học tự nhiên, và mở rộng sang 'explore-then-execute' – khám phá môi trường rồi thực thi tác vụ cụ thể bằng bộ nhớ đã tích lũy.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng JAMEL sang môi trường robotics, dùng novelty signal từ phát hiện vật thể hoặc trạng thái mới thay vì code coverage, để huấn luyện bộ nhớ ẩn cho robot khám phá không gian.
- Kết hợp reinforcement learning với novelty-guided curriculum: dùng phần thưởng intrinsic thưa dần để policy tự động học chiến lược đa bước, không cần thiết kế chương trình học thủ công.
- Nghiên cứu scaling laws cho memory-conditioned exploration: tăng model capacity, số bước exploration và quy mô dữ liệu tự động để cải thiện độ sâu khám phá trên giao diện phức tạp.
2. Patent:
- Hệ thống test ứng dụng di động tự động: dùng tác nhân có bộ nhớ ẩn tìm kiếm code path mới thông qua novelty dựa trên code coverage, giúp phát hiện lỗi hoặc chức năng chưa được kiểm thử mà không cần kịch bản có sẵn.
- Trợ lý ảo trên điện thoại tự khám phá giao diện ứng dụng mới: lần đầu mở app, tác nhân nén lịch sử thao tác thành token, tự động tìm menu ẩn hoặc thiết lập mà không tốn nhiều băng thông.
- Công cụ đánh giá trải nghiệm người dùng trên app: thu thập novelty steps (code path mới mà người dùng chạm tới) làm metric đo độ phong phú của app, hỗ trợ so sánh A/B giữa các phiên bản.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.01528 |
| ArXiv Abstract | https://arxiv.org/abs/2606.01528 |
| PDF Download | https://arxiv.org/pdf/2606.01528.pdf |
| Github Repository | https://github.com/MobileLLM/JAMEL |
25. TVIR: Building Deep Research Agents Towards Text--Visual Interleaved Report Generation (14 votes)
Tác giả: Xinkai Ma, Zhiqi Bai, Dingling Zhang, Pei Liu, Yishuo Yuan, et al.
Xuất bản lúc: 2026-06-01
Tag: Deep Research Agents, Multimodal Report Generation, Text-Visual Interleaved, Benchmark, Multi-Agent Framework, Hierarchical Planning, Evaluation Framework
I. Main Problem:
Các hệ thống Deep Research Agent hiện tại chủ yếu tập trung vào sinh báo cáo dạng văn bản, thiếu khả năng tích hợp và đánh giá các yếu tố thị giác (hình ảnh, biểu đồ) một cách có căn cứ. Các yếu tố trực quan thường bị coi là trang trí, không được đảm bảo về độ tin cậy, nguồn gốc và sự liên kết với nội dung phân tích xung quanh, tạo ra khoảng cách lớn giữa năng lực của hệ thống hiện tại và nhu cầu thực tế của các báo cáo chuyên nghiệp.
II. Main Idea:
Bài báo giới thiệu TVIR (Text-Visual Interleaved Report Generation), bao gồm hai phần chính: TVIR-BENCH, một bộ benchmark gồm 100 tác vụ nghiên cứu đa phương thức được chuyên gia xây dựng, yêu cầu các yếu tố thị giác phải phục vụ các mục tiêu phân tích cụ thể, và TVIR-AGENT, một khung kiến trúc đa tác tử phân cấp gồm Planner, Image Searcher, Chart Generator, Writer và Polisher. Khung đánh giá kép (Textual Assessment và Visual Assessment) được phát triển để đo lường toàn diện cả chất lượng văn bản và hình ảnh, bao gồm các khía cạnh như độ chính xác của trích dẫn, chất lượng biểu đồ và sự liên kết chéo giữa văn bản và hình ảnh.
III. Main Results:
- TVIR-Agent (Claude-4.5-Sonnet) đạt điểm tổng thể (Overall) cao nhất 74.44, vượt các hệ thống thương mại mạnh nhất như Manus-1.6 (69.73).
- TVIR-Agent vượt trội trong đánh giá trực quan (Visual Assessment), đặc biệt ở hạng mục Figure-Caption Quality (FCQ) và Figure-Context Integration (FCI).
- TVIR-Agent (GLM-4.7) đạt điểm đánh giá văn bản (Textual Assessment) cao nhất 71.64, đặc biệt vượt trội về Citation Support (CS) so với hệ thống thương mại tốt nhất (68.64 so với 47.53).
- Các hệ thống TVIR-AGENT tạo ra ít lỗi cấu trúc hơn đáng kể so với các hệ thống thương mại.
- Thí nghiệm ablation cho thấy việc loại bỏ Chart Generator làm giảm điểm tổng thể mạnh nhất (từ 73.92 xuống 63.84), chứng tỏ vai trò trung tâm của thành phần này.
IV. Conclusion & Future Works:
TVIR thiết lập nền tảng cho các tác tử nghiên cứu sâu đa phương thức đáng tin cậy, chứng minh rằng việc mô hình hóa các yếu tố thị giác một cách tường minh trong suốt quá trình lập kế hoạch và viết báo cáo là cần thiết. Các hệ thống hiện tại vẫn yếu hơn trong việc tích hợp tài sản trực quan so với tổng hợp văn bản.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng TVIR-AGENT để hỗ trợ các loại hình ảnh động như video ngắn hoặc biểu đồ tương tác, phục vụ báo cáo đa phương thức phong phú hơn cho các lĩnh vực như tài chính và y tế.
- Nghiên cứu cơ chế tự động phát hiện và sửa lỗi liên kết chéo giữa văn bản và hình ảnh trong báo cáo, nâng cao độ tin cậy của các tác tử nghiên cứu sâu.
- Phát triển phương pháp học tăng cường để tối ưu hóa sự phân bổ tài nguyên (số lần tìm kiếm, tạo biểu đồ) của TVIR-AGENT, nhằm cân bằng giữa chất lượng và chi phí tính toán.
2. Patent:
- Ứng dụng trên điện thoại thông minh: một trợ lý nghiên cứu cá nhân có thể nhận truy vấn bằng giọng nói, tự động tìm kiếm, tạo biểu đồ và hình ảnh minh họa, sau đó trình bày báo cáo đa phương thức ngay trên màn hình điện thoại.
- Tính năng 'báo cáo đầu tư thông minh' trong ứng dụng tài chính: người dùng yêu cầu phân tích một cổ phiếu/ngành, hệ thống tự động tổng hợp dữ liệu, tạo biểu đồ xu hướng và hình ảnh so sánh, và sinh báo cáo kèm trích dẫn nguồn.
- Công cụ hỗ trợ học tập cho sinh viên: một ứng dụng có thể phân tích một chủ đề học thuật phức tạp, tự động tìm kiếm và chèn các sơ đồ kiến trúc, biểu đồ dữ liệu phù hợp vào bài báo cáo, đảm bảo tính chính xác và trích dẫn nguồn rõ ràng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.02320 |
| ArXiv Abstract | https://arxiv.org/abs/2606.02320 |
| PDF Download | https://arxiv.org/pdf/2606.02320.pdf |
| Github Repository | https://github.com/NJU-LINK/TVIR |
26. LVSA: Training-Free Sparse Attention for Long Video Diffusion (14 votes)
Tác giả: Gael Glorian, Ioannis Lamprou, Zhen Zhang, Yujie Yuan, Hongsheng Liu
Xuất bản lúc: 2026-05-29
Tag: Video Diffusion, Sparse Attention, Training-Free, Video Generation, Transformer, Efficient Inference
I. Main Problem:
Phát sinh video dài với các mô hình diffusion transformer có chi phí tính toán tăng bình phương theo số khung hình và vượt quá huấn luyện, video trở nên tĩnh hoặc lặp lại. Các giải pháp hiện tại hoặc đòi hỏi huấn luyện lại tốn kém, hoặc không giảm được tính toán mà vẫn giữ chất lượng.
II. Main Idea:
LVSA là cơ chế attention thưa kiểu block-sparse không cần huấn luyện, kết hợp cửa sổ cục bộ thích ứng với các neo toàn cục quay vòng theo bước khử nhiễu. Mỗi khung hình query chỉ chú ý đến ~C khung hình (bằng ngân sách của mô hình gốc) thay vì toàn bộ, giảm độ phức tạp từ O(N²d) xuống O(TCP²d) tuyến tính theo số khung. Các neo quay đều đặn loại bỏ thiên lệch lưới cố định gây lỗi lặp tầm xa.
III. Main Results:
- LVSA với kernel FlashInfer đạt tăng tốc 3.17× (Wan 2.1 1.3B), 2.98× (Wan 14B), 3.33× (HunyuanVideo 1.5) ở horizon dài nhất.
- LVSA cho phép HunyuanVideo 1.5 sinh 257 khung hình trên một GPU 80GB, trong khi dense attention bị hết bộ nhớ.
- Về chất lượng, LVSA vượt dense attention tới +12.2 điểm VQeval ở horizon 6×, trong khi VBench-Long sai lệch do thưởng video tĩnh.
- LVSA nhanh hơn RIFLEx tới 2.41× và UltraViCo tới 3.27×, đồng thời chất lượng cao hơn.
- Trên NPU, LVSA đạt tăng tốc 2.71× (Wan 2.2 A14B) và 3.24× (Wan 2.1 1.3B) ở 6× horizon.
IV. Conclusion & Future Works:
LVSA là phương pháp block-sparse attention không cần huấn luyện giúp giảm tính toán, tăng chất lượng video dài và khả năng mở rộng trên nhiều kiến trúc, phần cứng. Hướng tới: cải thiện hiệu năng hơn nữa và mở rộng cho sinh video đa cảnh.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng LVSA cho sinh video đa cảnh (multi-scene): kết hợp sparse pattern với các neo toàn cục cảm nhận ngữ nghĩa giúp chuyển cảnh mượt mà mà không tăng chi phí.
- Kết hợp LVSA với RIFLEx hoặc UltraViCo trên cùng kernel: tận dụng cả sparse support và điều chỉnh logit để tối ưu chất lượng-tốc độ.
- Áp dụng tư tưởng attention quay vòng (rotating global anchors) cho mô hình ngôn ngữ đa phương thức dài: thay vì attention dense trên toàn bộ chuỗi, dùng neo xoay vòng giữa các token đặc biệt.
2. Patent:
- Hệ thống sinh video quảng cáo dài trên điện thoại: người dùng nhập prompt, điện thoại chạy mô hình DiT với LVSA để tạo video dài (30–60 giây) trong thời gian thực mà không cần kết nối đám mây.
- Ứng dụng chỉnh sửa video trên di động dùng LVSA: khi người dùng kéo dài video có sẵn, thuật toán attention thưa giúp tạo khung hình mới mượt, tránh lặp mà không tốn nhiều RAM/CPU.
- Bộ tăng tốc sinh video trên NPU điện thoại chạy nền: LVSA được tối ưu cho NPU giúp tạo video nền động (live wallpaper) dài vài phút với chất lượng cao và pin thấp.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.31057 |
| ArXiv Abstract | https://arxiv.org/abs/2605.31057 |
| PDF Download | https://arxiv.org/pdf/2605.31057.pdf |
| Github Repository | https://github.com/JiusiServe/LongVideoSparseAttention |
27. Brain-IT-VQA: From Brain Signals to Answers (14 votes)
Tác giả: Roman Beliy, Matias Cosarinsky, Oliver Heinimann, Navve Wasserman, Michal Irani
Xuất bản lúc: 2026-05-28
Tag: fMRI, Visual Question Answering, Brain Decoding, Vision-Language Models, InstructBLIP, NSD, Interpretability
I. Main Problem:
Giải mã thông tin thị giác từ tín hiệu fMRI để trả lời câu hỏi về ảnh đã xem vẫn là thách thức lâu dài. Các phương pháp hiện tại có hiệu suất hạn chế. Hơn nữa, các bộ dữ liệu fMRI-VQA hiện có chỉ cung cấp vài câu hỏi rộng, không kiểm soát được trên mỗi ảnh, gây khó khăn cho việc đánh giá chính xác loại thông tin nào thực sự được giải mã từ não.
II. Main Idea:
Brain-IT-VQA mở rộng Brain Interaction Transformer (Brain-IT) để giải mã các token ngôn ngữ từ tín hiệu fMRI, sau đó tích hợp chúng với mô hình ngôn ngữ InstructBLIP để trả lời câu hỏi. Mô hình có hai nhánh: một nhánh căn chỉnh với CLIP qua Q-Former, nhánh còn lại dự đoán trực tiếp các token điều kiện cho mô hình ngôn ngữ. Bộ dữ liệu mới NSD-VQA cung cấp trung bình 20 cặp hỏi-đáp trên mỗi ảnh, chia thành 20 chủng loại câu hỏi có kiểm soát, cho phép đánh giá chi tiết các khía cạnh thị giác và ngữ nghĩa khác nhau.
III. Main Results:
- Brain-IT-VQA đạt SOTA trên captioning: BLEU-4 cải thiện +3.57 và METEOR +5.28 so với MindLLM.
- Trên VQA-v2, độ chính xác đạt 56.95%, vượt MindLLM +4.81 điểm.
- Trên NSD-VQA, đạt độ chính xác trung bình 73.78% trên các chủ thể.
- Các câu hỏi nhị phân (Y/N) có độ chính xác cao (79-93%), trong khi câu hỏi mở về màu sắc (47.83%) và thức ăn (54.02%) khó hơn.
- Các phân tích đóng góp cho thấy vùng não khác nhau hỗ trợ các loại câu hỏi khác nhau (ví dụ: holding tập trung, food phân tán).
IV. Conclusion & Future Works:
Brain-IT-VQA và NSD-VQA cung cấp khung mạnh mẽ cho VQA từ fMRI và công cụ nghiên cứu tổ chức biểu diễn thị giác trong não. Hướng tương lai là đánh giá có hệ thống các kết quả gán thuộc tính thông tin cho vùng não dựa trên tài liệu chức năng thần kinh đã biết.
V. Brainstorming Space:
1. Publish Papers:
- Phát triển một phương pháp giải mã fMRI thành ngôn ngữ có khả năng khái quát hóa giữa các chủ thể mà không cần căn chỉnh theo cặp, sử dụng kỹ thuật đối kháng hoặc học biểu diễn bất biến chủ thể.
- Mở rộng NSD-VQA với các câu hỏi về quan hệ nhân quả và suy luận không gian 3D để phân tích sâu hơn cách não mã hóa các khái niệm phức tạp.
- Kết hợp Brain-IT-VQA với mô hình khuếch tán để tái tạo hình ảnh từ não và tạo câu trả lời, so sánh hiệu quả giữa giải mã trực tiếp và qua tái tạo.
2. Patent:
- Ứng dụng trên điện thoại cho phép người dùng xem ảnh và trả lời câu hỏi về ảnh thông qua giao diện não-máy tính di động, sử dụng tín hiệu fMRI thu gọn hoặc EEG để suy luận nội dung thị giác.
- Hệ thống trợ lý ảo cá nhân hóa có khả năng học sở thích thị giác của người dùng từ phản ứng fMRI khi xem ảnh, từ đó gợi ý nội dung (ví dụ: quần áo, đồ nội thất) phù hợp hơn.
- Phương pháp kiểm tra mức độ chú ý và hiểu biết trong quảng cáo bằng cách phân tích tín hiệu fMRI khi người dùng xem quảng cáo và trả lời câu hỏi, giúp tối ưu hóa nội dung thị giác.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.29588 |
| ArXiv Abstract | https://arxiv.org/abs/2605.29588 |
| PDF Download | https://arxiv.org/pdf/2605.29588.pdf |
| Github Repository | N/A |
28. MineExplorer: Evaluating Open-World Exploration of MLLM Agents in Minecraft (12 votes)
Tác giả: Tianjie Ju, Yueqing Sun, Zheng Wu, Wei Zhang, Yaqi Huo, et al.
Xuất bản lúc: 2026-05-29
Tag: MLLM, Embodied Agent, Minecraft, Open-World Exploration, Benchmark, Multi-Agent Synthesis, Multi-hop Reasoning
I. Main Problem:
Các benchmark hiện tại cho MLLM agent thường nén tương tác vào các tác vụ ngắn hoặc làm rối đánh giá với cơ chế game đặc thù. Trong khi đó, khả năng duy trì khám phá lâu dài trong thế giới mở, nơi mục tiêu không được chỉ rõ và yêu cầu phối hợp nhiều bước, vẫn chưa được kiểm chứng có kiểm soát.
II. Main Idea:
MineExplorer xây dựng benchmark đánh giá năng lực khám phá thế giới mở của MLLM agent trong Minecraft. Đầu tiên, các tác vụ nguyên tử phụ thuộc chủ yếu vào tri thức Minecraft bị lọc bỏ. Sau đó, benchmark được tổ chức theo khung năng lực ReAct (Perception, Reasoning, Action) và ghép các tác vụ nguyên tử thành implicit multi-hop tasks. Quy trình tổng hợp đa tác nhân (multi-agent synthesis workflow) gồm các chuyên gia độc lập cùng thiết kế đồ thị tác vụ, khung cảnh sandbox, và milestone evaluator dạng luật, giúp tăng tỷ lệ hợp lệ lên ~30% so với single-agent. 1,039 composite instances (1-hop đến 4-hop) được tạo ra và kiểm định bởi người.
III. Main Results:
- Mô hình mạnh nhất (Claude-Opus-4.6) đạt TSR 41.08% tổng thể, giảm mạnh từ 77.69% ở 1-hop xuống ~24% ở multi-hop.
- Perception luôn cao hơn Reasoning ở mọi mô hình, cho thấy agent giỏi nhận diện nhưng yếu lập luận chiến lược.
- Kích thước mô hình và chế độ thinking không cải thiện đáng kể hiệu suất khám phá.
- Multi-agent pipeline tạo benchmark hợp lệ 78.25% vs 44.25% của single-agent, điểm chất lượng cao hơn ~0.5.
- Độ khó theo đồ thị phụ thuộc tương quan chặt với tỷ lệ hoàn thành, thể hiện tính phân biệt của benchmark.
IV. Conclusion & Future Works:
MineExplorer chứng minh rằng khám phá thế giới mở vẫn là thách thức lớn, đặc biệt khi tác vụ yêu cầu chuỗi prerequisite ẩn. Benchmark này cung cấp testbed đáng tin cậy để phát triển agent vượt xa tác vụ ngắn hạn. Hướng tới mở rộng sang sandbox thực tế hơn và dùng MineExplorer làm môi trường huấn luyện.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng pipeline đa tác nhân để tự động sinh benchmark cho thế giới mở ngoài Minecraft, ví dụ game mô phỏng vật lý khác, kiểm tra tính khái quát.
- Phân tích sâu cơ chế suy luận multi-hop: áp dụng chain-of-thought có kiểm soát môi trường trực quan để cải thiện lập luận prerequisite.
- Xây dựng agent học từ phản hồi milestone rule-based: dùng các milestone làm tín hiệu thưởng thưa để huấn luyện RL agent khám phá hiệu quả hơn.
2. Patent:
- Hệ thống kiểm tra năng lực bảo trì robot: yêu cầu robot tự suy luận các bước ẩn (ví dụ: cần tháo ốc trước khi thay linh kiện) trong môi trường mô phỏng 3D, dùng milestone rule-based chấm điểm.
- Trợ lý sửa chữa trên điện thoại: người dùng chụp ảnh thiết bị hỏng, mô hình sinh kế hoạch sửa nhiều bước (ví dụ: tháo pin → thay màn hình) và kiểm tra tiến độ bằng milestone ảnh.
- Game giáo dục tương tác: tạo nhiệm vụ khám phá cho học sinh trong thế giới ảo, yêu cầu suy luận ẩn và kết hợp nhận diện-hành động, đánh giá tự động bằng milestone.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.30931 |
| ArXiv Abstract | https://arxiv.org/abs/2605.30931 |
| PDF Download | https://arxiv.org/pdf/2605.30931.pdf |
| Github Repository | https://github.com/Jometeorie/MineExplorer |
29. Policy and World Modeling Co-Training for Language Agents (11 votes)
Tác giả: Ning Lu, Baijiong Lin, Shengcai Liu, Jiahao Wu, Haoze Lv, et al.
Xuất bản lúc: 2026-06-01
Tag: Reinforcement Learning, Large Language Models, World Modeling, Co-Training, Language Agents
I. Main Problem:
Khi huấn luyện tác nhân ngôn ngữ bằng RL, phương pháp tiêu chuẩn chỉ dạy tác nhân hành động nào đem lại phần thưởng cao mà không dạy chúng hiểu hành động thay đổi môi trường thế nào. Các phương pháp world modeling hiện có đòi hỏi thêm mô hình riêng, giai đoạn huấn luyện bổ sung, hoặc tăng chi phí suy luận.
II. Main Idea:
PaW đề xuất huấn luyện đồng thời chính sách (policy) và mô hình thế giới (world model) trong cùng một mô hình LLM trong quá trình RL on-policy, bằng cách tận dụng các bước rollout để có thêm giám sát dự đoán quan sát tiếp theo. Để đối phó nhiễu từ dữ liệu rollout, PaW dùng ba kỹ thuật: chọn lọc các chuyển tiếp dựa trên entropy hành động, hàm mất mát MAE có gắp (clipped MAE) cho token quan sát khó dự đoán, và cân bằng mất mát thích ứng theo phần thưởng.
III. Main Results:
- Trên ALFWorld và WebShop, PaW cải thiện tỷ lệ thành công của GRPO lên tới +7.9% và +8.0% trên Qwen2.5-1.5B.
- Trên tìm kiếm QA đa bước, PaW tăng điểm trung bình của GRPO và GIGPO từ ~1-3%.
- Với mô hình yếu (Llama3.2-3B), PaW giúp RL thoát khỏi thất bại do phần thưởng thưa, tăng từ 4% lên 62.2%.
- Phân rã: bỏ cân bằng thích ứng giảm hiệu quả; dùng cross-entropy thay CMAE làm giảm mạnh (từ 68.6% xuống 57.2% trên WebShop).
- Chi phí tính toán: tăng chỉ ~2% thời gian và bộ nhớ GPU so với GRPO cơ bản.
IV. Conclusion & Future Works:
PaW chứng minh rằng rollout RL on-policy là nguồn giám sát world modeling thiết thực, cải thiện hiệu suất tác nhân ngôn ngữ mà không tăng chi phí suy luận. Hướng phát triển gồm mở rộng giám sát sang dự đoán nhiều bước (multi-step) và khử trùng lặp quỹ đạo để đa dạng hóa giám sát.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng PaW cho dự đoán world modeling nhiều bước (multi-step), huấn luyện mô hình dự đoán chuỗi quan sát tương lai từ rollout để nắm bắt động lực học tầm xa hơn.
- Tích hợp cơ chế loại bỏ trùng lặp quỹ đạo dựa trên độ đa dạng vào chọn lọc dữ liệu, tránh thiên vị mẫu thường gặp và cải thiện hiệu quả giám sát world modeling.
- Kết hợp PaW với tác vụ học đa tác vụ (multi-task learning) để mô hình đồng thời dự đoán động lực học và ước lượng phần thưởng, tăng cường tín hiệu học ngay khi phần thưởng thưa.
2. Patent:
- Hệ thống huấn luyện tác nhân đặt hàng thông minh: dùng các tương tác mua sắm của người dùng trên điện thoại để dạy mô hình dự đoán bước tiếp theo của trang web, cải thiện khả năng tự động hóa không cần nhập thêm mô phỏng.
- Phương pháp tăng cường trợ lý ảo sửa lỗi: khi trợ lý thực hiện thao tác sai, hệ thống học từ rollout của chính nó để dự đoán hậu quả, từ đó đề xuất hành động sửa chữa tức thì.
- Ứng dụng tối ưu hóa nhập liệu giọng nói: mô hình học từ các câu lệnh đa dạng của người dùng trên điện thoại để dự đoán nội dung màn hình tiếp theo, giúp tăng tốc xử lý và giảm sai sót.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.02388 |
| ArXiv Abstract | https://arxiv.org/abs/2606.02388 |
| PDF Download | https://arxiv.org/pdf/2606.02388.pdf |
| Github Repository | N/A |
30. Agent Skills Should Go Beyond Text: The Case for Visual Skills (10 votes)
Tác giả: Binxiao Xu, Ruichuan An, Bocheng Zou, Hang Hua
Xuất bản lúc: 2026-05-31
Tag: Multimodal Agents, Visual Skills, GUI Grounding, Dense Counting, Skill Learning, Large Language Models, Spatial Reasoning, Visual Priors
I. Main Problem:
Các phương pháp học kỹ năng có thể tái sử dụng cho tác tử hiện tại đều lưu trữ kinh nghiệm dưới dạng văn bản thuần túy (chỉ dẫn, dấu vết suy luận). Điều này tạo ra nút thắt cổ chai cho các tác vụ thị giác: kiến thức không gian, ranh giới trực quan và dấu vết tri giác liên tục không thể được mã hóa chính xác qua ngôn ngữ, dẫn đến nhập nhằng giao thức tĩnh và mất mát theo dõi động học trong thực thi.
II. Main Idea:
Bài báo giới thiệu VISUALSKILL, một mô hình kỹ năng đa phương thức kết hợp logic văn bản khai báo với các ưu tiên thị giác và giao thức liên kết. Có ba loại: ưu tiên tĩnh (lưu quy ước không gian), ưu tiên động (phác họa dấu vết thị giác trực tiếp lên ảnh) và kỹ năng đan xen (gắn từng bước văn bản với bằng chứng hình ảnh tương ứng). Hệ thống AUTOVISUALSKILL tự động chuyển kinh nghiệm tác vụ thành các kỹ năng thị giác tái sử dụng.
III. Main Results:
- Trên GUI grounding (ScreenSpot, ScreenSpot-v2, GroundUI-18K), Visual Skill tăng điểm Point-in-Box Acc trung bình từ 88.1% (Text-only) lên 91.1%.
- Trên CountBenchQA, Visual Skill tăng exact-match Acc từ 93.00% (Text-only) lên 97.12%, giảm MAE ~60%.
- Chênh lệch suy giảm văn bản (nTDR) cho thấy GUI mất 17.1% độ chính xác định vị và đếm dày đặc mất ~60% khi dùng văn bản thuần túy.
- Visual Skill vượt trội ngay cả khi so với mô hình nền mạnh như Qwen3-VL-32B-Thinking và Gemini-2.5-Pro.
- Không cần thay đổi backbone mô hình, chỉ thay đổi cách đóng gói kỹ năng.
IV. Conclusion & Future Works:
Kỹ năng tái sử dụng cho tác tử đa phương thức không nên chỉ giới hạn ở văn bản mà cần là tài sản thị giác. Hướng tương lai: mở rộng AUTOVISUALSKILL để hỗ trợ thêm loại ưu tiên động và tích hợp với các khung tác tử lớn hơn, đồng thời khám phá video làm ưu tiên thị giác động.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng VISUALSKILL cho tác vụ robot thao tác với môi trường 3D, nơi ưu tiên thị giác tĩnh và động cần được đóng gói như bản đồ khoảng cách hoặc đường dẫn kế hoạch động.
- Xây dựng một bộ benchmark tiêu chuẩn hóa cho kỹ năng thị giác tái sử dụng, phân loại theo các nút thắt cổ chai (giao thức tĩnh, theo dõi động, bằng chứng đan xen) và đo lường suy giảm văn bản như một chỉ số chính.
- Kết hợp VISUALSKILL với học tăng cường phần thưởng thưa thớt: dùng ưu tiên thị giác như tri thức miền không gian để hướng dẫn khởi tạo chính sách và giám sát thực thi nhiệm vụ phức tạp.
2. Patent:
- Hệ thống hướng dẫn trực quan trên điện thoại: thay vì mô tả văn bản dài dòng, hệ thống lưu các ưu tiên thị giác tĩnh (hình ảnh vùng chạm, layout mẫu) và chồng chúng lên ảnh chụp màn hình thực tế, giúp người dùng xác định ngay vùng cần tương tác.
- Ứng dụng đếm đối tượng trong kho/kiểm kê: camera điện thoại quét lô hàng, kỹ năng thị giác động tự động đánh dấu từng mục đã đếm bằng điểm neo trên ảnh, ngăn đếm trùng hoặc sót, xuất kết quả ngay tức thì.
- Công cụ thiết kế UI cộng tác: mỗi mockup giao diện được đính kèm các ưu tiên thị giác về tỷ lệ module, lề trắng, căn chỉnh; khi người dùng kéo thả thành phần, hệ thống tự động đề xuất vị trí phù hợp dựa trên bộ quy tắc thị giác tái sử dụng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.01414 |
| ArXiv Abstract | https://arxiv.org/abs/2606.01414 |
| PDF Download | https://arxiv.org/pdf/2606.01414.pdf |
| Github Repository | https://github.com/Little-Fridge/AutoVisualSkill |
31. RoboStressBench: Benchmarking VLM Robustness to Physical Visual Stress in Embodied Scenes (10 votes)
Tác giả: Leyi Wu, Yifan Zhao, Jinjie Zhang, Suzeyu Chen, Wosong Chen, et al.
Xuất bản lúc: 2026-05-30
Tag: Vision-Language Models, Robustness, Benchmark, Embodied AI, Visual Stress, Inverse Graphics, Test-Time Adaptation
I. Main Problem:
Các benchmark hiện tại đánh giá Vision-Language Models (VLMs) trên ảnh sạch hoặc nhiễu số nhân tạo, không phản ánh các dạng suy giảm thị giác thực tế trong môi trường vật lý như vật liệu trong suốt, thiếu sáng, góc nhìn lạ, hay tắc khuất. Điều này dẫn đến thiếu một khung đánh giá có nguyên lý để chẩn đoán VLMs thất bại do yếu tố vật lý nào.
II. Main Idea:
RoboStressBench định nghĩa stress thị giác dựa trên phương trình kết xuất vật lý, phân rã thành bốn chiều: Material (M), Viewpoint (V), Lighting (L), và Geometry (G). Bộ dữ liệu ~7.2K ảnh được xây dựng từ ba nguồn: lọc thủ công từ benchmark có sẵn, tổng hợp stress có kiểm soát, và thu thập thế giới thực. Benchmark hỗ trợ hai tác vụ: Visual Question Answering (trắc nghiệm) và Grounding (điểm/hộp). Kèm theo đó, StressDART là một giải pháp test-time phát hiện stress chủ đạo, áp dụng chỉnh sửa ảnh mục tiêu, rồi suy luận trên cả ảnh gốc và ảnh đã chỉnh.
III. Main Results:
- VLMs tốt nhất (Qwen3.5-35B-A3B) chỉ đạt 58.1% accuracy tổng thể — xa bão hòa.
- Stress hình học (Geometry) gây hại nhất cho tác vụ định vị; stress vật liệu/ánh sáng ảnh hưởng nhiều đến nhận dạng trạng thái.
- Scaling mô hình cải thiện trung bình nhưng không khắc phục được điểm yếu cụ thể (ví dụ InternVL3.5-14B kém hơn bản 4B ở một số stress).
- StressDART cải thiện accuracy từ 43.2% lên 49.0% trên Qwen3-VL-4B không cần fine-tuning.
IV. Conclusion & Future Works:
RoboStressBench cung cấp khung đánh giá có nguyên lý để chẩn đoán nguyên nhân thất bại của VLMs theo bốn yếu tố hình thành ảnh. Kết quả cho thấy stress vật lý là thách thức lớn chưa được giải quyết, và test-time rectification (StressDART) là hướng khả thi. Tương lai có thể phát triển stress detection chính xác hơn và các kỹ thuật chỉnh sửa ảnh bảo toàn nội dung tốt hơn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng bộ stress taxonomy cho các yếu tố động như chuyển động mờ (motion blur) hoặc thay đổi khẩu độ/tiêu cự, kết hợp với temporal reasoning trong video.
- Phát triển mô hình VLM có khả năng tự phát hiện và thích ứng với stress thị giác qua cơ chế attention động hoặc adapter riêng cho từng chiều stress (M, V, L, G).
- Kết hợp StressDART với reinforcement learning để robot học chính sách thăm dò (active sensing) nhằm giảm stress, ví dụ thay đổi góc nhìn hoặc bật đèn khi thiếu sáng.
2. Patent:
- Ứng dụng trên điện thoại thông minh: khi người dùng chụp ảnh sản phẩm trong điều kiện thiếu sáng hoặc phản chiếu, hệ thống tự động phát hiện stress và kích hoạt chế độ chụp HDR hoặc đèn flash thông minh để cải thiện độ chính xác của OCR hoặc nhận dạng đồ vật.
- Trợ lý robot gia đình dùng StressDART: trước khi thực hiện lệnh 'nhặt cốc thủy tinh', robot chụp ảnh, phát hiện stress vật liệu (trong suốt) và góc nhìn, sau đó tự động chỉnh sửa ảnh (tăng độ tương phản, zoom) để nhận diện chính xác vị trí cốc.
- Hệ thống giám sát an ninh thông minh cho xe tự hành: camera phát hiện vùng tối hoặc chói sáng cục bộ, gửi cảnh báo và tự động áp dụng bộ lọc chỉnh sửa ảnh trước khi đưa vào mô hình phát hiện chướng ngại vật, giúp giảm tai nạn do điều kiện ánh sáng bất lợi.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2606.00828 |
| ArXiv Abstract | https://arxiv.org/abs/2606.00828 |
| PDF Download | https://arxiv.org/pdf/2606.00828.pdf |
| Github Repository | https://github.com/YUEVII/RoboStressBench |
32. Speculative Pipeline Decoding: Higher-Accruacy and Zero-Bubble Speculation via Pipeline Parallelism (10 votes)
Tác giả: Yijiong Yu, Huazheng Wang, Shuai Yuan, Ruilong Ren, Ji Pei
Xuất bản lúc: 2026-05-29
Tag: Speculative Decoding, Pipeline Parallelism, LLM Inference Acceleration, Knowledge Distillation, Qwen3.5
I. Main Problem:
Các phương pháp Speculative Decoding hiện tại dựa trên dự đoán đa token tuần tự, gây ra khó khăn dự đoán tăng dần (long-range decay) và độ trễ nối tiếp từ khâu draft, làm giảm hiệu quả tăng tốc. Việc này hạn chế khả năng mở rộng số lượng token dự đoán và gây lãng phí tài nguyên GPU do chờ đợi lẫn nhau.
II. Main Idea:
Speculative Pipeline Decoding (SPD) thay đổi hoàn toàn cách tiếp cận: thay vì dự đoán đa token, SPD chia mô hình LLM thành n stage pipeline và xử lý n token song song. Một Speculation Module tổng hợp đặc trưng từ nhiều độ sâu khác nhau để dự đoán token tiếp theo, song song hoàn toàn với pipeline step, nhờ đó loại bỏ latency bubble. Phương pháp này đảm bảo độ khó dự đoán bị chặn trên bởi độ sâu pipeline cố định (n), không tăng theo số token dự đoán.
III. Main Results:
- Với n=8, SPD đạt wall-clock speedup 2.20× trên Qwen3.5-4B (T=0), vượt EAGLE-3 (1.97×). SPD duy trì ưu thế ở T=1 (2.04× so với 1.78×).
IV. Conclusion & Future Works:
SPD chuyển dịch mô hình speculative decoding từ dự đoán đa token sang pipeline parallelism, vượt qua các hạn chế cố hữu. Tuy nhiên, pipeline quá sâu (n=16) chưa mang lại lợi ích do rejection cao và overhead hệ thống. Hướng tới cần cải thiện stage partitioning không đều và tích hợp với production inference engine.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu kỹ thuật stage partitioning không đều để tối ưu cân bằng tải giữa các stage pipeline, đặc biệt trên các mô hình có attention layer không đồng nhất như Qwen3.5.
- Mở rộng SPD hỗ trợ draft trees và song song hóa nhiều nhánh dự đoán để tăng acceptance rate, đồng thời giải quyết các thách thức về quản lý KV-cache và đồng bộ cross-stage.
- Kết hợp SPD với kỹ thuật speculative decoding dựa trên tree attention và custom CUDA kernels để tối ưu throughput trên multi-GPU cluster, hướng tới triển khai thực tế với vLLM hoặc SGLang.
2. Patent:
- Hệ thống tăng tốc suy luận LLM trên điện thoại di động bằng pipeline parallelism: phân tách LLM thành các stage nhỏ chạy song song trên nhiều GPU hoặc NPU của thiết bị, module dự đoán token hoạt động đồng bộ, giúp giảm độ trễ khi sinh văn bản mà không cần external model.
- Phương pháp suy luận LLM không có idle bubble dùng pipeline parallelism và feature aggregation từ nhiều độ sâu, giúp tối ưu hóa băng thông bộ nhớ trên thiết bị di động, cho phép sinh câu trả lời nhanh hơn với cùng tài nguyên.
- Thuật toán tăng tốc suy luận cho chatbot trên cloud bằng cách chia LLM thành pipeline n-stage và dự đoán token kế tiếp dựa trên hidden state đa tầng, giúp giảm latency phản hồi đầu cuối mà không tăng chi phí tính toán.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.30852 |
| ArXiv Abstract | https://arxiv.org/abs/2605.30852 |
| PDF Download | https://arxiv.org/pdf/2605.30852.pdf |
| Github Repository | https://github.com/yuyijiong/speculative_pipeline_decoding |
33. PARCEL: Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding (10 votes)
Tác giả: Selim Kuzucu, Alessio Tonioni, Vasile Lup, Bernt Schiele, Federico Tombari, et al.
Xuất bản lúc: 2026-05-28
Tag: Large Vision-Language Models, Visual Token Compression, Elastic Inference, Matryoshka Representation Learning, Spatial Pooling, Query Resampling, Spectral Analysis
I. Main Problem:
Các mô hình LVLM gặp bottleneck tăng tốc do số lượng visual tokens lớn. Các phương pháp nén tĩnh buộc chọn một mức nén trước khi triển khai, tạo ra đánh đổi cố định giữa hiệu suất và tài nguyên. Phương pháp nén co giãn (elastic) hiện tại gặp vấn đề: pooling không gian làm mờ chi tiết cao tần, trong khi resampling không gian (query-only) làm suy yếu khả năng định vị không gian.
II. Main Idea:
PARCEL giới thiệu kiến trúc token hóa trực quan phân công động việc trích xuất đặc trưng. Nó sử dụng pool tokens không gian (anchor) để giữ layout tần số thấp, và query tokens có điều kiện trên các anchor này thông qua Pool-Conditioned Query Resampling để tập trung vào chi tiết bổ sung tần số cao. Một chiến lược routing phân mảnh (piecewise routing) tự động điều chỉnh kích thước anchor và số query theo ngân sách token, cho phép một mô hình hoạt động hiệu quả trên nhiều ngân sách (16-256 tokens) sau một lần huấn luyện.
III. Main Results:
- Trung bình trên 27 benchmark, PARCEL vượt M3 và MQT ở mọi ngân sách: giữ 95.1% (256 tokens), 94.7% (64 tokens), 86.8% (16 tokens) so với PG2 gốc.
- Về video, đạt 98.0% và 97.9% retention ở 256 và 64 tokens, vượt trội so với baseline.
- Trên RefCOCO (định vị không gian), PARCEL vượt MQT +4.2 điểm ở 256 tokens (90.6% vs 86.4%).
- Trên ChartQA, cải thiện +4.7 và +3.4 điểm so với M3 ở 64 và 256 tokens.
- Phân tích phổ xác nhận sự phân tách tín hiệu: pool tokens tập trung tần số thấp, query tokens bắt chi tiết cao tần.
IV. Conclusion & Future Works:
PARCEL cải thiện Pareto frontier hiệu suất-hiệu quả bằng cách phân công động giữa anchor không gian và query bổ sung. Hướng tới, có thể mở rộng cho video dài hơn hoặc tích hợp với các chiến lược pruning khác. Việc áp dụng phân tích phổ có thể giúp thiết kế connector tốt hơn cho các kiến trúc LVLM khác.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng PARCEL cho các mô hình video dài hạn (nhiều frame): thiết kế cơ chế anchor không gian-thời gian để nén hiệu quả thông tin động học.
- Kết hợp PARCEL với active token pruning: dùng anchor pool làm bộ khung, cho phép mô hình tự động chọn vùng ảnh quan trọng để tạo query, thay vì router cố định.
- Khám phá khả năng chuyển giao học của PARCEL: huấn luyện connector co giãn từ một ViT đã tiền huấn luyện và áp dụng cho nhiều LVLM khác nhau (LLaVA, Qwen-VL) để đạt được tính linh hoạt triển khai.
2. Patent:
- Trợ lý chụp ảnh trên điện thoại: hệ thống dùng PARCEL để tự động nén ảnh thành số token khác nhau tùy theo bộ nhớ và tốc độ mong muốn, cho phép xử lý ảnh nhanh ngay trên thiết bị di động.
- Ứng dụng thực tế tăng cường (AR): khi nhận diện vật thể, mô hình tự động chọn anchor không gian từ ảnh camera điện thoại, sau đó tạo query để trích xuất chi tiết nhằm đặt đối tượng ảo chính xác, tối ưu hóa cho pin và bộ nhớ.
- Hệ thống tra cứu biểu đồ, tài liệu trên điện thoại: dùng PARCEL nén ảnh biểu đồ thành số token ít hơn song vẫn giữ được chi tiết số liệu, giúp ứng dụng đọc tài liệu nhanh và tiết kiệm năng lượng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.30126 |
| ArXiv Abstract | https://arxiv.org/abs/2605.30126 |
| PDF Download | https://arxiv.org/pdf/2605.30126.pdf |
| Github Repository | N/A |