Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-06-05

Báo cáo được tạo tự động vào lúc 2026-06-29 10:02:07 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. Code2LoRA: Hypernetwork-Generated Adapters for Code Language Models under Software Evolution (95 votes)​

Tác giả: Liliana Hotsko, Yinxi Li, Yuntian Deng, Pengyu Nie

Xuất bản lúc: 2026-06-04

Tag: Code Language Models, LoRA, Hypernetworks, Software Evolution, Parameter-Efficient Fine-Tuning, Repository-Level Code Understanding, Code Generation

I. Main Problem:​

Các mô hình ngôn ngữ mã nguồn cần hiểu ngữ cảnh toàn kho lưu trữ (import, API, quy ước) nhưng các phương pháp hiện tại hoặc chèn ngữ cảnh dài qua RAG gây tốn token, hoặc fine-tuning per-repository/LoRA rất tốn kém và không thích ứng được với mã nguồn đang phát triển liên tục.

II. Main Idea:​

Code2LoRA là khung hypernetwork tạo LoRA adapter riêng cho từng kho lưu trữ từ embedding tóm tắt toàn bộ mã nguồn, giúp tiêm tri thức kho vào tham số mô hình mà không thêm token nào khi suy luận. Hai biến thể: Code2LoRA-Static ánh xạ một snapshot duy nhất thành adapter cho mã ổn định; Code2LoRA-Evo dùng GRU cập nhật trạng thái ẩn theo từng code diff, duy trì adapter sống động theo lịch sử commit để thích ứng với mã nguồn đang phát triển.

III. Main Results:​

  • Trên static track, Code2LoRA-Static đạt 63.8% cross-repo Exact Match (EM), vượt baseline mạnh nhất (FFT+RAG) +9.9 điểm phần trăm.
  • Trên in-repo split, Code2LoRA-Static đạt 66.2% EM, ngang bằng Per-repo LoRA mà không cần huấn luyện riêng từng kho.
  • Trên evolution track, Code2LoRA-Evo đạt 60.3% CR EM, cao hơn Single LoRA +5.2 pp; Code2LoRA-Static tụt xuống 55.7% do snapshot cũ.
  • Trên tập OOD (kho mới sau cutoff), Code2LoRA-Evo đạt 74.1% EM, dẫn đầu tất cả phương pháp.
  • Text2LoRA dù được tăng cường đầu vào vẫn dưới Code2LoRA-Static 18 pp, cho thấy thiết kế hypernetwork là yếu tố then chốt.

IV. Conclusion & Future Works:​

Code2LoRA chứng minh tiêm tri thức kho vào tham số (parametric adaptation) tốt hơn chèn ngữ cảnh dài, và cập nhật theo commit vượt trội snapshot tĩnh khi mã nguồn tiến hóa. Hướng tới có thể mở rộng sang đa ngôn ngữ, backbone lớn hơn và nhiều tác vụ hơn để xây dựng trợ lý mã nguồn mạnh hơn, ít tốn kém hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Code2LoRA cho đa ngôn ngữ lập trình: dùng multi-language embedder và kiểm tra trên Java, TypeScript, C++ để đánh giá khả năng khái quát hóa vượt Python.
  2. Kết hợp Code2LoRA-Evo với cơ chế attention theo thời gian thay vì GRU để nắm bắt phụ thuộc xa hơn trong lịch sử commit, có thể cải thiện độ chính xác cho kho có lịch sử dài.
  3. Nghiên cứu khả năng transfer học của hypernetwork: huấn luyện trên hàng nghìn kho nguồn mở, sau đó zero-shot sinh adapter cho kho private mới, kiểm tra suy luận đa tác vụ (debug, hoàn thiện hàm, sinh docstring).

2. Patent:​

  1. Hệ thống trợ lý lập trình trên điện thoại: khi mở dự án từ GitHub, điện thoại gửi mã nguồn lên đám mây, hypernetwork sinh adapter riêng cho dự án đó; sau đó mọi truy vấn đều dùng adapter này, không cần gửi lại mã, tiết kiệm băng thông và phản hồi nhanh.
  2. Cập nhật tự động cho extension IDE: mỗi lần lập trình viên commit, extension gửi diff lên server, GRU cập nhật trạng thái ẩn và sinh adapter mới; khi developer gõ code, adapter được tải về và inject vào LLM local, giữ trợ lý luôn hiểu codebase hiện tại.
  3. Dịch vụ 'mượn tri thức codebase' cho doanh nghiệp: công ty đẩy kho lên một lần, hypernetwork sinh adapter nén tri thức thành vài MB; adapter này được cài trên thiết bị edge (điện thoại, laptop) của nhân viên, giúp họ dùng LLM hiểu dự án mà không rò rỉ mã nguồn qua mạng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06492
ArXiv Abstracthttps://arxiv.org/abs/2606.06492
PDF Downloadhttps://arxiv.org/pdf/2606.06492.pdf
Github RepositoryN/A

2. ArcANE: Do Role-Playing Language Agents Stay in Character at the Right Time? (50 votes)​

Tác giả: Woojung Song, Nalim Kim, Sangjun Song, Chaewon Heo, Jongwon Lim, et al.

Xuất bản lúc: 2026-06-04

Tag: Role-Playing Language Agents, Character Arc, Narrative Evaluation, LLM Benchmark, Temporal Consistency, Fine-Tuning, DPO

I. Main Problem:​

Các role-playing language agents (RPLAs) hiện tại chưa thể hiện được sự tiến hóa tâm lý của nhân vật theo thời gian trong câu chuyện. Các benchmark hiện có chỉ đánh giá trí nhớ sự kiện hoặc tính cách tĩnh, bỏ qua việc liệu phản hồi có phù hợp với trạng thái tâm lý tại từng giai đoạn của cốt truyện hay không, đặc biệt là trong các tình huống không xuất hiện trong văn bản gốc.

II. Main Idea:​

Bài báo giới thiệu ARCANE, một benchmark tự động gồm 544 Character Arc (cung nhân vật) và 4,601 probe (câu hỏi kiểm tra) trên 17 tiểu thuyết. Mỗi Character Arc chia cốt truyện thành các giai đoạn dọc theo một trục tâm lý. Mỗi probe đặt cùng một tình huống (trong văn bản, trong thế giới, hoặc ngoài thế giới) ở các giai đoạn khác nhau, yêu cầu phản hồi thay đổi theo nhân vật. Họ huấn luyện ARCANE-8B/32B (fine-tune Qwen3 qua SFT và DPO) để học cách phân biệt hành vi giữa các giai đoạn.

III. Main Results:​

  • Trên 6 mô hình và 6 chế độ ngữ cảnh, Arc context luôn đạt điểm Overall cao nhất, với cách biệt 2.2–8.4 điểm so với chế độ phi-Arc tốt nhất.
  • Lợi thế của Arc lớn nhất trên các probe Out-of-World (+7.7 điểm trên DeepSeek-V4-Pro), nơi retrieval không tìm được thông tin.
  • Trên 2 tiểu thuyết ít phổ biến, Arc context tăng điểm +4.1 đến +15.3 so với chế độ phi-Arc.
  • Fine-tuning DPO tăng cường thêm khả năng bám sát quỹ đạo nhân vật, đặc biệt trên Out-of-World (Arc lift từ +7.3 lên +12.5).

IV. Conclusion & Future Works:​

ARCANE chứng minh rằng việc cung cấp thông tin về quỹ đạo tâm lý nhân vật (Character Arc) là yếu tố then chốt để RPLA duy trì tính nhất quán hành vi theo thời gian. Hướng phát triển tiếp theo là mở rộng sang hội thoại đa lượt, nơi bản thân cung nhân vật tiến triển qua tương tác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ARCANE sang các thể loại khác (phim, game, kịch) để kiểm tra tính khái quát của phương pháp arc-grounded context. Cần xây dựng arc cho nhân vật không có tường thuật nội tâm dày đặc.
  2. Nghiên cứu ảnh hưởng của việc nhiễu loạn arc (thay thế arc sai nhân vật hoặc sai giai đoạn) đến hành vi của RPLA, để định lượng mức độ nhạy cảm của mô hình với thông tin ngữ cảnh.
  3. Kết hợp Character Arc với multi-agent simulation, nơi nhiều nhân vật có arc riêng tương tác với nhau; đánh giá xem liệu sự tiến hóa cá nhân có ảnh hưởng lẫn nhau hay không.

2. Patent:​

  1. Hệ thống chatbot nhập vai trên điện thoại: khi người dùng chat với nhân vật hư cấu, ứng dụng tự động truy xuất Character Arc của nhân vật tại chương tương ứng để tạo phản hồi phù hợp với tâm trạng và giá trị của nhân vật ở thời điểm đó, không bị lẫn lộn giữa đầu và cuối truyện.
  2. Ứng dụng giáo dục kể chuyện tương tác: dạy học sinh về sự phát triển nhân vật bằng cách cho các em đặt câu hỏi cho nhân vật ở nhiều chương khác nhau. Mô hình RPLA dùng arc để trả lời mỗi câu hỏi với giọng điệu và quyết định đúng với giai đoạn đó, giúp học sinh hiểu sâu hơn về hành trình nhân vật.
  3. Game nhập vai di động: hệ thống NPC thích ứng với tiến trình cốt truyện của người chơi. Khi người chơi gặp lại NPC sau một biến cố lớn, NPC sẽ phản ứng dựa trên arc hành vi được cập nhật, thay vì lặp lại câu thoại cũ, tạo cảm giác thế giới game sống động và có chiều sâu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.05553
ArXiv Abstracthttps://arxiv.org/abs/2606.05553
PDF Downloadhttps://arxiv.org/pdf/2606.05553.pdf
Github RepositoryN/A

3. TIDE: Proactive Multi-Problem Discovery via Template-Guided Iteration (47 votes)​

Tác giả: Soyeong Jeong, Jinheon Baek, Minki Kang, Sung Ju Hwang

Xuất bản lúc: 2026-06-03

Tag: LLM Agents, Proactive Agents, Iterative Discovery, Task Discovery, Template-Based Reasoning, Multi-Problem Discovery

I. Main Problem:​

Các tác nhân LLM hiện tại chỉ phản ứng theo yêu cầu tường minh của người dùng, bỏ qua nhiều vấn đề tiềm ẩn cùng tồn tại trong ngữ cảnh rộng hơn (ví dụ: tài liệu, email, mã nguồn). Số lượng vấn đề không biết trước, và các vấn đề nổi trội thường che khuất những vấn đề tinh tế hơn, khiến việc dự đoán một lượt không hiệu quả.

II. Main Idea:​

TIDE là khung khám phá đa vấn đề tiềm ẩn từ ngữ cảnh, kết hợp hai cơ chế bổ sung: (1) khám phá lặp (iterative discovery): mỗi vòng phát hiện một lô nhỏ vấn đề, điều kiện hóa trên các phát hiện đã có để mở rộng vùng phủ; (2) khuôn mẫu tư duy (thought templates): sơ đồ tái sử dụng từ các ca đã giải quyết, chỉ rõ tín hiệu ngữ cảnh cần chú ý và cách liên kết chúng thành bằng chứng. Mỗi dự đoán trả về bộ ba (mô tả, bằng chứng, hành động khắc phục) ngay trong một bước.

III. Main Results:​

  • Trên Personal Workspace (GPT backbone), TIDE đạt Retrieval F1 70.46% so với Single-Agent 54.32% và Multi-Agent 45.41%.
  • Trên Software Repository, TIDE vượt Single-Agent và Multi-Agent trên cả Retrieval, Identification và Resolution.
  • Iterative discovery đóng góp chính vào coverage; thought templates cải thiện precision rõ rệt qua từng vòng lặp.
  • Templates chuyển giao tốt giữa các backbone LLM khác nhau (GPT ↔ Gemini).
  • Tăng ngân sách LLM-call giúp TIDE tăng F1 phi tuyến, trong khi Multi-Agent bão hòa sớm.

IV. Conclusion & Future Works:​

TIDE định nghĩa lại trợ lý chủ động như quy trình khám phá đa bước, thay vì dự đoán một lần. Kết quả cho thấy iteration mở rộng vùng phủ, còn templates tăng độ chính xác. Hướng phát triển gồm cập nhật template trực tuyến từ tương tác và tự động xây dựng template từ ca mới.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu chiến lược kết thúc sớm thông minh trong iterative discovery, dựa trên độ bão hòa của vùng phủ thay vì số vòng cố định.
  2. Kết hợp iterative discovery với reinforcement learning để tác nhân tự học cách ưu tiên các vấn đề tinh tế hơn dựa trên phản hồi người dùng.
  3. Xây dựng benchmark đa lĩnh vực (y tế, pháp lý) để đánh giá khả năng khám phá vấn đề tiềm ẩn từ ngữ cảnh phức tạp.

2. Patent:​

  1. Trợ lý điện thoại chủ động phát hiện xung đột lịch họp, deadline chồng chéo và thông báo chưa trả lời bằng cách duyệt qua email và lịch định kỳ, đề xuất hành động như gửi tin nhắn hoặc đặt lại cuộc họp.
  2. Ứng dụng quét workspace ảnh chụp tài liệu và tin nhắn trên điện thoại để tự động phát hiện các thông tin mâu thuẫn (ví dụ: hai phiên bản báo giá khác nhau) và cảnh báo người dùng.
  3. Công cụ phát hiện lỗi bảo trì phần mềm trên điện thoại: duyệt mã nguồn dự án từ thiết bị di động, tìm lỗi tiềm ẩn trong nhiều hàm cùng lúc và đề xuất bản vá.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.04743
ArXiv Abstracthttps://arxiv.org/abs/2606.04743
PDF Downloadhttps://arxiv.org/pdf/2606.04743.pdf
Github RepositoryN/A

4. AdaPlanBench: Evaluating Adaptive Planning in Large Language Model Agents under World and User Constraints (44 votes)​

Tác giả: Jiayu Liu, Cheng Qian, Zhenhailong Wang, Bingxuan Li, Jiateng Liu, et al.

Xuất bản lúc: 2026-06-04

Tag: LLM Agents, Adaptive Planning, Benchmark, User Constraints, World Constraints, Interactive Evaluation, Progressive Disclosure

I. Main Problem:​

Các tác nhân LLM hiện tại gặp khó trong lập kế hoạch thích ứng khi cả ràng buộc thế giới (công cụ, tài nguyên) và người dùng (sở thích, ưu tiên) được tiết lộ dần trong quá trình tương tác. Các benchmark hiện có chỉ tập trung vào một loại ràng buộc, bỏ qua thách thức kép này.

II. Main Idea:​

AdaPlanBench là benchmark động với 307 tác vụ gia đình, mỗi tác vụ được gán đồng thời ràng buộc thế giới và người dùng thông qua pipeline tự động. Trong runtime, ràng buộc ẩn chỉ được tiết lộ khi tác nhân đề xuất kế hoạch vi phạm, buộc tác nhân phải liên tục suy luận, theo dõi và lập lại kế hoạch dựa trên phản hồi tích lũy.

III. Main Results:​

  • Mô hình tốt nhất (GPT-5) chỉ đạt 67.75% độ chính xác, đa số mô hình dưới 45%.
  • Ràng buộc người dùng gây khó hơn ràng buộc thế giới; khi kết hợp cả hai là thách thức nhất.
  • Hiệu suất suy giảm rõ rệt khi số ràng buộc tăng dần theo lượt tương tác.
  • Cung cấp rõ ràng các ràng buộc đã tiết lộ chỉ cải thiện nhẹ (dưới 3% độ chính xác).
  • Lỗi chủ yếu đến từ suy giảm tính hiệu quả và tính khả thi vật lý của kế hoạch.

IV. Conclusion & Future Works:​

AdaPlanBench cho thấy lập kế hoạch thích ứng dưới ràng buộc kép vẫn là thách thức lớn với LLM hiện tại. Hướng tới cần phát triển tác nhân có khả năng thích ứng và mạnh mẽ hơn trong môi trường động. Có thể mở rộng framework sang các lĩnh vực khác như du lịch, robot hay văn phòng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của chiến lược khám phá chủ động đến khả năng suy luận ràng buộc ẩn: so sánh các phương pháp đề xuất kế hoạch đa dạng để phát hiện ràng buộc nhanh hơn.
  2. Phát triển cơ chế bộ nhớ dài hạn chuyên biệt cho lập kế hoạch thích ứng, giúp tác nhân nhớ và ưu tiên các ràng buộc đã biết khi sửa kế hoạch.
  3. Mở rộng AdaPlanBench với môi trường đa phương thức (hình ảnh + văn bản) để đánh giá lập kế hoạch thích ứng trong điều kiện gần thực tế hơn.

2. Patent:​

  1. Trợ lý ảo trên điện thoại hỗ trợ lên kế hoạch trong nhà thông minh: khi người dùng yêu cầu, trợ lý tự động khám phá và ghi nhớ sở thích (không dùng máy sấy) và hạn chế (không có khăn) để đề xuất kế hoạch tối ưu.
  2. Hệ thống đề xuất công thức nấu ăn trên app di động: dựa trên nguyên liệu sẵn có (ràng buộc thế giới) và sở thích ăn kiêng (ràng buộc người dùng), hệ thống liên tục điều chỉnh gợi ý khi người dùng từ chối.
  3. Tính năng lập kế hoạch du lịch trong app đặt vé: tác nhân tự động suy luận ràng buộc ngân sách và sở thích địa điểm từ hành vi người dùng, điều chỉnh lịch trình khi có xung đột (chuyến bay hết chỗ).

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.05622
ArXiv Abstracthttps://arxiv.org/abs/2606.05622
PDF Downloadhttps://arxiv.org/pdf/2606.05622.pdf
Github Repositoryhttps://github.com/JiayuJeff/AdaPlanBench

5. VideoKR: Towards Knowledge- and Reasoning-Intensive Video Understanding (39 votes)​

Tác giả: Lin Fu, Zheyuan Yang, Yang Wang, Tingyu Song, Arman Cohan, et al.

Xuất bản lúc: 2026-06-03

Tag: Video Understanding, Knowledge-Intensive Reasoning, Chain-of-Thought, Post-Training, SFT, GRPO, Corpus Construction, Evaluation Benchmark

I. Main Problem:​

Các mô hình video hiện tại thất bại trong các tác vụ yêu cầu kiến thức chuyên ngành và suy luận đa bước, vì các tập dữ liệu huấn luyện hiện có chủ yếu tập trung vào nhận thức bề mặt (hành động, sự kiện hàng ngày) và thiếu hụt các chủ đề chuyên sâu. Hơn nữa, hầu hết các tập dữ liệu huấn luyện mã nguồn mở đều dùng lại video ngắn từ các bộ dữ liệu cũ, không đảm bảo giấy phép bản quyền rõ ràng.

II. Main Idea:​

Bài báo giới thiệu VideoKR, một kho ngữ liệu quy mô lớn gồm 145K video mới thu thập (có giấy phép CC) chuyên về các lĩnh vực chuyên môn, kèm 315K ví dụ QA hướng kỹ năng. Quy trình xây dựng gồm: (1) xây dựng ngân hàng kiến thức chuyên ngành, (2) thu thập video theo hướng kiến thức, (3) sinh QA theo ba kỹ năng cốt lõi (suy luận cơ bản, nhận thức tăng cường kiến thức, suy luận dày đặc kiến thức), và (4) kiểm soát chất lượng với sự tham gia của chuyên gia. Mô hình được hậu huấn luyện qua pipeline SFT→GRPO tiêu chuẩn, giúp tách biệt ảnh hưởng của dữ liệu và cho thấy thiết kế dữ liệu là yếu tố then chốt.

III. Main Results:​

  • Mô hình Qwen2.5-VL-7B hậu huấn luyện trên VideoKR tăng điểm trung bình knowledge-intensive từ 41.9 lên 46.6 (+4.7).
  • Qwen3-VL-8B đạt kết quả knowledge-intensive tốt nhất trong nhóm 7/8B (51.5), vượt các đối thủ như Qwen3-VL-8B-Thinking (50.0).
  • Cải thiện đáng kể trên benchmark mới VideoKR-Eval: +8.5 điểm cho Qwen2.5-VL-7B.
  • So sánh với các kho ngữ liệu trước: chỉ VideoKR giúp tăng điểm so với base model (+0.5), trong khi các kho khác làm giảm (-3.5 đến -5.7).
  • Dữ liệu VideoKR có độ khó cao hơn (độ chính xác zero-shot chỉ 39-42%) so với các kho trước (45-57%), tạo tín hiệu học tập mạnh mẽ hơn.

IV. Conclusion & Future Works:​

VideoKR chứng minh rằng tích hợp kiến thức chuyên ngành với suy luận có căn cứ trực quan cho hiệu suất cao hơn mà không cần kỹ thuật RL phức tạp. Công trình này mở ra hướng thiết kế dữ liệu thông minh làm động lực chính cho suy luận video tiên tiến. Các nghiên cứu tương lai có thể mở rộng lĩnh vực và cải tiến chiến lược sinh mẫu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung kỹ năng sang các tác vụ tương tác đa phương thức phức tạp hơn, như suy luận video có tích hợp âm thanh và văn bản.
  2. Nghiên cứu ảnh hưởng của việc thay đổi tỷ lệ phân bổ kỹ năng trong kho dữ liệu huấn luyện đến khả năng suy luận tổng quát.
  3. Áp dụng pipeline VideoKR cho các lĩnh vực mới như y tế lâm sàng hoặc kỹ thuật robot, nơi cần kiến thức chuyên sâu và suy luận đa bước.

2. Patent:​

  1. Hệ thống hỗ trợ giảng dạy trực quan: tự động tạo câu hỏi trắc nghiệm và giải thích từ video bài giảng khoa học, giúp sinh viên luyện tập suy luận dựa trên kiến thức.
  2. Ứng dụng điện thoại chẩn đoán nhanh: người dùng quay video một hiện tượng (ví dụ: phản ứng hóa học trong phòng thí nghiệm) và nhận phân tích nguyên nhân cùng đáp án chính xác.
  3. Công cụ kiểm tra độ tin cậy cho nội dung giáo dục: đánh giá xem video có thực sự yêu cầu hiểu biết trực quan và kiến thức chuyên ngành để trả lời, giúp lọc các câu hỏi dễ đoán.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.05259
ArXiv Abstracthttps://arxiv.org/abs/2606.05259
PDF Downloadhttps://arxiv.org/pdf/2606.05259.pdf
Github Repositoryhttps://github.com/Fu-Fu-Fu-Fu/VideoKR

6. RobotValues: Evaluating Household Robots When Human Values Conflict (26 votes)​

Tác giả: Jongwook Han, Hyeongjin Kim, Yohan Jo

Xuất bản lúc: 2026-06-02

Tag: Robotics, Value Alignment, LLM, VLM, Benchmark, Household Robots, Human Values, Ethics

I. Main Problem:​

Các hệ thống robot gia đình hiện nay thường chỉ được đánh giá dựa trên khả năng hoàn thành nhiệm vụ, bỏ qua các tình huống giá trị xung đột nơi robot phải chọn hành động ưu tiên các giá trị khác như quyền tự chủ, quyền riêng tư, hay sự phù hợp xã hội của con người. Chưa có benchmark nào đánh giá một cách có hệ thống sở thích giá trị của robot trong những bối cảnh như vậy.

II. Main Idea:​

ROBOTVALUES là một benchmark gồm 10.000 tình huống quyết định trong gia đình có xung đột giá trị, mỗi tình huống bao gồm một hình ảnh thực tế và nhiều hành động robot khả thi, mỗi hành động ưu tiên một giá trị con người khác nhau. Benchmark được xây dựng qua pipeline sinh dữ liệu tự động có kiểm soát chất lượng, sử dụng LLM để tạo kịch bản, phản ứng của các bên liên quan và chú thích giá trị. Các mô hình VLM được đánh giá ở hai chế độ: chọn hành động mặc định và chọn hành động theo một giá trị mục tiêu được chỉ định.

III. Main Results:​

  • Các VLM có sở thích giá trị mặc định, ưu tiên Safety và Accommodation, nhưng thường bỏ qua Privacy và Security.
  • Khi được yêu cầu ưu tiên một giá trị xung đột với sở thích mặc định, độ chính xác giảm hơn 30 điểm phần trăm, xuống còn 6.9%–16.8%.
  • Sự sụt giảm này không chỉ do mô hình không hiểu hành động ưu tiên giá trị nào, vì khả năng gán giá trị cho hành động (action-value matching) có độ chính xác cao hơn nhiều.
  • Fine-tuning trên ROBOTVALUES giúp cải thiện khả năng chọn hành động theo giá trị mục tiêu.

IV. Conclusion & Future Works:​

Kết quả cho thấy việc đánh giá robot gia đình cần vượt ra ngoài khả năng hoàn thành nhiệm vụ và an toàn, để đo lường khả năng chọn hành động khi các giá trị con người xung đột. Hướng tương lai bao gồm mở rộng dữ liệu thực tế, giảm nhiễu từ dữ liệu tổng hợp, và cải thiện khả năng điều khiển hành vi của VLM.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển phương pháp fine-tuning hoặc prompt engineering giúp VLM có thể 'gạt bỏ' sở thích mặc định để tuân theo chỉ dẫn giá trị của người dùng một cách đáng tin cậy hơn.
  2. Mở rộng benchmark ROBOTVALUES sang các nền văn hóa và nhân khẩu học khác nhau, đánh giá xem sở thích giá trị mặc định của VLM có thiên lệch văn hóa hay không.
  3. Xây dựng cơ chế học tăng cường từ phản hồi của con người (RLHF) dựa trên các tình huống xung đột giá trị để tinh chỉnh chính sách robot.

2. Patent:​

  1. Ứng dụng trên điện thoại cho phép người dùng thiết lập 'hồ sơ giá trị' cho robot gia đình (ví dụ: ưu tiên quyền riêng tư hơn hiệu quả), giúp robot tự động chọn hành động phù hợp trong các tình huống nhạy cảm.
  2. Hệ thống giám sát và cảnh báo cho robot hút bụi hoặc robot trợ lý: khi robot sắp thực hiện hành động xâm phạm quyền riêng tư (ví dụ: vào phòng ngủ khi có người đang thay đồ), điện thoại chủ nhà nhận thông báo và có thể can thiệp ngay lập tức.
  3. Tính năng 'kiểm tra giá trị' cho robot dịch vụ trong khách sạn: trước khi vào phòng khách, robot chụp ảnh qua camera điện thoại và chạy mô hình VLM để đánh giá xem hành động dự kiến có xung đột với quyền riêng tư hoặc sự tự chủ của khách hay không, rồi báo cáo lên trung tâm điều khiển.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.03312
ArXiv Abstracthttps://arxiv.org/abs/2606.03312
PDF Downloadhttps://arxiv.org/pdf/2606.03312.pdf
Github RepositoryN/A

7. Reinforcement Learning Elicits Contextual Learning of Unseen Language Translation (25 votes)​

Tác giả: Hanxu Hu, Zdeněk Šnajdr, Pinzhen Chen, Jannis Vamvas, Rico Sennrich

Xuất bản lúc: 2026-06-04

Tag: Reinforcement Learning, Machine Translation, Low-Resource Languages, In-Context Learning, GRPO, LLMs, Meta-Learning

I. Main Problem:​

Việc dịch các ngôn ngữ cực kỳ ít tài nguyên hoặc chưa từng thấy vẫn là thách thức lớn đối với LLM. Các phương pháp hiện tại như tinh chỉnh có giám sát (SFT) thường ghi nhớ quá mức ngôn ngữ huấn luyện, dẫn đến khả năng khái quát hóa kém cho ngôn ngữ mới. Trong khi đó, học trong ngữ cảnh (in-context learning) lại khai thác tài nguyên ngôn ngữ chưa hiệu quả.

II. Main Idea:​

Bài báo đề xuất một phương pháp học tăng cường (RL) để dạy LLM có được 'siêu kỹ năng' tận dụng ngữ cảnh ngôn ngữ phong phú (từ điển, câu song ngữ, ngữ pháp) khi dịch ngôn ngữ chưa thấy. Cụ thể, mô hình được huấn luyện với GRPO, sử dụng điểm chrF làm phần thưởng (reward) trực tiếp cho chất lượng bản dịch. Cách tiếp cận này đặt việc dịch thuật như một bài toán suy luận phụ thuộc vào ngữ cảnh, thay vì ghi nhớ cố định từng ngôn ngữ.

III. Main Results:​

  • RL vượt trội hơn SFT trên 5 ngôn ngữ chưa thấy: Qwen RL đạt trung bình 0.27 chrF so với 0.09 của SFT.
  • SFT mạnh hơn trên ngôn ngữ đã thấy (Romansh: 0.60 vs 0.52), nhưng kém khái quát hóa.
  • Loại bỏ ngữ cảnh tại test-time cho thấy lợi thế của RL phụ thuộc vào khả năng tận dụng ngữ cảnh, không phải ghi nhớ ngôn ngữ.
  • Từ điển là thành phần ngữ cảnh quan trọng nhất; loại bỏ nó giảm 8.4 chrF trên ngôn ngữ mới.
  • Huấn luyện với ngữ cảnh đầy đủ giúp duy trì tăng trưởng phần thưởng trong suốt quá trình huấn luyện, trong khi không có ngữ cảnh thì sớm bão hòa.

IV. Conclusion & Future Works:​

RL, với phần thưởng dựa trên chất lượng dịch, giúp LLM khái quát hóa tốt hơn cho ngôn ngữ chưa thấy so với SFT. Điểm yếu hiện tại là hiệu suất tuyệt đối vẫn thấp, cần cải thiện bằng ngữ cảnh phong phú hơn và tín hiệu tận dụng ngữ cảnh mạnh hơn. Nghiên cứu tương lai nên có thêm đánh giá con người về độ trôi chảy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phương pháp RL này cho dịch đa ngữ với hàng trăm ngôn ngữ, kiểm tra khả năng khái quát hóa trên cả nhóm ngôn ngữ xa lạ.
  2. Kết hợp RL với các phần thưởng ngôn ngữ tinh vi hơn (ví dụ: COMET) để thúc đẩy suy luận ngữ pháp phức tạp hơn từ ngữ cảnh.
  3. So sánh hiệu quả của RL với meta-learning có giám sát (ví dụ: MetaICL) trong cùng một bối cảnh dịch ngôn ngữ ít tài nguyên.

2. Patent:​

  1. Ứng dụng trên điện thoại cho phép người dùng chụp ảnh văn bản bằng ngôn ngữ lạ; ứng dụng tự động xây dựng ngữ cảnh (từ điển, ví dụ câu) từ cơ sở dữ liệu nhỏ và dùng RL huấn luyện nhanh LLM để dịch trực tuyến.
  2. Module tích hợp trong ứng dụng du lịch: khi du khách gặp ngôn ngữ không phổ biến, module tạo prompt chứa từ điển và vài câu mẫu, sau đó dùng mô hình RL đã được tinh chỉnh để cải thiện độ chính xác dịch thuật so với dịch thông thường.
  3. Trợ lý ảo cho bảo tồn ngôn ngữ: nhà ngôn ngữ học nhập dữ liệu ngữ pháp và từ vựng của ngôn ngữ đang bị đe dọa; hệ thống dùng RL để huấn luyện mô hình dịch từ dữ liệu ít đó, giúp tài liệu hóa và phổ biến ngôn ngữ qua ứng dụng di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06428
ArXiv Abstracthttps://arxiv.org/abs/2606.06428
PDF Downloadhttps://arxiv.org/pdf/2606.06428.pdf
Github Repositoryhttps://github.com/hanxuhu/rl-new-language

8. Rethinking Continual Experience Internalization for Self-Evolving LLM Agents (25 votes)​

Tác giả: Jingwen Chen, Wenkai Yang, Shengda Fan, Wenbo Nie, Chenxing Sun, et al.

Xuất bản lúc: 2026-06-03

Tag: LLM Agents, Continual Learning, Experience Internalization, Knowledge Distillation, Tool Use, Self-Evolution

I. Main Problem:​

Các phương pháp nội hóa kinh nghiệm (experience internalization) hiện tại chỉ tập trung vào chuyển giao một lần và thất bại khi học nhiều vòng: hiệu suất sụt giảm dần thay vì được cải thiện. Hiện tượng 'sụp đổ khả năng' (capability collapse) này ngăn cản LLM agent tự tiến hóa một cách bền vững.

II. Main Idea:​

Nghiên cứu đề xuất một công thức nội hóa kinh nghiệm bền vững qua ba khía cạnh: (1) Kinh nghiệm nguyên tắc (principle-level) bền hơn kinh nghiệm theo tình huống nhờ trừu tượng hóa chiến lược tái sử dụng; (2) Chèn kinh nghiệm theo từng bước (step-wise injection) vượt trội so với chèn toàn bộ, vì nó căn chỉnh kinh nghiệm với trạng thái quyết định hiện tại; (3) Chưng cất ngoài chính sách (off-policy context-distillation) dùng quỹ đạo từ teacher chất lượng cao cho tín hiệu huấn luyện ổn định hơn so với chưng cất trong chính sách (on-policy) vốn chỉ sửa lỗi cục bộ trên trạng thái sai của student.

III. Main Results:​

  • Kinh nghiệm nguyên tắc vượt trội so với kinh nghiệm tình huống trong nội hóa nhiều vòng, duy trì hiệu suất trong khi tình huống sụt dưới mức base model.
  • Chèn theo bước cải thiện WebWalkerQA từ 23.2% lên 31.2% ở một vòng; tỷ lệ trả lời vội (premature-answer) giảm từ 63.82% (chèn toàn bộ) xuống 0%.
  • Chưng cất ngoài chính sách kết hợp với kinh nghiệm nguyên tắc và chèn theo bước tạo ra duy trì cải thiện ổn định qua ba vòng trên cả bộ dữ liệu in-domain và out-of-domain.
  • Student sau nội hóa trên-chính-sách dùng quỹ đạo dài gấp 8.8 lần teacher, gây chi phí rollout lớn; chưng cất ngoài-chính-sách tránh hiệu quả phình quỹ đạo này.

IV. Conclusion & Future Works:​

Nghiên cứu chỉ ra nguyên nhân nội hóa kinh nghiệm thất bại qua nhiều vòng và đưa ra công thức bền vững dùng kinh nghiệm nguyên tắc, chèn theo bước, và chưng cất ngoài chính sách. Hướng tương lai: mở rộng sang tác vụ và ngôn ngữ khác, khảo sát thêm yếu tố như kích thước pool kinh nghiệm và chất lượng selector.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng công thức nội hóa kinh nghiệm cho agent đa phương thức, kết hợp kinh nghiệm văn bản với minh họa hình ảnh để agent tương tác web hiểu bố cục trang trực quan hơn.
  2. Xây dựng cơ chế 'kinh nghiệm phân cấp' tự động sinh kinh nghiệm từ mức chi tiết đến mức nguyên tắc, cho phép agent tự chọn độ trừu tượng phù hợp theo từng vòng tự tiến hóa.
  3. Nghiên cứu tác động của kinh nghiệm thiên lệch (biased experience) trong vòng lặp tự tiến hóa, đề xuất bộ lọc an toàn tích hợp để ngăn việc củng cố hành vi không mong muốn.

2. Patent:​

  1. Hệ thống trợ lý mua sắm online trên điện thoại: mỗi lần tương tác rút ra 'bí kíp' tìm kiếm dạng nguyên tắc, tự động nội hóa vào model giúp lần sau gợi ý chính xác hơn mà không cần lưu lịch sử cá nhân.
  2. Trình duyệt di động thông minh học từ cách người dùng duyệt: tổng hợp 'mẹo' như 'ưu tiên kết quả từ trang.edu' và âm thầm nội hóa để tự động tinh chỉnh thứ hạng kết quả tìm kiếm mà không rò rỉ dữ liệu.
  3. Ứng dụng lập kế hoạch chuyến đi học từ trải nghiệm: sau mỗi chuyến thành công, app tạo 'kinh nghiệm nguyên tắc' như 'đặt phòng gần ga tàu' và nội hóa vào dự đoán tuyến đường, giúp lần sau tối ưu hóa lịch trình mà không cần can thiệp thủ công.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.04703
ArXiv Abstracthttps://arxiv.org/abs/2606.04703
PDF Downloadhttps://arxiv.org/pdf/2606.04703.pdf
Github Repositoryhttps://github.com/RUCBM/ExpInternalization

9. LoomVideo: Unifying Multimodal Inputs into Video Generation and Editing (24 votes)​

Tác giả: Jianzong Wu, Hao Lian, Jiongfan Yang, Dachao Hao, Ye Tian, et al.

Xuất bản lúc: 2026-06-04

Tag: Video Generation, Video Editing, Diffusion Transformer, Multimodal Large Language Model, E-commerce, Unified Framework, MLLM

I. Main Problem:​

Các framework thống nhất video generation và editing hiện nay thường dùng mô hình rất lớn (≥13B tham số) và nối token nguồn vào chuỗi mục tiêu, khiến độ dài token tăng gấp đôi và độ phức tạp tính toán của self-attention tăng gấp bốn, dẫn đến chi phí huấn luyện và suy luận quá lớn. Cần một kiến trúc hiệu quả hơn nhưng vẫn đảm bảo chất lượng.

II. Main Idea:​

LoomVideo thay encoder văn bản chuẩn bằng MLLM Qwen3-VL (8B) và dùng cơ chế 'Deepstack injection' để trích xuất đặc trưng từ mọi lớp MLLM rồi đưa vào từng lớp tương ứng của Diffusion Transformer (DiT) qua cross-attention. Cho tác vụ editing, nó dùng 'Scale-and-Add': nhân latent video gốc với timestep hiện tại rồi cộng trực tiếp vào latent đích – không thêm token nào, cắt giảm 5.41x thời gian suy luận. Kỹ thuật 'Negative Temporal RoPE' giúp xử lý nhiều ảnh tham chiếu. Mô hình 5B được huấn luyện ba giai đoạn kết hợp RL.

III. Main Results:​

  • Đạt SOTA trên VBench: điểm trung bình 63.15, vượt Wan 2.2 (62.50).
  • Trên OpenVE-Bench đạt tổng thể 3.15, cạnh tranh với UniVideo 13B (3.05) và VINO 13B (3.07).
  • RefVIE-Bench: LoomVideo (RL) đạt tổng thể 3.78, vượt VINO 13B (3.53) 7%.
  • IntelligentVBench (TIV2V): điểm 4.24, hơn OmniWeaving 8% dù chỉ 5B tham số.
  • FashionVideoBench: đạt tổng thể 4.60, cao hơn mọi baseline (VINO 4.38, UniVideo 4.26).

IV. Conclusion & Future Works:​

LoomVideo chứng minh 5B tham số kết hợp MLLM và Scale-and-Add có thể thống nhất video generation và editing hiệu quả hơn mô hình 13B. Hướng tới: tăng kích thước DiT và hỗ trợ độ phân giải cao hơn (720p/1080p) cùng video dài hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng cơ chế Scale-and-Add cho các tác vụ video-to-video khác như style transfer hay inpainting, đánh giá hiệu quả trên nhiều tập dữ liệu mới.
  2. Xây dựng benchmark chuyên sâu cho thương mại điện tử (FashionVideoBench) và mở rộng thêm các ngành như đồ nội thất, mỹ phẩm để kiểm tra khả năng tổng quát của unified model.
  3. Kết hợp Negative Temporal RoPE với các chiến lược positional encoding khác (ví dụ: rotary, sinusoidal) để tối ưu hóa việc dẫn hướng từ nhiều ảnh tham chiếu trong video generation.

2. Patent:​

  1. Ứng dụng tạo video quảng cáo thời trang trên điện thoại: người dùng chụp ảnh sản phẩm và mô tả văn bản, model sinh video ngắn mô phỏng sản phẩm trong nhiều bối cảnh khác nhau mà không cần quay thực tế.
  2. Công cụ chỉnh sửa video trên thiết bị di động: người dùng thay đổi hành động hoặc quần áo của người trong video chỉ bằng văn bản, tận dụng Scale-and-Add để xử lý nhanh, phù hợp với tài nguyên hạn chế của smartphone.
  3. Hệ thống tạo video đa ảnh tham chiếu cho bán lẻ: khách hàng gửi nhiều ảnh (váy, áo, phụ kiện) và mô tả, mô hình tổng hợp video người mẫu mặc kết hợp các sản phẩm đó, giúp giảm chi phí chụp ảnh thực tế.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06042
ArXiv Abstracthttps://arxiv.org/abs/2606.06042
PDF Downloadhttps://arxiv.org/pdf/2606.06042.pdf
Github Repositoryhttps://github.com/MSALab-PKU/LoomVideo

10. Trust Region Q Adjoint Matching (24 votes)​

Tác giả: Yonghoon Dong, Kyungmin Lee, Changyeon Kim, Jaehyuk Kim, Jinwoo Shin

Xuất bản lúc: 2026-05-26

Tag: Off-Policy RL, Pretrained Flow Policies, Trust Region, Adjoint Matching, Stochastic Optimal Control, Projected Dual Descent

I. Main Problem:​

Việc fine-tuning off-policy cho các chính sách flow đã được huấn luyện trước gặp khó khăn do sự mất ổn định từ quá trình lấy mẫu nhiều bước. Các phương pháp hiện tại như QAM gặp phải lỗi khuếch đại từ critic, đặc biệt khi critic không chính xác, dẫn đến sự sai lệch lớn khỏi chính sách gốc và thậm chí làm sụp đổ mô hình.

II. Main Idea:​

TRQAM đưa tham số trust-region λ trực tiếp vào động lực học lấy mẫu của bài toán điều khiển ngẫu nhiên tối ưu (SOC). Bằng cách chia tỷ lệ hệ số khuếch tán với √λ, KL trên không gian quỹ đạo trở thành một hàm chính xác của λ (định lý Girsanov). Nhờ đó, cập nhật đối ngẫu có thể điều chỉnh λ để thực thi ràng buộc KL mục tiêu ở mức lấy mẫu, thay vì chỉ là một hình phạt ở mức hàm mất mát.

III. Main Results:​

  • TRQAM đạt 68% tỷ lệ thành công trung bình trên 50 tác vụ OGBench offline RL, vượt baseline mạnh nhất (46%) 22 điểm.
  • Cải thiện đáng kể so với các biến thể adjoint matching: QAM (35%) và QAM-E (45%) cùng họ.
  • Lợi ích lớn nhất trên các tác vụ đường dài và tổ hợp (ví dụ: cube-triple, antmaze-giant).
  • Trong offline-to-online RL, TRQAM luôn duy trì vị trí dẫn đầu sau 500K bước fine-tuning online.
  • Trên Robomimic, TRQAM ổn định trong khi QAM và QAM-E bị mất ổn định và sụp đổ hiệu suất.

IV. Conclusion & Future Works:​

TRQAM cung cấp cơ chế trust-region vững chắc cho fine-tuning off-policy của chính sách flow đã huấn luyện trước, giúp ổn định và cải thiện hiệu suất. Hướng phát triển tương lai bao gồm giảm chi phí tính toán của vector-Jacobian product (VJP) trong adjoint ODE và mở rộng sang các mô hình larger-scale.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng TRQAM cho bài toán multi-task RL, nơi một chính sách flow nền tảng được fine-tuning cho nhiều tác vụ khác nhau với các ràng buộc KL riêng biệt, cho phép kiểm soát linh hoạt mức độ sai lệch cho từng tác vụ.
  2. Kết hợp TRQAM với kỹ thuật uncertainty-aware critic để tự động điều chỉnh ngưỡng KL dựa trên độ tin cậy của critic, thay vì cần tìm kiếm siêu tham số εKL thủ công.
  3. Áp dụng tư tưởng trust-region vào SOC cho fine-tuning các mô hình diffusion trong lĩnh vực khác như sinh ảnh hoặc âm thanh, nơi việc kiểm soát sai lệch khỏi phân phối gốc là rất quan trọng.

2. Patent:​

  1. Hệ thống điều khiển robot công nghiệp tự động hiệu chỉnh: Khi thay đổi tác vụ, robot dùng chính sách nền tảng và tự động điều chỉnh tham số λ để giới hạn sai lệch hành động trong một khoảng KL cho phép, đảm bảo an toàn vận hành mà không cần lập trình lại.
  2. Phương pháp fine-tuning trợ lý ảo (chatbot) trên điện thoại: Dựa trên chính sách hội thoại đã huấn luyện sẵn, tham số λ cho phép kiểm soát mức độ chatbot thay đổi phong cách trả lời dựa trên phản hồi của người dùng, tránh các phản hồi lệch chuẩn hoặc không an toàn.
  3. Ứng dụng trong game di động: Tự động fine-tuning hành vi của nhân vật AI dựa trên dữ liệu chơi của game thủ. Tham số λ được điều chỉnh để nhân vật học chiến thuật mới (từ critic) nhưng không đi quá xa hành vi an toàn ban đầu, giữ cho game không bị lỗi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.27079
ArXiv Abstracthttps://arxiv.org/abs/2605.27079
PDF Downloadhttps://arxiv.org/pdf/2605.27079.pdf
Github Repositoryhttps://github.com/yonghdong/trqam

11. Personal AI Agent for Camera Roll VQA (20 votes)​

Tác giả: Thao Nguyen, Krishna Kumar Singh, Donghyun Kim, Yong Jae Lee, Yuheng Li

Xuất bản lúc: 2026-06-03

Tag: VQA, Camera Roll, Personalization, AI Agent, Long-Context, Visual Memory, Retrieval-Augmented

I. Main Problem:​

Các hệ thống quản lý ảnh cá nhân hiện tại (Google Photos, iPhoto) chỉ hỗ trợ tìm kiếm theo từ khóa hoặc nhận diện khuôn mặt, không thể trả lời các câu hỏi giàu ngữ cảnh yêu cầu suy luận xuyên thời gian như 'Tôi đã ăn gì sau khi xem phóng tàu vũ trụ?'. Việc đưa toàn bộ ảnh vào MLLM là bất khả thi vì chi phí token quá lớn, trong khi các phương pháp RAG truyền thống lại chuyển ảnh thành văn bản, làm mất thông tin chi tiết và ngữ cảnh cá nhân hóa.

II. Main Idea:​

Camroll-agent giải quyết vấn đề bằng bộ nhớ phân cấp ba tầng: ảnh thô, chú thích cá nhân hóa (có tích hợp thông tin người dùng và ngữ cảnh thời gian gần), và tóm tắt sự kiện. Nó sử dụng năm công cụ chuyên biệt (search, grep, list, get, view) để tương tác với bộ nhớ này trong vòng lặp ReAct, cho phép tìm kiếm ngữ nghĩa, tìm kiếm chính xác, lọc theo metadata, xem chi tiết bản ghi, và kiểm tra pixel gốc khi cần. Các chú thích được sinh ra có điều kiện dựa trên ảnh đại diện người dùng và cửa sổ ngữ cảnh gần nhất.

III. Main Results:​

  • Camroll-agent đạt 70.5% accuracy trên MCQ và 4.11/10 trên freeform, vượt trội so với các phương pháp RAG (tốt nhất ~53%) và memory layer (~53%).
  • Hiệu quả token vượt trội: chỉ ~3.2k tokens so với ~150k (all captions) và ~750k (all images).
  • Khi xóa công cụ search, hiệu suất giảm mạnh nhất (từ 4.22 xuống 2.88), chứng tỏ tìm kiếm ngữ nghĩa là quan trọng nhất.
  • Bộ nhớ có chú thích cá nhân hóa là then chốt: không có chú thích, điểm tổng thể giảm từ 4.22 xuống 2.29.
  • Hầu hết lỗi (68%) đến từ quyết định kém của agent (sai bằng chứng, bỏ cuộc sớm) chứ không phải từ khả năng hiểu ảnh (17.5%).

IV. Conclusion & Future Works:​

Bộ nhớ phân cấp, tìm kiếm lặp và công cụ chuyên biệt theo miền là yếu tố then chốt cho AI agent tương tác với bộ sưu tập ảnh cá nhân. Công trình hiện tại chủ yếu là benchmark và phân tích; hướng tương lai cần nghiên cứu về tìm kiếm có học, huấn luyện chung, và cá nhân hóa bảo vệ quyền riêng tư.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng kiến trúc hierarchy memory sang các modality khác như email hoặc nhật ký điện tử, so sánh hiệu quả giữa các loại dữ liệu cá nhân hóa khác nhau.
  2. Nghiên cứu học tăng cường cho agent để tự động tối ưu chiến lược tìm kiếm (ví dụ: chọn công cụ nào và khi nào) dựa trên phần thưởng từ độ chính xác và token sử dụng.
  3. Xây dựng cơ chế bảo vệ quyền riêng tư cho agent, cho phép trả lời câu hỏi mà không cần lộ toàn bộ ảnh (ví dụ: chỉ trích xuất đặc trưng cục bộ trên thiết bị).

2. Patent:​

  1. Trợ lý ảo trên điện thoại cho phép tra cứu ảnh bằng câu hỏi ngữ cảnh dài: người dùng hỏi 'Cho xem ảnh món ăn tôi đã thử trong chuyến đi Đà Lạt năm ngoái' và hệ thống tự động tìm kiếm, phân nhóm sự kiện, chọn ảnh phù hợp.
  2. Ứng dụng tự động tạo album kỷ niệm: dựa trên bộ nhớ phân cấp, hệ thống tổng hợp các sự kiện nổi bật trong năm, kèm chú thích cá nhân hóa và gợi ý câu chuyện.
  3. Tính năng tư vấn dựa trên lịch sử ảnh: gợi ý món ăn mới dựa trên những món người dùng chưa từng chụp ảnh hoặc gợi ý địa điểm du lịch dựa trên các chuyến đi đã có.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.05275
ArXiv Abstracthttps://arxiv.org/abs/2606.05275
PDF Downloadhttps://arxiv.org/pdf/2606.05275.pdf
Github Repositoryhttps://github.com/thaoshibe/camroll

12. MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery (19 votes)​

Tác giả: Shangheng Du, Xiangchao Yan, Jinxin Shi, Zongsheng Cao, Shiyang Feng, et al.

Xuất bản lúc: 2026-06-04

Tag: LLM Agents, AutoML, Tree Search, Memory-Augmented Agents, MCTS, Code Generation, Multi-Agent Systems

I. Main Problem:​

Các tác nhân Machine Learning Engineering (MLE) hiện tại gặp ba hạn chế chính: cô lập thông tin giữa các nhánh tìm kiếm, tìm kiếm không có bộ nhớ để tích lũy kinh nghiệm, và thiếu kiểm soát phân cấp giữa lập kế hoạch và sinh mã. Những vấn đề này cản trở khả năng tự tiến hóa bền vững trong các tác vụ tối ưu hóa đường chân trời dài.

II. Main Idea:​

MLEvolve là khung đa tác nhân tự tiến hóa dựa trên LLM, kết hợp ba thành phần chính: (1) Progressive Monte Carlo Graph Search (MCGS) cho phép chia sẻ thông tin chéo nhánh qua các cạnh tham chiếu đồ thị và chuyển dần từ khám phá rộng sang khai thác tập trung nhờ lịch trình tiến hóa lấy cảm hứng từ entropy. (2) Retrospective Memory kết hợp cơ sở tri thức miền khởi động nguội với bộ nhớ động toàn cục để tự động tích lũy và truy xuất kinh nghiệm. (3) Lập kế hoạch phân cấp với sinh mã thích ứng tách biệt chiến lược khỏi cài đặt và chọn chế độ sinh (toàn bộ, từng bước, hoặc chỉnh sửa diff) theo trạng thái tìm kiếm.

III. Main Results:​

  • MLEvolve đạt tỷ lệ huy chương trung bình 65.3% trên MLE-Bench (75 nhiệm vụ) với ngân sách 12 giờ, vượt qua tất cả các phương pháp hiện có.
  • Tỷ lệ huy chương vàng 34.7%, tỷ lệ nộp hợp lệ 100% và tỷ lệ trên median 76.0%.
  • Trên 15 bài toán tối ưu thuật toán từ AlphaEvolve, MLEvolve đạt kết quả tốt nhất ở 11/15 nhiệm vụ, vượt cả AlphaEvolve và AlphaEvolve-v2.
  • Ablation cho thấy việc loại bỏ Progressive MCGS gây suy giảm lớn nhất; loại Retrospective Memory giảm 13.64% tỷ lệ huy chương.

IV. Conclusion & Future Works:​

MLEvolve giải quyết các hạn chế của tác nhân MLE hiện tại thông qua tìm kiếm đồ thị tiến hóa, bộ nhớ hồi tưởng và điều khiển phân cấp. Hướng tương lai có thể mở rộng cơ chế tự tiến hóa sang các lĩnh vực khoa học khác và tối ưu hóa chiến lược khám phá.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp Progressive MCGS với reinforcement learning để tự động tối ưu hóa lịch trình khám phá-khai thác cho từng tác vụ cụ thể thay vì dùng lịch trình cố định.
  2. Mở rộng Retrospective Memory thành bộ nhớ chéo tác vụ, cho phép tác nhân học từ kinh nghiệm của các bài toán MLE khác nhau để cải thiện khả năng khái quát hóa.
  3. Nghiên cứu cơ chế phân cấp sâu hơn với nhiều cấp độ planner-coder, cho phép tác nhân tự động phân rã bài toán phức tạp thành các mô-đun con độc lập có thể tái sử dụng.

2. Patent:​

  1. Hệ thống tự động thiết kế pipeline học máy trên điện thoại: người dùng nhập mô tả bài toán, hệ thống dùng tìm kiếm đồ thị tiến hóa để đề xuất và tối ưu pipeline (tiền xử lý, huấn luyện, đánh giá) mà không cần kiến thức chuyên sâu.
  2. Trợ lý AI cá nhân trên smartphone có khả năng tự cải thiện thuật toán dài hạn: ứng dụng ghi nhớ các lần thử nghiệm trước (cấu hình, lỗi, kết quả) và tự động điều chỉnh chiến lược khám phá để đưa ra giải pháp tốt hơn theo thời gian.
  3. Công cụ debug thông minh cho ứng dụng di động: khi gặp lỗi, hệ thống truy vấn kho lưu trữ kinh nghiệm để tìm cách khắc phục tương tự, đồng thời đề xuất chỉnh sửa mã có mục tiêu (chế độ diff) thay vì viết lại toàn bộ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06473
ArXiv Abstracthttps://arxiv.org/abs/2606.06473
PDF Downloadhttps://arxiv.org/pdf/2606.06473.pdf
Github Repositoryhttps://github.com/InternScience/MLEvolve

13. The Road Ahead in Autonomous Driving: The KITScenes Multimodal Dataset (18 votes)​

Tác giả: Richard Schwarzkopf, Fabian Immel, Alexander Blumberg, Jonas Merkert, Nils Rack, et al.

Xuất bản lúc: 2026-06-01

Tag: Autonomous Driving, Multimodal Dataset, HD Maps, Long-range Lidar, 4D Radar, End-to-End Driving, Neural Rendering

I. Main Problem:​

Các bộ dữ liệu xe tự hành hiện tại thiếu độ trung thực cảm biến, mức độ hoàn chỉnh bản đồ hoặc đa dạng địa lý: phần lớn tập trung ở Bắc Mỹ và châu Á, bỏ qua đô thị châu Âu phức tạp. Hơn nữa, chúng thường không có bản đồ HD đầy đủ cấu trúc giao thông (đèn tín hiệu, biển báo) hoặc kiểm chứng trên stack lái thật, cản trở đánh giá khả năng suy luận không gian cho L4.

II. Main Idea:​

KITScenes Multimodal ra mắt bộ dữ liệu lái xe châu Âu với cảm biến robotaxi cao cấp: camera global-shutter độ phân giải 72.5 Mpx, lidar bước sóng 1550 nm tầm >400 m và mật độ điểm gấp ba so với dataset khác, radar 4D, cùng GNSS/INS dự phòng. Bản đồ HD Lanelet2 phủ 62 km² với 29 lớp làn đường, 120 lớp biển báo, đèn tín hiệu 3D chính xác tái chiếu—được kiểm chứng trên Autoware thật. Bộ dữ liệu giới thiệu bốn benchmark: xây dựng bản đồ HD trực tuyến, ước lượng độ sâu tầm xa (>200 m), tổng hợp góc nhìn mới, và lái end-to-end đa phương thức.

III. Main Results:​

  • Benchmark bản đồ HD: mô hình SOTA như MapTRv2 đạt AP rất thấp (3.0-18.0), bộc lộ gap do độ phức tạp bản đồ thực tế.
  • Độ sâu tầm xa: MapAnything đạt AbsRel 0.149 ở 0-100 m nhưng sụt xuống 0.772 ở >200 m; không mô hình nào tin cậy ở >200 m.
  • Tổng hợp góc nhìn mới: ReconDrive mất >80% recall biển báo ở ±3 m dịch chuyển, cho thấy méo hình học ẩn dưới chỉ số pixel thông thường.
  • Lái end-to-end: Epona (single-step) dẫn đầu với FDE 3.98 m, tỷ lệ không va chạm 98.3% ở tầm 3 s, nhưng vẫn cho thấy domain gap rõ rệt.
  • Lidar KITScenes cung cấp mật độ điểm cao hơn hẳn ở mọi dải khoảng cách, đặc biệt >250 m nơi dataset khác về không.

IV. Conclusion & Future Works:​

KITScenes Multimodal lấp khoảng trống địa lý và cảm biến cho xe tự hành, đồng thời bộc lộ giới hạn của các phương pháp SOTA qua bốn benchmark khó. Hướng tới: bổ sung chú thích đối tượng động (3D box, track), mở rộng quy mô dataset, và cho phép đánh giá closed-loop trong mô phỏng Autoware.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Xây dựng mô hình dự đoán bản đồ HD đầy đủ (gồm biển báo, đèn, topology) bằng GNN: mở rộng MapQR với head topology, vượt qua các benchmark hiện tại chỉ dùng lane primitive.
  2. Phát triển phương pháp ước lượng độ sâu tầm xa (>200 m) bằng cách kết hợp lidar thưa và radar 4D, tận dụng ground truth dày đặc của KITScenes.
  3. Cải thiện tổng hợp góc nhìn mới cho lái xe bằng cách tích hợp bản đồ HD làm ràng buộc hình học, khắc phục méo 3D khi dịch chuyển bên.

2. Patent:​

  1. Ứng dụng bản đồ HD Lanelet2 làm đầu vào cho hệ thống cảnh báo va chạm trên điện thoại: camera điện thoại ước lượng vị trí tương đối với làn đường và biển báo hiện có, cảnh báo người dùng khi đi lệch làn hoặc vượt đèn đỏ mà không cần kết nối xe.
  2. Hệ thống hỗ trợ đỗ xe dùng 4D radar trên ô tô phổ thông: radar phát hiện vật cản và vạch kẻ đường trong mọi điều kiện thời tiết, tái tạo bản đồ đỗ xe ngay lập tức để hướng dẫn người lái vào chỗ.
  3. Dịch vụ bản đồ sống động hiển thị biển báo và đèn tín hiệu 3D lên màn hình điện thoại khi lái xe: kết hợp GNSS và bản đồ KITScenes để chiếu chính xác biển báo lên khung hình thực tế ảo tăng cường, giúp tài xế dễ nhận biết.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.02956
ArXiv Abstracthttps://arxiv.org/abs/2606.02956
PDF Downloadhttps://arxiv.org/pdf/2606.02956.pdf
Github Repositoryhttps://github.com/KIT-MRT/kitscenes

14. Dream.exe: Can Video Generation Models Dream Executable Robot Manipulation? (17 votes)​

Tác giả: Rui Zhao, Kaiming Yang, Jifeng Zhu, Siyang Chen, Ziqi Wang, et al.

Xuất bản lúc: 2026-06-04

Tag: Video Generation, World Models, Robotic Manipulation, Evaluation Benchmark, Physical Executability, Trajectory Extraction

I. Main Problem:​

Các mô hình sinh video ngày càng tạo ra nội dung trực quan ấn tượng, nhưng chưa có cách nào kiểm tra liệu chuyển động trong video có thực sự khả thi trong thế giới vật lý hay không. Các benchmark hiện tại chỉ đánh giá chất lượng hình ảnh, không đo lường tính thực thi vật lý.

II. Main Idea:​

Dream.exe đề xuất một framework đánh giá mới: biến video do mô hình sinh ra thành quỹ đạo robot và thực thi nó trong trình mô phỏng vật lý. Pipeline gồm 4 bước: sinh video từ ảnh và mô tả tác vụ, đánh giá chất lượng trực quan, trích xuất quỹ đạo 3D (dùng tracking, ước lượng độ sâu, và hiệu chỉnh gripper), và cuối cùng là thực thi đóng vòng lặp trong mô phỏng để đo tỷ lệ thành công.

III. Main Results:​

  • Một số mô hình tổng quát đạt tỷ lệ thành công có thể đo lường được mà không cần huấn luyện trên dữ liệu robot, cho thấy tri thức vật lý đã được mã hóa.
  • Chất lượng hình ảnh không tương quan với khả năng thực thi (Pearson r = -0.03): mô hình đẹp nhất thường thất bại khi chạy robot.
  • Chỉ mô hình Kling 3.0 đạt thành công khác không ở tác vụ đa giai đoạn (Level 3) với 6.2% SR-B.
  • Mô hình chuyên robot (CosmosPolicy) dẫn đầu về độ chính xác quỹ đạo nhưng thua mô hình tổng quát về tỷ lệ thành công tác vụ ở Level 2.
  • Fine-tuning trên video robot cải thiện hình thức nhưng không cải thiện vật lý nền tảng.

IV. Conclusion & Future Works:​

Các tiên nghiệm sinh từ dữ liệu internet mã hóa chuyển động vật lý có ý nghĩa, nhưng chất lượng hình ảnh không dự đoán được tính thực thi. Hiện tại, tác vụ dài hạn vẫn là thách thức lớn. Dream.exe cung cấp công cụ chẩn đoán để thu hẹp khoảng cách này.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển pipeline trích xuất quỹ đạo từ video không cần camera đã hiệu chỉnh, dùng ước lượng độ sâu monocular thích ứng với nhiều khung cảnh khác nhau.
  2. Nghiên cứu phương pháp fine-tuning có mục tiêu để cải thiện tính vật lý của mô hình sinh video thay vì chỉ cải thiện hình thức.
  3. Mở rộng Dream.exe sang robot thật, đánh giá độ trễ và nhiễu thực tế ảnh hưởng thế nào đến khả năng thực thi từ video.

2. Patent:​

  1. Hệ thống kiểm tra an toàn cho robot nhà bếp: sinh video mô phỏng thao tác, trích xuất quỹ đạo và chạy thử trong mô phỏng trước khi cho robot thật thực hiện để tránh va chạm.
  2. Ứng dụng trên điện thoại cho phép người dùng quay video tay người thao tác đồ vật, hệ thống tự động chuyển thành chương trình robot để dạy robot làm việc nhà.
  3. Công cụ gỡ lỗi cho nhà phát triển robot: nhập video mô phỏng thao tác, hệ thống phân tích và chỉ ra lỗi vật lý (ví dụ: vật thể lơ lửng, nắm hụt) trước khi triển khai.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.04811
ArXiv Abstracthttps://arxiv.org/abs/2606.04811
PDF Downloadhttps://arxiv.org/pdf/2606.04811.pdf
Github Repositoryhttps://github.com/showlab/Dream.exe

15. Complexity-Balanced Diffusion Splitting (17 votes)​

Tác giả: Noam Issachar, Dani Lischinski, Raanan Fattal

Xuất bản lúc: 2026-06-04

Tag: Diffusion Models, Flow Matching, Temporal Partitioning, Domain Decomposition, Approximation Theory, Model Capacity Allocation, Image Generation

I. Main Problem:​

Các mô hình sinh dạng continuous-time hiện nay dùng một kiến trúc monolithic duy nhất cho toàn bộ quá trình khử nhiễu, từ nhiễu đẳng hướng đến dữ liệu phức tạp. Việc tăng kích thước mô hình một cách đồng đều trên mọi bước thời gian là kém hiệu quả, vì không vùng nào thực sự cần toàn bộ năng lực đó, dẫn đến lãng phí tài nguyên tính toán.

II. Main Idea:​

Complexity-Balanced Splitting (CBS) phân chia timeline diffusion thành các đoạn có độ phức tạp xấp xỉ bằng nhau, dựa trên nguyên lý equidistribution của de Boor. Để đo độ phức tạp cục bộ, CBS đề xuất hai monitor function: một dùng năng lượng Dirichlet của trường vận tốc (đo biến thiên không gian), và một dùng gia tốc quỹ đạo mẫu (đo độ cong hình học). Một mô hình phụ trợ nhẹ được huấn luyện để ước lượng các đại lượng này, từ đó xác định ranh giới phân vùng tối ưu mà không cần tìm kiếm tham số tốn kém.

III. Main Results:​

  • CBS cải thiện FID ~35% trên SiT-XL với Classifier-Free Guidance so với phân chia đều thông thường.
  • Trên ImageNet-256, SiT-B/2 với CBS đạt FID 30.51 (không CFG) và 10.72 (có CFG), vượt baseline monolithic và uniform-split.
  • Kết quả nhất quán trên nhiều kiến trúc (SiT, JiT, UNet) và dataset (ImageNet-64, CIFAR-10).
  • Ranh giới thời gian từ CBS gần với nghiệm tối ưu tìm được bằng tìm kiếm tham số (Sect. 4.3).
  • Ước lượng monitor function chỉ cần mô hình phụ trợ nhỏ (SiT-S, 10% dữ liệu, 50K iterations) mà vẫn cho kết quả phân vùng ổn định.

IV. Conclusion & Future Works:​

CBS chứng minh rằng phân bổ năng lực mô hình dựa trên độ phức tạp của flow field giúp nâng cao chất lượng sinh mà không tăng chi phí suy luận. Vì các monitor function phản ánh tính chất hình học cơ bản, ranh giới có thể ước lượng trước khi huấn luyện với chi phí thấp. Hướng phát triển: mở rộng equidistribution sang phân chia không gian (routing token giữa các network) thay vì chỉ thời gian.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CBS sang các kiến trúc MoE động: kết hợp phân vùng thời gian với routing dựa trên độ phức tạp để tối ưu cả chi phí huấn luyện và suy luận.
  2. Áp dụng nguyên lý equidistribution cho video generation: phân chia timeline video thành các đoạn có độ phức tạp chuyển động khác nhau, phân bổ network chuyên biệt cho từng đoạn.
  3. Kết hợp CBS với knowledge distillation: dùng mô hình phụ trợ nhẹ hơn để học monitor function, sau đó phân phối năng lực cho các student network nhỏ hơn.

2. Patent:​

  1. Ứng dụng trên điện thoại thông minh: module chụp ảnh tăng cường chất lượng ảnh bằng diffusion model, tự động phân bổ tài nguyên tính toán khác nhau cho các giai đoạn khử nhiễu (ví dụ: dùng nhiều compute hơn cho giai đoạn tạo chi tiết).
  2. Hệ thống tạo ảnh nghệ thuật trên đám mây: phân chia workload sinh ảnh thành các segment độ phức tạp khác nhau, mỗi segment được xử lý bởi một mô hình chuyên biệt, giúp giảm latency và chi phí server.
  3. Tính năng chỉnh sửa ảnh real-time trên di động: khi người dùng vẽ nét hoặc thay đổi vùng ảnh, hệ thống tự động ước lượng độ phức tạp của vùng cần sửa, chỉ kích hoạt network mạnh nhất ở các vùng có chi tiết cao để tiết kiệm pin.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06477
ArXiv Abstracthttps://arxiv.org/abs/2606.06477
PDF Downloadhttps://arxiv.org/pdf/2606.06477.pdf
Github Repositoryhttps://github.com/NoamIssachar/Complexity-Balanced-Splitting

16. Unsupervised Skill Discovery for Agentic Data Analysis (12 votes)​

Tác giả: Zhisong Qiu, Kangqi Song, Shengwei Tang, Shuofei Qiao, Lei Liang, et al.

Xuất bản lúc: 2026-06-04

Tag: Unsupervised Skill Discovery, Data Analysis Agents, LLM Agents, Skill Distillation, Verifier-guided Learning, Deep Data Research, DABStep

I. Main Problem:​

Khám phá kỹ năng (skills) hiệu quả cho tác nhân phân tích dữ liệu còn nhiều thách thức vì cần giám sát chi phí cao và tiêu chí thành công thay đổi giữa các dạng bài—báo cáo mở so với suy luận đáp án cố định. Hiện tại, thiếu một cơ chế không giám sát để tự động rút ra quy trình phân tích tái sử dụng từ dữ liệu tương tác không nhãn.

II. Main Idea:​

DataCOPE là khung khám phá kỹ năng không giám sát dựa trên bộ xác thực tự sinh (unsupervised verifier). Nó phối hợp ba thành phần: Agent phân tích dữ liệu sinh quỹ đạo, Unsupervised Verifier trích tín hiệu tương đối (chất lượng/đồng thuận) từ quỹ đạo đó mà không cần nhãn, và Skill Manager đối chiếu các nhóm quỹ đạo để chưng cất kỹ năng. Với bài báo cáo, verifier dùng checklist thích ứng để chấm điểm; với bài suy luận, verifier gom cụm câu trả lời rồi dùng self-consistency làm tín hiệu phụ trợ. Quá trình lặp qua các vòng: sinh quỹ đạo, xác thực không giám sát, chưng cất đối chiếu rồi cập nhật kỹ năng.

III. Main Results:​

  • Trên Deep Data Research, DataCOPE nâng điểm trung bình của bốn mô hình từ 47.39% lên 57.10% (tăng 9.71%).
  • Trên DABStep, tăng điểm trung bình từ 29.14% lên 61.44% (tăng 32.30%), đặc biệt ở nhóm bài hard.
  • Cải thiện nhất quán trên tất cả models (Claude, GPT, DeepSeek, Qwen) và chuyển giao (transfer) tốt giữa các mô hình với nhau.
  • Bỏ verifier (chỉ dùng toàn bộ quỹ đạo) làm giảm hiệu suất: trên 10-K từ 67.12% xuống 53.32%; trên DABStep từ 62.82% xuống 53.85%.
  • Kỹ năng khám phá được giảm 41-73% token/task so với baseline không kỹ năng với cùng mức tương tác.

IV. Conclusion & Future Works:​

DataCOPE chứng minh khám phá kỹ năng không giám sát bằng tín hiệu từ bộ xác thực tự sinh là một hướng hiệu quả, có thể cải thiện tác nhân phân tích dữ liệu mà không cần nhãn người. Hướng tới: tối ưu hóa chiến lược thăm dò chủ động và mở rộng sang các dạng phân tích dữ liệu khác (hình ảnh, chuỗi thời gian).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng DataCOPE sang các miền khác (y tế, tài chính) với các verifier đặc thù miền tự thích ứng, kiểm tra tính khái quát của khung khám phá kỹ năng không giám sát.
  2. Kết hợp verifier đa chiều (ngoài checklist và self-consistency) cho bài toán báo cáo mở, như kiểm tra mức độ trích dẫn dữ liệu hoặc tính hợp lý của insight.
  3. Nghiên cứu ảnh hưởng của độ mịn kỹ năng (skill granularity) lên khả năng chuyển giao và hiệu quả, xây dựng cơ chế tự động chọn mức phân mảnh tối ưu.

2. Patent:​

  1. Hệ thống tự động tạo checklist chất lượng cho báo cáo kinh doanh: sau mỗi lần agent sinh báo cáo, checklist được cập nhật dựa trên báo cáo điểm cao/điểm thấp, giúp quản lý nhanh chóng phát hiện thiếu sót mà không cần đọc toàn bộ.
  2. Trên điện thoại, ứng dụng trợ lý phân tích dữ liệu cá nhân: người dùng nhập truy vấn (VD 'doanh thu tháng nào cao nhất?'), agent thử nhiều cách phân tích, gom cụm kết quả giống nhau rồi chọn cụm đông nhất làm câu trả lời cuối cùng, cải thiện độ tin cậy.
  3. Module tự điều chỉnh kỹ năng cho chatbot dịch vụ khách hàng: chatbot ghi lại các hội thoại thành công/thất bại, verifier tự sinh tiêu chí so sánh (VD mức độ hài lòng ngầm), rồi chưng cất quy tắc ứng xử mới mà không cần nhân viên đánh giá.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06416
ArXiv Abstracthttps://arxiv.org/abs/2606.06416
PDF Downloadhttps://arxiv.org/pdf/2606.06416.pdf
Github RepositoryN/A

17. AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding (10 votes)​

Tác giả: Qize Yu, Jiadi You, Yuran Wang, Jiaqi Liang, Bowen Ping, et al.

Xuất bản lúc: 2026-06-04

Tag: Vision-Language-Action, Affordance, Robotic Manipulation, Mixture-of-Transformers, Intermediate Representation, Data Augmentation

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) hiện tại gặp khó khăn do sự không tương thích giữa không gian ngữ nghĩa của VLM và không gian điều khiển vật lý 3D. Việc học ánh xạ trực tiếp từ quan sát và ngôn ngữ sang hành động thường thiếu độ chính xác và khả năng khái quát hóa. Điều này đòi hỏi một biểu diễn trung gian phù hợp để kết nối nhận thức và hành động.

II. Main Idea:​

AffordanceVLA đề xuất một khung thống nhất sử dụng dự đoán affordance có cấu trúc làm nhiệm vụ trung gian. Mô hình tích hợp ba thành phần bổ sung: Which2Act để gắn kết đối tượng trong tầm nhìn tiềm ẩn, Where2Act để xác định vị trí tương tác 2D, và How2Act để suy luận hình học 3D. Kiến trúc Mixture-of-Transformer (MoT) với các chuyên gia chuyên biệt (hiểu ngữ nghĩa, sinh affordance và điều khiển) được tối ưu qua chiến lược huấn luyện ba giai đoạn để dung hòa tri thức đa phương thức. Một pipeline tăng cường dữ liệu tự động cũng được phát triển để khắc phục thiếu nhãn affordance trong các tập dữ liệu robot.

III. Main Results:​

  • Trên LIBERO, AffordanceVLA đạt 95.8% tỷ lệ thành công trung bình, vượt qua các baseline mạnh như Pi0 (94.4%) và F1-VLA (95.7%).
  • Trên CALVIN ABC→D, mô hình hoàn thành 75.9% chuỗi 5 tác vụ với độ dài trung bình 4.33, dẫn trước Seer-Large (74.0%, 4.28).
  • Bỏ qua giai đoạn II suy giảm đáng kể khả năng tổng quát OOD (CALVIN từ 4.33 xuống 3.81).
  • Mô hình không affordance (No-Afd) chỉ cải thiện nhẹ, chứng tỏ affordance có cấu trúc mang lại lợi ích vượt trội hơn dữ liệu đơn thuần.
  • Cả ba module Which2Act, Where2Act và How2Act đều quan trọng: loại bỏ How2Act làm CALVIN giảm mạnh nhất (4.01).

IV. Conclusion & Future Works:​

AffordanceVLA chứng minh affordance có cấu trúc là cầu nối hiệu quả giữa nhận thức ngôn ngữ và điều khiển robot, với tỷ lệ thành công cạnh tranh và khả năng tổng quát tốt. Hướng phát triển tương lai có thể bao gồm mở rộng cho các tác vụ tuần tự dài hạn hơn và kết hợp bộ nhớ dài hạn rõ ràng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung affordance sang điều khiển đa robot: mỗi robot dùng affordance chung để phối hợp tác vụ phức tạp mà không cần giao tiếp trực tiếp.
  2. Nghiên cứu tích hợp affordance với mô hình thế giới video để robot dự đoán hậu quả hành động dài hạn hơn, tăng cường khả năng lập kế hoạch.
  3. Phát triển phương pháp học affordance từ video người không nhãn: dùng affordance như biểu diễn tiềm ẩn để robot bắt chước hành động phức tạp.

2. Patent:​

  1. Hệ thống điều khiển robot gia đình qua điện thoại: người dùng chụp ảnh và nói lệnh; điện thoại gửi ảnh đến đám mây, mô hình phân tích affordance (vật nào, chạm đâu, tư thế ra sao) rồi trả về lệnh điều khiển cho robot thực hiện.
  2. Phần mềm hướng dẫn lắp ráp đồ nội thất: camera điện thoại quét bộ phận, hiển thị affordance dạng chấm tròn và mũi tên trên màn hình chỉ vị trí cầm và hướng xoay, giúp người dùng lắp đúng mà không cần đọc hướng dẫn.
  3. Ứng dụng thực tế ảo mua sắm nội thất: người dùng chụp phòng; mô hình dự đoán affordance của đồ vật (ghế có thể ngồi, tay nắm có thể kéo) và đề xuất cách bố trí tối ưu dựa trên affordance đó.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06155
ArXiv Abstracthttps://arxiv.org/abs/2606.06155
PDF Downloadhttps://arxiv.org/pdf/2606.06155.pdf
Github Repositoryhttps://github.com/Skywalker-yqz/AffordanceVLA

18. MAOAM: Unified Object and Material Selection with Vision-Language Models (10 votes)​

Tác giả: Jaden Park, Valentin Deschaintre, Jason Kuen, Kangning Liu, Iliyan Georgiev, et al.

Xuất bản lúc: 2026-06-02

Tag: Vision-Language Model, Image Segmentation, Object Selection, Material Selection, Click Interaction, Text Prompt, Unified Model

I. Main Problem:​

Các phương pháp chọn vùng ảnh hiện tại dựa trên Vision-Language Models (VLM) chỉ hỗ trợ chọn đối tượng, bỏ qua việc chọn chất liệu (material). Hơn nữa, chúng thường chỉ nhận một loại tương tác duy nhất (click hoặc text), gây khó khăn cho người dùng khi cần mô tả chính xác vùng muốn chọn, đặc biệt khi kết hợp cả đối tượng và chất liệu.

II. Main Idea:​

MAOAM là một framework thống nhất cho phép chọn cả đối tượng và chất liệu thông qua click và text. Mô hình dùng VLM kết hợp với bộ giải mã (segmentation head) để tạo mask chính xác: VLM hiểu ý định người dùng và mã hóa thông tin, còn bộ giải mã chuyển token đầu ra thành mask. Vì thiếu dữ liệu chất liệu có chú thích text, nhóm nghiên cứu xây dựng pipeline tự động sinh mô tả chất liệu phong phú từ ảnh thực và tổng hợp. Mô hình được huấn luyện đa nhiệm trên click, text và VQA, giúp cải thiện khả năng hiểu chất liệu mà vẫn giữ hiệu năng chọn đối tượng.

III. Main Results:​

  • MAOAM vượt trội so với các baseline (Sa2VA, LISA, GLaMM) về chọn chất liệu, với mIoU trung bình 67.5% trên text và 35.5% trên click.
  • Trên chọn đối tượng, MAOAM vẫn duy trì hiệu năng cạnh tranh (ví dụ: 80.9% mIoU trên RefCOCO, vượt GLaMM 33.9%).
  • Khả năng kết hợp click và text tại inference cải thiện đáng kể chất lượng mask dù không được huấn luyện với dữ liệu đa phương thức.
  • Huấn luyện chung trên chất liệu và đối tượng không làm giảm hiệu năng chọn chất liệu.
  • Dữ liệu tổng hợp (SynMat) bổ sung tốt cho dữ liệu thật, cải thiện mIoU lên tới 9.15%.

IV. Conclusion & Future Works:​

MAOAM chứng minh khả năng chọn thống nhất đối tượng và chất liệu qua click và text, mở ra hướng mới cho biên tập ảnh tương tác. Hạn chế hiện tại là giới hạn suy luận của VLM và độ chính xác mask từ SAM decoder. Hướng tới có thể cải thiện bằng chain-of-thought hoặc module tinh chỉnh mask.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu khả năng mở rộng của MAOAM cho các tác vụ chọn theo thuộc tính khác (ví dụ: kết cấu, độ bóng) ngoài chất liệu thông thường.
  2. Phát triển pipeline sinh dữ liệu chất liệu tự động với đa dạng câu mô tả phức tạp hơn để cải thiện khả năng hiểu ngữ nghĩa của mô hình.
  3. Đánh giá hiệu quả của việc tích hợp thêm thông tin không gian 3D hoặc thông tin ánh sáng vào MAOAM để chọn chất liệu chính xác hơn trong cảnh phức tạp.

2. Patent:​

  1. Ứng dụng MAOAM vào ứng dụng chỉnh sửa ảnh trên điện thoại: người dùng có thể gõ 'chọn tất cả đồ gỗ' hoặc 'chọn vật liệu kim loại' và nhấn vào vùng bất kỳ để chọn chính xác, hỗ trợ thay đổi màu sắc hoặc kết cấu đồng loạt.
  2. Hệ thống tô màu lại vật liệu trong ảnh chụp nội thất: người dùng nói 'đổi gỗ óc chó thành gỗ sáng' và mô hình tự động chọn vùng gỗ rồi áp dụng hiệu ứng mới, giúp nhà thiết kế dễ dàng thử nghiệm.
  3. Công cụ chọn vùng dựa trên chất liệu cho video: người dùng click lên một điểm vật liệu trong khung hình, mô hình tự động theo dõi và chọn vùng cùng chất liệu trên toàn bộ video, phục vụ hiệu ứng đồng bộ hoặc thay đổi kết cấu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.04880
ArXiv Abstracthttps://arxiv.org/abs/2606.04880
PDF Downloadhttps://arxiv.org/pdf/2606.04880.pdf
Github Repositoryhttps://github.com/adobe-research/obj-and-mat-selection