🤗 Daily Hugging Face Paper Digest - 2026-04-10

Báo cáo được tạo tự động vào lúc 2026-04-11 10:09:11 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. Rethinking Generalization in Reasoning SFT: A Conditional Analysis on Optimization, Data, and Model Capability (156 votes)

Tác giả: Qihan Ren, Peng Wang, Ruikun Cai, Shuai Shao, Dadi Guo, Yuejin Xie, Yafu Li, Quanshi Zhang, Xia Hu, Jing Shao, Dongrui Liu

Xuất bản lúc: 2026-04-08

Tag: LLMs, SFT, Generalization, Reasoning, Chain-of-Thought, Optimization, Data Quality, Model Capability, Safety

I. Main Problem:

Quan điểm phổ biến cho rằng Supervised Fine-tuning (SFT) trong Large Language Models (LLMs) chủ yếu dẫn đến việc ghi nhớ (memorization) và không khái quát hóa (generalization) tốt ra ngoài miền dữ liệu huấn luyện, đặc biệt là so với Reinforcement Learning (RL). Các nghiên cứu trước đây thường báo cáo SFT thất bại trong việc khái quát hóa các tác vụ suy luận phức tạp. Vấn đề cốt lõi là liệu những thất bại này là bản chất của SFT hay chỉ là kết quả của các điều kiện thử nghiệm cụ thể như tối ưu hóa chưa đủ, dữ liệu kém chất lượng, hoặc mô hình cơ sở yếu.

II. Main Idea:

Nghiên cứu này thách thức quan điểm cho rằng SFT không khái quát hóa, đặc biệt trong các tác vụ suy luận (reasoning) với Chain-of-Thought (CoT) dài. Ý tưởng chính là khả năng khái quát hóa của SFT không phải là một thuộc tính cố định mà mang tính có điều kiện, được định hình bởi ba yếu tố chính: 1. Động lực tối ưu hóa (Optimization Dynamics): Khái quát hóa không diễn ra tuyến tính mà theo mô hình "suy giảm rồi phục hồi" (dip-and-recovery), việc huấn luyện ngắn có thể đánh giá thấp tiềm năng khái quát hóa. 2. Dữ liệu huấn luyện (Training Data): Chất lượng và cấu trúc dữ liệu đóng vai trò quan trọng, dữ liệu CoT dài, chất lượng cao, đã được xác minh có thể truyền tải các mẫu thủ tục (procedural patterns) có khả năng khái quát hóa. 3. Khả năng của mô hình cơ sở (Base-Model Capability): Các mô hình mạnh hơn có khả năng nội hóa các mẫu suy luận có thể chuyển giao, trong khi các mô hình yếu hơn chỉ bắt chước sự dài dòng bề mặt. Nghiên cứu cũng chỉ ra rằng khái quát hóa mang tính bất đối xứng: hiệu suất suy luận được cải thiện nhưng an toàn (safety) lại suy giảm.

III. Main Results:

Mô hình "suy giảm rồi phục hồi": Hiệu suất khái quát hóa ngoài miền (OOD) ban đầu suy giảm sau đó phục hồi và cải thiện vượt trội so với mô hình cơ sở khi được huấn luyện kéo dài. Các điểm kiểm tra huấn luyện ngắn có thể đánh giá thấp đáng kể khả năng khái quát hóa.
Tầm quan trọng của dữ liệu: Dữ liệu CoT dài, đã được xác minh mang lại lợi ích khái quát hóa rộng rãi trên nhiều miền. Ngược lại, các giải pháp chất lượng thấp làm suy giảm hiệu suất khái quát hóa. Dữ liệu CoT dài từ một trò chơi số học đơn giản (Countdown) cũng có thể cải thiện hiệu suất suy luận trên các chuẩn toán, mã và khoa học, cho thấy các mẫu thủ tục (ví dụ: quay lui, xác minh) có thể khái quát hóa.
Vai trò của khả năng mô hình: Các mô hình cơ sở mạnh hơn (ví dụ: Qwen3-14B) thể hiện khả năng khái quát hóa rộng rãi trên nhiều miền khi được huấn luyện trên cùng dữ liệu CoT dài, trong khi các mô hình yếu hơn (ví dụ: Qwen3-1.7B) chỉ đạt được lợi ích nhỏ hoặc tiêu cực, có xu hướng bắt chước sự dài dòng bề mặt thay vì nội hóa các mẫu suy luận thực sự.
Khái quát hóa bất đối xứng: Mặc dù hiệu suất suy luận được cải thiện rộng rãi, SFT với CoT dài làm suy yếu đáng kể tính an toàn của mô hình, dẫn đến việc tự hợp lý hóa (self-rationalize) và tạo ra nội dung độc hại. Sự suy giảm an toàn này chủ yếu do các mẫu thủ tục trong CoT dài gây ra, chứ không phải nội dung miền.

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng khả năng khái quát hóa xuyên miền trong SFT suy luận không phải là không có mà mang tính có điều kiện, phụ thuộc vào sự tối ưu hóa đầy đủ, chất lượng và cấu trúc dữ liệu, và khả năng của mô hình cơ sở. Các điểm kiểm tra huấn luyện ngắn có thể đánh giá thấp lợi ích khái quát hóa cuối cùng. Dữ liệu CoT dài, đã được xác minh với các mẫu suy luận thủ tục mang lại khả năng chuyển giao mạnh mẽ hơn. Các mô hình có khả năng cao hơn nội hóa các mẫu này hiệu quả hơn các mô hình yếu hơn. Khái quát hóa này cũng bất đối xứng: lợi ích suy luận luôn đi kèm với sự suy giảm an toàn. Câu hỏi đúng đắn không phải là liệu SFT suy luận có khái quát hóa hay không, mà là trong điều kiện nào nó khái quát hóa và với cái giá nào.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa đa mục tiêu cho SFT suy luận: Nghiên cứu các chiến lược tối ưu hóa mới nhằm cân bằng giữa việc cải thiện khả năng suy luận và duy trì tính an toàn của mô hình trong SFT với CoT dài. Điều này có thể bao gồm việc kết hợp các hàm mất mát (loss functions) hoặc kỹ thuật điều chỉnh (regularization techniques) để ngăn chặn sự suy giảm an toàn mà không ảnh hưởng đến khả năng khái quát hóa.
Phân tích sự chuyển giao của các mẫu suy luận trừu tượng: Khám phá sâu hơn các loại mẫu suy luận trừu tượng (ví dụ: lập kế hoạch, phân tích trường hợp, thử và sai) nào là hiệu quả nhất để chuyển giao qua các miền khác nhau. Nghiên cứu có thể tập trung vào việc thiết kế dữ liệu huấn luyện CoT tổng hợp (synthetic CoT data) để tối đa hóa việc học các mẫu này ở các mô hình có kích thước khác nhau.
Đánh giá tác động của kiến trúc mô hình đến khả năng nội hóa CoT: Nghiên cứu cách các thay đổi trong kiến trúc mô hình (ví dụ: cơ chế chú ý, kích thước bộ nhớ, loại transformer block) ảnh hưởng đến khả năng của mô hình trong việc nội hóa các mẫu suy luận từ CoT dài, thay vì chỉ bắt chước sự dài dòng bề mặt, đặc biệt đối với các mô hình có năng lực thấp hơn.

2. Patent:

Hệ thống chẩn đoán tối ưu hóa mô hình AI trên thiết bị di động: Một ứng dụng di động sử dụng các chỉ số như chiều dài phản hồi của mô hình để chẩn đoán trạng thái tối ưu hóa của các mô hình AI nhỏ đang được tinh chỉnh cục bộ trên điện thoại. Ứng dụng này có thể đưa ra khuyến nghị cho người dùng về việc tiếp tục huấn luyện hoặc điều chỉnh các tham số để đạt được hiệu suất tốt hơn, tránh tình trạng tối ưu hóa chưa đủ hoặc quá mức.
Bộ lọc nội dung an toàn dựa trên phát hiện "tự hợp lý hóa" cho AI trên điện thoại: Phát triển một tính năng bảo mật tích hợp vào ứng dụng AI trên điện thoại, có khả năng nhận diện các "mẫu tự hợp lý hóa" trong quá trình suy luận nội bộ của mô hình (tương tự như cách mô hình tự biện minh cho việc tạo nội dung độc hại). Khi phát hiện các mẫu này, hệ thống sẽ cảnh báo người dùng, chặn phản hồi tiềm năng độc hại, hoặc yêu cầu xác nhận từ người dùng trước khi hiển thị kết quả.
Cải thiện khả năng suy luận trên thiết bị thông qua dữ liệu CoT được cấu trúc hóa: Một phương pháp cho phép người dùng điện thoại tạo hoặc tinh chỉnh dữ liệu Chain-of-Thought (CoT) đã được cấu trúc hóa từ các tác vụ hàng ngày (ví dụ: lên kế hoạch chuyến đi, giải quyết vấn đề đơn giản) để cải thiện khả năng suy luận của các mô hình AI cục bộ. Hệ thống sẽ tối ưu hóa việc học các mẫu thủ tục cơ bản từ dữ liệu này, giúp mô hình trên điện thoại thực hiện các tác vụ phức tạp hơn một cách hiệu quả mà không cần kết nối đám mây liên tục.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.06628
ArXiv Abstract	https://arxiv.org/abs/2604.06628
PDF Download	https://arxiv.org/pdf/2604.06628.pdf
Github Repository	https://github.com/Nebularaid2000/rethink_sft_generalization

2. SkillClaw: Let Skills Evolve Collectively with Agentic Evolver (147 votes)

Tác giả: Ziyu Ma, Shidong Yang, Yuxiang Ji, Xucong Wang, Yong Wang, Yiming Hu, Tongwen Huang, Xiangxiang Chu

Xuất bản lúc: 2026-04-09

Tag: LLMs, Agent, Skill Evolution, Multi-user, Autonomous Agents, Continual Learning

I. Main Problem:

Các tác nhân mô hình ngôn ngữ lớn (LLM) hiện tại dựa vào các kỹ năng tĩnh, không thay đổi sau khi triển khai. Điều này dẫn đến việc các quy trình làm việc, cách sử dụng công cụ và lỗi tương tự liên tục được tái phát hiện giữa nhiều người dùng, ngăn cản hệ thống cải thiện theo kinh nghiệm. Các hệ thống hiện có thiếu cơ chế để chuyển đổi kinh nghiệm đa dạng từ người dùng thành các bản cập nhật kỹ năng đáng tin cậy, khiến kiến thức không tích lũy được ở cấp độ hệ thống.

II. Main Idea:

SkillClaw là một framework cho phép các kỹ năng tiến hóa một cách tập thể trong hệ sinh thái tác nhân đa người dùng. Nó coi các tương tác giữa nhiều người dùng và theo thời gian là tín hiệu chính để cải thiện kỹ năng. SkillClaw liên tục tổng hợp các "quỹ đạo" (trajectories) được tạo ra trong quá trình sử dụng và xử lý chúng bằng một "bộ tiến hóa tác nhân" (agentic evolver) tự động. Bộ tiến hóa này xác định các mẫu hành vi lặp lại và chuyển đổi chúng thành các bản cập nhật cho bộ kỹ năng, bằng cách tinh chỉnh các kỹ năng hiện có hoặc mở rộng chúng với các khả năng mới. Các kỹ năng được cập nhật sau đó được duy trì trong một kho lưu trữ chung và đồng bộ hóa giữa các người dùng, cho phép các cải tiến được phát hiện trong một ngữ cảnh lan truyền trên toàn hệ thống mà không yêu cầu thêm nỗ lực từ người dùng. SkillClaw hoạt động theo một vòng lặp đóng: Tương tác đa người dùng → Thu thập phiên → Tiến hóa kỹ năng → Đồng bộ hóa kỹ năng.

III. Main Results:

Các thử nghiệm trên WildClawBench với mô hình Qwen3-Max đã chứng minh rằng SkillClaw cải thiện đáng kể hiệu suất trong các kịch bản tác nhân thực tế. Trong vòng 6 ngày, tất cả bốn danh mục thử nghiệm đều cho thấy sự tiến hóa nhất quán và tăng hiệu suất:

Tương tác xã hội (Social Interaction): Tăng từ 54.01% lên 60.34% (+11.72%), cải thiện sớm nhất và rõ rệt nhất.
Tìm kiếm & Truy xuất (Search & Retrieval): Tăng từ 22.73% lên 34.55% (+52.00%), cải thiện theo từng giai đoạn, giải quyết các vấn đề xác thực đầu vào trước rồi đến lập kế hoạch cấp cao.
Tổng hợp sáng tạo (Creative Synthesis): Tăng từ 11.57% lên 21.80% (+88.41%), đạt được bước nhảy vọt lớn nhờ thiết lập môi trường thực thi đáng tin cậy.
An toàn & Căn chỉnh (Safety & Alignment): Tăng từ 24.00% lên 32.00% (+33.33%), cải thiện về độ tin cậy thực thi trong môi trường thực tế. Ngoài ra, xác thực có kiểm soát trên các truy vấn tùy chỉnh cho thấy mức tăng trung bình +42.1%, đặc biệt hiệu quả khi các lỗi phát sinh từ kiến thức thủ tục bị thiếu hoặc không chính xác.

IV. Conclusion & Future Works:

SkillClaw là một framework cho phép tiến hóa kỹ năng tập thể, tự động hoàn toàn và thích ứng theo tác nhân. Nó biến các tương tác người dùng riêng lẻ thành một bộ kỹ năng chung, liên tục được cải thiện theo thời gian. Trong tương lai, việc mở rộng quy mô số lượng người dùng, kéo dài thời gian và đưa vào các tác vụ cũng như điều kiện xác thực đa dạng hơn có thể làm phong phú thêm quỹ đạo tiến hóa và cải thiện hơn nữa hiệu suất hệ thống.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về cơ chế tiến hóa kỹ năng đa tác nhân với phản hồi không đồng nhất: Khám phá cách các tác nhân LLM có thể học hỏi và cải thiện kỹ năng của mình một cách tự động thông qua việc tổng hợp phản hồi đa dạng (thành công, thất bại, tương tác người dùng) từ nhiều người dùng và môi trường khác nhau, đặc biệt tập trung vào việc xử lý tín hiệu không đồng nhất và độ tin cậy của chúng.
Phát triển phương pháp xác thực kỹ năng tự động trong môi trường thực tế ảo: Nghiên cứu các kỹ thuật tiên tiến để tự động xác thực các kỹ năng được cập nhật trong môi trường mô phỏng hoặc thực tế ảo, đảm bảo rằng các cải tiến không chỉ hiệu quả trong môi trường thử nghiệm mà còn ổn định và đáng tin cậy khi triển khai thực tế. Điều này có thể bao gồm việc sử dụng các mô hình học tăng cường để kiểm tra kỹ năng trong các kịch bản biên.
Mở rộng khung SkillClaw cho các tác vụ đa phương thức và môi trường phức tạp hơn: Điều tra cách tích hợp và tiến hóa các kỹ năng liên quan đến xử lý đa phương thức (ví dụ: hình ảnh, video, âm thanh) và tương tác trong các môi trường kỹ thuật số phức tạp hơn (ví dụ: phát triển phần mềm, thiết kế đồ họa), vượt ra ngoài các tác vụ năng suất truyền thống.

2. Patent:

Hệ thống trợ lý di động tự cải thiện tác vụ: Một ứng dụng trợ lý ảo trên điện thoại di động có khả năng học hỏi và tự động cải thiện các quy trình thực hiện tác vụ (ví dụ: đặt lịch hẹn, gửi email theo mẫu, quản lý ảnh) dựa trên phản hồi ngầm và công khai từ người dùng. Khi nhiều người dùng thực hiện cùng một loại tác vụ và gặp phải các vấn đề hoặc tìm ra cách giải quyết hiệu quả, hệ thống sẽ tự động cập nhật và chia sẻ các quy trình cải tiến này cho tất cả người dùng, giúp trợ lý ngày càng thông minh và ít lỗi hơn mà không cần cập nhật ứng dụng thủ công.
Cơ chế tự động sửa lỗi và tối ưu hóa quy trình sử dụng ứng dụng: Một tính năng tích hợp vào hệ điều hành di động hoặc một ứng dụng tiện ích cho phép theo dõi cách người dùng tương tác với các ứng dụng khác. Khi người dùng thường xuyên gặp lỗi hoặc thực hiện các bước không hiệu quả trong một quy trình nhất định (ví dụ: đăng nhập nhiều bước, cấu hình cài đặt phức tạp), hệ thống sẽ tự động đề xuất hoặc áp dụng các bản vá lỗi quy trình, hoặc thậm chí tạo ra các "kỹ năng" mới để tự động hóa các bước đó, giảm thiểu sự khó chịu và tăng hiệu quả sử dụng điện thoại.
Nền tảng học hỏi cộng đồng cho các tác vụ sáng tạo di động: Một nền tảng trên điện thoại di động nơi người dùng có thể chia sẻ các "kỹ năng" hoặc quy trình sáng tạo (ví dụ: tạo video ngắn với hiệu ứng đặc biệt, chỉnh sửa ảnh theo phong cách, viết kịch bản tin nhắn cá nhân hóa). Khi các kỹ năng này được sử dụng, hệ thống sẽ thu thập dữ liệu về thành công và thất bại, từ đó tự động tinh chỉnh và phát triển các kỹ năng tốt nhất, sau đó phân phối lại cho cộng đồng. Điều này giúp người dùng di động có thể truy cập các công cụ sáng tạo ngày càng mạnh mẽ và dễ sử dụng hơn thông qua trí tuệ tập thể.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.08377
ArXiv Abstract	https://arxiv.org/abs/2604.08377
PDF Download	https://arxiv.org/pdf/2604.08377.pdf
Github Repository	N/A

3. HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents (129 votes)

Tác giả: Tencent Robotics X, HY Vision Team, Xumin Yu, Zuyan Liu, Ziyi Wang, He Zhang, Yongming Rao, Fangfu Liu, Yani Zhang, Ruowen Zhao, Oran Wang, Yves Liang, Haitao Lin, Minghui Wang, Yubo Dong, Kevin Cheng, Bolin Ni, Rui Huang, Han Hu, Zhengyou Zhang, Linus, Shunyu Yao

Xuất bản lúc: 2026-04-08

Tag: Embodied AI, Vision-Language Models, Foundation Models, Robotics, Perception, Reasoning, Model Distillation

I. Main Problem:

Các mô hình Vision-Language (VLM) tổng quát hiện tại chưa được tối ưu hóa cho các tác nhân vật lý (embodied agents) trong thế giới thực. Chúng còn thiếu sót ở hai khía cạnh chính:

Nhận thức thị giác chi tiết (Fine-Grained Visual Perception): Không đủ khả năng nắm bắt các chi tiết nhỏ cần thiết để hiểu rõ thế giới vật lý và đưa ra các quyết định hành động chính xác.
Dự đoán, tương tác và lập kế hoạch tác nhân vật lý (Embodied Prediction, Interaction, and Planning): Chủ yếu được huấn luyện trên các bộ dữ liệu tĩnh, quy mô lớn từ web, các VLM hiện có không được tối ưu cho môi trường tác nhân vật lý, thiếu các khả năng định hướng hành động cần thiết cho việc dự đoán động, tương tác và lập kế hoạch trong thế giới vật lý.

II. Main Idea:

HY-Embodied-0.5 là một họ các mô hình nền tảng (foundation models) được thiết kế đặc biệt cho các tác nhân vật lý trong thế giới thực. Để thu hẹp khoảng cách giữa các VLM tổng quát và nhu cầu của tác nhân vật lý, các tác giả đề xuất:

Kiến trúc cải tiến:
- Sử dụng kiến trúc Mixture-of-Transformers (MoT) để cho phép tính toán thích ứng theo từng phương thức (modality-specific computing), giúp tăng cường khả năng mô hình hóa hình ảnh mà không làm suy giảm khả năng ngôn ngữ. Thiết kế này bao gồm bộ mã hóa thị giác HY-ViT 2.0 hiệu quả, hỗ trợ độ phân giải tự nhiên và tối ưu cho thiết bị biên.
- Kết hợp visual latent tokens để cải thiện biểu diễn nhận thức và kết nối thị giác với ngôn ngữ.
Dữ liệu huấn luyện đa dạng và chất lượng cao: Xây dựng bộ dữ liệu tiền huấn luyện gồm hơn 100 triệu mẫu, bao gồm dữ liệu nhận thức thị giác (2D/3D grounding, ước tính độ sâu, phân đoạn), dữ liệu tập trung vào tác nhân vật lý (embodied-centric) và dữ liệu tập trung vào không gian (spatial-centric), cùng với dữ liệu hiểu biết tổng quát.
Chiến lược huấn luyện nâng cao:
- Áp dụng mô hình hậu huấn luyện (post-training) lặp lại, tự tiến hóa (iterative, self-evolving) bao gồm Học tăng cường (Reinforcement Learning - RL) và tinh chỉnh có giám sát (Supervised Fine-tuning - SFT) bằng phương pháp lấy mẫu từ chối (rejection sampling).
- Sử dụng kỹ thuật chưng cất theo chính sách (on-policy distillation) từ mô hình lớn sang mô hình nhỏ để chuyển giao năng lực tiên tiến từ phiên bản lớn (32B) sang phiên bản nhỏ hơn (2B), tối đa hóa hiệu suất của mô hình nhỏ gọn.

III. Main Results:

Họ mô hình HY-Embodied-0.5 bao gồm hai biến thể chính: một mô hình hiệu quả HY-Embodied-0.5 MoT-2B (2B tham số kích hoạt) dành cho triển khai trên thiết bị biên và một mô hình mạnh mẽ HY-Embodied-0.5 MoE-A32B (32B tham số kích hoạt) dành cho suy luận phức tạp.

HY-Embodied-0.5 MoT-2B vượt trội so với các mô hình tiên tiến cùng kích thước trên 16/22 điểm chuẩn. Nó đạt điểm trung bình 58.0% trên 22 điểm chuẩn, vượt qua VLM tổng quát Qwen3-VL-4B (hơn 10.2%) và VLM chuyên dụng RoboBrain2.5-4B (hơn 8.6%) dù cả hai đều có số tham số kích hoạt lớn hơn. Đồng thời, nó đạt hiệu suất tương đương với mô hình mã nguồn mở Qwen3.5 trên các tác vụ hiểu VLM tổng quát.
HY-Embodied-0.5 MoE-A32B đạt điểm trung bình 67.0% trên 22 điểm chuẩn, vượt qua mô hình tiên tiến Gemini 3.0 Pro (63.6%).
Trong các thử nghiệm điều khiển robot thực tế (downstream robot control), mô hình VLA (Vision-Language-Action) được huấn luyện dựa trên nền tảng VLM mạnh mẽ này đã đạt được kết quả ấn tượng.

IV. Conclusion & Future Works:

HY-Embodied-0.5 là một họ mô hình nền tảng tiên tiến được thiết kế cho các tác nhân vật lý trong thế giới thực, thể hiện khả năng vượt trội trong nhận thức thị giác và hiểu biết tác nhân vật lý thông qua kiến trúc sáng tạo, dữ liệu huấn luyện phong phú và chiến lược hậu huấn luyện tiên tiến. Các kết quả thực nghiệm trên nhiều điểm chuẩn và trong các tác vụ điều khiển robot thực tế đã khẳng định hiệu quả của phương pháp này. Mặc dù đoạn trích không nêu rõ các hướng phát triển trong tương lai, nhưng nó ngụ ý rằng việc tiếp tục phát triển các mô hình nền tảng như HY-Embodied-0.5 sẽ mở rộng khả năng của các tác nhân thông minh vào thế giới vật lý, giải quyết các vấn đề phức tạp và tự động hóa quy trình làm việc. Điều này có thể bao gồm việc tối ưu hóa hơn nữa cho các thiết bị biên, cải thiện khả năng suy luận đa phương thức phức tạp và mở rộng sang các miền ứng dụng robot đa dạng hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về cách tinh chỉnh và mở rộng kiến trúc Mixture-of-Transformers để hỗ trợ hiệu quả hơn các loại tương tác và môi trường tác nhân vật lý khác nhau, bao gồm cả các tác vụ đòi hỏi phản ứng thời gian thực và suy luận dài hạn.
Khám phá các kỹ thuật học tăng cường (Reinforcement Learning) tiên tiến hơn, kết hợp với phản hồi trực tiếp từ môi trường vật lý hoặc mô phỏng, để tạo ra các mô hình tác nhân vật lý có khả năng học hỏi và thích nghi liên tục, cải thiện khả năng ra quyết định và lập kế hoạch trong các tình huống không xác định.
Phát triển các chiến lược chưng cất (distillation) hiệu quả hơn để chuyển giao tri thức từ các mô hình nền tảng tác nhân vật lý lớn, phức tạp sang các mô hình nhỏ gọn, tiết kiệm tài nguyên, đặc biệt chú trọng vào việc duy trì hiệu suất cao trong nhận thức thị giác chi tiết và suy luận tác nhân vật lý trên các thiết bị biên có giới hạn.

2. Patent:

Hệ thống trợ lý di động thông minh với khả năng nhận diện và tương tác không gian thực: Một ứng dụng di động sử dụng công nghệ nhận diện vật thể và ước tính độ sâu để cho phép điện thoại hiểu rõ môi trường xung quanh người dùng. Ví dụ, người dùng có thể hỏi "Cái điều khiển TV ở đâu?" và điện thoại sẽ hiển thị vị trí chính xác trên màn hình hoặc chỉ dẫn bằng giọng nói. Hoặc, "Đồ vật nào gần tôi nhất?" và điện thoại sẽ xác định và đọc tên đồ vật.
Công cụ hỗ trợ lắp ráp và sửa chữa DIY (Do-It-Yourself) thông qua thực tế tăng cường (AR): Một ứng dụng trên điện thoại sử dụng camera và khả năng hiểu không gian của mô hình để hướng dẫn người dùng từng bước trong việc lắp ráp đồ nội thất hoặc sửa chữa thiết bị. Ứng dụng sẽ nhận diện các bộ phận, chỉ ra vị trí cần đặt chúng bằng cách phủ lớp AR lên hình ảnh thực tế, và cảnh báo nếu có bước sai, giúp người dùng thực hiện các công việc phức tạp một cách dễ dàng.
Tính năng quản lý và sắp xếp đồ đạc trong nhà thông minh: Một ứng dụng di động cho phép người dùng quét nhanh các khu vực trong nhà (ví dụ: tủ lạnh, tủ quần áo, kệ sách). Mô hình sẽ nhận diện và lập danh sách các vật phẩm, ghi nhớ vị trí của chúng. Khi người dùng cần tìm một vật cụ thể, ứng dụng có thể chỉ dẫn đến vị trí chính xác của vật đó, hoặc gợi ý cách sắp xếp tối ưu hơn dựa trên các đồ vật hiện có và không gian trống.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.07430
ArXiv Abstract	https://arxiv.org/abs/2604.07430
PDF Download	https://arxiv.org/pdf/2604.07430.pdf
Github Repository	https://github.com/Tencent-Hunyuan/HY-Embodied

4. When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models (105 votes)

Tác giả: Zhengyang Sun, Yu Chen, Xin Zhou, Xiaofan Li, Xiwu Chen, Dingkang Liang, Xiang Bai

Xuất bản lúc: 2026-04-09

Tag: Text-to-Video Diffusion Models, Diffusion Transformer, Numerical Alignment, Attention Mechanisms, Training-free, Video Generation, Object Counting

I. Main Problem:

Các mô hình khuếch tán văn bản thành video (T2V) hiện tại thường gặp khó khăn trong việc tạo ra số lượng đối tượng chính xác được chỉ định trong lời nhắc (prompt), dẫn đến sai lệch số lượng. Hạn chế này làm giảm độ tin cậy của chúng trong các ứng dụng đòi hỏi độ chính xác cao. Vấn đề này xuất phát từ hai yếu tố chính: 1) Sự yếu kém về ngữ nghĩa của các token số trong cơ chế cross-attention, khiến chúng có phản hồi phân tán. 2) Tính mơ hồ của các thể hiện (instance ambiguity) trong không gian ẩn không-thời gian bị downsample nặng nề của kiến trúc DiT, gây khó khăn cho việc phân tách các đối tượng riêng lẻ. Việc huấn luyện lại mô hình để khắc phục là không khả thi về mặt tính toán và đòi hỏi tập dữ liệu lớn với chú thích số lượng chính xác.

II. Main Idea:

NUMINA là một framework không cần huấn luyện (training-free) theo mô hình "xác định-sau đó-hướng dẫn" (identify-then-guide) nhằm cải thiện sự căn chỉnh số lượng trong các mô hình T2V. Framework này hoạt động qua hai giai đoạn:

Giai đoạn 1: Xác định sai lệch số lượng (Numerical Misalignment Identification)

NUMINA hoạt động sớm trong quá trình khử nhiễu để phát hiện sự không nhất quán giữa các token số và bố cục ẩn đang phát triển.
Nó chọn động các attention head (từ self-attention và cross-attention) có khả năng phân biệt thể hiện cao nhất bằng tiêu chí phân biệt đối tượng.
Các bản đồ attention này sau đó được hợp nhất và áp dụng thuật toán phân cụm để tạo ra một bố cục ẩn có thể đếm được (countable latent layout), cho phép so sánh trực tiếp số lượng đối tượng ước tính với số lượng được nhắc đến trong prompt.

Giai đoạn 2: Tạo video được căn chỉnh số lượng (Numerically Aligned Video Generation)

Tinh chỉnh bố cục (Layout Refinement): Bố cục ban đầu được tinh chỉnh ở cấp độ thể hiện để khớp với số lượng mục tiêu từ prompt. Đối với việc xóa đối tượng, vùng nhỏ nhất sẽ bị loại bỏ. Đối với việc thêm đối tượng, một vùng hiện có nhỏ nhất được sao chép làm mẫu hoặc một vòng tròn được sử dụng, sau đó được đặt ở vị trí tối ưu trong mỗi khung hình bằng cách giảm thiểu một hàm chi phí heuristic (tính chồng lấn, vị trí trung tâm, tính nhất quán thời gian).
Tạo video được hướng dẫn bởi bố cục (Layout-Guided Generation): Bố cục đã tinh chỉnh này sau đó được sử dụng để điều chỉnh quá trình tạo lại thông qua việc điều biến cross-attention mà không cần huấn luyện. Việc này bao gồm việc triệt tiêu attention cho các vùng bị xóa và tăng cường attention cho các vùng mới được thêm vào, với cường độ điều hướng giảm dần theo thời gian khử nhiễu để duy trì chi tiết tinh tế.

III. Main Results:

NUMINA đạt được những kết quả đáng kể trên CountBench, một benchmark mới được giới thiệu bao gồm 210 lời nhắc:

Cải thiện độ chính xác đếm (CountAcc) lên tới 7.4% trên mô hình Wan2.1-1.3B, 4.9% trên mô hình 5B và 5.5% trên mô hình 14B.
Điểm CLIP cũng được cải thiện, cho thấy sự tăng cường căn chỉnh ngữ nghĩa tổng thể giữa văn bản và video.
Duy trì tính nhất quán thời gian (Temporal Consistency), thậm chí còn cải thiện cho mô hình 14B.
Hiệu suất vượt trội so với các chiến lược thực tế khác như "tìm kiếm hạt giống" (seed search) và "cải thiện lời nhắc" (prompt enhancement).
Đáng chú ý, mô hình 1.3B với NUMINA (49.7%) vượt qua độ chính xác đếm của mô hình Wan2.2-5B lớn hơn (47.8%).
NUMINA đặc biệt hiệu quả trong các kịch bản số lượng cao, gần như tăng gấp đôi độ chính xác cho tám đối tượng trên mô hình 1.3B.
Tương thích với các kỹ thuật tăng tốc suy luận như EasyCache, giảm chi phí tính toán.

IV. Conclusion & Future Works:

NUMINA là một framework không cần huấn luyện, giải quyết vấn đề căn chỉnh số lượng trong các mô hình khuếch tán văn bản thành video. Bằng cách tận dụng các attention head có khả năng phân tách thể hiện trong DiT, NUMINA xác định và sửa chữa sự không nhất quán giữa prompt và bố cục thông qua việc xây dựng bố cục rõ ràng, tinh chỉnh bảo toàn và tạo video được hướng dẫn bởi bố cục. Framework này cải thiện đáng kể độ chính xác đếm, đặc biệt ở số lượng cao, mà không làm giảm chất lượng video. Điều này nhấn mạnh giá trị của việc hướng dẫn cấu trúc như một bổ sung cho các phương pháp hiện có, mở ra một hướng đi thực tế để tạo video với số lượng chính xác và cải thiện căn chỉnh số lượng cho khả năng ứng dụng rộng hơn.

Hạn chế và Hướng nghiên cứu tương lai:

Đạt được độ chính xác hoàn hảo trong mọi kịch bản vẫn là một thách thức.
Việc tạo ra các thể hiện rất dày đặc (ví dụ: hàng chục hoặc hàng trăm) vẫn chưa được khám phá.
Cho phép tạo video chính xác về mặt số lượng cho bất kỳ số lượng nào là một hướng nghiên cứu quan trọng trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện căn chỉnh số lượng cho việc tạo đối tượng mật độ cao trong mô hình Text-to-Video: Nghiên cứu về các kỹ thuật mở rộng NUMINA để xử lý việc tạo ra hàng chục hoặc hàng trăm đối tượng trong một cảnh, giải quyết các thách thức về sự phân tách thể hiện và hiệu quả tính toán trong các kịch bản mật độ cao.
Tính nhất quán số lượng đa phương thức: Mở rộng NUMINA sang tạo Text-to-Image và Text-to-3D: Khám phá việc áp dụng các nguyên tắc của NUMINA để căn chỉnh số lượng đối tượng trong các mô hình khuếch tán tạo hình ảnh tĩnh hoặc mô hình 3D từ văn bản, điều chỉnh cơ chế chọn attention head và tinh chỉnh bố cục cho các chế độ khác nhau.
Điều khiển attention động cho kiểm soát đối tượng chi tiết trong mô hình khuếch tán: Phát triển các phương pháp tinh vi hơn để điều khiển attention head, cho phép người dùng không chỉ kiểm soát số lượng mà còn các thuộc tính chi tiết khác của đối tượng (ví dụ: kích thước, vị trí tương đối, tương tác) trong quá trình tạo video.

2. Patent:

Trình tạo video thông minh với số lượng đối tượng chính xác: Một tính năng ứng dụng di động cho phép người dùng nhập mô tả video kèm theo số lượng đối tượng cụ thể (ví dụ: "ba con mèo đang chơi đùa"). Hệ thống sẽ sử dụng công nghệ tương tự NUMINA để đảm bảo video được tạo ra hiển thị chính xác số lượng đối tượng đó, hữu ích cho việc tạo nội dung mạng xã hội hoặc kể chuyện cá nhân một cách chính xác.
Hệ thống tạo cảnh AR/VR tương tác với kiểm soát số lượng: Một công nghệ cho phép người dùng trong ứng dụng thực tế tăng cường (AR) hoặc thực tế ảo (VR) chỉ định chính xác số lượng vật thể ảo muốn thêm vào môi trường của họ (ví dụ: "thêm năm cây vào công viên này"). Hệ thống sẽ sử dụng các cơ chế tương tự NUMINA để đảm bảo số lượng vật thể ảo được tạo ra khớp chính xác với yêu cầu, tạo ra trải nghiệm AR/VR chân thực và có thể tùy chỉnh.
Công cụ tạo video hướng dẫn tự động với yếu tố định lượng: Một ứng dụng hoặc phần mềm cho phép các doanh nghiệp hoặc nhà giáo dục tự động tạo các video hướng dẫn ngắn, trong đó các yếu tố hoặc bước quan trọng được định lượng chính xác (ví dụ: "hiển thị hai cách để làm X", "minh họa ba bước kiểm tra an toàn"). Công nghệ này sẽ đảm bảo sự rõ ràng và chính xác trong các hướng dẫn bằng hình ảnh, đặc biệt hữu ích cho đào tạo hoặc hướng dẫn sản phẩm trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.08546
ArXiv Abstract	https://arxiv.org/abs/2604.08546
PDF Download	https://arxiv.org/pdf/2604.08546.pdf
Github Repository	https://github.com/H-EmbodVis/NUMINA

5. ClawBench: Can AI Agents Complete Everyday Online Tasks? (87 votes)

Tác giả: Yuxuan Zhang, Yubo Wang, Yipeng Zhu, Penghui Du, Junwen Miao, Xuan Lu, Wendong Xu, Yunzhuo Hao, Songcheng Cai, Xiaochen Wang, Huaisong Zhang, Xian Wu, Yi Lu, Minyi Lei, Kai Zou, Huifeng Yin, Ping Nie, Liang Chen, Dongfu Jiang, Wenhu Chen, Kelsey R. Allen

Xuất bản lúc: 2026-04-09

Tag: AI Agents, Benchmarks, Web Automation, LLMs, Evaluation, Real-world Tasks

I. Main Problem:

Các benchmark hiện có để đánh giá tác nhân AI trong việc hoàn thành các tác vụ trực tuyến hàng ngày còn thiếu tính thực tế. Chúng thường sử dụng môi trường sandbox ngoại tuyến với HTML tĩnh và cấu trúc DOM cố định, không có nội dung động, đăng nhập/xác thực hoặc các thách thức thực tế. Hầu hết các benchmark này chỉ giới hạn ở việc truy xuất thông tin đọc-chỉ hoặc API giả lập, bỏ qua các tác vụ "ghi-nặng" (write-heavy) như mua hàng, đặt chỗ, hoặc nộp đơn, là những hoạt động trực tiếp liên quan đến cuộc sống hàng ngày của con người. Do đó, không có bức tranh đáng tin cậy về khả năng thực sự của các tác nhân AI trong việc "hoàn thành công việc" trên web thực.

II. Main Idea:

Công trình này giới thiệu CLAWBENCH, một framework đánh giá gồm 153 tác vụ trực tuyến hàng ngày trên 144 nền tảng trực tuyến thực tế, thuộc 15 danh mục. CLAWBENCH tập trung vào các tương tác web "ghi-nặng" và có tính hệ quả (ví dụ: điền biểu mẫu chi tiết, mua hàng, đặt lịch hẹn, nộp đơn). Để đảm bảo an toàn khi hoạt động trên các trang web sản xuất, CLAWBENCH sử dụng một Chrome extension nhẹ và cơ chế đo lường dựa trên CDP, chỉ chặn yêu cầu gửi cuối cùng để ngăn chặn các giao dịch không thể đảo ngược mà không làm mất đi tính phức tạp thực tế của web. Framework này ghi lại năm lớp dữ liệu hành vi (replay phiên, ảnh chụp màn hình hành động, lưu lượng HTTP, thông báo tác nhân, hành động trình duyệt) và sử dụng "Agentic Evaluator" (một sub-agent Claude Code) để so sánh quỹ đạo của tác nhân với quỹ đạo tham chiếu của con người. Điều này cung cấp điểm số nhị phân với lý do có cấu trúc và khả năng truy vết lỗi chi tiết.

III. Main Results:

Đánh giá 7 mô hình AI tiên tiến trên CLAWBENCH cho thấy hiệu suất của các tác nhân AI còn rất hạn chế trong các tác vụ web thực tế. Ví dụ, Claude Sonnet 4.6, mô hình mạnh nhất, chỉ đạt tỷ lệ hoàn thành tác vụ 33.3%, trong khi GPT-5.4 chỉ đạt 6.5%. Kết quả này tương phản mạnh với hiệu suất của chúng trên các benchmark truyền thống như OSWorld và WebArena, nơi Claude Sonnet 4.6 và GPT-5.4 đạt 65-75%. Sự khác biệt lớn này cho thấy một khoảng cách đáng kể giữa hiệu suất của tác nhân trong các tác vụ mã hóa có cấu trúc và các tác vụ web hàng ngày trong thế giới thực. Hiệu suất của mô hình cũng khác nhau đáng kể giữa các danh mục tác vụ, cho thấy năng lực chưa đồng đều trên các miền.

IV. Conclusion & Future Works:

CLAWBENCH là một benchmark thực tế cho các tác vụ web hàng ngày, tập trung vào các tương tác ghi-nặng trên các trang web trực tuyến. Nó cung cấp một phương pháp đánh giá an toàn, có thể truy vết và so sánh, làm nổi bật khoảng cách lớn giữa khả năng hiện tại của tác nhân AI và yêu cầu của các tác vụ web thực tế. Việc cải thiện hiệu suất trên CLAWBENCH sẽ giúp phát triển các tác nhân AI đáng tin cậy hơn, có thể hoạt động như trợ lý đa năng. Mã nguồn mở của pipeline thu thập dữ liệu và đánh giá sẽ hỗ trợ cộng đồng duy trì và mở rộng benchmark.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các kiến trúc tác nhân AI mới có khả năng thích ứng linh hoạt với sự thay đổi liên tục của giao diện web (ví dụ: pop-up, bố cục động, cập nhật JS) để cải thiện độ bền và tỷ lệ thành công trên các nền tảng trực tuyến thực tế.
Phát triển các phương pháp lập kế hoạch và thực thi tác vụ đa bước nâng cao cho tác nhân AI, đặc biệt tập trung vào các tác vụ "ghi-nặng" đòi hỏi điền biểu mẫu phức tạp, xác thực và điều hướng qua nhiều trang.
Khám phá các kỹ thuật học tập chuyển giao và khái quát hóa cho tác nhân AI để chúng có thể áp dụng kiến thức và kỹ năng đã học từ một bộ trang web sang các nền tảng mới, chưa từng thấy, giảm thiểu nhu cầu huấn luyện lại cho từng trang web cụ thể.

2. Patent:

Một hệ thống trên điện thoại di động cho phép người dùng ủy quyền cho AI tự động điền các biểu mẫu phức tạp (ví dụ: đăng ký dịch vụ, ứng tuyển việc làm) trên các trang web trực tuyến. Hệ thống này sử dụng một lớp chặn thông minh để ngăn chặn việc gửi dữ liệu nhạy cảm hoặc giao dịch không mong muốn, chỉ cho phép gửi khi người dùng xác nhận cuối cùng bằng vân tay hoặc nhận diện khuôn mặt. Nó cũng có thể học cách điền các trường thông tin cá nhân từ dữ liệu đã lưu trữ an toàn trên điện thoại.
Một ứng dụng di động có khả năng theo dõi và ghi lại toàn bộ quá trình tương tác của người dùng với các trang web (bao gồm các cú nhấp, gõ phím, cuộn, và các yêu cầu HTTP) theo từng bước. Dữ liệu này sau đó được AI phân tích để tìm ra các điểm khó khăn, lỗi hoặc các mẫu tương tác kém hiệu quả, từ đó cung cấp gợi ý cá nhân hóa cho người dùng để hoàn thành tác vụ nhanh hơn hoặc đề xuất các cải tiến về giao diện/luồng công việc cho nhà phát triển web.
Trợ lý mua sắm và đặt chỗ tự động trên điện thoại có khả năng điều hướng các trang web thương mại điện tử hoặc đặt dịch vụ (ví dụ: đặt vé máy bay, mua hàng tạp hóa). AI sẽ chọn sản phẩm/dịch vụ, điền thông tin và tiến hành đến bước thanh toán. Trước khi hoàn tất giao dịch, ứng dụng sẽ hiển thị tóm tắt chi tiết (giá, mặt hàng, địa chỉ) và yêu cầu người dùng xác nhận rõ ràng bằng một hành động vật lý trên điện thoại (ví dụ: nhấn giữ nút, quét khuôn mặt), đảm bảo an toàn tài chính và tránh các giao dịch không mong muốn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.08523
ArXiv Abstract	https://arxiv.org/abs/2604.08523
PDF Download	https://arxiv.org/pdf/2604.08523.pdf
Github Repository	https://github.com/reacher-z/ClawBench

6. MegaStyle: Constructing Diverse and Scalable Style Dataset via Consistent Text-to-Image Style Mapping (80 votes)

Tác giả: Junyao Gao, Sibo Liu, Jiaxing Li, Yanan Sun, Yuanpeng Tu, Fei Shen, Weidong Zhang, Cairong Zhao, Jun Zhang

Xuất bản lúc: 2026-04-09

Tag: Style Transfer, Dataset Curation, Text-to-Image, Generative Models, Diffusion Models, Contrastive Learning, Vision-Language Models

I. Main Problem:

Các phương pháp chuyển đổi phong cách hình ảnh hiện có gặp khó khăn trong việc tách rời phong cách khỏi nội dung, dẫn đến rò rỉ nội dung và kết quả kém chất lượng. Việc thu thập các bộ dữ liệu phong cách chất lượng cao, đa dạng và nhất quán là rất khó khăn do tính đa chiều của phong cách và sự thiếu hụt các phép đo độ tương đồng phong cách đáng tin cậy. Các bộ dữ liệu hiện có được tạo ra bằng các phương pháp chuyển đổi phong cách SOTA thường bị hạn chế về tính đa dạng giữa các phong cách (inter-style diversity), tính nhất quán trong cùng một phong cách (intra-style consistency) và chất lượng hình ảnh, thường chỉ chuyển giao màu sắc cơ bản và chứa các tạo tác (artifacts).

II. Main Idea:

Bài báo giới thiệu MegaStyle, một quy trình tạo dữ liệu có khả năng mở rộng để xây dựng bộ dữ liệu phong cách nhất quán trong phong cách, đa dạng giữa các phong cách và chất lượng cao. MegaStyle tận dụng khả năng ánh xạ phong cách văn bản sang hình ảnh (text-to-image style mapping) nhất quán của các mô hình sinh ảnh lớn hiện tại (như Qwen-Image) để tạo ra hình ảnh theo cùng một phong cách từ mô tả phong cách đã cho. Quy trình bao gồm:

Thu thập và Cân bằng Prompt: Xây dựng một thư viện prompt đa dạng và cân bằng gồm 170K prompt phong cách và 400K prompt nội dung bằng cách sử dụng các mô hình thị giác-ngôn ngữ (VLM) như Qwen3-VL với các hướng dẫn cụ thể.
Tạo Bộ Dữ liệu MegaStyle-1.4M: Kết hợp các prompt nội dung và phong cách, sau đó sử dụng Qwen-Image để tạo ra 1.4 triệu hình ảnh phong cách, đảm bảo tính nhất quán trong phong cách và đa dạng giữa các phong cách.
MegaStyle-Encoder: Đề xuất học tương phản có giám sát phong cách (style-supervised contrastive learning - SSCL) để tinh chỉnh một bộ mã hóa phong cách nhằm trích xuất các biểu diễn đặc trưng cho phong cách, phục vụ việc đo lường độ tương đồng phong cách đáng tin cậy.
MegaStyle-FLUX: Huấn luyện một mô hình chuyển đổi phong cách dựa trên FLUX (Diffusion Transformer) sử dụng phương pháp giám sát theo cặp từ bộ dữ liệu MegaStyle-1.4M, cho phép chuyển đổi phong cách ổn định và tổng quát.

III. Main Results:

Bộ dữ liệu MegaStyle-1.4M: Đạt được tính nhất quán trong phong cách cao, cung cấp số lượng lớn các phong cách nghệ thuật tổng thể (8,355) và các danh mục phong cách chi tiết đa dạng (170K) so với các bộ dữ liệu hiện có. Bộ dữ liệu này có khả năng mở rộng lớn.
MegaStyle-Encoder: Vượt trội đáng kể so với các bộ mã hóa phong cách khác như CLIP, CSD và SigLIP trên các benchmark truy xuất phong cách (StyleRetrieval, StyleBench, FLUX-Retrieval, OmniStyle-150K). Ví dụ, trên StyleRetrieval, MegaStyle-Encoder đạt mAP@1 là 88.46 và Recall@1 là 88.46 với backbone SoViT, cho thấy khả năng trích xuất các biểu diễn đặc trưng cho phong cách một cách đáng tin cậy.
MegaStyle-FLUX: Tạo ra các hình ảnh được cách điệu chất lượng cao, phù hợp với nội dung được chỉ định bởi prompt văn bản và phong cách của hình ảnh tham chiếu, tránh được rò rỉ nội dung và các tạo tác. Đạt điểm cao nhất về sự phù hợp văn bản (Text↑), điểm phù hợp phong cách cao thứ hai (Style↑) và điểm ưu tiên của con người cao nhất (Human Style↑ 31.37, Human Text↑ 28.72) so với các phương pháp chuyển đổi phong cách SOTA khác.
Các nghiên cứu loại bỏ (ablation studies) xác nhận hiệu quả của quy trình tạo dữ liệu MegaStyle-1.4M và các mô hình được đề xuất.

IV. Conclusion & Future Works:

Bài báo đề xuất quy trình tạo dữ liệu MegaStyle có khả năng mở rộng để xây dựng bộ dữ liệu phong cách chất lượng cao, nhất quán và đa dạng. Bằng cách tận dụng khả năng ánh xạ phong cách văn bản sang hình ảnh của các mô hình sinh ảnh lớn, nhóm nghiên cứu đã tạo ra MegaStyle-1.4M. Dữ liệu này được sử dụng để tinh chỉnh MegaStyle-Encoder cho việc đo lường độ tương đồng phong cách đáng tin cậy và huấn luyện MegaStyle-FLUX cho việc chuyển đổi phong cách ổn định và tổng quát. Các thử nghiệm rộng rãi đã chứng minh hiệu quả của quy trình, bộ dữ liệu và các mô hình được đề xuất, đóng góp giá trị cho cộng đồng chuyển đổi phong cách.

Công việc tương lai: Cần tinh chỉnh các prompt hướng dẫn cho VLM để mô tả tốt hơn không gian phong cách rộng hơn, đặc biệt là các yếu tố phong cách chi tiết như kết cấu, nét vẽ và chất liệu, mà hiện tại VLM có thể mô tả mơ hồ. Ngoài ra, sẽ mở rộng bộ dữ liệu phong cách lên cấp độ 10 triệu hình ảnh.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện Khả năng Mô tả Phong cách Chi tiết của VLM: Nghiên cứu các phương pháp mới để tinh chỉnh Vision-Language Models (VLM) nhằm nắm bắt và mô tả chính xác hơn các yếu tố phong cách vi mô như kết cấu vật liệu, nét cọ, và kỹ thuật tạo hình, thay vì chỉ các mô tả phong cách tổng thể. Điều này có thể bao gồm việc phát triển các kiến trúc VLM chuyên biệt hoặc các chiến lược huấn luyện tương phản mới sử dụng dữ liệu phong cách chi tiết.
Mở rộng Khả năng Ánh xạ Phong cách T2I: Khám phá việc sử dụng các mô hình Text-to-Image (T2I) tiên tiến hơn hoặc các kỹ thuật điều chỉnh mới để tạo ra bộ dữ liệu phong cách lớn hơn đáng kể (ví dụ: lên đến hàng chục triệu hình ảnh) trong khi vẫn duy trì tính nhất quán trong phong cách và đa dạng giữa các phong cách. Nghiên cứu này có thể tập trung vào hiệu quả tính toán và khả năng tổng quát hóa của các mô hình T2I trong việc tạo ra các phong cách chưa từng thấy.
Ứng dụng Bộ Mã hóa Phong cách trong Các Tác vụ Sinh ảnh Khác: Nghiên cứu cách tích hợp MegaStyle-Encoder hoặc các bộ mã hóa phong cách tương tự vào các tác vụ sinh ảnh khác ngoài chuyển đổi phong cách, chẳng hạn như chỉnh sửa ảnh có hướng dẫn phong cách, tạo ảnh từ văn bản với kiểm soát phong cách chi tiết, hoặc tạo ảnh 3D có phong cách. Điều này sẽ khai thác khả năng đo lường độ tương đồng phong cách đáng tin cậy của bộ mã hóa để nâng cao chất lượng và tính linh hoạt của các mô hình sinh ảnh.

2. Patent:

Hệ thống Lọc Ảnh Camera Thời gian Thực với Phong cách Tùy chỉnh: Một ứng dụng di động cho phép người dùng chụp hoặc quay video với các bộ lọc phong cách nghệ thuật được tạo ra từ bất kỳ hình ảnh tham chiếu nào (ví dụ: một bức tranh, một bức ảnh có phong cách độc đáo). Công nghệ này sẽ sử dụng một hệ thống trí tuệ nhân tạo để trích xuất phong cách từ hình ảnh tham chiếu và áp dụng nó một cách nhất quán vào nội dung camera trực tiếp, đảm bảo nội dung gốc không bị biến dạng và phong cách được giữ nguyên, mang lại trải nghiệm sáng tạo cá nhân hóa.
Trợ lý Thiết kế Sáng tạo Kỹ thuật số trên Điện thoại: Một tính năng trong ứng dụng chỉnh sửa ảnh hoặc tạo nội dung trên điện thoại cho phép người dùng mô tả phong cách mong muốn bằng văn bản (ví dụ: "phong cách tranh sơn dầu ấn tượng", "phong cách hoạt hình Nhật Bản") và kết hợp với ảnh của họ để tạo ra các tác phẩm nghệ thuật kỹ thuật số độc đáo. Hệ thống sẽ sử dụng các mô hình học máy để hiểu mô tả phong cách và áp dụng nó một cách liền mạch, cung cấp khả năng sáng tạo không giới hạn cho người dùng không chuyên.
Công cụ Đồng bộ Phong cách Đa phương tiện: Một công nghệ tích hợp vào các ứng dụng mạng xã hội hoặc chỉnh sửa video trên điện thoại, cho phép người dùng áp dụng một phong cách nghệ thuật nhất quán cho toàn bộ bộ sưu tập ảnh hoặc một chuỗi video. Công cụ này sẽ tự động phân tích và chuyển đổi phong cách của từng hình ảnh hoặc khung hình, đảm bảo tính thẩm mỹ đồng bộ và chuyên nghiệp cho các album ảnh hoặc vlog cá nhân, giải quyết vấn đề không nhất quán phong cách khi chia sẻ nhiều nội dung.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.08364
ArXiv Abstract	https://arxiv.org/abs/2604.08364
PDF Download	https://arxiv.org/pdf/2604.08364.pdf
Github Repository	N/A

7. LPM 1.0: Video-based Character Performance Model (36 votes)

Tác giả: Ailing Zeng, Casper Yang, Chauncey Ge, Eddie Zhang, Garvey Xu, Gavin Lin, Gilbert Gu, Jeremy Pi, Leo Li, Mingyi Shi, Sheng Bi, Steven Tang, Thorn Hang, Tobey Guo, Vincent Li, Xin Tong, Yikang Li, Yuchen Sun, Yue, Zhao, Yuhan Lu, Yuwei Li, Zane Zhang, Zeshi Yang, Zi Ye

Xuất bản lúc: 2026-04-09

Tag: Video Generation, Diffusion Models, Real-time AI, Conversational AI, Multimodal AI, Character Animation

I. Main Problem:

Các mô hình video hiện có gặp khó khăn trong việc đồng thời đạt được độ biểu cảm cao, suy luận thời gian thực và sự ổn định nhận dạng trong thời gian dài, một vấn đề mà các tác giả gọi là "bộ ba tiến thoái lưỡng nan về hiệu suất" (performance trilemma). Cụ thể, các hạn chế bao gồm: thiếu hành vi lắng nghe, khả năng kiểm soát đa phương thức kém, đặc tả nhân vật chưa đầy đủ, và thiếu mô hình nền tảng video tập trung vào con người quy mô lớn.

II. Main Idea:

Giới thiệu LPM 1.0 (Large Performance Model), một mô hình hiệu suất dựa trên video tập trung vào hội thoại nghe nhìn song công toàn diện cho một người. LPM 1.0 là một khuôn khổ toàn diện giải quyết "bộ ba tiến thoái lưỡng nan về hiệu suất" bằng cách:

Xây dựng một tập dữ liệu đa phương thức quy mô lớn thông qua lọc chất lượng nghiêm ngặt, ghép nối dữ liệu âm thanh-video đàm thoại và xây dựng hình ảnh tham chiếu nhận dạng.
Phát triển Base LPM, một bộ biến đổi khuếch tán (Diffusion Transformer) 17 tỷ tham số được đào tạo để mô hình hóa đồng thời chuyển động theo giọng nói, hành vi lắng nghe, kiểm soát hiệu suất theo văn bản và bảo toàn nhận dạng đa tham chiếu.
Chưng cất Base LPM thành Online LPM, một bộ tạo luồng nhân quả để tương tác độ trễ thấp, độ dài vô hạn thông qua kiến trúc xương sống-bộ tinh chỉnh (backbone-refiner) và quy trình chưng cất tự hồi quy bốn giai đoạn.

III. Main Results:

LPM 1.0 đạt được kết quả hiện đại trên tất cả các khía cạnh được đánh giá trong khi vẫn duy trì suy luận thời gian thực.

Giới thiệu LPM-Bench, một điểm chuẩn mới cho hiệu suất nhân vật tương tác.
Trong so sánh cặp đôi, Base LPM (720P) được 64.3% người đánh giá ưa thích hơn Kling-Avatar-2 và 42.5% người đánh giá ưa thích hơn OmniHuman-1.5, với biên độ lớn nhất về tính nhất quán nhận dạng và động lực chuyển động.
Online LPM (480P) được 82.5% người đánh giá ưa thích hơn LiveAvatar và 64.1% người đánh giá ưa thích hơn SoulX.
Người đánh giá nhận thấy Base LPM và Online LPM không thể phân biệt được trong 42–88% trường hợp, cho thấy quá trình tạo nhân quả thời gian thực không cần hy sinh tính chân thực.
Đạt độ chính xác 89.75% và 87.63% cho việc phân loại trạng thái âm thanh cấp khung hình trên các miền dữ liệu khác nhau.
Mô hình xác minh ngữ nghĩa Qwen3-Omni tinh chỉnh đạt điểm F1 là 78.37, cải thiện tuyệt đối +7.90 so với Gemini 2.5 Pro.

IV. Conclusion & Future Works:

LPM 1.0 là một hệ thống tạo video toàn diện đầu tiên cho hiệu suất hội thoại song công một người, giải quyết hiệu quả các thách thức về tính biểu cảm, suy luận thời gian thực và ổn định nhận dạng lâu dài. Nó có thể đóng vai trò là công cụ hình ảnh mạnh mẽ cho các tác nhân hội thoại, nhân vật phát trực tiếp và NPC trong trò chơi. Hướng phát triển trong tương lai có thể bao gồm mở rộng sang các tình huống đa nhân vật phức tạp hơn, tích hợp các dạng phản ứng phi ngôn ngữ tinh tế hơn và cải thiện khả năng thích ứng với các phong cách biểu diễn độc đáo của từng nhân vật.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng mô hình cho tương tác đa nhân vật và kịch bản nhóm: Nghiên cứu cách LPM 1.0 có thể được mở rộng để tạo ra các cuộc trò chuyện và tương tác giữa nhiều nhân vật, xử lý các động lực xã hội phức tạp, chuyển đổi lượt nói và phản ứng nhóm.
Tích hợp sâu hơn các tín hiệu cảm xúc và ý định từ văn bản và giọng nói: Phát triển các phương pháp để mô hình có thể hiểu và thể hiện tốt hơn các sắc thái cảm xúc, ý định và tính cách của nhân vật dựa trên các tín hiệu đầu vào đa phương thức (văn bản, giọng nói), dẫn đến hiệu suất chân thực và tinh tế hơn.
Nghiên cứu các kiến trúc chưng cất và suy luận thời gian thực hiệu quả hơn: Khám phá các kỹ thuật nén mô hình và tối ưu hóa kiến trúc mới để đạt được hiệu suất thời gian thực với độ trễ thấp hơn và yêu cầu tính toán ít hơn, đặc biệt cho các thiết bị cạnh hoặc ứng dụng di động.

2. Patent:

Hệ thống trợ lý ảo tạo hình ảnh động cá nhân hóa: Một ứng dụng di động cho phép người dùng chọn một hình ảnh của chính họ hoặc một nhân vật mong muốn, sau đó sử dụng giọng nói và văn bản để điều khiển nhân vật đó thực hiện các hành động nói chuyện, lắng nghe và biểu cảm một cách tự nhiên. Ứng dụng này có thể được dùng cho các cuộc gọi video, tạo tin nhắn động hoặc làm đại diện ảo trong các ứng dụng xã hội, với khả năng duy trì nhận dạng và biểu cảm nhất quán theo thời gian thực.
Công nghệ tạo nhân vật phát trực tiếp thời gian thực cho mạng xã hội: Một tính năng trên điện thoại di động cho phép người dùng tạo ra một nhân vật ảo đại diện cho họ khi phát trực tiếp (live stream). Hệ thống sẽ tự động phân tích giọng nói và biểu cảm khuôn mặt của người dùng qua camera, sau đó chuyển đổi chúng thành chuyển động và biểu cảm của nhân vật ảo trong thời gian thực, bao gồm cả hành vi nói và lắng nghe, giúp người dùng ẩn danh hoặc tạo nội dung sáng tạo mà không cần lộ mặt.
Tạo NPC (nhân vật không phải người chơi) hội thoại thông minh cho trò chơi di động: Một công nghệ tích hợp vào trò chơi di động, cho phép các nhân vật không phải người chơi (NPC) có khả năng tương tác hội thoại tự nhiên và biểu cảm phong phú với người chơi. Các NPC này có thể nói chuyện, lắng nghe và phản ứng theo ngữ cảnh hội thoại, duy trì tính cách và ngoại hình nhất quán trong suốt quá trình chơi, mang lại trải nghiệm nhập vai hơn mà không cần tài nguyên đồ họa 3D phức tạp cho từng nhân vật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.07823
ArXiv Abstract	https://arxiv.org/abs/2604.07823
PDF Download	https://arxiv.org/pdf/2604.07823.pdf
Github Repository	https://github.com/large-performance-model/large-performance-model.github.io

8. KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation (34 votes)

Tác giả: Tongbo Chen, Zhengxi Lu, Zhan Xu, Guocheng Shao, Shaohan Zhao, Fei Tang, Yong Du, Kaitao Song, Yizhou Liu, Yuchen Yan, Wenqi Zhang, Xu Tan, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

Xuất bản lúc: 2026-04-09

Tag: Mobile Agents, Personalization, Proactive AI, LLMs, Benchmarking, GUI Agents

I. Main Problem:

Các benchmark hiện có không thể đánh giá đầy đủ các yêu cầu đối với các tác nhân di động được cá nhân hóa, những tác nhân có khả năng suy luận sở thích của người dùng và điều chỉnh hỗ trợ chủ động. Các công trình trước đây chỉ đánh giá việc phục hồi sở thích từ lịch sử tĩnh hoặc dự đoán ý định từ các ngữ cảnh cố định. Chúng không kiểm tra liệu tác nhân có thể thu thập sở thích còn thiếu thông qua tương tác hay quyết định thời điểm can thiệp, xin phép hoặc giữ im lặng trong môi trường GUI trực tiếp. Điều này tạo ra một khoảng cách cơ bản giữa khả năng vận hành giao diện và khả năng hỗ trợ cá nhân đáng tin cậy.

II. Main Idea:

Giới thiệu KnowU-Bench, một benchmark trực tuyến dành cho các tác nhân di động được cá nhân hóa, được xây dựng trên một môi trường giả lập Android có thể tái tạo. KnowU-Bench bao gồm 42 tác vụ GUI tổng quát, 86 tác vụ cá nhân hóa và 64 tác vụ chủ động. Không giống như các công trình trước đây xem sở thích người dùng là ngữ cảnh tĩnh, KnowU-Bench ẩn hồ sơ người dùng khỏi tác nhân và chỉ hiển thị nhật ký hành vi, buộc tác nhân phải suy luận sở thích thực sự. Để hỗ trợ thu thập sở thích đa lượt, nó sử dụng một trình mô phỏng người dùng do LLM điều khiển, dựa trên các hồ sơ có cấu trúc, cho phép đối thoại làm rõ thực tế và xử lý sự đồng ý chủ động. KnowU-Bench cung cấp đánh giá toàn diện về chuỗi quyết định chủ động hoàn chỉnh, bao gồm thực thi GUI, đàm phán sự đồng ý và kiềm chế sau khi bị từ chối, được đánh giá thông qua một giao thức kết hợp xác minh dựa trên quy tắc với chấm điểm LLM-as-a-Judge.

III. Main Results:

Các thí nghiệm cho thấy hiệu suất giảm đáng kể: các tác nhân xuất sắc trong việc thực thi tác vụ rõ ràng lại giảm xuống dưới 50% khi gặp các hướng dẫn mơ hồ yêu cầu suy luận sở thích người dùng hoặc điều chỉnh can thiệp, ngay cả đối với các mô hình tiên tiến như Claude Sonnet 4.6. Các nút thắt chính không phải là điều hướng GUI mà là việc thu thập sở thích và điều chỉnh can thiệp. Các thất bại cá nhân hóa chủ yếu bắt nguồn từ khả năng thu thập sở thích yếu kém (93.8% lỗi của Claude Sonnet 4.6 là lỗi làm rõ hoặc sở thích một phần). Các thất bại chủ động chủ yếu bắt nguồn từ việc điều chỉnh can thiệp kém (80.0% lỗi của Claude Sonnet 4.6 là lỗi can thiệp hoặc thụ động). Claude Sonnet 4.6 đạt tỷ lệ thành công tổng thể tốt nhất là 60.4%. Hiệu suất phụ thuộc vào vai trò người dùng (ví dụ: vai trò "grandma" là khó nhất). Việc triển khai bộ nhớ quan trọng và phụ thuộc vào mô hình.

IV. Conclusion & Future Works:

KnowU-Bench giải quyết phần còn thiếu trong đánh giá tác nhân di động: khả năng hoạt động như một trợ lý phù hợp cho người dùng phù hợp, thay vì chỉ thực hiện các hướng dẫn rõ ràng. Các tác nhân hiện tại vẫn còn kém xa mục tiêu này, đặc biệt trong việc quyết định "nên làm gì cho người dùng nào và khi nào nên làm". Các hướng nghiên cứu trong tương lai bao gồm cải thiện khả năng truy cập bộ nhớ dài hạn, chính sách giải quyết sự mơ hồ mạnh mẽ hơn và ranh giới quyết định chủ động an toàn hơn. Mục tiêu là biến các tác nhân di động từ những người vận hành GUI có năng lực thành những trợ lý cá nhân đáng tin cậy.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược thu thập sở thích tương tác và mô hình hóa sở thích tổng hợp hiệu quả hơn cho các tác vụ cá nhân hóa, đặc biệt tập trung vào việc đặt câu hỏi đúng và dịch phản hồi của người dùng thành các hành động cuối cùng chính xác.
Phát triển các chính sách điều chỉnh kích hoạt, kiềm chế và ra quyết định sau khi bị từ chối tốt hơn cho các tác vụ chủ động, nhằm cải thiện khả năng của tác nhân trong việc biết khi nào nên can thiệp, khi nào nên giữ im lặng và khi nào nên dừng lại.
Khám phá các phương pháp quản lý bộ nhớ mạnh mẽ cho tác nhân di động, bao gồm các chiến lược tối ưu để hiển thị và lọc nhật ký người dùng (ví dụ: RAG so với nhật ký đầy đủ, xử lý dữ liệu nhiễu) để đảm bảo suy luận sở thích chính xác và đáng tin cậy.

2. Patent:

Trợ lý mua sắm cá nhân hóa thông minh: Một tính năng trên ứng dụng di động học hỏi thói quen và sở thích mua sắm của người dùng (ví dụ: thương hiệu ưu tiên, hạn chế ăn kiêng, nền tảng giao hàng) từ các tương tác trong quá khứ. Khi người dùng đưa ra một hướng dẫn mơ hồ như "đặt hàng tạp hóa", trợ lý sẽ chủ động đề xuất các mặt hàng, thương hiệu và tùy chọn giao hàng, đồng thời có thể làm rõ các chi tiết còn thiếu thông qua các câu hỏi đơn giản, đảm bảo đơn hàng phù hợp với nhu cầu cụ thể của người dùng mà không cần nhập liệu chi tiết rõ ràng.
Hệ thống quản lý lịch trình chủ động trên điện thoại: Một hệ thống trên điện thoại di động quan sát các thói quen của người dùng (ví dụ: đi làm, thói quen cuối tuần). Khi nó phát hiện một ngữ cảnh liên quan (ví dụ: người dùng đến văn phòng vào buổi sáng), nó có thể chủ động đề xuất các hành động như "đặt cà phê như thường lệ của bạn" hoặc "bắt đầu podcast tin tức buổi sáng của bạn". Nếu người dùng từ chối, nó sẽ kiềm chế không đưa ra thêm đề xuất trong một khoảng thời gian, học cách khi nào nên và không nên can thiệp, cung cấp hỗ trợ mà không gây khó chịu.
Hệ thống thông báo nhận biết ngữ cảnh: Một hệ thống thông báo thông minh sử dụng hành vi lịch sử của người dùng và ngữ cảnh hiện tại (thời gian, địa điểm, việc sử dụng ứng dụng) để xác định thời điểm và mức độ khẩn cấp tối ưu cho các thông báo. Thay vì chỉ hiển thị một thông báo, nó có thể chủ động hỏi "Bạn có muốn tôi tắt báo thức cho lịch trình cuối tuần của bạn không?" hoặc "Bây giờ có phải là thời điểm tốt để nhắc bạn về cuộc hẹn không?", học hỏi từ phản hồi của người dùng để điều chỉnh các can thiệp trong tương lai và tránh làm gián đoạn không cần thiết.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.08455
ArXiv Abstract	https://arxiv.org/abs/2604.08455
PDF Download	https://arxiv.org/pdf/2604.08455.pdf
Github Repository	https://github.com/ZJU-REAL/KnowU-Bench

9. Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols and Harness Engineering (33 votes)

Tác giả: Chenyu Zhou, Huacan Chai, Wenteng Chen, Zihan Guo, Rong Shan, Yuanyi Song, Tianyi Xu, Yingxuan Yang, Aofan Yu, Weiming Zhang, Congming Zheng, Jiachen Zhu, Zeyu Zheng, Zhuosheng Zhang, Xingyu Lou, Changwang Zhang, Zhihui Fu, Jun Wang, Weiwen Liu, Jianghao Lin, Weinan Zhang

Xuất bản lúc: 2026-04-09

Tag: LLM Agents, Externalization, Memory, Skills, Protocols, Harness Engineering, Cognitive Artifacts, RAG

I. Main Problem:

Vấn đề cốt lõi mà bài báo này nhằm giải quyết là sự phụ thuộc ngày càng tăng vào việc tăng kích thước mô hình (weights) hoặc cửa sổ ngữ cảnh (context) của các mô hình ngôn ngữ lớn (LLM) để xây dựng các tác nhân LLM đáng tin cậy. Các hệ thống trước đây kỳ vọng mô hình tự phục hồi năng lực nội bộ, nhưng điều này dẫn đến những hạn chế về tính liên tục của trạng thái (do cửa sổ ngữ cảnh hữu hạn và bộ nhớ phiên yếu), sự nhất quán trong quy trình (thường xuyên phải suy diễn lại các quy trình nhiều bước) và sự yếu kém trong tương tác với các công cụ hoặc tác nhân bên ngoài (do nhắc lệnh tự do, thiếu cấu trúc).

II. Main Idea:

Ý tưởng chính của bài báo là đề xuất "ngoại hóa" (externalization) như một nguyên tắc thống nhất để thiết kế tác nhân LLM đáng tin cậy. Thay vì thay đổi trọng số mô hình, các năng lực được chuyển từ tính toán nội bộ của mô hình sang các cấu trúc bên ngoài bền vững, có thể kiểm tra và tái sử dụng. Các cấu trúc này bao gồm:

Hệ thống bộ nhớ (Memory systems): Ngoại hóa trạng thái theo thời gian, biến vấn đề "ghi nhớ" thành "nhận dạng" (ví dụ: RAG).
Hệ thống kỹ năng (Skill systems): Ngoại hóa chuyên môn quy trình, biến "tạo ra" thành "kết hợp" (ví dụ: các quy trình và kinh nghiệm thực hành tốt nhất có thể tái sử dụng).
Giao thức (Protocols): Ngoại hóa cấu trúc tương tác, biến giao tiếp "tự phát" thành "có cấu trúc" (ví dụ: các hợp đồng có thể đọc bằng máy cho công cụ và tương tác tác nhân). Các yếu tố này được thống nhất và điều phối bởi "Harness Engineering" - một lớp kỹ thuật cung cấp môi trường chạy, logic điều khiển, ràng buộc, khả năng quan sát và các vòng phản hồi để các dạng ngoại hóa này hoạt động liền mạch. Bài báo theo dõi sự tiến triển lịch sử từ "Trọng số" (Weights) đến "Ngữ cảnh" (Context) và cuối cùng là "Harness" (Hệ thống điều phối).

III. Main Results:

Là một bài tổng quan, bài báo không trình bày kết quả thử nghiệm mới mà thay vào đó cung cấp một khuôn khổ hệ thống tổng hợp:

Thống nhất các luồng nghiên cứu đa dạng (bộ nhớ, kỹ năng, giao thức) dưới lăng kính của sự ngoại hóa.
Giải thích lý do tại sao sự tiến bộ thực tế của tác nhân LLM ngày càng phụ thuộc vào cơ sở hạ tầng nhận thức bên ngoài tốt hơn, chứ không chỉ vào các mô hình mạnh hơn.
Thiết lập một khuôn khổ cấp hệ thống để hiểu thiết kế tác nhân LLM, nhấn mạnh "Harness" như một lớp điều phối tích hợp.
Thảo luận về sự đánh đổi giữa năng lực tham số (parametric capability) và năng lực ngoại hóa (externalized capability).

IV. Conclusion & Future Works:

Bài báo kết luận rằng sự tiến bộ của tác nhân LLM ngày càng phụ thuộc vào việc tái cấu trúc có hệ thống các yêu cầu tác vụ thông qua ngoại hóa. Các hướng nghiên cứu trong tương lai bao gồm:

Phát triển các hệ thống điều phối (harnesses) có khả năng tự tiến hóa và thích ứng.
Xây dựng cơ sở hạ tầng tác nhân chia sẻ để thúc đẩy sự hợp tác và tái sử dụng.
Giải quyết các thách thức về đánh giá, quản trị và sự đồng tiến hóa lâu dài giữa mô hình và cơ sở hạ tầng bên ngoài.
Mở rộng khái niệm ngoại hóa sang các tác nhân có thể hiện thân (embodied externalization).
Nghiên cứu các chi phí, rủi ro và quản trị liên quan đến các hệ thống tác nhân ngoại hóa.
Phát triển các phương pháp đo lường hiệu quả của sự ngoại hóa.

V. Brainstorming Space:

1. Publish Papers:

Phát triển Hệ thống Điều phối Tự Tiến hóa (Self-Evolving Harnesses) cho Tác nhân LLM: Nghiên cứu về các cơ chế cho phép hệ thống điều phối tự động học hỏi, điều chỉnh và tối ưu hóa các chiến lược quản lý bộ nhớ, kỹ năng và giao thức dựa trên hiệu suất của tác nhân, phản hồi của người dùng và các thay đổi trong môi trường tác vụ.
Khuôn khổ Đánh giá Toàn diện cho Tác nhân LLM Ngoại hóa: Đề xuất một bộ tiêu chuẩn và điểm chuẩn mới để đánh giá hiệu suất, độ tin cậy và khả năng quản trị của các tác nhân LLM tích hợp cơ sở hạ tầng bên ngoài (bộ nhớ, kỹ năng, giao thức). Tập trung vào các kịch bản dài hạn và đa bước mà các phương pháp đánh giá truyền thống còn hạn chế.
Quản lý Ngữ cảnh Động và Nén Thông tin cho Tác nhân LLM Đa phương thức: Nghiên cứu về các kỹ thuật nén ngữ cảnh thông minh, truy xuất chọn lọc và tiết lộ thông tin dần dần (progressive disclosure) để tối ưu hóa việc sử dụng cửa sổ ngữ cảnh hữu hạn trong các tác nhân LLM xử lý dữ liệu đa phương thức (văn bản, hình ảnh, âm thanh) và các tác vụ phức tạp.

2. Patent:

Hệ thống Trợ lý Di động Thông minh với Bộ nhớ Thích ứng Cá nhân hóa: Một hệ thống trên điện thoại di động cho phép trợ lý AI ghi nhớ và học hỏi từ các tương tác, sở thích, và thói quen của người dùng qua nhiều phiên sử dụng. Hệ thống này sẽ tự động truy xuất các thông tin liên quan từ bộ nhớ ngoại hóa khi cần thiết, giúp trợ lý cung cấp phản hồi chính xác và thực hiện tác vụ hiệu quả hơn mà không yêu cầu người dùng lặp lại thông tin. Ví dụ: Ghi nhớ các món ăn yêu thích, lịch trình làm việc, hoặc các dự án đang thực hiện để đưa ra gợi ý hoặc hoàn thành tác vụ nhanh chóng (đặt đồ ăn, lên lịch họp).
Nền tảng Kỹ năng Tự động hóa Di động Có thể Tái sử dụng và Chia sẻ: Một khung công tác tích hợp trên thiết bị di động cho phép người dùng hoặc nhà phát triển tạo, lưu trữ và chia sẻ các "kỹ năng" (chuỗi hành động tự động hóa) cho LLM agent. Các kỹ năng này được đóng gói dưới dạng các mô-đun có thể tái sử dụng, cho phép tác nhân thực hiện các tác vụ phức tạp như "Tổ chức chuyến đi" (tự động tìm kiếm chuyến bay, khách sạn, lên lịch trình) bằng cách kết hợp các ứng dụng khác trên điện thoại thông qua các giao thức đã định nghĩa, nâng cao hiệu quả và tính nhất quán.
Cơ chế Điều phối Tương tác An toàn và Kiểm soát Quyền riêng tư cho Ứng dụng Di động: Một giao thức và cơ chế "harness" trên thiết bị di động để quản lý chặt chẽ cách LLM agent tương tác với các ứng dụng khác và dữ liệu cá nhân của người dùng. Hệ thống này sẽ thiết lập các quy tắc rõ ràng về quyền truy cập dữ liệu, luồng thông tin và yêu cầu xác nhận của người dùng cho từng hành động quan trọng của agent, đảm bảo an toàn, bảo mật và quyền riêng tư. Ví dụ: Khi agent muốn đặt lịch hẹn trên ứng dụng lịch hoặc gửi tin nhắn, người dùng sẽ nhận được yêu cầu xác nhận trực tiếp trên màn hình trước khi hành động được thực hiện.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.08224
ArXiv Abstract	https://arxiv.org/abs/2604.08224
PDF Download	https://arxiv.org/pdf/2604.08224.pdf
Github Repository	N/A

10. OpenVLThinkerV2: A Generalist Multimodal Reasoning Model for Multi-domain Visual Tasks (30 votes)

Tác giả: Wenbo Hu, Xin Chen, Yan Gao-Tian, Yihe Deng, Nanyun Peng, Kai-Wei Chang

Xuất bản lúc: 2026-04-09

Tag: RL, MLLMs, Multimodal, VQA, Document Understanding, Spatial Reasoning, Grounding, Optimal Transport, Gaussian Distribution, Reinforcement Learning, Large Language Models

I. Main Problem:

Sự biến động lớn trong cấu trúc phần thưởng (reward topologies) giữa các tác vụ thị giác đa dạng trong các mô hình ngôn ngữ lớn đa phương thức (MLLMs), gây ra sự mất cân bằng trong cập nhật gradient (intra- và inter-task update imbalances) cho thuật toán GRPO, dẫn đến nguy cơ bùng nổ gradient. Ngoài ra, việc cân bằng giữa khả năng nhận biết chi tiết (fine-grained perception) và khả năng suy luận đa bước (multi-step reasoning) trong quá trình huấn luyện hậu kỳ RL cho MLLMs cũng là một thách thức lớn, bởi các phương pháp hiện có để cải thiện nhận thức đòi hỏi chi phí chú thích dữ liệu hoặc chi phí tính toán cao.

II. Main Idea:

Các tác giả giới thiệu Gaussian GRPO (G2RPO), một phương pháp tối ưu hóa học tăng cường (RL training objective) mới thay thế việc chuẩn hóa tuyến tính bằng khớp phân phối phi tuyến tính. G2RPO buộc phân phối lợi thế (advantage distribution) của bất kỳ tác vụ nào phải hội tụ về phân phối chuẩn tắc N(0,1), đảm bảo sự công bằng gradient giữa các tác vụ, giảm thiểu ảnh hưởng của các giá trị ngoại lai (heavy-tail outliers) và cung cấp cập nhật đối xứng cho phần thưởng dương và âm. Đồng thời, họ đề xuất hai cơ chế định hình cấp độ tác vụ (task-level shaping mechanisms) để cân bằng giữa nhận thức và suy luận: định hình độ dài phản hồi (response length shaping) để khuyến khích chuỗi suy luận phù hợp với độ phức tạp của truy vấn và định hình entropy (entropy shaping) để giới hạn vùng khám phá của mô hình, ngăn chặn cả sự sụp đổ và bùng nổ entropy. Các phương pháp này được tích hợp vào OpenVLThinkerV2, một mô hình đa phương thức tổng quát, mạnh mẽ.

III. Main Results:

OpenVLThinkerV2 đạt hiệu suất vượt trội so với các mô hình mã nguồn mở mạnh mẽ và các mô hình tiên phong độc quyền hàng đầu trên 18 bộ benchmark đa dạng. Cụ thể, mô hình đạt 71.6% trên MMMU và 79.5% trên MathVista, vượt qua GPT-4o. Nó cũng vượt trội đáng kể so với các mô hình độc quyền như GPT-5 và Gemini 2.5 Pro trên sáu benchmark về hiểu tài liệu và suy luận không gian, và đạt 911 trên OCRBench, vượt qua mô hình chuyên biệt DeepEyesV2. OpenVLThinkerV2 cũng đạt khả năng định vị SOTA trên RefCOCO, RefCOCO+ và RefCOCOg (lần lượt là 93.4%/88.2%/90.4%), vượt qua Grounding DINO chuyên biệt. Nghiên cứu loại bỏ thành phần (ablation study) xác nhận G2RPO mang lại cải thiện hiệu suất ban đầu đáng kể nhất, và cả định hình độ dài phản hồi lẫn định hình entropy đều cung cấp những cải thiện bổ sung, chứng minh tính hiệu quả tổng thể của phương pháp đề xuất.

IV. Conclusion & Future Works:

OpenVLThinkerV2 là một mô hình đa phương thức tổng quát, mạnh mẽ với quá trình huấn luyện hậu kỳ học tăng cường đa tác vụ. G2RPO giải quyết sự biến động lớn trong cấu trúc phần thưởng, đảm bảo sự công bằng gradient giữa các tác vụ, trong khi các cơ chế định hình độ dài phản hồi và entropy cân bằng hiệu quả giữa nhận biết chi tiết và suy luận đa bước. Công trình này có thể mở rộng sang các ứng dụng LLM rộng hơn gặp phải sự không đồng nhất phần thưởng tương tự, như lập trình phần mềm (SWE coding) và các tác vụ giao diện người dùng đồ họa (GUI). Tác giả khuyến khích cộng đồng xây dựng dựa trên các nguyên tắc này để thúc đẩy các mô hình tối ưu hóa RL ổn định, có khả năng mở rộng và công bằng hơn trên tất cả các mô hình nền tảng ngôn ngữ và đa phương thức.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu áp dụng G2RPO cho các tác vụ LLM phi thị giác có sự đa dạng lớn về cấu trúc phần thưởng, như lập trình phần mềm (SWE coding) hoặc các tác vụ giao diện người dùng đồ họa (GUI), để giải quyết vấn đề mất cân bằng gradient và các ngoại lệ phần thưởng.
Phát triển các phương pháp tự động để tìm kiếm và điều chỉnh các siêu tham số cho định hình độ dài phản hồi (response length shaping) và định hình entropy (entropy shaping) trên các tác vụ đa dạng, thay vì dựa vào quan sát thực nghiệm, nhằm đạt được hiệu suất tối ưu và giảm công sức tinh chỉnh thủ công.
Khám phá cách G2RPO có thể được tích hợp và tối ưu hóa với các kiến trúc MLLM tiên tiến hoặc mới nổi khác để nâng cao khả năng suy luận đa phương thức trên các bộ dữ liệu và miền tác vụ phức tạp hơn.

2. Patent:

Hệ thống trợ lý ảo đa phương thức thông minh với phản hồi thích ứng trên điện thoại: Một ứng dụng di động sử dụng công nghệ G2RPO và định hình độ dài phản hồi để cung cấp các phản hồi thông minh và phù hợp theo ngữ cảnh cho người dùng. Ví dụ, khi người dùng chụp ảnh một món đồ và hỏi 'Đây là gì và tôi có thể làm gì với nó?', trợ lý sẽ đưa ra mô tả ngắn gọn và sau đó là các gợi ý chi tiết hơn (mua sắm, công thức nấu ăn, v.v.) dựa trên độ phức tạp của câu hỏi và ngữ cảnh hình ảnh, tối ưu hóa trải nghiệm người dùng.
Công cụ học tập và giải bài tập bằng hình ảnh có hướng dẫn chi tiết trên điện thoại: Một ứng dụng di động cho phép học sinh chụp ảnh bài toán hoặc biểu đồ và nhận được lời giải từng bước. Công nghệ định hình độ dài phản hồi sẽ đảm bảo rằng các bước giải thích được cung cấp ở độ dài tối ưu: ngắn gọn cho các phép tính đơn giản và chi tiết hơn cho các khái niệm phức tạp, giúp người dùng dễ hiểu và học hỏi hiệu quả mà không bị quá tải thông tin.
Hệ thống quản lý tài liệu thông minh trên điện thoại: Một ứng dụng quét và phân tích tài liệu (hóa đơn, hợp đồng, sách) trên điện thoại. Sử dụng G2RPO để tối ưu hóa việc trích xuất thông tin (OCR) và hiểu ngữ cảnh tài liệu. Các cơ chế định hình entropy giúp mô hình duy trì sự cân bằng giữa việc khám phá các cách giải thích khác nhau cho dữ liệu mơ hồ và tập trung vào các thông tin quan trọng, đảm bảo độ chính xác cao trong việc tóm tắt hoặc tìm kiếm thông tin cụ thể trong tài liệu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.08539
ArXiv Abstract	https://arxiv.org/abs/2604.08539
PDF Download	https://arxiv.org/pdf/2604.08539.pdf
Github Repository	https://github.com/uclanlp/OpenVLThinker

11. Act Wisely: Cultivating Meta-Cognitive Tool Use in Agentic Multimodal Models (28 votes)

Tác giả: Shilin Yan, Jintao Tong, Hongwei Xue, Xiaojun Tang, Yangyang Wang, Kunyu Shi, Guannan Zhang, Ruixuan Li, Yixiong Zou

Xuất bản lúc: 2026-04-09

Tag: Multimodal Agents, Reinforcement Learning, Tool Use, Meta-Cognition, Policy Optimization, MLLMs, Deep Learning

I. Main Problem:

Các mô hình đa phương thức dạng tác tử hiện tại mắc phải một thiếu sót lớn về siêu nhận thức: chúng gặp khó khăn trong việc phân xử giữa việc tận dụng kiến thức nội bộ và truy vấn các tiện ích bên ngoài. Điều này dẫn đến việc chúng thường xuyên thực hiện "gọi công cụ một cách mù quáng" (blind tool invocation), tức là thực thi công cụ một cách phản xạ ngay cả khi các truy vấn có thể được giải quyết từ ngữ cảnh thị giác thô. Hành vi này gây ra các nút thắt cổ chai về độ trễ nghiêm trọng và tạo ra nhiễu loạn không cần thiết, làm chệch hướng quá trình suy luận đúng đắn. Các giao thức học tăng cường hiện có cố gắng giảm thiểu vấn đề này bằng cách áp dụng một phần thưởng có trọng số phạt việc sử dụng công cụ. Tuy nhiên, công thức kết hợp này tạo ra một tình huống tiến thoái lưỡng nan trong tối ưu hóa: một hình phạt quá mạnh sẽ ngăn chặn việc sử dụng công cụ cần thiết, trong khi một hình phạt nhẹ lại bị lấn át hoàn toàn bởi phương sai của phần thưởng độ chính xác trong quá trình chuẩn hóa lợi thế, khiến nó không hiệu quả trong việc chống lại việc lạm dụng công cụ.

II. Main Idea:

Chúng tôi đề xuất HDPO (Hierarchical Decoupled Policy Optimization), một khuôn khổ học tăng cường (RL) định hình lại hiệu quả sử dụng công cụ từ một mục tiêu cạnh tranh thành một mục tiêu có điều kiện nghiêm ngặt. Bằng cách loại bỏ việc quy đổi phần thưởng thành một giá trị vô hướng, HDPO duy trì hai kênh tối ưu hóa trực giao: một kênh độ chính xác nhằm tối đa hóa sự đúng đắn của nhiệm vụ, và một kênh hiệu quả nhằm thực thi tính tiết kiệm trong thực thi chỉ trong các quỹ đạo chính xác thông qua cơ chế ước tính lợi thế có điều kiện mới. Kiến trúc tách rời này tự nhiên tạo ra một chương trình học nhận thức – buộc tác tử phải thành thạo việc giải quyết nhiệm vụ trước khi tinh chỉnh khả năng tự chủ của nó. Chúng tôi cũng bổ sung HDPO bằng một quy trình tuyển chọn dữ liệu nghiêm ngặt để loại bỏ các động lực môi trường bị ảo giác và cô lập sự cần thiết thực sự của công cụ. Mô hình kết quả của chúng tôi, Metis, được trang bị các công cụ viết mã và tìm kiếm, học cách sử dụng công cụ một cách chiến lược khi chúng cung cấp bằng chứng hoặc tính toán thực sự hữu ích.

III. Main Results:

Các đánh giá rộng rãi cho thấy mô hình Metis của chúng tôi giảm đáng kể số lần gọi công cụ (ví dụ: từ 98% xuống 2%) đồng thời nâng cao độ chính xác suy luận. Metis đạt hiệu suất vượt trội hoặc cạnh tranh cao nhất trên nhiều điểm chuẩn đa dạng, bao gồm các nhiệm vụ về nhận thức, hiểu tài liệu và suy luận toán học/logic. Cụ thể, trên các điểm chuẩn độ phân giải cao như HRBench-4K và HRBench-8K, Metis đạt lần lượt 83.5% và 82.0%, vượt trội hơn tất cả các mô hình tác tử hiện có, bao gồm cả Skywork-R1V4 có 30 tỷ tham số. Trên các câu hỏi suy luận CharXiv đầy thách thức, Metis đạt 54.1%, vượt xa mô hình tác tử tốt nhất trước đây (DeepEyesV2 ở mức 48.9%). Trong các điểm chuẩn suy luận toán học và logic, Metis đạt điểm trung bình 66.9%, vượt trội đáng kể so với các mô hình suy luận chỉ văn bản và các mô hình đa phương thức tác tử hiện có. Đặc biệt, trên WeMath, Metis đạt 65.2%, cải thiện tuyệt đối +26.4% so với mô hình cơ sở của nó (38.8%). Các nghiên cứu loại bỏ cho thấy HDPO mang lại lợi ích đáng kể so với GRPO tiêu chuẩn.

IV. Conclusion & Future Works:

Công trình của chúng tôi đề xuất một sự thay đổi mô hình trong học tập tăng cường công cụ: từ việc chỉ dạy các mô hình cách thực hiện công cụ, đến việc trau dồi trí tuệ siêu nhận thức về khi nào nên kiêng kỵ chúng. HDPO giải quyết vấn đề gán tín hiệu trong tối ưu hóa và thiết lập một chương trình học nhận thức ngầm, buộc tác tử phải ưu tiên sự đúng đắn trước khi tối ưu hóa hiệu quả. Điều này phá vỡ ảo tưởng rằng việc phụ thuộc nhiều vào công cụ đồng nghĩa với hiệu suất tốt hơn, và thay vào đó, việc loại bỏ các lệnh gọi công cụ nhiễu, thừa thãi trực tiếp đóng góp vào độ chính xác vượt trội.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc lựa chọn công cụ động và thích ứng cho tác tử đa phương thức: Khám phá cách các tác tử có thể tự động học cách chọn công cụ phù hợp nhất từ một thư viện công cụ lớn, đa dạng và có thể phát triển, thay vì chỉ quyết định khi nào nên sử dụng các công cụ đã cho. Điều này bao gồm việc nghiên cứu meta-learning để khám phá và tích hợp công cụ.
Định lượng sự không chắc chắn và hiệu chỉnh siêu nhận thức trong việc sử dụng công cụ của tác tử: Xây dựng các mô hình để định lượng rõ ràng sự không chắc chắn nội tại của tác tử và tích hợp thông tin này vào quá trình ra quyết định gọi công cụ. Mục tiêu là cho phép tác tử 'biết mình không biết' và chỉ gọi công cụ bên ngoài khi mức độ tự tin nội bộ thấp và công cụ bên ngoài có khả năng cung cấp thông tin có giá trị cao.
Mở rộng tối ưu hóa chính sách phân cấp tách rời (HDPO) cho hệ thống đa tác tử và sử dụng công cụ hợp tác: Áp dụng các nguyên tắc của HDPO – tối ưu hóa tách rời và lợi thế có điều kiện – vào các môi trường đa tác tử, nơi các tác tử cộng tác và chia sẻ công cụ, hoặc nơi các tác tử khác nhau chuyên về các chiến lược sử dụng công cụ khác nhau, nhằm tối ưu hóa hiệu quả và độ chính xác chung của hệ thống.

2. Patent:

Hệ thống Trợ lý Ảo Tiết kiệm Năng lượng Thông minh trên Thiết bị Di động: Một công nghệ cho phép trợ lý ảo trên điện thoại (như Siri, Google Assistant) tự động đánh giá yêu cầu của người dùng để xác định xem có thể giải quyết bằng tài nguyên nội bộ của thiết bị hay không (ví dụ: dữ liệu đã lưu trữ, xử lý trên thiết bị). Nếu có, trợ lý sẽ tránh truy cập mạng internet hoặc các dịch vụ đám mây, giúp giảm thiểu tiêu thụ pin và dữ liệu di động. Chỉ khi nhận thấy cần thông tin hoặc tính toán bên ngoài, nó mới chủ động kích hoạt các công cụ trực tuyến.
Công nghệ Quản lý Thông báo và Tác vụ Nền Thông minh cho Điện thoại: Một tính năng trên điện thoại thông minh tự động phân tích nội dung và ngữ cảnh của thông báo từ các ứng dụng. Hệ thống sẽ quyết định một cách thông minh khi nào nên kích hoạt các tác vụ nền tảng tốn tài nguyên (như tải dữ liệu, cập nhật ứng dụng) và khi nào nên trì hoãn chúng. Điều này giúp tối ưu hóa việc sử dụng pin, giảm tải cho bộ xử lý và tăng tốc độ phản hồi tổng thể của thiết bị bằng cách tránh các tác vụ không cần thiết hoặc có thể chờ đợi.
Giải pháp Tối ưu hóa Xử lý Ảnh và Video trên Di động: Một hệ thống tích hợp vào ứng dụng thư viện ảnh hoặc trình chỉnh sửa ảnh/video trên điện thoại. Hệ thống này sẽ tự động đánh giá độ phức tạp và yêu cầu của tác vụ (ví dụ: chỉnh sửa cơ bản, nâng cấp độ phân giải, tìm kiếm đối tượng nâng cao). Dựa trên đánh giá, nó sẽ quyết định xem nên thực hiện xử lý ngay trên thiết bị để tiết kiệm tài nguyên hay cần gửi tác vụ lên đám mây để sử dụng các công cụ xử lý mạnh mẽ hơn. Điều này giúp người dùng tiết kiệm pin, dữ liệu di động và thời gian xử lý bằng cách chỉ sử dụng tài nguyên bên ngoài khi thực sự cần thiết.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.08545
ArXiv Abstract	https://arxiv.org/abs/2604.08545
PDF Download	https://arxiv.org/pdf/2604.08545.pdf
Github Repository	https://github.com/Accio-Lab/Metis

12. DMax: Aggressive Parallel Decoding for dLLMs (28 votes)

Tác giả: Zigeng Chen, Gongfan Fang, Xinyin Ma, Ruonan Yu, Xinchao Wang

Xuất bản lúc: 2026-04-09

Tag: Diffusion Language Models, dLLMs, Parallel Decoding, Error Accumulation, Self-Refinement, On-Policy Uniform Training, Soft Parallel Decoding, Machine Learning, Deep Learning, Natural Language Generation

I. Main Problem:

Các mô hình ngôn ngữ khuếch tán (dLLMs) hiện có gặp phải vấn đề tích lũy lỗi nghiêm trọng khi thực hiện giải mã song song "hung hãn" (aggressive parallel decoding), dẫn đến hiệu suất giảm mạnh. Quá trình giải mã nhị phân từ mặt nạ sang mã thông báo (mask-to-token) hiện tại là một chiều, không cho phép sửa đổi các dự đoán sai ban đầu, làm ô nhiễm các dự đoán tiếp theo và gây sụp đổ ngữ nghĩa. Điều này hạn chế đáng kể khả năng tăng tốc độ suy luận của dLLMs.

II. Main Idea:

Bài báo giới thiệu DMax, một phương pháp mới giải quyết vấn đề tích lũy lỗi trong giải mã song song cho dLLMs. DMax chuyển đổi quá trình giải mã nhị phân mask-to-token thành một quá trình tự tinh chỉnh trong không gian nhúng (embedding space).

Cốt lõi của DMax là On-Policy Uniform Training (OPUT), một chiến lược huấn luyện mới thống nhất dLLMs mặt nạ và dLLMs đồng nhất. OPUT huấn luyện mô hình phục hồi các mã thông báo sạch từ cả đầu vào bị mặt nạ và các dự đoán sai của chính nó bằng cách lấy mẫu đầu vào nhiễu dựa trên phân phối dự đoán của mô hình, thu hẹp khoảng cách giữa huấn luyện và suy luận.

Trên cơ sở đó, DMax đề xuất Soft Parallel Decoding (SPD). SPD biểu diễn mỗi trạng thái giải mã trung gian dưới dạng một nhúng lai (hybrid embedding) được nội suy giữa nhúng mã thông báo dự đoán và nhúng mặt nạ, dựa trên độ tin cậy của mô hình. Điều này cho phép tự sửa đổi lặp đi lặp lại trong không gian nhúng, duy trì sự không chắc chắn của dự đoán và tăng cường khả năng tự sửa lỗi.

III. Main Results:

DMax đã chứng minh hiệu quả vượt trội trên nhiều điểm chuẩn, sử dụng LLaDA-2.0-mini làm mô hình cơ sở:

Tăng tốc độ giải mã: Trên GSM8K, DMax cải thiện TPF (Tokens Per Forward) từ 2.04 lên 5.47 (hoặc 5.48) trong khi vẫn giữ nguyên độ chính xác (92.6% xuống 92.1%). Trên MBPP, TPF tăng từ 2.71 lên 5.86 với hiệu suất tương đương (80.6% xuống 79.2%).
Thông lượng cao: Trên hai GPU H200, mô hình đạt trung bình 1.338 TPS (Tokens Per Second) ở kích thước lô 1.
Cải thiện độ chính xác ở mức độ song song thấp: DMax cũng cải thiện độ chính xác từ 0.8% đến 3.0% trên các điểm chuẩn khác nhau ở chế độ song song thấp.
Ưu việt hơn so với các phương pháp cơ bản: DMax liên tục vượt trội hơn LLaDA-2.0-mini và các phương pháp cơ bản khác về điểm AUP, thể hiện khả năng giải mã song song mạnh mẽ hơn nhiều. Các nghiên cứu loại bỏ (ablation study) xác nhận OPUT là điều kiện tiên quyết và cả OPUT và SPD đều đóng góp đáng kể vào hiệu quả.

IV. Conclusion & Future Works:

DMax là một phương pháp mới hiệu quả cho các mô hình ngôn ngữ khuếch tán, giải quyết vấn đề tích lũy lỗi trong giải mã song song. Bằng cách giới thiệu On-Policy Uniform Training và Soft Parallel Decoding, DMax cho phép giải mã song song mạnh mẽ trong khi vẫn duy trì chất lượng tạo sinh. Công trình này thiết lập một nền tảng mạnh mẽ mới cho nghiên cứu trong tương lai về giải mã song song cho dLLMs, mở ra hướng đi đầy hứa hẹn để cải thiện hiệu suất suy luận và tính mạnh mẽ của các mô hình này.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng DMax sang các mô hình sinh văn bản khác: Nghiên cứu cách áp dụng cơ chế tự tinh chỉnh và giải mã nhúng mềm của DMax cho các loại mô hình sinh văn bản khác ngoài dLLMs, ví dụ như mô hình autoregressive, để cải thiện hiệu quả và khả năng sửa lỗi trong các tác vụ tạo sinh văn bản khác nhau.
Tối ưu hóa chiến lược nội suy và ngưỡng tự tin động: Khám phá các phương pháp nội suy nhúng lai động hơn trong Soft Parallel Decoding, cùng với các chiến lược điều chỉnh ngưỡng tự tin (confidence threshold) thích ứng, để cân bằng tối ưu giữa tốc độ giải mã và độ chính xác trên các loại dữ liệu và độ dài văn bản khác nhau.
Áp dụng DMax cho dLLMs đa phương thức: Nghiên cứu việc tích hợp DMax vào các mô hình ngôn ngữ khuếch tán đa phương thức (multimodal dLLMs), đặc biệt là trong các tác vụ liên quan đến thị giác-ngôn ngữ (Vision-Language Action), để nâng cao hiệu quả giải mã song song khi tạo ra nội dung đa phương thức phức tạp.

2. Patent:

Bàn phím di động thông minh với tính năng tự sửa lỗi dự đoán: Một bàn phím ảo trên điện thoại di động sử dụng công nghệ tương tự DMax để không chỉ dự đoán từ hoặc cụm từ tiếp theo mà còn tự động sửa lỗi các dự đoán đó trong thời gian thực. Khi người dùng gõ, bàn phím sẽ nhanh chóng đề xuất các câu hoàn chỉnh và tinh chỉnh chúng liên tục dựa trên ngữ cảnh, giúp tăng tốc độ gõ và giảm lỗi chính tả, ngữ pháp đáng kể, mang lại trải nghiệm nhập liệu mượt mà và chính xác hơn.
Ứng dụng soạn thảo mã nguồn di động với khả năng sinh và tinh chỉnh mã song song: Một ứng dụng trên điện thoại thông minh cho phép người dùng mô tả chức năng mong muốn bằng ngôn ngữ tự nhiên và ứng dụng sẽ tự động sinh ra các đoạn mã hoặc script. Với khả năng giải mã song song và tự sửa lỗi của DMax, ứng dụng có thể nhanh chóng tạo ra mã nguồn chất lượng cao, tự động phát hiện và đề xuất sửa lỗi cú pháp hoặc logic, hỗ trợ các nhà phát triển hoặc người dùng nâng cao tạo ra các giải pháp lập trình ngay trên thiết bị di động một cách hiệu quả.
Tính năng tóm tắt nội dung web tức thì trên trình duyệt di động: Một tính năng tích hợp trong trình duyệt web trên điện thoại di động hoặc ứng dụng đọc tin tức, cho phép người dùng tóm tắt nhanh chóng các bài viết dài hoặc trang web. Bằng cách tận dụng khả năng giải mã song song và tự tinh chỉnh của DMax, tính năng này có thể trích xuất các ý chính và tạo ra bản tóm tắt ngắn gọn, chính xác chỉ trong vài giây, giúp người dùng tiết kiệm thời gian đọc và nắm bắt thông tin hiệu quả hơn trên màn hình nhỏ của điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.08302
ArXiv Abstract	https://arxiv.org/abs/2604.08302
PDF Download	https://arxiv.org/pdf/2604.08302.pdf
Github Repository	https://github.com/czg1225/DMax

13. MolmoWeb: Open Visual Web Agent and Open Data for the Open Web (27 votes)

Tác giả: Tanmay Gupta, Piper Wolters, Zixian Ma, Peter Sushko, Rock Yuren Pang, Diego Llanes, Yue Yang, Taira Anderson, Boyuan Zheng, Zhongzheng Ren, Harsh Trivedi, Taylor Blanton, Caleb Ouellette, Winson Han, Ali Farhadi, Ranjay Krishna

Xuất bản lúc: 2026-04-09

Tag: Web Agents, Multimodal Models, Vision-Language Models, Data Generation, Supervised Learning, Open Data

I. Main Problem:

Các tác nhân web mạnh nhất hiện nay phụ thuộc vào các mô hình độc quyền với dữ liệu và quy trình huấn luyện không được tiết lộ, làm hạn chế sự hiểu biết khoa học, khả năng tái tạo và tiến bộ của cộng đồng. Sự thiếu minh bạch này đặc biệt đáng lo ngại đối với các tác nhân tự động hoạt động trên web mở, nơi sự tin cậy đòi hỏi tính minh bạch, trách nhiệm giải trình và hành vi có thể kiểm toán. Hơn nữa, các biểu diễn dựa trên Document Object Model (DOM) dễ vỡ, thay đổi đáng kể giữa các trang web và tiêu tốn nhiều token, gây ra chi phí tính toán lớn.

II. Main Idea:

Giới thiệu MolmoWebMix, một tập hợp dữ liệu lớn và đa dạng gồm các minh họa tác vụ trình duyệt và dữ liệu nhận thức giao diện đồ họa người dùng (GUI) web, cùng với MolmoWeb, một họ các tác nhân web đa phương thức hoàn toàn mở. Các tác nhân MolmoWeb hoạt động như các chính sách hành động ngôn ngữ-thị giác có điều kiện hướng dẫn: khi nhận một hướng dẫn tác vụ và ảnh chụp màn hình trang web, chúng dự đoán hành động trình duyệt tiếp theo mà không cần truy cập HTML, cây truy cập (accessibility trees) hoặc API chuyên biệt. MolmoWebMix kết hợp hơn 100K quỹ đạo tác vụ tổng hợp từ nhiều quy trình tạo bổ sung, 30K+ minh họa của con người, các quỹ đạo kỹ năng web nguyên tử và dữ liệu nhận thức GUI (bao gồm định vị biểu thức tham chiếu và trả lời câu hỏi ảnh chụp màn hình). MolmoWeb được huấn luyện end-to-end thông qua tinh chỉnh có giám sát trên hỗn hợp dữ liệu MolmoWebMix.

III. Main Results:

Các tác nhân MolmoWeb đạt được kết quả tiên tiến (SOTA) so với các mô hình mã nguồn mở cùng quy mô khác như Fara-7B, UI-Tars-1.5-7B và Holo1-7B trên các điểm chuẩn WebVoyager, Online-Mind2Web và DeepShop.
MolmoWeb-8B vượt trội hơn cả các tác nhân Set-of-Marks (SoM) được xây dựng trên các mô hình đóng lớn hơn nhiều như GPT-4o.
Thông qua việc mở rộng thời gian kiểm tra bằng cách thực hiện các lần chạy song song với lựa chọn "best-of-N", MolmoWeb-8B đạt được pass@4 là 94.7% trên WebVoyager và 60.5% trên Online-Mind2Web, so với pass@1 tương ứng là 78.2% và 35.3%.

IV. Conclusion & Future Works:

Kết luận rằng các tác nhân cho web mở cần được xây dựng một cách cởi mở và minh bạch. Nhóm nghiên cứu sẽ phát hành các điểm kiểm tra mô hình, dữ liệu huấn luyện, mã nguồn và một bộ công cụ đánh giá thống nhất để hỗ trợ khả năng tái tạo và đẩy nhanh nghiên cứu mở về các tác nhân web.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về hiệu quả của các chiến lược kết hợp dữ liệu tổng hợp và dữ liệu thực tế quy mô lớn để huấn luyện tác nhân web đa phương thức, đặc biệt tập trung vào khả năng khái quát hóa trên các miền web mới.
Phát triển các kiến trúc tác nhân web chỉ dựa trên thị giác mới, tập trung vào việc cải thiện khả năng hiểu ngữ cảnh phức tạp và tương tác động trên các giao diện người dùng web đa dạng mà không cần truy cập cấu trúc DOM.
Khám phá các phương pháp đánh giá định lượng cho tính minh bạch, khả năng giải thích và tính có thể kiểm toán của tác nhân web trong các tác vụ thực tế, đặc biệt khi chúng tương tác với thông tin nhạy cảm của người dùng.

2. Patent:

Hệ thống tự động hóa tác vụ web cho điện thoại di động: Một công nghệ cho phép người dùng điện thoại di động mô tả bằng giọng nói hoặc văn bản các tác vụ web phức tạp (ví dụ: "Tìm và đặt một chuyến bay khứ hồi từ Hà Nội đến TP.HCM vào tuần sau với giá rẻ nhất") và hệ thống sẽ tự động điều hướng các trang web, điền biểu mẫu, nhấp vào các nút và hoàn thành tác vụ đó chỉ bằng cách phân tích hình ảnh màn hình, hiển thị tiến độ và yêu cầu xác nhận từ người dùng tại các bước quan trọng.
Trợ lý web thông minh hỗ trợ tiếp cận trên điện thoại di động: Một tính năng trên điện thoại di động sử dụng AI thị giác để phân tích ảnh chụp màn hình trang web, tự động xác định và mô tả các thành phần tương tác (ví dụ: "Đây là nút 'Thêm vào giỏ hàng' cho sản phẩm bạn đang xem") và đề xuất hành động tiếp theo phù hợp với mục tiêu của người dùng, giúp những người gặp khó khăn về thị giác hoặc kỹ năng số dễ dàng tương tác với web mà không cần thông tin HTML.
Công cụ trích xuất thông tin web ngữ cảnh cho năng suất di động: Một ứng dụng di động cho phép người dùng đưa ra một truy vấn cụ thể (ví dụ: "So sánh giá của chiếc điện thoại này trên các cửa hàng trực tuyến" hoặc "Tóm tắt thông tin quan trọng về sản phẩm này") khi đang xem một trang web. Ứng dụng sẽ sử dụng AI để phân tích hình ảnh màn hình, trích xuất thông tin liên quan (văn bản, giá cả, hình ảnh sản phẩm) và trình bày lại một cách có cấu trúc, hoặc tự động sao chép vào ứng dụng khác, nâng cao năng suất mà không cần thao tác thủ công phức tạp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.08516
ArXiv Abstract	https://arxiv.org/abs/2604.08516
PDF Download	https://arxiv.org/pdf/2604.08516.pdf
Github Repository	N/A

14. OpenSpatial: A Principled Data Engine for Empowering Spatial Intelligence (26 votes)

Tác giả: Jianhui Liu, Haoze Sun, Wenbo Li, Yanbing Zhang, Rui Yang, Zhiliang Zhu, Yijun Yang, Shenghe Zheng, Nan Jiang, Jiaxiu Jiang, Haoyang Huang, Tien-Tsin Wong, Nan Duan, Xiaojuan Qi

Xuất bản lúc: 2026-04-08

Tag: Spatial Intelligence, Vision-language Model, Data Engine, 3D Bounding Boxes, Dataset Generation, MLLMs, SFT

I. Main Problem:

Hiểu biết không gian là nền tảng của trí tuệ cấp độ con người, nhưng nghiên cứu hiện tại chủ yếu tập trung vào việc tạo dữ liệu theo miền cụ thể, bỏ qua một khoảng trống quan trọng: thiếu một công cụ mã nguồn mở, có nguyên tắc, có khả năng giải phóng hoàn toàn tiềm năng của dữ liệu không gian chất lượng cao. Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) hiện tại có khả năng diễn đạt ngữ nghĩa tốt nhưng vẫn còn hạn chế về năng lực không gian, thường thất bại trong việc nhận biết khoảng cách chính xác, duy trì tính nhất quán đa góc nhìn hoặc xây dựng bản đồ nhận thức không gian. Sự thiếu đa dạng của dữ liệu không gian hiện có dẫn đến 'tầm nhìn không gian hạn hẹp' và nhiều dữ liệu được tạo ra bởi các quy trình 'hộp đen' độc quyền, gây khó khăn cho việc mở rộng, nghiên cứu các lựa chọn thiết kế và tái tạo kết quả.

II. Main Idea:

Để khắc phục những hạn chế này, chúng tôi giới thiệu OpenSpatial – một công cụ dữ liệu mã nguồn mở được thiết kế cho chất lượng cao, khả năng mở rộng rộng rãi, đa dạng tác vụ và hiệu quả tối ưu. OpenSpatial được xây dựng dựa trên ba nguyên tắc thiết kế chính:

Định vị trung tâm hộp 3D (3D box–centric grounding): Sử dụng các hộp giới hạn 3D làm nguyên thủy cơ bản để xây dựng hệ thống phân cấp dữ liệu toàn diện, cung cấp nhãn chất lượng cao, nhất quán theo góc nhìn, nắm bắt cấu trúc 3D thực và hỗ trợ suy luận theo hệ mét.
Nâng cấp 3D để mở rộng (3D lifting for scalability): Tự động nâng cấp các tín hiệu thưa thớt thành các tiền đề hộp 3D chất lượng cao, cho phép tạo dữ liệu từ các nguồn không giới hạn, 'trong tự nhiên'.
Tổng hợp dựa trên đồ thị cảnh để đa dạng (Scene-graph-driven synthesis for diversity): Liệt kê các đối tượng, thuộc tính và mối quan hệ một cách có lập trình để tạo ra các câu hỏi và trả lời (QA) cân bằng trên năm tác vụ nền tảng: Đo lường không gian (SM), Quan hệ không gian (SR), Nhận thức camera (CP), Tính nhất quán đa góc nhìn (MC) và Suy luận nhận biết cảnh (SAR). Dựa trên cơ sở hạ tầng này, chúng tôi đã tạo ra OpenSpatial-3M, một bộ dữ liệu lớn gồm 3 triệu mẫu chất lượng cao.

III. Main Results:

Các mô hình đa năng được huấn luyện trên bộ dữ liệu OpenSpatial-3M của chúng tôi đạt được hiệu suất tiên tiến trên nhiều tiêu chuẩn suy luận không gian. Đáng chú ý, mô hình hoạt động tốt nhất cho thấy sự cải thiện trung bình đáng kể 19% (tương đối). Bộ dữ liệu OpenSpatial-3M liên tục nâng cao hiệu suất trên các kiến trúc khác nhau, mang lại mức cải thiện trung bình 14.1% và mức tăng tối đa 19% so với đường cơ sở. Các mô hình dòng OpenSpatial không chỉ thiết lập kỷ lục mới trên các tiêu chuẩn không gian chuyên biệt mà còn duy trì tính linh hoạt trên các tiêu chuẩn đa phương thức tổng quát. Chúng tôi quan sát thấy sự gia tăng hiệu suất đáng kể trên tất cả các tác vụ suy luận không gian, thường dao động từ 5.4 đến 9.5 điểm, với những bước nhảy vọt đáng kể vượt quá 10 điểm trên BLINK, AllAngles và MMSI.

IV. Conclusion & Future Works:

Công trình này thúc đẩy biên giới của trí tuệ không gian thông qua việc giới thiệu OpenSpatial, một công cụ dữ liệu mã nguồn mở, có thể kiểm soát được để tổng hợp giám sát không gian chất lượng cao, có khả năng mở rộng và đa dạng tác vụ. Chúng tôi cũng phát hành OpenSpatial-3M, một bộ dữ liệu huấn luyện quy mô lớn theo kiểu chương trình học, bao gồm năm khả năng không gian nền tảng. Các phân tích chẩn đoán được thực hiện nhờ tính mô-đun của công cụ đã làm rõ cách các thiết kế dữ liệu cụ thể cải thiện khả năng tổng quát hóa không gian. OpenSpatial cung cấp một nền tảng mạnh mẽ và có thể tái tạo để đẩy nhanh nghiên cứu trong tương lai về trí tuệ không gian.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các kỹ thuật nâng cấp 3D tự động tiên tiến hơn: Khám phá các phương pháp cải thiện độ chính xác và mạnh mẽ của quy trình nâng cấp 3D tự động từ các tín hiệu thưa thớt (ví dụ: hình ảnh/video), đặc biệt cho các cảnh phức tạp hoặc bị che khuất, có thể tích hợp các mô hình nền tảng mới nhất để nâng cao hiệu suất.
Phát triển chiến lược học tập theo chương trình học thích ứng cho trí tuệ không gian: Thiết kế và đánh giá các chiến lược tạo chương trình học động, thích ứng, có thể điều chỉnh thứ tự trình bày dữ liệu dựa trên hiệu suất và tiến độ học tập của mô hình, nhằm tối ưu hóa hơn nữa khả năng hiểu biết không gian.
Đánh giá và cải thiện khả năng tổng quát hóa đa miền của trí tuệ không gian: Nghiên cứu cách các mô hình được huấn luyện trên OpenSpatial-3M hoạt động trên các miền hoàn toàn mới (ví dụ: hình ảnh y tế, thiết kế kiến trúc, lái xe tự hành ngoài trời) mà không cần tinh chỉnh thêm, và phát triển các chiến lược để cải thiện khả năng tổng quát hóa zero-shot hoặc few-shot.

2. Patent:

Hệ thống đo lường và sắp xếp vật thể 3D thông minh trên điện thoại: Một ứng dụng di động cho phép người dùng quét một căn phòng hoặc một vật thể bằng camera điện thoại. Hệ thống sẽ tự động tạo ra các hộp giới hạn 3D cho các vật thể, cung cấp các phép đo chính xác về kích thước (chiều dài, rộng, cao) và vị trí tương đối của chúng. Điều này hữu ích cho việc sắp xếp đồ đạc ảo, ước tính không gian hoặc hỗ trợ mua sắm nội thất trực tuyến.
Trợ lý định vị và tương tác không gian cá nhân trên điện thoại: Một tính năng tích hợp vào điện thoại thông minh, sử dụng camera để phân tích môi trường xung quanh người dùng. Nó có thể xác định vị trí tương đối của các đối tượng (ví dụ: "chiếc ghế ở bên trái cái bàn"), khoảng cách đến chúng, và duy trì sự nhất quán của nhận thức không gian ngay cả khi người dùng di chuyển. Ứng dụng này có thể hỗ trợ người dùng trong việc tìm đường, mô tả môi trường cho người khiếm thị hoặc cung cấp thông tin ngữ cảnh về các vật thể xung quanh.
Công cụ tạo trải nghiệm thực tế tăng cường (AR) nhất quán đa góc nhìn: Một công nghệ cho phép người dùng điện thoại tạo và đặt các vật thể ảo vào môi trường thực tế thông qua camera. Điểm độc đáo là các vật thể ảo này sẽ duy trì vị trí, kích thước và góc nhìn 3D nhất quán một cách tự động, ngay cả khi người dùng thay đổi góc nhìn hoặc di chuyển xung quanh. Điều này mang lại trải nghiệm AR chân thực và ổn định hơn, ví dụ như thử nghiệm quần áo ảo hoặc xem trước các mô hình 3D trong không gian sống của họ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.07296
ArXiv Abstract	https://arxiv.org/abs/2604.07296
PDF Download	https://arxiv.org/pdf/2604.07296.pdf
Github Repository	https://github.com/VINHYU/OpenSpatial

15. Graph of Skills: Dependency-Aware Structural Retrieval for Massive Agent Skills (17 votes)

Tác giả: Dawei Li, Zongxia Li, Hongyang Du, Xiyang Wu, Shihang Gui, Yongbei Kuang, Lichao Sun

Xuất bản lúc: 2026-04-07

Tag: LLM Agents, Skill Retrieval, Graph-based Retrieval, Personalized PageRank, Context Window Optimization, Tool Use

I. Main Problem:

Các hệ thống tác nhân (agent systems) hiện đại gặp thách thức lớn khi mở rộng sang các thư viện kỹ năng khổng lồ (hàng nghìn đến hàng chục nghìn kỹ năng). Hai vấn đề chính là:

Bão hòa cửa sổ ngữ cảnh: Việc tải toàn bộ thư viện kỹ năng làm đầy cửa sổ ngữ cảnh của LLM, dẫn đến tăng chi phí token, hiện tượng "hallucination" (tạo ra thông tin sai lệch) và độ trễ.
Hiệu quả truy xuất kém: Các chiến lược hiện có như "Vanilla Skills" (tải toàn bộ) rất tốn kém và làm quá tải ngữ cảnh. "Vector-based retrieval" (truy xuất dựa trên vector) hiệu quả hơn về token nhưng thường bỏ sót các kỹ năng tiền đề (prerequisite skills) cần thiết về mặt chức năng, tạo ra "khoảng trống tiền đề" (prerequisite gap), khiến các gói kỹ năng được truy xuất không đủ để thực thi thành công một tác vụ.

II. Main Idea:

Để giải quyết các hạn chế của việc truy xuất kỹ năng truyền thống, bài báo giới thiệu Graph of Skills (GoS), một lớp truy xuất cấu trúc tại thời điểm suy luận cho các thư viện kỹ năng lớn. GoS hoạt động theo ba giai đoạn chính:

Xây dựng đồ thị ngoại tuyến (Offline Graph Construction): GoS xây dựng một đồ thị đa quan hệ có hướng từ các gói kỹ năng. Các nút là các kỹ năng có thể thực thi và các cạnh mã hóa cấu trúc tiền đề (dependency), quy trình làm việc (workflow), ngữ nghĩa (semantic) và thay thế (alternative). Các cạnh phụ thuộc được suy ra từ khả năng tương thích I/O, trong khi các quan hệ khác được thêm vào thông qua xác thực thưa thớt.
Truy xuất cấu trúc trực tuyến (Online Structural Retrieval): Tại thời điểm truy vấn, GoS sử dụng tín hiệu ngữ nghĩa và từ vựng để xác định một tập hợp hạt giống (seed set) nhỏ. Sau đó, nó áp dụng thuật toán Personalized PageRank (PPR) trọng số ngược (reverse-weighted) trên đồ thị kỹ năng. Điều này cho phép truyền độ liên quan từ các kỹ năng cấp cao ban đầu được khớp đến các kỹ năng tiền đề quan trọng về mặt cấu trúc (ngay cả khi chúng yếu về mặt ngữ nghĩa) để tạo ra một gói kỹ năng đầy đủ hơn.
Sắp xếp lại và "Hydration" có ngân sách (Budgeted Reranking and Hydration): Các kỹ năng ứng cử viên được sắp xếp lại bằng cách kết hợp điểm đồ thị với bằng chứng truy vấn cấp trường. Sau đó, các kỹ năng được chọn sẽ được "hydrate" (vật chất hóa) thành một payload mà tác nhân có thể sử dụng trực tiếp, bao gồm đường dẫn nguồn ổn định và văn bản khả năng súc tích, đảm bảo gói thực thi cuối cùng vừa nhỏ gọn vừa tối đa hóa khả năng thực thi trong ngân sách ngữ cảnh cho phép.

III. Main Results:

GoS đã đạt được những cải tiến đáng kể:

Hiệu suất: Trên SkillsBench và ALFWorld, GoS cải thiện phần thưởng trung bình lên 43.6% so với baseline tải toàn bộ kỹ năng (Vanilla Skills).
Hiệu quả Token: GoS giảm lượng token đầu vào trung bình 37.8% so với baseline Vanilla Skills.
Khả năng tổng quát hóa: GoS hoạt động hiệu quả trên ba dòng mô hình khác nhau: Claude Sonnet, GPT-5.2 Codex và MiniMax.
Cân bằng hiệu suất-hiệu quả: Trong các nghiên cứu cắt bỏ (ablation studies) với thư viện kỹ năng từ 200 đến 2,000 kỹ năng, GoS liên tục vượt trội hơn cả Vanilla Skills và truy xuất vector đơn giản trong việc cân bằng phần thưởng, hiệu quả token và thời gian chạy.
Ưu điểm so với truy xuất vector: GoS cải thiện phần thưởng trung bình 10.97 điểm trên SkillsBench và 2.87 điểm trên ALFWorld so với Vector Skills, đồng thời vẫn hiệu quả hơn nhiều so với Vanilla Skills.

IV. Conclusion & Future Works:

Truy xuất kỹ năng là một nút thắt cổ chai quan trọng đối với các tác nhân hoạt động trên các thư viện kỹ năng khổng lồ. GoS giải quyết vấn đề này bằng cách truy xuất một tập hợp kỹ năng nhỏ, đầy đủ và có tính phụ thuộc, bao gồm cả các trình phân tích cú pháp, tiền xử lý và các phụ thuộc cần thiết cho việc thực thi thành công. GoS liên tục vượt trội hơn cả việc tải kỹ năng truyền thống và truy xuất vector đơn giản, cải thiện phần thưởng thực thi đồng thời giảm mức tiêu thụ token, trên nhiều benchmark, dòng mô hình và kích thước thư viện kỹ năng.

Hạn chế và Công việc tương lai:

GoS vẫn phụ thuộc vào chất lượng của đồ thị ngoại tuyến; các kỹ năng được ghi lại kém hoặc lược đồ I/O mơ hồ có thể làm giảm chất lượng cạnh và hiệu suất truy xuất.
Hệ thống đồ thị hiện tại chủ yếu là tĩnh, chưa tinh chỉnh cấu trúc đồ thị từ các dấu vết thực thi lặp lại, kết quả của trình xác minh hoặc phản hồi của người dùng.
Các hướng nghiên cứu trong tương lai: Tập trung vào việc thích ứng trọng số cạnh trực tuyến, cập nhật đồ thị từ các quỹ đạo thực thi thành công, reranking mạnh mẽ hơn đối với các gói ứng cử viên, và đánh giá rộng hơn trong các cài đặt tác nhân đa phương thức và tương tác.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa Đồ thị Kỹ năng Động dựa trên Phản hồi Tác nhân: Nghiên cứu về các phương pháp để tự động cập nhật và tinh chỉnh cấu trúc đồ thị kỹ năng (ví dụ: trọng số cạnh, loại cạnh, thêm/bớt nút) dựa trên dữ liệu thực thi theo thời gian thực của tác nhân, kết quả xác minh từ các tác vụ và phản hồi của người dùng. Mục tiêu là để đồ thị kỹ năng liên tục thích nghi và cải thiện khả năng truy xuất theo ngữ cảnh động.
Mở rộng Đồ thị Kỹ năng cho Tác nhân Đa phương thức: Phát triển một khuôn khổ Đồ thị Kỹ năng (GoS) có khả năng tích hợp và truy xuất các kỹ năng đa phương thức (ví dụ: thị giác máy tính, xử lý ngôn ngữ tự nhiên, âm thanh) cho các tác nhân hoạt động trong môi trường tương tác phức tạp. Nghiên cứu cách các mối quan hệ phụ thuộc có thể được định nghĩa và sử dụng trên các phương thức khác nhau để hỗ trợ lập kế hoạch và thực thi tác vụ.
Truy xuất Gói Kỹ năng Tối ưu với Suy luận Ngữ cảnh LLM: Khám phá các chiến lược reranking và lựa chọn gói kỹ năng nâng cao sau khi khuếch tán đồ thị, sử dụng khả năng suy luận của các Mô hình Ngôn ngữ Lớn (LLM) để đánh giá tính đầy đủ, khả thi và hiệu quả của các gói kỹ năng được đề xuất trong ngữ cảnh của một tác vụ cụ thể, bao gồm việc xác định và điền vào các lỗ hổng phụ thuộc.

2. Patent:

Hệ thống Trợ lý Cá nhân Thông minh cho Điện thoại Di động: Một ứng dụng trên điện thoại di động có khả năng tự động hiểu và thực hiện các tác vụ phức tạp của người dùng bằng cách kết nối các chức năng và ứng dụng khác nhau. Ví dụ, khi người dùng nói "Chuẩn bị cho chuyến đi công tác tuần tới", hệ thống sẽ tạo một "đồ thị kỹ năng" từ các ứng dụng đã cài đặt (ví dụ: lịch, đặt vé máy bay, đặt phòng khách sạn, bản đồ, thời tiết) và các chức năng hệ thống. Sau đó, nó sẽ truy xuất và sắp xếp một chuỗi các hành động cần thiết (kiểm tra lịch, tìm chuyến bay, đặt phòng, kiểm tra thời tiết) theo đúng thứ tự phụ thuộc, giúp người dùng hoàn thành tác vụ mà không cần mở và điều hướng qua từng ứng dụng riêng lẻ.
Tính năng Quản lý Tệp và Bộ nhớ Tối ưu trên Điện thoại: Một tính năng được tích hợp vào hệ điều hành điện thoại giúp quản lý bộ nhớ và tệp tin một cách thông minh. Khi người dùng yêu cầu "dọn dẹp bộ nhớ", hệ thống sẽ tạo một "đồ thị phụ thuộc" của các hành động quản lý tệp (ví dụ: nén ảnh cũ, chuyển video lên đám mây, xóa tệp trùng lặp, sắp xếp tài liệu theo thư mục). Dựa trên phân tích nội dung và thói quen sử dụng, nó sẽ đề xuất một gói các hành động liên quan và các ứng dụng cần thiết (ví dụ: ứng dụng nén ảnh, dịch vụ lưu trữ đám mây) theo một trình tự hợp lý để tối ưu hóa không gian lưu trữ và tổ chức dữ liệu một cách hiệu quả nhất.
Chế độ Tiết kiệm Pin và Hiệu suất Thông minh dựa trên Hoạt động: Một hệ thống quản lý năng lượng trên điện thoại có khả năng phân tích các ứng dụng đang chạy và các tác vụ nền để xác định các phụ thuộc. Khi người dùng đang sử dụng một ứng dụng quan trọng (ví dụ: chơi game, gọi video), hệ thống sẽ xây dựng "đồ thị phụ thuộc" của các ứng dụng khác và các tiến trình nền. Nó sẽ tự động tạm dừng hoặc giảm ưu tiên các tác vụ nền không liên quan hoặc các ứng dụng phụ thuộc nhưng không cần thiết ngay lập tức, giúp tập trung tài nguyên vào ứng dụng đang hoạt động, kéo dài thời lượng pin và cải thiện hiệu suất mà không làm gián đoạn các chức năng cốt lõi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.05333
ArXiv Abstract	https://arxiv.org/abs/2604.05333
PDF Download	https://arxiv.org/pdf/2604.05333.pdf
Github Repository	https://github.com/davidliuk/graph-of-skills

Tác giả: Yiduo Jia, Muzhi Zhu, Hao Zhong, Mingyu Liu, Yuling Xi, Hao Chen, Bin Qin, Yongjie Yang, Zhenbo Luo, Chunhua Shen

Xuất bản lúc: 2026-04-09

Tag: RL, MLLM, Self-supervised Learning, Multi-modal Learning, Video Understanding, Audio Understanding

I. Main Problem:

Vấn đề chính là làm thế nào để khám phá và nâng cao hiệu quả khả năng suy luận của các mô hình đa phương thức (omni-modal models) trong bối cảnh xử lý tích hợp nhiều phương thức, đặc biệt khi việc thu thập dữ liệu đa phương thức được gán nhãn chất lượng cao và quy mô lớn đòi hỏi chi phí rất cao và tốn nhiều công sức. Ngoài ra, nghiên cứu cũng chỉ ra "hiện tượng lối tắt song phương thức" (bi-modal shortcut phenomenon) trong chiến lược tích hợp phương thức chung (JMI), nơi mô hình có xu hướng dựa vào phương thức trội hơn, cản trở việc phát triển khả năng suy luận mạnh mẽ cho phương thức yếu hơn.

II. Main Idea:

Các tác giả đề xuất OmniJigsaw, một khung tự giám sát tổng quát dựa trên nhiệm vụ proxy sắp xếp lại theo thời gian (temporal reordering) để mở rộng mô hình hậu huấn luyện bằng học tăng cường (RL post-training) cho các mô hình đa phương thức. OmniJigsaw tập trung vào việc tái tạo trình tự thời gian của các đoạn clip âm thanh-hình ảnh bị xáo trộn và sử dụng ba chiến lược điều phối tín hiệu thị giác và thính giác: 1) Tích hợp phương thức chung (JMI), 2) Lựa chọn phương thức cấp mẫu (SMS) và 3) Che chắn phương thức cấp clip (CMM). Để giải quyết vấn đề chất lượng dữ liệu, một quy trình lọc dữ liệu hai giai đoạn (từ thô đến tinh) được thiết kế, kết hợp lọc heuristic dựa trên tín hiệu và sàng lọc ngữ nghĩa dựa trên MLLM sử dụng Chain-of-Thought (CoT). Ngoài ra, một cơ chế phần thưởng tổng hợp được thiết kế để hướng dẫn tối ưu hóa chính sách, bao gồm độ chính xác vị trí, độ chính xác liền kề, phần thưởng định dạng và hình phạt lặp lại, cùng với hệ số chiết khấu phụ thuộc vào độ chính xác.

III. Main Results:

OmniJigsaw mang lại những cải thiện đáng kể trên 15 bộ dữ liệu đánh giá, bao gồm suy luận video đơn phương thức, hiểu âm thanh và suy luận cộng tác đa phương thức, khẳng định đây là một mô hình có khả năng mở rộng để học tự giám sát đa phương thức. Cụ thể, chiến lược Che chắn phương thức cấp clip (CMM) đã cải thiện đáng kể hiệu suất của mô hình nền Qwen3-Omni-30B-A3B-Instruct: tăng +4.38 trên MLVU-Test (suy luận video), +2.50 trên MMAR (hiểu âm thanh) và +1.70 trên OmniVideoBench (suy luận cộng tác đa phương thức). CMM cũng liên tục vượt trội hơn các phương pháp VideoJigsaw và AudioJigsaw, chứng minh hiệu quả của nó trong việc khai thác sức mạnh tổng hợp âm thanh-hình ảnh. Phân tích cũng xác nhận "hiện tượng lối tắt song phương thức" trong JMI và chỉ ra rằng CMM làm giảm vấn đề này hiệu quả hơn SMS.

IV. Conclusion & Future Works:

OmniJigsaw là một khung tự giám sát tổng quát, nhẹ và không cần gán nhãn, tiên phong trong việc mở rộng hậu huấn luyện RL dựa trên jigsaw sang suy luận đa phương thức. Nó sử dụng cơ chế sắp xếp lại theo thời gian được điều phối phương thức để củng cố khả năng suy luận phức tạp. Nghiên cứu đã xác định và phân tích sâu sắc "hiện tượng lối tắt song phương thức" trong chiến lược JMI, đồng thời đề xuất các chiến lược điều phối tiên tiến như SMS và CMM để nâng cao hiệu suất. Quy trình lọc dữ liệu hai giai đoạn giúp thích ứng hiệu quả với dữ liệu đa phương thức chưa được gán nhãn quy mô lớn, nâng cao khả năng mở rộng. Các nghiên cứu chuyên sâu cung cấp những hiểu biết thực nghiệm giá trị cho các nghiên cứu tương lai trong học tự giám sát đa phương thức, đặc biệt về độ nhạy của các tác vụ proxy jigsaw đối với chất lượng dữ liệu, cơ chế phần thưởng và mức độ chi tiết của việc điều phối phương thức.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng chiến lược điều phối đa phương thức để xử lý các luồng dữ liệu phức tạp hơn và nhiều hơn hai phương thức (ví dụ: video, âm thanh, văn bản, cảm biến) nhằm đạt được khả năng suy luận toàn diện hơn trong các mô hình AGI.
Nghiên cứu sâu hơn về hiện tượng "lối tắt song phương thức" (bi-modal shortcut phenomenon) trong các mô hình đa phương thức, phát triển các phương pháp phát hiện và giảm thiểu tự động hiệu quả hơn, không chỉ thông qua che chắn mà còn qua các cơ chế chú ý hoặc tích hợp thích ứng.
Áp dụng phương pháp tự giám sát OmniJigsaw cho các tác vụ suy luận đa phương thức khác ngoài sắp xếp lại theo thời gian, chẳng hạn như dự đoán hành động, tạo nội dung dựa trên kịch bản hoặc hiểu ý định phức tạp trong các môi trường tương tác.

2. Patent:

Hệ thống sắp xếp và chỉnh sửa video thông minh trên điện thoại: Một ứng dụng di động có khả năng tự động sắp xếp lại các đoạn video và âm thanh bị xáo trộn do người dùng quay, dựa trên các tín hiệu thị giác và thính giác để khôi phục trình tự thời gian ban đầu. Điều này giúp người dùng dễ dàng tạo ra các câu chuyện video mạch lạc từ các khoảnh khắc rời rạc, tối ưu hóa trải nghiệm chỉnh sửa video trên điện thoại.
Trợ lý ghi chú và tóm tắt cuộc họp/bài giảng đa phương thức: Một tính năng trên điện thoại ghi lại các cuộc họp hoặc bài giảng (với sự cho phép của người tham gia) và sử dụng phân tích đa phương thức (âm thanh giọng nói, hình ảnh trình chiếu hoặc cử chỉ) để tự động xác định các điểm nhấn quan trọng, chuyển đổi chủ đề, và thậm chí tóm tắt nội dung theo trình tự thời gian. Người dùng có thể nhanh chóng xem lại các phần cụ thể hoặc tạo tóm tắt thông minh.
Chế độ "Tập trung thông minh" dựa trên ngữ cảnh môi trường: Một chế độ trên điện thoại di động sử dụng camera và micro (với quyền riêng tư được đảm bảo và sự đồng ý của người dùng) để phân tích môi trường xung quanh người dùng (ví dụ: phát hiện đang ở thư viện yên tĩnh, trong cuộc họp, hay đang lái xe). Dựa trên phân tích hình ảnh và âm thanh này, điện thoại sẽ tự động điều chỉnh các cài đặt như chế độ rung, âm lượng thông báo, hoặc thậm chí đề xuất ứng dụng phù hợp, giúp người dùng tập trung hơn vào công việc hiện tại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.08209
ArXiv Abstract	https://arxiv.org/abs/2604.08209
PDF Download	https://arxiv.org/pdf/2604.08209.pdf
Github Repository	https://github.com/aim-uofa/OmniJigsaw

17. Structured Distillation of Web Agent Capabilities Enables Generalization (14 votes)

Tác giả: Xing Han Lù, Siva Reddy

Xuất bản lúc: 2026-04-09

Tag: LLMs, Web Agents, Distillation, Supervised Learning, Fine-tuning, Synthetic Data, Generalization

I. Main Problem:

Các LLM tiên tiến có thể điều hướng các trang web phức tạp nhưng chi phí cao và phụ thuộc vào API bên thứ ba khiến việc triển khai cục bộ không khả thi. Các mô hình mã nguồn mở nhỏ hơn có khoảng cách năng lực đáng kể so với các mô hình tiên tiến. Các quy trình chưng cất năng lực tác nhân hiện có hiệu quả nhưng thiếu một khuôn khổ chung để so sánh có hệ thống.

II. Main Idea:

Chúng tôi giới thiệu AGENT-AS-ANNOTATORS, một khuôn khổ cấu trúc việc tạo quỹ đạo tổng hợp cho các tác nhân web bằng cách thay thế các vai trò chú thích của con người (Task Designer, Annotator, Supervisor) bằng các thành phần LLM mô-đun (Persona Generator, Task Generator, Agent, Judge với gợi ý đánh giá). Sử dụng Gemini 3 Pro làm mô hình giáo viên, chúng tôi tạo ra 3.000 quỹ đạo trên sáu môi trường web và tinh chỉnh một mô hình học sinh 9B-tham số bằng học có giám sát thuần túy trên 2.322 quỹ đạo vượt qua bộ lọc chất lượng.

III. Main Results:

Mô hình A3-Qwen3.5-9B đạt 41.5% trên WebArena, vượt qua các mô hình đóng như Claude 3.5 Sonnet (36.0%) và GPT-4o (31.5%) theo cùng giao thức đánh giá, và gần gấp đôi kết quả tốt nhất trước đây của mô hình mã nguồn mở (Go-Browse, 21.7%). Khả năng chuyển giao sang các môi trường chưa từng thấy, với mức tăng 18.2 điểm phần trăm trên WorkArena L1 (một nền tảng doanh nghiệp chưa từng thấy trong quá trình huấn luyện) và cải thiện nhất quán trên ba điểm chuẩn bổ sung. Các thử nghiệm cắt bỏ xác nhận rằng mỗi thành phần của quy trình (lọc của Judge, gợi ý đánh giá, dấu vết suy luận) đều đóng góp đáng kể. Chất lượng dữ liệu giáo viên quan trọng hơn số lượng, và ngân sách suy luận thấp hơn tạo ra dữ liệu huấn luyện tốt hơn.

IV. Conclusion & Future Works:

Kết luận, khuôn khổ AGENT-AS-ANNOTATORS đã thành công trong việc thu hẹp khoảng cách năng lực giữa các LLM tiên tiến và các mô hình mã nguồn mở nhỏ cho các tác vụ tác nhân web. Chất lượng dữ liệu được chưng cất từ một giáo viên mạnh mẽ là yếu tố quan trọng hơn số lượng. Việc giảm ngân sách suy luận của giáo viên không chỉ cải thiện chất lượng quỹ đạo mà còn giảm chi phí. Các hướng phát triển trong tương lai bao gồm: kết hợp cách tiếp cận tập trung vào chiều sâu với phạm vi môi trường rộng hơn, tái tạo dấu vết suy luận tự động, cải thiện lặp lại và tinh chỉnh bằng RL, cũng như thử nghiệm với các mô hình giáo viên hoặc thiết kế Judge khác.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc kết hợp tạo tác vụ đa dạng theo chiều sâu với phạm vi bao phủ môi trường web rộng lớn để nâng cao khả năng tổng quát hóa của tác nhân web.
Phát triển phương pháp tái tạo dấu vết suy luận tự động cho tác nhân web, cho phép mô hình học sinh tạo ra các dấu vết suy luận nhất quán hơn mà vẫn duy trì hành động chính xác.
Khám phá các chiến lược cải thiện lặp lại và tinh chỉnh bằng học tăng cường (RL) để tối ưu hóa hiệu suất của tác nhân web được chưng cất.

2. Patent:

Hệ thống trợ lý web tự động trên điện thoại di động: Một ứng dụng di động cho phép người dùng mô tả các tác vụ web phức tạp bằng ngôn ngữ tự nhiên (ví dụ: 'Tìm và đặt mua một đôi giày thể thao màu đỏ cỡ 42 trên trang web X') và một tác nhân web nhỏ, được triển khai cục bộ, sẽ tự động thực hiện các bước cần thiết để hoàn thành tác vụ đó, bao gồm điều hướng trang, điền biểu mẫu và tương tác với các yếu tố trang web.
Công cụ tự động hóa web cá nhân hóa học hỏi từ người dùng: Một tính năng trên điện thoại thông minh theo dõi hành vi tương tác web của người dùng (ví dụ: cách người dùng điền thông tin, tìm kiếm sản phẩm, quản lý tài khoản) và sử dụng dữ liệu này để tự động tạo ra các 'nhân cách' và 'gợi ý' tác vụ. Sau đó, nó sẽ đề xuất hoặc tự động thực hiện các tác vụ tương tự trong tương lai, với khả năng tự đánh giá và cải thiện dựa trên kết quả thành công.
Tác nhân web cục bộ bảo mật cho giao dịch nhạy cảm: Một giải pháp phần mềm trên thiết bị di động sử dụng một tác nhân web được huấn luyện kỹ lưỡng và triển khai hoàn toàn cục bộ để thực hiện các giao dịch trực tuyến nhạy cảm (ví dụ: thanh toán ngân hàng, quản lý hồ sơ y tế, đăng nhập cổng thông tin cá nhân). Giải pháp này đảm bảo rằng không có dữ liệu tương tác nào được gửi đến các máy chủ bên ngoài, tăng cường quyền riêng tư và bảo mật cho người dùng di động khi thực hiện các tác vụ web quan trọng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.07776
ArXiv Abstract	https://arxiv.org/abs/2604.07776
PDF Download	https://arxiv.org/pdf/2604.07776.pdf
Github Repository	https://github.com/McGill-NLP/agent-as-annotators

18. FIT: A Large-Scale Dataset for Fit-Aware Virtual Try-On (12 votes)

Tác giả: Johanna Karras, Yuanhao Wang, Yingwei Li, Ira Kemelmacher-Shlizerman

Xuất bản lúc: 2026-04-09

Tag: VTO, Diffusion Models, Generative AI, Computer Vision, Dataset, Sim2Real

I. Main Problem:

Các phương pháp thử đồ ảo (VTO) hiện tại chủ yếu tập trung vào việc hiển thị hình thức bên ngoài của trang phục mà bỏ qua một khía cạnh quan trọng: độ vừa vặn chính xác của trang phục trên người (ví dụ: một chiếc áo cỡ XL sẽ trông như thế nào trên một người cỡ XS). Trở ngại chính là sự thiếu hụt các tập dữ liệu cung cấp thông tin kích thước cơ thể và trang phục chính xác, đặc biệt là cho các trường hợp "không vừa vặn" (ill-fit) khi trang phục quá lớn hoặc quá nhỏ. Hơn nữa, việc thiếu dữ liệu huấn luyện theo cặp (cùng một người, cùng một tư thế, nhưng trang phục khác nhau) đã buộc các phương pháp hiện có phải dựa vào các tác vụ tái tạo tự giám sát hoặc tạo ra các bộ ba giả, dẫn đến các lỗi hình ảnh và mất nhận dạng.

II. Main Idea:

Để giải quyết vấn đề trên, nhóm nghiên cứu giới thiệu FIT (Fit-Inclusive Try-on), một tập dữ liệu VTO quy mô lớn gồm hơn 1.13 triệu bộ ba hình ảnh thử đồ, đi kèm với các phép đo cơ thể và trang phục chính xác, bao gồm nhiều tình huống vừa vặn đa dạng (kể cả các trường hợp "không vừa vặn" cực đoan). Nhóm đã khắc phục thách thức thu thập dữ liệu bằng một chiến lược tổng hợp có thể mở rộng: (1) Tạo trang phục 3D theo chương trình bằng GarmentCode và mô phỏng vật lý để thu được độ vừa vặn chân thực. (2) Sử dụng một khung tái tạo kết cấu mới để biến hình ảnh tổng hợp thành hình ảnh chân thực, đồng thời bảo toàn hình học. (3) Tích hợp bảo toàn nhận dạng người vào mô hình tái tạo kết cấu để tạo ra các hình ảnh người theo cặp (cùng một người, trang phục khác nhau) cho huấn luyện có giám sát. Cuối cùng, tập dữ liệu FIT được sử dụng để huấn luyện mô hình VTO nhận biết độ vừa vặn (Fit-VTO), kết hợp các phép đo cơ thể và trang phục thông qua một bộ mã hóa đo lường tùy chỉnh, đạt được kết quả vượt trội trong việc mô phỏng độ vừa vặn chính xác.

III. Main Results:

Tập dữ liệu FIT bao gồm 1.137.282 mẫu huấn luyện và 1.000 mẫu kiểm tra, với 168 hình dạng cơ thể, 528 tư thế và 158.483 thiết kế trang phục độc đáo, bao gồm các tình huống vừa vặn đa dạng từ chật đến rộng. Phương pháp tạo hình ảnh theo cặp của họ đạt Lid là 1.61, vượt trội đáng kể so với các phương pháp VLM-based (4.45), VTO-based (2.29) và Inpainting-based (3.91). Mô hình Fit-VTO đạt hiệu suất vượt trội trên hầu hết các chỉ số VTO trên cả tập dữ liệu VITON-HD thực tế và FIT tổng hợp. Cụ thể, trên tập dữ liệu FIT, Fit-VTO đạt điểm IoU nhận biết kích thước cao nhất là 0.955, cùng với các chỉ số chất lượng hình ảnh hàng đầu khác (SSIM↑ 0.914, FID↓ 10.381, LPIPS↓ 0.050, KID↓ 0.144). Các kết quả định tính và định lượng đều chứng minh khả năng của Fit-VTO trong việc tạo ra hình ảnh thử đồ chân thực, bảo toàn nhận dạng và hiển thị chính xác độ vừa vặn của trang phục dựa trên các phép đo.

IV. Conclusion & Future Works:

Nghiên cứu này giới thiệu FIT, tập dữ liệu và benchmark quy mô lớn đầu tiên cho thử đồ ảo nhận biết độ vừa vặn, và Fit-VTO, một mô hình VTO mới tận dụng các chú thích kích thước phong phú của FIT. Fit-VTO đã chứng minh lợi thế rõ ràng trong việc mô hình hóa độ vừa vặn chính xác của trang phục dựa trên các phép đo cơ thể và trang phục. Các bước tiếp theo bao gồm mở rộng phạm vi tập dữ liệu sang trang phục thân dưới và toàn thân (quần, váy), cũng như tăng cường sự đa dạng của tư thế và góc nhìn máy ảnh để đảm bảo hiệu suất mạnh mẽ trong các tình huống thực tế phức tạp. Ngoài ra, cần cải thiện khả năng biểu diễn các mức độ chật khác nhau và khả năng thay đổi độc lập từng phép đo riêng lẻ.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu và phát triển tập dữ liệu tổng hợp quy mô lớn cho trang phục toàn thân và các phụ kiện phức tạp: Mở rộng phương pháp tạo dữ liệu FIT để bao gồm quần, váy, áo khoác nhiều lớp và phụ kiện, đồng thời phát triển các kỹ thuật mô phỏng vật lý tiên tiến để xử lý các tương tác phức tạp giữa các lớp trang phục và cơ thể người.
Phát triển mô hình VTO nhận biết độ vừa vặn với kiểm soát chi tiết và độc lập: Thiết kế kiến trúc mạng nơ-ron mới hoặc kỹ thuật mã hóa thông tin đo lường để cho phép người dùng điều chỉnh chính xác các mức độ vừa vặn (ví dụ: từ "hơi chật" đến "rất chật") và khả năng thay đổi độc lập từng thông số kích thước (chiều dài, rộng, vòng ngực) mà không ảnh hưởng đến các thông số khác, cải thiện tính linh hoạt và độ chính xác của VTO.
Nghiên cứu VTO đa tư thế và đa góc nhìn với khả năng tổng quát hóa cao: Phát triển các phương pháp tạo dữ liệu tổng hợp và mô hình VTO có thể xử lý đa dạng các tư thế và góc quay của người mẫu, kết hợp với các kỹ thuật học chuyển giao (transfer learning) hoặc học tăng cường (reinforcement learning) để cải thiện khả năng tổng quát hóa của mô hình trên dữ liệu thực tế ngoài môi trường được kiểm soát.

2. Patent:

Hệ thống thử đồ ảo cá nhân hóa trên thiết bị di động với đo lường tự động: Một ứng dụng điện thoại di động sử dụng camera để quét và ước tính các số đo cơ thể của người dùng. Dựa trên các số đo này và công nghệ VTO nhận biết độ vừa vặn, ứng dụng sẽ hiển thị một cách chân thực trang phục sẽ trông như thế nào trên người dùng, bao gồm cả các chi tiết về độ rộng, độ dài, nếp nhăn cho các kích cỡ khác nhau, giúp người dùng dễ dàng lựa chọn sản phẩm phù hợp trước khi mua hàng trực tuyến.
Công cụ điều chỉnh độ vừa vặn trang phục thời gian thực cho ứng dụng mua sắm: Tích hợp một tính năng vào các ứng dụng thương mại điện tử trên di động cho phép người dùng xem ảnh sản phẩm trên người mẫu hoặc ảnh của chính họ. Người dùng có thể kéo/thay đổi kích cỡ ảo của trang phục (ví dụ: từ S sang M) và ngay lập tức thấy sự thay đổi về độ vừa vặn, độ rộng, độ chật của trang phục trên hình ảnh, mô phỏng trải nghiệm thử đồ vật lý một cách trực quan và tiện lợi.
Hệ thống gợi ý kích thước thông minh dựa trên sở thích vừa vặn cá nhân: Một dịch vụ thông minh trên nền tảng di động phân tích dữ liệu mua hàng và phản hồi của người dùng về độ vừa vặn của trang phục (ví dụ: người dùng thích áo hơi rộng, quần vừa vặn). Dựa trên phân tích này và các số đo cơ thể đã biết, hệ thống sẽ đưa ra khuyến nghị kích thước tối ưu cho từng sản phẩm cụ thể, không chỉ theo bảng size tiêu chuẩn mà còn theo phong cách và sở thích vừa vặn cá nhân của người dùng, giảm tỷ lệ trả hàng và tăng trải nghiệm mua sắm cá nhân hóa.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.08526
ArXiv Abstract	https://arxiv.org/abs/2604.08526
PDF Download	https://arxiv.org/pdf/2604.08526.pdf
Github Repository	N/A

📰 Summary of Papers​

1. Rethinking Generalization in Reasoning SFT: A Conditional Analysis on Optimization, Data, and Model Capability (156 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. SkillClaw: Let Skills Evolve Collectively with Agentic Evolver (147 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents (129 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models (105 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. ClawBench: Can AI Agents Complete Everyday Online Tasks? (87 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. MegaStyle: Constructing Diverse and Scalable Style Dataset via Consistent Text-to-Image Style Mapping (80 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. LPM 1.0: Video-based Character Performance Model (36 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation (34 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols and Harness Engineering (33 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Rethinking Generalization in Reasoning SFT: A Conditional Analysis on Optimization, Data, and Model Capability (156 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. SkillClaw: Let Skills Evolve Collectively with Agentic Evolver (147 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents (129 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models (105 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. ClawBench: Can AI Agents Complete Everyday Online Tasks? (87 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. MegaStyle: Constructing Diverse and Scalable Style Dataset via Consistent Text-to-Image Style Mapping (80 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. LPM 1.0: Video-based Character Performance Model (36 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation (34 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols and Harness Engineering (33 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: