Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-05-25

Báo cáo được tạo tự động vào lúc 2026-05-26 11:36:06 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. SkillOpt: Executive Strategy for Self-Evolving Agent Skills (162 votes)​

Tác giả: Yifan Yang, Ziyang Gong, Weiquan Huang, Qihao Yang, Ziwei Zhou, Zisu Huang, Yan Li, Xuemei Gao, Qi Dai, Bei Liu, Kai Qiu, Yuqing Yang, Dongdong Chen, Xue Yang, Chong Luo

Xuất bản lúc: 2026-05-22

Tag: Agent Skills, Skill Optimization, Prompt Optimization, LLM Agents, Text-Space Optimization, Domain Adaptation

I. Main Problem:​

Các kỹ năng (skill) của tác nhân (agent) hiện nay thường được tạo thủ công, tạo một lần (one-shot), hoặc tiến hóa thông qua quá trình tự sửa đổi không được kiểm soát chặt chẽ. Những phương pháp này không hoạt động như một bộ tối ưu hóa học sâu cho kỹ năng và không đảm bảo cải thiện một cách đáng tin cậy so với điểm xuất phát sau khi có phản hồi.

II. Main Idea:​

Bài báo đề xuất SkillOpt, một bộ tối ưu hóa không gian văn bản (text-space optimizer) có kiểm soát cho các kỹ năng của tác nhân. Ý tưởng chính là coi tài liệu kỹ năng như một trạng thái bên ngoài có thể huấn luyện được, tương tự như trọng số của mô hình. SkillOpt sử dụng một mô hình tối ưu hóa riêng biệt để phân tích các quỹ đạo (trajectories) thực thi, đề xuất các chỉnh sửa có cấu trúc (thêm/xóa/thay thế) có giới hạn, và chỉ chấp nhận chỉnh sửa khi nó cải thiện điểm xác thực trên một tập dữ liệu giữ lại (held-out validation set). Các kỹ thuật như ngân sách tốc độ học văn bản (textual learning-rate budget), bộ đệm chỉnh sửa bị từ chối (rejected-edit buffer), và cập nhật chậm/ meta theo epoch (epoch-wise slow/meta update) giúp cho quá trình huấn luyện kỹ năng ổn định và hiệu quả mà không làm tăng chi phí tính toán khi triển khai.

III. Main Results:​

Trên 52 ô đánh giá (kết hợp giữa 6 benchmark, 7 mô hình mục tiêu và 3 harness thực thi), SkillOpt đạt kết quả tốt nhất hoặc đồng hạng trên tất cả 52 ô. Trên GPT–5.5, nó cải thiện độ chính xác trung bình lên +23.5 điểm trong chế độ chat trực tiếp, +24.8 điểm trong Codex agentic loop và +19.1 điểm trong Claude Code. Các thí nghiệm chuyển giao cho thấy kỹ năng được tối ưu hóa vẫn giữ được giá trị khi chuyển sang các mô hình, môi trường thực thi và benchmark khác.

IV. Conclusion & Future Works:​

SkillOpt chứng minh rằng việc tối ưu hóa kỹ năng tác nhân như một quá trình thích ứng miền có kiểm soát là khả thi và hiệu quả vượt trội so với các phương pháp hiện có. Hướng nghiên cứu trong tương lai có thể bao gồm việc áp dụng SkillOpt cho các mô hình đa phương thức, mở rộng phương pháp cho các kỹ năng phức tạp hơn hoặc tích hợp nhiều kỹ năng, và khám phá các cơ chế tối ưu hóa tinh vi hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa kỹ năng đa phương thức cho tác nhân ngôn ngữ - thị giác: Mở rộng SkillOpt để tối ưu hóa các kỹ năng kết hợp cả hướng dẫn văn bản và hình ảnh, giúp tác nhân thực hiện tốt hơn các tác vụ như phân tích biểu đồ, mô tả ảnh chụp màn hình, hoặc điều khiển giao diện người dùng.
  2. Học tập kỹ năng theo thời gian thực từ tương tác người dùng: Phát triển một phiên bản SkillOpt có khả năng học và cập nhật kỹ năng dựa trên phản hồi trực tiếp từ người dùng (ví dụ: nhấp chuột, chỉnh sửa văn bản) trong quá trình tương tác, thay vì chỉ dựa trên tập dữ liệu được gán nhãn trước.
  3. Kỹ năng bất biến (Invariant Skills) cho tác nhân đa nền tảng: Nghiên cứu cách tạo ra các kỹ năng có thể hoạt động ổn định trên nhiều mô hình ngôn ngữ lớn (LLMs) và khung thực thi (execution harnesses) khác nhau, tập trung vào việc trích xuất các nguyên tắc thủ tục cốt lõi thay vì các chi tiết triển khai cụ thể.

2. Patent:​

  1. Phương pháp và hệ thống tự động tối ưu hóa hướng dẫn sử dụng ứng dụng di động dựa trên phản hồi: Hệ thống này sử dụng SkillOpt để liên tục cải thiện các hướng dẫn bằng văn bản cho các tính năng phức tạp trên điện thoại (ví dụ: chỉnh sửa ảnh chuyên sâu, thiết lập bảo mật nâng cao). Dựa trên các tương tác thất bại hoặc không hiệu quả của người dùng, hệ thống sẽ tự động đề xuất và kiểm tra các phiên bản hướng dẫn mới, ngắn gọn và dễ hiểu hơn, giúp người dùng tận dụng tối đa các tính năng của điện thoại.
  2. Trợ lý ảo thích ứng trên thiết bị di động có khả năng tự cập nhật kỹ năng thực thi tác vụ: Một trợ lý ảo trên điện thoại có thể tự động cải thiện cách nó thực hiện các tác vụ như đặt lịch hẹn, gửi tin nhắn hoặc tìm kiếm thông tin. Bằng cách phân tích các tương tác thành công và thất bại, trợ lý sẽ tự động tinh chỉnh 'kỹ năng' văn bản của nó để đưa ra các hành động chính xác và hiệu quả hơn, mà không cần cập nhật phần mềm.
  3. Ứng dụng chỉnh sửa ảnh thông minh trên điện thoại với kỹ năng xử lý theo ngữ cảnh: Ứng dụng này sử dụng một kỹ năng văn bản được tối ưu hóa để hướng dẫn mô hình AI thực hiện các thao tác chỉnh sửa ảnh phức tạp (ví dụ: xóa phông, thay đổi màu sắc, ghép ảnh). Kỹ năng này sẽ được tự động cải thiện dựa trên lịch sử chỉnh sửa và phản hồi của người dùng, giúp ứng dụng ngày càng hiểu rõ hơn về phong cách và mong muốn của người dùng, từ đó đưa ra các đề xuất và kết quả chỉnh sửa phù hợp hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.23904
ArXiv Abstracthttps://arxiv.org/abs/2605.23904
PDF Downloadhttps://arxiv.org/pdf/2605.23904.pdf
Github Repositoryhttps://github.com/microsoft/SkillOpt

2. Rethinking Cross-Layer Information Routing in Diffusion Transformers (94 votes)​

Tác giả: Chao Xu, Maohua Li, Qirui Li, Yixuan Xu, Yanke Zhou, Yunhe Li, Cuifeng Shen, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Shao-Qun Zhang

Xuất bản lúc: 2026-05-20

Tag: Diffusion Transformers, Cross-Layer Routing, Residual Connections, Image Generation, Training Acceleration

I. Main Problem:​

Bài báo chỉ ra rằng cơ chế kết nối dư (residual) chuẩn trong Diffusion Transformers (DiTs) có ba triệu chứng: (1) độ lớn của các hidden state tăng đơn điệu theo chiều sâu, (2) gradient lan truyền ngược suy giảm mạnh ở các lớp sâu, và (3) các khối transformer liền kề trở nên dư thừa, tạo ra các biểu diễn rất giống nhau. Những vấn đề này làm chậm quá trình hội tụ và giảm chất lượng sinh ảnh.

II. Main Idea:​

Nhóm tác giả đề xuất Diffusion-Adaptive Routing (DAR), một cơ chế thay thế kết nối dư có thể 'học được', 'thích ứng theo bước thời gian' và 'không cộng dồn'. Thay vì cộng đơn giản đầu ra của các lớp trước, DAR sử dụng một cơ chế softmax attention để tính trọng số cho mỗi đầu ra của lớp con, cho phép mô hình linh hoạt quyết định thông tin từ lớp nào là quan trọng nhất tại mỗi bước khuếch tán và độ sâu khác nhau.

III. Main Results:​

Trên tập dữ liệu ImageNet 256x256, DAR cải thiện chỉ số FID của mô hình SiT-XL/2 từ 9.67 xuống 7.56 (giảm 2.11 FID) và đạt được chất lượng hội tụ tương đương baseline với số lần lặp training ít hơn 8.75 lần. Khi kết hợp với REPA, DAR mang lại khả năng tăng tốc training gấp 2 lần trong giai đoạn đầu.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng định tuyến thông tin xuyên lớp là một hướng thiết kế còn ít được khám phá nhưng rất hiệu quả trong các mô hình khuếch tán. Các công việc trong tương lai có thể mở rộng DAR cho các kiến trúc DiT khác, các tác vụ sinh đa phương thức, và khám phá các cơ chế định tuyến động phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu áp dụng cơ chế DAR vào các mô hình Diffusion Transformer cho tác vụ sinh video, nơi thông tin xuyên suốt các khung hình có thể được định tuyến một cách thích ứng dựa trên nội dung chuyển động.
  2. Phát triển một phiên bản DAR kết hợp với các cơ chế chú ý đa đầu (multi-head attention) để cho phép mỗi đầu chú ý học một chiến lược định tuyến khác nhau, giúp mô hình nắm bắt đa dạng hơn các đặc trưng ở các mức độ chi tiết khác nhau.
  3. Khám phá việc sử dụng DAR như một kỹ thuật fine-tuning hiệu quả cho các mô hình sinh văn bản thành hình ảnh (text-to-image) quy mô lớn, tập trung vào việc cải thiện khả năng tái tạo chi tiết và kết cấu phức tạp.

2. Patent:​

  1. Phương pháp và hệ thống tạo ảnh siêu phân giải trên thiết bị di động: Sử dụng mô hình Diffusion Transformer với cơ chế DAR đã được tinh chỉnh để tăng cường chi tiết cho ảnh có độ phân giải thấp. Thay vì xử lý toàn bộ ảnh, hệ thống chỉ áp dụng mô hình lên các vùng được xác định là thiếu chi tiết, giúp tiết kiệm năng lượng và thời gian xử lý trên điện thoại.
  2. Ứng dụng chỉnh sửa ảnh thông minh trên điện thoại thông minh: Cho phép người dùng khoanh vùng một đối tượng trong ảnh và mô tả thay đổi bằng văn bản (ví dụ: 'thay áo thành màu xanh'). Mô hình sử dụng DAR để hiểu ngữ cảnh của vùng được chọn và các vùng xung quanh, đảm bảo sự thay đổi diễn ra tự nhiên và hài hòa với phần còn lại của bức ảnh.
  3. Hệ thống sinh sticker và avatar cá nhân hóa trên ứng dụng nhắn tin: Người dùng chụp ảnh chân dung và hệ thống sẽ tạo ra các sticker hoặc avatar theo nhiều phong cách khác nhau. Mô hình DAR giúp giữ lại các đặc điểm nhận dạng khuôn mặt (như mắt, mũi, miệng) một cách trung thực ngay cả khi phong cách nghệ thuật thay đổi mạnh, mang lại trải nghiệm cá nhân hóa cao.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.20708
ArXiv Abstracthttps://arxiv.org/abs/2605.20708
PDF Downloadhttps://arxiv.org/pdf/2605.20708.pdf
Github RepositoryN/A

3. Lens: Rethinking Training Efficiency for Foundational Text-to-Image Models (90 votes)​

Tác giả: Dong Chen, Fangyun Wei, Ziyu Wan, Dongdong Chen, Jiawei Zhang, Jinjing Zhao, Sirui Zhang, Yang Yue, Zhiyang Liang, Baining Guo, Chong Luo, Jianmin Bao, Ji Li, Lei Shi, Qinhong Yang, Xiuyu Wu, Xuelu Feng, Yan Lu, Yanchen Dong, Yitong Wang, Yunuo Chen

Xuất bản lúc: 2026-05-20

Tag: Text-to-Image, Training Efficiency, Reinforcement Learning, Flow Matching, Diffusion Transformer, VAE, Multilingual Generation, Data Curation

I. Main Problem:​

Các mô hình text-to-image (T2I) nền tảng hiện tại đòi hỏi tài nguyên tính toán khổng lồ để huấn luyện, dẫn đến chi phí tài chính và môi trường cao. Ví dụ, mô hình Z-Image (6B tham số) cần khoảng 314K giờ GPU H800. Bài toán đặt ra là làm thế nào để cải thiện hiệu quả huấn luyện (training efficiency) mà vẫn duy trì chất lượng sinh ảnh cạnh tranh.

II. Main Idea:​

Bài báo giới thiệu Lens, một mô hình T2I nền tảng với 3.8B tham số, đạt hiệu quả huấn luyện cao nhờ ba yếu tố chính: (1) Kích thước mô hình nhỏ gọn (3.8B so với 6B+ của các mô hình SOTA), giảm chi phí mỗi bước huấn luyện. (2) Tối đa hóa mật độ thông tin dữ liệu bằng cách: (i) sử dụng tập dữ liệu Lens-800M gồm 800 triệu cặp ảnh-chú thích dày đặc, mỗi chú thích do GPT-4.1 tạo ra với độ dài trung bình 109 từ; (ii) xây dựng mỗi batch từ các ảnh có nhiều độ phân giải và tỷ lệ khung hình khác nhau, mở rộng phạm vi thị giác trong mỗi bước tối ưu. (3) Tăng tốc hội tụ thông qua các lựa chọn kiến trúc: sử dụng semantic VAE (FLUX.2 VAE) và bộ mã hóa ngôn ngữ mạnh (GPT-OSS 20B MoE) giúp tăng tốc tối ưu và hỗ trợ đa ngôn ngữ. Sau tiền huấn luyện, Lens áp dụng học tăng cường (RL) với tập prompt Lens-RL-8K và rubric thưởng có cấu trúc, một module reasoner với kỹ thuật tìm kiếm system prompt không cần huấn luyện, và chưng cất (distillation) để sinh ảnh trong 4 bước (Lens-Turbo).

III. Main Results:​

Lens (3.8B tham số) đạt hiệu suất cạnh tranh hoặc vượt trội so với các mô hình SOTA lớn hơn (6B-80B tham số) trên các benchmark OneIG và GenEval, trong khi chỉ sử dụng khoảng 19.3% chi phí huấn luyện so với Z-Image (6B). Cụ thể, Lens cần 192K giờ GPU A100 so với 314K giờ GPU H800 của Z-Image. Lens có thể sinh ảnh 1024^2 trong 3.15 giây trên một GPU H100, và phiên bản chưng cất Lens-Turbo chỉ mất 0.84 giây cho 4 bước. Mô hình tổng quát hóa tốt với tỷ lệ khung hình từ 1:2 đến 2:1 và độ phân giải lên tới 1440^2, đồng thời hỗ trợ prompt đa ngôn ngữ dù chỉ được huấn luyện trên dữ liệu tiếng Anh.

IV. Conclusion & Future Works:​

Lens chứng minh rằng có thể xây dựng mô hình T2I nền tảng hiệu quả và mạnh mẽ bằng cách tập trung vào mật độ thông tin dữ liệu, tốc độ hội tụ và kích thước mô hình nhỏ gọn, thay vì chỉ mở rộng quy mô. Các chiến lược này bổ sung cho các phương pháp tăng tốc huấn luyện truyền thống. Hướng nghiên cứu tương lai có thể bao gồm: cải thiện thêm module reasoner, mở rộng khả năng đa ngôn ngữ, và tối ưu hóa quy trình RL.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của mật độ thông tin trong batch dữ liệu đến hiệu quả huấn luyện mô hình sinh ảnh: Mở rộng phân tích về cách kết hợp đa độ phân giải và tỷ lệ khung hình trong một batch ảnh hưởng đến khả năng tổng quát hóa và tốc độ hội tụ của mô hình, có thể áp dụng cho các kiến trúc diffusion khác.
  2. So sánh có hệ thống các chiến lược chú thích ảnh (captioning) cho huấn luyện mô hình text-to-image: Thực hiện các thí nghiệm có kiểm soát để đánh giá tác động của độ dài, độ chi tiết và phong cách chú thích (do con người viết, do mô hình ngôn ngữ lớn tạo ra) lên chất lượng sinh ảnh và hiệu quả sử dụng dữ liệu.
  3. Phân tích vai trò của bộ mã hóa ngôn ngữ trong khả năng đa ngôn ngữ của mô hình text-to-image: Nghiên cứu cơ chế mà một bộ mã hóa ngôn ngữ mạnh (ví dụ GPT-OSS) cho phép mô hình T2I hiểu và sinh ảnh theo prompt bằng nhiều ngôn ngữ khác nhau, ngay cả khi chỉ được huấn luyện trên dữ liệu tiếng Anh.

2. Patent:​

  1. Phương pháp và hệ thống tối ưu hóa hiệu quả huấn luyện mô hình sinh ảnh trên thiết bị di động bằng cách sử dụng batch đa độ phân giải và đa tỷ lệ khung hình: Sáng chế mô tả một kỹ thuật xây dựng batch dữ liệu huấn luyện bao gồm các ảnh có kích thước và tỷ lệ khác nhau, giúp mô hình học được nhiều thông tin thị giác hơn trong mỗi bước cập nhật, từ đó giảm số bước huấn luyện cần thiết và tiết kiệm năng lượng, phù hợp cho việc huấn luyện trên các thiết bị di động có tài nguyên hạn chế.
  2. Hệ thống sinh ảnh từ văn bản trên điện thoại thông minh có khả năng hiểu prompt đa ngôn ngữ nhờ bộ mã hóa ngôn ngữ mạnh: Sáng chế mô tả một hệ thống trên điện thoại cho phép người dùng nhập prompt bằng nhiều ngôn ngữ (ví dụ tiếng Việt, tiếng Trung) và sinh ra ảnh tương ứng, mà không cần huấn luyện lại mô hình trên dữ liệu đa ngôn ngữ. Hệ thống tận dụng một bộ mã hóa ngôn ngữ lớn (ví dụ GPT-OSS) để hiểu ngữ nghĩa của prompt từ nhiều ngôn ngữ khác nhau.
  3. Phương pháp tinh chỉnh mô hình sinh ảnh trên thiết bị di động bằng học tăng cường với tập prompt đa dạng và rubric đánh giá tự động: Sáng chế mô tả một quy trình sau huấn luyện (post-training) trên điện thoại, sử dụng một tập prompt được xây dựng có hệ thống (taxonomy-driven) và một mô hình ngôn ngữ lớn để tự động đánh giá chất lượng ảnh sinh ra theo các tiêu chí (rubric). Quy trình này giúp cải thiện chất lượng ảnh và giảm artifact mà không cần sự can thiệp của con người, phù hợp để cá nhân hóa mô hình trên từng thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.21573
ArXiv Abstracthttps://arxiv.org/abs/2605.21573
PDF Downloadhttps://arxiv.org/pdf/2605.21573.pdf
Github Repositoryhttps://github.com/microsoft/Lens

4. SciAtlas: A Large-Scale Knowledge Graph for Automated Scientific Research (48 votes)​

Tác giả: Shuofei Qiao, Yunxiang Wei, Jiazheng Fan, Bin Wu, Busheng Zhang, Mengru Wang, Yuqi Zhu, Ningyu Zhang, Keyan Ding, Qiang Zhang, Huajun Chen

Xuất bản lúc: 2026-05-20

Tag: Knowledge Graph, LLMs, Neuro-Symbolic Retrieval, Automated Scientific Research, Graph Reasoning

I. Main Problem:​

Sự bùng nổ thông tin học thuật toàn cầu khiến các nhà nghiên cứu và tác nhân AI gặp khó khăn trong việc tổ chức và khai thác tri thức do dữ liệu bị phân mảnh, phi cấu trúc và thiếu liên kết liên ngành. Các công cụ truy xuất hiện tại chỉ dựa trên so khớp từ khóa hoặc tìm kiếm ngữ nghĩa vector, thiếu khả năng suy luận tô-pô để nắm bắt các kết nối logic phức tạp. Các framework deep research dựa trên tác nhân thường gặp ảo giác logic và chi phí suy luận cao.

II. Main Idea:​

Tác giả giới thiệu SciAtlas, một đồ thị tri thức học thuật đa ngành quy mô lớn với hơn 43 triệu bài báo, 157 triệu thực thể và 3 tỷ bộ ba. SciAtlas tổ chức tri thức thành một mạng lưới tiến hóa khoa học toàn cảnh với 9 loại thực thể (bài báo, tác giả, tổ chức, từ khóa, lĩnh vực,...) và 12 loại quan hệ (trích dẫn, đồng tác giả, đồng xuất hiện từ khóa,...). Dựa trên SciAtlas, nhóm phát triển thuật toán truy xuất thần kinh-ký hiệu (neuro-symbolic) với cơ chế truy hồi cộng tác ba đường (so khớp từ khóa, ngữ nghĩa và tiêu đề) và xếp hạng lại dựa trên đồ thị, cho phép chuyển đổi từ so khớp ngữ nghĩa đơn giản sang suy luận tô-pô xác định, giúp giảm ảo giác logic và chi phí suy luận.

III. Main Results:​

SciAtlas bao phủ 26 ngành học với 43,30 triệu bài báo, 109,70 triệu tác giả, 3,76 triệu từ khóa. Y học chiếm tỷ trọng lớn nhất (18,56%), tiếp theo là Khoa học Xã hội (10,70%), Kỹ thuật (9,43%), Hóa sinh (6,44%) và Khoa học Máy tính (6,29%). Thuật toán truy xuất có thể hoàn thành trong vòng 2 phút, nhanh hơn đáng kể so với các framework deep research dựa trên LLM, đồng thời cung cấp kết quả có độ liên quan cao với suy luận tô-pô sâu sắc.

IV. Conclusion & Future Works:​

SciAtlas chứng minh khả năng phục vụ như một 'bản đồ nhận thức' cho toàn bộ vòng lặp nghiên cứu khoa học tự động, bao gồm tổng quan tài liệu, tổng hợp xu hướng nghiên cứu, định vị ý tưởng và khám phá lộ trình học thuật. Hướng phát triển tương lai bao gồm cập nhật định kỳ từ OpenAlex, hỗ trợ người dùng triển khai cục bộ và mở cấu hình cho các tham số truy xuất.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SciAtlas với dữ liệu thời gian thực và cập nhật tự động: Nghiên cứu cơ chế cập nhật liên tục cho đồ thị tri thức từ các nguồn API và PDF, đảm bảo SciAtlas luôn phản ánh các xu hướng nghiên cứu mới nhất.
  2. Tối ưu hóa thuật toán truy xuất cho các tác vụ chuyên biệt: Phát triển các biến thể của thuật toán neuro-symbolic phù hợp với từng tác vụ cụ thể như phát hiện ý tưởng mới, đánh giá tính khả thi của giả thuyết, hoặc tìm kiếm đồng nghiệp tiềm năng.
  3. Tích hợp SciAtlas với các mô hình ngôn ngữ lớn để tạo ra các báo cáo tổng quan tự động: Xây dựng pipeline kết hợp SciAtlas với LLM để tự động tạo ra các bài tổng quan tài liệu chất lượng cao, có cấu trúc và dẫn chứng rõ ràng.

2. Patent:​

  1. Phương pháp và hệ thống tìm kiếm tài liệu khoa học thông minh trên thiết bị di động: Một ứng dụng di động cho phép người dùng nhập câu hỏi nghiên cứu bằng giọng nói hoặc văn bản, sau đó sử dụng đồ thị tri thức SciAtlas để truy xuất và hiển thị các bài báo liên quan nhất, kèm theo giải thích trực quan về mối liên hệ giữa chúng. Ứng dụng có thể gợi ý các hướng nghiên cứu mới dựa trên các kết nối tiềm ẩn trong đồ thị.
  2. Ứng dụng di động hỗ trợ viết tổng quan tài liệu tự động: Một công cụ trên điện thoại thông minh cho phép nhà nghiên cứu nhập chủ đề hoặc ý tưởng, sau đó tự động tạo ra một bản tổng quan tài liệu có cấu trúc, bao gồm các bài báo nền tảng, các xu hướng chính và các khoảng trống nghiên cứu. Ứng dụng sử dụng SciAtlas để đảm bảo tính chính xác và đầy đủ của thông tin.
  3. Hệ thống đề xuất đồng nghiệp và cộng tác viên tiềm năng dựa trên đồ thị tri thức trên di động: Một ứng dụng mạng xã hội học thuật trên di động, nơi người dùng có thể xây dựng hồ sơ nghiên cứu của mình. Hệ thống sử dụng SciAtlas để phân tích các kết nối giữa các tác giả, lĩnh vực và bài báo, từ đó đề xuất các nhà nghiên cứu có cùng mối quan tâm hoặc có chuyên môn bổ sung cho nhau, giúp thúc đẩy hợp tác liên ngành.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.22878
ArXiv Abstracthttps://arxiv.org/abs/2605.22878
PDF Downloadhttps://arxiv.org/pdf/2605.22878.pdf
Github Repositoryhttps://github.com/zjunlp/SciAtlas

5. StepAudio 2.5 Technical Report (38 votes)​

Tác giả: Bin Lin, Bo Zhao, Boyong Wu, Chao Yan, Chen Wu, Cheng Yi, Chengyuan Yao, Daijiao Liu, Fei Tian, Feng Tian, Haiyang Sun, Haoyang Zhang, Jiangjie Zhen, Jinglan Gong, Jun Chen, Li Xie, Peilin Li, Peng Yang, Pengfei Tan, Qingjian Lin, Runze Li, Shenghua Hu, Siyi Zhou, Wenwen Qu, Xiangyu Li, Xiangyu Tony Zhang, Xuerui Yang, Yang Yang, Yechang Huang, Yu Fu, Yuchu Luo, Yuxin Li, Yuxin Zhang, Zhengyan Sheng, Brian Li, Chang Zeng, Changlin Zhang, Chen Geng, Chenghao Dong, Chengli Feng, Dan Zhou, Danni Wan, Di Chen, Die Zhang, Dongqing Pang, Guanglong Yang, Guoqiang Hu, Huangxi Zhu, Jianzheng Gao, Jinghua Liang, Jinmei Wan, Junjie Yuan, Kang An, Lei Lei, Limin Zhong, Lun Cai, Mengqiang Ren, Min Xu, Mingliang Li, Mingxiao Li, Na Wang, Qiang Tong, Qiaoling Huang, Qingfu Du, Rui Wang, Shengchen Zhou, Shi Qiu, Shihao Peng, Shiliang Yang, Siqi Tu, Tianjiao Deng, Ting Xu, Tong Wang, WeiMing Niu, Wuxun Xie, Xianwei Zhang, Xianyu Feng, Xiaojia Liu, Xing Chen, Xiongbin Wu, Yan Wu, Yang Li, Yi Liu, Yifan Zhang, Yile Liu, Yongshen Long, Yu Luo, Yuanhao Ding, Yuhao Wang, Yuhe Yin, Yunfang Xu, Yuxiang Yang, Zhiguo Huang, Zhiyue Wu, Zichao Li, Zichao Zhou, Daxin Jiang, Future Li, Gang Yu, Xiangyu Zhang, Yibo Zhu

Xuất bản lúc: 2026-05-22

Tag: RLHF, ASR, TTS, Realtime Conversation, Multi-Token Prediction, Audio-Language Model, Large Language Models, Speech Recognition, Speech Synthesis, Voice Cloning

I. Main Problem:​

Các hệ thống nền tảng âm thanh-ngôn ngữ thống nhất hiện tại thường gặp khó khăn trong việc đạt được độ sâu chuyên biệt như các hệ thống chuyên dụng riêng lẻ trong các tác vụ như nhận dạng giọng nói tự động (ASR), tổng hợp văn bản thành giọng nói (TTS) và tương tác hội thoại thời gian thực. Việc thu hẹp khoảng cách giữa các mô hình thống nhất và chuyên dụng vẫn là một thách thức lớn.

II. Main Idea:​

Bài báo giới thiệu StepAudio 2.5, một mô hình nền tảng âm thanh-ngôn ngữ thống nhất. Ý tưởng chính là, một khi văn bản và âm thanh chia sẻ một không gian biểu diễn đa phương thức, sự khác biệt giữa các tác vụ hạ nguồn sẽ chuyển từ kiến trúc sang các chế độ vận hành: xây dựng dữ liệu, mục tiêu tối ưu hóa và các ràng buộc giải mã. Dựa trên điều này, bài báo sử dụng RLHF (Reinforcement Learning from Human Feedback) như cơ chế chính để định hình các mục tiêu tối ưu hóa phức tạp, kết hợp với giải mã chuyên biệt để tạo ra ba chế độ hoạt động riêng biệt: ASR (tăng tốc giải mã đa token), TTS (tổng hợp có kiểm soát thông qua RLHF dựa trên sở thích) và Realtime (hội thoại độ trễ thấp với mô hình phần thưởng sinh).

III. Main Results:​

Trên các benchmark tiêu chuẩn, StepAudio 2.5 đạt được kết quả vượt trội (state-of-the-art) trên cả ba tác vụ ASR, TTS và Realtime. Cụ thể, ASR đạt CER trung bình 2.97% trên tiếng Trung và WER trung bình 3.68% trên tiếng Anh, với RTF cực thấp 0.0053 nhờ cơ chế MTP (Multi-Token Prediction). Mô hình cũng vượt trội trên các tập dữ liệu dài hạn, chứng minh khả năng duy trì ngữ cảnh tốt.

IV. Conclusion & Future Works:​

StepAudio 2.5 chứng minh rằng một nền tảng âm thanh-ngôn ngữ thống nhất duy nhất có thể nội hóa thành công các mục tiêu triển khai riêng biệt của ba tác vụ: nhận dạng giọng nói, tổng hợp và tương tác trực tiếp. Hướng nghiên cứu trong tương lai có thể tập trung vào việc cải thiện hơn nữa khả năng kiểm soát tinh tế trong TTS, giảm độ trễ trong hội thoại thời gian thực, và mở rộng khả năng của mô hình cho nhiều ngôn ngữ và bối cảnh phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các phương pháp RLHF mới cho TTS, tập trung vào việc tối ưu hóa các khía cạnh cảm xúc và phong cách nói dựa trên phản hồi của người dùng, vượt ra ngoài các chỉ số khách quan hiện tại.
  2. Phát triển các kỹ thuật giải mã đa token (MTP) mới cho ASR, khám phá các cấu trúc lookahead thích ứng và cơ chế xác minh hiệu quả hơn để tăng tốc độ nhận dạng trên các thiết bị có tài nguyên hạn chế.
  3. Xây dựng một mô hình hội thoại thời gian thực đa phương thức có khả năng tích hợp thông tin thị giác (ví dụ: biểu cảm khuôn mặt, cử chỉ) để cải thiện tính nhất quán và phù hợp về mặt cảm xúc trong quá trình tương tác.

2. Patent:​

  1. Phương pháp và hệ thống tăng tốc nhận dạng giọng nói trên thiết bị di động sử dụng dự đoán đa token có xác minh. Ý tưởng: Khi người dùng nói, hệ thống sẽ dự đoán đồng thời nhiều từ tiếp theo. Nếu các từ dự đoán này khớp với nhau, chúng sẽ được chấp nhận ngay lập tức, giúp giảm đáng kể thời gian chờ xử lý và cho phép văn bản xuất hiện gần như tức thời trên màn hình, cải thiện trải nghiệm gõ giọng nói và trợ lý ảo.
  2. Hệ thống tổng hợp giọng nói cá nhân hóa cho điện thoại thông minh dựa trên học tăng cường từ phản hồi của người dùng. Ý tưởng: Người dùng có thể chọn giọng đọc và phong cách mong muốn. Hệ thống sẽ tạo ra giọng nói và liên tục học hỏi từ phản hồi (ví dụ: người dùng thích giọng vui vẻ hơn khi đọc tin nhắn, hoặc giọng trang trọng hơn khi đọc email) để điều chỉnh và cá nhân hóa giọng đọc theo thời gian, mang lại trải nghiệm đọc tự nhiên và phù hợp hơn.
  3. Phương pháp tạo cuộc hội thoại thời gian thực theo ngữ cảnh trên thiết bị di động, duy trì tính nhất quán về tính cách và cảm xúc của trợ lý ảo. Ý tưởng: Khi người dùng tương tác với trợ lý ảo, hệ thống sẽ ghi nhớ tính cách, tâm trạng và lịch sử trò chuyện. Trợ lý ảo sẽ phản hồi bằng giọng nói và thái độ phù hợp với bối cảnh (ví dụ: nếu người dùng đang buồn, trợ lý sẽ nói với giọng nhẹ nhàng, đồng cảm), tạo ra trải nghiệm tương tác tự nhiên và gắn kết hơn, thay vì các phản hồi máy móc.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.23463
ArXiv Abstracthttps://arxiv.org/abs/2605.23463
PDF Downloadhttps://arxiv.org/pdf/2605.23463.pdf
Github RepositoryN/A

6. See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding (28 votes)​

Tác giả: Boyuan Sun, Bowen Yin, Yuanming Li, Xihan Wei, Qibin Hou

Xuất bản lúc: 2026-05-18

Tag: Multimodal Large Language Models, Vision-Language Alignment, Fine-grained Object Understanding, Video Understanding, Cross-Attention

I. Main Problem:​

Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) hiện tại gặp khó khăn trong việc hiểu và tập trung vào các đối tượng cụ thể do người dùng chỉ định thông qua văn bản thuần túy. Các phương pháp hiện có thường yêu cầu các tín hiệu thị giác rõ ràng (như mặt nạ, hộp giới hạn hoặc điểm) trong quá trình suy luận, điều này làm tăng độ phức tạp và khác biệt so với cách tương tác tự nhiên của người dùng. Phân tích sâu hơn cho thấy có sự khác biệt có hệ thống trong cơ chế cross-attention: các từ chỉ thuộc tính tạo ra vùng kích hoạt sắc nét, cục bộ trong phương thức thị giác, trong khi các danh từ chỉ đối tượng lại tạo ra các mẫu khuếch tán và phân tán do thiếu sự giám sát rõ ràng.

II. Main Idea:​

Bài báo đề xuất SWIM (See What I Mean), một chiến lược huấn luyện mới giúc căn chỉnh các biểu diễn thị giác và ngôn ngữ để hiểu đối tượng chi tiết chỉ từ các câu nhập văn bản. SWIM tận dụng sự giám sát bằng mặt nạ trong quá trình huấn luyện để hướng dẫn cross-attention, cho phép mô hình tự động tập trung vào đối tượng được chỉ định khi suy luận mà không cần bất kỳ tín hiệu thị giác nào. Cụ thể, các tác giả xây dựng bộ dữ liệu NL-Refer, trong đó mỗi mặt nạ đối tượng được ghép với một biểu thức tham chiếu ngôn ngữ tự nhiên chính xác. SWIM trích xuất các bản đồ cross-attention từ nhiều lớp khác nhau cho các danh từ chỉ đối tượng và áp đặt tính nhất quán không gian với các mặt nạ thực tế thông qua hàm mất mát binary cross-entropy.

III. Main Results:​

SWIM đạt được kết quả vượt trội so với các phương pháp dựa trên tín hiệu thị giác trên các benchmark hiểu đối tượng chi tiết. Cụ thể, trên VideoRefer-Bench-Q, SWIM đạt độ chính xác trung bình 78.3%, vượt qua VideoRefer-7B (+6.4%) và GPT-4o (71.3%). Trên VideoRefer-Bench-D, SWIM đạt điểm trung bình 3.78, vượt qua DAM-8B (3.68) và GPT-4o (3.25). Các phân tích định lượng cho thấy SWIM cải thiện đáng kể khả năng căn chỉnh văn bản-thị giác, với các chỉ số như AUC (0.62→0.67), NSS (0.39→0.50) và Precision (0.28→0.39).

IV. Conclusion & Future Works:​

SWIM là một phương pháp huấn luyện hiệu quả giúp tăng cường khả năng hiểu đối tượng chi tiết trong MLLMs bằng cách áp dụng sự giám sát rõ ràng lên cross-attention giữa danh từ chỉ đối tượng và vùng thị giác. Phương pháp này không yêu cầu thay đổi kiến trúc mô hình và không cần tín hiệu thị giác trong quá trình suy luận. Kết quả thử nghiệm cho thấy SWIM đạt hiệu suất tốt nhất trên các benchmark về hiểu đối tượng chi tiết trong khi vẫn duy trì hiệu suất cạnh tranh trên các benchmark tổng quát. Hướng phát triển trong tương lai có thể mở rộng quy mô dữ liệu có chú thích mặt nạ để đạt được sự căn chỉnh mạnh mẽ hơn nữa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SWIM cho các tác vụ hiểu đối tượng chi tiết trong ảnh tĩnh, không chỉ video, và đánh giá trên các benchmark như RefCOCO, để kiểm tra tính tổng quát của phương pháp.
  2. Nghiên cứu ảnh hưởng của việc chọn lớp cross-attention khác nhau đến hiệu suất căn chỉnh, và đề xuất một phương pháp tự động chọn lớp tối ưu dựa trên độ chính xác của bản đồ chú ý.
  3. Kết hợp SWIM với các kỹ thuật tăng cường dữ liệu như sinh câu hỏi-đáp tự động để tạo ra nhiều dữ liệu huấn luyện hơn, nhằm cải thiện khả năng tổng quát hóa của mô hình.

2. Patent:​

  1. Hệ thống trên điện thoại thông minh cho phép người dùng gõ mô tả một đối tượng trong video (ví dụ: 'chiếc áo sọc xanh của người đàn ông') và ứng dụng sẽ tự động làm nổi bật hoặc cắt ra đối tượng đó để chỉnh sửa hoặc tìm kiếm, mà không cần người dùng phải chạm vào màn hình để đánh dấu.
  2. Phương pháp trên thiết bị di động giúp cải thiện khả năng nhận dạng và mô tả các đối tượng trong ảnh chụp cho người khiếm thị: người dùng chỉ cần nói 'mô tả chiếc cốc trên bàn', và hệ thống sẽ tự động xác định đúng đối tượng và đọc mô tả chi tiết (màu sắc, hình dạng, vị trí) mà không cần bất kỳ thao tác chạm hay đánh dấu nào.
  3. Ứng dụng trên điện thoại cho phép người dùng tìm kiếm sản phẩm trực quan bằng cách mô tả bằng lời nói, ví dụ: 'tìm chiếc váy đỏ có hoa trắng trong video thời trang này'. Hệ thống sẽ tự động xác định vị trí chính xác của sản phẩm trong video và đề xuất các mặt hàng tương tự để mua, mà không cần người dùng phải tạm dừng video và đánh dấu thủ công.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.18018
ArXiv Abstracthttps://arxiv.org/abs/2605.18018
PDF Downloadhttps://arxiv.org/pdf/2605.18018.pdf
Github Repositoryhttps://github.com/HumanMLLM/SWIM

7. From Raw Experience to Skill Consumption: A Systematic Study of Model-Generated Agent Skills (23 votes)​

Tác giả: Zisu Huang, Jingwen Xu, Yifan Yang, Ziyang Gong, Qihao Yang, Muzhao Tian, Xiaohua Wang, Changze Lv, Xuemei Gao, Qi Dai, Bei Liu, Kai Qiu, Xue Yang, Dongdong Chen, Xiaoqing Zheng, Chong Luo

Xuất bản lúc: 2026-05-22

Tag: LLMs, Language Agents, Skill Extraction, Skill Consumption, Transfer Learning, Agent Skills

I. Main Problem:​

Các tác nhân ngôn ngữ ngày càng cải thiện bằng cách tái sử dụng các kỹ năng (skill)—các tạo tác thủ tục có cấu trúc được chưng cất từ kinh nghiệm trong quá khứ. Tuy nhiên, trong khi các phương pháp trích xuất kỹ năng ngày càng phát triển, vẫn thiếu một nghiên cứu toàn diện bao quát toàn bộ vòng đời kỹ năng (tạo kinh nghiệm, trích xuất kỹ năng và tiêu thụ kỹ năng) để trả lời các câu hỏi: liệu các kỹ năng do mô hình tạo ra có thực sự hiệu quả, khi nào chúng hiệu quả, và điều gì khiến chúng thành công hay thất bại.

II. Main Idea:​

Để giải quyết khoảng trống này, các tác giả xây dựng một khung đánh giá dựa trên tiện ích (utility-grounded) cung cấp các kết quả thực nghiệm có hệ thống trên nhiều bộ trích xuất (extractor) và tác nhân mục tiêu (target agent), bao gồm năm lĩnh vực tác vụ đa dạng. Nghiên cứu tuân theo một quy trình ba bước: (1) Tạo kinh nghiệm: tác nhân mục tiêu thực hiện các tác vụ để tạo ra một tập hợp kinh nghiệm; (2) Trích xuất kỹ năng: bộ trích xuất chưng cất tập kinh nghiệm này thành một kỹ năng duy nhất ở cấp độ miền; (3) Tiêu thụ kỹ năng: kỹ năng được áp dụng lại cho cùng một tác nhân mục tiêu và đánh giá trên các tác vụ chưa thấy để đo lường mức thay đổi hiệu suất. Nghiên cứu giới thiệu các chỉ số Hiệu quả Trích xuất (Extraction Efficacy - EE) và Khả năng Tiến hóa Mục tiêu (Target Evolvability - TE) để phân tách hai vai trò. Ngoài ra, các tác giả còn phân tích sâu từng giai đoạn của vòng đời và chuyển các phát hiện thành một siêu kỹ năng (meta-skill) hướng dẫn việc trích xuất kỹ năng tập trung vào các đặc điểm thực sự mang lại tiện ích.

III. Main Results:​

Kết quả cho thấy các kỹ năng do mô hình tạo ra nhìn chung có lợi nhưng không phải lúc nào cũng vậy: 25% các cặp bộ trích xuất-mục tiêu có sự chuyển giao tiêu cực (negative transfer). Khả năng thực thi tác vụ tốt không đồng nghĩa với khả năng trích xuất kỹ năng tốt. Tiện ích của kỹ năng phụ thuộc vào mục tiêu: cùng một kỹ năng có thể mang lại lợi ích rất khác nhau cho các tác nhân khác nhau. Phân tích sâu cho thấy chất lượng kỹ năng bị ảnh hưởng lớn bởi tỷ lệ thành công-thất bại trong tập kinh nghiệm, và tỷ lệ tối ưu phụ thuộc vào từng miền. Các đặc điểm bề mặt như định dạng văn bản hay độ tin cậy (plausibility) không dự đoán được tiện ích thực tế. Cuối cùng, siêu kỹ năng được đề xuất đã cải thiện nhất quán chất lượng kỹ năng và giảm đáng kể sự chuyển giao tiêu cực.

IV. Conclusion & Future Works:​

Nghiên cứu kết luận rằng vòng đời kỹ năng cần được tiếp cận một cách có nguyên tắc, dựa trên tiện ích thay vì trực giác. Các phát hiện nhấn mạnh rằng việc trích xuất kỹ năng là một năng lực riêng biệt so với thực thi tác vụ, và sự tương thích giữa bộ trích xuất, mục tiêu và miền là yếu tố then chốt. Hướng nghiên cứu trong tương lai có thể mở rộng sang các miền phức tạp hơn, phát triển các phương pháp trích xuất thích ứng với từng mục tiêu, và nghiên cứu sâu hơn về cơ chế tiêu thụ kỹ năng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các phương pháp trích xuất kỹ năng thích ứng với từng mô hình mục tiêu, tự động điều chỉnh quy trình trích xuất dựa trên đặc điểm của tác nhân tiêu thụ.
  2. Phát triển các khung đánh giá toàn diện hơn cho vòng đời kỹ năng, bao gồm các miền tác vụ phức tạp và đa dạng hơn như tương tác đa phương thức hoặc lập kế hoạch dài hạn.
  3. Nghiên cứu về cơ chế học tập liên tục cho các tác nhân, nơi các kỹ năng được cập nhật và tinh chỉnh tự động dựa trên phản hồi từ quá trình tiêu thụ.

2. Patent:​

  1. Phương pháp và hệ thống tối ưu hóa trải nghiệm người dùng trên điện thoại thông minh bằng cách tự động trích xuất và áp dụng các kỹ năng thao tác từ lịch sử sử dụng của người dùng. Ví dụ, điện thoại có thể học cách người dùng thường xuyên chỉnh sửa ảnh theo một quy trình nhất định (cắt, chỉnh màu, thêm bộ lọc) và tự động tạo ra một 'kỹ năng' để thực hiện quy trình đó chỉ với một lần chạm, giúp tiết kiệm thời gian và công sức.
  2. Thiết bị di động thông minh có khả năng tự động tạo ra các hướng dẫn tương tác (skill) từ các tác vụ phức tạp do người dùng thực hiện, giúp người dùng mới hoặc người dùng gặp khó khăn có thể hoàn thành tác vụ một cách dễ dàng. Ví dụ, khi người dùng thực hiện một chuỗi thao tác phức tạp để thiết lập một ứng dụng ngân hàng, điện thoại có thể ghi lại quy trình này và tạo ra một hướng dẫn từng bước có thể tái sử dụng cho lần sau hoặc chia sẻ cho người khác.
  3. Hệ thống quản lý năng lượng pin trên điện thoại thông minh sử dụng các kỹ năng được trích xuất từ hành vi sử dụng để dự đoán và tối ưu hóa việc tiêu thụ năng lượng. Ví dụ, hệ thống có thể học rằng người dùng thường xem video vào buổi tối và tự động kích hoạt chế độ tiết kiệm pin, giảm độ sáng màn hình và tắt các ứng dụng nền không cần thiết, từ đó kéo dài thời gian sử dụng pin.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.23899
ArXiv Abstracthttps://arxiv.org/abs/2605.23899
PDF Downloadhttps://arxiv.org/pdf/2605.23899.pdf
Github Repositoryhttps://github.com/microsoft/SkillLens

8. PiD: Fast and High-Resolution Latent Decoding with Pixel Diffusion (22 votes)​

Tác giả: Yifan Lu, Qi Wu, Jay Zhangjie Wu, Zian Wang, Huan Ling, Sanja Fidler, Xuanchi Ren

Xuất bản lúc: 2026-05-22

Tag: Diffusion, Latent Decoding, Pixel Diffusion, Super-Resolution, Text-to-Image, Distillation, High-Resolution

I. Main Problem:​

Hầu hết các hệ thống sinh ảnh từ văn bản hiện tại sử dụng một bộ giải mã (decoder) để chuyển đổi các biểu diễn tiềm ẩn (latent) thành ảnh pixel. Tuy nhiên, bộ giải mã này thường được tối ưu cho việc tái tạo (reconstruction-oriented) và không thể tổng hợp thêm chi tiết mới. Hơn nữa, quy trình giải mã truyền thống bao gồm hai bước riêng biệt: giải mã ảnh độ phân giải thấp và sau đó tăng độ phân giải (upsampling), dẫn đến chi phí tính toán cao, độ trễ lớn và thường khuếch đại các lỗi từ không gian tiềm ẩn. Vấn đề này càng trở nên nghiêm trọng hơn với các biểu diễn tiềm ẩn ngữ nghĩa (semantic latent) từ các bộ mã hóa như DINOv2, vốn không lưu trữ đủ thông tin chi tiết.

II. Main Idea:​

Bài báo giới thiệu PiD (Pixel diffusion Decoder), một phương pháp tiếp cận mới cho việc giải mã không gian tiềm ẩn. PiD tái định nghĩa quá trình giải mã như một bài toán khuếch tán pixel có điều kiện (conditional pixel diffusion), thống nhất hai bước giải mã và tăng độ phân giải thành một mô-đun sinh duy nhất. Cụ thể, PiD sử dụng một mô hình khuếch tán không gian pixel mạnh mẽ (PixelDiT) làm bộ sinh ưu tiên (generative prior). Một bộ chuyển đổi (adapter) nhẹ, nhạy với nhiễu (sigma-aware), được thêm vào để tiêm thông tin từ biểu diễn tiềm ẩn (bao gồm cả biểu diễn đã được khử nhiễu một phần) vào quá trình khuếch tán pixel. Điều này cho phép PiD tổng hợp trực tiếp ảnh có độ phân giải cao (4x và 8x so với độ phân giải của latent) chỉ trong một bước, đồng thời giảm độ trễ nhờ khả năng kết thúc sớm quá trình khuếch tán ở không gian tiềm ẩn. Mô hình còn được tinh chế (distill) bằng DMD2 để chỉ cần 4 bước suy luận.

III. Main Results:​

PiD đạt được kết quả vượt trội trên hầu hết các chỉ số đánh giá chất lượng ảnh (MUSIQ, NIQE, DEQA, MANIQA, Q-Align, Unipercept, VisualQuality-R1) so với các pipeline giải mã và tăng độ phân giải truyền thống (bao gồm VAE + Real-ESRGAN, SeedVR, TSD-SR, InvSR) trên nhiều loại latent khác nhau (VAE của FLUX.1, FLUX.2, SD3; và semantic latent của DINOv2, SigLIP). PiD giải mã latent kích thước 512x512 thành ảnh 2048x2048 trong vòng chưa đầy 1 giây (13 GB bộ nhớ) trên GPU RTX 5090 và chỉ 210ms trên GPU GB200, nhanh hơn khoảng 3-6 lần so với các phương pháp super-resolution dựa trên diffusion. PiD cũng cho thấy khả năng làm việc với các latent đã được khử nhiễu một phần, cho phép kết thúc sớm quá trình sinh latent.

IV. Conclusion & Future Works:​

PiD chứng minh rằng việc thay thế bộ giải mã tái tạo truyền thống bằng một bộ giải mã khuếch tán pixel có tính sinh cao là một hướng đi hiệu quả để cải thiện cả tốc độ và chất lượng ảnh ở độ phân giải cao. Phương pháp này có thể áp dụng cho nhiều loại latent khác nhau, bao gồm cả VAE và các biểu diễn ngữ nghĩa. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng PiD cho các tác vụ như chỉnh sửa ảnh (image editing) hoặc sinh video (video generation), cũng như tối ưu hóa thêm về mặt kiến trúc và huấn luyện để cải thiện chất lượng và giảm chi phí hơn nữa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Ứng dụng PiD cho việc chỉnh sửa ảnh độ phân giải cao: Nghiên cứu khả năng của PiD trong các tác vụ chỉnh sửa ảnh như inpainting hoặc outpainting ở độ phân giải cao. Thay vì chỉ giải mã latent, PiD có thể được điều chỉnh để chấp nhận các điều kiện từ ảnh gốc và mask, cho phép chỉnh sửa trực tiếp ở độ phân giải 4K mà không cần qua các bước tăng độ phân giải phức tạp.
  2. PiD cho sinh video độ phân giải cao: Mở rộng PiD để xử lý các latent video. Mục tiêu là phát triển một bộ giải mã video có thể chuyển đổi một chuỗi các latent từ mô hình sinh video (ví dụ: latent diffusion models) thành các frame video 4K một cách nhanh chóng và nhất quán về mặt thời gian, giải quyết bài toán chi phí tính toán cao trong sinh video độ phân giải lớn.
  3. PiD kết hợp với các bộ mã hóa tiềm ẩn thế hệ mới: Nghiên cứu việc kết hợp PiD với các loại autoencoder hoặc tokenizer mới hơn, có tỷ lệ nén cao hơn hoặc biểu diễn ngữ nghĩa phong phú hơn. Mục tiêu là tìm ra bộ mã hóa và giải mã tối ưu, nơi bộ giải mã PiD có thể bù đắp cho sự mất mát thông tin từ bộ mã hóa, tạo ra ảnh chất lượng cao từ các không gian tiềm ẩn cực kỳ nhỏ gọn.

2. Patent:​

  1. Phương pháp và hệ thống tăng cường ảnh chụp từ điện thoại thông minh: Một ứng dụng trên điện thoại cho phép người dùng chụp ảnh ở chế độ tiết kiệm dung lượng (ảnh có độ phân giải thấp hơn). Sau đó, một mô hình PiD đã được tinh chỉnh sẽ hoạt động trên thiết bị hoặc trên đám mây để 'giải mã' và phục hồi ảnh gốc thành ảnh có độ phân giải cao hơn nhiều (ví dụ: từ 1MP lên 8MP hoặc 12MP), đồng thời cải thiện chi tiết và giảm nhiễu, mang lại trải nghiệm chụp ảnh 'ảo' với chất lượng cao từ những bức ảnh có kích thước nhỏ.
  2. Ứng dụng chỉnh sửa ảnh 'thông minh' trên điện thoại: Một tính năng trong ứng dụng chỉnh sửa ảnh trên điện thoại, cho phép người dùng chọn một vùng trên ảnh và yêu cầu 'làm mới' hoặc 'thêm chi tiết' cho vùng đó. Hệ thống sẽ mã hóa vùng ảnh gốc thành một latent ngữ nghĩa, sau đó sử dụng mô hình PiD để giải mã latent này cùng với một prompt văn bản mới (ví dụ: 'thêm vảy cho con rồng') thành một vùng ảnh có độ phân giải cao hơn và chi tiết hơn, tất cả đều được thực hiện trực tiếp trên thiết bị di động.
  3. Tính năng 'Phóng to ảnh siêu nét' cho ứng dụng xem ảnh: Khi người dùng phóng to một bức ảnh trong thư viện, thay vì hiển thị các pixel bị vỡ, hệ thống sẽ nhanh chóng mã hóa vùng ảnh đang được phóng to thành một latent và sử dụng mô hình PiD để tái tạo vùng đó với độ phân giải gốc của màn hình, tạo ra hình ảnh sắc nét và chi tiết hơn nhiều so với phép nội suy thông thường. Điều này đặc biệt hữu ích cho việc xem ảnh chụp từ xa hoặc ảnh có độ phân giải thấp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.23902
ArXiv Abstracthttps://arxiv.org/abs/2605.23902
PDF Downloadhttps://arxiv.org/pdf/2605.23902.pdf
Github RepositoryN/A

9. PhotoFlow: Agentic 3D Virtual Photography Missions (21 votes)​

Tác giả: Jiarui Guo, Haojia Wei, Yiming Zhang, Yifei Liu, Yuning Gong, Hongjie Zhang, Xue Yang, Zhihang Zhong

Xuất bản lúc: 2026-05-22

Tag: LLM Agent, 3D Scene Understanding, Virtual Photography, Vision-Language Model, Camera Search, Aesthetic Assessment

I. Main Problem:​

Nhiếp ảnh ảo trong không gian 3D yêu cầu một tác nhân AI có khả năng hiểu bố cục không gian phức tạp và thẩm mỹ trừu tượng cùng lúc, nhưng các phương pháp hiện tại thường chỉ giải quyết riêng lẻ từng khía cạnh. Bài toán đặt ra là: từ một cảnh 3D chưa biết trước và một mô tả bằng ngôn ngữ tự nhiên, tác nhân phải tự động suy luận ra một góc máy tối ưu, chọn tham số máy ảnh khả thi và tạo ra bức ảnh cuối cùng đáp ứng cả yêu cầu không gian lẫn thẩm mỹ.

II. Main Idea:​

Bài báo giới thiệu PhotoFlow, một kiến trúc tác nhân Director-Reviewer-Reflector (Đạo diễn-Phản biện-Suy ngẫm) thực hiện tìm kiếm góc máy ảnh trong không gian liên tục theo vòng lặp đóng. Director xây dựng 'bản thiết kế nhiếp ảnh' mềm và đề xuất các góc máy đa dạng. Reviewer kết hợp kiểm tra hình học (quy tắc) và đánh giá thẩm mỹ trực quan (VLM) để chấm điểm. Reflector chuyển đổi thất bại thành bộ nhớ vùng, vùng cấm và chiến lược khám phá lại. Ngoài ra, bài báo còn giới thiệu VPhotoBench, một bộ benchmark gồm 47 cảnh Blender và 141 nhiệm vụ chụp ảnh có điều kiện ngôn ngữ.

III. Main Results:​

Trên 90 tác vụ kiểm thử, PhotoFlow đạt điểm tổng hợp chất lượng-thẩm mỹ (Mqs) là 0.578 và tỷ lệ thành công (Succ@0.55) là 62.2%, vượt trội so với các baseline như Single-Step LLM (Mqs: 0.514, Succ: 40.0%), Anchor Bank Best-of-N (0.519, 37.8%), Random Search (0.527, 40.0%) và Single-Chain Reflection (0.567, 56.7%). Kết quả này cho thấy vòng lặp tìm kiếm có phản hồi mang lại giá trị gia tăng rõ rệt so với các phương pháp dự đoán một lần hoặc chỉ dựa vào anchor.

IV. Conclusion & Future Works:​

PhotoFlow là công trình đầu tiên biến nhiếp ảnh ảo có điều kiện ngôn ngữ trong cảnh Blender tùy ý thành một tác vụ tác nhân khả thi. Kết quả cho thấy một tác nhân không gian tập trung vào LLM có thể tạo ra những bức ảnh chất lượng trong bối cảnh thách thức cả suy luận 3D và lựa chọn thẩm mỹ. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng sang các cảnh phức tạp hơn, cải thiện khả năng suy luận không gian của VLM và tối ưu hóa hiệu suất render.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nhiếp ảnh ảo thích ứng với thiết bị di động: Nghiên cứu phương pháp tinh chỉnh PhotoFlow để hoạt động hiệu quả trên các thiết bị có tài nguyên hạn chế như điện thoại thông minh. Trọng tâm là giảm số lần render và tối ưu hóa tác nhân LLM để đưa ra quyết định nhanh chóng dựa trên thông tin cảnh được nén, phục vụ cho các ứng dụng AR/VR và chụp ảnh hỗ trợ AI trên di động.
  2. Tác nhân nhiếp ảnh ảo đa phương thức với phản hồi từ người dùng: Mở rộng PhotoFlow bằng cách tích hợp phản hồi trực tiếp từ người dùng (ví dụ: thích/không thích, chỉnh sửa bằng giọng nói) vào vòng lặp tìm kiếm. Nghiên cứu cách tác nhân có thể học từ sở thích cá nhân để cải thiện chất lượng ảnh qua thời gian, tạo ra trải nghiệm chụp ảnh ảo được cá nhân hóa.
  3. Suy luận bố cục không gian nâng cao cho VLM: Phân tích sâu về những hạn chế của Vision-Language Models (VLM) hiện tại trong việc hiểu bố cục không gian 3D và đề xuất các kỹ thuật huấn luyện hoặc kiến trúc mới để cải thiện khả năng này. Nghiên cứu có thể tập trung vào việc tạo ra các bộ dữ liệu huấn luyện tổng hợp hoặc các module suy luận không gian chuyên biệt.

2. Patent:​

  1. Hệ thống hỗ trợ chụp ảnh thông minh trên điện thoại di động: Một ứng dụng trên điện thoại sử dụng AI để phân tích khung cảnh xung quanh qua camera và đề xuất góc chụp, bố cục, và cài đặt máy ảnh tối ưu dựa trên mô tả bằng giọng nói hoặc văn bản của người dùng (ví dụ: 'chụp ảnh chân dung với hiệu ứng chiều sâu', 'chụp phong cảnh hoàng hôn rộng'). Hệ thống sẽ hiển thị các gợi ý trực tiếp lên màn hình, giúp người dùng có được bức ảnh đẹp mà không cần kiến thức chuyên môn.
  2. Phương pháp tự động tìm kiếm góc máy ảo cho trò chơi di động: Một công cụ dành cho nhà phát triển trò chơi di động, cho phép nhập mô tả bằng ngôn ngữ tự nhiên (ví dụ: 'cảnh chiến đấu kịch tính từ góc nhìn của kẻ địch') để tự động tìm ra góc máy quay phù hợp trong môi trường 3D của trò chơi. Điều này giúp tiết kiệm thời gian thiết kế cảnh quay và tạo ra các đoạn phim giới thiệu hoặc ảnh chụp màn hình ấn tượng một cách nhanh chóng.
  3. Hệ thống gợi ý bố cục ảnh dựa trên AI cho ứng dụng chỉnh sửa ảnh: Một tính năng trong ứng dụng chỉnh sửa ảnh trên điện thoại, cho phép người dùng chọn một bức ảnh có sẵn và nhập mô tả về bố cục mong muốn (ví dụ: 'làm nổi bật tòa nhà ở giữa', 'tạo cảm giác cô đơn với không gian rộng'). AI sẽ phân tích ảnh gốc và đề xuất các thao tác cắt, xoay, hoặc điều chỉnh phối cảnh để đạt được bố cục như mong muốn, biến một bức ảnh thông thường thành một tác phẩm nghệ thuật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.23771
ArXiv Abstracthttps://arxiv.org/abs/2605.23771
PDF Downloadhttps://arxiv.org/pdf/2605.23771.pdf
Github Repositoryhttps://github.com/Visionary-Laboratory/PhotoFlow

10. VGenST-Bench: A Benchmark for Spatio-Temporal Reasoning via Active Video Synthesis (20 votes)​

Tác giả: Jinho Park, Youbin Kim, Hogun Park, Eunbyung Park

Xuất bản lúc: 2026-05-21

Tag: Video Generation, Spatio-Temporal Reasoning, Benchmark, MLLM, Multi-Agent Pipeline

I. Main Problem:​

Các mô hình ngôn ngữ lớn đa phương thức (MLLM) hiện tại gặp khó khăn trong suy luận không gian-thời gian, đặc biệt là khi các bộ dữ liệu đánh giá hiện có dựa trên việc thu thập thụ động từ các nguồn có sẵn, dẫn đến các vấn đề như nhiễm dữ liệu, khai thác lối tắt và phạm vi bao phủ hạn chế.

II. Main Idea:​

Bài báo giới thiệu VGenST-Bench, một bộ đánh giá video sử dụng các mô hình sinh để chủ động tổng hợp các kịch bản đánh giá đa dạng và được kiểm soát chặt chẽ. Bộ đánh giá được xây dựng thông qua một pipeline đa tác tử bao gồm bốn mô-đun (tạo đồ thị cảnh, kịch bản, video, và câu hỏi) và một giai đoạn kiểm soát chất lượng của con người. VGenST-Bench được tổ chức theo một phân loại video 3×2×2 (Quy mô không gian, Góc nhìn, Động lực cảnh) và một hệ thống phân cấp câu hỏi ba cấp độ (Nhận thức thị giác, Hiểu cảnh, Suy luận không gian-thời gian) để chẩn đoán chi tiết khả năng của MLLM.

III. Main Results:​

Các thử nghiệm trên 15 mô hình MLLM cho thấy ngay cả mô hình mạnh nhất (Gemini 3 Flash) cũng chỉ đạt độ chính xác 85.9%, thấp hơn đáng kể so với hiệu suất gần như hoàn hảo của con người (99.0%). Độ chính xác giảm mạnh từ cấp độ Nhận thức thị giác (L1) xuống Suy luận không gian-thời gian (L3), cho thấy các MLLM hiện tại còn yếu trong suy luận bậc cao.

IV. Conclusion & Future Works:​

VGenST-Bench chứng minh rằng việc xây dựng bộ đánh giá dựa trên sinh video có kiểm soát là một phương pháp khả thi để đánh giá suy luận không gian-thời gian. Công trình này mở ra hướng nghiên cứu mới về thiết kế các bộ đánh giá cho các năng lực cụ thể, thay vì chỉ khám phá từ dữ liệu có sẵn. Nhóm tác giả công bố bộ dữ liệu, pipeline sinh và bộ đánh giá đầy đủ để hỗ trợ nghiên cứu trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phân loại video: Nghiên cứu thêm các trục phân loại khác như tương tác vật lý (va chạm, đổ vỡ) hoặc các loại chuyển động máy quay phức tạp hơn để tăng độ bao phủ của bộ đánh giá.
  2. Tự động hóa pipeline sinh: Cải tiến pipeline đa tác tử để giảm sự phụ thuộc vào kiểm soát chất lượng thủ công của con người, ví dụ bằng cách sử dụng các mô hình phản biện tự động.
  3. Đánh giá các mô hình thế giới: Sử dụng VGenST-Bench để đánh giá khả năng suy luận không gian-thời gian của các mô hình thế giới (World Models) và so sánh với các MLLM hiện tại.

2. Patent:​

  1. Phương pháp kiểm tra khả năng suy luận không gian của trợ lý ảo trên điện thoại: Hệ thống tạo ra các video mô phỏng các tình huống như vật thể di chuyển hoặc thay đổi góc nhìn, sau đó đặt câu hỏi trắc nghiệm để đánh giá xem trợ lý ảo có hiểu đúng mối quan hệ không gian-thời gian hay không.
  2. Ứng dụng tạo nội dung thực tế ảo tăng cường (AR) cho điện thoại: Sử dụng pipeline sinh video để tạo ra các bài học hoặc trò chơi tương tác, nơi người dùng phải suy luận về vị trí và chuyển động của các vật thể ảo trong môi trường thực tế, giúp cải thiện kỹ năng không gian.
  3. Công cụ hỗ trợ chỉnh sửa video trên điện thoại thông minh: Hệ thống phân tích video người dùng quay, tạo ra các câu hỏi về nội dung không gian-thời gian (ví dụ: 'Vật thể nào xuất hiện đầu tiên?') để gợi ý các thao tác chỉnh sửa thông minh như cắt ghép hoặc thêm hiệu ứng phù hợp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.22570
ArXiv Abstracthttps://arxiv.org/abs/2605.22570
PDF Downloadhttps://arxiv.org/pdf/2605.22570.pdf
Github Repositoryhttps://github.com/zinosii/VGenST-Bench

11. RankE: End-to-End Post-Training for Discrete Text-to-Image Generation with Decoder Co-Evolution (14 votes)​

Tác giả: Siyong Jian, Siyuan Li, Luyuan Zhang, Zedong Wang, Xin Jin, Ying Li, Cheng Tan, Huan Wang

Xuất bản lúc: 2026-05-20

Tag: VQ Tokenizer, Autoregressive Models, Text-to-Image Generation, Reinforcement Learning, Latent Covariate Shift, GRPO

I. Main Problem:​

Trong các mô hình sinh ảnh từ văn bản (T2I) dạng rời rạc (discrete autoregressive - AR), quy trình hậu huấn luyện (post-training) hiện tại chỉ tối ưu hóa bộ sinh (AR policy) trong khi giữ nguyên bộ giải mã (VQ decoder). Điều này gây ra hiện tượng Latent Covariate Shift: khi bộ sinh tiến hóa dưới áp lực của phần thưởng (reward), phân phối token đầu ra của nó ngày càng khác xa phân phối thực tế (ground-truth) mà bộ giải mã đã được huấn luyện. Kết quả là điểm thưởng (reward score) tăng nhưng chất lượng ảnh giải mã (FID) lại giảm, tạo ra sự đánh đổi giữa độ trung thực (fidelity) và độ căn chỉnh (alignment).

II. Main Idea:​

Bài báo đề xuất RankE, một khung hậu huấn luyện từ đầu đến cuối (end-to-end) đầu tiên cho các mô hình T2I dạng rời rạc, cho phép đồng tiến hóa (co-evolve) cả bộ sinh (AR policy) và bộ giải mã (VQ decoder) thông qua tối ưu hóa xen kẽ (alternating optimization). Cụ thể, RankE sử dụng hai cơ chế xếp hạng (ranking-based) ở hai mức độ khác nhau: (1) ở mức token, bộ sinh được cập nhật bằng Group Relative Policy Optimization (GRPO) dựa trên lợi thế xếp hạng trong nhóm; (2) ở mức pixel, bộ giải mã được cập nhật bằng Rank-GAN, một hàm mất mát đối kháng có trọng số dựa trên phần thưởng, cùng với các kỹ thuật chính quy hóa (regularization) như tái tạo trên mã thực tế (L_recon) và ổn định EMA (L_consist) để giữ cho bộ giải mã không bị trôi khỏi không gian ảnh gốc. Quá trình này được xem như một thủ tục Generalized EM, cho phép tín hiệu phần thưởng lan truyền qua ranh giới rời rạc giữa token và pixel.

III. Main Results:​

RankE vượt trội so với các phương pháp baseline (chỉ tối ưu policy) trên hai backbone (LlamaGen-XL 775M và Janus-Pro 1B) và hai hàm thưởng (CLIP, HPSv2). Kết quả chính trên MS-COCO 30K với LlamaGen-XL (CLIP reward):

  • FID: 15.21 (cải thiện so với 17.76 của Standard RL, vốn làm giảm chất lượng).
  • CLIP Score: 33.76 (tăng so với 32.45 của Standard RL).
  • GenEval (zero-shot): 0.425 (tăng so với 0.417 của Standard RL). RankE phá vỡ sự đánh đổi fidelity-alignment: cải thiện đồng thời cả hai chỉ số, trong khi Standard RL chỉ cải thiện alignment (CLIP tăng) nhưng làm fidelity (FID) giảm. Kết quả tương tự cũng được quan sát với HPSv2 reward và trên backbone Janus-Pro.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng Latent Covariate Shift là một nút thắt cổ chai (bottleneck) cơ bản trong hậu huấn luyện mô hình T2I AR rời rạc. RankE, với cơ chế đồng tiến hóa, là giải pháp đầu tiên giải quyết vấn đề này, cho phép cải thiện đồng thời độ trung thực và độ căn chỉnh. Các hướng phát triển trong tương lai bao gồm: (1) tối ưu bộ nhớ và lịch trình cập nhật (adaptive scheduling); (2) giảm sự nhạy cảm với sự căn chỉnh của tập dữ liệu SFT; (3) mở rộng đồng tiến hóa cho bộ mã hóa (encoder), huấn luyện từ đầu (pre-training), tích hợp phản hồi của con người (online human feedback), và kết hợp đa mục tiêu (multi-objective reward composition).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung đồng tiến hóa (co-evolution) cho các mô hình dạng flow matching hoặc diffusion kết hợp với bộ mã hóa rời rạc (VQ-VAE) để xử lý bài toán Latent Covariate Shift trong các kiến trúc khác.

  2. Áp dụng RankE cho các tác vụ sinh đa phương thức khác như text-to-video hoặc text-to-3D, nơi mà sự thay đổi phân phối latent có thể gây ra các vấn đề tương tự về chất lượng giải mã.

  3. Nghiên cứu các phương pháp thay thế cho Rank-GAN (ví dụ: sử dụng diffusion model làm bộ giải mã) để cung cấp tín hiệu pixel ổn định hơn và giảm sự phụ thuộc vào adversarial training.

2. Patent:​

  1. Phương pháp cải thiện chất lượng ảnh trên điện thoại thông minh dựa trên mô tả văn bản: Một hệ thống trên thiết bị di động sử dụng mô hình sinh ảnh kết hợp với cơ chế đồng tiến hóa (co-evolution) giữa bộ sinh và bộ giải mã. Khi người dùng nhập một câu mô tả, hệ thống sẽ liên tục tối ưu hóa cả hai thành phần này dựa trên phản hồi ngầm (ví dụ: thời gian nhìn, lưu ảnh) để tạo ra những bức ảnh vừa bám sát mô tả, vừa có chất lượng cao, khắc phục tình trạng ảnh bị mờ hoặc biến dạng thường thấy ở các ứng dụng hiện tại.

  2. Ứng dụng chỉnh sửa ảnh thông minh trên thiết bị di động: Một ứng dụng cho phép người dùng chọn một vùng ảnh và mô tả thay đổi mong muốn (ví dụ: 'thay quả táo xanh thành quả cam'). Ứng dụng sử dụng mô hình AR với cơ chế đồng tiến hóa để đảm bảo vùng chỉnh sửa mới hòa quyện một cách tự nhiên với phần còn lại của bức ảnh, tránh hiện tượng lộ rõ ranh giới hoặc giảm chất lượng vùng chỉnh sửa.

  3. Hệ thống tạo hình đại diện (avatar) cá nhân hóa trên điện thoại: Một hệ thống cho phép người dùng tạo hình đại diện 3D/2D từ ảnh selfie và mô tả văn bản (ví dụ: 'phong cách hoạt hình, mặc áo đỏ'). Hệ thống sử dụng kỹ thuật đồng tiến hóa để điều chỉnh bộ giải mã sao cho phù hợp với các đặc điểm khuôn mặt và phong cách mong muốn, đảm bảo hình đại diện vừa giống người thật, vừa có chất lượng đồ họa cao, ngay cả khi chạy trên phần cứng di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.21195
ArXiv Abstracthttps://arxiv.org/abs/2605.21195
PDF Downloadhttps://arxiv.org/pdf/2605.21195.pdf
Github Repositoryhttps://github.com/syjmelody/RankE

12. ETCHR: Editing To Clarify and Harness Reasoning (10 votes)​

Tác giả: Beichen Zhang, Yuhong Liu, Jinsong Li, Yuhang Zang, Jiaqi Wang, Dahua Lin

Xuất bản lúc: 2026-05-22

Tag: MLLM, Image Editing, Visual Reasoning, Chain-of-Thought, Reinforcement Learning, Diffusion Transformer, GRPO

I. Main Problem:​

Các mô hình ngôn ngữ lớn đa phương thức (MLLM) hiện tại gặp khó khăn trong các bài toán suy luận trực quan yêu cầu tập trung vào chi tiết nhỏ hoặc thay đổi góc nhìn, do chuỗi suy nghĩ chỉ dựa trên văn bản. Hướng tiếp cận 'suy nghĩ bằng hình ảnh' có thể khắc phục, nhưng các phương pháp hiện có bị hạn chế: (1) phương pháp dựa trên công cụ (tool-based) chỉ hỗ trợ các thao tác mức thấp, cố định; (2) phương pháp mô hình hợp nhất (unified model) tạo ra ảnh trung gian nhiễu do phải cân bằng giữa hiểu và sinh. Cả hai đều thiếu khả năng xác minh chất lượng ảnh chỉnh sửa trước khi dùng cho suy luận.

II. Main Idea:​

ETCHR đề xuất một kiến trúc mới với một mô hình chỉnh sửa ảnh chuyên biệt (dựa trên FLUX.2-klein-base-9B) hoạt động như một module suy luận độc lập, tách rời khỏi mô hình hiểu. Mô hình này được huấn luyện qua hai giai đoạn: (1) Reasoning Imitation SFT: học cách suy luận ra phép biến đổi ảnh hữu ích từ câu hỏi trừu tượng; (2) Reasoning Enhancement RL: tối ưu bằng RL với hai phần thưởng bổ sung cho nhau (độ chính xác của ảnh chỉnh sửa và độ chính xác của suy luận đầu ra). Khi suy luận, ETCHR sử dụng quy trình Edit-Verify-Reason: mô hình chỉnh sửa tạo ảnh, mô hình hiểu xác minh tính đúng đắn, và chỉ sử dụng ảnh đã chỉnh sửa nếu xác minh thành công.

III. Main Results:​

ETCHR cải thiện đáng kể độ chính xác Pass@1 trên 9 benchmark thuộc 5 nhóm tác vụ (nhận thức chi tiết, biểu đồ, suy luận logic, puzzle, 3D): với Qwen3-VL-8B từ 55.95 lên 60.77 (+4.82), với Gemini-3.1-Flash-Lite từ 65.08 lên 70.55 (+5.47), và với Kimi K2.5 (1T tham số) từ 76.55 lên 81.16 (+4.61). Các thí nghiệm ablation xác nhận cả hai giai đoạn huấn luyện, hai tín hiệu phần thưởng, và cơ chế xác minh đều đóng góp quan trọng.

IV. Conclusion & Future Works:​

ETCHR chứng minh hiệu quả của việc sử dụng mô hình chỉnh sửa ảnh chuyên biệt, được huấn luyện có suy luận, kết hợp với cơ chế xác minh, cho phép 'suy nghĩ bằng hình ảnh' một cách linh hoạt và hiệu quả. Hướng phát triển trong tương lai bao gồm: (1) cải thiện độ đa dạng mẫu của GRPO cho các tác vụ chỉnh sửa cấu trúc (như jigsaw); (2) khắc phục giới hạn về năng lực của mô hình hiểu đầu cuối; (3) giảm chi phí thời gian của việc sinh ảnh so với suy luận văn bản.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cải tiến cơ chế lấy mẫu trong GRPO để tăng tính đa dạng cho các tác vụ chỉnh sửa cấu trúc như ghép tranh (jigsaw) hoặc biến đổi góc nhìn 3D, giúp quá trình RL hiệu quả hơn.
  2. Phát triển phương pháp huấn luyện mô hình chỉnh sửa ảnh đa tác vụ (multi-task) với khả năng chuyển đổi linh hoạt giữa các dạng biến đổi khác nhau (từ chú thích cục bộ đến biến đổi toàn cục) mà không cần meta-prompt.
  3. Xây dựng một benchmark mới để đánh giá toàn diện khả năng 'suy nghĩ bằng hình ảnh' của MLLM, bao gồm cả chất lượng ảnh chỉnh sửa và tác động đến suy luận đầu ra.

2. Patent:​

  1. Phương pháp hỗ trợ tra cứu thông tin trên điện thoại thông minh bằng cách tự động phóng to và làm nổi bật đối tượng trong ảnh chụp. Khi người dùng chụp ảnh một thực đơn nhà hàng và hỏi 'Món nào có giá dưới 100 nghìn?', hệ thống sẽ tự động xác định các món ăn phù hợp, vẽ khung và phóng to chúng trên màn hình, giúp người dùng dễ dàng tìm thấy thông tin.
  2. Hệ thống hỗ trợ học tập trên điện thoại thông minh bằng cách tự động tạo và chú thích sơ đồ tư duy từ ảnh chụp sách giáo khoa. Ví dụ, khi học sinh chụp ảnh một trang sách về quang hợp và hỏi 'Quá trình này diễn ra như thế nào?', hệ thống sẽ tự động vẽ các mũi tên, chú thích các bước và khoanh vùng các khái niệm chính trên ảnh gốc để minh họa quy trình.
  3. Phương pháp hỗ trợ mua sắm trực tuyến trên thiết bị di động bằng cách tự động so sánh và đánh dấu sự khác biệt giữa các sản phẩm trong ảnh. Khi người dùng chụp hai đôi giày thể thao và hỏi 'Đôi nào có đế dày hơn?', hệ thống sẽ tự động vẽ các đường kẻ, chú thích kích thước và làm nổi bật phần đế của từng đôi để người dùng dễ dàng so sánh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.23897
ArXiv Abstracthttps://arxiv.org/abs/2605.23897
PDF Downloadhttps://arxiv.org/pdf/2605.23897.pdf
Github Repositoryhttps://github.com/InternLM/ETCHR