Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-09-21

Báo cáo được tạo tự động vào lúc 2026-09-22 10:14:33 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. CodeMidas: Scaling Agentic Coding RL Environments from Code Itself (95 votes)​

Tác giả: Bowen Ye, Lei Li, Shicheng Li, Zihao Yue, Linghao Zhang, et al.

Xuất bản lúc: 2026-09-18

Tag: Reinforcement Learning, Coding Agents, LLMs, Software Engineering, GRPO, RL Environments, Test Generation

I. Main Problem:​

Huấn luyện coding agents bằng RL cần nhiều tác vụ đa dạng kèm verifier đáng tin cậy, nhưng các pipeline hiện tại phụ thuộc vào artifacts phát triển như issue, pull request, commit, test có sẵn hoặc documentation. Điều này giới hạn:

  • Phạm vi tác vụ chỉ nằm trong vùng được ghi lại của lịch sử phát triển
  • Hầu hết chỉ hỗ trợ 1 ngôn ngữ lập trình (Python), khó mở rộng
  • Nguồn code mở khổng lồ với chức năng đã cài đặt sẵn bị bỏ phí — dù chính chúng vừa là gốc tác vụ, vừa là lời giải tham chiếu, vừa cung cấp bằng chứng thực thi cho test.

II. Main Idea:​

CodeMidas là pipeline agentic biến chức năng đã cài đặt trong codebase thành môi trường RL thực thi được, chỉ dùng source code làm đầu vào duy nhất (không cần issue/PR/commit/test/mô tả). Quy trình 4 giai đoạn, mỗi giai đoạn đều do agent đảm nhiệm:

  • Task Design & Codebase Adaptation: agent khám phá cấu trúc project, xác định chức năng có public interface, xóa phần lõi để tạo điểm khởi đầu, viết behavioral specification; bản gốc giữ lại làm reference solution
  • Test Construction dựa trên thực thi: agent chạy code gốc qua các entry point (CLI, hàm thuần, API stateful), ghi lại output làm expected value; rồi rà soát để loại assertion quá chặt (không khóa wording, thứ tự nội bộ)
  • Execution Consistency: chạy 6 container — codebase khởi đầu phải fail 2/2, reference phải pass 4/4
  • Post-rollout Filtering: adversarial rollouts tìm rò rỉ lời giải (file compiled, cache, file thừa), reviewing agent kiểm tra verifier có false positive/negative, và chỉ giữ tác vụ có cả lần pass lẫn fail

Ví dụ đời thường: giống thầy giáo chấm bài tự động — thay vì chỉ ra đề từ nhật ký sửa bài cũ của học sinh, thầy tự đối chiếu câu trả lời mẫu đúng, xóa đi yêu cầu học sinh làm lại, rồi kiểm tra đáp án bằng cách chạy thử nhiều lần và loại đề nào bị lộ đáp án.

III. Main Results:​

  • Dataset: 5,545 tác vụ từ 3,185 codebase, 23 ngôn ngữ (Python 21.4%, TypeScript 18.3%, Go 16.2%) và 15 lĩnh vực; median reference patch 142 dòng, 65.9% tác vụ chạm ≥2 file.
  • Huấn luyện MiMo-V2.5 bằng GRPO, cải thiện cả 5 benchmark ngoài:
    • DeepSWE: 10.0% → 21.7% (+11.7pp)
    • ProgramBench (Almost Solved): 4.5 → 21.5 (+17.0)
    • Terminal-Bench v2.1: 63.7% → 72.2% (+8.5pp)
    • SWE-bench Pro: +4.1pp; RepoZero C2Rust: +11.3pp
  • Quy mô + chất lượng đều quan trọng: 1k→3k→5.5k task tăng điểm từng bậc; pool 5k chất lượng cao thắng cả bộ 8k không lọc (DeepSWE +4.6pp, CodeMidas Val +4.5pp).
  • Hành vi agent tiến bộ: exploration tăng 27.2→40.1 lệnh đọc/tìm trước khi sửa code; drafting ratio 0.36→0.63; self-verification đa dạng hơn 2.03→2.53 lệnh; rollout có kiểm thử tự viết pass cao hơn +4.2pp. Các thay đổi này khái quát hóa sang SWE-bench Pro, ProgramBench, Terminal-Bench.

IV. Conclusion & Future Works:​

Source code thuần túy là nguồn có thể mở rộng vô hạn để xây môi trường RL cho coding agents — không cần lịch sử phát triển hay tài liệu, vẫn tạo được verifier đáng tin cậy thông qua kiểm tra thực thi + lọc sau rollout. Kết quả cho thấy task chất lượng cao đáng giá hơn task số lượng lớn, và RL trên dữ liệu này rèn được hành vi tốt (khám phá codebase, tự kiểm chứng) lan sang cả tác vụ ngoài phân phối huấn luyện. Hướng mở: mở rộng sang thêm ngôn ngữ/domain, cải tiến chiến lược lọc verifier, và kết hợp reward dựa trên quy trình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CodeMidas sang môi trường đa file quy mô lớn hơn: khai thác quan hệ phụ thuộc liên module để tạo tác vụ refactor và thêm tính năng xuyên suốt repository, vượt ra ngoài xóa một chức năng đơn lẻ.
  2. Nghiên cứu curriculum learning trên task tự sinh từ source code: sắp xếp độ khó dựa trên pass rate rollout và kích thước reference patch để tăng tốc hội tụ GRPO.
  3. Kết hợp self-verification của agent vào reward: thưởng thêm khi agent tự viết và chạy test kiểm chứng, để củng cố đúng hành vi đã được quan sát tương quan với tỉ lệ pass cao hơn.

2. Patent:​

  1. Hệ thống tạo bài tập lập trình tự động trên điện thoại cho các app học code: chọn thư viện mã nguồn mở, xóa một chức năng, chạy bản gốc để ghi kết quả mong đợi, rồi giao cho người học cài đặt lại và chấm tự động bằng cách so sánh hành vi thực thi.
  2. Nền tảng đánh giá kỹ năng lập trình viên khi tuyển dụng: tự sinh hàng nghìn bài test repo-level từ codebase thật, có cơ chế kiểm tra rò rỉ lời giải (tìm file cache, artifact biên dịch) để chống gian lận trong bài thi online.
  3. Công cụ bảo trì dự án phần mềm doanh nghiệp: quét codebase nội bộ, tự đóng gói từng chức năng thành kịch bản huấn luyện/tin cậy cho trợ lý code AI nội bộ, đảm bảo bộ kiểm thử đồng nhất với hành vi thực của hệ thống trước khi đưa vào RL.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.22068
ArXiv Abstracthttps://arxiv.org/abs/2609.22068
PDF Downloadhttps://arxiv.org/pdf/2609.22068.pdf
Github RepositoryN/A

2. Grounded Skill Synthesis from Code at Scale for Agentic Intelligence (87 votes)​

Tác giả: Yongqi Tong, Pan Wang, Hang Wang, Jianshe Li, Xin Zhang, et al.

Xuất bản lúc: 2026-09-04

Tag: Agentic AI, Skill Synthesis, Code Mining, Procedural Knowledge, Reinforcement Learning, LLM Agents, Retrieval Augmented Generation

I. Main Problem:​

Các agent AI cần skill (kỹ năng thủ tục) có thể tái sử dụng để giải bài toán đa bước, dài hạn, nhưng các phương pháp tổng hợp skill hiện có có hai hạn chế:

  • Trajectory-based: tổng hợp từ lịch sử chạy của agent → skill bị gắn chặt với môi trường, model, công cụ tạo ra nó; chất lượng bị giới hạn bởi kinh nghiệm của chính agent.
  • Document-based: tổng hợp từ tài liệu tĩnh → thiếu bằng chứng thực thi nên khó kiểm chứng skill đúng hay sai.

Thách thức cốt lõi: trừu tượng hóa thủ tục từ code thật (vốn lẫn lộn glue code, identifier theo dự án, trường hợp biên) mà vẫn giữ đủ bằng chứng triển khai để grounded và verify.

II. Main Idea:​

Code2Skill — pipeline hoàn toàn tự động nâng code thành skill từ 19,769 repo GitHub phổ biến, được duy trì tích cực. Quy trình 4 giai đoạn:

  • Chọn đơn vị nguồn: parse functions/methods/CLI entry points, dùng LLM tagger chấm điểm tiềm năng tái sử dụng theo công thức ranking (độ giàu thủ tục trừ độ nhiễu project-local).
  • Sinh skill record theo 3 mức độ: atomic skills (một phép toán đơn), composite skills (workflow nhiều bước có thứ tự), recurring-pattern skills (mẫu cấp cao). Mỗi record gồm: khi nào dùng, các bước, invariant, xử lý lỗi, anti-goals, nguồn code gốc.
  • Verify bằng reconstruction mù nội dung nguồn: một LLM dựng lại code chỉ từ skill record (không nhìn code gốc); judge source-aware so sánh bản dựng lại với code gốc — khớp thì chấp nhận, lệch thì đưa adjudicator phân biệt record sai hay reconstruction sai.
  • Feature tagging + purpose indexing để truy xuất hiệu quả.

Kết quả là CodeSkillBank: 1.006.822 skill record đã được kiểm chứng, kèm provenance tới từng dòng code.

Ví dụ đời thường: giống như học nấu ăn không bằng cách nhìn người khác nấu (trajectory) hay đọc mô tả món ăn (document), mà bằng cách nhìn công thức + video thực tế, rồi tự viết lại công thức và nấu thử một món y hệt — nấu được món giống bản gốc thì công thức mới được cất vào sổ tay.

III. Main Results:​

  • Cải thiện 57/72 protocol-matched evaluations trên 9 cấu hình model và 8 benchmark (SWE-bench Verified, BigCodeBench, TerminalBench, LongCLI-Bench, AgentBench-OS, AIME, HMMT, GPQA); điểm macro trung bình tăng từ 42.90 lên 47.90 (+11.7% tương đối). Cả 9 cặp trên SWE-bench Verified đều tăng.
  • Vượt mọi skill bank từ trajectory (Trace2Skill, ExpeL, SkillRL-Bank) trên cả 7 benchmark dùng chung interface: trung bình 49.5 vs 31.0/27.9/32.8, hơn baseline mạnh nhất từng benchmark 6.6–13.3 điểm. Cả oracle chọn tốt nhất theo benchmark cũng chỉ đạt 40.1.
  • Vị trí đưa skill vào workflow quan trọng: planning-time cải thiện cả 8 evaluation; post-generation review (review bản nháp) ổn định nhất; generation-time phụ thuộc model.
  • Bản tóm tắt compact giữ nguyên hiệu quả: cắt 88.9% context skill (6,352 → 707 ký tự) mà hiệu suất không giảm — retrieval sâu (k=10) gần như không thêm lợi ích.
  • Trong RL (SWE-World): mọi interface đều thắng no-skill (24% → 31–38%); post-generation review mạnh nhất (+14 điểm resolve rate).
  • Skill từ code do AI tạo (qua test) đạt pass rate 93.50%, ngang code do người viết (93.00%) — pipeline có thể tự mở rộng khi code AI ngày càng phổ biến.

IV. Conclusion & Future Works:​

Code2Skill thiết lập code nguồn như nền tảng có thể mở rộng, có thể audit để xây dựng kho skill: biến chuyên môn ẩn trong hàng triệu repo GitHub thành tri thức thủ tục grounded, verifiable, transferable mà agent dùng được trước khi tự tích lũy kinh nghiệm. Đây là chiều scaling mới bổ sung cho tham số model và inference-time compute. Hướng đi tự nhiên: mở rộng liên tục CodeSkillBank từ nguồn code người và AI mới, tích hợp sâu hơn vào training/RL, và cải thiện cơ chế truy xuất chọn lọc.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng reconstruction-based verification với test tự động/property-based testing khi repo có sẵn specification, nâng độ tin cậy grounding của skill bank lên mức behavioral evidence.
  2. Nghiên cứu chính sách cập nhật và versioning skill bank khi repo nguồn evolve: refresh có chọn lọc theo provenance thay vì tổng hợp lại toàn bộ.
  3. Kết hợp skill từ code với skill từ trajectory trong một hybrid bank để tận dụng cả tri thức thủ tục sẵn có lẫn kinh nghiệm tương tác cụ thể của agent.

2. Patent:​

  1. Trợ lý lập trình trên điện thoại: hệ thống tự đào các hàm/hàm con phổ biến từ thư viện mã nguồn mở, biến thành thẻ hướng dẫn từng bước (khi nào dùng, bẫy lỗi, giới hạn) kèm link code gốc; khi người dùng hỏi, ứng dụng truy xuất thẻ liên quan để gợi ý và tự kiểm tra lỗi trong code vừa tạo.
  2. Hệ thống kiểm chứng kỹ năng tự động cho doanh nghiệp: chuyển code nội bộ đã qua kiểm thử thành thư viện thủ tục tái sử dụng; mỗi kỹ năng được xác thực bằng cách cho mô hình viết lại code từ mô tả rồi so với bản gốc trước khi đưa vào kho dùng chung cho các chatbot/agent nội bộ.
  3. Marketplace kỹ năng cho trợ lý AI: nền tảng thu thập, xếp hạng mức độ dùng lại được của các đoạn code công khai, tổng hợp thành kỹ năng có nguồn gốc rõ ràng, người dùng điện thoại có thể tải về để trợ lý AI của mình thực hiện các tác vụ như xử lý file, tự động hóa thao tác hệ thống, hoặc kiểm tra lỗi mã nguồn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.05571
ArXiv Abstracthttps://arxiv.org/abs/2609.05571
PDF Downloadhttps://arxiv.org/pdf/2609.05571.pdf
Github Repositoryhttps://github.com/ant-intl/Code2Skill

3. EvoOntology: A Self-Evolving Ontology Layer for Data Agents (84 votes)​

Tác giả: Meiduo Chong, Shaolei Zhang, Ju Fan, Xiaoyong Du

Xuất bản lúc: 2026-09-14

Tag: Data Agents, Ontology, LLM Agents, MCP, Tool Use, Text-to-SQL, Self-Evolution, Semantic Layer

I. Main Problem:​

Data agents (LLM agents làm việc với dữ liệu dạng bảng, file, database) gặp agent–data gap: dữ liệu nằm ngoài agent, mà agent chỉ tiếp cận được qua generic tools như SQL interface hay file reader, không biết trước cấu trúc hay ngữ nghĩa của dữ liệu. Hậu quả:

  • Agent phải dò dữ liệu mò mẫm bằng các probe query lặp đi lặp lại, tốn kém và kém hiệu quả trên dữ liệu lớn, đa dạng.
  • Semantic layer truyền thống (metadata nhồi vào prompt) bị giới hạn context length, xây dựng thủ công, tĩnh, và không thích ứng với data source mới, task mới hay hành vi agent mới.

II. Main Idea:​

EvoOntology đóng gói ontology thành một MCP server gồm ba lớp để agent chủ động truy vấn ngữ nghĩa lúc runtime thay vì bị động nhận metadata trong prompt:

  • Content Layer: đồ thị ngữ nghĩa có kiểu với các node Terms (khái niệm), Mappings (gắn khái niệm vào cột/đường join), Constraints (quy tắc dùng hợp lệ), Evidence (bằng chứng từ dữ liệu thật).
  • Schema Layer: định nghĩa object model và các loại quan hệ.
  • Tool Layer: hai tool MCP là browse (tìm term liên quan) và resolve (lấy mapping, constraint, evidence); chỉ một manifest nhỏ đặt trong prompt.

Quy trình hoạt động:

  • Builder agent tự xây ontology ban đầu: rút khái niệm từ workload, gửi probe query kiểm chứng từng khái niệm có thật trong dữ liệu rồi mới commit (evidence-grounded).
  • Self-evolution loop: phân tích lịch sử trajectory của agent → attribution xác định lỗi thuộc Content/Tool/Schema → đề xuất typed edit chỉ một lớp → chấp nhận chỉ khi qua paired evaluation (so điểm candidate vs parent trên validation set với cùng backbone, vượt ngưỡng τ mới giữ).

Ví dụ đời thường: giống nhân viên mới không được đưa cả cuốn sổ tay công ty, mà được cấp một quầy thông tin có thể hỏi riêng từng phần; đồng thời quầy thông tin tự sửa quy trình trả lời sau mỗi lần khách hỏi sai — chỉ đổi cách trả lời nào khi chứng minh được khách hài lòng hơn.

III. Main Results:​

  • DDR-Bench: Trajectory-Wise tăng trung bình +17.8 điểm trên 6 backbone (tối đa +26.7 trên GPT-5.5); memory-based baseline chỉ +6.3 và thua EvoOntology 13.7 điểm.
  • InsightBench: cải thiện trên mọi backbone, tối đa +6.1 (DeepSeek-V4-Flash).
  • BIRD (text-to-SQL): EX tăng trung bình +7.4, VES +8.6 trên mọi backbone; baseline nhồi semantic layer tĩnh thậm chí làm EX giảm tới −5.6.
  • Ablation vòng lặp tiến hóa: bỏ gate gây sụt lớn nhất (−11.2), tiếp theo là attribution (−6.3); ba lớp Content/Tool/Schema bổ sung cho nhau (full loop +20.0 so với từng lớp riêng lẻ).
  • Ablation cấu trúc: Mappings (−13.4) và Evidence (−8.7) là hai thành phần quan trọng nhất.
  • Chi phí: mặc dù token đầu vào mỗi lượt tăng nhẹ, tổng token/task giảm ~20% (52.6K → 42.0K) vì số turn mỗi task giảm từ 14.6 xuống 8.4.
  • Ontology tiến hóa là đặc thù từng backbone (Jaccard overlap tối đa 0.62); store của backbone khác dùng chung sụt ít nhất 6.6 điểm.

IV. Conclusion & Future Works:​

EvoOntology chứng minh rằng lớp ontology tương tác, tự xây dựng và tự tiến hóa — chứ không phải metadata tĩnh nhồi vào prompt — là cách hiệu quả để bắc cầu agent–data gap. Điểm mấu chốt: ontology được truy vấn có chọn lọc qua MCP tools và được tinh chỉnh bằng edits có kiểu, có attribution, qua cổng paired evaluation. Kết quả vượt trội và nhất quán trên cả ba benchmark và sáu LLM backbone.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Ứng dụng self-evolving ontology layer cho multi-agent collaboration: nhiều agent chia sẻ một ontology chung, vòng lặp tiến hóa tổng hợp attribution từ trajectory của tất cả agent thay vì từng backbone riêng lẻ.
  2. Nghiên cứu chiến lược thăm dò (probing) tối ưu của builder agent khi dữ liệu nguồn rất lớn hoặc truy cập bị giới hạn ngân sách query.
  3. Kết hợp ontology layer tự tiến hóa với episodic memory để agent vừa tái sử dụng grounding ngữ nghĩa có cấu trúc vừa học từ các tác vụ tương tự đã làm trước đó.

2. Patent:​

  1. Trợ lý phân tích dữ liệu trên điện thoại cho doanh nghiệp nhỏ: ứng dụng tự quét các file Excel, CSV, database của công ty, xây một 'bản đồ khái niệm' (doanh thu, chi phí, kênh bán) có gắn bằng chứng từ dữ liệu thật; người dùng hỏi bằng giọng nói thì trợ lý tra cứu đúng phần cần thiết thay vì đọc toàn bộ file.
  2. Hệ thống tự học thuật ngữ nội bộ trong công ty: mỗi lần nhân viên hỏi chatbot dữ liệu và nhận câu trả lời sai, hệ thống tự ghi nhận lỗi, đoán xem thiếu định nghĩa khái niệm hay thiếu công cụ (ví dụ đổi tiền tệ), chỉ áp dụng sửa đổi khi kiểm thử chứng minh câu trả lời tốt hơn trên bộ câu hỏi mẫu.
  3. Plugin tự động nối nhiều nguồn dữ liệu (cơ sở dữ liệu bán hàng + file kế toán + tài liệu hợp đồng) cho ứng dụng báo cáo trên điện thoại: tự dò cấu trúc từng nguồn, xây bản đồ nối các trường dữ liệu tương đương, và tự cập nhật bản đồ mỗi khi nguồn dữ liệu thay đổi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.15779
ArXiv Abstracthttps://arxiv.org/abs/2609.15779
PDF Downloadhttps://arxiv.org/pdf/2609.15779.pdf
Github Repositoryhttps://github.com/ruc-datalab/EvoOntology

4. RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents (60 votes)​

Tác giả: Shuai Bai, Jiayong Deng, Yikun Fu, Chang Gao, Xuhao Hu, et al.

Xuất bản lúc: 2026-09-18

Tag: Computer-Use Agents, GUI Agents, Hybrid Agents, Benchmark, Agent Training, Reinforcement Learning from Verification, Long-Horizon Tasks

I. Main Problem:​

Các agent sử dụng máy tính (CUA) phát triển theo hai hướng tách biệt: agent GUI thao tác ứng dụng qua giao diện đồ họa nhưng không xây được phần mềm phía sau; agent terminal viết code, chạy shell nhưng không nhìn thấy giao diện mà chính mình tạo ra. Trong khi đó công việc số thực tế đòi hỏi cả hai kỹ năng xen kẽ — quan sát hệ thống rồi chỉnh sửa phần mềm, rồi chạy lại để kiểm chứng.

Hệ quả:

  • Các benchmark hiện tại chỉ đo một chế độ tương tác, bỏ qua khả năng điều phối vòng lặp lai (khám phá giao diện ↔ cài đặt ↔ chạy thử ↔ tự kiểm tra) trên chuỗi hành động dài hạn.
  • Thiếu môi trường vừa đánh giá khách quan vừa sinh dữ liệu huấn luyện đã kiểm chứng ở quy mô lớn.

II. Main Idea:​

RECREATIONWORLD — khung nhiệm vụ tái hiện ứng dụng trên 5 nền tảng (Ubuntu, macOS, Windows, Android, Web). Agent nhận một ứng dụng tham chiếu đang chạy, phải tự khám phá hành vi của nó qua GUI và viết lại một bản sao chạy được, không có quy trình làm việc được chỉ định trước.

Vì sao recreation là chất nền lý tưởng:

  • Lai tất yếu: không thể chỉ click (deliverable là source code phải build được) và không thể chỉ code (spec chỉ lộ ra khi thao tác ứng dụng tham chiếu) → buộc agent tự quyết định khi nào khám phá, khi nào cài đặt, khi nào chạy và nhìn lại kết quả render.
  • Kiểm chứng được theo thiết kế: ứng dụng tham chiếu đóng vai oracle — sinh test ẩn (assertions programmatic qua AT-SPI/AX/UIAutomation/UiAutomator/DOM và visual qua ảnh chụp + VLM judge), validate trên tham chiếu, duyệt bởi người rồi đóng băng suite → chấm điểm tự động, không phụ thuộc người chấm.
  • Mở rộng được: kho ứng dụng open-source liên tục là nguồn bài mới; hạ tầng máy ảo cô lập cho rollout dài tới 20 giờ, giữ trạng thái GUI xuyên suốt vòng lặp.

Ví dụ đời thường: giống người thợ nhận một chiếc đồng hồ đang chạy, phải bấm thử từng nút để đoán cơ chế bên trong, rồi tự chế lại một cỗ máy mới chạy y hệt — và so sánh hai cái bằng cách quan sát tận mắt, không được xem bản vẽ gốc.

III. Main Results:​

  • RECREATIONBENCH (250 bài, 50/nền tảng): GPT-6 Astra dẫn đầu với 58.1% tổng điểm (Claude Opus 5: 44.2%), nhưng chỉ pass trọn vẹn suite programmatic trên 2.8% số bài → khoảng cách tới độ trung thực cấp tham chiếu còn rất lớn.
  • Trajectory trung vị 282.5 tool calls, 9.08 lần chuyển đổi GUI↔code-edit trên 100 calls — dài và chuyển pha dày hơn OSWorld 2.0, ProgramBench, WeaveBench.
  • Huấn luyện chuyển giao OOD: 35.000 trajectory recreation được chọn qua rejection sampling cải thiện cả hai khởi tạo mô hình (Qwen3.7-Plus, Qwen-Flash-CPT) trên cả 5 benchmark ngoài phân phối (ProgramBench +2.7pp, GameCraft-Bench +8.6pp, Vision2Web +4.4pp, OSWorld 2.0 +1.0pp, WeaveBench +12.5pp) — tới +17.9pp điểm tương đối.
  • Hành vi thay đổi sau huấn luyện: agent tự đọc ảnh output render nhiều hơn (tỷ lệ tăng từ ~2% lên ~20% sau edit đầu) và tăng cả quan sát lẫn tương tác GUI.
  • Phân tích kết quả: agent tái hiện cấu trúc giao diện tĩnh tốt hơn tương tác và output tính toán; ứng dụng sinh ra nhỏ hơn và ít module hơn nhiều so với tham chiếu.

IV. Conclusion & Future Works:​

Recreation là một nhiệm vụ lai thuần túy, kiểm chứng được và mở rộng được, cho thấy giám sát dạng này chuyển giao ra ngoài môi trường huấn luyện và nuôi hành vi tự kiểm chứng đầu ra — nền tảng hứa hẹn cho cơ chế self-improvement của agent. Kết quả benchmark cho thấy các mô hình frontier hiện mới chỉ tái hiện được bề mặt tĩnh, còn hành vi động và tính toán cuối-cùng thì xa mức trung thực cần thiết.

Hướng mở: mở rộng quy mô ứng dụng tham chiếu lớn hơn (hiện agent sinh app nhỏ và đơn khối hơn đáng kể), cải thiện runtime tương tác có thể lập trình (persistent REPL thay vì từng primitive call), và thu hẹp khoảng cách trên tương tác nhiều bước và output tính toán.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu kiến trúc reward nhiều tầng cho recreation: kết hợp assertions programmatic, visual judge và kiểm thử end-to-end để tạo tín hiệu học tăng cường denser cho agent lai trên chu kỳ khám phá–cài đặt–kiểm chứng.
  2. Phát triển chiến lược self-improvement lặp: dùng chính các trajectory recreation điểm cao làm nền để agent tự sinh thêm bài mới từ kho open-source, tạo vòng lặp tạo dữ liệu–huấn luyện–đánh giá không cần con người.
  3. Mở rộng recreation sang ứng dụng có trạng thái phía server và cần đăng nhập, nơi spec phải khám phá qua nhiều phiên làm việc và kiểm chứng hành vi persistence trở thành thách thức chính.

2. Patent:​

  1. Nền tảng đánh giá tự động ứng dụng trên điện thoại: nhà phát triển gửi ứng dụng chạy làm tham chiếu; hệ thống tự thao tác giao diện, sinh bộ test hành vi ẩn (kiểm tra widget, chuỗi chạm màn hình, ảnh chụp so sánh bằng AI) rồi chấm điểm bất kỳ bản sao nào gửi lên mà không cần người kiểm thủ.
  2. Trợ lý lập trình lai trên máy tính cá nhân: phần mềm chạy nền vừa điều khiển giao diện vừa viết code — tự mở ứng dụng mẫu, ghi chú hành vi, viết lại tính năng, rồi tự chụp màn hình kết quả để so sánh và sửa tiếp cho tới khi giống bản mẫu.
  3. Hệ thống tạo dữ liệu huấn luyện cho mô hình AI từ kho ứng dụng mã nguồn mở: tự động hóa quy trình chọn ứng dụng, ghi lại toàn bộ quá trình một agent khám phá–viết lại–kiểm chứng, lọc các phiên thành công để làm dữ liệu dạy mô hình mới cách dùng máy tính.
  4. Công cụ kiểm thử hồi quy giao diện đa nền tảng: test case viết một lần ở dạng hành vi quan sát được (thao tác → kết quả), chạy lại tự động trên bản dựng mới trên cả desktop lẫn mobile và chấm bằng cả API trợ năng lẫn so sánh hình ảnh bằng mô hình thị giác.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.22000
ArXiv Abstracthttps://arxiv.org/abs/2609.22000
PDF Downloadhttps://arxiv.org/pdf/2609.22000.pdf
Github Repositoryhttps://github.com/QwenLM/RecreationWorld

5. IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts (33 votes)​

Tác giả: Ran Cheng, Longfei Xu, Zheng Liu, Kaikui Liu, Xiangxiang Chu

Xuất bản lúc: 2026-09-18

Tag: Mixture-of-Experts, Hypernetwork, Sparse Routing, Parameter Merging, Transformer, Recommendation Systems

I. Main Problem:​

Các kiến trúc MoE hiện có không thể độc lập điều chỉnh ba đại lượng cho mỗi token:

  • Participation: bao nhiêu chuyên gia đóng góp vào output của token
  • Execution: bao nhiêu chuyên gia thực sự được tính toán (chi phí compute)
  • Materialization: phải xây dựng và lưu bao nhiêu bộ tham số kích cỡ chuyên gia (chi phí bộ nhớ)

Ba chiến lược hiện có đều ràng buộc chặt các đại lượng này:

  • Sparse routing (Switch, DeepSeek-V3): execution thấp nhưng participation bị co hẹp — token chỉ hưởng lợi từ vài chuyên gia được chọn
  • Dense output mixing (MMoE, Soft MoE): participation đầy đủ nhưng phải tính mọi chuyên gia → execution tăng theo số lượng chuyên gia
  • Parameter merging (SMEAR, Lory): chỉ chạy 1 expert nhưng mỗi quyết định routing cần một bản merge riêng → materialization tăng không giới hạn

Câu hỏi trung tâm: làm sao mọi token đều tận dụng được toàn bộ expert pool mà không cần dense execution hay materialization phình to?

II. Main Idea:​

IntBMoE tách biệt hai giai đoạn — xây dựng và thực thi phép biến đổi của chuyên gia — bằng cách ghép dense expert composition với sparse block execution:

  • Block synthesis: một codebook nhỏ gồm K embedding học được (độc lập với input) được đưa qua hypernetwork chia sẻ, sinh ra hệ số kết hợp toàn bộ expert bases của từng layer thành K block L-layer tái sử dụng được
  • Block-level conditioning + DPRG: mỗi block tổng hợp expert bases hai lần thành value path và gate path, ghép lại qua nhân (multiplicative gating) → tạo tính phi tuyến, tăng biểu đạt mà không cần mở rộng expert pool
  • Token routing: router gửi mỗi token tới Top-k block (k nhỏ); mỗi block lọc đặc trưng của token qua block-conditioned feature filter rồi xử lý tuần tự
  • Shared SwiGLU expert luôn hoạt động để giữ thông tin chung

Kết quả: participation full (mọi block hình thành từ toàn bộ pool), execution sparse (chỉ k block/token), materialization bounded (số block cố định bởi codebook). Vì các block độc lập với input, chúng được precompute và cache khi inference — chi phí request-time không tăng theo kích thước pool E.

Ví dụ đời thường: giống nhà hàng dựng sẵn K món combo từ toàn bộ nguyên liệu (participation đầy đủ) — khách chỉ gọi vài combo (execution thấp) — còn bếp chỉ cần chuẩn bị sẵn K combo đó một lần, không phải nấu riêng từng món cho từng khách (materialization có giới hạn).

III. Main Results:​

ImageNet-1K (DeiT-Tiny backbone, ~24M params):

  • 73.76% Top-1 / 91.48% Top-5 — vượt mọi baseline sparse-routing (V-MoE 71.70, Expert Choice 71.70) và dense-participation (SMEAR 71.78), hơn mạnh nhất +1.98 điểm Top-1
  • Inference: 4.063 GFLOPs (chưa cache), 3.457 GFLOPs khi cached; mỗi token chỉ chạy k=2 block

Ablation: bỏ gate path gây sụt lớn nhất (73.76 → 68.04); shared expert và feature filter cho lợi ích ổn định; softmax hóa hệ số hoặc cố định λ đều kém hơn công thức đầy đủ.

Full-pool participation được chứng minh: loại bỏ bất kỳ expert basis nào (64 thiết lập) đều làm giảm độ chính xác — nhỏ nhất cũng -0.26 điểm; expert đầu mạng Layer 0 ảnh hưởng rất mạnh (tới -9.15 điểm).

Triển khai thực tế: IntBMoE đã deploy hoàn toàn trong hệ thống gợi ý generative của AMap (Alibaba), phục vụ hàng trăm triệu người dùng dưới ngưỡng độ trễ 60ms, đạt +2.4% UVCTR tương đối trong A/B test online. Kết quả tổng quát tốt sang language modeling và sequential recommendation.

IV. Conclusion & Future Works:​

IntBMoE giải được tam giác trade-off participation–execution–materialization mà các thiết kế MoE trước không gỡ được, nhờ tách xây dựng phép biến đổi khỏi thực thi: toàn bộ expert pool được kết hợp thành ít block tái sử dụng, token chỉ chọn lọc thực thi. Kết hợp với DPRG và block-conditioned feature filtering, kiến trúc đạt hiệu quả tốt nhất trên cả vision lẫn deploy production quy mô lớn.

Hướng tương lai (suy luận từ thiết kế): giảm chi phí composition hơn nữa bằng factorization của expert bases; khám phá block routing có cấu trúc phân cấp; mở rộng sang autoregressive generation với block cache theo segment; và cân bằng tải giữa các block không cần auxiliary loss.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng block-conditioned expert composition cho mô hình ngôn ngữ quy mô lớn với block routing có cấu trúc phân cấp, kết hợp cache block theo segment để giảm chi phí suy luận dài hạn.
  2. Phân tích lý thuyết giới hạn biểu đạt của hypernetwork sinh hệ số tuyến tính trên expert bases, và đề xuất cơ chế composition phi tuyến sâu hơn thay thế DPRG.
  3. Nghiên cứu khả năng giải thích của block routing: định danh vai trò chuyên môn của từng block (theo class, intent, hoặc scenario người dùng) trong hệ thống gợi ý production.
  4. Áp dụng IntBMoE cho mô hình đa phương thức, với codebook block riêng cho từng modality và router chung học cách phối hợp.

2. Patent:​

  1. Hệ thống gợi ý trên điện thoại: máy chủ dựng sẵn một tập hữu hạn 'khối chuyên gia' bằng cách pha trộn trọng số từ toàn bộ pool chuyên gia; mỗi yêu cầu từ ứng dụng chỉ kích hoạt vài khối phù hợp với người dùng → giảm độ trễ và bộ nhớ máy chủ khi phục vụ hàng trăm triệu người dùng.
  2. Trợ lý gợi ý nội dung trên điện thoại với ngân sách pin: ứng dụng tải trước các khối chuyên gia đã tổng hợp sẵn, bộ định tuyến cục bộ chọn 1-2 khối theo ngữ cảnh hiện tại (giờ, vị trí, lịch sử) thay vì chạy mô hình lớn — tiết kiệm pin mà vẫn tận dụng tri thức toàn mô hình.
  3. Module cá nhân hóa trên điện thoại cho nhiếp ảnh/editing: một bộ lọc đặc trưng điều kiện hóa theo từng khối (phong cách ảnh chân dung, phong cảnh, macro) giúp cùng một ảnh được xử lý qua nhánh chuyên môn đúng nhất, chọn tự động không cần người dùng chế độ.
  4. Kiến trúc mạng thần kinh trên thiết bị với cập nhật OTA nhẹ: nâng cấp mô hình bằng cách chỉ thay đổi codebook nhỏ gồm vài chục embedding thay vì tải lại toàn bộ trọng số — giảm dung lượng bản cập nhật xuống hàng chục lần.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.21346
ArXiv Abstracthttps://arxiv.org/abs/2609.21346
PDF Downloadhttps://arxiv.org/pdf/2609.21346.pdf
Github RepositoryN/A

6. OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue (30 votes)​

Tác giả: Haolin He, Yunfei Chu, Qi Chen, Wen Huang, Yuan Feng, et al.

Xuất bản lúc: 2026-09-18

Tag: Omni Models, Audio-Visual Dialogue, Multimodal LLMs, Benchmark, Reinforcement Learning, Data Synthesis, Multi-Agent Systems

I. Main Problem:​

Nghiên cứu về hội thoại audio-visual tự nhiên (OmniVChat) — mô hình omni nhận đồng thời audio và video trực tiếp từ người dùng và trả lời bằng text, không qua ASR hay captioning riêng — gặp hai rào cản lớn:

  • Thiếu dữ liệu: bản ghi người dùng tự quay bằng thiết bị của họ rất hiếm; nhiễu, chuyển động camera, tư thế thiết bị tạo phân bố đầu vào cực dài đuôi.
  • Khó đánh giá: câu trả lời tốt phải tính đến môi trường, biểu cảm khuôn mặt, vật xung quanh, và có thể diễn đạt theo vô số cách nên keyword matching không đáng tin cậy.
  • Các mô hình hiện tại phụ thuộc ASR cascade, làm mất ngữ điệu (prosody) và cảm xúc giọng nói, đồng thời thêm độ trễ và lỗi phiên âm.

II. Main Idea:​

Ba thành phần kết nối tổng hợp dữ liệu, đánh giá và huấn luyện trong cùng một bài toán:

  • OmniVChat-Studio: engine multi-agent (4 agent — Director xử lý text, Renderer dựng clip audio-visual đồng bộ, Reviewer kiểm tra chất lượng, Validator kiểm tra rule) tổng hợp hội thoại một lượt và đa lượt phụ thuộc lẫn nhau từ corpus text thuần. Chỉ các module linh hoạt cần thiết kế lại cho từng subcategory; khung cố định giữ nguyên.
  • OmniVChat-Bench: benchmark 2,800 instance (2,550 single-turn, 250 multi-turn), 5 nhóm năng lực, 17 subcategory, 22 lĩnh vực kịch bản. Mỗi instance gồm câu trả lời tham chiếu + rubric nhiều tầng (tier 0 kiểm tra ngôn ngữ — rớt thì 0 điểm; tier sau chỉ được tính khi tier trước hoàn thành), chấm bởi LLM.
  • OmniVChat-RL: reward học tăng cường kết hợp độ đúng (rubric), hiệu quả (điểm rubric / số từ), phong cách (7 tiêu chí về giọng nói tự nhiên, cộng thêm format), huấn luyện base model Qwen3-Omni bằng GSPO + LoRA trên 5,600 hội thoại tổng hợp.

Ví dụ đời thường: giống một trường quay tự động — đạo diễn viết kịch bản, thợ quay dựng cảnh, biên tập xem lại băng và gạch điểm từng tầng, rồi 'đào tạo' diễn viên bằng cách chỉ thưởng khi thoại vừa đúng ý, vừa gọn, vừa tự nhiên — thay vì ra ngoài tuyển người thật hiếm hoi và khó chấm điểm.

III. Main Results:​

  • Huấn luyện OmniVChat-RL trên dữ liệu tổng hợp nâng điểm OmniVChat-Bench từ 0.465 → 0.652, và quan trọng là chuyển giao sang dữ liệu người thật (Bench-Human): 0.402 → 0.632 mà không hề huấn luyện trên bản ghi thật — chứng tỏ phân bố dữ liệu tổng hợp và thật khớp nhau.
  • Phản hồi ngắn lại mà không mất độ đúng: độ dài trung bình giảm từ 91.5 → 36.6 từ; hiệu quả RE tăng 5.75 → 18.38; Style đạt 0.992.
  • Trong 14 hệ thống released, Gemini-3.5-Flash dẫn Mean (0.667), Gemini-3.7-Flash dẫn Human (0.575) — cho thấy thứ hạng trên dữ liệu tổng hợp không quyết định thứ hạng trên dữ liệu thật.
  • Ablations cho thấy đánh đổi rõ rệt: bỏ reward hiệu quả → điểm Mean cao hơn (0.697) nhưng câu trả lời dài gấp 3 lần (99 từ); bỏ reward style → Style tụt từ 0.992 xuống 0.788.
  • OmniVChat-RL ít suy giảm hơn trên multi-turn (gap −0.026 so với −0.114 của Gemini-3.7-Flash).

IV. Conclusion & Future Works:​

Bộ ba Studio–Bench–RL chứng minh vòng lặp khép kín: tổng hợp dữ liệu có kiểm soát → đánh giá ngữ nghĩa bằng rubric tầng → huấn luyện reward đa mục tiêu là khả thi cho hội thoại audio-visual tự nhiên, và dữ liệu tổng hợp chuyển giao được sang hội thoại thế giới thật. Sự nhất quán giữa điểm tổng hợp và điểm người thật gián tiếp cho thấy phân bố hai loại dữ liệu được căn chỉnh tốt. Hướng mở: mở rộng ngắt lời trực tiếp (live interruption), thu bản ghi thật đa lượt, và mở rộng sang đầu ra audio của mô hình omni.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng OmniVChat-Studio sang hội thoại ngắt lời thời gian thực (barge-in), nơi người dùng chen lời giữa câu và mô hình phải phản ứng tức thì trên luồng audio-video liên tục.
  2. Nghiên cứu tỉ lệ trộn dữ liệu tổng hợp/bản ghi thật tối ưu cho huấn luyện OmniVChat, kiểm chứng giả thuyết chuyển giao bằng thuật ngữ chênh lệch phân bố thay vì tương quan gián tiếp.
  3. Áp dụng rubric reward nhiều tầng cho các tác vụ omni khác (video question answering dài, điều khiển thiết bị bằng giọng nói kèm cử chỉ) để kiểm chứng tính tổng quát của thiết kế reward đúng-gọn-tự nhiên.

2. Patent:​

  1. Trợ lý ảo trên điện thoại nhận camera trước + micro đồng thời: người dùng giơ vật lên hỏi, trợ lý nhìn vật, đọc biểu cảm khuôn mặt và ngữ điệu giọng nói để trả lời phù hợp tâm trạng mà không cần chuyển giọng nói thành text — giảm độ trễ và giữ được cảm xúc.
  2. Hệ thống tạo dữ liệu huấn luyện hội thoại tự động cho thiết bị đeo (kính thông minh, tai nghe): cỗ máy đa-agent tự viết kịch bản, dựng video, tự chấm điểm theo tầng và tái sinh dữ liệu khi thiếu tình huống nào, giúp cập nhật mô hình liên tục theo kịch bản thực tế mới.
  3. Cơ chế chấm điểm câu trả lời trợ lý ảo theo rubric tầng trên đám mây: kiểm tra đúng ngôn ngữ trước, rồi mới chấm độ chính xác, độ ngắn gọn và giọng điệu tự nhiên — dùng làm phản hồi tự động để tinh chỉnh trợ lý cá nhân trên điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.21465
ArXiv Abstracthttps://arxiv.org/abs/2609.21465
PDF Downloadhttps://arxiv.org/pdf/2609.21465.pdf
Github Repositoryhttps://github.com/HarlandZZC/OmniVChat

7. Paint-Anything: Unified Any-Color Control for Image Generation and Editing (29 votes)​

Tác giả: Ji Xie, Dewei Zhou, Xinyu Huang, Zhennan Chen, Xun Wang

Xuất bản lúc: 2026-09-17

Tag: Text-to-Image, Image Editing, Color Control, Diffusion Models, Prompt Engineering, Benchmark

I. Main Problem:​

Thiết kế chuyên nghiệp yêu cầu điều khiển màu chính xác theo giá trị hex 24-bit (ví dụ đúng màu xanh thương hiệu của logo), nhưng các mô hình ảnh hiện tại chỉ hiểu màu ở mức ngôn ngữ mơ hồ ("xanh", "đỏ"):

  • Các phương pháp trước cần module màu riêng, color token học được, hoặc kỹ thuật can thiệp inference (attention manipulation, sampling guidance) — khó mở rộng, khó chuyển sang kiến trúc mới, tốn chi phí inference.
  • Hệ quả: tạo ảnh theo màu, chỉnh màu, và tô màu bị xem là 3 bài toán riêng thay vì một năng lực gốc của mô hình.
  • Khi đổi tên màu sang hex thuần túy, FLUX.2-4B gốc sụt CompColor từ 0.72 xuống 0.38 — mô hình không hiểu mã hex là màu gì.

II. Main Idea:​

Paint-Anything biến mã hex thành một interface thống nhất, gốc-prompt cho cả tạo ảnh và chỉnh sửa:

  • Mỗi mã hex được bọc trong thẻ <color>#AABBCC</color> ngay trong prompt (ví dụ "a photo of a <color>#CFEFFB</color> colored car" hoặc "change the bag to <color>#FFF8C4</color>"), dùng chung một syntax cho cả hai tác vụ — không cần color encoder hay module điều khiển riêng.
  • Bộ dữ liệu Paint-500K tự xây từ ảnh thật: VLM grounding tìm object, SAM3 tạo mask, rồi MeanShift clustering trong không gian CIELAB (thay vì k-means cố định K) để ước lượng màu chủ đạo gần đúng của từng object; VLM viết lại caption để gắn hex vào danh từ. 400K mẫu T2I + 100K mẫu editing (dùng mô hình edit tạo ảnh nguồn đổi màu, ảnh gốc làm target để tránh artifact).
  • Pure-color anchors: vì bóng đổ khiến màu đo từ ảnh thật chỉ là xấp xỉ, tác giả thêm các ảnh đổ đầy một màu tinh khiết ghép với đúng mã hex đó, làm "neo" sạch cho bản đồ hex→RGB. Các mẫu neo này chỉ được huấn luyện ở timestep nhiễu cao (t ∈ [0.8, 1]) — giai đoạn màu hình thành sớm — còn timestep nhiễu thấp dành cho ảnh tự nhiên để giữ ngữ nghĩa object và chất lượng editing.

Ví dụ đời thường: giống thợ sơn học màu — lúc đầu được pha thử màu trên tấm thử sạch, phẳng (ảnh một màu tinh khiết) để biết chắc mã màu tương ứng sắc nào, rồi sau mới áp màu đó lên bức tường thật có bóng đổ (ảnh tự nhiên); học riêng giai đoạn đầu ở "chỗ nhiễu loạn" để không làm hỏng kỹ năng sơn hoàn thiện.

III. Main Results:​

  • Trên FLUX.2-4B: ACBench-T2I tăng +85.3%, ACBench-Edit tăng +28.3% so với mô hình gốc (T2I 37.02→68.58, Edit 58.90→75.57).
  • Mô hình 8B sau fine-tune vượt cả mô hình 56B (FLUX.2-dev): +16.88 điểm T2I, +6.70 điểt Edit; công thức huấn luyện cũng giúp Z-Image Base tăng mạnh.
  • CompColor: hex-prompt tăng từ 0.38 lên 0.79, vượt cả named-color của mô hình gốc (0.72); cao nhất trong các phương pháp so sánh, cả khi dùng GenColorBench NCU độc lập; user study nghiêng về kết quả của Paint-Anything.
  • Vượt các hệ chuyên về màu: hơn ColorWave +22.04 điểm (T2I), hơn ColorBind/Edit +15.19 điểm (Edit).
  • Ablation: bọc thẻ <color> giúp mô hình "nắm" syntax hex; anchors không gate làm Edit giảm (70.39 vs 75.57); gate nhiễu cao cộng thêm +4.75 (T2I) và +5.18 (Edit) so với không gate; full fine-tune vượt LoRA rank-256 rõ rệt; ngưỡng gate 0.7–0.9 đều tốt, không nhạy.

IV. Conclusion & Future Works:​

Paint-Anything chứng minh điều khiển màu hex là một năng lực prompt-native thống nhất cho cả tạo ảnh và chỉnh sửa, đạt được chỉ bằng giám sát màu cấp object + pure-color anchors có chọn lọc theo timestep, không cần module hay chi phí inference bổ sung. Benchmark ACBench (T2I + Edit) được giới thiệu để đo độ trung thành màu hex cấp object. Hướng tương lai: bổ sung giám sát theo palette (bảng màu nhiều mã cùng lúc) và mở rộng interface thống nhất cho các tác vụ điều khiển màu rộng hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng pure-color anchors sang giám sát cấp palette: huấn luyện mô hình tuân thủ đồng thời một bảng nhiều mã hex với ràng buộc tương quan màu (harmony, contrast) giữa các object trong cùng ảnh.
  2. Kết hợp hex conditioning với điều kiện bố cục (bounding box / layout) để kiểm soát đồng thời vị trí, hình dáng và màu chính xác trong một prompt duy nhất.
  3. Nghiên cứu chuyển giao công thức hex supervision + timestep-gated anchors sang video generation/editing, đảm bảo màu hex nhất quán theo thời gian và dưới thay đổi ánh sáng cảnh.

2. Patent:​

  1. Ứng dụng thiết kế trên điện thoại: người dùng nhập mã màu thương hiệu hoặc chọn màu từ bảng màu, gõ mô tả ảnh; ứng dụng tạo ảnh/quảng cáo có object đúng mã hex đó, và cho phép đổi màu một object trong ảnh có sẵn bằng lệnh "đổi cái túi thành #FFF8C4".
  2. Công cụ chỉnh ảnh sản phẩm cho sàn thương mại điện tử: người chụp một sản phẩm, nhập mã màu từ bảng màu bộ sưu tập mới; hệ thống tự tô lại đúng vùng sản phẩm theo mã hex mà giữ nguyên vân vải, bóng đổ và nền, thay vì phải chụp lại từng màu.
  3. Trợ lý thiết kế nội thất: người dùng chụp phòng, chỉ định mã hex cho tường, rèm, sofa (ví dụ tường #F5FFFA, cửa #B22222); ứng dụng tạo lại ảnh phòng với các vật đúng màu đã chọn để xem trước trước khi sơn thật.
  4. Plugin tạo ảnh theo brand guideline doanh nghiệp: tích hợp bộ mã hex chuẩn của công ty vào prompt mặc định; mọi ảnh marketing, banner, mạng xã hội tự động tuân thủ màu thương hiệu chính xác đến từng giá trị RGB.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.20816
ArXiv Abstracthttps://arxiv.org/abs/2609.20816
PDF Downloadhttps://arxiv.org/pdf/2609.20816.pdf
Github RepositoryN/A

8. Designer-RSI: Evolving Procedural Memory from User Traffic for Agentic Graphic Design (22 votes)​

Tác giả: Hongyang Du, Lan Yan, Christian Flores, Asim Kadav

Xuất bản lúc: 2026-09-18

Tag: Agentic AI, Graphic Design, Procedural Memory, Skill Evolution, LLM Agents, Continual Learning, Replay Gate, Tool Use

I. Main Problem:​

Thiết kế đồ họa chuyên nghiệp là tác vụ dài hạn và nhiều bước phụ thuộc lẫn nhau: tạo logo, poster, banner đòi hỏi chọn asset, typography, mask, effect, chỉnh sửa lại mà vẫn giữ file editable. Nhưng khác với code, kết quả không có oracle kiểm chứng tự động: brief trộn yêu cầu cụ thể (chữ, màu, vị trí) với tiêu chí chủ quan (hierarchy, composition, style), nên học từ user traffic gặp hai khó khăn lớn:

  • Credit assignment yếu: một thiết kế cần hàng chục thao tác, feedback cuối cùng không nói rõ quyết định nào gây thành công/thất bại.
  • Reward proxy không hoàn hảo: evaluator tự động chỉ bắt được một phần chất lượng, trong khi supervised learning cần demonstration đắt đỏ và outcome optimization khó xử lý cả hai vấn đề trên, đặc biệt khi foundation model được host ngoài và gần như không thể cập nhật trọng số.

II. Main Idea:​

Bài báo đối xử thư viện kỹ năng ngôn ngữ tự nhiên bên ngoài là đối tượng học, còn frontier model vẫn đóng băng và điều khiển Photoshop/Illustrator/InDesign tương đương qua hơn 230 tools. Mỗi skill là playbook SKILL.md mô tả quy trình tái sử dụng, đủ cụ thể để hướng dẫn nhưng đủ tổng quát để chuyển sang brief khác. Vòng lặp offline có bốn vai: Prompter sinh brief từ user traffic/LLM, Solver là agent dùng skill bank + tools, Grader chấm ảnh và giải thích requirement nào lỗi, Reflector biến lỗi thành chỉnh sửa skill. Bộ nhớ tiến hóa theo hai trục:

  • Widening: khi một subtask lặp lại ít nhất 3 lần mà không skill nào phủ, hệ thống cluster các lỗ hổng coverage và distill thành skill mới.
  • Deepening: với skill thường xuyên bị blame, Reflector đối chiếu lần chạy hỏng với lần chạy tốt cùng skill (brief, per-requirement outcomes, why-bad rationales, tool-call sequence, intermediate waypoints, thinking tokens) rồi phát targeted edit; nếu sửa nhỏ nhiều lần vẫn hỏng thì rewrite lớn, và có thể exploration cycle quyết định update/delete/keep.
  • Replay Gate tách đề xuất khỏi admission: không dùng absolute score vì VLM grader drift; thay vào đó freeze nhiều context cùng prompt nhưng khác asset/upstream state, chạy lại song song candidate vs incumbent/no-skill, judge pairwise có randomize thứ tự. Một prompt chỉ thắng khi candidate thắng đa số contexts; thay đổi chỉ ship khi có ít nhất một prompt thắng và không prompt nào thua.

Ví dụ đời thường: giống bếp trưởng không đào tạo lại đầu bếp, mà viết thêm/thay thẻ công thức từ các đơn hàng lặp lại; nhưng thẻ mới chỉ được treo lên nếu nấu thử đúng cùng một mẻ nguyên liệu vẫn thắng món cũ mà không làm hỏng món khách đã khen.

III. Main Results:​

  • Không cập nhật trọng số, không nhãn người: 5 vòng trên 1,406 brief, tạo 1,869 graded trajectories; skill bank tăng từ 76 → 139 skills.
  • Trên Claude-Sonnet-4, GenEval2 execution success tăng 72.7% → 99.3%, generation quality +11.99; trên các benchmark thiết kế chuyên biệt, win rate EVOLVE vs no-skill đạt 61.8% (Sonnet-4) và 67.6% (Opus-4.6).
  • Ablations trên 200 held-out brief: widening một mình 49.4%, deepening một mình 48.6%, nhưng kết hợp đạt 58.5% win rate (p=0.025); completeness tăng từ cold start 68.62 lên 74.04, trong khi cold start gần như không tốt hơn BASE.
  • Widening/deepening bổ sung nhau: R1 gần như chỉ repair; minting peak ở R2–R3; R4 có nhiều v1 skill chưa revise nên đuôi chất lượng cao nhưng low-end regress; R5 rewrite nhiều hơn và mạnh nhất ở gần mọi ngưỡng completeness.
  • Overhead nhỏ: latency tăng khoảng 3.4%–6.2% theo backbone, đôi khi còn giảm do ít retry hơn; EVOLVE dùng ít prompt/output tokens hơn cold start nhờ retrieval chính xác hơn.

IV. Conclusion & Future Works:​

Thành công chính là cho thấy procedural memory bên ngoài có thể là cơ chế continual adaptation thực tế khi phản hồi nhiễu và không kiểm chứng được: widening mở rộng coverage, deepening biến coverage thành reliability, còn replay gate giữ cho thay đổi không trade một lỗi cũ lấy lỗi mới. Giới hạn quan trọng: retrieval có thể không đủ mạnh khi model có default strategy rất mạnh; geometry tinh tế vẫn bị giới hạn bởi perception và verification tự động; quy trình dài dễ mất fidelity khi chỉ dẫn tích lũy; và gate chỉ local trên replay set nên không bảo đảm cải thiện đơn điệu trên toàn phân phối user traffic. Hướng đi nêu trong paper: preference-aware retrieval, deterministic primitives, structured plans, và verification chính xác hơn; procedural memory là một cơ chế thích ứng, không thay thế model learning hay execution có cấu trúc khi tác vụ cần khả năng vượt quá hướng dẫn ngôn ngữ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp procedural memory với preference-aware retrieval để skill không chỉ đúng coverage mà còn khớp phong cách người dùng, đồng thời vẫn qua replay gate chống regression.
  2. Nâng cấp deepening bằng structured plans và deterministic primitives cho các thao tác geometry tinh tế, giảm phụ thuộc vào khả năng tự hình dung của model.
  3. Mở rộng replay gate từ local prompt set sang kiểm chứng có thống kê trên phân phối user traffic lớn hơn, nhắm tới bảo đảm cải thiện gần monotonic trong sản xuất.

2. Patent:​

  1. Ứng dụng thiết kế trên điện thoại tự học workflow từ lượt dùng thật: khi nhiều người liên tục tạo cùng kiểu ảnh như double-exposure logo, app đề xuất một 'công thức chỉnh sửa' bằng ngôn ngữ dễ hiểu, kiểm thử lại trên cùng bộ ảnh trước khi bật cho mọi người.
  2. Hệ gợi ý kỹ năng cá nhân hóa nhưng an toàn trên thiết bị di động: điện thoại giữ lịch sử thành công/thất bại cục bộ, chỉ gửi lên đám mây mô tả quy trình đã ẩn danh; bản cập nhật skill mới chỉ áp dụng nếu thắng phiên bản cũ trong thử nghiệm song song trên cùng ảnh gốc.
  3. Nút 'sửa giống mẫu này' cho app banner/poster trên mobile: người dùng chọn một thiết kế đẹp, app rút ra chuỗi thao tác chọn asset, mask, blend, typography rồi lưu thành macro ngôn ngữ; macro chỉ được chia sẻ nếu khi tái chạy không làm xấu các mẫu trước đã được người dùng ưa thích.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.22086
ArXiv Abstracthttps://arxiv.org/abs/2609.22086
PDF Downloadhttps://arxiv.org/pdf/2609.22086.pdf
Github RepositoryN/A

9. OmniVBench: A Benchmark and Large-Scale Dataset for Omni Reference-to-Video Generation (19 votes)​

Tác giả: Wenxue Li, Peiyan Guan, Haoyang Jiang, Junxian Cai, Hualuo Liu, et al.

Xuất bản lúc: 2026-09-18

Tag: Video Generation, Reference-to-Video, Benchmark, Diffusion, Multimodal Evaluation, VLM-as-Judge

I. Main Problem:​

Thế hệ mô hình reference-to-video (R2V) đang chuyển sang mô thức omni R2V — kiểm soát video bằng nhiều loại tham chiếu (ảnh nhân vật, video chuyển động, phong cách, storyboard, câu chuyện...) kết hợp linh hoạt. Tuy nhiên:

  • Benchmark cũ thiếu phủ sóng: chỉ tập trung vào tham chiếu nội dung (nhân vật/vật thể/cảnh), bỏ qua motion, camera, style, structure, narrative và các cài đặt đa tham chiếu.
  • Đánh giá quá thô: chỉ đo độ tương đồng tổng thể, không kiểm tra từng yếu tố tham chiếu (factor) có được bảo toàn, tách rời đúng và gán đúng mục tiêu hay không.
  • Dữ liệu huấn luyện khan hiếm: chi phí xây dựng cặp reference–target cho từng loại tác vụ cao, các dataset hiện có chỉ phủ một loại tham chiếu và không cung cấp dữ liệu đã xử lý sẵn.

II. Main Idea:​

Bài báo giới thiệu bộ đôi bổ sung nhau: một benchmark chẩn đoán + một dataset huấn luyện quy mô lớn.

  • OmniVBench tổ chức không gian tác vụ R2V thành 7 task families / 18 sub-tasks gồm 5 loại tham chiếu đơn (content, motion, style, structure, narrative) mở rộng sang 2 cài đặt đa tham chiếu (multi-content, cross-aspect). Điểm mới cốt lõi là factor-grounded evaluation: mỗi trong 813 test case được tách thành checklist gồm 12,172 mục kiểm tra riêng, đánh giá 3 khía cạnh — Reference Fidelity (yếu tố nào cần giữ), Instruction Realization (tách-rồi-gán đúng mục tiêu + tuân lệnh), Video Quality — thông qua VLM-as-judge thay vì điểm tương đồng toàn cục.
  • Omni-R2V Dataset cung cấp ~340K mẫu đã xử lý sẵn từ kho video chuyên nghiệp, xây bằng pipeline gồm cross-pair matching (ghép clip chia sẻ cùng nhân vật/phong cách) và inverse construction (trích xuất hoặc sinh tham chiếu từ chính video đích), sau đó dùng VLM tạo mô tả và LLM chuyển thành hướng dẫn huấn luyện.

Ví dụ đời thường: giống thi bằng lái xe không chỉ chấm "có đi từ A đến B không" mà có phiếu checklist từng động tác — đánh xe ngang, nhìn gương, xi-nhan — để biết chính xác kỹ năng nào bị hỏng, thay vì chỉ kết luận "đậu/rớt".

III. Main Results:​

  • 813 test case, 12,172 checklist items, 340K mẫu huấn luyện — quy mô và độ phủ vượt xa benchmark/dataset R2V trước (OpenS2V-Eval, VACE-Bench, UniVBench...).
  • Đánh giá 11 mô hình (Seedance 2.5, Kling 3.0 Omni, Gemini Omni, Happy Horse 1.0, Vidu-Q2-Pro, MiniMax H3, Bernini, LoomVideo...): Seedance 2.5 dẫn đầu overall 72.68, mô hình open-source tốt nhất (MiniMax H3, 72.41) đã sánh ngang bản closed-source.
  • Không mô hình nào mạnh đều mọi task family: tất cả làm content khá tốt nhưng đều yếu rõ rệt ở motion, style, structure, narrative và multi-reference.
  • Tách rời yếu tố là điểm nghẽn chính: nhiều mô hình đạt điểm target compliance cao nhưng disentanglement & routing (IRDR) thấp hơn hẳn — tức "nghe lời" nhưng vẫn chép nhầm chi tiết từ tham chiếu hoặc gán yếu tố sai đối tượng.
  • Protocol được xác thực: tương quan với đánh giá con người Pearson 0.78–0.86; checklist factor-grounded tương quan tốt hơn đáng kể so với đánh giá holistic (Spearman RF 0.77 vs 0.67).

IV. Conclusion & Future Works:​

OmniVBench và Omni-R2V lần đầu tiên cung cấp nền tảng chung cho cả đánh giá lẫn huấn luyện omni R2V, đồng thời vạch rõ khoảng trống năng lực của các mô hình hiện tại — đặc biệt ở khả năng tách rời và định tuyến yếu tố tham chiếu ở các tác vụ đa tham chiếu. Kết quả cho thấy tiến bộ trên một loại tham chiếu không tự động chuyển hóa sang các loại khác, hướng nghiên cứu tới các mô hình kiểm soát tham chiếu tinh hơn ở cấp yếu tố.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển mô hình R2V với cơ chế định tuyến yếu tố tường minh, tách rời từng loại thông tin (chuyển động, phong cách, cấu trúc) từ tham chiếu và gán đúng thành phần đích trong cài đặt cross-aspect.
  2. Khai thác Omni-R2V Dataset để huấn luyện mô hình open-source vượt trội ở các task family yếu hiện tại (motion, narrative, structure) và kiểm chứng bằng OmniVBench.
  3. Nghiên cứu chiến lược ghép nhiều tham chiếu (multi-content / cross-aspect) với cơ chế attention điều kiện hóa theo vai trò, chống hiện tượng một tham chiếu ghi đè tham chiếu khác.
  4. Mở rộng factor-grounded evaluation sang các lĩnh vực tương tự: reference-to-image nâng cao, video editing đa điều kiện và story-to-video dài tập.

2. Patent:​

  1. Ứng dụng quay video trên điện thoại với tham chiếu đa yếu tố: người dùng chọn một ảnh nhân vật + một clip chuyển động + một ảnh phong cách; ứng dụng sinh video mới giữ đúng mặt người, sao chép đúng điệu bộ và áp đúng phong cách mà không trộn lẫn các yếu tố.
  2. Công cụ làm phim quảng cáo trên điện thoại: nhãn hàng tải storyboard vẽ nguệch ngoạc hoặc ảnh sản phẩm, ứng dụng tự tạo video hoàn chỉnh theo đúng bố cục, thứ tự cảnh và chuyển động camera yêu cầu, kèm chấm điểm checklist tự động từng yếu tố trước khi xuất bản.
  3. Hệ thống tiếp nối cảnh quay tự động: quay một cảnh đầu tiên, ứng dụng dùng cảnh đó làm tham chiếu câu chuyện để sinh cảnh kế tiếp liền mạch về nhân vật và bối cảnh, hỗ trợ quay phim ngắn nhiều tập trên điện thoại.
  4. Trợ lý tạo video kiểm chứng chất lượng: sau khi sinh video từ tham chiếu, hệ thống tự chấm theo checklist từng yếu tố (đúng nhân vật không, đúng chuyển động không, đúng phong cách không) và tự gợi ý sinh lại phần lỗi thay vì chấm điểm chung chung.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.22069
ArXiv Abstracthttps://arxiv.org/abs/2609.22069
PDF Downloadhttps://arxiv.org/pdf/2609.22069.pdf
Github RepositoryN/A

10. BI-Agent and BI-Bench: Towards Automating End-to-End Business Intelligence (14 votes)​

Tác giả: Chuxuan Hu, Yeye He, Penny Zhou, Wee Hyong Tok, Daniel Kang, et al.

Xuất bản lúc: 2026-09-16

Tag: LLMs, Business Intelligence, Agents, Tool Use, NL2SQL, Post-training, Benchmark, Data Management

I. Main Problem:​

Business Intelligence (BI) — như trong Power BI hay Tableau — đòi hỏi người dùng thực hiện nhiều bước chuẩn bị dữ liệu rất phức tạp và tốn thời gian trước khi phân tích:

  • Search: chọn đúng bảng liên quan trong hàng chục bảng (trung bình 10.6 bảng/dự án, tối đa 52)
  • Transform: làm sạch bảng 'bẩn' từ Excel/spreadsheet (pivot table, dạng cross-tabulation không quan hệ) về dạng quan hệ chuẩn
  • Join: xây dựng quan hệ nối bảng trên schema phức tạp (star/snowflake/constellation, nhiều cột ID khó hiểu, trung bình 12.75 join/dự án)
  • Analyze: mới đến bước phân tích và trả lời câu hỏi kinh doanh

Các benchmark hiện có (NL2SQL như BIRD, Spider) chỉ tập trung bước cuối, bỏ qua toàn bộ thử thách chuẩn bị dữ liệu — và kết quả cho thấy cả LLM frontier lẫn hệ thống NL2SQL SOTA đều thất bại trên quá nửa số câu hỏi BI đầu-cuối (tốt nhất chỉ ~48%).

II. Main Idea:​

Bài báo đề xuất BI-Bench (benchmark đầu tiên cho BI đầu-cuối, 100 câu hỏi thật trích từ dashboard Power BI thực tế, mỗi câu có ground-truth answer xuất trực tiếp từ visualization) và BI-Agent — agent kết hợp LLM với các công cụ quản trị dữ liệu chuyên biệt:

  • Transform tool: dùng thuật toán dự đoán reshape (unpivot, pivot, transpose) từ cộng đồng data management để 'quy hệ quan hệ hóa' bảng thay vì để LLM tự viết code vụng về
  • Join tool: thuật toán dự đoán join tối ưu cho schema dạng snowflake, tính toán trên toàn bộ bảng thay vì vài dòng mẫu trong prompt
  • Search tool: chọn lọc bảng liên quan một cách thận trọng để LLM tập trung
  • Code tool: thực thi Python/SQL có cache biến để LLM lặp tiến

LLM đóng vai orchestrator trong vòng lặp reason → gọi tool → nhận kết quả → tiếp tục. Ngoài ra, một post-training framework tự động tổng hợp training trajectories từ các dự án BI thật (tách biệt hoàn toàn với test set) để fine-tune bằng SFT + RL, giúp model nhỏ 8B đạt chất lượng ngang model frontier với chi phí rẻ hơn tới 50 lần.

Ví dụ đời thường: giống một giám đốc muốn biết doanh thu theo tháng — thay vì tự mở tủ hồ sơ lục tìm đúng sổ (search), tự xé dán lại tờ báo cáo bị xếp sai cột (transform), tự đoán sổ nào ghép với sổ nào (join), ông thuê một trợ lý chuyên nghiệp có đủ dụng cụ chuyên môn cho từng việc, trợ lý chỉ cần quyết định dùng dụng cụ nào và ra lệnh.

III. Main Results:​

  • BI-Bench rất khó: model frontier tốt nhất (o4-mini) chỉ đạt 48.2% accuracy với SQL; các hệ thống NL2SQL SOTA (top BIRD, Spider 2.0) chỉ đạt 6.0–26.3% dù trên benchmark của chúng >70%.
  • Tool-augmented BI-Agent cải thiện tới +40 điểm phần trăm so với vanilla LLMs trên cùng backbone; cải thiện trung bình hơn 10 điểm trên các model frontier (GPT-5.2, GPT-5.5, o4-mini, Llama-4...), đều có ý nghĩa thống kê cao.
  • Post-training (SFT+RL) cho thêm tới +30 điểm; Qwen3-8B sau post-training đạt chất lượng ngang hoặc vượt model frontier lớn, với chi phí thấp hơn tới 50 lần.
  • Kết hợp tool use + post-training cho hiệu ứng cộng hợp (synergistic) — lần đầu tiên được chứng minh trên tác vụ BI đầu-cuối; mô hình post-trained còn tổng quát tốt sang tác vụ ngoài miền như Spider 2.0.

IV. Conclusion & Future Works:​

Kết luận chính: để tự động hóa BI đầu-cuối, chỉ LLM thuần không đủ — cần đồng thiết kế (co-design) ở tầng hệ thống giữa orchestration của LLM và các công cụ mang chuyên môn data management, cộng thêm post-training theo miền để model nhỏ học cách dùng đúng công cụ và viết code phân tích tốt hơn. Kiến trúc BI-Agent có tính mở rộng: các tool mới từ cộng đồng data management có thể dễ dàng cắm thêm vào cùng vòng lặp tool-call. Hướng tương lai: mở rộng bộ công cụ, cải thiện phương pháp tổng hợp trajectory cho post-training, và đẩy accuracy còn xa mức đủ dùng trong thực tế doanh nghiệp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng BI-Agent sang môi trường BI đa nguồn dữ liệu phân tán (kết hợp cả cơ sở dữ liệu doanh nghiệp lẫn file ngoài), với các công cụ search/join/transform có khả năng xử lý schema liên tổ chức.
  2. Nghiên cứu chiến lược học tăng cường (RL) tinh chỉnh cho vòng lặp gọi công cụ trong BI: phần thưởng dựa trên độ đúng của kết quả cuối để tự động học thứ tự gọi tool tối ưu thay vì dựa vào trajectory tổng hợp.
  3. Xây dựng benchmark BI đầu-cuối quy mô lớn hơn và đa dạng hơn (ngoài Power BI, gồm Tableau, Looker), tự động hóa quy trình thu thập và kiểm chứng câu hỏi để giảm chi phí chú thích thủ công 400 giờ-người.

2. Patent:​

  1. Trợ lý phân tích dữ liệu trên điện thoại cho người dùng doanh nghiệp không chuyên kỹ thuật: người dùng tải file Excel/report thô lên app, nhập câu hỏi bằng giọng nói; hệ thống tự động chọn bảng liên quan, xoay/chuyển đổi bảng pivot về dạng chuẩn, nối các bảng và trả về bảng kết quả đúng — không cần biết SQL hay Power BI.
  2. Hệ thống đề xuất tự động trong phần mềm bảng tính di động: khi người dùng nhập câu hỏi kinh doanh, app tự phát hiện bảng đang ở dạng cross-tabulation, đề xuất thao tác unpivot/ghép bảng và tạo biểu đồ phân tích tương ứng chỉ bằng một chạm.
  3. Module kết nối dữ liệu thông minh cho ứng dụng báo cáo di động: tự đoán các quan hệ join giữa nhiều file dữ liệu nhập vào (dùng thống kê giá trị toàn bộ cột thay vì mẫu vài dòng), hiển thị sơ đồ bảng dạng snowflake và cho phép người dùng chỉnh sửa trước khi tạo dashboard.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.20886
ArXiv Abstracthttps://arxiv.org/abs/2609.20886
PDF Downloadhttps://arxiv.org/pdf/2609.20886.pdf
Github Repositoryhttps://github.com/Hu-Chuxuan/bi-agent

11. MintAct: A Unified Visual Agent for Digital Environments (13 votes)​

Tác giả: Mingfei Gao, Rui Tian, Haiming Gang, Bohan Zhai, Le Zhang, et al.

Xuất bản lúc: 2026-09-18

Tag: Vision-Language Models, GUI Agents, UI Grounding, Reinforcement Learning, Async RL, Tool Use, Computer Use, Web Navigation

I. Main Problem:​

Các trợ lý hình ảnh thao tác thiết bị số hiện bị chia nhỏ thành mô hình chuyên biệt theo từng lĩnh vực: một model cho UI grounding, riêng cho điều hướng mobile, desktop, web, và riêng cho visual tool use. Hệ quả:

  • Tốn kém để vận hành và mở rộng, đặc biệt với kích thước nhỏ phù hợp chạy trên thiết bị (on-device).
  • Trộn bề mặt các domain (gộp action space, trộn dữ liệu) khiến các domain cản trở lẫn nhau, làm chất lượng từng domain sụt giảm.
  • Học qua online RL với môi trường chậm, không ổn định (mỗi trường khác nhau về observation, action space, backend); khi trộn các môi trường bất đồng bộ, phân phối huấn luyện bị trôi về domain chạy nhanh nhất.

II. Main Idea:​

MintAct là họ VLM thống nhất ở quy mô 2B/4B/8B, làm cả 3 năng lực — UI grounding, điều hướng đa bước (mobile/desktop/web), visual tool use — bằng MỘT bộ trọng số. Thiết kế then chốt:

  • Không gian quan sát chung: chỉ làm việc trên screenshot thô, điều phối hành động bằng tọa độ pixel chuẩn hóa chung, bỏ qua DOM/accessibility tree.
  • Action set điều kiện hóa theo prompt: mỗi domain đưa hành động/công cụ của mình vào system prompt riêng, tránh gộp lãng phí không gian hành động.
  • Trộn dữ liệu cân bằng 25:25:25:25 giữa các domain xuyên suốt SFT và RL.

Quy trình huấn luyện 4 giai đoạn:

  1. SFT độ phân giải cao, một bước — xây grounding từ dữ liệu tĩnh công khai.
  2. SFT độ phân giải thấp, đa bước — dùng hàng trăm nghìn trajectory đa lượt từ các môi trường AndroidWorld, OSWorld, Weblica, MM-ToolSandBox.
  3. RFT với rejection sampling — huấn luyện RL specialist cho từng domain rồi chưng cất (distill) ngược về một model duy nhất qua dữ liệu trajectory thành công.
  4. Agentic RL bất đồng bộ — framework tách rollout khỏi cập nhật policy, có bộ quản lý môi trường chạy hàng trăm instance đồng thời (200+ desktop, 100+ mobile), kiểm soát tường minh tỷ lệ trộn domain, ổn định trước phản hồi nhiễu và off-policy drift.

Ví dụ đời thường: giống một nhân viên văn phòng đa năng thay vì phải thu 4 người chuyên viên riêng — trước là đào tạo nền tảng chung (SFT), sau cho đi thực tập từng bộ phận (RL specialist), rồi tổng hợp kinh nghiệm về một người (RFT) và liên tục va chạm thực tế song song nhiều công việc để trau dồi (async RL).

III. Main Results:​

  • MintAct-8B: 48.9 trên OSWorld-Verified (desktop), 39.1 trên Online-Mind2Web (web), 67.0 trên AndroidWorld (mobile) — state-of-the-art ở quy mô tương đương.
  • Ở cả 3 quy mô 2B/4B/8B, model thống nhất bằng hoặc vượt các specialist cùng kích thước trên mọi năng lực (grounding, navigation 3 nền tảng, tool use) — chứng minh thống nhất không đánh đổi chất lượng từng domain.
  • Hạ tầng môi trường phục vụ đồng thời SFT data collection và online RL ở throughput cao, có khả năng chịu lỗi (instance hỏng được restart mà không gián đoạn huấn luyện).
  • Ablations cho thấy mỗi giai đoạn huấn luyện đều đóng góp hiệu năng rõ rệt.

IV. Conclusion & Future Works:​

Bài báo chứng minh một model nhẹ duy nhất có thể thống nhất grounding, điều hướng đa nền tảng và visual tool use mà không sụt chất lượng từng domain, miễn là có (i) không gian hành động điều kiện hóa theo prompt, (ii) trộn dữ liệu cân bằng, và (iii) hạ tầng RL bất đồng bộ kiểm soát được phân phối huấn luyện xuyên domain. Hướng tương lai hợp lý: mở rộng sang nền tảng mới và tác vụ dài hơi hơn, tinh chỉnh chiến lược chọn tác vụ RL (xung quanh tỷ lệ thành công ~50%), và tối ưu thêm hiệu quả bộ nhớ cho trajectory đa phương thức cực dài.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế giao thoa khi trộn RL xuyên domain cho visual agent thống nhất: định lượng mức độ hành vi của một domain (ví dụ kéo-thả desktop) chuyển giao giúp hay hại domain khác, từ đó thiết kế curriculum trộn domain thích ứng thay vì tỷ lệ cố định 25:25:25:25.
  2. Phát triển phương pháp tự động sinh tác vụ và kiểm chứng kết quả (task generation + verification) cho môi trường GUI thật, mở rộng vòng lặp tự tiến hóa kiểu EvoCUA sang mobile và web để giảm phụ thuộc vào teacher model.
  3. Khảo sát chuyển giao kỹ năng giữa grounding tọa độ pixel và tool use: liệu dữ liệu visual tool use đa lượt có cải thiện grounding độ chính xác cao trên UI và ngược lại, để thiết kế dữ liệu chung hiệu quả hơn cho agent thống nhất.

2. Patent:​

  1. Trợ lý điều khiển điện thoại thông minh chạy hoàn toàn trên thiết bị: một model nhỏ kiểu MintAct 2B/4B nhận lệnh thoại, tự bấm vuốt gõ trên giao diện ứng dụng bằng tọa độ pixel, đồng thời gọi được API ứng dụng (đặt xe, chuyển tiền) khi thao tác tay quá tốn bước.
  2. Hệ thống tự động hóa kiểm thử giao diện phần mềm: agent thống nhất chạy cùng một kịch bản kiểm thử trên cả bản mobile, desktop lẫn web của sản phẩm, báo cáo lỗi UI theo tọa độ màn hình và video quay lại, thay thế bộ test script riêng lẻ cho từng nền.
  3. Trợ lý mua sắm tích hợp camera trên điện thoại: người dùng chụp sản phẩm hoặc chụp giỏ hàng, agent vừa điều hướng app thương mại điện tử vừa gọi các công cụ tìm kiếm/thay đổi số lượng/thanh toán, xử lý được yêu cầu đổi ý giữa chừng (đổi sản phẩm, đổi số khách) qua hội thoại nhiều lượt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2609.22083
ArXiv Abstracthttps://arxiv.org/abs/2609.22083
PDF Downloadhttps://arxiv.org/pdf/2609.22083.pdf
Github RepositoryN/A