Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-07-28

Báo cáo được tạo tự động vào lúc 2026-07-30 08:52:56 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. Kimi K3: Open Frontier Intelligence (346 votes)​

Tác giả: Kimi Team, Tongtong Bai, Yifan Bai, Yiping Bao, M. C., et al.

Xuất bản lúc: 2026-07-27

Tag: Mixture-of-Experts, Large Language Models, Long-Context, Multimodal, Reasoning, Test-Time Scaling, Infrastructure

I. Main Problem:​

Các mô hình ngôn ngữ mở hiện đại gặp hai thách thức chính:

  • Khoảng cách với các hệ thống độc quyền mạnh nhất (Claude Fable 5, GPT-5.6 Sol) đang ngày càng mở rộng vì chúng chỉ tập trung vào scaling test-time (reasoning, suy luận) mà bỏ qua scaling pre-training foundation
  • Giới hạn về khả năng trên các tác vụ dài hạn như lập trình phức tạp, tương tác agentic, và xử lý ngữ cảnh siêu dài (1 triệu token)

II. Main Idea:​

Kimi K3 kết hợp hai trục scaling song song:

  • Pre-training at scale: mô hình Mixture-of-Experts 2.8 tỷ tham số (104 tỷ kích hoạt) với các cải tiến kiến trúc:
    • Kimi Delta Attention (KDA): cơ chế mixing token hiệu quả cho dãy dài, dùng recurrence với forget gate channel-wise
    • Attention Residuals: mỗi lớp truy cập chọn lọc đến đầu ra của tất cả lớp trước (thay vì chỉ tích luỹ tuần tự)
    • Stable LatentMoE: 896 chuyên gia với 16 kích hoạt mỗi token, ổn định bằng SiTU-GLU và Quantile Balancing
    • MoonViT-V2: encoder vision huấn luyện từ đầu, tích hợp gốc với backbone LLM
  • Test-time scaling qua RL: huấn luyện với reinforcement learning trên các tác vụ lập trình, agent, và suy luận ở nhiều mức độ effort, cho phép thực thi dài hạn trong ngữ cảnh 1 triệu token

Ví dụ đời thường: giống công ty phát triển vừa tuyển thêm nhân viên mới (mô hình lớn hơn) vừa dạy họ cách tư duy từng bước qua kinh nghiệm thực tế (RL), thay vì chỉ đọc sách hướng dẫn một lần.

III. Main Results:​

  • Hiệu suất coding: vượt các mô hình mở khác và gần ngang hàng các mô hình độc quyền trên DeepSWE, Terminal-Bench, Kimi Code Bench
  • Agent + Vision: đứng thứ 3 toàn cầu trên GDPval-AA v2 (1686 Elo), sau Fable 5 và GPT-5.6 Sol; dẫn đầu trên JobBench, BrowseComp
  • Suy luận dài hạn: vượt trội trên SWE-Marathon (42.0% vs 39.0% GPT-5.6 Sol), FrontierSWE (40.0%), AutomationBench (30.8%)
  • Hiệu suất scaling: cải tiến ~2.5x so với Kimi K2 trong hiệu quả scaling tổng thể
  • Khả năng đa phương thức: xử lý text, hình ảnh, video trong cùng một context stream, cho phép lặp lại visual output (UI, graphics) mà không cần xử lý post-hoc

IV. Conclusion & Future Works:​

Kimi K3 thiết lập tiêu chuẩn mới cho mô hình mở ở mức frontier bằng cách kết hợp pre-training quy mô lớn với post-training test-time scaling phức tạp. Mặc dù còn phía sau hai hệ thống mạnh nhất, nhưng vượt qua tất cả các mô hình mở và các mô hình độc quyền khác trong bộ đánh giá.

Hướng tương lai:

  • Tiếp tục mở rộng kích thước pre-training foundation và độ phức tạp RL test-time
  • Tối ưu hóa chiến lược reasoning effort đa mức độ cho các tác vụ khác nhau
  • Cải thiện hiệu quả triển khai và độ tin cậy trong môi trường sản xuất

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu sâu về tác động của Attention Residuals và KDA trên các kiến trúc transformer khác; so sánh hiệu suất với các cơ chế mixing khác (sparse attention, memory-augmented attention)
  2. Phân tích hiệu quả của Quantile Balancing trong các bối cảnh MoE khác nhau và các phương pháp load balancing mới không cần auxiliary loss
  3. Khám phá các phương pháp RL mới cho test-time scaling trên ngữ cảnh cực dài (>1M token) và kiểm soát reasoning effort động

2. Patent:​

  1. Hệ thống tối ưu hóa lập trình tự động trên điện thoại: ứng dụng nhúng phiên bản nhỏ Kimi K3 để người dùng nhập code snippet; hệ thống tự chạy test case, ghi lại output, và đề xuất cải thiện qua test-time RL, tất cả trên thiết bị mà không gửi lên cloud
  2. Agent AI cho tự động hóa workflow văn phòng: dùng Kimi K3 với multimodal input (screenshot, document) để agent tự thực hiện chuỗi tác vụ dài (điền form, gửi email, cập nhật spreadsheet), với khả năng xem lại kết quả và điều chỉnh hành động tiếp theo
  3. Công cụ debug lập trình tích hợp: IDE plugin dùng Kimi K3 để khi user gặp lỗi, hệ thống tự chạy test, ghi lại stack trace, và đề xuất fix cụ thể qua RL bối cảnh dài—không chỉ đề xuất chung chung mà dựa trên toàn bộ history debug session

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.24653
ArXiv Abstracthttps://arxiv.org/abs/2607.24653
PDF Downloadhttps://arxiv.org/pdf/2607.24653.pdf
Github Repositoryhttps://github.com/MoonshotAI/Kimi-K3

2. Progress Reward Modeling for Robotic Learning: A Comprehensive Survey (164 votes)​

Tác giả: Jianshu Zhang, Keliang Wu, Haoran Lu, Anbang Liu, Ce Zhang, et al.

Xuất bản lúc: 2026-07-22

Tag: Robotic Learning, Reward Modeling, Reinforcement Learning, Vision-Language Models, Task Progress

I. Main Problem:​

Robot học tập phải đối mặt với tín hiệu phản hồi hạn chế: tín hiệu thành công cuối cùng (binary) chỉ nói liệu tác vụ hoàn thành hay không, không giải thích xem hành động hiện tại có tiến triển, đình trệ hay lùi lại. Vấn đề trở nên cực nghiêm trọng trong tác vụ dài chiều vì thành công hiếm, quyết định nhiều nhưng phản hồi chậm. Ngoài ra, các phương pháp hiện tại sử dụng quan sát, mục tiêu, tín hiệu đầu ra khác nhau, khiến khó so sánh và hiểu kết quả thực tế đang chứng minh điều gì.

II. Main Idea:​

Bài khảo sát tổ chức lĩnh vực phức tạp thành ba khía cạnh liên kết:

1. Giao diện mô hình: Xác định yêu cầu đầu vào (cách biểu diễn trạng thái hiện tại, cách chỉ định mục tiêu) và đầu ra (điểm số trạng thái, thay đổi tiến triển, xếp hạng, hay chương trình thưởng).

2. Phương pháp xây dựng: Tổng hợp bốn khuôn mẫu chính — Frozen Foundation Models (dùng CLIP/VLM sẵn có), Temporal/Relative Learning (học từ thứ tự thời gian hoặc so sánh đôi), Instruction-Tuned Progress (fine-tune VLM để dự đoán tiến triển), Programmatic Reward (sinh mã thực thi).

3. Dữ liệu và đánh giá: Phân loại cách thu thập giám sát tiến triển (từ con người, cột mốc thưa + tự động, hoàn toàn tự động) và ba loại benchmark (độ trung thực tiến triển, mạnh mẽ + tổng quát hóa, lợi ích downstream).

Ví dụ đời thường: Giống như quản lý dự án — bạn cần định rõ ai quan sát tiến độ nào (nhiếp ảnh, tờ tính hay cuộc họp?), làm sao đo lường (% hoàn thành, so sánh hai milestone, hay chỉ kiểm tra cuối?), và sau cùng kiểm chứng bằng cách nào (báo cáo quản lý, điều chỉnh team hay output sản phẩm thực).

III. Main Results:​

  • 49 phương pháp phân loại theo ba khía cạnh giao diện: đầu vào (đơn quan sát, cửa sổ thời gian, so sánh, API); mục tiêu (ngôn ngữ, hình ảnh, lệnh); đầu ra (điểm, delta, xếp hạng, chương trình).
  • Bốn khuôn mẫu xây dựng tường minh: Frozen VLM (không cần huấn luyện, nhưng không hiệu chỉnh); Temporal/Relative (học geometry, nhưng yêu cầu giám sát); Instruction-Tuned (tinh chỉnh VLM, thích ứng); Programmatic (giải thích, nhưng phụ thuộc biến trạng thái).
  • Ba loại dữ liệu: con người + tự động hóa kết hợp (chi phí-chất lượng cân bằng), tự động hoàn toàn (mở rộng nhưng có độ lệch thời gian).
  • Năm tiêu chuẩn đánh giá riêng biệt: hiệu chỉnh vô hướng, nhất quán thời gian, tiến triển tương đối, nền tảng tác vụ, khả năng trả lời; và ba loại benchmark downstream (học policy trực tuyến, gán nhãn offline, xếp hạng/lập kế hoạch).

IV. Conclusion & Future Works:​

Hạn chế hiện tại: (1) Giám sát tiến triển đắt đỏ ở quy mô; (2) Mô hình không đáng tin cậy dưới phân phối lạ hoặc tác vụ mới; (3) Thiếu tiêu chuẩn đánh giá thống nhất. Hướng tương lai: (1) Tự động hóa giám sát qua LLM/VLM thông minh hơn; (2) Tổng quát hóa vượt qua biến thể góc nhìn, hình thái, tác vụ mới; (3) Đánh giá hỗ trợ tác vụ dài, không đơn điệu (thất bại, lùi lại, thử lại); (4) Kết hợp tiến triển với độ tin cậy/tính answerable; (5) Nhấn mạnh tính đúng đắn hơn hiệu suất policy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng dự đoán tiến triển từ video tĩnh sang quản lý bộ nhớ temporal rõ ràng cho tác vụ siêu dài (100+ bước), sử dụng Transformer với cơ chế attention lịch sử để theo dõi subtask hoàn thành và phát hiện lùi.
  2. Kết hợp xếp hạng ưa thích học từ so sánh VLM với calibration vô hướng để sản sinh reward smooth, dense cho planning mà vẫn bảo toàn ngữ nghĩa tiến triển.
  3. Benchmark đa-mô hình: đánh giá cùng bộ tác vụ robot với mô hình tiến triển khác nhau (CLIP, RoboReward, Eureka, LM-sinh code) trên 20+ công việc, đo độ trung thực, tổng quát, và tác dụng downstream thực tế.
  4. Phương pháp semi-supervised sử dụng ngôn ngữ tự động sinh từ VLM làm giám sát yếu, kết hợp annotation cơ bản con người để giảm chi phí 80% mà chỉ mất 5% hiệu năng.

2. Patent:​

  1. Ứng dụng di động kiểm soát robot qua video: khi người dùng quay video tác vụ mục tiêu bằng điện thoại, mô hình tiến triển phân tích frame-to-frame để sinh tín hiệu thưởng dạng điểm số hoặc chỉ dẫn, sau đó robot thực hiện hành động tối đa hóa điểm trực tuyến — không cần lập trình.
  2. Hệ thống tự hiệu chỉnh tay robot công nghiệp: trước ca làm việc, robot chạy trình thực hiện động tác thử ngắn (hạ, nâng, xoay), quay video và dùng mô hình tiến triển suy luận độ lệch camera, độ lệch động lực để điều chỉnh policy ngay, tránh retooling thủ công.
  3. Robot giao hàng học tự động từ clip TikTok/YouTube: mô hình VLM-tuned xem video người giao hàng, sinh nhãn tiến triển dạng 'khách hàng đón, kiểm tra, ký' rồi huấn luyện policy offline, robot chạy thực tế mà không cần một demo robot nào.
  4. Nhân viên robot nhà thông minh với bộ nhớ kế hoạch động: khi người dùng nói 'sắp xếp phòng khách', robot không chỉ dùng reward tĩnh mà sử dụng mô hình tiến triển học theo tường trình (step1=nhặt đồ dơ, step2=quét, step3=sắp xếp) từ video demo, cho phép thích ứng workflow cho các đối tượng lạ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.21655
ArXiv Abstracthttps://arxiv.org/abs/2607.21655
PDF Downloadhttps://arxiv.org/pdf/2607.21655.pdf
Github Repositoryhttps://github.com/sterzhang/Awesome-Progress-Models

3. JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents (116 votes)​

Tác giả: Yunlong Lin, Zixu Lin, Zhaohu Xing, Biqiang Li, Chenxin Li, et al.

Xuất bản lúc: 2026-07-26

Tag: Multimodal Agents, Creative AI, Canvas-Based Systems, Agent Orchestration, Long-Horizon Planning

I. Main Problem:​

Tạo nội dung sáng tạo hiện đại vượt ra ngoài tương tác prompt-output đơn lẻ. Công việc thực tế yêu cầu quản lý tài liệu tham khảo, bản nháp, nhiều phiên bản, phản hồi và lịch sử chỉnh sửa—nhưng các hệ thống hiện tại đều mất mát ngữ cảnh trung gian:

  • Công cụ prompt-to-output: chỉ trả về tài sản cuối cùng, ẩn đi các lựa chọn trung gian
  • Tác nhân dựa trên chat: sử dụng hội thoại tuyến tính, khó biểu diễn bố cục không gian và phụ thuộc giữa tài sản
  • Hệ thống dựa trên nút: quy trình cố định, không phải trạng thái dự án có thể chỉnh sửa được

II. Main Idea:​

JarvisHub là một harness (khung xử lý) canvas-native cho tác nhân sáng tạo đa phương thế dài hạn. Ý tưởng cốt lõi: sử dụng canvas là không gian làm việc chia sẻ, không phải chat history.

Kiến trúc ba lớp:

  • Canvas State Layer: lưu trữ multimodal artifacts, phụ thuộc, phiên bản, phản hồi dưới dạng các nút và liên kết được gõ kiểu
  • Protocol Bridge: kiểm soát cách tác nhân đọc/ghi canvas—chỉ cho phép các thao tác được xác thực, ghi lại tất cả thay đổi
  • Agent Runtime: quan sát canvas, lựa chọn hành động được phép, gọi công cụ, cập nhật tài sản và ghi lại quỹ đạo

Ví dụ đời thường: giống như một nhóm thiết kế làm việc trên một bảng phác thảo dán trên tường—mọi người đều nhìn thấy tất cả các nháp, tài liệu tham khảo và phiên bản, biết được cái nào bị từ chối và cái nào được chấp nhận, có thể quay lại bất kỳ lúc nào.

III. Main Results:​

JarvisHub được đánh giá trên ba nhiệm vụ sáng tạo dài hạn đại diện:

  • Tạo nội dung tường thuật: từ kịch bản sang trình tự hình ảnh liên tục (nhân vật quay lại, chất lượng shot, tính nhất quán về phong cách)
  • Phát triển web tương tác: từ mục tiêu thiết kế sang trang web được render (bố cục, logic tương tác, mã frontend)
  • Tạo slide thuyết trình: từ chủ đề sang slide deck đa trang (lựa chọn nội dung, tổ chức tường thuật, tính nhất quán)

Kết quả chất lượng cho thấy canvas-native harness có thể duy trì ngữ cảnh vĩ mô trong suốt quy trình dài—các kế hoạch, tài liệu tham khảo, tài sản, phụ thuộc và tiến độ đều có thể kiểm tra được.

IV. Conclusion & Future Works:​

JarvisHub chuyển đổi bài toán từ "tác nhân gọi công cụ tốt hơn" sang "tác nhân có không gian làm việc để đọc, cập nhật và giữ nhất quán". Bằng cách làm cho trạng thái dự án thành đối tượng chia sẻ (không phải chat thoáng qua), hệ thống cho phép:

  • Tác nhân thanh tra lịch sử và phụ thuộc
  • Người dùng can thiệp, chỉnh sửa và hướng dẫn bất kỳ lúc nào
  • Phục hồi từ lỗi cục bộ thay vì bắt đầu lại

Hướng tương lai: mở rộng cho các miền sáng tạo khác (thiết kế 3D, sản xuất video dài hạn), tích hợp các mô hình đánh giá mạnh hơn, và cho phép tác nhân học từ lịch sử canvas để cải thiện lập kế hoạch.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Sử dụng canvas được quản lý bởi tác nhân cho quản lý dự án sáng tạo đa người dùng—kiểm tra cách các tác nhân khác nhau hợp tác, giải quyết xung đột phiên bản và tổng hợp phản hồi.
  2. Tích hợp critic và evaluator vào vòng lặp—để tác nhân tự đánh giá chất lượng trung gian, phát hiện lỗi và quyết định khi nào cần phản hồi của con người.
  3. Mở rộng sang các công cụ thiết kế 3D và phần mềm tạo video—canvas trở thành giao diện chung cho tác nhân tương tác với các ứng dụng desktop và web.

2. Patent:​

  1. Ứng dụng di động tạo video: người dùng nói kịch bản, ứng dụng hiển thị canvas với kế hoạch cảnh (hình thu nhỏ), tài liệu tham khảo, và tùy chọn phong cách dưới dạng các nút. Người dùng tap để chấp nhận/từ chối từng cảnh hoặc kéo để sắp xếp lại thứ tự—canvas cập nhật ngay, không cần chat.
  2. Plugin Microsoft PowerPoint: khi người dùng bắt đầu bản thuyết trình mới, sidebar mở JarvisHub mini—hiển thị slide layout, diagram references, và revision history. Tác nhân đề xuất slide mới, người dùng chỉnh sửa/chấp nhận trực tiếp trong sidebar; mỗi cập nhật đều được ghi lại trên canvas cho auditability.
  3. Hệ thống quản lý tài sản sáng tạo trên đám mây: các studio quản lý hàng trăm bản phác thảo và tài sản. Canvas được lưu dưới dạng DAG có phiên bản (có thể branch/merge như Git), tác nhân có thể sao chép một nhánh, tạo biến thể thử nghiệm mà không ảnh hưởng đến bản chính, và sau đó hợp nhất các thay đổi tốt nhất trở lại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.23588
ArXiv Abstracthttps://arxiv.org/abs/2607.23588
PDF Downloadhttps://arxiv.org/pdf/2607.23588.pdf
Github Repositoryhttps://github.com/LYL1015/JarvisHub

4. From Proprietary to Open-Source: Bridging the Distribution Gap via Multi-Agent Protocol Distillation in Agentic Search (75 votes)​

Tác giả: Junlin Liu, Jiangwang Chen, Zixin Song, Shuaiyu Zhou, Chunji Lv, et al.

Xuất bản lúc: 2026-07-27

Tag: Knowledge Distillation, Agentic Search, LLMs, Multi-Agent Systems, Reinforcement Learning

I. Main Problem:​

Các mô hình mã nguồn mở kém hiệu suất trong tìm kiếm agentic (nhiệm vụ tích hợp suy luận và truy xuất thông tin). Tối ưu hóa dựa trên kết quả cuối cùng chỉ cung cấp giám sát thưa thớt cho các bước trung gian phức tạp. Cách tiếp cận hiện tại:

  • Distillation logit trực tiếp: bị chặn do tokenizer không khớp và logit không tiếp cận được từ các mô hình độc quyền
  • Bắt chước quỹ đạo tự nhiên: dẫn đến độ trôi phong cách (student học cách diễn đạt dài dòng, dạo diễn kém hiệu quả của teacher) thay vì chiến lược suy luận cốt lõi

II. Main Idea:​

Multi-Agent Protocol Distillation (MAPD) sử dụng giao thức JSON có cấu trúc làm cầu nối giữa teacher (mô hình độc quyền) và student (mô hình mã nguồn mở).

Quy trình:

  1. Giai đoạn ngoại tuyến: Hệ thống đa tác nhân (Orchestrator, Searcher, Repair, Protocolizer) được chạy bởi mô hình độc quyền để phân tách truy vấn, truy xuất bằng chứng, sửa chữa tìm kiếm thất bại, và chuyển đổi kết quả thành giao thức JSON được chuẩn hóa (chứa loại tác vụ, kế hoạch suy luận, sự kiện grounding)
  2. Giai đoạn huấn luyện: Giao thức được cung cấp chỉ cho một nhánh ưu tiên của policy student; nhánh này và nhánh chính chia sẻ tham số, do đó tín hiệu distillation mật độ cao giữa chúng bổ sung mục tiêu RL thưa thớt

Ví dụ đời thường: Giống như nhân viên mới không chỉ sao chép cách thuyết trình dài dòng của người hướng dẫn, mà được cung cấp một bản tóm tắt có cấu trúc (danh sách các bước, sự kiện chính) để nội hóa chiến lược mà không bị nhiễm phong cách cá nhân của mentor.

III. Main Results:​

  • Qwen3-1.7B: 39.4% tỷ lệ thành công trung bình trên 7 benchmark QA (+4.8% so với SDAR)
  • Qwen3-4B: 44.4% tỷ lệ thành công (+3.3% so với SDAR)
  • Lợi ích lớn nhất trên nhiệm vụ phức tạp: +7.9% cải thiện tương đối trên multi-hop QA (1.7B), so với +2.3% trên single-hop
  • Chuyển giao mô hình: Hiệu suất không đổi (<2 điểm) khi chuyển từ Claude-Opus-4.6 sang GPT-5.5 hoặc Gemini-3.1-Pro mà không cần điều chỉnh siêu tham số
  • Khác biệt so với baseline: Pure OPSD sụt giảm thảm hại (5.9% trên 1.7B) do thiếu thông tin bên ngoài, dẫn đến output dài dòng bất thường

IV. Conclusion & Future Works:​

MAPD thành công trong việc cách ly chiến lược suy luận từ các hiện tượng phong cách bề mặt thông qua giao thức có cấu trúc, cho phép distillation an toàn từ các mô hình độc quyền sang mã nguồn mở mà không gây ra độ trôi. Hướng tương lai: (1) Tối ưu hóa chiến lược sinh giao thức hệ thống đa tác nhân để giảm chi phí API; (2) Mở rộng giao thức cho các tác vụ agentic khác (lập kế hoạch, tương tác thế giới thực); (3) Phát triển mecanisme tự cải thiện nơi student có thể tự sinh giao thức để học tập liên tục.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng MAPD cho các tác vụ agentic đa phương thức (xử lý hình ảnh, video) bằng cách bổ sung loại dữ liệu đa phương thức vào giao thức JSON và bổ sung module visual grounding.
  2. Distillation đồng thời từ nhiều teacher mô hình độc quyền để tổng hợp các chiến lược suy luận khác nhau thành giao thức có chất lượng cao hơn, tăng độ mạnh mẽ.
  3. Hệ thống học tự sinh giao thức: student học tạo ra giao thức để tự distillation, loại bỏ sự phụ thuộc vào teacher ngoại tuyến và cho phép cải thiện liên tục tại test-time.

2. Patent:​

  1. Hệ thống chatbot di động tự cải thiện: ứng dụng điện thoại tham khảo từ một API mô hình độc quyền mạnh mẽ, nhưng nó chỉ gửi các giao thức JSON có cấu trúc (không quỹ đạo tự nhiên dài dòng) để huấn luyện mô hình local nhúng trên thiết bị, tiết kiệm băng thông và bảo vệ quyền riêng tư.
  2. Công cụ customer support tự động: hệ thống distill chiến lược giải quyết vấn đề từ người đại diện chuyên nghiệp thông qua giao thức có cấu trúc (các bước kiểm tra, câu hỏi chẩn đoán), cho phép chatbot AI học phương pháp thực tế mà không học phong cách ngôn ngữ cá nhân của từng agent.
  3. Robot tìm kiếm thông tin công cộng: khi truy vấn thông tin phức tạp (giá nhà trong khu vực, quy định pháp lý), robot điều phối các truy vấn con song song thông qua giao thức (loại truy vấn, kế hoạch logic, sự kiện quan trọng) thay vì ghi lại toàn bộ cuộc trò chuyện, giảm kích thước bộ nhớ cho triển khai mobile.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.24280
ArXiv Abstracthttps://arxiv.org/abs/2607.24280
PDF Downloadhttps://arxiv.org/pdf/2607.24280.pdf
Github RepositoryN/A

5. Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation (71 votes)​

Tác giả: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, et al.

Xuất bản lúc: 2026-07-27

Tag: Diffusion Models, Classifier-Free Guidance, On-Policy Distillation, Video Control

I. Main Problem:​

On-Policy Diffusion Distillation (OPD) kết hợp Classifier-Free Guidance (CFG) nhằm chuyển giao kiến thức từ teacher sang student model. Tuy nhiên, các phương pháp OPD hiện tại chỉ khớp dự đoán CFG tổng hợp, để lại các branch lỗi dương và âm có thể bù trừ lẫn nhau mà không thay đổi dự đoán được hướng dẫn. Hậu quả:

  • Khi teacher có thông tin ưu tiên trên branch âm (ví dụ: reference images không sẵn cho student), sự bù trừ này gây Negative Branch Asymmetry (NBA)
  • Student giảm lỗi branch dương nhưng tăng lỗi branch âm
  • Mô hình học được những "cách bù trừ" chỉ hoạt động ở guidance scale huấn luyện, nên sụt hiệu năng mạnh khi thay đổi guidance scale tại inference time

II. Main Idea:​

Positive-Direction Matching (PDM) giải quyết NBA bằng cách giám sát trước khi tổng hợp CFG, thay vì chỉ khớp dự đoán tổng hợp.

Thay vì: Loss ∝ ‖γv⁺ₜ + (1−γ)v⁻ₜ − γv⁺ₛ − (1−γ)v⁻ₛ‖²

PDM khớp:

  • Dự đoán dương trực tiếp: ‖v⁺ₜ − v⁺ₛ‖²
  • Hướng conditional của CFG trực tiếp: ‖(v⁺ₜ − v⁻ₜ) − (v⁺ₛ − v⁻ₛ)‖²

Zero-loss PDM buộc cả hai branch lỗi về không, loại bỏ hoàn toàn tự do bù trừ của guided matching.

Ví dụ đời thường: giống như một thầy dạy không chỉ kiểm tra kết quả cuối cùng của học sinh (điểm tổng), mà kiểm tra riêng từng phần (nội dung A, phương pháp B) để đảm bảo học sinh thực sự hiểu từng yếu tố, chứ không phải chỉ "may mắn" bù trừ lỗi sai.

III. Main Results:​

  • Text-rendering distillation (shared negative conditioning): cả naive OPD và PDM đều hoạt động tốt; NBA không xuất hiện vì cả hai branch lỗi giảm chung.
  • Reference-conditioned distillation (privileged negative conditioning): naive OPD giảm lỗi branch dương nhưng tăng lỗi branch âm (antagonistic dynamics); PDM ngăn chặn sự tăng lỗi branch âm.
  • Dense-to-sparse video control (pose, depth, scribble):
    • Tại training guidance scale (γ=5): PDM cải thiện độ trung thực điều khiển so với naive OPD trên cả 3 modality
    • Guidance-scale generalization (γ=1,3,5): naive OPD sụt mạnh (FVD tăng từ 67 lên 507 ở γ=1); PDM giữ ổn định (FVD ≈58-60 trên tất cả scales)
  • Ablation: λ=1 (trọng số direction-matching) cho kết quả tốt nhất; K=8 (số trạng thái giám sát) cân bằng hiệu năng và chi phí tính toán

IV. Conclusion & Future Works:​

Nghiên cứu này chứng minh rằng áp đặt giám sát ở mức branch thay vì chỉ ở mức tổng hợp là chìa khóa để OPD với CFG trở nên ổn định và khái quát hóa tốt trên các guidance scales khác nhau. PDM không chỉ khắc phục NBA mà còn cải thiện khả năng chuyển giao kiến thức dense-to-sparse trong bối cảnh video control thực tế. Hướng tương lai: mở rộng PDM cho các cơ chế hướng dẫn khác (ví dụ: Classifier-based guidance), tối ưu hóa chiến lược giám sát động để giảm chi phí tính toán, và ứng dụng vào các lĩnh vực điều khiển khác như điều khiển robot hay chỉnh hình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phân tích NBA sang các mô hình diffusion khác (FLUX, Stable Diffusion v3, v4) để kiểm tra tính tổng quát của hiện tượng và PDM trên kiến trúc/parameterization khác nhau.
  2. Kết hợp PDM với pruning/quantization để tối ưu thêm chi phí OPD trong video generation, đặc biệt cho các ứng dụng mobile hoặc edge computing.
  3. Phát triển phương pháp tự động tìm giá trị λ tối ưu cho mỗi cặp teacher-student dựa trên đặc trưng của negative conditioning.

2. Patent:​

  1. Hệ thống điều khiển video theo tham chiếu ổn định (Stable Reference-Based Video Control): Điện thoại hoặc ứng dụng hỗ trợ người dùng tạo video follow style từ ảnh tham chiếu. Công nghệ PDM đảm bảo model duy trì phong cách tham chiếu ngay cả khi người dùng điều chỉnh CFG guidance strength tại playback hoặc tạo nhiều video cùng style.
  2. Auto-calibration cho robot điều khiển video (Video-Guided Robot Control): Khi robot nhận lệnh dạng video keyframe hoặc sparse control, PDM-based student model điều khiển động tác. Ưu điểm: model học từ dense teacher trajectories nhưng chạy trên sparse input tại production, với hiệu năng ổn định dù người điều khiển thay đổi CFG hoặc tham số động lực học.
  3. Streaming video synthesis với guidance-scale flexibility: Phát triển plugin hoặc API cho video generation platforms cho phép thay đổi guidance strength in-session mà không sụt chất lượng. PDM đảm bảo consistency ngữ nghĩa khi người dùng điều chỉnh "độ sáng tạo" hay "độ trung thực" trong quá trình render hoặc preview video.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.24731
ArXiv Abstracthttps://arxiv.org/abs/2607.24731
PDF Downloadhttps://arxiv.org/pdf/2607.24731.pdf
Github Repositoryhttps://github.com/rethinking-cfg-opd/Rethinking-CFG-OPD

6. StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents (56 votes)​

Tác giả: Yan Yang, Xiangru Jian, Ziyang Luo, Zirui Zhao, Yutong Dai, et al.

Xuất bản lúc: 2026-07-24

Tag: Computer-Use Agents, GUI Automation, Program State, Long-Horizon Tasks, Verification, Code-First Action

I. Main Problem:​

Các tác nhân máy tính hiện đại phụ thuộc quá nặng vào nhận thức hình ảnh — đọc screenshot để chọn nơi click. Nhưng ảnh chỉ là bản render mất mát của trạng thái thực sự của chương trình (file, DOM, database, backend). Hậu quả:

  • Mất thông tin quan trọng: công thức trong ô tính, hàng ẩn, dữ liệu ngoài màn hình không thể nhìn thấy từ ảnh
  • Lỗi tích lũy qua nhiều bước: mỗi bước đọc ảnh có sai lệch nhỏ, sau hàng trăm bước sai lệch cộng dồn
  • Không thể xác minh hoàn thành: không biết liệu file đã lưu đúng, công thức đúng hay chỉ hiển thị đúng trên màn hình

II. Main Idea:​

StateAct — tác nhân hoạt động trực tiếp trên trạng thái chương trình thay vì ảnh. Kiến trúc có ba phần:

1. Hành động trên trạng thái (Act on State): tác nhân chính dùng code (bash, Python, truy vấn DOM, đọc file) để tìm, đọc, sửa chữa dữ liệu thực mà tác vụ yêu cầu. GUI chỉ dùng khi không thể truy cập qua code (kéo canvas, loại bỏ modal không lập trình được) — chỉ 1.1% các bước của tác nhân chính cần visual interaction.

2. Xác minh trên trạng thái (Verify on State): một cổng độc lập (finish gate) không nhìn lịch sử hay câu chuyện của tác nhân, chỉ đọc trực tiếp file lưu, database, DOM thực để kiểm tra xem kết quả có đúng cấu trúc (file ở đúng chỗ, lưu đúng format, có đủ phần tử).

3. Duy trì qua các bước dài: quản lý context bằng compaction tự động, danh sách nhiệm vụ lưu bên ngoài, và ủy quyền cho tác nhân mới mỗi lần để giữ context sạch sẽ.

Ví dụ đời thường: giống như bạn phải làm báo cáo trong Excel — thay vì vào mỗi lần click xem màn hình, bạn viết macro để đọc công thức trong ô, lấy dữ liệu từ database, ghi kết quả vào file rồi mở file đó để kiểm tra chắc chắn nó lưu đúng.

III. Main Results:​

  • OSWorld 2.0 (108 tác vụ long-horizon): StateAct nâng Claude Opus 4.8 từ 20.6% → 26.9% binary success (tác vụ hoàn toàn đúng) và 54.8% → 61.6% partial success (hoàn thành từng phần)
  • Chi phí giảm 9×: từ ~72/taˊcvụxuo^ˊng∗∗ 72/tác vụ xuống **~7.8/tác vụ**, vừa rẻ vừa chính xác
  • Vượt mọi baseline công khai: StateAct 26.9% vs GPT-5.5 13.0% vs Opus-4.7 18.2%
  • Ablation: loại bỏ act-on-state làm sụt 61.6% → 51.3%, lớn nhất trong ba thành phần
  • Bash-only (không GUI): chỉ 45.9% partial, thấp hơn cả baseline nhìn ảnh (54.8%), chứng tỏ cần cả hai kênh
  • Cổng xác minh: bắt được 8/9 lỗi cấu trúc (88.9% precision), nhưng không thể phát hiện lỗi giá trị (đó là lỗi suy luận)

IV. Conclusion & Future Works:​

Kết luận: hoạt động trên trạng thái thực (code, file, DOM) thay vì ảnh mở ra hướng mới — nhân không phụ thuộc vào nhận thức, mà vào suy luận. Cổng độc lập bắt được lỗi cấu trúc (missing file, format sai) nhưng không thể giải quyết lỗi suy luận (giá trị sai từ logic sai) — đó là giới hạn nội tại mà không có oracle.

Hướng tương lai:

  • Cải thiện suy luận (38/79 tác vụ thất bại là lỗi suy luận, không phải nhận thức)
  • Mở rộng cho tác vụ yêu cầu xương logic phức tạp hoặc lựa chọn giữa nhiều khả năng hợp lệ
  • Kết hợp state-grounding với world model để dự đoán tác động của hành động code

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng StateAct cho multi-agent collaborative tasks: mỗi agent hoạt động trên trạng thái riêng (file, database), cổng xác minh trung tâm kiểm tra kết quả cuối toàn bộ hệ thống.
  2. Học trực tiếp từ lỗi của cổng xác minh: khi finish gate từ chối một tác vụ, tối ưu hóa chính sách tác nhân chính để tránh lớp lỗi đó trong lần tương tác tiếp theo.
  3. State-grounding cho agent di động: thay vì nhìn screenshot điện thoại, agent sử dụng adb shell, đọc Android accessibility tree, query database app để hiểu lại trạng thái thực.
  4. Hybrid verification: kết hợp cổng xác minh structural (hiện tại) với oracle weak (ví dụ: mô hình nhỏ để kiểm tra arithmetic/danh sách đơn giản) để nâng mức phát hiện lỗi giá trị.

2. Patent:​

  1. Tự động điều chỉnh RPA workflow: khi quy trình UiPath thất bại, agent chính dùng PowerShell/bash để kiểm tra cơ sở dữ liệu backend và tìm ra lý do thực (máy chủ down, dữ liệu cũ), rồi tự sửa chữa hoặc cảnh báo con người chi tiết.
  2. Xác minh tự động cho task automation di động: sau khi automation chạy xong (rút tiền, thanh toán, gửi tin nhắn), cổng độc lập lại kiểm tra trạng thái thực (số dư tài khoản, lịch sử giao dịch) để bắt lỗi mà người dùng không thấy trên màn hình.
  3. Agent thợ lập trình tự kiểm tra code: khi viết xong function, agent tạo test case bằng cách kiểm tra trạng thái file sau chạy (AST, bytecode, import graph) thay vì chỉ nhìn output, phát hiện side-effect ẩn.
  4. Excel/Sheets automation checker: macro tự động sau khi chạy xong, dùng code để đọc công thức trong ô (không phải giá trị hiển thị), xác minh tính toán đúng, phát hiện reference sai hoặc circular dependency mà mắt nhìn không thấy.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.22798
ArXiv Abstracthttps://arxiv.org/abs/2607.22798
PDF Downloadhttps://arxiv.org/pdf/2607.22798.pdf
Github RepositoryN/A

7. Data Pyramid for Embodied Manipulation (33 votes)​

Tác giả: Yifan Ye, Yankai Fu, Yaoxu Lv, Bohan Hou, Jun Cen, et al.

Xuất bản lúc: 2026-07-27

Tag: Robotics, Embodied AI, Data Curation, Manipulation, Vision-Language-Action, World Models, Foundation Models

I. Main Problem:​

Các mô hình nền tảng cần dữ liệu kết hợp quan sát với trạng thái vật lý và hành động, nhưng hiện nay không có tổ chức rõ ràng về các nguồn dữ liệu khác nhau. Cộng đồng đang sử dụng hỗn hợp:

  • dữ liệu robot thực: độ trung thực cao nhưng tốn kém, khó mở rộng
  • dữ liệu mô phỏng: dễ mở rộng nhưng vẫn còn khoảng cách sim-to-real
  • video con người: đa dạng nhưng cần chuyển đổi hành động
  • dữ liệu UMI: ghi lại chuyển động cuối tay mà không cần robot trong vòng lặp
  • dữ liệu chung: hình ảnh, video, ngôn ngữ nhưng thiếu chỉ dẫn hành động

Sự thiếu hệ thống hóa này dẫn đến không biết cách lựa chọn, trộn và sử dụng các nguồn dữ liệu một cách tối ưu.

II. Main Idea:​

Data Pyramid — tổ chức hệ sinh thái dữ liệu robot thành năm lớp từ đỉnh đến đáy, được xếp theo hai trục xung đột:

Năm loại dữ liệu:

  • Real-Robot Data (đỉnh): quỹ đạo trên robot thực, hành động trực tiếp thực thi nhưng tốn kém
  • UMI-Style Data: chuyển động cuối tay ghi từ giao diện cầm tay, không cần robot
  • Egocentric/Exocentric Data: video con người, vật lý thực nhưng phải chuyển đổi hành động
  • Simulation Data: từ công cụ vật lý, dễ mở rộng nhưng vẫn có sai khác so với thực tế
  • General Data (đáy): hình ảnh, video, ngôn ngữ từ internet, quy mô lớn nhưng không liên quan hành động

Hai trục tổ chức:

  • Khả năng mở rộng (Scalability): dữ liệu dễ tạo, chi phí biên tế thấp
  • Căn chỉnh robot (Robot Alignment): liên quan trực tiếp đến hành động robot thực, độ trung thực vật lý cao

Bốn chiều bổ sung:

  • Chất lượng: tính hợp lệ, nhất quán, độ thông tin cao
  • Đa dạng: bao phủ nhiều tác vụ, vật thể, góc nhìn, cấu hình robot
  • Tái sử dụng: chuyển giao giữa tác vụ, môi trường, hình thái robot
  • Độ trung thực vật lý: mô phỏng chính xác tiếp xúc, ma sát, phản hồi

Ví dụ đời thường: giống một tòa nhà — từ trên xuống dưới là những cầu thang (dữ liệu robot), chân tay ghi lại (UMI), video người học (con người), cách lắp ráp ở nhà máy (mô phỏng), cuốn sách hướng dẫn chung (internet). Mỗi tầng mang thông tin khác nhau; để xây vững chắc, cần biết khi nào dùng mỗi tầng.

III. Main Results:​

  • Phân loại hệ thống: Xây dựng bộ phân loại Data Pyramid với năm loại dữ liệu được sắp xếp theo scalability và robot alignment, phân tích sâu theo chất lượng, đa dạng, tái sử dụng, độ trung thực vật lý.
  • Phân tích các mô hình nền: Kiểm tra các mô hình embodied foundation model hiện đại (RT-1, GR00T, Motus, v.v.) và quan sát xu hướng — từ chỉ dùng dữ liệu robot thực sang hỗn hợp đa nguồn (robot thực + mô phỏng + egocentric + general data).
  • Ánh xạ lợi ích: Liên kết thành phần dữ liệu với khả năng mô hình — chẳng hạn embodied brain models cần dữ liệu tổng quát rộng rãi, vision-language-action models cần hành động robot rõ ràng, world-action models cần dữ liệu bao gồm cả kết quả hành động.
  • Quy mô tiến hóa: Ghi nhận rằng các loại dữ liệu đều tăng trưởng theo thời gian — simulation, UMI, robot data, egocentric, general data.

IV. Conclusion & Future Works:​

Data Pyramid cung cấp khung tổ chức chính thức để hiểu và sử dụng dữ liệu robot. Sáu thách thức chính:

1. Dữ liệu cảm ứng lớn — liên hệ, lực, tính chất vật liệu vẫn thiếu 2. Dữ liệu thất bại và phục hồi — mô hình học chủ yếu từ thành công, không từ thất bại 3. Quy trình thu thập có thể mở rộng — giảm phụ thuộc vào tele-operation thủ công 4. Căn chỉnh hành động giữa các hình thái — chuyển đổi hành động giữa robot khác nhau 5. Sử dụng dữ liệu egocentric cho manipulation tinh vi — chuyển kinh nghiệm con người sang tay robot 6. Công thức dữ liệu có nguyên tắc — quyết định trộn tỷ lệ tối ưu từ mỗi lớp

Hướng phát triển: Tích hợp hệ thống hóa này vào thiết kế robot thế hệ tiếp theo, phát triển quy trình thu thập có thể mở rộng, và xây dựng công thức dữ liệu có nguyên tắc cho training embodied foundation models.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các chiến lược tối ưu hóa hỗn hợp dữ liệu — xác định tỷ lệ tốt nhất giữa real-robot, UMI, egocentric, simulation, và general data cho từng loại tác vụ (grasping, manipulation, navigation).
  2. Phát triển quy trình chuyển đổi hành động chéo hình thái (cross-embodiment retargeting) — ánh xạ từ dữ liệu UMI và egocentric sang hành động robot khác nhau một cách tự động và linh hoạt.
  3. Xây dựng tập dữ liệu cảm ứch và lực lớn quy mô — tích hợp phản hồi liên hệ, lực vào các mô hình learning để cải thiện manipulation có độ trung thực cao.
  4. Thiết kế mô hình học từ thất bại — công thức dữ liệu bao gồm sự cố, phục hồi, và phân tích nhân quả để robot có thể nhận diện và xử lý tình huống khó khăn.
  5. Khảo sát các phương pháp sinh dữ liệu tổng hợp thích ứng — sử dụng world models và reinforcement learning để tạo ra dữ liệu mô phỏng thông tin cao thay vì ngẫu nhiên.

2. Patent:​

  1. Hệ thống chuẩn bị robot tự động: trước mỗi ca làm việc, robot thực hiện chuỗi động tác thăm dò ngắn; kết hợp camera, cảm biến lực, cảm biến cảm ứng để suy ra hiệu chỉnh động lực học động (vị trí camera, độ bền khớp, độ mở kẹp) mà không cần can thiệp thủ công.
  2. Giao diện điều khiển robot qua video con người: người dùng quay video demo hành động (không cần robot); hệ thống tự trích xuất quỹ đạo tay, chuyển đổi sang hành động robot thực dựa trên mô hình UMI retargeting, rồi robot thực thi. Cho phép dạy robot qua điện thoại mà không cần phần cứng đặc biệt.
  3. Module dự đoán sự cố theo thời gian thực: tích hợp dữ liệu thất bại và phục hồi vào world model, robot dự báo liệu tác vụ hiện tại sẽ thất bại; nếu có xác suất cao, đề xuất hành động khắc phục trước khi sự cố xảy ra.
  4. Thư viện tác vụ đa hình thái: duy trì ngân hàng dữ liệu UMI cho các tác vụ phổ biến (cắm, xếp chồng, gấp); khi triển khai robot mới, tự động retarget UMI demonstrations sang hình thái mới mà không cần thu thập lại.
  5. Ứng dụng egocentric trên robot lắp ráp: gắn camera góc nhìn thứ nhất trên tay robot; so sánh dòng video với dữ liệu egocentric con người để điều chỉnh chiến lược cầm nắm và thao tác trong thời gian thực, nâng cao dexterity.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.24744
ArXiv Abstracthttps://arxiv.org/abs/2607.24744
PDF Downloadhttps://arxiv.org/pdf/2607.24744.pdf
Github Repositoryhttps://github.com/worldbench/awesome-embodied-data-pyramid

8. Sol-Attn: Accelerating Video Generation Inference via On-the-Fly Attention Sparsification (32 votes)​

Tác giả: Haopeng Li, Yitong Li, Junsong Chen, Tian Ye, Haozhe Liu, et al.

Xuất bản lúc: 2026-07-27

Tag: Sparse Attention, Video Generation, Diffusion Transformers, Inference Optimization, GPU Kernels

I. Main Problem:​

Các mô hình Diffusion Transformer (DiT) cho sinh video độ phân giải cao yêu cầu chuỗi token cực dài, khiến phép toán attention (phức tạp O(L²)) trở thành nút thắt hiệu suất. Các phương pháp sparse attention hiện có gặp hai vấn đề cơ bản:

  • Định tuyến cứng nhắc, tốn kém: top-k bắt buộc ngân sách cố định, top-p linh hoạt nhưng khó kiểm soát, cả hai đều phải lưu trữ ma trận proxy score hoàn toàn trong HBM.
  • Mất thông tin: các block bị loại bỏ hoàn toàn, sút chất lượng khi nén mạnh.

II. Main Idea:​

Sol-Attn thống nhất định tuyến động, tính toán sparse, và hiệu chỉnh xấp xỉ trong một lần softmax trực tuyến duy nhất, mà không cần lưu proxy map.

Ba bước chính:

  • Threshold dựa trên từng query: thay vì top-k/top-p, Sol-Attn tính threshold cho mỗi query block từ trung bình và độ lệch chuẩn của proxy scores. Điều này tạo ngân sách động mà vẫn kiểm soát được mà không materializing toàn bộ proxy map.
  • Sparse on-the-fly: khi quét pooled-key theo chunks, mỗi proxy score được so sánh ngay với threshold trên chip; những block trên ngưỡng gửi vào vòng lặp sparse chính xác (inner loop).
  • Tái sử dụng proxy score: thay vì bỏ đi, Sol-Attn giữ proxy scores của các block dưới ngưỡng trong registers và xấp xỉ đóng góp của chúng bằng khai triển Taylor bậc 0, giảm lỗi so với attention dense.

Ví dụ đời thường: giống như lễ tân sàng lọc khách: thay vì ghi danh sách tất cả rồi chọn, lễ tân sàng lọc ngay khi từng khách tới dựa trên tiêu chí đơn giản (cao cao hay người quen), và nếu bỏ lỡ khách nào thì ghi chú khoảng cách để ước chừng họ có quan trọng hay không chứ không xóa sạch.

III. Main Results:​

  • Video generation: Sol-Attn đạt 2.1–3.0× speedup end-to-end trên Wan 2.1, HunyuanVideo, LTX 2.3 mà giữ chất lượng VBench.
  • Video editing (Bernini): 2.3× speedup mà chỉ sai khác tối thiểu so với dense attention.
  • Video refinement (SANA-WM): 3.04× speedup với độ chính xác tư thế vượt các phương pháp sparse khác.
  • Text-to-image (Ideogram 4): 1.56× speedup trên sinh ảnh 2K độ phân giải cao.
  • Efficiency kernel: speedup lên đến 5.41× ở 128K tokens + 90% sparsity; định tuyến 11.5–32.7× nhanh hơn top-k/top-p; bộ nhớ processor gần Dense (1.45 GB vs 11.52 GB của SVG2).
  • Tích hợp Sol-Engine: kết hợp với kỹ thuật tối ưu bổ sung (diffusion-step cache, kernel fusion) đạt 5.08× speedup trên HunyuanVideo.

IV. Conclusion & Future Works:​

Sol-Attn giải quyết căng thẳng giữa hiệu suất định tuyến và độ chính xác sparse bằng cách hợp nhất routing và approximate correction trong một luồng online-softmax, loại bỏ nhu cầu materializing proxy map.

Hạn chế hiện tại:

  • Chỉ hỗ trợ forward inference trên B200, chưa tối ưu hóa đầy đủ.
  • Đánh giá giới hạn trong sinh video diffusion, chưa cover sinh video tự hồi quy (autoregressive).

Hướng phát triển:

  • Tối ưu kernel cho Blackwell và hỗ trợ backward pass.
  • Mở rộng cho mô hình autoregressive.
  • Triển khai trainable với gradient support.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp Sol-Attn với phương pháp lựa chọn block học được (learned routing) để tích hợp phản hồi độ chính xác vào việc lựa chọn trong quá trình huấn luyện.
  2. Áp dụng threshold-based routing cho các mô hình trí tuệ nhân tạo khác yêu cầu attention dài (large language models, multimodal transformers) và so sánh với sparse patterns đã biết.
  3. Phát triển biến thể Sol-Attn cho cross-attention (giữa text embedding và visual features) trong video generation để tối ưu cả spatial và temporal redundancy.

2. Patent:​

  1. Smartphone video filter real-time: mobile app sử dụng Sol-Attn + lightweight diffusion model để áp dụng style transfer hoặc super-resolution trực tiếp trên video capture, giảm 70–80% latency so với dense attention, tiết kiệm pin và tránh gửi dữ liệu lên cloud.
  2. Cloud video generation service với tiered efficiency: dựa trên mô hình người dùng (draft nhanh hay high-quality), backend tự chọn sparsity level (70–90%) động, tiết kiệm chi phí GPU khi phục vụ lượng request lớn mà tránh sút chất lượng.
  3. Real-time video editing trong camera app: người dùng quay video, app tự áp dụng Sol-Attn để chỉnh sửa trực tiếp (object removal, background swap, style) trong quá trình ghi hoặc strean live mà không lag, nhờ speedup 2–3×.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.24027
ArXiv Abstracthttps://arxiv.org/abs/2607.24027
PDF Downloadhttps://arxiv.org/pdf/2607.24027.pdf
Github RepositoryN/A

9. Oxygen-TryOn: Fashion-Native Foundation Model for Any-item Virtual Try-On (26 votes)​

Tác giả: Yong Liu, Xiaolong Fu, Zihang Xu, Wen Xue, Xueheng Li, et al.

Xuất bản lúc: 2026-07-23

Tag: Virtual Try-On, Fashion AI, Diffusion Models, Multi-Reference Generation, Image Synthesis, Instruction-Guided Editing

I. Main Problem:​

Hệ thống thử đồ ảo hiện tại bị hạn chế về giới hạp từng loại trang phục (chỉ áo trên, quần dưới), thiếu linh hoạt với phụ kiện, giày, túi và không xử lý tốt các ảnh tài liệu không được kiểm soát. Các phương pháp hiện đại gặp khó khăn:

  • Giảm chất lượng chi tiết: không giữ được kết cấu, hoạ tiết, logo của đồ
  • Thay đổi danh tính: làm mất các đặc điểm của người mô tả
  • Không kết hợp nhiều đồ: khó xử lý việc xếp lớp và tương tác giữa các vật dụng
  • Phụ thuộc vào mặt nạ: các phương pháp inpainting dựa mặt nạ không học được logic về cách mặc đồ.

II. Main Idea:​

Oxygen-TryOn được xây dựng như một mô hình nền tảng chuyên biệt cho thử đồ, không phục vụ mục đích chung. Thay vì coi bài toán là inpainting có mặt nạ, nó được phát triển lại thành tác vụ tạo ảnh đa tham chiếu có hiểu biết - mô hình học lý do vì sao đồ được mặc như thế nào, tự xử lý che phủ, biến dạng và xếp lớp.

Kiến trúc:

  • MLLM (Qwen3-VL) hiểu lệnh và tham chiếu đồ
  • VAE trích xuất token ảnh từ trang phục và người mô tả
  • MMDiT (Diffusion Transformer đa phương thức) tổng hợp kết quả bằng cách:
    • Đọc mô tả chi tiết từ từng trang phục tham chiếu
    • Suy luận về vị trí, kích thước, và cách xếp lớp
    • Giữ nguyên bộ mặt, hình dáng, và nền của người mô tả

Quy trình huấn luyện ba giai đoạn:

  1. CPT (tiếp tục tiền huấn luyện): khởi động từ JoyAI-Image-Edit
  2. SFT (tinh chỉnh có giám sát quy mô lớn): trên dữ liệu thử đồ chất lượng cao
  3. RL (học tăng cường): sử dụng hệ thống phần thưởng lai giữa mô hình phần thưởng chuyên biệt try-on và nhà phán xét đa mục đích chung

Ví dụ đời thường: giống khi bạn đến cửa hàng, thợ bán tư vấn nhìn cách áo khoác ngồi trên bạn, chính xác cách nó xếp lớp với trang phục khác và cách nó phù hợp với dáng người bạn—không chỉ fill pixel vào một vùng trống.

III. Main Results:​

  • Thử đồ đơn lẻ: đạt tính nhất quán và thực tế tốt nhất, vượt qua Nano Banana Pro, GPT-Image-2, và FLUX.2
  • Thử đồ đa vật: hỗ trợ kết hợp tự do từ 2+ trang phục/phụ kiện/giày/túi xách với xếp lớp hợp lý
  • Bảo tồn chi tiết: giữ nguyên được hoạ tiết, logo, kết cấu vải từ ảnh tham chiếu
  • Đa dạng tình huống: hoạt động trên ảnh sản phẩm sạch, ảnh thực tế (người khác mặc), thân toàn bộ, nửa thân, và vùng cơ thể cục bộ (tay, chân, đầu)
  • Chỉnh sửa kết hợp: cùng một lượt tạo ảnh cũng thực hiện lệnh chỉnh sửa chung (thay đổi tư thế, cảnh)

IV. Conclusion & Future Works:​

Oxygen-TryOn là hệ thống đầu tiên cung cấp thử đồ đa tham chiếu trên bất kỳ loại vật dụng nào ở độ trung thực cao. Công trình này mở ra hướng cho:

  • Mô hình chuyên biệt cho miền: thay vì dựa vào mô hình chung, xây dựng nền tảng chuyên sâu cho từng tác vụ thực tế
  • Động cơ dữ liệu thông minh: tổng hợp dữ liệu thực tế và tổng hợp với ràng buộc thông minh hơn
  • Phần thưởng lai: kết hợp mô hình phần thưởng chuyên biệt với đánh giá chung để nâng cao chất lượng

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Oxygen-TryOn cho thử đồ 3D: tạo mô hình 3D quần áo được mặc từ lịch sử 2D, cho phép xoay 360° và xem từ góc lạ
  2. Thử đồ video: cho phép người dùng cung cấp video gốc; mô hình tổng hợp video thử đồ với chuyển động mượt mà, giữ nguyên quán tính cơ thể
  3. Thử đồ tương tác: tích hợp phản hồi thời gian thực từ người dùng để điều chỉnh phù hợp, kích thước và cách xếp lớp trong quá trình tạo ảnh
  4. Mở rộng đa tác vụ: cùng một mô hình xử lý thử đồ, khớp bộ phận cơ thể, và chỉnh sửa hình ảnh chung mà không phải chuyển tác vụ

2. Patent:​

  1. Tính năng "Thử đồ toàn bộ tủ quần áo" cho điện thoại: người dùng chụp ảnh từng chiếc quần áo trong tủ; hệ thống xây dựng danh sách kỹ thuật số; một nút để tự động tạo ra các bộ phối hợp hợp lý từ các trang phục có sẵn và hiển thị người dùng mặc từng bộ
  2. Cảnh báo phù hợp tại cửa hàng: khi người dùng quét mã QR của một sản phẩm thời trang, ứng dụng sử dụng ảnh từ điện thoại trước đó của họ để hiển thị cách chiếc áo/quần đó sẽ trông như thế nào với các bộ phối họ đã sở hữu
  3. Thử đồ sinh lý: dự đoán cách quần áo sẽ vừa vặn dựa trên hình dáng, chiều cao và loại cơ thể của người dùng; hệ thống cảnh báo nếu áo sẽ quá rộng, quá chật hoặc có thể không phù hợp với cơ thể
  4. Thử đồ để mua sắm nhóm: nhiều người bạn chia sẻ ảnh của họ; hệ thống hiển thị cùng một bộ phối trang phục trên tất cả họ để thấy ai trông tốt nhất với bộ sưu tập được đề xuất

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.21694
ArXiv Abstracthttps://arxiv.org/abs/2607.21694
PDF Downloadhttps://arxiv.org/pdf/2607.21694.pdf
Github RepositoryN/A

10. OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation (24 votes)​

Tác giả: Jun Zhan, Chen Yang, Yitian Gong, Donghua Yu, Kuangwei Chen, et al.

Xuất bản lúc: 2026-07-26

Tag: VAE, Audio-Video Generation, Cross-Modal Alignment, Semantic Distillation, Contrastive Learning

I. Main Problem:​

Tạo sinh audio-video đồng bộ là bài toán khó vì âm thanh và video có cấu trúc rất khác biệt. Các phương pháp hiện tại huấn luyện VAE âm thanh và video riêng biệt, dẫn tới:

  • không gian tiềm ẩn (latent space) thiếu căn chỉnh giữa hai chế độ
  • mô hình sinh phải học từ đầu mối liên hệ giữa âm thanh và hình ảnh
  • đồng bộ hóa thô và không chính xác giữa hai luồng

II. Main Idea:​

OmniVAE là một VAE audio-video được huấn luyện chung để học sự căn chỉnh ngữ nghĩa mịn giữa không gian tiềm ẩn của âm thanh và video. Quy trình:

  • Giữ encoder/decoder riêng cho mỗi chế độ nhưng huấn luyện chúng cùng lúc
  • Sử dụng contrastive learning cấp đoạn (bidirectional InfoNCE): chia video thành 48 đoạn 1/6 giây, so sánh từng đoạn với các đoạn âm thanh tương ứng và tương phản ở nhiều mức (cùng video, video khác)
  • Chưng cất ngữ nghĩa từ encoder đặc trưng huấn luyện sẵn (Qwen3-Omni) vào từng latent space
  • Hai mục tiêu này chỉ dùng khi huấn luyện, không tốn chi phí suy luận

Ví dụ đời thường: giống hai nhân viên mới được yêu cầu chuyển file từ hai phòng khác nhau—sau khi làm việc cùng nhau và được hướng dẫn bởi chuyên gia (encoder đặc trưng), họ học cách làm việc đồng bộ để gửi tập tin cùng lúc mà không cần ai phối hợp thêm.

III. Main Results:​

  • Đồng bộ audio-video: OmniVAE giảm Desync xuống 0.570 (so với 0.884 chỉ với reconstruction)
  • Lip-sync: tăng LSE-C từ 1.479 lên 2.093
  • Chất lượng audio: Inception Score tăng từ 3.041 lên 4.001; WER (Word Error Rate) giảm từ 0.243 xuống 0.168
  • Chất lượng video: Aesthetic score 0.381; Motion Score ổn định ~0.45–0.56
  • Đồng bộ sinh: Video-Audio Similarity tăng từ 0.254 lên 0.274; Text-Audio Similarity từ 0.201 lên 0.246
  • Bài kiểm tra đồng bộ trên VGGSound-Sparse: OmniVAE đạt 22.3% (A@1) so với 6.4% chỉ reconstruction

IV. Conclusion & Future Works:​

OmniVAE là tokenizer audio-video đầu tiên thiết kế để căn chỉnh các latent space của hai chế độ, giải quyết việc học đồng bộ từ đầu. Kết quả cho thấy hỗn hợp semantic distillation + contrastive learning mang lại lợi ích bổ sung cho cả căn chỉnh chéo chế độ và chất lượng riêng lẻ. Hướng phát triển: khám phá các chiến lược contrastive khác, tối ưu hóa lựa chọn đoạn, và áp dụng cho các dạng video/âm thanh phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng OmniVAE để sinh đồng thời ba hoặc nhiều chế độ (video + âm thanh + text embeddings) với căn chỉnh toàn cục.
  2. Kết hợp contrastive learning với quantization để tạo discrete tokens audio-video được căn chỉnh, phục vụ diffusion models và transformer-based generators.
  3. Áp dụng OmniVAE cho phát hiện bất thường video-audio: latent space được căn chỉnh có thể nhạy cảm hơn với mismatch giữa âm thanh và hình ảnh.

2. Patent:​

  1. Hệ thống tự tạo nội dung video cho mạng xã hội: người dùng nhập một câu mô tả, OmniVAE + text-to-audio-video model sinh video 256×256 với âm thanh đồng bộ trong vài giây, tối ưu cho TikTok/Instagram Reels.
  2. Công cụ chỉnh sửa video thông minh trên di động: dùng OmniVAE để phát hiện các phần âm thanh không khớp với hình ảnh (chẳng hạn nhạc nền ngắt quãng hoặc tiếng nói không khớp môi), gợi ý tự động thay thế hoặc căn chỉnh.
  3. Nâng cấp hệ thống video conference: sử dụng latent space được căn chỉnh từ OmniVAE để phát hiện và sửa lỗi đồng bộ audio-video do độ trễ mạng, đảm bảo lip-sync chính xác dù có sự cố kết nối.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.23855
ArXiv Abstracthttps://arxiv.org/abs/2607.23855
PDF Downloadhttps://arxiv.org/pdf/2607.23855.pdf
Github Repositoryhttps://github.com/OpenMOSS/OmniVAE

11. The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation (22 votes)​

Tác giả: Tianyi Men, Zhuoran Jin, Kang Liu, Jun Zhao

Xuất bản lúc: 2026-07-27

Tag: Multi-turn Long-Horizon Planning, Foundation Models, Agentic Systems, On-Policy Distillation, World Modeling, Pre-training, Post-training, GRPO, OPD, MOPD

I. Main Problem:​

Các mô hình nền tảng hiện đại không thể lập kế hoạch dài hạn nhiều vòng tối ưu được, một khả năng quan trọng cho các agent trí tuệ thực tế. Vấn đề cốt lõi: dữ liệu pre-training không kiểm soát và không minh bạch, khiến khó xác định:

  • Liệu khả năng lập kế hoạch dài hạn đã tồn tại trong pre-training hay được kích hoạt trong post-training?
  • Cách tối ưu hóa từng giai đoạn (pre-training, RL post-training, consolidation đa giáo viên) như thế nào?
  • Những điều kiện biên giới của các thuật toán RL khác nhau là gì?

II. Main Idea:​

Nghiên cứu khoa học vật lý của lập kế hoạch dài hạn bằng cách xây dựng môi trường được kiểm soát chính xác cho phép điều chỉnh độ dài tác vụ, chất lượng dữ liệu, kiến thức lập kế hoạch, và mẫu hành động.

Qua ba giai đoạn:

  • Pre-training: world model nội hóa (thay vì dự đoán hành động trực tiếp) tạo khả năng tổng quát hóa dài hạn mạnh hơn; tuy nhiên kỹ năng nguyên tử không tự sáng tạo thành phần nhưng thêm chỉ một chút dữ liệu dài hạn sẽ kích hoạt nó; dữ liệu tối ưu yếu làm hỏng đáng kể hiệu suất.
  • Post-training (GRPO vs OPD): phân biệt mẫu lập kế hoạch (hành vi tổng quát) từ kiến thức lập kế hoạch (thủ tục cụ thể); OPD có vùng hiệu quả rộng hơn GRPO khi dữ liệu pre-training kém chất lượng và cần lập kế hoạch dài.
  • Multi-teacher consolidation (MOPD): hợp nhất các khả năng bằng cách hội tụ đến phân phối mẫu chung; mẫu tương thích cho phép tổng quát hóa, nhưng mẫu xung đột gây quên thảm khốc.

Ví dụ đời thường: giống như học thợ mộc—trước tiên học quy tắc state (nếu dùng búa sai cách, đinh sẽ cong) thay vì chỉ nhớ chuỗi động tác; sau đó thực hành với hướng dẫn để cải thiện; cuối cùng học từ nhiều thầy để tránh thói xấu riêng lẻ.

III. Main Results:​

  • World modeling nội hóa vượt trội: cải thiện +45.8% trên tác vụ dài hạn so với dự đoán trực tiếp (85.9% → 68.5% trên pass@8).
  • Khả năng tổng quát hóa thành phần yếu: training chỉ trên tác vụ ngắn → 0% trên dài; thêm 5% dữ liệu dài hạn → 11.46% (kích hoạt đột ngột).
  • Tác hại của quỹ đạo tối ưu yếu: 1 tối ưu + 8 tối ưu yếu → sụt từ 88.3% xuống 45.5% (dài hạn bị suy giảm 42.8%), ngắn hạn sụt 13.4%.
  • OPD mạnh hơn GRPO ở chế độ dữ liệu kém + dài hạn: OPD cung cấp hướng gradient nhất quán hơn; GRPO gradient thưa thớt chứa cả hướng đúng và sai.
  • MOPD hợp nhất mẫu: khi các giáo viên chia sẻ mẫu tương thích → tổng quát hóa liên môi trường; mẫu xung đột → quên thảm khốc và nhiễu (ID sụt 30.8%, OOD sụt mạnh).

IV. Conclusion & Future Works:​

Nghiên cứu cung cấp hiểu biết thống nhất cách khả năng lập kế hoạch dài hạn được thu thập (world models + dữ liệu dài hạn tối ưu), định hình (OPD tốt hơn trên biên giới chất lượng-độ dài), và hội tụ (MOPD qua mẫu chung). Hướng tương lai:

  • Tối ưu hóa chiến lược thu thập dữ liệu pre-training để cân bằng chất lượng và phủ sóng dài hạn.
  • Nghiên cứu sâu các cơ chế của MOPD để mitigating catastrophic forgetting trong continual learning.
  • Mở rộng framework sang các tác vụ phức tạp thực tế (web browsing, robot).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng môi trường lập kế hoạch dài hạn sang tác vụ đa mục tiêu; khảo sát cách các mục tiêu xung đột ảnh hưởng đến hội tụ MOPD.
  2. Kết hợp pre-training world model với reinforcement learning (RL) để tối ưu hóa chủ động chiến lược thăm dò trong post-training.
  3. Áp dụng khung OPD đa giáo viên cho điều khiển robot thực tế; đo lường khả năng transfer từ lập kế hoạch ngôn ngữ sang tác vụ vật lý.

2. Patent:​

  1. Hệ thống tối ưu hóa pre-training dữ liệu động cho agent di động: phân tích tự động chất lượng quỹ đạo và độ dài dự kiến; điều chỉnh tỷ lệ dữ liệu dài hạn để tối ưu hóa hiệu suất lập kế hoạch mà không cần fine-tuning thủ công.
  2. Công cụ kiểm tra lựa chọn thuật toán post-training: trước khi lựa chọn GRPO hay OPD cho một tác vụ cụ thể, quét nhanh chất lượng pre-training và độ dài kế hoạch để dự báo vùng hiệu quả tối ưu; khuyên dùng thuật toán có xác suất hội tụ cao nhất.
  3. Nền tảng consolidation agent đa mô hình cho lắp ráp trên điện thoại: giáo viên cục bộ (trên thiết bị) và đám mây xây dựng mô hình lập kế hoạch khác nhau; MOPD tự động kiểm tra xung đột mẫu và cảnh báo nếu phối hợp sẽ gây quên thảm khốc trước khi triển khai.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.24720
ArXiv Abstracthttps://arxiv.org/abs/2607.24720
PDF Downloadhttps://arxiv.org/pdf/2607.24720.pdf
Github Repositoryhttps://github.com/Quester-one/PlanPhysCode