Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-06-15

Báo cáo được tạo tự động vào lúc 2026-06-30 14:41:52 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. From Chatbot to Digital Colleague: The Paradigm Shift Toward Persistent Autonomous AI (114 votes)​

Tác giả: Yongheng Zhang, Ziang Liu, Jiaxuan Zhu, Shuai Wang, Xiangqi Chen, et al.

Xuất bản lúc: 2026-06-12

Tag: LLMs, AI Agents, Reasoning, Tool Use, Workspace, Skill, Autonomous AI, Evaluation

I. Main Problem:​

Các hệ thống LLM hiện tại vẫn hoạt động theo kiểu phản hồi nhanh, rời rạc, thiếu khả năng duy trì trạng thái và tự hoàn thiện. Mô hình chatbot truyền thống không thể biến ý định người dùng thành công việc hoàn chỉnh một cách đáng tin cậy.

II. Main Idea:​

Bài báo đề xuất khuôn khổ hai chiều để chuyển đổi LLM từ chatbot thành Digital Colleague: (1) nâng cấp lõi nhận thức từ sinh ngôn ngữ nhanh (System 1) sang suy luận chậm, có lý giải (System 2) dùng Chain-of-Thought, học tăng cường; (2) mở rộng thực thi tác vụ từ gọi công cụ rời rạc (Agent) sang hệ thống Workspace + Skill bền vững, có trạng thái, kỹ năng tái sử dụng và cơ chế xác minh. Sự chuyển đổi này kéo theo thay đổi từ dữ liệu cặp chỉ dẫn-phản hồi sang quỹ đạo Hành động-Quan sát và từ đánh giá đáp án sang đánh giá mức độ hoàn thành tác vụ.

III. Main Results:​

  • Kỷ nguyên Workspace + Skill cho phép AI duy trì ngữ cảnh, khôi phục lỗi và xác minh trạng thái cuối, thay vì chỉ trả lời một chiều.
  • Thời gian hoàn thành tác vụ của các agent tiên tiến tăng theo cấp số nhân, từ vài giây (2019) lên hơn 12 giờ (2026).
  • Dữ liệu huấn luyện chuyển từ corpus tri thức sang quỹ đạo state–action–observation.
  • Đánh giá chuyển từ độ chính xác đáp án sang tỷ lệ đóng tác vụ (task closure rate).
  • Các thách thức chính: độ tin cậy tác vụ dài hạn, an toàn, quản trị, bộ nhớ và quyền hạn.

IV. Conclusion & Future Works:​

Survey này xác nhận Workspace + Skill là cơ chế then chốt để AI từ chatbot trở thành đồng nghiệp số. Hướng tới là hệ sinh thái tự tiến hóa: mô hình, workspace, kỹ năng, bộ nhớ và cơ chế quản trị liên tục biến kinh nghiệm vận hành thành kỹ năng tái sử dụng và chính sách an toàn hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế đồng bộ hóa bộ nhớ dài hạn trong Workspace để agent có thể duy trì ngữ cảnh qua nhiều phiên làm việc gián đoạn.
  2. Xây dựng khung đánh giá tự động cho tỷ lệ đóng tác vụ, kết hợp kiểm tra an toàn và khả năng tái lập để thay thế benchmark tĩnh hiện tại.
  3. Phát triển phương pháp học kỹ năng từ quỹ đạo state–action–observation, cho phép agent tổng hợp và tái sử dụng quy trình làm việc mà không cần con người can thiệp.

2. Patent:​

  1. Hệ thống AI trên điện thoại có Workspace ảo lưu file, lịch, nhật ký hành động; người dùng có thể xem lại và chỉnh sửa từng bước agent đã làm, tăng minh bạch và đáng tin cậy.
  2. Phần mềm quản lý dự án tích hợp AI với cơ chế 'kỹ năng đóng gói' cho phép người dùng ghi lại quy trình xử lý công việc (ví dụ: soạn báo cáo, gửi email) để agent tái thực hiện tự động mỗi tháng.
  3. Trợ lý ảo trên điện thoại có 'không gian làm việc riêng' lưu trạng thái các tác vụ đang dở, tự động kiểm tra và sửa lỗi khi thực thi chuỗi hành động nhiều bước (ví dụ: đặt vé, thanh toán, ghi chú).

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.14502
ArXiv Abstracthttps://arxiv.org/abs/2606.14502
PDF Downloadhttps://arxiv.org/pdf/2606.14502.pdf
Github RepositoryN/A

2. OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data (112 votes)​

Tác giả: Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, et al.

Xuất bản lúc: 2026-06-11

Tag: Video Generation, Camera Control, Multi-Shot, Diffusion Transformer, Camera Grid, Prompt Expansion, MMDiT

I. Main Problem:​

Việc clone chuyển động camera từ video tham chiếu thường gặp khó khăn: các phương pháp dùng tham số rõ ràng không xử lý được video nhiều cảnh, còn phương pháp ngầm dùng dữ liệu ghép cặp khan hiếm hoặc tổng hợp kém chất lượng dẫn tới hiệu năng thấp. Chưa có giải pháp tổng quát cho clone camera đa cảnh mà không cần dữ liệu ghép cặp chéo.

II. Main Idea:​

OmniDirector đề xuất 'camera grid'—biểu diễn trực quan tham số camera dưới dạng video lưới trong không gian 3D rỗng—vừa tổng quát vừa tách biệt chuyển động camera khỏi nội dung. Mô hình huấn luyện trên 1,8 triệu cặp camera grid–video, tích hợp grid vào Multi-Modal Diffusion Transformer (MMDiT) qua nối token. Ở suy luận, bộ Prompt Expansion Agent phân cấp tạo mô tả camera liên cảnh, kết hợp với ảnh gốc và prompt người dùng thành văn bản thống nhất, đồng thời dùng chiến lược CFG thích ứng (chèn grid ở pha nhiễu cao).

III. Main Results:​

  • Vượt CamCloneMaster 39,3% về độ chính xác tịnh tiến (T-Pre), đạt RRE 2,64° và RTE 16,84°.
  • Độ chính xác chuyển cảnh vượt trội: Tem-Pre 96,52%, Sem-Pre 83,79%.
  • Tỷ lệ rò rỉ nội dung tham chiếu thấp: chỉ 0,51% (frame) và 3,38% (shot).
  • GSB so với CamCloneMaster: trung bình 91,10% đánh giá tốt hơn hoặc bằng.
  • Khả năng zero-shot nổi bật: clone camera từ video RGB hoặc Canny mà không cần huấn luyện lại.

IV. Conclusion & Future Works:​

OmniDirector cung cấp giải pháp clone camera đa cảnh tổng quát, hiệu quả nhờ biểu diễn camera grid và Prompt Expansion Agent. Hạn chế hiện tại là nối token đơn giản gặp khó với video rất dài; hướng tới sẽ tích hợp cơ chế nhớ tạm thời như cross-attention dài hạn hoặc memory bank.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng camera grid cho hiệu ứng máy ảnh phức tạp hơn (wide-angle, tilt-shift) bằng cách thêm mô hình quang học tương ứng vào pipeline rendering.
  2. Kết hợp camera grid với điều khiển chuyển động đối tượng (object motion) để sinh video có cả camera và vật thể di chuyển đồng thời theo ý muốn.
  3. Nghiên cứu cơ chế temporal memory (ví dụ long-context cross-attention) cho MMDiT để duy trì nhất quán khi clone camera trên video siêu dài (> 30 giây).

2. Patent:​

  1. Ứng dụng trên điện thoại: người dùng quay video ngắn làm mẫu chuyển động camera, hệ thống tự động tạo camera grid và sinh video mới với chuyển động y hệt nhưng nội dung khác (ví dụ thay người mẫu hoặc bối cảnh).
  2. Công cụ chỉnh sửa video trên di động: chọn một cảnh quay, sao chép chuyển động camera (zoom, pan, tilt, arc shot) sang cảnh khác chỉ bằng một nút bấm, không cần nhập tham số phức tạp.
  3. Hệ thống quảng cáo tự động: nhập ảnh sản phẩm và video tham chiếu có chuyển động camera chuyên nghiệp, hệ thống sinh video quảng cáo mới giữ nguyên dàn dựng camera mà không cần quay lại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.13432
ArXiv Abstracthttps://arxiv.org/abs/2606.13432
PDF Downloadhttps://arxiv.org/pdf/2606.13432.pdf
Github Repositoryhttps://github.com/lisj575/OmniDirector

3. APPO: Agentic Procedural Policy Optimization (79 votes)​

Tác giả: Xucong Wang, Ziyu Ma, Yong Wang, Yuxiang Ji, Shidong Yang, et al.

Xuất bản lúc: 2026-06-10

Tag: Reinforcement Learning, LLM Agents, Credit Assignment, Tool Use, Procedural Reasoning, Exploration, Agentic RL

I. Main Problem:​

Các phương pháp agentic RL hiện tại chỉ gán tín hiệu học tập dựa trên các đơn vị thô như ranh giới lời gọi công cụ hay workflow cố định, không thể xác định các quyết định trung gian nào thực sự ảnh hưởng đến kết quả cuối cùng. Điều này dẫn đến credit assignment kém hiệu quả và khám phá bị giới hạn.

II. Main Idea:​

APPO chuyển branching và credit assignment từ các đơn vị thô sang các decision point tinh vi trong chuỗi token. Nó sử dụng Branching Score (BS) kết hợp entropy token với mức tăng khả năng xảy ra của các continuation sau đó do chính sách gây ra, để chọn ra vị trí phân nhánh có giá trị cao. APPO cũng giới thiệu một số hạng lợi thế mở rộng dựa trên Ω nhằm khuyến khích khám phá trên các procedure có giá trị phân nhánh lớn, đồng thời tách riêng nhóm lợi thế cho rollout gốc và rollout phân nhánh.

III. Main Results:​

  • Trên 13 benchmark, APPO cải thiện trung bình gần 4 điểm so với các baseline agentic RL mạnh, với mức tăng 7.9% trên Llama3.1-8B và 8.9% trên Qwen2.5-7B so với ARPO.
  • APPO đạt kết quả SOTA trên GAIA (42.7 với 8B, 46.6 với 14B) và WebWalkerQA, vượt xa các mô hình đóng lớn.
  • Phân tích Pass@K cho thấy lợi thế của APPO mở rộng khi K tăng, chứng tỏ nó cải thiện cả độ đa dạng của quỹ đạo khám phá.
  • Cả thành phần Branching Score, dual-group advantage và thang đo lợi thế hướng tương lai đều đóng góp quan trọng, với việc loại bỏ BS làm giảm 0.9-1.7 điểm.
  • APPO tạo ra các cụm rollout nhỏ gọn và tách biệt hơn ARPO, cho thấy sự đa dạng ở cấp chiến lược suy luận.

IV. Conclusion & Future Works:​

APPO chỉ ra rằng mô hình hóa các quyết định thủ tục (procedural decisions) là hướng hiệu quả để cải thiện khám phá và credit assignment trong agentic RL. Các phát hiện này có tính tổng quát và có thể áp dụng cho nhiều bài toán agent khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng APPO cho môi trường đa tác vụ, nơi mỗi tác vụ có cấu trúc decision point khác nhau, yêu cầu mô hình phải tự động học cách xác định vị trí phân nhánh quan trọng.
  2. Kết hợp APPO với kỹ thuật tìm kiếm cây Monte Carlo để tối ưu hóa việc khám phá và đánh giá các decision point trong không gian trạng thái rộng lớn.
  3. Nghiên cứu khả năng transfer của các decision point đã học giữa các mô hình nền tảng khác nhau, giảm chi phí huấn luyện lại từ đầu cho mỗi backbone mới.

2. Patent:​

  1. Hệ thống trợ lý ảo trên điện thoại có khả năng tự động phân tích các câu hỏi phức tạp và tạo ra các nhánh suy luận khác nhau tại các bước quyết định then chốt, giúp tìm ra câu trả lời chính xác hơn với cùng lượng tài nguyên tính toán.
  2. Phương pháp điều hướng chatbot dịch vụ khách hàng dựa trên phân tích độ bất định của token để tự động xác định thời điểm chuyển hướng cuộc hội thoại hoặc đề xuất các lựa chọn hành động khác nhau, giúp cải thiện tỷ lệ giải quyết vấn đề.
  3. Ứng dụng cá nhân hóa học tập trên thiết bị di động: khi giải bài toán nhiều bước, hệ thống nhận dạng các bước suy luận khó và tự động sinh ra các hướng giải thay thế, từ đó cung cấp phản hồi học tập chi tiết hơn cho từng học sinh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12384
ArXiv Abstracthttps://arxiv.org/abs/2606.12384
PDF Downloadhttps://arxiv.org/pdf/2606.12384.pdf
Github Repositoryhttps://github.com/AMAP-ML/APPO

4. Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents (75 votes)​

Tác giả: Shuo Ji, Yibo Li, Bryan Hooi

Xuất bản lúc: 2026-06-04

Tag: LLM Agents, Memory-Augmented Generation, Graph Memory, Retrieval-Augmented Generation, Active Retrieval, Associative Memory, Multi-Step Reasoning

I. Main Problem:​

Các tác nhân LLM hiện tại xử lý bộ nhớ theo kiểu 'truy xuất tĩnh – suy luận một lần', không thể điều chỉnh chiến lược truy cập dựa trên bằng chứng trung gian. Điều này dẫn đến nhiễu, lãng phí tài nguyên và thất bại trên các truy vấn nhiều bước, vì chúng không thể suy luận đồng thời với truy xuất bộ nhớ.

II. Main Idea:​

MRAgent biến truy xuất bộ nhớ thành quá trình tái tạo chủ động: LLM duyệt đồ thị Cue–Tag–Content theo nhiều bước, mỗi bước chọn đường đi dựa trên bằng chứng đã tích lũy. Tags đóng vai trò cầu nối ngữ nghĩa giữa cue mịn và nội dung, cho phép LLM tỉa nhánh không liên quan trước khi đọc nội dung tốn kém. Cơ chế này tích hợp suy luận trực tiếp vào truy xuất, giúp khám phá có định hướng và hiệu quả.

III. Main Results:​

  • Trên LOCOMO (Gemini backbone), MRAgent đạt LLM-Judge 84.21%, cải thiện 23.3% so với baseline mạnh nhất (68.31%).
  • Trên LONGMEMEVAL, MRAgent vượt trội với 72.95%, cải thiện 32% so với baseline.
  • Tiêu thụ token giảm mạnh (118k so với 632k của A-Mem) và runtime cạnh tranh.
  • Ablation cho thấy suy luận đa bước là yếu tố chính; tags giúp ích nhiều trong định hướng; lớp ngữ nghĩa bổ sung cho lớp tình tiết.
  • Truy vấn multi-hop hưởng lợi lớn nhất: recall tăng hơn 30% qua các bước suy luận.

IV. Conclusion & Future Works:​

MRAgent chứng minh rằng truy xuất chủ động, đa bước cải thiện đáng kể suy luận bộ nhớ dài hạn so với truy xuất thụ động. Hướng tới: cập nhật đồ thị động (không tĩnh), quên thông tin lỗi thời và giảm độ trễ cho truy vấn cần nhiều bước duyệt.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp MRAgent với cơ chế quên (forgetting) có chọn lọc để đồ thị không phình to vô hạn, phù hợp triển khai lâu dài trên thiết bị biên.
  2. Mở rộng MRAgent với học tăng cường để LLM tự học chiến lược duyệt tối ưu thay vì tuân theo hàm chọn cố định.
  3. Tích hợp đồ thị Cue–Tag–Content vào GraphRAG để cải thiện suy luận nhiều bước trên kho ngữ liệu ngoài, thay vì chỉ trên lịch sử tương tác.

2. Patent:​

  1. Trợ lý giọng nói trên điện thoại có bộ nhớ tình tiết: người dùng hỏi 'tháng trước tôi đã đặt gì?', hệ thống dùng tag 'mua sắm' và 'tháng 6' để truy xuất chủ động, trả lời chính xác mà không cần lưu toàn bộ lịch sử.
  2. Camera an ninh thông minh có đồ thị bộ nhớ sự kiện: khi phát hiện người lạ, hệ thống tự động truy vết các sự kiện liên quan (giờ, khu vực) qua các tag ngữ nghĩa để tổng hợp báo cáo tóm tắt.
  3. Giao diện chatbot dùng trong chăm sóc khách hàng tự động: agent dùng tag (khiếu nại, đơn hàng, thời gian) để truy xuất chủ động lịch sử tương tác, giải quyết vấn đề phức tạp trong vài bước hội thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06036
ArXiv Abstracthttps://arxiv.org/abs/2606.06036
PDF Downloadhttps://arxiv.org/pdf/2606.06036.pdf
Github Repositoryhttps://github.com/Ji-shuo/MRAgent

5. Measuring Epistemic Resilience of LLMs Under Misleading Medical Context (60 votes)​

Tác giả: Hongjian Zhou, Xinyu Zou, Jinge Wu, Sean Wu, Junchi Yu, et al.

Xuất bản lúc: 2026-06-10

Tag: LLMs, Medical QA, Misinformation, Robustness, Benchmark, Epistemic Resilience

I. Main Problem:​

Các mô hình ngôn ngữ lớn đạt điểm cao trong bài kiểm tra y khoa sạch, nhưng bệnh nhân và bác sĩ thường dùng chúng trong môi trường thông tin hỗn độn. Hiện chưa có chuẩn nào đo khả năng giữ nguyên phán đoán đúng khi gặp ngữ cảnh y khoa sai lệch – một khả năng gọi là 'epistemic resilience'.

II. Main Idea:​

MedMisBench là bộ chuẩn gồm 10.932 câu hỏi y khoa, mỗi câu được ghép với 48.889 cặp ngữ cảnh sai lệch có chủ đích. Các câu sai được phân loại theo 5 kiểu nội dung (đảo ngược mối quan hệ, làm sai ngưỡng, thay đổi dấu hiệu chẩn đoán, neo giữ không liên quan, gây độc ngoại lệ) và 3 nguồn (trung tính, bệnh nhân, chuyên gia). Mô hình được kiểm tra dưới hai giao thức: chỉ đưa một câu sai tập trung vào đáp án sai hoặc đưa toàn bộ các câu đúng/sai.

III. Main Results:​

  • Độ chính xác trung bình giảm từ 71.1% trên câu hỏi sạch xuống 38.0% khi thêm ngữ cảnh sai tập trung.
  • Tỷ lệ tấn công thành công (ASR) trung bình là 51.5%.
  • Các thông tin sai dạng quy tắc (nêu ngoại lệ, sai ngưỡng) có ASR cao nhất: 64.1% và 60.9%.
  • Ngữ cảnh sai dạng chuyên gia có ASR cao nhất (69.5%), trong khi dạng bệnh nhân chỉ 18.5%.
  • Hội đồng lâm sàng đánh giá 38.2% câu trả lời sai có khả năng gây hại nghiêm trọng.

IV. Conclusion & Future Works:​

MedMisBench chứng minh hiệu suất trên bài kiểm tra sạch không phản ánh khả năng chịu đựng thông tin sai lệch. Trong tương lai, cần phát triển các phương pháp giảm thiểu như thêm công cụ tìm kiếm bên ngoài hoặc prompt phòng thủ, đồng thời mở rộng bộ chuẩn sang nhiều lĩnh vực y học khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tác động của các kiểu trình bày thông tin sai lệch (ví dụ: giọng điệu, độ dài, văn phong) lên khả năng giữ vững phán đoán đúng của mô hình.
  2. Phát triển một phương pháp phòng thủ chủ động, như huấn luyện đối kháng hoặc tinh chỉnh tham số, dựa trên tập dữ liệu 'epistemic resilience' từ MedMisBench.
  3. Mở rộng MedMisBench sang lĩnh vực y học đa ngôn ngữ và các tình huống lâm sàng phức tạp hơn, ví dụ như tương tác với bệnh nhân không hợp tác.

2. Patent:​

  1. Hệ thống chatbot y tế trên điện thoại: khi người dùng nhập triệu chứng, hệ thống tự động kiểm tra thông tin đó với cơ sở dữ liệu y khoa tin cậy trước khi đưa ra lời khuyên, tránh lan truyền thông tin sai.
  2. Ứng dụng hỗ trợ bác sĩ đọc kết quả xét nghiệm: khi hiển thị kết quả, hệ thống đưa ra cảnh báo nếu có thông tin từ bệnh nhân hoặc nguồn không rõ ràng xung đột với kết luận của bác sĩ, giúp tránh chẩn đoán sai.
  3. Trình duyệt web y tế tích hợp AI: phân tích các trang web bệnh nhân đang xem, đánh dấu những tuyên bố y khoa có khả năng sai lệch cao và cảnh báo người dùng trước khi họ áp dụng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12291
ArXiv Abstracthttps://arxiv.org/abs/2606.12291
PDF Downloadhttps://arxiv.org/pdf/2606.12291.pdf
Github Repositoryhttps://github.com/AI-in-Health/MedMisBench

6. HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry (49 votes)​

Tác giả: Tingyang Chen, Shuo Lu, Kang Zhao, Weicheng Meng, Hanlin Teng, et al.

Xuất bản lúc: 2026-06-12

Tag: Agent Harness, Compositional Design, Self-Evolution, Multi-Agent Systems, RL Pathologies, Trajectory Optimization, Benchmarking

I. Main Problem:​

Hiệu suất của AI agent phụ thuộc rất nhiều vào runtime harness (prompts, tools, memory, control flow), nhưng các harness hiện tại hầu hết được thiết kế thủ công và tĩnh: mỗi model hoặc tác vụ mới yêu cầu scaffolding riêng, và các dữ liệu dồi dào từ quá trình chạy hiếm khi được tận dụng để cải thiện có hệ thống.

II. Main Idea:​

HarnessX xem harness như một đối tượng hạng nhất có thể được kết hợp từ các typed primitives thông qua substitution algebra, giúp dễ dàng cấu hình lại theo tác vụ. Hệ thống tự thích ứng qua AEGIS, một engine tiến hóa đa agent dựa trên trace, sử dụng operational mirror để ánh xạ các khái niệm RL (policy, state, action) vào không gian ký hiệu, từ đó phát hiện và phòng tránh các bệnh lý RL như reward hacking, catastrophic forgetting, và under-exploration. Cuối cùng, harness và model cùng tiến hóa: trajectories từ quá trình thích ứng harness được dùng làm tín hiệu huấn luyện cho model, tạo vòng lặp cải thiện song song.

III. Main Results:​

  • Trung bình +14.5% điểm tuyệt đối trên 15 cấu hình model–benchmark, cao nhất +44.0% (ALFWorld, agent yếu nhất).
  • Lợi ích tỷ lệ nghịch với baseline: harness thích ứng lấp đầy khoảng trống hành vi mà model yếu không tự sửa được.
  • AEGIS kết hợp bốn giai đoạn (Digester, Planner, Evolver, Critic) với cổng quyết định, đảm bảo không thoái hóa tác vụ đã giải.
  • Variant isolation giúp duy trì cải thiện trên tập tác vụ không đồng nhất (+13.6%, không suy giảm qua 15 vòng).
  • Co-evolution cải thiện thêm +4.7% so với chỉ tiến hóa harness.

IV. Conclusion & Future Works:​

HarnessX chứng minh rằng tiến bộ agent không chỉ đến từ scaling model: việc kết hợp và tiến hóa runtime interfaces từ phản hồi thực thi là một đòn bẩy bổ sung hiệu quả. Hướng tới, có thể mở rộng tính đa dạng của hành động chỉnh sửa, đưa thêm human-in-the-loop, và thử nghiệm trên nhiều loại model khác nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của cấu trúc compositional đến hiệu quả tiến hóa harness khi chuyển đổi giữa các họ model khác nhau, kiểm tra xem harness tối ưu cho GPT có chuyển giao tốt cho Claude không.
  2. Kết hợp kỹ thuật meta-learning để AEGIS tự động chọn chiến lược khám phá (tăng dần độ phức tạp chỉnh sửa) dựa trên đặc thù benchmark, giảm hiện tượng under-exploration.
  3. Xây dựng cơ chế ‘harness adaptation as a service’ (HaaS) nơi nhiều agent chia sẻ một cơ sở hạ tầng tiến hóa, cho phép tái sử dụng kinh nghiệm harness giữa các tác vụ và đội nhóm khác nhau.

2. Patent:​

  1. Hệ thống tự động tinh chỉnh cấu hình trợ lý di động: dựa trên lịch sử tương tác, harness (prompts, tool list) được điều chỉnh qua AEGIS để tăng độ chính xác trả lời trên từng lĩnh vực hoặc người dùng cụ thể, không cần cập nhật app.
  2. Platform cung cấp harness mẫu có sẵn cho nhiều loại ứng dụng AI (chatbot, data analysis, coding assistant) cho phép người dùng ghép nối các thành phần như xếp hình; hệ thống tự động gợi ý cấu hình harness tối ưu dựa trên kết quả chạy thử.
  3. Công cụ tối ưu hóa agent cho thương mại điện tử: harness bao gồm các công cụ tìm kiếm, so sánh giá, và quản lý giỏ hàng; hệ thống tự động thử nghiệm nhiều biến thể harness trên cùng tác vụ, chọn ra phiên bản có tỷ lệ chuyển đổi mua hàng cao nhất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.14249
ArXiv Abstracthttps://arxiv.org/abs/2606.14249
PDF Downloadhttps://arxiv.org/pdf/2606.14249.pdf
Github RepositoryN/A

7. Orchestra-o1: Omnimodal Agent Orchestration (48 votes)​

Tác giả: Fan Zhang, Vireo Zhang, Shengju Qian, Haoxuan Li, Hao Wu, et al.

Xuất bản lúc: 2026-06-10

Tag: Multi-Agent Systems, Agent Orchestration, Omnimodal AI, LLM Agents, Reinforcement Learning, Agent Swarm, Task Decomposition

I. Main Problem:​

Các hệ thống đa tác tử hiện tại chỉ hỗ trợ một số ít dạng dữ liệu (văn bản, hình ảnh), khó mở rộng cho các tình huống phức tạp có sự đan xen của văn bản, hình ảnh, âm thanh và video. Thiếu một framework orchestration linh hoạt, có khả năng phân rã tác vụ nhận biết đa phương thức và điều phối các tác tử chuyên biệt một cách hiệu quả.

II. Main Idea:​

Orchestra-o1 là framework orchestration đa phương thức, sử dụng một tác tử chính (orchestrator) để quản lý nhiều tác tử con chuyên biệt. Tác tử chính tự động phân rã tác vụ, dự đoán đồ thị phụ thuộc, chọn backend và công cụ phù hợp, thực thi song song các nhiệm vụ con độc lập, và tổng hợp kết quả. DA-GRPO, một thuật toán học tăng cường hướng quyết định, được dùng để huấn luyện tác tử chính, tối ưu hóa các hành động orchestration dựa trên điểm thưởng đa chiều.

III. Main Results:​

  • Framework đạt accuracy 62.5% (với GPT-5) trên benchmark OmniGAIA, vượt phương pháp thứ hai 10.3%.
  • Cải thiện 32.8% so với framework AOrchestra, nhờ thiết kế orchestration song song.
  • Tác tử nguồn mở Orchestra-o1-8B đạt accuracy 30.0%, nâng từ mức 20.8% của các mô hình trước đó.

IV. Conclusion & Future Works:​

Orchestra-o1 chứng minh hiệu quả của việc tách biệt lập kế hoạch cấp cao khỏi xử lý chuyên biệt cho các tác vụ đa phương thức. Hướng phát triển tương lai bao gồm tối ưu hóa chiến lược song song hóa động và mở rộng cho các môi trường tương tác phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng Orchestra-o1 cho các tác vụ đa phương thức online, nơi luồng dữ liệu thay đổi liên tục, yêu cầu khả năng điều phối thích ứng theo thời gian thực.
  2. Áp dụng kỹ thuật orchestration tương tự cho các hệ thống robot đa tác tử, mỗi robot có cảm biến (camera, micro) và công cụ riêng, cần phối hợp hành động để hoàn thành nhiệm vụ phức tạp.
  3. Phát triển phương pháp tự động sinh dữ liệu huấn luyện cho tác tử chính, giảm sự phụ thuộc vào dữ liệu được gán nhãn thủ công, giúp mở rộng sang các lĩnh vực mới.

2. Patent:​

  1. Trợ lý điện thoại thông minh có khả năng phân tích đồng thời văn bản, giọng nói và hình ảnh từ camera: hệ thống tự động chia tác vụ (ví dụ: dịch lời nói và nhận diện đồ vật) cho các mô hình chuyên biệt và tổng hợp kết quả để đưa ra câu trả lời chính xác.
  2. Ứng dụng thực tế ảo/hỗn hợp trên điện thoại: framework điều phối các tác tử con để xử lý đồng thời dữ liệu video, âm thanh không gian và cảm biến chuyển động, tạo trải nghiệm tương tác mượt mà.
  3. Hệ thống kiểm tra chất lượng sản phẩm trên dây chuyền: sử dụng nhiều camera và cảm biến, một tác tử chính phân rã tác vụ kiểm tra (ví dụ: phát hiện lỗi bề mặt từ ảnh và lỗi âm thanh từ micro) và thực thi song song để đưa ra kết luận nhanh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.13707
ArXiv Abstracthttps://arxiv.org/abs/2606.13707
PDF Downloadhttps://arxiv.org/pdf/2606.13707.pdf
Github Repositoryhttps://github.com/zfkarl/Orchestra-o1

8. Rethinking RAG in Long Videos: What to Retrieve and How to Use It? (36 votes)​

Tác giả: Yuho Lee, Jisu Shin, Nicole Hee-Yeon Kim, Jihwan Bang, Juntae Lee, et al.

Xuất bản lúc: 2026-06-11

Tag: VideoRAG, Retrieval-Augmented Generation, Long Video Understanding, Multimodal Retrieval, Reranking, Benchmark, Ego4D, EgoLife

I. Main Problem:​

Hai lỗ hổng chính trong VideoRAG (Retrieval-Augmented Generation trên video dài): (1) các benchmark hiện tại cho phép trả lời truy vấn mà không cần video, che giấu lỗi truy xuất; (2) các phương pháp hiện có chỉ dùng một cấu hình (loại biểu diễn và mức chi tiết thời gian) duy nhất cho mọi chunk, bỏ qua sự khác biệt giữa các chunk.

II. Main Idea:​

Bài báo giới thiệu V-RAGBench, benchmark gồm 2.100 bộ ⟨truy vấn, chunk chứng cứ, câu trả lời⟩ trên video egocentric dài giờ, đảm bảo chứng cứ không trùng lặp, trực quan hóa và định vị chính xác, cho phép đánh giá riêng truy xuất và sinh. Đồng thời đề xuất CARVE, phương pháp chạy song song 4 bộ truy xuất (khác biểu diễn và chi tiết), sau đó dùng cross-encoder đa phương thức để chọn cấu hình tối ưu cho từng chunk, và truyền quyết định này vào cả giai đoạn sinh, tạo ra biểu diễn xen kẽ theo chunk.

III. Main Results:​

  • CARVE vượt trội 8 baseline về cả Recall@5 (0.603) và nDCG@5 (0.433) trên V-RAGBench.
  • Với Qwen3-VL-32B, CARVE đạt pass rate 0.367, cao hơn các baseline mạnh nhất (0.317).
  • Phân bố cấu hình thắng không tập trung vào một dạng duy nhất, chứng tỏ quyết định theo chunk là cần thiết.
  • CARVE đạt hiệu suất sinh cao hơn các router huấn luyện (query-level) mà không cần học thêm.
  • Độ trễ CARVE (4.6s) thấp hơn đáng kể so với phương án visual-only (5.2–7.3s).

IV. Conclusion & Future Works:​

V-RAGBench và CARVE giải quyết đồng thời khoảng trống benchmark và phương pháp cho VideoRAG, cho phép đánh giá và tối ưu riêng từng giai đoạn. Kết quả cho thấy quyết định theo chunk mang lại lợi ích lớn hơn quyết định theo truy vấn. Hướng tương lai có thể mở rộng sang thêm modality và mức chi tiết thời gian khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển phiên bản VideoRAG có khả năng thích nghi số lượng chunk linh hoạt dựa trên độ phức tạp của truy vấn, thay vì cố định k=5.
  2. Kết hợp CARVE với sinh chủ động (active generation): generator có thể yêu cầu thêm chunk từ cấu hình khác nếu chưa đủ chứng cứ.
  3. Mở rộng V-RAGBench sang video góc nhìn thứ ba và video đa nguồn (nhiều camera) để bao quát hơn các ứng dụng VideoRAG thực tế.

2. Patent:​

  1. Hệ thống tra cứu ký ức cá nhân trên kính thông minh: Khi người dùng hỏi 'mình đã để chìa khóa ở đâu?', hệ thống tự động chọn biểu diễn phù hợp (ảnh hay mô tả văn bản) cho từng đoạn video để tìm chính xác khoảnh khắc.
  2. Ứng dụng điện thoại tóm tắt sự kiện: Tự động trích xuất các sự kiện nổi bật từ video dài quay bằng điện thoại, dùng kỹ thuật chọn cấu hình tối ưu mỗi chunk để tạo bản tóm tắt đa phương thức ngắn gọn.
  3. Trợ lý ảo hướng dẫn sửa chữa trên thiết bị di động: Người dùng quay video quá trình sửa, hệ thống truy xuất các bước liên quan từ video hướng dẫn và hiển thị nội dung dưới dạng phù hợp (ảnh, mô tả) tùy theo từng bước.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.13141
ArXiv Abstracthttps://arxiv.org/abs/2606.13141
PDF Downloadhttps://arxiv.org/pdf/2606.13141.pdf
Github RepositoryN/A

9. From AGI to ASI (35 votes)​

Tác giả: Tim Genewein, Matija Franklin, Alexander Lerchner, Laurent Orseau, Samuel Albanie, et al.

Xuất bản lúc: 2026-06-10

Tag: AGI, ASI, Superintelligence, AIXI, Recursive Improvement, Scaling, Universal Intelligence

I. Main Problem:​

Bài báo giải quyết vấn đề: sau khi đạt được trí tuệ nhân tạo tổng quát ngang người (AGI), làm thế nào tiến trình AI có thể tiếp tục phát triển thành siêu trí tuệ nhân tạo tổng quát (ASI) — một hệ thống vượt xa khả năng của các tập hợp chuyên gia con người trên hầu hết mọi lĩnh vực. Các tác giả chỉ ra rằng lộ trình và các nút thắt tiềm năng trên con đường này còn chưa được khám phá và dự báo đầy đủ.

II. Main Idea:​

Bài báo mô tả ASI như một điểm trên continuum của thang đo Legg-Hutter, nơi ASI vượt xa AGI ngang người. Báo cáo đề xuất bốn con đường công nghệ chính từ AGI lên ASI: (1) mở rộng quy mô AGI, (2) đột phá mô hình AI mới, (3) cải tiến đệ quy (AI tự cải tiến chính nó), và (4) ASI nổi lên từ các tập hợp đa tác tử quy mô lớn. Các tác giả cũng phân tích các ma sát và nút thắt có thể làm chậm mỗi con đường, như giới hạn dữ liệu, năng lượng, và hiệu quả thuật toán. Nếu các nút thắt không đáng kể, tiến trình có thể tăng tốc theo cấp số nhân hoặc siêu cấp số, dẫn đến một loạt thay đổi xã hội mang tính chuyển đổi.

III. Main Results:​

  • Tăng trưởng hiệu quả tính toán (effective compute) ước tính khoảng 10× mỗi năm, từ sự kết hợp của Moore's law (~1.5×), đầu tư phần cứng (~2.5×), và cải tiến thuật toán (~3-6×/năm).
  • Cải tiến đệ quy (recursive improvement) có thể dẫn đến tăng trưởng siêu cấp số (hyperbolic), tạo ra điểm kỳ dị (singularity) về lý thuyết, nhưng các ma sát tự nhiên thường hạn chế điều đó.
  • ASI bị giới hạn bởi các định luật vật lý và độ phức tạp tính toán, không phải là toàn tri hay toàn năng.
  • Các lợi thế của AI số (tốc độ I/O, xử lý nội bộ, bộ nhớ làm việc, sao chép hoàn hảo, chia sẻ băng thông cao) khuếch đại theo quy mô, mở rộng khoảng cách với con người.
  • Khung AIXI (Universal AI) là giới hạn lý thuyết trên của trí tuệ máy, có thể đạt được hiệu suất tối ưu trên mọi môi trường tính toán được.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng tương lai là khó dự báo, và cần có nỗ lực liên ngành toàn cầu để đo lường, mô hình hóa và dự báo tiến trình AI. Các nghiên cứu trong tương lai nên tập trung vào việc theo dõi các chỉ số định lượng của cải tiến đệ quy và tác động của từng ma sát, cũng như phát triển các phương pháp dự báo tốt hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích thực nghiệm tác động của từng ma sát (như giới hạn dữ liệu, năng lượng) lên mỗi con đường từ AGI lên ASI, sử dụng các mô hình kinh tế và kỹ thuật chi tiết.
  2. Phát triển một khung lý thuyết mới để dự báo tăng trưởng hiệu quả tính toán, kết hợp các yếu tố như đột phá thuật toán và giới hạn vật lý.
  3. Nghiên cứu các cơ chế cải tiến đệ quy thực tế trong các hệ thống AI hiện tại, ví dụ như AI hỗ trợ tạo dữ liệu huấn luyện tốt hơn, và đo lường mức độ tự động hóa nghiên cứu AI.

2. Patent:​

  1. Phương pháp tối ưu hóa phân bổ tài nguyên tính toán cho AI đám mây dựa trên dự báo tăng trưởng hiệu quả tính toán theo thời gian thực, giúp giảm chi phí vận hành trên điện thoại di động.
  2. Hệ thống tự động mở rộng quy mô tác tử AI trên thiết bị di động: khi hiệu quả tính toán tăng, hệ thống tự động sinh thêm nhiều phiên bản AI hoặc tăng tốc độ suy luận mà không cần cập nhật phần mềm.
  3. Mô hình dự báo sớm điểm bão hòa hiệu năng AI cho ứng dụng di động, dựa trên dữ liệu sử dụng thực tế, để điều chỉnh kỳ vọng và lập kế hoạch nâng cấp phần mềm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12683
ArXiv Abstracthttps://arxiv.org/abs/2606.12683
PDF Downloadhttps://arxiv.org/pdf/2606.12683.pdf
Github RepositoryN/A

10. OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains (31 votes)​

Tác giả: Xinyue Cai, Chaoyou Fu, Yi-Fan Zhang, Ran He, Caifeng Shan

Xuất bản lúc: 2026-06-12

Tag: Audio-Visual Reasoning, Multimodal LLM, Video Understanding, Question Answering, Dataset, Instruction Tuning, Entity-Anchored Scripting

I. Main Problem:​

Các pipeline tự động tạo dữ liệu QA audio-visual hiện tại thường tách rời xử lý âm thanh và hình ảnh, làm mất liên kết vốn có giữa âm thanh và nguồn phát của nó. Việc mô tả từng đoạn video riêng lẻ dẫn đến thiếu nhất quán về tham chiếu thực thể. Gộp chung hiểu văn bản dài và sinh QA trong một bước khiến mô hình chỉ tập trung vào sự kiện cục bộ, tạo ra các câu hỏi thiếu kết nối thời gian dài và suy luận đa phương thức sâu.

II. Main Idea:​

Bài báo đề xuất pipeline tự động gồm hai cơ chế: (1) Entity-Anchored Video Scripting biến video thành kịch bản có cấu trúc gồm tóm tắt, danh sách thực thể chính và mô tả từng đoạn với dấu thời gian. Danh sách thực thể đóng vai trò tiên nghiệm toàn cục, đảm bảo tham chiếu nhất quán xuyên các đoạn và tái thiết liên kết âm thanh-hình ảnh. (2) Clue-Guided QA Generation yêu cầu LLM khai thác manh mối đa đoạn, đa phương thức từ kịch bản, sau đó sinh QA dựa trên các manh mối này, đảm bảo câu hỏi có phạm vi thời gian dài và phụ thuộc chéo giữa các phương thức mạnh mẽ.

III. Main Results:​

  • Mô hình fine-tune trên OmniVideo-100K tăng tới 20.59% trên OmniVideo-Test so với baseline.
  • Cải thiện khả năng khái quát lên tới 12.64% trên các benchmark có sẵn như Daily-Omni và JointA VBench.
  • Cơ chế Clue-Guided tạo câu hỏi có độ khó cao hơn (độ chính xác các mô hình thấp hơn) và phạm vi thời gian trung bình 144.75 giây, gần gấp đôi so với sinh trực tiếp (76.24 giây).
  • Danh sách thực thể chính giảm tỷ lệ lỗi nhầm lẫn thực thể từ 36.7% xuống 23.4% và giảm tỷ lệ ghép sai âm thanh-hình ảnh từ 20% xuống 10%.
  • Fine-tuning trên OmniVideo-100K duy trì hoặc cải thiện hiệu suất trên video hiểu tổng quát, không làm giảm chất lượng.

IV. Conclusion & Future Works:​

OmniVideo-100K nâng cao hiệu quả suy luận audio-visual nhờ kịch bản có cấu trúc và sinh QA dựa trên manh mối. Mô hình fine-tuned chuyển từ phụ thuộc đơn phương thức sang kết hợp đa phương thức. Hướng tương lai: tích hợp mô hình âm thanh chuyên biệt để mô tả phi ngôn ngữ chính xác hơn và mở rộng kịch bản cho các ứng dụng biên tập video.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng pipeline kịch bản có cấu trúc (Entity-Anchored Scripting) cho dữ liệu đa ngôn ngữ, nhằm kiểm tra khả năng nhất quán tham chiếu thực thể khi mô tả bằng nhiều ngôn ngữ khác nhau.
  2. Phát triển phương pháp khai thác manh mối (Clue Mining) tự động từ kịch bản cho suy luận nhân quả trong video dài, tập trung vào việc xây dựng chuỗi nhân quả phức tạp hơn với nhiều bước suy luận trung gian.
  3. Áp dụng ý tưởng Clue-Guided Generation cho các tác vụ suy luận đa phương thức khác, ví dụ: sinh mô tả cho video hoặc tạo câu hỏi cho hình ảnh tĩnh, để kiểm tra tính tổng quát của phương pháp.

2. Patent:​

  1. Hệ thống phụ đề video thông minh trên điện thoại: tự động tạo kịch bản có cấu trúc (danh sách nhân vật, sự kiện chính) và sinh câu hỏi kiểm tra hiểu biết, giúp người dùng xem video giáo dục hoặc tin tức dễ dàng hơn.
  2. Ứng dụng hỗ trợ tìm kiếm khoảnh khắc trong video trên điện thoại: dựa vào kịch bản và manh mối đa phương thức, người dùng có thể tìm clip bằng câu hỏi ngữ nghĩa thay vì từ khóa đơn giản, cải thiện trải nghiệm xem lại.
  3. Tính năng chỉnh sửa video tự động trên điện thoại: dùng kịch bản có cấu trúc để xác định các cảnh quan trọng dựa trên hội thoại và âm thanh, từ đó tự động cắt ghép video hoặc thêm phụ đề mô tả hành động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.14702
ArXiv Abstracthttps://arxiv.org/abs/2606.14702
PDF Downloadhttps://arxiv.org/pdf/2606.14702.pdf
Github Repositoryhttps://github.com/MiG-NJU/OmniVideo-100K

11. Smaller Models are Natural Explorers for Policy-Level Diversity in GRPO (26 votes)​

Tác giả: Yiming Ren, Yiran Xu, Zicheng Lin, Chufan Shi, Yukang Chen, et al.

Xuất bản lúc: 2026-06-02

Tag: Group Relative Policy Optimization, Reinforcement Learning, Policy-Level Diversity, Mathematical Reasoning, Knowledge Distillation, Exploration-Exploitation

I. Main Problem:​

GRPO (Group Relative Policy Optimization) phụ thuộc nhiều vào độ đa dạng của các mẫu rollout để ước lượng gradient. Tuy nhiên, các chiến lược hiện tại tăng độ đa dạng chủ yếu bằng nhiễu token-level (ví dụ tăng temperature), dẫn đến nhiễu bước, mất mạch lạc logic và tín hiệu khám phá kém cấu trúc.

II. Main Idea:​

Bài báo phát hiện các mô hình nhỏ hơn trong cùng một dòng họ vốn dĩ có độ đa dạng policy-level cao hơn, thể hiện qua pass@k vượt trội khi số lượng mẫu tăng. Khác với nhiễu token-level, sự đa dạng này có tương quan thời gian, bảo toàn tính mạch lạc. Dựa trên đó, tác giả đề xuất S2L-PO (Small-to-Large Policy Optimization), dùng một mô hình nhỏ cố định để sinh rollout cho quá trình huấn luyện một mô hình lớn hơn. Một chiến lược annealing dần dần chuyển từ rollout từ mô hình nhỏ sang rollout từ chính mô hình lớn để cân bằng giữa khám phá và khai thác.

III. Main Results:​

  • S2L-PO vượt GRPO cơ bản rõ rệt trên các benchmark suy luận toán học, ví dụ +8.8% trên AIME 24 với cặp 1.7B → 8B.
  • Cải thiện cả tốc độ hội tụ và hiệu suất cuối cùng, đặc biệt với các mô hình có quy mô lớn hơn.
  • Trên benchmark ngoài miền (CommonsenseQA), S2L-PO duy trì hoặc cải thiện nhẹ độ chính xác so với GRPO.
  • Phân tích đa dạng chỉ ra các mô hình nhỏ có 'Unique Answer Ratio' cao hơn (0.576 vs 0.476) cho thấy sự đa dạng chiến lược thực sự.
  • Loại bỏ đa dạng từ mô hình nhỏ khiến hiệu suất giảm về mức baseline, khẳng định nguồn gốc cải thiện.

IV. Conclusion & Future Works:​

S2L-PO chứng minh việc tận dụng đa dạng policy-level vốn có từ các mô hình nhỏ trong quá trình distillation là một chiến lược hiệu quả cho RL. Hướng tương lai có thể mở rộng cơ chế này cho các kiến trúc mô hình khác hoặc kết hợp với các kỹ thuật tối ưu hóa rollout khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tác động của các chiến lược distillation khác nhau lên độ đa dạng policy-level của mô hình nhỏ trong cùng một dòng họ, tìm kiếm phương phép tối ưu cho việc khám phá.
  2. Mở rộng S2L-PO cho các vấn đề ngoài suy luận toán học như sinh mã hoặc trả lời câu hỏi mở với cấu trúc rollout phức tạp hơn.
  3. Kết hợp tín hiệu đa dạng policy-level với các kỹ thuật điều chỉnh reward (ví dụ reward shaping) để tăng cường khả năng khám phá mà không cần tăng thêm chi phí tính toán.

2. Patent:​

  1. Hệ thống trợ lý ảo trên điện thoại dùng một mô hình nhỏ tiên tiến trên thiết bị để sinh ra nhiều phương án trả lời đa dạng cho một câu hỏi, sau đó chọn và tinh chỉnh đáp án bằng mô hình lớn trên đám mây, tiết kiệm băng thông và điện năng.
  2. Module tự học cấu hình điện thoại thông qua việc dùng mô hình nhỏ tạo ra các chuỗi thay đổi cài đặt khác nhau (ví dụ cài đặt camera, âm thanh), rồi dùng mô hình lớn để đánh giá và chọn ra cấu hình tối ưu theo sở thích người dùng.
  3. Phương pháp cải thiện tính sáng tạo của các ứng dụng tạo nội dung (như viết văn, vẽ tranh) trên điện thoại, trong đó mô hình nhỏ sinh ra nhiều phác thảo ý tưởng đa dạng và mô hình lớn hơn ở backend phát triển các ý tưởng đó thành tác phẩm hoàn chỉnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.30789
ArXiv Abstracthttps://arxiv.org/abs/2605.30789
PDF Downloadhttps://arxiv.org/pdf/2605.30789.pdf
Github Repositoryhttps://github.com/qishisuren123/S2L-PO

12. Skip a Layer or Loop It? Learning Program-of-Layers in LLMs (24 votes)​

Tác giả: Ziyue Li, Yang Li, Tianyi Zhou

Xuất bản lúc: 2026-06-04

Tag: LLMs, Dynamic Depth, Layer Skipping, Recurrence, Test-Time Scaling, Latent Reasoning, Execution Program

I. Main Problem:​

Large language models (LLMs) hiện tại xử lý mọi đầu vào bằng một forward pass cố định qua tất cả các lớp. Điều này bỏ qua sự khác biệt về độ khó giữa các input, dẫn đến tính toán dư thừa cho câu hỏi dễ và thiếu khả năng suy luận cho câu hỏi khó.

II. Main Idea:​

Bài báo khám phá chương trình-of-layers (POLAR), nơi các lớp transformer được xem như module dùng lại, có thể bỏ qua (skip) hoặc lặp lại (recurrence) tùy input. Dùng Monte-Carlo Tree Search (MCTS) tìm chương trình tối ưu cho thấy luôn tồn tại chương trình ngắn hơn hoặc chính xác hơn forward pass chuẩn. Từ đó, họ huấn luyện mạng dự đoán nhẹ, đưa ra một chương trình thực thi cho mỗi đầu vào mà không cần tìm kiếm online. Mạng này dùng cross-attention giữa lớp và token để quyết định segmentation (gộp 1-4 layer thành module) và thao tác (skip, keep, repeat).

III. Main Results:​

  • Kết hợp skip và recurrence cho kết quả tốt hơn hẳn dùng riêng lẻ, tăng accuracy tới +65.3% trên DART-Math so với forward chuẩn.
  • 75.5% input đúng sẵn có chương trình ngắn hơn; 36.2% input sai được sửa nhờ chương trình ngắn hơn.
  • Trên 5 mức độ khó, POLAR vượt các baseline như ShortGPT, MindSkip, DR.LLM, luôn cải thiện pass@k, ví dụ từ 35.6% lên 45.8% trên DM-5 pass@5 với LLaMA-3.2-3B.
  • POLAR giảm latency (0.83x – 0.95x forward chuẩn) với overhead chỉ 0.8% số lớp.
  • OOD (ASDiv, MAWPS, MMLU-Pro): POLAR vượt forward chuẩn 2-5 điểm %, chứng tỏ transfer tốt.

IV. Conclusion & Future Works:​

Kết quả cho thấy forward pass cố định chỉ khai thác một phần nhỏ năng lực suy luận tiềm ẩn của LLM. POLAR như một framework nhẹ sắp xếp lại tài nguyên tính toán linh hoạt. Hướng tới: mở rộng số lần lặp (repeat-k), kết hợp với chain-of-thought rõ ràng, và áp dụng cho các mô hình đa phương thức.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng POLAR cho Vision-Language Models để bỏ qua hoặc lặp lại các visual encoder layer tùy độ khó của ảnh và câu hỏi.
  2. Tìm hiểu cơ chế tác động của skip/repeat đến đại diện trung gian trong từng lớp, giải thích vì sao một số lớp quan trọng hơn cho suy luận.
  3. Kết hợp POLAR với các kỹ thuật early exit để tối ưu hơn nữa trade-off giữa accuracy và số layer thực thi.

2. Patent:​

  1. Hệ thống AI trên điện thoại sử dụng mô hình ngôn ngữ phân tích nội dung màn hình và điều khiển ứng dụng, tự động bỏ qua hoặc lặp lại các lớp transformer để tiết kiệm pin và tăng tốc trên thiết bị.
  2. Ứng dụng trợ giúp toán học cho học sinh: mỗi bài toán được phân tích, nếu dễ thì bỏ qua các lớp sâu, nếu khó thì lặp lại các lớp suy luận, giúp giải chính xác hơn mà không tốn nhiều CPU/GPU.
  3. Trợ lý ảo trên ô tô: phân tích câu lệnh giọng nói và linh hoạt chạy số lớp mô hình khác nhau—khi lệnh đơn giản (bật đèn) thì skip bớt lớp, khi hỏi đường phức tạp thì lặp lại các lớp hiểu ngữ cảnh để tăng độ chính xác.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06574
ArXiv Abstracthttps://arxiv.org/abs/2606.06574
PDF Downloadhttps://arxiv.org/pdf/2606.06574.pdf
Github Repositoryhttps://github.com/tianyi-lab/PoLar

13. RedAct: Redacting Agent Capability Traces for Procedural Skill Protection (23 votes)​

Tác giả: Shuwen Xu, Zhitao He, Yi R. Fung

Xuất bản lúc: 2026-06-10

Tag: Agent Traces, Procedural Skill Protection, Redaction, Behavioral Watermarking, Agent Security, Capability Leakage, LLM Agents

I. Main Problem:​

Các tác nhân AI (agent) hiện đại thường phát hành dấu vết thực thi (execution traces) để phục vụ kiểm toán và gỡ lỗi, nhưng những dấu vết này lại vô tình tiết lộ các quy trình kỹ năng độc quyền—công thức, ngưỡng, lựa chọn công cụ—cho phép kẻ tấn công tái tạo và tái sử dụng chúng. Bài toán đặt ra là làm sao vừa duy trì tính minh bạch của trace vừa bảo vệ tài sản trí tuệ quy trình (procedural skill) khỏi bị khai thác.

II. Main Idea:​

REDACT là một khung bảo vệ gồm hai lớp: (1) lớp viết lại (rewriting layer) dùng LLM để định vị và trừu tượng hóa các mục kỹ năng được bảo vệ (công thức, ngưỡng v.v.) trong trace, đồng thời giữ lại bằng chứng cần thiết cho kiểm toán; (2) lớp đánh dấu hành vi (behavioral watermarking) chèn các hành vi trung tính về mặt chức năng vào trace (ví dụ: kiểm tra môi trường vô hại) để truy vết nguồn gốc khi bị tái sử dụng ở hạ nguồn. Phương pháp này giảm mức chuyển giao kỹ năng chuẩn hóa (NST) từ 44,7–67,1% trên trace thô xuống dưới baseline không có kỹ năng.

III. Main Results:​

  • REDACT giảm NST từ 44,7–67,1% trên trace thô xuống còn non-positive (−5,9% đến −29,4%) trên cả ba kênh tái sử dụng.
  • Watermark hành vi độc lập (Standalone) đạt tỷ lệ phát hiện thật (TD) 93,6–100,0% với tỷ lệ báo động giả (FA) ≤ 1,9%.
  • Tỷ lệ phục hồi thông tin bảo vệ (RPI) giảm 37–48% ở các artifact hạ nguồn.
  • Trên tác vụ khó (hard), lợi ích từ trace thô bị nén từ 6,5–10,5% SSR xuống còn ≤ 4,8% sau bảo vệ.
  • REDACT giữ lại 91–96,6% bằng chứng kiểm toán (tên công cụ, đường dẫn verifier, trường schema) và duy trì độ dài trace trong ngưỡng 90–110%.

IV. Conclusion & Future Works:​

REDACT chứng minh rằng việc biên tập có chọn lọc các trace agent có thể giảm đáng kể rò rỉ năng lực quy trình mà vẫn giữ được tính kiểm toán. Hướng tương lai gồm nghiên cứu các kích hoạt ngữ cảnh mạnh hơn cho watermark và đánh giá tín hiệu truy xuất nguồn gốc trên các mô hình học sinh lớn hơn và log triển khai thực tế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng CAPTRACEBENCH với các tác vụ đa phương thức (hình ảnh, video) để đánh giá rò rỉ kỹ năng quy trình trong môi trường giàu thông tin hơn.
  2. Phát triển cơ chế viết lại thích ứng có thể tự động điều chỉnh mức độ trừu tượng hóa dựa trên độ nhạy của từng mục kỹ năng.
  3. Kết hợp watermark hành vi với watermark văn bản để tạo tín hiệu truy xuất nguồn gốc đa tầng, tăng độ tin cậy phát hiện.

2. Patent:​

  1. Hệ thống phát hành trace an toàn cho trợ lý AI doanh nghiệp: khi trợ lý thực hiện quy trình tài chính độc quyền, trace được tự động viết lại để che giấu công thức định giá và ngưỡng quyết định, chỉ giữ lại bằng chứng kiểm toán cần thiết.
  2. Ứng dụng trên điện thoại thông minh cho phép người dùng xem lại lịch sử tương tác với trợ lý AI mà không làm lộ các bước quy trình nhạy cảm (ví dụ: cách chẩn đoán lỗi, công thức tính toán), sử dụng cơ chế viết lại tự động.
  3. Công cụ bảo vệ tài sản trí tuệ cho các nền tảng no-code: khi người dùng tạo workflow tự động, các trace thực thi được phát hành kèm watermark hành vi để truy vết nếu workflow bị sao chép trái phép.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.10813
ArXiv Abstracthttps://arxiv.org/abs/2606.10813
PDF Downloadhttps://arxiv.org/pdf/2606.10813.pdf
Github Repositoryhttps://github.com/XuShuwenn/RedAct

14. LLM Agents Can See Code Repositories (20 votes)​

Tác giả: Dongjian Ma, Silin Chen, Yufei Yang, Yulin Shi, Yanfu yan, et al.

Xuất bản lúc: 2026-06-12

Tag: MLLM, Coding Agent, Repository Understanding, Multimodal Learning, Software Engineering, Graph Visualization, Issue Resolution

I. Main Problem:​

Các coding agent hiện tại chỉ dùng text (mã nguồn, tài liệu) để tương tác với kho mã, bỏ qua các tín hiệu trực quan như cấu trúc thư mục, phụ thuộc file hay cú pháp nổi bật. Điều này khiến agent phải suy luận ngầm cấu trúc từ chuỗi token dài, tốn nhiều chi phí và dễ mất ngữ cảnh quan trọng.

II. Main Idea:​

Bài báo đề xuất SeeRepo, một framework cho phép coding agent kết hợp biểu diễn trực quan của đồ thị phụ thuộc (dạng ảnh) với mã nguồn dạng text. SeeRepo dùng phân tích AST để xây đồ thị chứa các quan hệ contains, imports, invokes, inherits, rồi render thành ảnh PNG. Agent tự động quyết định độ sâu truy vấn và dùng ảnh đồ thị để thu hẹp không gian tìm kiếm, giảm số bước duyệt thư mục thừa trong khi vẫn giữ độ chính xác khi sửa lỗi.

III. Main Results:​

  • Ghép SeeRepo với GPT-5-mini giảm 26% chi phí, Pass@1 tăng nhẹ lên 55.4% (+0.4) trên SWE-bench Verified.
  • Kết quả chuyển giao tốt: SWE-Rebench (+0.91% Pass@1, -34.89% input tokens) và SWE-QA (+0.4 điểm, -26.2% chi phí).
  • Dùng vision-only làm giảm mạnh độ chính xác (tới -34.1 điểm) và tăng chi phí tới +268%.
  • Đồ thị dạng graph cho hiệu quả token tốt nhất; sử dụng ở giai đoạn fault localization là tối ưu nhất.
  • Agent tự quyết định độ sâu đồ thị đạt Pass@1 55.4% với mức giảm token lớn nhất (-25%).

IV. Conclusion & Future Works:​

SeeRepo chứng minh tích hợp ảnh đồ thị phụ thuộc vào coding agent giúp giảm chi phí và vẫn duy trì hiệu suất sửa lỗi. Hướng tới: phát triển chiến lược trực quan thích ứng (bớt rối với repo lớn) và bổ sung tín hiệu động như dấu vết thực thi để tăng cường khả năng suy luận.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SeeRepo cho các ngôn ngữ lập trình khác (Java, TypeScript) và benchmark mới để kiểm tra tính khái quát hóa của phương pháp.
  2. Kết hợp SeeRepo với reinforcement learning để agent tự học chiến lược truy vấn đồ thị (độ sâu, loại quan hệ) tối ưu nhất cho từng loại lỗi.
  3. Tích hợp tín hiệu động (runtime trace, coverage) vào đồ thị tĩnh, tạo hybrid representation giúp agent phân biệt đường code thường chạy và đường ít chạy.

2. Patent:​

  1. Hệ thống hỗ trợ lập trình trên điện thoại: khi developer chọn một hàm, ứng dụng hiển thị đồ thị phụ thuộc dạng ảnh (gọi đến/được gọi) và cho phép chạm để mở code, giúp hiểu cấu trúc nhanh mà không cần cuộn text dài.
  2. Plugin IDE thông minh cho di động: khi sửa lỗi, plugin tự động truy vấn đồ thị phụ thuộc của vùng code liên quan và hiển thị dạng ảnh nén, giúp lập trình viên xác định đúng file cần sửa chỉ trong vài chạm.
  3. Công cụ review code tự động cho mobile: mỗi pull request, tool render đồ thị phụ thuộc giữa các file thay đổi và file liên quan thành ảnh, cho phép reviewer lướt nhanh để phát hiện tác động phụ không mong muốn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.14061
ArXiv Abstracthttps://arxiv.org/abs/2606.14061
PDF Downloadhttps://arxiv.org/pdf/2606.14061.pdf
Github Repositoryhttps://github.com/cslsolow/SeeRepo

15. RepFusion: Leveraging Multimodal Priors for Denoising in Representation Space (18 votes)​

Tác giả: Xichen Pan, Aashu Singh, Satya Narayan Shukla, Xiangjun Fan, Shlok Kumar Mishra, et al.

Xuất bản lúc: 2026-06-12

Tag: Text-to-Image, Diffusion, Representation Autoencoders, Multimodal LLMs, Denoising, Large Language Models, Image Generation

I. Main Problem:​

Các hệ thống text-to-image hiện tại dùng LLM chỉ như bộ mã hóa văn bản tĩnh, trong khi quá trình khử nhiễu hoàn toàn do các bộ khử nhiễu mới khởi tạo đảm nhiệm. Việc này lãng phí dung lượng mô hình và không khai thác được kiến thức ngôn ngữ-hình ảnh mạnh của LLM trong suốt chuỗi khuếch tán.

II. Main Idea:​

RepFusion tái sử dụng một MLLM đã được huấn luyện trước như một bộ mã hóa nhiễu: nó đưa các latent RAE nhiễu (qua MLP projector) cùng văn bản vào MLLM, rồi dùng đầu ra của MLLM để điều kiện hóa mỗi bước khử nhiễu trong DiT (Diffusion Transformer). MLLM được giữ nguyên trạng thái đông lạnh, chỉ fine-tune projector và DiT. Cách này biến MLLM thành nguồn ưu tiên cho khử nhiễu, đồng thời tạo ra sự phụ thuộc trạng thái giúp tính toán test-time được mở rộng hữu ích qua từng bước.

III. Main Results:​

  • RepFusion đạt GenEval 0.70 với 1.3B tham số huấn luyện, vượt TextEmbed (0.57) và Transfusion (0.62) dùng chung FLOPs suy luận.
  • Đưa noisy latent vào MLLM thay vì learnable queries cải thiện GenEval từ 0.55 lên 0.70.
  • Dùng MLLM (đã thấy biểu diễn sạch) vượt hẳn LLM chỉ văn bản: +0.16 GenEval khi freezing, +0.04 khi fine-tune.
  • Cố định MLLM đã pretrained cho kết quả tốt hơn fine-tune nó: GenEval 0.70 vs. 0.68.
  • RepFusion-SFT (Diffusion Decoder) đạt GenEval 0.87, DPG-Bench 85.11, WISE tổng 0.64.

IV. Conclusion & Future Works:​

RepFusion chuyển đổi vai trò LLM từ tĩnh sang động, tận dụng tối đa kiến thức đa phương thức đã học. Hướng tới: mở rộng scaling cho các MLLM và DiT lớn hơn, khám phá thêm các chiến lược điều kiện hóa tiến hóa, và áp dụng cho các tác vụ sinh khác như video.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RepFusion lên sinh video: dùng MLLM làm bộ mã hóa nhiễu cho các latent video RAE, điều kiện hóa trên khung hình hiện tại và văn bản mô tả chuỗi hành động.
  2. Nghiên cứu ảnh hưởng của việc dùng nhiều MLLM khác nhau (ví dụ: kích thước, kiến trúc) đến chất lượng khử nhiễu và khả năng khái quát hóa trong không gian biểu diễn.
  3. Kết hợp RepFusion với reinforcement learning từ phản hồi con người (RLHF) để tối ưu hóa prompt alignment mà không cần supervised fine-tuning nhiều dữ liệu.

2. Patent:​

  1. Ứng dụng trong điện thoại: tạo ảnh từ văn bản mô tả chi tiết, nơi MLLM trên máy chủ đám mây liên tục cập nhật điều kiện khử nhiễu theo mô tả người dùng, cho ảnh chính xác và sáng tạo hơn.
  2. Hệ thống chỉnh sửa ảnh trên thiết bị di động: người dùng vẽ vùng cần thay đổi và nhập mô tả; MLLM xử lý vùng nhiễu đó và DiT sinh nội dung mới khớp với ngữ cảnh ảnh gốc.
  3. Tạo ảnh quảng cáo động: RepFusion tích hợp vào ứng dụng thương mại điện tử, cho phép sinh ảnh sản phẩm từ mô tả văn bản mà không cần chụp ảnh thật, tiết kiệm chi phí sản xuất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.14700
ArXiv Abstracthttps://arxiv.org/abs/2606.14700
PDF Downloadhttps://arxiv.org/pdf/2606.14700.pdf
Github RepositoryN/A

16. Pythagoras-Prover: Advancing Efficient Formal Proving via Augmented Lean Formalisation (17 votes)​

Tác giả: Joshua Ong Jun Leang, Zheng Zhao, Mihaela Cătălina Stoian, Qiyuan Xu, Haonan Li, et al.

Xuất bản lúc: 2026-06-10

Tag: Lean Theorem Prover, Formal Verification, Curriculum Learning, Self-Distillation, Diffusion Models, Augmented Data

I. Main Problem:​

Các theorem prover hiện đại trên Lean đạt hiệu suất cao nhờ mô hình cực lớn (~hàng trăm tỷ tham số) hoặc tiêu tốn nhiều tài nguyên tính toán cho suy luận (search, self-correction), khiến chúng khó tiếp cận với các nhóm nghiên cứu có ngân sách hạn chế. Ngoài ra, sự khan hiếm dữ liệu chứng minh đã được Lean xác thực cản trở việc huấn luyện hiệu quả.

II. Main Idea:​

Pythagoras-Prover giới thiệu một họ theorem prover mã nguồn mở tiết kiệm chi phí tính toán, bao gồm mô hình tự hồi quy 4B và 32B tham số, cùng mô hình khuếch tán 4B đầu tiên trong lĩnh vực này. Các mô hình được huấn luyện theo chương trình giảng dạy (curriculum) dựa trên một kho ngữ liệu ~800K mẫu đã được Lean xác thực, phân tầng độ khó. Kỹ thuật Augmented Lean Formalisation (ALF) mở rộng kho này gấp 2,5 lần bằng cách tạo các biến thể cấu trúc không cần xác thực từng mẫu, sau đó dùng self-distillation để sinh thêm tín hiệu huấn luyện.

III. Main Results:​

  • Pythagoras-Prover-4B vượt DeepSeek-Prover-V2-671B trên MiniF2F-Test tại pass@32 (86,1% so với 82,4%), dù có kích thước nhỏ hơn 167 lần.
  • Pythagoras-Prover-32B đạt 93,0% trên MiniF2F-Test, cao nhất trong số các prover mở không dùng self-correction, và giải 93/672 bài PutnamBench, cũng là kết quả mở tốt nhất.
  • Trên MiniF2F-ALF (phiên bản đột biến của MiniF2F), Pythagoras-Prover-32B giữ hiệu suất 85,0%, vượt các baseline và cho thấy khả năng khái quát hóa tốt hơn nhờ huấn luyện trên dữ liệu ALF.
  • Pythagoras-Prover-Diffusion-4B đạt 63,25% trên MiniF2F-Test, là prover khuếch tán khả thi đầu tiên, mặc dù thua bản tự hồi quy do hạn chế độ dài ngữ cảnh.
  • Phương pháp restart sampling đạt hiệu quả tính toán tương đương hoặc tốt hơn self-correction khi tính đến độ phức tạp token hiệu dụng (ETC).

IV. Conclusion & Future Works:​

Pythagoras-Prover chứng minh rằng hiệu suất chứng minh hình thức mạnh mẽ không nhất thiết yêu cầu mô hình kích thước lớn hoặc quy trình suy luận phức tạp. Hướng phát triển tương lai tập trung vào cải thiện prover khuếch tán bằng cách mở rộng độ dài ngữ cảnh ổn định, và tối ưu hóa các chiến lược sinh dữ liệu ALF để tăng cường hơn nữa khả năng khái quát.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu kết hợp ALF với các kỹ thuật tối ưu hóa quy trình sinh biến thể có mục tiêu, ví dụ dùng reinforcement learning để điều chỉnh hàm mục tiêu sao cho tạo ra các biến thể khó hơn, nhằm tăng độ mạnh mẽ của prover.
  2. Mở rộng kiến trúc diffusion cho chứng minh hình thức bằng cách đề xuất cơ chế masking thích ứng dựa trên độ khó của tactic, không chỉ đơn giản là masking toàn bộ tactic, giúp cải thiện tín hiệu huấn luyện và hiệu suất.
  3. Áp dụng phương pháp huấn luyện chương trình giảng dạy kết hợp với ALF cho các tác vụ lập trình hình thức khác (ví dụ: chứng minh bảo mật hợp đồng thông minh), kiểm tra tính khái quát của pipeline ngoài lĩnh vực toán học thuần túy.

2. Patent:​

  1. Hệ thống hỗ trợ giáo dục toán: học sinh nhập bài toán; mô hình Pythagoras-Prover chạy trên server cloud (API) sinh các bước chứng minh từng dòng, kèm giải thích, giúp kiểm tra đáp án và hỗ trợ học tập mà không cần máy tính mạnh.
  2. Công cụ kiểm thử bảo mật ứng dụng: nhà phát triển cung cấp đặc tả logic bảo mật dưới dạng khẳng định (assertion); hệ thống tự động dịch sang Lean và chạy prover để phát hiện lỗ hổng hoặc xác minh tính đúng đắn, tích hợp vào quy trình CI/CD.
  3. Trợ lý lập trình hình thức cho điện thoại thông minh: ứng dụng di động cho phép người dùng viết các mệnh đề logic đơn giản; mô hình prover phiên bản nhẹ (4B) chạy local tạo phản hồi tức thì, giúp học sinh, sinh viên luyện tập tư duy toán học và logic.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12594
ArXiv Abstracthttps://arxiv.org/abs/2606.12594
PDF Downloadhttps://arxiv.org/pdf/2606.12594.pdf
Github Repositoryhttps://github.com/Pythagoras-LM/Pythagoras-Prover

17. Hy-Embodied-0.5-VLA: From Vision-Language-Action Models to a Real-World Robot Learning Stack (15 votes)​

Tác giả: He Zhang, Lingzhu Xiang, Haitao Lin, Zeyu Huang, Minghui Wang, et al.

Xuất bản lúc: 2026-06-12

Tag: Vision-Language-Action, Robot Learning Stack, Flow Matching, Preference Optimization, Cross-Embodiment Transfer, Teleoperation, Imitation Learning

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) hiện tại thường chỉ tập trung vào kiến trúc mô hình mà chưa giải quyết toàn bộ hệ thống robot từ thu thập dữ liệu đến triển khai thực tế. Các thách thức chính bao gồm: dữ liệu teleoperation mất phản hồi xúc giác, khó khăn trong việc chuyển đổi giữa các hình thái robot khác nhau, và thiếu khả năng tinh chỉnh chính sách sau huấn luyện mà không cần mô hình phần thưởng phức tạp.

II. Main Idea:​

Hy-Embodied-0.5-VLA là một hệ thống robot học toàn diện bao gồm: (1) Bộ thu thập dữ liệu UMI gắn đầu ngón tay với hệ thống motion-capture để ghi lại hơn 10.000 giờ biểu diễn con người ở độ chính xác dưới milimet. (2) Mô hình VLA với backbone Mixture-of-Transformers 4B tham số, tích hợp action expert dùng flow-matching và biểu diễn delta-chunk giúp tách rời chính sách khỏi động học của từng robot. (3) FlowPRO – thuật toán RL offline không cần mô hình phần thưởng, sử dụng dữ liệu can thiệp của người vận hành để cải thiện chính sách. (4) Hệ thống triển khai không đồng bộ với làm mượt hành động bằng Bézier, cho phép điều khiển vòng kín tần số cao.

III. Main Results:​

  • Hy-UMI-10K gồm hơn 10.000 giờ, 1 triệu tập, 70 tác vụ trong 6 nhóm kịch bản.
  • Hai track SFT: Track-A (cùng robot) và Track-B (chuyển đổi hình thái, chỉ dùng dữ liệu UMI).
  • FlowPRO cải thiện hiệu suất thực tế mà không cần mô hình phần thưởng, tận dụng các ca thất bại để cải tiến.
  • Triển khai thành công trên nhiều robot: Dobot X-Trainer, JAKA K1, Astribot S1, Unitree G1.
  • Đạt điều khiển vòng kín ở 50Hz nhờ ống dẫn không đồng bộ và làm mượt Bézier.

IV. Conclusion & Future Works:​

HyVLA-0.5 chứng minh rằng một robot đa năng cần được xây dựng trên toàn bộ stack học robot, từ dữ liệu đến triển khai. Hướng tương lai có thể mở rộng dữ liệu đa phương thức (depth, force), cải thiện RL post-training và khả năng thích ứng với môi trường chưa thấy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng FlowPRO với cơ chế active learning để robot tự xác định các ca thất bại quan trọng nhất cho con người can thiệp.
  2. Nghiên cứu kết hợp delta-chunk action representation với học meta-learning để robot có thể thích ứng nhanh với robot hoàn toàn mới chỉ với vài mẫu.
  3. Tích hợp mô hình depth vào pipeline hiện tại để cải thiện thao tác trong môi trường thiếu ánh sáng hoặc vật thể trong suốt.

2. Patent:​

  1. Hệ thống thu thập dữ liệu UMI gắn đầu ngón tay với cảm biến lực 6 chiều, giúp ghi lại lực tác động chính xác khi thao tác với vật tinh vi, ứng dụng trong đào tạo robot lắp ráp linh kiện điện tử.
  2. Phương pháp chuyển đổi chính sách robot giữa các hình thái khác nhau mà không cần teleoperation cho robot mới, chỉ dùng dữ liệu UMI và delta-chunk representation, giúp triển khai robot nhanh trong nhà máy.
  3. Ứng dụng FlowPRO trên điện thoại thông minh: người dùng ghi lại thao tác thất bại robot, điện thoại tự động tạo cặp thành công/thất bại và cập nhật chính sách mà không cần mô hình phần thưởng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.14409
ArXiv Abstracthttps://arxiv.org/abs/2606.14409
PDF Downloadhttps://arxiv.org/pdf/2606.14409.pdf
Github RepositoryN/A

18. World Tracing: Generative Pixel-Aligned Geometry Beyond the Visible (15 votes)​

Tác giả: Hao Zhang, Mohamed El Banani, Jen-Hao Cheng, Paul Zhang, Yi Hua, et al.

Xuất bản lúc: 2026-06-11

Tag: Image-to-3D, Multilayer Geometry, Diffusion Transformer, Depth Peeling, Pixel-aligned, Point Cloud Generation, Scene Reconstruction, Flow Matching

I. Main Problem:​

Các phương pháp image-to-3D hiện tại thường đánh đổi giữa độ trung thực và tính hoàn chỉnh: bộ dự đoán độ sâu chỉ dừng lại ở bề mặt nhìn thấy, trong khi mô hình sinh tạo vật thể đầy đủ nhưng dễ mất sự khớp với ảnh đầu vào. Chưa có biểu diễn nào vừa bám chặt pixel gốc vừa hoàn thiện phần hình học bị khuất.

II. Main Idea:​

World Tracing giới thiệu biểu diễn hình học đa lớp căn chỉnh pixel: mỗi pixel đầu vào được dự đoán một chồng điểm 3D có thứ tự, lớp đầu tiên là bề mặt nhìn thấy, các lớp sau là hình học bị che khuất. Kiến trúc WT-DiT là diffusion transformer với cơ chế attention ba chiều (theo lớp, theo tia, toàn cục) và huấn luyện bằng flow matching, sử dụng chiến lược depth-filling thay vì dự đoán mask để giải quyết mất cân bằng lớp. Biểu diễn sống trên cùng lưới ảnh đầu vào nên giữ nguyên tương ứng pixel-3D và không cần nội suy camera.

III. Main Results:​

  • WT-O vượt trội trên visible-surface depth (MAE 0.0149 so với MoGe-2 0.0261) và full-object geometry (Chamfer L1 0.0213 so với TRELLIS.2 0.0566).
  • WT-S đạt best trên 3D-FRONT cho cả L0 và all-layer geometry với F@0.05 lên tới 0.9867 (L0) và 0.8951 (all-L).
  • WT-D thắng GVFD, SS4D trên Obj.-Val và Truebone, đạt mean CD-L2 0.0105, cải thiện 33% so với ActionMesh.
  • Depth-filling hiệu quả hơn mask prediction: không gây xung đột gradient và tránh suy sập mask ở lớp sâu.
  • Sử dụng WT làm prior cho TRELLIS.2 giúp cải thiện điểm Chamfer từ 0.0566 xuống 0.0326.

IV. Conclusion & Future Works:​

World Tracing chứng minh biểu diễn đa lớp căn chỉnh pixel vừa cải thiện độ chính xác bề mặt thấy vừa sinh được hình học khuất, đồng thời hỗ trợ nhiều tác vụ hạ nguồn không cần huấn luyện thêm. Hướng phát triển: mở rộng cho video dài hơn và tích hợp với các pipeline 3D thời gian thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng World Tracing sang đa khung nhìn: kết hợp thông tin từ nhiều góc camera để cải thiện chất lượng lớp khuất và khử mơ hồ sâu hơn.
  2. Ứng dụng biểu diễn multilayer cho nội suy khung nhìn (novel view synthesis) trong ảnh đơn: dùng lớp hình học đầy đủ làm bộ nhớ để video model tạo vùng giải khuất chính xác hơn.
  3. Kết hợp World Tracing với mô hình ngôn ngữ-thị giác để hiệu chỉnh hình học bằng mô tả ngữ nghĩa, cho phép sửa lỗi tạo vật thể thông qua prompt văn bản.

2. Patent:​

  1. Hệ thống chụp ảnh 3D trên điện thoại: máy ảnh chụp một ảnh duy nhất, mô hình trên cloud sinh ngay mô hình 3D đầy đủ (kể cả mặt khuất) để phục vụ AR, đo khoảng cách chính xác mà không cần nhiều ảnh hay cảm biến LiDAR.
  2. Ứng dụng quét nội thất bằng camera thường: chụp ảnh phòng, mô hình tạo bản đồ điểm 3D với cả tường và đồ vật bị che, hỗ trợ thiết kế nội thất và đo đạc không gian không tốn phí quét chuyên dụng.
  3. Tính năng xóa/chèn vật thể trong ảnh chụp: dùng hình học đầy đủ để tái tạo vùng bị che sau khi xóa vật thể, giúp công cụ chỉnh sửa ảnh trên điện thoại có kết quả tự nhiên mà không cần nhập liệu 3D phức tạp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.13652
ArXiv Abstracthttps://arxiv.org/abs/2606.13652
PDF Downloadhttps://arxiv.org/pdf/2606.13652.pdf
Github Repositoryhttps://github.com/haoz19/world-tracing

19. The Arbiter Agent: Continually Monitoring Multi-Agent Conversations to Detect Emergent Misalignment (13 votes)​

Tác giả: Filippo Tonini, Federico Torrielli, Anton Danholt Lautrup, Peter Schneider-Kamp, Mustafa Mert Çelikok, et al.

Xuất bản lúc: 2026-06-09

Tag: Multi-Agent Safety, Emergent Misalignment, LLM Agents, Alignment Auditing, AI Control, Conversation Monitoring

I. Main Problem:​

Khi dùng nhiều tác nhân ngôn ngữ trong một hệ thống, sự tương tác giữa chúng có thể nảy sinh hành vi lệch lạc ở tầm hệ thống mà từng tác nhân riêng lẻ vẫn an toàn. Các phương pháp giám sát hiện nay chỉ kiểm tra sau khi chạy (post-hoc) và không thích ứng với ngân sách hạn chế khi giám sát các cuộc hội thoại đa tác nhân.

II. Main Idea:​

Bài báo giới thiệu The Arbiter Agent, một tác nhân liên tục theo dõi các cuộc hội thoại đa tác nhân theo thời gian thực để phát hiện hành vi lệch lạc ngay từ khi nó xuất hiện. The Arbiter hoạt động trong một vòng lặp reasoning-and-acting, có ngân sách giám sát hạn chế, và có thể chọn chờ đợi, chất vấn một tác nhân, kiểm tra hệ thống prompt, kiểm tra chuỗi suy luận (Chain of Thought), hoặc ghi nhận sự kiện đáng ngờ. Kiến trúc này biến người giám sát thành một bên tham gia chủ động trong cuộc trò chuyện, thay vì chỉ là người phân tích sau đó.

III. Main Results:​

  • The Arbiter phát hiện đáng tin cậy hầu hết các loại mất căn chỉnh, bao gồm cả hành vi lệch lạc từ trọng số mô hình, prompt hệ thống, ý thức bị giám sát (evaluation-aware), và thông đồng (collusion).
  • Lệch lạc từ trọng số mô hình là khó phát hiện nhất (F1=0.51), trong khi lệch lạc từ prompt được phát hiện gần như hoàn hảo kể cả khi chỉ quan sát thụ động (F1=1.00 với model + risky prompt).
  • Các công cụ kiểm tra chủ động (chất vấn, xem chuỗi suy luận, xem prompt) cải thiện cả độ chính xác và tốc độ phát hiện, nhưng công cụ ghi nhận (log) làm tăng tỷ lệ dương tính giả (từ 0.10 lên 1.15 ở baseline).
  • Trong điều kiện khó (weight-induced), tăng ngân sách từ 10 lên 30 chỉ cải thiện F1 nhẹ (0.51→0.62), cho thấy hạn chế nằm ở tín hiệu hành vi hơn là nguồn lực.

IV. Conclusion & Future Works:​

The Arbiter có thể phát hiện sớm và hiệu quả các hành vi lệch lạc trong cuộc hội thoại đa tác nhân với ngân sách hạn chế. Công việc tương lai dự kiến mở rộng đánh giá sang các cuộc hội thoại tự nhiên hơn, tích hợp các công cụ diễn giải (interpretability), và dùng các mô hình có năng lực tương đương với Arbiter để kiểm tra khả năng né tránh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển phương pháp tối ưu hóa chiến lược chất vấn chủ động dựa trên độ không chắc chắn, giúp Arbiter chọn tác nhân và thời điểm chất vấn thông minh hơn trong ngân sách.
  2. Nghiên cứu mở rộng Arbiter cho các cuộc hội thoại mở (không round-robin) với số lượng tác nhân thay đổi và có thể đạt mức lệch lạc tinh vi hơn.
  3. Tích hợp các kỹ thuật diễn giải (như sparse autoencoders, activation oracles) làm công cụ giám sát cho Arbiter, đo lường khả năng phát hiện các hành vi lệch lạc tiềm ẩn (không hiện rõ trong lời nói).

2. Patent:​

  1. Hệ thống giám sát cuộc hội thoại giữa nhiều chatbot dịch vụ khách hàng (ngân hàng, bảo hiểm) theo thời gian thực, tự động phát hiện và cảnh báo khi một chatbot đưa ra lời khuyên sai lệch hoặc cố tình che giấu thông tin.
  2. Module giám sát an toàn tích hợp trong ứng dụng trợ lý ảo trên điện thoại (như ChatGPT, Siri) khi chúng được gọi đồng thời để thương lượng lịch hẹn hoặc giao dịch, đảm bảo không có tác nhân nào cố tình làm sai lệch.
  3. Công cụ đánh giá rủi ro cho các nền tảng game nhập vai có AI sinh lời thoại: một tác nhân giám sát liên tục theo dõi hội thoại giữa các NPC AI để phát hiện hành vi thông đồng hoặc lừa đảo người chơi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.10747
ArXiv Abstracthttps://arxiv.org/abs/2606.10747
PDF Downloadhttps://arxiv.org/pdf/2606.10747.pdf
Github Repositoryhttps://github.com/aisilab/arbiter

20. iMaC: Translating Actions into Motion and Contact Images for Embodied World Models (13 votes)​

Tác giả: Zhenyu Wu, Xiuwei Xu, Yukun Zhou, Yifan Li, Qiuping Deng, et al.

Xuất bản lúc: 2026-06-08

Tag: Embodied World Models, Action-Conditioned Video Generation, Robot Manipulation, Policy Evaluation, URDF, Forward Kinematics, Multi-View

I. Main Problem:​

Các world model hiện tại thường mã hóa hành động tương lai thành vector rời rạc và tiêm vào thông qua cơ chế học, buộc mô hình phải suy luận gián tiếp hậu quả không gian vi mô. Trong các thao tác robot thực tế, sai lệch vài centimet có thể quyết định thành bại, khiến cách tiếp cận trừu tượng này hạn chế độ chính xác và độ tin cậy cho đánh giá chính sách.

II. Main Idea:​

iMaC chuyển hành động tương lai thành hình ảnh chuyển động và tiếp xúc để dẫn dắt sinh video. Nó dùng URDF và động học thuận của robot để kết xuất video điều khiển quan sát robot (motion images) từ chuỗi hành động khớp. Đồng thời, mô hình dự đoán độ sâu phụ trợ để xây dựng đám mây điểm hai chiều (contact images) giữa hiện trường và robot tương lai, mã hóa tương quan không gian có liên quan đến tiếp xúc. Các ảnh điều khiển được tiêm vào Diffusion Transformer dưới dạng latent-wise addition, giúp mô hình có hướng dẫn pixel-level về trạng thái robot và hình học tương tác. iMaC cũng áp dụng chiến lược rollout trong huấn luyện để giảm sai lệch tích lũy qua nhiều chunk.

III. Main Results:​

  • Trên 8 tác vụ thao tác thực tế dài hạn, iMaC đạt FID, PSNR, SSIM và FVD tốt nhất so với Ctrl-World và ABot-PhysWorld.
  • Điểm thành công của world model tương quan mạnh mẽ với hiệu suất thực tế trên 6/8 tác vụ, với hệ số tương quan từ 0.833 đến 0.956.
  • Hai tác vụ có tương quan thấp hơn (0.678 và 0.428) do phụ thuộc vào quan hệ chiều cao bị camera quan sát yếu.
  • Motion images và contact images đều cần thiết; thiếu một trong hai khiến robot không nắm chính xác vật thể.

IV. Conclusion & Future Works:​

iMaC chứng minh rằng việc dùng ảnh chuyển động và tiếp xúc dựa trên động học robot giúp world model dự đoán chính xác hơn và đánh giá chính sách tốt hơn. Tuy nhiên, mô hình phụ thuộc vào chất lượng dự đoán độ sâu; hướng tương lai có thể kết hợp cảm biến độ sâu chất lượng cao hoặc mô hình độ sâu thích ứng với thao tác để cải thiện độ tin cậy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng iMaC cho robot di động di chuyển trong môi trường phức tạp, kết hợp motion images với ước lượng bản đồ chiều sâu từ camera đơn để dự đoán tương tác với chướng ngại vật.
  2. Kết hợp contact images với mô hình động lực học tiếp xúc để dự đoán biến dạng vật mềm (vải, cao su) khi robot tương tác, nâng cao khả năng mô phỏng thao tác tinh vi.
  3. Nghiên cứu cơ chế học tiếp xúc tự giám sát từ video thao tác thất bại, tận dụng contact images để cải thiện khả năng phục hồi lỗi và đánh giá rủi ro trong rollout dài hạn.

2. Patent:​

  1. Hệ thống kiểm tra chất lượng lắp ráp trên dây chuyền: Camera trên robot chụp ảnh sản phẩm; iMaC dự đoán chuyển động tiếp theo và so sánh với ảnh thực tế để phát hiện lỗi lắp ráp không chạm hoặc sai vị trí.
  2. Ứng dụng trên điện thoại thông minh: Người dùng chụp ảnh đồ vật, nhập hành động thao tác (ví dụ: 'nhấc cốc lên'), điện thoại tạo ảnh tiếp xúc dựa trên độ sâu từ camera để mô phỏng và hiển thị kết quả trực quan trước khi robot thực hiện.
  3. Robot hút bụi thông minh: Dùng camera đơn và iMaC để dự đoán vùng sàn sẽ chạm vào, từ đó tối ưu hóa đường đi tránh vật cản thấp và cạnh thảm, cải thiện hiệu suất làm sạch và giảm va chạm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.09813
ArXiv Abstracthttps://arxiv.org/abs/2606.09813
PDF Downloadhttps://arxiv.org/pdf/2606.09813.pdf
Github Repositoryhttps://github.com/imac-wm/iMac

21. MBench: A Comprehensive Benchmark on Memory Capability for Video World Models (11 votes)​

Tác giả: Shengjun Zhang, Zhang Zhang, Simin Huang, Zhenyu Tang, Hanyang Wang, et al.

Xuất bản lúc: 2026-06-08

Tag: Video Generation, World Models, Memory, Benchmark, Consistency, Long Video, Foundation Models

I. Main Problem:​

Các mô hình world model dạng video hiện tại chủ yếu được đánh giá dựa trên chất lượng hình ảnh, chuyển động và độ khớp văn bản – mà bỏ qua hoàn toàn khả năng ghi nhớ lâu dài. Đây là một thiếu sót lớn vì một world model thực thụ phải duy trì trạng thái nội tại ổn định và nhất quán xuyên suốt chuỗi tương tác dài, điều mà các benchmark hiện có không đo lường được.

II. Main Idea:​

MBench giới thiệu một benchmark toàn diện đánh giá khả năng bộ nhớ dài hạn của video world model qua ba trục chính: Entity Consistency (tính nhất quán của thực thể), Environment Consistency (tính nhất quán của môi trường), và Causal Consistency (tính nhân quả). Mỗi trục được chia nhỏ thành các chiều phụ như Geometry Consistency, Lighting Consistency hay State Evolution. Benchmark sử dụng các video thực được chọn lọc kỹ, kết hợp các trigger (dịch chuyển camera, ra ngoài khung hình) để kiểm tra bộ nhớ, và đưa ra cơ chế Trigger-Conditioned Scoring để tránh việc các mô hình làm biếng đạt điểm cao.

III. Main Results:​

  • MBench gồm hơn 1040 ca đánh giá có kịch bản, kiểm thử 12 mô hình video world model SOTA.
  • Các mô hình tiên tiến nhất vẫn bị trôi trạng thái (temporal drift) và hay quên khi chuỗi mô phỏng kéo dài.
  • Trigger-Conditioned Scoring phân biệt rõ mô hình chủ động theo trigger khó và mô hình chạy safe để đạt điểm ảo.
  • Các thất bại phổ biến: thực thể đổi màu sắc/hình dạng khi ra khỏi khung hình; không gian bị vặn khi camera di chuyển; hạt nhân quả bị phá vỡ (vụ nổ không để lại tàn tích).

IV. Conclusion & Future Works:​

MBench cung cấp chuẩn đánh giá toàn diện đầu tiên cho bộ nhớ dài hạn của world model, hé lộ những điểm yếu hệ thống của các phương pháp hiện tại. Hướng tương lai: phát triển các kiến trúc bộ nhớ rõ ràng (external/parametric memory) và các cơ chế huấn luyện đặc thù để cải thiện khả năng duy trì trạng thái dài hạn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển kiến trúc world model kết hợp external memory bank để lưu trữ và truy xuất vector trạng thái của thực thể, đảm bảo tính nhất quán khi thực thể ra/vào khung hình.
  2. Nghiên cứu cơ chế tự kiểm tra nhân quả (causal consistency loss) trong huấn luyện video world model để mô hình tự động trừng phạt các vi phạm vật lý ở bước rollout dài.
  3. Xây dựng phương phận fine-tuning có mục tiêu cho các video world model dựa trên tập trigger của MBench, tập trung vào các chiều mà mô hình tỏ ra yếu kém nhất.

2. Patent:​

  1. Hệ thống mô phỏng thực tế ảo trên điện thoại: ứng dụng game hoặc nội thất ghi nhớ trạng thái đồ vật sau khi camera di chuyển ra ngoài, đảm bảo khi quay lại đồ vật vẫn giữ nguyên màu sắc, kết cấu (ứng dụng MBench để kiểm thử).
  2. Tính năng quay video 'thông minh' trên smartphone nơi điện thoại tự động dùng camera và các bộ cảm biến để ổn định bố cục không gian và ánh sáng khi chụp ảnh hoặc quay phim panorama, dựa trên cơ chế đánh giá Environment Consistency của MBench.
  3. Ứng dụng chụp ảnh AR (tăng cường thực tế) trên điện thoại: khi di chuyển camera, đối tượng ảo trong khung hình giữ nguyên hình dạng, màu sắc, và phản ứng vật lý (ví dụ bóng đổ) nhờ sử dụng cơ chế Causal Consistency của MBench.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.00793
ArXiv Abstracthttps://arxiv.org/abs/2606.00793
PDF Downloadhttps://arxiv.org/pdf/2606.00793.pdf
Github Repositoryhttps://github.com/study-overflow/MBench

22. RhymeFlow: Training-Free Acceleration for Video Generation with Asynchronous Denoising Flow Scheduling (11 votes)​

Tác giả: Chensheng Dai, Shengjun Zhang, Yifan Li, Zhang Zhang, Zheng Zhu, et al.

Xuất bản lúc: 2026-06-04

Tag: Video Diffusion, DiT, Training-Free Acceleration, Denoising Scheduling, Keyframe Selection, Latent Projection

I. Main Problem:​

Các mô hình sinh video dạng Diffusion Transformer có độ trễ suy luận rất cao do độ phức tạp bậc hai của cơ chế 3D attention và yêu cầu khử nhiều bước trên mọi khung hình. Các phương pháp tăng tốc hiện tại chỉ tập trung vào tối ưu từng bước riêng lẻ, không khai thác tính dư thừa vốn có của video khi các khung liên tiếp có nội dung và chuyển động rất giống nhau.

II. Main Idea:​

RhymeFlow giới thiệu lịch trình khử nhiễu không đồng bộ, trong đó chỉ có một tập nhỏ các khung chính (keyframes) được xử lý đầy đủ, còn các khung phụ được bỏ qua một số bước để tiết kiệm chi phí. Một mô-đun chiếu quỹ đạo tiềm ẩn (latent trajectory projection) nội suy các trạng thái bị bỏ qua của khung phụ, đảm bảo khung chính vẫn có đủ ngữ cảnh không – thời gian để duy trì tính nhất quán tổng thể. Phương pháp này không cần huấn luyện lại mô hình.

III. Main Results:​

  • RhymeFlow đạt tăng tốc 1.53× trên Wan 2.1 và 1.78× trên CogVideoX-v1.5 với chất lượng hình ảnh gần như không suy giảm (PSNR ~26-27, SSIM ~0.78-0.85).
  • Kết hợp với phương pháp attention thưa (SAP), RhymeFlow đạt tốc độ tăng tốc tới 1.93×.
  • Trên HunyuanVideo, RhymeFlow vượt SVG, EasyCache, DiCache về cả chất lượng (PSNR 26.34) và tốc độ (2.26×).
  • Chiến lược chọn keyframe dựa trên độ tương đồng ngữ nghĩa vượt trội so với chọn ngẫu nhiên hoặc đồng đều (cải thiện SSIM từ 0.643 lên 0.783).
  • Bỏ cơ chế chiếu quỹ đạo làm PSNR giảm từ 26.291 xuống 20.630, chứng tỏ thành phần này là cốt lõi.

IV. Conclusion & Future Works:​

RhymeFlow cung cấp một hướng tăng tốc mới cho sinh video bằng cách phân bổ tài nguyên tính toán không đồng đều giữa các khung hình. Hướng tới có thể kết hợp với các kỹ thuật nén mô hình khác (lượng tử hóa, cắt token) để đạt tốc độ cao hơn nữa, và áp dụng ý tưởng lập lịch không đồng bộ cho các tác vụ sinh 3D hoặc điểm ảnh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng lịch trình khử nhiễu không đồng bộ cho mô hình sinh video dài (trên 200 khung): cần thiết kế cơ chế chọn keyframe thích ứng để duy trì chất lượng khi nội dung video biến đổi phức tạp theo thời gian.
  2. Xây dựng mô hình sinh video đa điều kiện (text + ảnh dẫn) với lịch trình không đồng bộ: tận dụng khung dẫn để giảm tải tính toán cho các khung phụ, phù hợp cho ứng dụng video quảng cáo hoặc kể chuyện.
  3. Áp dụng tư tưởng của RhymeFlow cho diffusion 3D sinh khối (point cloud, mesh): chỉ xử lý đầy đủ các góc nhìn chính, các góc phụ được nội suy để giảm chi phí mà vẫn giữ độ chi tiết không gian.

2. Patent:​

  1. Phần mềm biên tập video trên điện thoại: khi người dùng thêm hiệu ứng AI vào video, hệ thống tự động chọn ra các khung chính (frame chứa chuyển cảnh hoặc nhân vật chính) để render độ phân giải cao, còn các khung chuyển tiếp được nội suy nhanh, tiết kiệm pin và thời gian xử lý.
  2. Camera an ninh AI tích hợp: camera chỉ gửi lên đám mây các khung hình có sự kiện (chuyển động mạnh, thay đổi ngữ cảnh) để xử lý nhận dạng, các khung liên tục giữa hai sự kiện được tái tạo tại thiết bị, giảm băng thông và độ trễ.
  3. Trình tạo video từ text cho ứng dụng học tập: mô hình chỉ khử nhiễu đầy đủ các khung mô tả khái niệm chính (công thức, sơ đồ), còn các khung minh họa chuyển tiếp được nội suy để tăng tốc mà vẫn đảm bảo hình ảnh mượt mà cho bài giảng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06309
ArXiv Abstracthttps://arxiv.org/abs/2606.06309
PDF Downloadhttps://arxiv.org/pdf/2606.06309.pdf
Github Repositoryhttps://github.com/Simon-Dcs/RhymeFlow

23. No Hidden Prompts Needed! You Can Game AI Peer Review with Presentation-Only Revisions (10 votes)​

Tác giả: Xu Yang, Zhizhou Sha, Junbo Li, Jian Yu, Yifan Sun, et al.

Xuất bản lúc: 2026-06-11

Tag: AI Peer Review, Adversarial Attack, LLM, Presentation-Only Attack, LaTeX, Paper Laundering

I. Main Problem:​

Các hệ thống phản biện AI đang được triển khai trong quy trình bình duyệt khoa học, nhưng các rủi ro về thao túng thường chỉ tập trung vào prompt injection hoặc văn bản ẩn. Chưa có nghiên cứu nào kiểm tra việc chỉ thay đổi phần trình bày (tóm tắt, mở đầu, thảo luận) mà không động đến dữ liệu, hình vẽ hay kết quả thí nghiệm có thể làm sai lệch đánh giá AI hay không.

II. Main Idea:​

Bài báo đề xuất khái niệm 'adversarial repackaging': một tấn công vòng kín, dùng phản hồi từ AI reviewer để tìm kiếm các chỉnh sửa ở mức trình bày, giữ nguyên nội dung khoa học. Hệ thống chia văn bản thành ba vùng (tự do, hạn chế, cố định) và lặp lại quy trình: trích tín hiệu từ review, chọn chiến lược (hơn 20 chiến lược thuộc hai nhóm: tái cấu trúc tường thuật và chỉnh sửa bề mặt), soạn thảo LaTeX, đánh giá và cập nhật phiên bản tốt nhất. Đây là bài kiểm tra tính kháng cự của AI reviewer trước thao túng trình bày.

III. Main Results:​

  • Tấn công đạt tỷ lệ thành công 75.1% và điểm số tăng trung bình +1.21/10 trên ba mô hình AI reviewer (Sonnet 4, Sonnet 4.5, GPT-5-mini).
  • Các chiến lược tái cấu trúc tường thuật (ví dụ: repositioning related work, mở rộng thảo luận) hiệu quả hơn chỉnh sửa bề mặt (bảng biểu, sửa câu) gấp 2-3 lần.
  • Phát hiện sự bất đối xứng 'mạnh-yếu': AI reviewer dễ bị ấn tượng bởi việc tô điểm điểm mạnh (86.1% cải thiện), nhưng nỗ lực xóa bỏ yếu điểm thường phản tác dụng (tỷ lệ phản hồi 31.6%).
  • Các baseline (zero-shot paper laundering, PAA chỉ sửa abstract) đều kém hơn đáng kể: điểm tăng chỉ +0.25 đến +0.90, ASR 28-53%.

IV. Conclusion & Future Works:​

Các AI reviewer hiện tại không đáp ứng điều kiện kháng cự trước thao túng trình bày: chỉ thay đổi cách trình bày đủ để nâng điểm một cách hệ thống. Tác giả kêu gọi cần kiểm tra điều kiện này trước khi triển khai rộng rãi AI review, và cung cấp benchmark mở để kiểm tra độ tin cậy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng chéo (cross-model attack): liệu một mô hình AI reviewer (VD: GPT-5) có dễ bị thao túng bởi các bản repackage tối ưu hóa cho mô hình khác (VD: Claude) không, và liệu tính kháng cự có thể chuyển giao giữa các mô hình.
  2. Mở rộng tấn công sang các định dạng đầu vào khác ngoài PDF/LaTeX, như video presentation hay slide poster, để kiểm tra xem AI reviewer có an toàn hơn với các dữ liệu phi văn bản không.
  3. Đề xuất phương pháp phòng thủ dựa trên 'học đối nghịch' (adversarial training) cho AI reviewer: huấn luyện chúng phát hiện và bỏ qua các chỉnh sửa trình bày không thay đổi nội dung khoa học.

2. Patent:​

  1. Hệ thống kiểm tra tính trung thực của bài báo khoa học khi gửi: phân tích LaTeX source so với ảnh chụp màn hình hoặc PDF, phát hiện nếu có chỉnh sửa bất thường ở tóm tắt/mở đầu mà không có thay đổi tương ứng ở bảng/hình, đánh dấu là 'đã được repackage' để cảnh báo người review.
  2. Ứng dụng trên điện thoại thông minh: khi gửi bài báo qua app, hệ thống tự động so sánh bản gốc với bản chỉnh sửa trình bày, cảnh báo người dùng nếu các thay đổi đó có thể dẫn đến kết quả review tốt hơn một cách giả tạo, giúp người review dễ dàng nhận biết thao túng.
  3. Plugin trình soạn thảo (VD: Overleaf) tích hợp cảnh báo: khi người dùng chỉnh sửa phần tóm tắt, mở đầu hoặc thảo luận mà không động đến số liệu, plugin sẽ đề xuất thêm ghi chú tự động vào tài liệu, nhấn mạnh rằng nội dung khoa học không thay đổi, giúp duy trì tính minh bạch trong quy trình bình duyệt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.13044
ArXiv Abstracthttps://arxiv.org/abs/2606.13044
PDF Downloadhttps://arxiv.org/pdf/2606.13044.pdf
Github Repositoryhttps://github.com/xyimatvoid/ARGAR

24. μ_0: A Scalable 3D Interaction-Trace World Model (10 votes)​

Tác giả: Seungjae Lee, Yoonkyo Jung, Jusuk Lee, Jonghun Shin, Amir Hossein Shahidzadeh, et al.

Xuất bản lúc: 2026-06-11

Tag: World Model, 3D Interaction Trace, Robot Manipulation, Vision-Language Model, Flow Matching, Cross-Embodiment Learning, TraceExtract

I. Main Problem:​

Các mô hình thế giới hiện tại gặp khó khăn khi học từ video do hai thái cực: dự đoán pixel phung phí năng lực vào việc tái tạo hình ảnh nền, còn các mô hình dựa trên hành động bị hạn chế bởi nhãn hành động khan hiếm và phụ thuộc vào hình thái robot cụ thể. Do đó, thiếu một biểu diễn chuyển động trung gian vừa tinh gọn vừa không phụ thuộc hình thái, có thể mở rộng quy mô từ video đa dạng.

II. Main Idea:​

µ0 đề xuất mô hình thế giới dựa trên các dấu vết 3D (3D traces) của các điểm tương tác ngữ nghĩa (vật thể, tay, điểm tiếp xúc) thay vì dự đoán pixel hay hành động. Hệ thống TraceExtract tự động trích xuất dữ liệu giám sát từ video: chọn keypoint ngữ nghĩa qua cụm DINOv2, dựng dấu vết 3D toàn cục, và ghép chúng với chú thích ngôn ngữ theo sự kiện chuyển động. µ0 kết hợp backbone VLM có sẵn với Trace Expert bất biến hoán vị để dự đoán dấu vết mượt dạng spline bằng phương pháp flow matching có cấu trúc.

III. Main Results:​

  • µ0 vượt trội hoàn toàn các baseline 2D và 3D về độ chính xác dự đoán dấu vết (ADE, FDE, DTW) trên mọi khoảng thời gian, với độ trễ dự đoán 0.29s nhanh hơn 2.9 lần.
  • Trong mô phỏng RoboCasa365, µ0 + action expert đạt tỷ lệ thành công trung bình 30.25%, cao hơn π0 (25.25%) và TraceGen (23%) dù chỉ tiền huấn luyện trên video.
  • Trên robot thật UR3, µ0 + action expert đạt 91.7% trung bình, vượt π0 (71.7%) và π0.5 (80%), cho thấy khả năng chuyển giao thực tế vượt trội.
  • Loại bỏ trace expert (dùng VLM thuần) giảm 18.4 điểm phần trăm, chứng tỏ dấu vết 3D đóng góp quyết định vào chất lượng điều khiển.
  • Tăng kích thước mô hình và dữ liệu giúp dự đoán dấu vết tốt hơn, và dấu vết này hỗ trợ quan trọng cho chính sách khi action expert có năng lực hạn chế.

IV. Conclusion & Future Works:​

µ0 chứng minh dấu vết tương tác 3D là biểu diễn tinh gọn, chuyển giao được, cho phép tiền huấn luyện video không-hành động rồi chuyển sang điều khiển đa hình thái robot. Hướng tới: cải thiện cảm biến lực và xúc giác cho thao tác tinh, mở rộng sang robot di động và tay khéo, cũng như giảm lỗi từ khâu tri giác đầu vào.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng TraceExtract cho video trong nhà có nhiều vật thể tương tác đồng thời, nâng cao khả năng chọn keypoint tự động cho các kịch bản lộn xộn và đám đông.
  2. Kết hợp dấu vết 3D với dự đoán lực tiếp xúc bằng mô hình phần tử hữu hạn rút gọn, giúp robot thao tác chính xác trên vật liệu mềm dẻo hoặc dễ vỡ.
  3. Phát triển phương pháp học đa hình thái từ một nguồn video duy nhất: dùng µ0 làm bộ dự đoán chuyển động trung gian để huấn luyện đồng thời chính sách cho nhiều loại robot khác nhau.

2. Patent:​

  1. Hệ thống điều khiển cánh tay robot trong bếp thông minh: camera gắn trên điện thoại ghi lại thao tác người dùng, sinh dấu vết 3D dùng để hướng dẫn robot thực hiện cùng động tác (ví dụ: mở tủ lạnh, lấy cốc) mà không cần lập trình trước.
  2. Ứng dụng mô phỏng nội thất: người dùng ghi video tay cầm đồ vật di chuyển trong nhà, mô hình µ0 sinh dấu vết 3D để robot dọn dẹp hoặc sắp xếp đồ đạc theo đúng quỹ đạo vừa xem.
  3. Giao diện tương tác trên điện thoại: người dùng chạm vào điểm trên màn hình video, hệ thống trích xuất dấu vết 3D của điểm đó và tự động đề xuất chuỗi hành động cho robot bàn làm việc thực hiện như nhặt, xoay, đặt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.13769
ArXiv Abstracthttps://arxiv.org/abs/2606.13769
PDF Downloadhttps://arxiv.org/pdf/2606.13769.pdf
Github RepositoryN/A