Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-06-23

Báo cáo được tạo tự động vào lúc 2026-06-30 19:57:11 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​


1. PlanBench-XL: Evaluating Long-Horizon Planning of LLM Tool-Use Agents in Large-Scale Tool Ecosystems (95 votes)​

Tác giả: Jiayu Liu, Qihan Lin, Cheng Qian, Rui Wang, Emre Can Acikgoz, et al.

Xuất bản lúc: 2026-06-21

Tag: LLM Agents, Tool-Use Planning, Benchmark, Long-Horizon Planning, Retrieval-Augmented Generation, Robustness

I. Main Problem:​

Các LLM agent ngày càng hoạt động trong hệ sinh thái công cụ lớn, nhưng các benchmark hiện tại hiếm khi đánh giá khả năng lập kế hoạch tầm xa khi tầm nhìn công cụ bị giới hạn bởi hệ thống truy xuất và công cụ không đáng tin cậy. Còn thiếu một bài kiểm tra xem agent có thể chủ động khám phá, suy luận mục tiêu con và thích nghi khi công cụ bị hỏng hay không.

II. Main Idea:​

PlanBench-XL là benchmark tương tác gồm 327 tác vụ bán lẻ trên 1.665 công cụ, yêu cầu agent truy xuất và gọi công cụ lặp lại để khám phá thông tin trung gian và đạt mục tiêu. Benchmark hỗ trợ khám phá hai chiều (tiến từ dữ liệu có sẵn, lùi từ kết quả mong muốn) và có cơ chế block tùy chọn mô phỏng công cụ bị lỗi (lỗi tường minh, lỗi ẩn, gây hiểu lầm), buộc agent phát hiện lỗi và lập kế hoạch lại.

III. Main Results:​

  • Ngay trong chế độ mặc định, độ chính xác đa số mô hình dưới 60%, ngoại trừ Gemini-3.1-Pro (77.06%).
  • Dưới block nặng nhất, GPT-5.4 giảm từ 51.90% xuống 11.36%.
  • Lỗi ẩn (implicit failures) gây hại nhất; agent dễ lan truyền giá trị sai từ công cụ lỗi.
  • Khi chỉ giữ lại đường đi phục hồi dài nhất, độ chính xác các mô hình mạnh giảm mạnh (GPT-5.4 chỉ còn ~10%).
  • Kéo dài test-time compute (enforced exploration) chỉ cải thiện <5%, cho thấy block bộc lộ yếu kém trong thích nghi sâu.

IV. Conclusion & Future Works:​

PlanBench-XL phơi bày các agent LLM hiện tại còn yếu trong lập kế hoạch thích nghi với hệ sinh thái công cụ lớn và không đáng tin cậy. Khung benchmark có thể mở rộng cho các miền khác (tài chính, y tế) và làm môi trường RL để huấn luyện agent mạnh mẽ hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển agent tự động phát hiện kiểu lỗi công cụ và chọn chiến lược phục hồi phù hợp dựa trên tín hiệu lỗi (tường minh/ẩn).
  2. Mở rộng PlanBench-XL sang lĩnh vực tài chính hoặc chăm sóc sức khỏe với các loại công cụ và ràng buộc mới.
  3. Huấn luyện agent bằng học tăng cường trong môi trường PlanBench-XL block mode để cải thiện khả năng phát hiện và tái lập kế hoạch.

2. Patent:​

  1. Trợ lý mua sắm trực tuyến trên điện thoại: khi một API thanh toán bị lỗi ẩn, agent tự động thử đường thanh toán khác thay vì báo lỗi cho người dùng.
  2. Hệ thống hỗ trợ kỹ thuật từ xa: nếu công cụ tra cứu bảo hành trả về kết quả sai, agent phát hiện, bỏ qua và tìm dữ liệu thay thế từ công cụ khác.
  3. Trình hướng dẫn sử dụng thiết bị thông minh: khi một chức năng hướng dẫn bị hỏng, agent tự động tìm chức năng tương đương khác và đề xuất lộ trình thay thế cho người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.22388
ArXiv Abstracthttps://arxiv.org/abs/2606.22388
PDF Downloadhttps://arxiv.org/pdf/2606.22388.pdf
Github Repositoryhttps://github.com/JiayuJeff/PlanBench-XL

2. EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions (78 votes)​

Tác giả: Jincheng Zhong, Weizhi Wang, Che Jiang, Kai Tian, Zhenzhao Yuan, et al.

Xuất bản lúc: 2026-06-22

Tag: Agent Benchmark, Enterprise AI, LLM Agents, Harness Evaluation, Multimodal Evaluation, Skill Transfer, Real-World Sessions

I. Main Problem:​

Các benchmark agent hiện có thường xây dựng tác vụ nhân tạo, thiếu tính đa chiều (chỉ báo cáo điểm số đơn lẻ) và không đánh giá được khả năng chuyển giao kỹ năng giữa các lớp tác vụ trong môi trường doanh nghiệp thực tế.

II. Main Idea:​

EnterpriseClawBench xây dựng 852 tác vụ benchmark từ các phiên làm việc thực tế của nhân viên trong một startup AI. Quy trình tự động hóa gồm: khôi phục fixture, viết lại prompt, gán nhãn vai trò và kỹ năng, tạo luật cứng và rubric ngữ nghĩa cho văn bản/hình ảnh. Benchmark đánh giá đa chiều: điểm số dựa trên harness–model kết hợp, chi phí, thời gian chạy, chất lượng artifact và khả năng chuyển giao kỹ năng giữa các lớp tác vụ.

III. Main Results:​

  • Trên tập Lite 120 tác vụ, tổ hợp tốt nhất (Codex/GPT-5.5) chỉ đạt 0.663 điểm, cho thấy tác vụ doanh nghiệp còn xa bão hòa.
  • Hiệu suất model thay đổi mạnh theo harness: Claude-family giảm sâu dưới Hermes do xung đột runtime.
  • Marketing và Finance/ops là các lớp vai trò khó nhất; GPT-5.5 là generalist mạnh nhất.
  • Kỹ năng tạo frontend: GPT-5.5 là creator tốt nhất (trung bình +0.068), Haiku 4.5 yếu nhất (-0.094).
  • Judge hình ảnh có độ tương quan người thấp (Spearman -0.259), cho thấy đánh giá đa phương thức chưa chín muồi.

IV. Conclusion & Future Works:​

EnterpriseClawBench cung cấp quy trình tự động xây dựng benchmark từ phiên làm việc thực tế và khung đánh giá đa chiều cho agent doanh nghiệp. Dữ liệu không được công bố vì lý do bảo mật. Hướng tới: mở rộng đa dạng tổ chức và cải thiện độ tin cậy của đánh giá hình ảnh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng pipeline xây dựng benchmark sang nhiều doanh nghiệp khác nhau để kiểm tra tính khái quát của kết quả và phát hiện khác biệt theo lĩnh vực.
  2. Nghiên cứu chi tiết nguyên nhân harness–model không tương thích (như Hermes với Claude) đề xuất giải pháp runtime để cải thiện hiệu suất.
  3. Phát triển phương pháp đánh giá kỹ năng chuyển giao dựa trên ma trận creator–consumer, tối ưu hóa quy trình distillation kỹ năng cho agent doanh nghiệp.

2. Patent:​

  1. Hệ thống tự động tạo tác vụ benchmark từ lịch sử chat doanh nghiệp: nhận diện phiên làm việc, khôi phục file đầu vào, viết lại yêu cầu thành prompt đơn và kiểm tra tái lập trên sandbox Linux.
  2. Phương pháp đánh giá agent đa chiều trên smartphone: sau khi agent hoàn thành tác vụ, hiển thị điểm số chi tiết theo chất lượng file, chi phí, thời gian và mức độ chính xác văn bản/hình ảnh.
  3. Công cụ chẩn đoán xung đột harness–model trong agent doanh nghiệp: phân tích trace runtime để phát hiện và đề xuất cấu hình harness phù hợp cho từng model nhằm tránh mất ổn định.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.23654
ArXiv Abstracthttps://arxiv.org/abs/2606.23654
PDF Downloadhttps://arxiv.org/pdf/2606.23654.pdf
Github Repositoryhttps://github.com/FrontisAI/EnterpriseClawBench

3. OpenRath: Session-Centered Runtime State for Agent Systems (76 votes)​

Tác giả: Fukang Wen, Zhijie Wang, Ruilin Xu

Xuất bản lúc: 2026-06-17

Tag: Agent Systems, Runtime State, Session, Multi-Agent, Auditability, Composition, PyTorch-inspired

I. Main Problem:​

Các hệ thống đa tác tử hiện đại phân mảnh trạng thái runtime: hội thoại, hiệu ứng công cụ, bộ nhớ, không gian làm việc và nhánh thực thi được ghi riêng lẻ, khiến việc kiểm tra, tái tạo hoặc kiểm toán kết quả cuối cùng trở nên khó khăn. Không có một giá trị runtime thống nhất mang toàn bộ bằng chứng cho chương trình tác tử.

II. Main Idea:​

OpenRath đề xuất 'Session' như một giá trị runtime hạng nhất (first-class) được truyền qua các tác tử và workflow. Session có thể rẽ nhánh, kiểm tra, phát lại và lưu giữ dòng hội thoại, vị trí sandbox, metadata dòng dõi, mức sử dụng token, bằng chứng công cụ và ranh giới bộ nhớ. Mô hình lập trình lấy cảm hứng từ PyTorch: Agent giống 'nn.Linear', Workflow giống 'nn.Module', và Selector điều khiển luồng rẽ nhánh tại runtime — tất cả đều biến đổi Session mà không tạo trạng thái riêng tư.

III. Main Results:​

  • Session là giá trị runtime trung tâm, có thể fork, merge, replay và inspect.
  • Các thành phần (Agent, Tool, Workflow) chỉ đọc/ghi trên Session, không tạo trạng thái riêng.
  • Selector biến điều khiển luồng thành quyết định runtime có thể kiểm tra được.
  • Công cụ và bộ nhớ tách biệt backend thực thi nhưng bằng chứng vẫn nằm trong Session.
  • Định dạng JSONL đơn giản cho phép kiểm tra dòng lệnh và gắn với bằng chứng phát hành.

IV. Conclusion & Future Works:​

OpenRath chứng minh rằng việc đặt trạng thái runtime làm giá trị luồng chính giúp hệ thống đa tác tử dễ kiểm tra và kết hợp hơn. Tương lai sẽ đánh giá định lượng hiệu suất, chất lượng nhà cung cấp trực tiếp, khả dụng backend tùy chọn và chất lượng bộ nhớ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Session cho các hệ thống tác tử phân tán: mỗi tác tử trên một máy tính khác nhau, Session được serialize và truyền qua mạng để đảm bảo tính nhất quán và khả năng phát lại.
  2. Tích hợp Session với các giao thức công cụ chuẩn như MCP: nghiên cứu cách chuyển đổi payload backend từ MCP thành bằng chứng Session và ngược lại.
  3. Phát triển phương pháp nén bối cảnh thông minh dựa trên Session: tự động loại bỏ các chunk không cần thiết khi vẫn giữ nguyên dòng dõi và bằng chứng quan trọng.

2. Patent:​

  1. Hệ thống hỗ trợ kiểm toán chatbot đa bước: mỗi phiên hội thoại được đóng gói thành Session, người kiểm tra có thể phát lại chính xác từng bước suy luận, lời gọi API và kết quả công cụ, phục vụ cho việc tuân thủ quy định.
  2. Ứng dụng điện thoại chấm điểm độ tin cậy của trợ lý ảo: Session ghi lại toàn bộ dòng dõi câu trả lời, cho phép người dùng xem 'cây quyết định' và 'bằng chứng' cho mỗi câu trả lời, giúp đánh giá độ chính xác.
  3. Công cụ gỡ lỗi cho agent thực hiện tác vụ phức tạp: khi agent thất bại, Session cho phép quay lại bất kỳ nhánh nào, xem chính xác trạng thái lúc đó và điều chỉnh prompt hoặc công cụ ngay trên điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.19409
ArXiv Abstracthttps://arxiv.org/abs/2606.19409
PDF Downloadhttps://arxiv.org/pdf/2606.19409.pdf
Github Repositoryhttps://github.com/Rath-Team/OpenRath

4. Grouped Query Experts: Mixture-of-Experts on GQA Self-Attention (75 votes)​

Tác giả: Vishesh Tripathi, Abhay Kumar

Xuất bản lúc: 2026-06-18

Tag: Mixture-of-Experts, Grouped-Query Attention, Self-Attention, Sparse Computation, Language Model

I. Main Problem:​

Self-attention trong Transformer có chi phí tính toán tăng bậc hai theo độ dài chuỗi và kích hoạt đều mọi attention head cho mọi token, bất kể mức độ thông tin. Điều này gây lãng phí tính toán, đặc biệt khi sequence dài, và không tận dụng được khả năng chuyên môn hóa head cho từng token.

II. Main Idea:​

GQE đặt MoE vào self-attention có Grouped-Query Attention (GQA): mỗi nhóm GQA chứa nhiều query-head experts, và một router chọn k experts cho mỗi token, trong khi tất cả key-value heads vẫn dày đặc và không đổi. Kết quả đầu ra gồm các head được chọn (hard concatenation), một slot weighted-sum có gradient cho router, và một shared head luôn kích hoạt để ổn định huấn luyện. Phương pháp này giảm tính toán active query-head đến (kG+1)/N so với tổng pool, đồng thời giữ nguyên lợi ích KV-cache của GQA và không làm thay đổi bộ nhớ cache.

III. Main Results:​

  • Với ngân sách 30B token và quy mô 250M tham số, GQE khớp baseline GQA về độ chính xác hạ nguồn (trung bình các task HellaSwag, ARC-Easy, PIQA ~56.04 so với 55.86) trong khi chỉ kích hoạt 9/16 query-head computations per token.
  • Các ablation cho thấy thiếu renormalized weighted-sum slot hoặc shared head làm giảm rõ rệt độ chính xác (0.4-0.7 điểm), chứng tỏ sparse routing thành công chỉ khi có đầy đủ cả hai cơ chế.
  • Trên các sequence dài (từ 4K token trở lên), GQE đạt speedup prefill từ 1.67× đến 1.80× so với GQA baseline.
  • Ở sequence ngắn 2K token, speedup khiêm tốn (~1.15×) do overhead routing chiếm tỷ trọng lớn.
  • GQE không thay đổi KV-cache; việc giảm tính toán chỉ đến từ active query-head.

IV. Conclusion & Future Works:​

GQE cho thấy có thể giảm compute trong self-attention mà không mất quality nhờ MoE trên GQA với router được giám sát đúng. Kết quả hiện tại ở quy mô nhỏ 250M tham số; cần xác nhận ở quy mô lớn hơn, so sánh với các kiến trúc long-context khác như Mamba, và thử nghiệm với pool expert lớn hơn để tăng khả năng chuyên môn hóa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng GQE cho các kiến trúc Transformer lớn hơn (1B-7B tham số) và so sánh hiệu quả compute-accuracy với các phương pháp MoE attention khác như SwitchHead hay MoH.
  2. Khám phá routing động thay vì fixed top-k: cho phép mỗi token chọn số lượng expert khác nhau dựa trên độ phức tạp (ví dụ: stop words dùng 0-1 expert, content words dùng nhiều hơn).
  3. Kết hợp GQE với chính sách KV-cache có chọn lọc để còn giảm thêm bộ nhớ cache bên cạnh giảm active compute, tạo ra attention hoàn toàn thưa thớt cả query và key-value.

2. Patent:​

  1. Phương pháp tăng tốc suy luận văn bản dài trên thiết bị di động: mô hình ngôn ngữ nhúng GQE chỉ kích hoạt một phần attention heads khi xử lý câu dài, giúp giảm thời gian prefill và tiết kiệm pin mà vẫn duy trì chất lượng trả lời.
  2. Hệ thống tóm tắt cuộc họp thời gian thực trên điện thoại: mô hình dùng GQE để chọn lọc token quan trọng (tên, số liệu) tính toán nhiều attention hơn token đệm, giảm độ trễ khi xử lý ghi âm dài.
  3. Module hỗ trợ đọc file PDF dài trên smartphone có dung lượng RAM hạn chế: áp dụng GQE để mô hình chỉ active query head cho các token nội dung chính, bỏ qua token văn bản định dạng ít quan trọng, giúp tăng tốc và giảm xung đột bộ nhớ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20945
ArXiv Abstracthttps://arxiv.org/abs/2606.20945
PDF Downloadhttps://arxiv.org/pdf/2606.20945.pdf
Github RepositoryN/A

5. DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams (73 votes)​

Tác giả: Cong Wan, Zeyu Guo, Zijian Cai, Jiangyang Li, SongLin Dong, et al.

Xuất bản lúc: 2026-06-19

Tag: Agentic AI, Multimodal Learning, Data Curation, GRPO, Vision-Language Models, Synthetic Data, Video Understanding, GUI Navigation

I. Main Problem:​

Các luồng dữ liệu đa phương tiện thô (video dài, nhật ký GUI, quỹ đạo robot) có 'entropy' cao, nhiễu và thiếu cấu trúc, khiến việc trích xuất kiến thức hữu ích cho con người và huấn luyện AI gặp khó khăn. Các pipeline chú thích thụ động hiện tại dựa trên quy tắc heuristic hoặc VLM tổng quát tốn kém, đơn điệu và không khai thác được logic thủ tục tiềm ẩn trong dữ liệu gốc.

II. Main Idea:​

Nâng việc xử lý dữ liệu lên thành năng lực học được gọi là 'Agentic Data Tailoring': một agent chủ động lọc, lý luận và tái cấu trúc dữ liệu đa phương tiện thô thành các tài sản có cấu trúc, phù hợp với ý định cụ thể của người dùng hoặc tác vụ hạ nguồn. Để giải quyết nghịch lý thiếu dữ liệu huấn luyện cho năng lực này, DataClaw0 xây dựng pipeline hai giai đoạn: (1) trích xuất các 'mỏ neo thực tế' (Factual Anchors) xác định từ dữ liệu thô bằng các chuyên gia nhẹ, và (2) dùng VLM mạnh để tổng hợp ngữ nghĩa với lý luận đa chiều. Mô hình DataClaw0-9B được tối ưu bằng Supervised Fine-Tuning (SFT) kết hợp Group Relative Policy Optimization (GRPO) với các tín hiệu thưởng đa chiều về định dạng, độ chính xác và hiệu quả.

III. Main Results:​

  • DataClaw0-E đạt điểm Field tổng thể 97.53, ngang ngửa Gemini-3.1-Pro-Preview (98.12) và GPT-4o (97.27).
  • Đạt điểm Sequence tốt nhất trên miền Embodied (71.60) và tập Fuzzy (50.31), vượt trội so với các đối thủ.
  • Trong thí nghiệm hạ nguồn, dữ liệu từ DataClaw0 giúp GUI navigation (TSR 15.6%) và action video generation (FVD 288.6) cải thiện vượt trội so với tự xử lý.
  • DataClaw0-E cho thấy scaling ổn định hơn DataClaw0-O (omni) nhờ định tuyến chuyên gia theo miền; routing sai làm suy giảm hiệu năng nghiêm trọng.

IV. Conclusion & Future Works:​

DataClaw0 chứng minh rằng năng lực 'Agentic Data Tailoring' có thể học được và mở rộng được trong mô hình 9B, tạo ra dữ liệu chất lượng cao tương đương các annotator mạnh. Hướng phát triển tiếp theo có thể mở rộng sang nhiều miền dữ liệu hơn và tối ưu hóa chiến lược thăm dò chủ động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng agentic data tailoring sang miền âm thanh đa kênh (podcast, hội thoại) để trích xuất cấu trúc hội thoại và tóm tắt chủ đề.
  2. Nghiên cứu tính khả chuyển của DataClaw0: huấn luyện trên dữ liệu tổng hợp, kiểm thử trên dữ liệu thực (sim-to-real cho robotics).
  3. Kết hợp active learning với agentic tailoring để chủ động chọn các đoạn dữ liệu thô có độ nhiễu cao nhất cần được tinh chỉnh trước.

2. Patent:​

  1. Ứng dụng trên điện thoại thông minh cho phép người dùng quay video hướng dẫn thao tác (nấu ăn, sửa chữa); DataClaw0 tự động phân tích, trích xuất các bước chính và chú thích kèm hình ảnh, xuất ra tài liệu hướng dẫn HTML.
  2. Hệ thống tóm tắt video cuộc họp dài trên điện thoại: ghi lại màn hình và âm thanh, DataClaw0 lọc các slide chính, hành động và quyết định, tạo biên bản họp có cấu trúc JSON kèm timestamp.
  3. Tool hỗ trợ kiểm thử UI tự động trên thiết bị di động: ghi lại chuỗi tương tác màn hình, DataClaw0 phân tích và tái cấu trúc thành các ca kiểm thử kèm bước and kết quả mong đợi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.21337
ArXiv Abstracthttps://arxiv.org/abs/2606.21337
PDF Downloadhttps://arxiv.org/pdf/2606.21337.pdf
Github Repositoryhttps://github.com/vancyland/DataClaw0

6. World Action Models: A Survey (55 votes)​

Tác giả: Qiuhong Shen, Shihua Zhang, Yue Liao, Qi Li, Zhenxiong Tan, et al.

Xuất bản lúc: 2026-06-18

Tag: World Models, Vision-Language-Action, Embodied AI, Robotics, Video Generation, Latent Prediction, Action Policies

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) thuần túy phản ứng dựa trên quan sát hiện tại mà không có mô hình hóa tường minh về tương lai, hạn chế khả năng lập luận về hậu quả trước khi hành động. Đồng thời, thuật ngữ “World Action Model” (WAM) đang được sử dụng rộng rãi nhưng thiếu sự thống nhất về định nghĩa, ranh giới với các mô hình thế giới, sinh video và VLA còn mơ hồ.

II. Main Idea:​

Bài báo đề xuất một định nghĩa thống nhất cho World Action Models (WAM): các mô hình mà dự đoán tương lai được giữ lại trong đường dẫn hành động (predict-then-act, score-actions, hoặc joint prediction). Từ đó, tác giả phân loại WAM thành ba triết lý thiết kế: Render-and-Decode (sinh pixel rồi suy hành động), Latent-Only (giữ lại biểu diễn tiềm ẩn từ video backbone), và Video-Generation-Free (không dùng backbone sinh video). Một bộ khung gồm 4 trục (predictive substrate, architectural backbone, action coupling, deployment regime) được dùng để phân tích từng phương pháp một cách hệ thống.

III. Main Results:​

  • Thiết lập một định nghĩa chính xác và phân loại triệt để cho 3 triết lý thiết kế, giúp so sánh các WAM khác nhau.
  • Đưa ra bộ 4 trục (substrate, backbone, action coupling, deployment regime) để mô tả bất kỳ WAM nào như một bộ 4-tuple thống nhất.
  • Xác định năm thuộc tính cốt lõi cho thân thể hóa: interactability, causality, persistence, physical plausibility, generalization.
  • Phát hiện xu hướng thiết kế: các WAM mới nhất di chuyển về phía “dream less, act more” – sinh ít tương lai hơn nhưng giữ lại những gì cần thiết cho hành động.
  • Biểu đồ tiến hóa theo thời gian cho thấy Render-and-Decode xuất hiện sớm, Latent-Only trung gian, và Video-Generation-Free là hướng gần đây.

IV. Conclusion & Future Works:​

WAM đang chuyển từ sinh pixel đầy đủ sang tiết kiệm tính toán hơn, dùng biểu diễn tiềm ẩn hoặc phi video. Các thách thức mở bao gồm: dung hòa giữa độ giàu biểu diễn và chi phí tính toán trong vòng điều khiển, dữ liệu đào tạo phù hợp cho mỗi giai đoạn, khả năng khái quát hóa, và đánh giá tiêu chuẩn hóa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng triết lý Latent-Only cho robot di động: dùng video prior từ mô hình thế giới đã huấn luyện để suy luận flow tiềm ẩn, kết hợp với bộ dự đoán hành động nhẹ để điều khiển bánh xe và tay máy thời gian thực.
  2. Kết hợp Video-Generation-Free WAM với mô hình ngôn ngữ lớn (LLM) để lập kế hoạch tác vụ dài hạn: LLM tạo kịch bản từng bước, WAM kiểm tra tính khả thi vật lý của từng bước trước khi thực thi.
  3. Nghiên cứu ảnh hưởng của action coupling đến khả năng tổng quát: so sánh các cơ chế predict-then-act, joint prediction, và score-actions trên nhiều bộ dữ liệu robot khác nhau để tìm ra thiết kế tốt nhất.

2. Patent:​

  1. Hệ thống lập kế hoạch hành động cho tay máy công nghiệp: camera trên tay quay video ngắn, mô hình thế giới dự đoán video tương lai dạng tiềm ẩn, bộ điều khiển nhẹ suy ra động tác mà không cần sinh pixel, giảm độ trễ và chi phí tính toán.
  2. Ứng dụng trên điện thoại thông minh hướng dẫn người dùng lắp ráp đồ nội thất: dùng mô hình sinh âm thanh dự đoán tiếng động khi ghép mảnh; nếu không đúng, điện thoại báo lỗi và đề xuất chỉnh sửa trước khi người dùng thực hiện.
  3. Robot vệ sinh nhà cửa với module dự đoán tương lai tiềm ẩn: robot nhập video hiện tại, mô hình thế giới dự đoán quỹ đạo chướng ngại vật dưới dạng flow điểm 3D, từ đó robot quyết định lộ trình tránh va chạm mà không cần kết xuất video đầy đủ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20781
ArXiv Abstracthttps://arxiv.org/abs/2606.20781
PDF Downloadhttps://arxiv.org/pdf/2606.20781.pdf
Github Repositoryhttps://github.com/world-action-models/awesome-world-action-models

7. KaLM-Reranker-V1: Fast but Not Late Interaction for Compressed Document Reranking (48 votes)​

Tác giả: Xinping Zhao, Jiaxin Xu, Ziqi Dai, Xin Zhang, Shouzheng Huang, et al.

Xuất bản lúc: 2026-06-22

Tag: Reranking, Encoder-Decoder, Matryoshka Embeddings, Efficiency, Information Retrieval, Cross-Attention

I. Main Problem:​

Các mô hình reranker hiện tại ghép query và passage thành một đầu vào duy nhất, buộc phải tính toán lại cho mỗi cặp query–passage, gây tốn kém tài nguyên online và không thể tái sử dụng biểu diễn passage đã tính sẵn. Phương pháp late-interaction như ColBERT tách rời hai phía nhưng đánh đổi khả năng mô hình hóa tương tác chi tiết.

II. Main Idea:​

KaLM-Reranker-V1 đề xuất kiến trúc fast-but-not-late-interaction (FBNL) dùng encoder–decoder: encoder mã hóa passage offline và nén theo chiều dài bằng Matryoshka Embedding Pooling (MEP) để giảm bộ nhớ; decoder nhận instruction và query, tính điểm tương đồng qua cross-attention với biểu diễn passage đã lưu. Cách này vừa tái sử dụng passage cho nhiều query, vừa giữ được tương tác tinh vi nhờ cross-attention, thay vì chỉ dùng similarity đơn thuần như late-interaction.

III. Main Results:​

  • KaLM-Reranker-V1-Nano (0.27B) đạt hiệu suất ngang gte-reranker-base nhưng nhanh hơn ~10 lần trên BEIR.
  • Trên MIRACL, phiên bản Large (4B) vượt bge-reranker-v2-gemma (2.5B) với chi phí online thấp hơn gần 2 lần.
  • Với tỉ lệ nén MEP từ 2x đến 4x, hiệu suất hầu như không giảm; đến 16x vẫn giữ mức chấp nhận được.
  • Khi passage dài 4096 token, phương pháp FBNL nhanh hơn reranker truyền thống 203 lần.
  • Trên LMEB, nano model (0.27B) cạnh tranh được với embedding model 7–12B.

IV. Conclusion & Future Works:​

KaLM-Reranker-V1 chứng minh FBNL cân bằng hiệu quả giữa tốc độ và chất lượng reranking nhờ tách biệt mã hóa passage và tương tác query qua cross-attention. Hướng phát triển: cải thiện năng lực đa ngữ (đặc biệt tiếng Trung) và mở rộng huấn luyện trên nhiều ngôn ngữ hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng FBNL cho reranking đa phương thức: encoder nhận hình ảnh/video, decoder cross-attention với query văn bản, cho phép tìm kiếm nội dung đa dạng hiệu quả.
  2. Nghiên cứu chiến lược nén động: tự động chọn tỉ lệ MEP thích ứng cho từng passage dựa trên độ dài và độ quan trọng ước lượng.
  3. Áp dụng FBNL vào RAG pipeline: passage được index sẵn dưới dạng nén, decoder rerank nhanh chóng trên tập ứng viên để cải thiện chất lượng sinh câu trả lời.

2. Patent:​

  1. Hệ thống tìm kiếm trên thiết bị di động: index nội dung email/tin nhắn dưới dạng passage nén; khi người dùng gõ query, decoder trên điện thoại rerank nhanh mà không cần gửi dữ liệu lên đám mây.
  2. Trợ lý ảo đa ngữ: encoder mã hóa sẵn các đoạn văn bản tham khảo; ứng dụng điện thoại chỉ cần chạy decoder nhẹ (vài trăm MB) để đối chiếu câu hỏi bằng tiếng bất kỳ với các đoạn đã index, tiết kiệm băng thông.
  3. Chức năng "tìm trong lịch sử trò chuyện" cho ứng dụng chat: nén biểu diễn các tin nhắn cũ offline; khi người dùng tìm kiếm, decoder nhanh chóng xếp hạng tin nhắn liên quan mà không cần quét toàn bộ lại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.22807
ArXiv Abstracthttps://arxiv.org/abs/2606.22807
PDF Downloadhttps://arxiv.org/pdf/2606.22807.pdf
Github RepositoryN/A

8. Unlimited OCR Works (43 votes)​

Tác giả: Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, et al.

Xuất bản lúc: 2026-06-22

Tag: OCR, KV cache, Long-horizon Parsing, Reference Sliding Window Attention, DeepSeek OCR, Document Parsing, SOTA

I. Main Problem:​

Các mô hình OCR end-to-end hiện tại, dù mạnh nhờ LLM decoder, gặp hạn chế với tài liệu dài: bộ nhớ KV cache tăng tuyến tính theo độ dài đầu ra, làm chậm tốc độ sinh và tiêu tốn bộ nhớ, không thể phân tích hàng chục trang trong một lượt.

II. Main Idea:​

Unlimited OCR mô phỏng cơ chế làm việc của con người: thay thế toàn bộ attention trong decoder LLM bằng Reference Sliding Window Attention (R-SWA). Mỗi token sinh chỉ attend đến toàn bộ token tham chiếu (hình ảnh) và cửa sổ trượt gồm n token đầu ra gần nhất, giúp KV cache không đổi trong suốt quá trình giải mã, kết hợp với DeepEncoder nén ảnh 16 lần để xử lý hàng chục trang chỉ trong một lần forward.

III. Main Results:​

  • Unlimited OCR đạt 93.23% trên OmniDocBench v1.5, vượt DeepSeek OCR baseline 6.22%.
  • Trên v1.6, đạt 93.92%, ngang hàng với SOTA các mô hình lớn hơn.
  • KV cache giảm từ O(T) xuống hằng số, tốc độ token/s tăng 12.7% so với baseline.
  • Xử lý 40+ trang với edit distance dưới 0.11 và Distinct-35 đạt 97%.
  • R-SWA giảm đáng kể độ trễ từng bước so với attention đầy đủ.

IV. Conclusion & Future Works:​

Unlimited OCR chứng minh R-SWA cho phép phân tích tài liệu dài trong một lần với chi phí tính toán và bộ nhớ cố định, vượt trội so với attention chuẩn. Hướng phát triển tương lai: mở rộng R-SWA cho ASR, dịch thuật và các tác vụ long-horizon khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng R-SWA cho dịch thuật đa trang: mỗi token được sinh attend toàn bộ ngữ cảnh đầu vào và cửa sổ đầu ra gần, duy trì chất lượng và giảm chi phí.
  2. Nghiên cứu hiệu ứng sliding window trên ASR: áp dụng cơ chế tương tự để nhận dạng giọng nói dài, giữ KV cache ổn định.
  3. Kết hợp R-SWA với mô hình ngôn ngữ lớn MoE để tối ưu hóa cho tác vụ parsing văn bản y tế dài, nâng cao độ chính xác và hiệu suất.

2. Patent:​

  1. Hệ thống OCR điện thoại thông minh cho tài liệu dài: camera chụp liên tiếp các trang sách, mô hình Unlimited OCR xử lý toàn bộ trong một lần, hiển thị kết quả ngay lập tức mà không bị chậm dần.
  2. Ứng dụng phiên dịch đa trang trên điện thoại: người dùng chụp ảnh tài liệu nhiều trang, hệ thống liên tục nhận dạng và dịch với độ trễ không đổi nhờ R-SWA.
  3. Module nhận dạng hóa đơn dài trong ứng dụng kế toán di động: tự động quét và phân tích chuỗi hóa đơn liên tiếp mà không yêu cầu bộ nhớ tăng theo.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.23050
ArXiv Abstracthttps://arxiv.org/abs/2606.23050
PDF Downloadhttps://arxiv.org/pdf/2606.23050.pdf
Github Repositoryhttps://github.com/baidu/Unlimited-OCR

9. CLI-Universe: Towards Verifiable Task Synthesis Engine for Terminal Agents (37 votes)​

Tác giả: Zhanbo Hua, Yifan Yao, Weihao Xie, Yongchi Zhao, Minghao Liu, et al.

Xuất bản lúc: 2026-06-22

Tag: LLM, Terminal Agent, Synthetic Data, Data Verification, Training Data, Benchmark, CLI

I. Main Problem:​

Các pipeline tổng hợp dữ liệu hiện có cho terminal agent thường tạo ra tác vụ có hướng dẫn mơ hồ, đường thực thi nông và kiểm thử yếu – không cung cấp tín hiệu học tập mạnh. Thiếu một quy trình có nguyên tắc để tạo ra các tác vụ vừa thực thi vừa có độ khó thực sự và tin cậy, dẫn đến khan hiếm dữ liệu huấn luyện chất lượng cao.

II. Main Idea:​

CLI-Universe xây dựng tác vụ từ một phân loại năng lực đa chiều (miền, loại kỹ năng, năng lực, trụ cột kỹ thuật), sau đó làm mịn từng tác vụ thông qua nghiên cứu sâu dựa trên tài liệu kỹ thuật thực tế. Tiếp theo, các bản thiết kế được thể hiện trong môi trường Docker và trải qua quy trình xác minh nhiều tầng: xây dựng bài kiểm tra dạng rubric, lọc theo điều kiện gợi ý (hint-conditional), và kiểm tra fail-to-pass. Toàn bộ quy trình loại bỏ khoảng 2/3 ứng viên, chỉ giữ lại các tác vụ thực sự có thử thách và tín hiệu giám sát mạnh.

III. Main Results:​

  • Fine-tune Qwen3-32B trên CLI-Universe-6K đạt 33.4% trên Terminal-Bench 2.0, vượt các mô hình cùng quy mô và một số mô hình lớn hơn 10 lần.
  • Loại bỏ bất kỳ thành phần xác minh nào làm giảm 3–6 điểm trên Terminal-Bench 2.0.
  • Dữ liệu CLI-Universe có hiệu suất cao hơn 10–100 lần so với các pipeline khác (ví dụ, Nemotron, TerminalTraj) khi cùng số lượng trajectory.
  • Hiệu suất mở rộng tuyến tính theo kích thước mô hình và tổng quát hóa tốt sang các benchmark khác (BFCL v4, VitaBench).
  • Khoảng 66% ứng viên bị loại bỏ qua các bước lọc trước khi trở thành dữ liệu huấn luyện.

IV. Conclusion & Future Works:​

CLI-Universe chứng minh rằng xây dựng tác vụ có cấu trúc và xác minh độc lập có thể cung cấp tín hiệu giám sát mạnh cho terminal agent với lượng dữ liệu hạn chế. Hướng tới: mở rộng pipeline cho các nhóm tác vụ đa dạng hơn (xử lý video) và khám phá huấn luyện dựa trên học tăng cường (RL).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phân loại năng lực cho các tác vụ đồ họa như xử lý video và game, nơi CLI-Universe hiện chưa có cải thiện, nhằm tăng độ bao phủ kỹ năng.
  2. Kết hợp CLI-Universe với RL để khám phá liệu mô hình có thể học từ phản hồi tiến trình (process reward) thay vì chỉ kết quả cuối, giúp thu hẹp khoảng cách với hệ thống thương mại mạnh.
  3. Nghiên cứu chuyển giao liên tác vụ: huấn luyện mô hình trên CLI-Universe rồi đánh giá khả năng thích ứng với tác vụ CLI mới chưa từng thấy trong tập huấn luyện.

2. Patent:​

  1. Hệ thống tự động tạo tác vụ dòng lệnh cho thiết bị di động: người dùng chọn một kỹ năng (ví dụ, 'gỡ lỗi Python'), hệ thống sẽ sinh ra một bài tập thực hành trong môi trường sandbox để kiểm tra kỹ năng CLI của người dùng.
  2. Phương pháp sinh bài kiểm tra kỹ thuật số cho phỏng vấn: dựa trên vị trí tuyển dụng, hệ thống tự động tạo ra các bài thi thực hành trên terminal, có thang điểm chấm tự động, giúp nhà tuyển dụng đánh giá năng lực thực tế.
  3. Trình trợ giúp bảo mật dòng lệnh trên điện thoại: khi thiết bị phát hiện hành vi bất thường, hệ thống tạo một tác vụ CLI an toàn để kiểm tra kỹ năng ứng phó sự cố của người dùng mà không ảnh hưởng đến thiết bị thật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.22883
ArXiv Abstracthttps://arxiv.org/abs/2606.22883
PDF Downloadhttps://arxiv.org/pdf/2606.22883.pdf
Github RepositoryN/A

10. EvoEmbedding: Evolvable Representations for Long-Context Retrieval and Agentic Memory (32 votes)​

Tác giả: Chang Nie, Chaoyou Fu, Junlan Feng, Caifeng Shan

Xuất bản lúc: 2026-06-19

Tag: Embedding Models, Long-Context Retrieval, Agentic Memory, Latent Memory, RAG, Temporal Reasoning, Contrastive Learning

I. Main Problem:​

Các mô hình embedding hiện tại mã hóa các đoạn văn bản một cách cô lập, bỏ qua ngữ cảnh xung quanh và trật tự thời gian. Điều này khiến chúng thất bại trong các tình huống ngữ cảnh dài, nơi thông tin mang tính động, tuần tự và yêu cầu theo dõi trạng thái liên tục.

II. Main Idea:​

EvoEmbedding duy trì một bộ nhớ tiềm ẩn được cập nhật liên tục khi xử lý tuần tự các đầu vào, sau đó kết hợp bộ nhớ này với nội dung thô để tạo ra các embedding có khả năng tiến hóa. Mô hình được huấn luyện trên bộ dữ liệu EvoTrain-180K với hàm mục tiêu kết hợp giữa mất mát sinh bộ nhớ và mất mát đối lập có trọng số độ dài. Kỹ thuật memory queue và segment-batching động giúp ngăn chặn suy sụp biểu diễn và tăng tốc huấn luyện.

III. Main Results:​

  • EvoEmbedding-4B đạt Overall Recall@10 tốt nhất (80.5) trên 8 benchmark, vượt KaLM-Embedding-Gemma3-12B (+7.8%) và Qwen3-Embedding-8B (+11.1%).
  • RAG đơn giản với EvoEmbedding-4B đạt 77.6% trên LongMemEval, vượt LightMem (70.2%) và A-MEM (65.2%).
  • Tích hợp plug-and-play: EvoEmbedding cải thiện đáng kể các hệ thống agentic memory (ví dụ +19.2% trên A-MEM).
  • Mô hình tổng quát hóa tốt tới ngữ cảnh 128K (gấp 10 lần cửa sổ huấn luyện).
  • Kỹ thuật segment-batching tăng tốc huấn luyện 3.8 lần.

IV. Conclusion & Future Works:​

EvoEmbedding giải quyết điểm yếu của embedding tĩnh bằng cách tích hợp nhận thức về ngữ cảnh và thời gian trực tiếp vào biểu diễn, mang lại hiệu suất vượt trội trong retrieval ngữ cảnh dài. Hướng tương lai có thể mở rộng khả năng này cho các tác vụ đa phương thức và tối ưu hóa thêm cơ chế bộ nhớ tiềm ẩn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng EvoEmbedding cho retrieval đa phương thức, kết hợp bộ nhớ tiềm ẩn với biểu diễn hình ảnh và âm thanh để xử lý hội thoại đa phương tiện.
  2. Nghiên cứu cơ chế học tăng cường để tối ưu hóa chiến lược cập nhật bộ nhớ tiềm ẩn, thay vì FIFO cố định, nhằm thích ứng với các mẫu thông tin thay đổi.
  3. Áp dụng tư tưởng embedding tiến hóa cho các tác vụ lập luận chuỗi dài trong lĩnh vực tài chính hoặc y tế, nơi thông tin có tính thời gian và yêu cầu truy vết chính xác.

2. Patent:​

  1. Hệ thống trợ lý ảo trên điện thoại có khả năng nhớ ngữ cảnh cuộc trò chuyện theo thời gian: khi người dùng thay đổi kế hoạch, embedding tiến hóa giúp trợ lý lấy đúng thông tin mới nhất mà không cần xây dựng cơ sở dữ liệu riêng.
  2. Công cụ tìm kiếm cá nhân hóa trên thiết bị di động: dựa trên lịch sử tương tác và trạng thái hiện tại (ví dụ vị trí, thời gian), embedding thay đổi linh hoạt để ưu tiên kết quả phù hợp nhất thay vì chỉ khớp ngữ nghĩa tĩnh.
  3. Ứng dụng ghi chú thông minh: tự động cập nhật biểu diễn của các ghi chú cũ khi có thông tin mới liên quan, giúp người dùng tra cứu lại nội dung đã chỉnh sửa mà không bị nhiễu bởi phiên bản cũ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.21649
ArXiv Abstracthttps://arxiv.org/abs/2606.21649
PDF Downloadhttps://arxiv.org/pdf/2606.21649.pdf
Github Repositoryhttps://github.com/MiG-NJU/EvoEmbedding

11. BioMatrix: Towards a Comprehensive Biological Foundation Model Spanning the Modality Matrix of Sequences, Structures, and Language (24 votes)​

Tác giả: Qizhi Pei, Zhimeng Zhou, Yi Duan, Yiyang Zhao, Wei Li, et al.

Xuất bản lúc: 2026-06-20

Tag: Multimodal Foundation Model, Molecule, Protein, Sequence, Structure, Language, Tokenization, VQ-VAE

I. Main Problem:​

Các mô hình nền tảng sinh học hiện nay hoặc hỗ trợ đa phương thức (chuỗi, cấu trúc, ngôn ngữ) nhưng chỉ trên một loại thực thể (phân tử hoặc protein), hoặc bao phủ nhiều loại thực thể nhưng thiếu mô hình hóa cấu trúc rõ ràng hoặc dựa trên adapter, không thể sinh ra chính các phương thức mà mô hình đọc được. Chưa có mô hình nào tích hợp natively cả hai yêu cầu này trong một kiến trúc duy nhất.

II. Main Idea:​

BioMatrix là mô hình nền tảng đa phương thức đầu tiên tích hợp natively chuỗi, cấu trúc và ngôn ngữ tự nhiên cho cả phân tử và protein trong một kiến trúc decoder-only. Nó ánh xạ chuỗi phân tử (SMILES, SELFIES), cấu trúc phân tử, chuỗi protein, cấu trúc protein và ngôn ngữ vào một không gian token rời rạc chung thông qua một cơ chế token hóa thống nhất. Tất cả các phương thức được tiêu thụ và tạo ra một cách đồng nhất dưới một mục tiêu next-token prediction duy nhất, không cần encoder ngoài, bộ chuyển đổi chiếu hoặc đầu ra phương thức chuyên dụng. Mô hình được pretrain liên tục trên 304.4 tỉ token và tinh chỉnh trên 80 tác vụ, đạt kết quả cạnh tranh hoặc vượt trên 77 tác vụ.

III. Main Results:​

  • BioMatrix đạt hiệu suất dẫn đầu (SOTA) hoặc cạnh tranh trên 77/80 tác vụ bao gồm sinh phân tử, hiểu protein, dự đoán tương tác, v.v.
  • Cải thiện lớn nhất trên các tác vụ liên chiều và liên thực thể, ví dụ sinh phân tử dựa trên văn bản và sinh cấu trúc phân tử theo điều kiện tính chất.
  • Sử dụng bộ mã hóa cấu trúc phân tử MolStrucTok với bộ giải mã tách nhánh (branch-decoupled decoder) cải thiện RMSD khoảng 0.1 Å so với phiên bản gốc.
  • Mở rộng từ 1.7B lên 4B tham số giúp ích cho nhiều tác vụ nhưng không phải tất cả.
  • Token hóa là nút thắt cổ chai đối với hình học 3D chi tiết.

IV. Conclusion & Future Works:​

BioMatrix lấp khoảng trống giữa đa phương thức natively và bao phủ rộng thực thể sinh học, chứng minh rằng một mô hình đa năng duy nhất có thể cạnh tranh với các phương pháp chuyên biệt. Hướng phát triển tương lai bao gồm cải thiện token hóa 3D để nắm bắt tốt hơn hình học tinh vi và mở rộng sang các thực thể sinh học khác như axit nucleic.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng BioMatrix để hỗ trợ thêm các thực thể sinh học như axit nucleic và carbohydrate, tạo ra mô hình nền tảng bao phủ hoàn chỉnh sinh học phân tử.
  2. Nghiên cứu cách fine-tuning đa tác vụ tối ưu hơn để giảm xung đột giữa các tác vụ khác nhau, dựa trên phân tích chuyên sâu về không gian token và đối tượng học.
  3. Kết hợp phương pháp token hóa phân tử MolStrucTok cải tiến với sinh cấu trúc protein để tạo ra mô hình chung cho thiết kế phân tử và protein đồng thời.

2. Patent:​

  1. Hệ thống thiết kế thuốc trên điện thoại: người dùng nhập mô tả bằng văn bản, mô hình sinh ra chuỗi và cấu trúc phân tử; hệ thống hiển thị phân tử 3D và đánh giá độc tính sơ bộ.
  2. Trợ lý ảo cho nhà khoa học: người dùng hỏi bằng giọng nói về cấu trúc protein; ứng dụng dùng BioMatrix để phân tích chuỗi và cấu trúc, trả về thông tin chức năng và vị trí tương tác.
  3. Công cụ sàng lọc ảo trên di động: người dùng tải lên ảnh mã vạch hóa chất (SMILES), mô hình dự đoán độc tính và đích tác dụng nhanh chóng dựa trên cấu trúc 2D/3D.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.22138
ArXiv Abstracthttps://arxiv.org/abs/2606.22138
PDF Downloadhttps://arxiv.org/pdf/2606.22138.pdf
Github Repositoryhttps://github.com/QizhiPei/BioMatrix

12. Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding (24 votes)​

Tác giả: Xuanming Zhang, Sining Zhoubian, Yuxuan Chen, Tianyi Tang, An Yang, et al.

Xuất bản lúc: 2026-06-20

Tag: Large Language Models, Decoding Strategy, Alignment Tax, Entropy, Layer Selection, Reasoning, LLM Inference

I. Main Problem:​

Các mô hình ngôn ngữ lớn mặc định sinh token từ lớp cuối cùng, giả định lớp sâu nhất luôn cho dự đoán tin cậy nhất. Tuy nhiên, quá trình huấn luyện căn chỉnh (alignment) có thể khiến lớp cuối thiên về các token an toàn, chung chung, gây nhiễu cho các token suy luận chuyên sâu—đây được gọi là 'alignment tax'. Bài toán đặt ra là làm sao tận dụng biểu diễn tốt nhất ở các lớp giữa mà không cần huấn luyện thêm.

II. Main Idea:​

Confident Decoding là phương pháp giải mã không cần huấn luyện, động chọn lớp gần cuối có entropy thấp nhất (entropy valley) làm nguồn logit cho token hiện tại. Phương pháp dùng tìm kiếm lùi dần từ lớp cuối, dừng lại ở lớp đầu tiên có entropy thấp hơn lớp kế, nhằm tránh nhiễu căn chỉnh ở lớp cuối. Việc chọn lớp được chứng minh tương đương bài toán dừng tối ưu, đảm bảo lọc được nhiễu căn chỉnh mà vẫn giữ độ an toàn. Phương pháp này không sửa đổi kiến trúc mô hình, chỉ thay đổi lớp trích xuất logit, chi phí thêm dưới 2% độ trễ.

III. Main Results:​

  • Confident Decoding cải thiện đáng kể trên các benchmark suy luận khó: GPQA-Diamond tăng +6.5%, HLE +2.0%, LCB-v6 +4.3% trên Qwen3.5-35B-A3B.
  • Hiệu quả nhất quán trên nhiều kiến trúc: dense (Gemma-4-31B) và MoE (Qwen3.5-122B-A10B), với mức tăng từ +0.2 đến +6.5 điểm.
  • Không làm giảm hiệu suất trên các tác vụ sinh sáng tạo (WritingBench) và an toàn (Air-Bench).
  • Phân tích layer-wise cho thấy 16.2% token bị nhiễu Pha III, entropy tăng đột biến ở lớp cuối.
  • Không tăng bộ nhớ, độ trễ tăng dưới 2% so với giải mã cuối cùng.

IV. Conclusion & Future Works:​

Confident Decoding chứng minh rằng giải mã từ lớp cuối không phải lúc nào cũng tối ưu cho suy luận. Bằng cách động chọn entropy valley, phương pháp lọc nhiễu căn chỉnh mà vẫn giữ an toàn. Hướng tương lai có thể mở rộng cho các mô hình đa phương thức, tối ưu hóa cửa sổ tìm kiếm cho từng bước, hoặc kết hợp với speculative decoding để giảm độ trễ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Confident Decoding cho mô hình đa phương thức (vision-language) để tránh căn chỉnh gây nhiễu cho token liên quan đến hình ảnh, ví dụ mô tả chi tiết thay vì chung chung.
  2. Nghiên cứu cơ chế 'alignment tax' xảy ra mạnh hơn ở các mô hình lớn hay không, và thiết kế phương pháp chọn lớp dựa trên độ phức tạp token.
  3. Kết hợp Confident Decoding với contrastive decoding để vừa lọc nhiễu căn chỉnh vừa khuyếch đại tín hiệu suy luận từ các lớp giữa.

2. Patent:​

  1. Phương pháp giải mã cho chatbot trên điện thoại: tự động chọn lớp giữa có độ tin cậy cao để sinh câu trả lời chính xác hơn, tránh trả lời chung chung do căn chỉnh, vẫn đảm bảo an toàn.
  2. Hệ thống hỗ trợ giải toán trên thiết bị di động: khi mô hình LLM sinh lời giải, kỹ thuật này giúp chọn lớp giữa có entropy thấp để đưa ra token chuyên ngành (ví dụ 'căn bậc hai') thay vì token an toàn thông thường.
  3. Ứng dụng trong trợ lý ảo viết code: dynamic layer selection giúp giữ đúng cú pháp và tên biến chính xác, tránh bị lớp cuối làm nhiễu thành các token phổ biến như 'so', 'then'.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.21906
ArXiv Abstracthttps://arxiv.org/abs/2606.21906
PDF Downloadhttps://arxiv.org/pdf/2606.21906.pdf
Github Repositoryhttps://github.com/QwenLM/Confident-Decoding

13. SkillHarness: Harnessing Safe Skills for Computer-Use Agents (20 votes)​

Tác giả: Yurun Chen, Biao Yi, Keting Yin, Shengyu Zhang

Xuất bản lúc: 2026-06-02

Tag: Computer-Use Agents, Skill Learning, Safety, LLMs, Dynamic Environments, Prompt Injection

I. Main Problem:​

Các phương pháp học kỹ năng hiện tại cho Computer-Use Agents (CUA) thường giả định môi trường tĩnh và an toàn, dẫn đến hai rủi ro chính trong môi trường động: (1) thiên lệch giám sát—coi thành công tác vụ là tín hiệu đủ để học, bỏ qua hành vi không an toàn; (2) luồng tương tác cứng nhắc—kỹ năng được mã hóa thành thủ tục cố định, không thích ứng được với thay đổi môi trường.

II. Main Idea:​

SkillHarness là khung làm việc mô hình hóa vòng đời kỹ năng như quy trình có ràng buộc an toàn. Trong học kỹ năng, nó giới thiệu skill boundary—kết hợp ba tín hiệu giám sát (thành công, thất bại, rủi ro) để xác định kỹ năng an toàn. Trong sử dụng kỹ năng, selective skill reuse cho phép planner chỉ kích hoạt các kỹ năng có điều kiện an toàn thỏa mãn, và fallback sang LLM khi môi trường thay đổi ngoài phạm vi kỹ năng.

III. Main Results:​

  • Tỷ lệ kỹ năng không an toàn (USR) giảm 57.1% so với baseline.
  • Hiệu suất an toàn khi sử dụng kỹ năng cải thiện trung bình 31.9%.
  • Tỷ lệ thành công tác vụ (SR) tăng trung bình 19% nhờ sử dụng kỹ năng ổn định hơn.
  • Trên ST-WebAgentBench, SkillHarness đạt USR chỉ 2.2% so với ASI 75.0% và SkillWeaver 43.6%.
  • Dưới nhiễu loạn UI (pop-up, mô tả sai), SCR của SkillHarness duy trì cao hơn đáng kể so với SkillWeaver.

IV. Conclusion & Future Works:​

SkillHarness chứng minh tầm quan trọng của việc mô hình hóa ranh giới kỹ năng và tách biệt ý định khỏi thực thi. Hướng tương lai: cân bằng độ mịn và phủ sóng trong khám phá kỹ năng tự đề xuất, và thiết kế harness tốt hơn để giảm ảnh hưởng tiêu cực từ lỗi kỹ năng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng skill boundary cho các tác nhân đa phương thức (hình ảnh + văn bản) trong môi trường OS thực để nắm bắt rủi ro tiềm ẩn từ cả hai nguồn thông tin.
  2. Nghiên cứu chuyển giao kỹ năng an toàn giữa các agent khác nhau (web, desktop, mobile) dựa trên ranh giới kỹ năng đã học để tận dụng kiến thức tích lũy.
  3. Kết hợp SkillHarness với reinforcement learning từ phản hồi của con người (RLHF) để tối ưu hóa cả an toàn và hiệu suất tác vụ trong quá trình học liên tục.

2. Patent:​

  1. Phần mềm trợ lý ảo trên điện thoại dùng SkillHarness để thực hiện các thao tác phức tạp (ví dụ: mở ứng dụng, nhập liệu) một cách an toàn—tự động kiểm tra ràng buộc (quyền người dùng, hành động không thể đảo ngược) trước khi thực thi lệnh.
  2. Hệ thống tự động hóa văn phòng trên desktop: agent học kỹ năng từ thao tác thành công và thất bại của người dùng, sau đó chỉ gợi ý hoặc tự động thực hiện khi môi trường giao diện không thay đổi bất thường, tránh lỗi do pop-up hoặc menu mới.
  3. Ứng dụng chăm sóc khách hàng tự động: agent web dùng SkillHarness để xử lý biểu mẫu phức tạp—nó học được các khuôn mẫu nhập liệu an toàn (cảnh báo khi thông tin nhạy cảm), và tự động fallback sang tư vấn trực tiếp khi gặp UI bất thường hoặc yêu cầu không rõ ràng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20636
ArXiv Abstracthttps://arxiv.org/abs/2606.20636
PDF Downloadhttps://arxiv.org/pdf/2606.20636.pdf
Github Repositoryhttps://github.com/YurunChen/SkillHarness

14. Self-Compacting Language Model Agents (18 votes)​

Tác giả: Tianjian Li, Jingyu Zhang, William Jurayj, Xi Wang, Chuanyang Jin, et al.

Xuất bản lúc: 2026-06-22

Tag: Context Compaction, Inference-Time Scaffolding, LLM Agents, Agentic Search, Mathematical Reasoning, Rubric-Based Gating, KV Cache Reuse

I. Main Problem:​

Khi tác nhân LLM thực hiện nhiều bước suy luận hoặc gọi công cụ, ngữ cảnh làm việc tích lũy nhiều nội dung lỗi thời và gây hỏng (context rot). Các giải pháp hiện tại dùng ngưỡng token cố định để kích hoạt tóm tắt, nhưng bỏ qua cấu trúc hành trình dẫn đến việc nén nhầm lúc, xóa bỏ thông tin quan trọng khi đang xử lý dở dang.

II. Main Idea:​

SELFCOMPACT là một scaffold mới trao quyền quyết định thời điểm nén ngữ cảnh cho chính mô hình. Nó kết hợp hai yếu tố: (i) một công cụ nén do mô hình tự gọi để tóm tắt ngữ cảnh, và (ii) một bộ tiêu chí (rubric) nhẹ mô tả khi nào nên nén (khi một nhiệm vụ con hoàn tất) và khi nào nên ngăn chặn (khi đang xử lý giữa chừng). Bộ tiêu chí giúp mô hình gọi nén đúng lúc, tận dụng lại KV cache để tiết kiệm chi phí, và không yêu cầu tinh chỉnh tham số.

III. Main Results:​

  • Trên toán thi đấu (IMO-Answerbench, HMMT), SELFCOMPACT cải thiện baseline không nén lên tới 18.1 điểm với cùng ngân sách token.
  • Trên tìm kiếm tác nhân (BrowseComp, BrowseComp-Plus, DeepSearch QA), cải thiện 5–9 điểm và giảm 30–70% chi phí mỗi câu hỏi.
  • Phân tích cho thấy tóm tắt cố định gây 40% ca chuyển đổi từ đúng sang sai; SELFCOMPACT giảm thiểu vấn đề này.
  • Bộ tiêu chí là yếu tố then chốt: bỏ rubric khiến hiệu suất ngang với nén cố định (41.0% so với 46.4% trên trung bình 3 benchmark tác nhân).
  • Trên bài toán khó nhất, SELFCOMPACT vượt baseline 5–20 điểm phần trăm.

IV. Conclusion & Future Works:​

SELFCOMPACT cho thấy nén dựa trên rubric là phương pháp hiệu quả và tiết kiệm để mở rộng khả năng tác nhân LLM. Hướng tương lai: kết hợp tinh chỉnh bằng RL để học cả thời điểm và nội dung nén, và mở rộng cho các mô hình tiên tiến hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu huấn luyện RL từ rubric: dùng các tiêu chí làm mục tiêu phần thưởng để mô hình tự học quyết định nén mà không cần scaffold.
  2. Mở rộng scaffold cho đa tác nhân: mỗi tác nhân tự quản lý ngữ cảnh riêng dựa trên rubric phối hợp, giải quyết vấn đề tích lũy trong tương tác nhóm.
  3. Áp dụng cho code agent: thiết kế rubric hiểu cấu trúc mã nguồn (hàm, vòng lặp) để nén đúng lúc, tránh mất biến cục bộ khi sửa lỗi.

2. Patent:​

  1. Trợ lý tìm kiếm thông tin trên điện thoại: khi đọc nhiều trang web, module nén tự động tóm tắt kết quả trùng lặp, giữ lại thông tin xác thực, giúp người dùng không bị quá tải.
  2. Trợ lý hỗ trợ giải toán nâng cao trên thiết bị di động: sau mỗi bước lập luận, hệ thống kiểm tra tiến trình và nén các nhánh sai, tiết kiệm bộ nhớ và duy trì độ chính xác.
  3. Chatbot doanh nghiệp tương tác dài: tích hợp rubric nhận diện khi khách hàng đã xác nhận yêu cầu, tự động tóm tắt cuộc hội thoại, tránh mất thông tin khi tiếp tục trò chuyện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.23525
ArXiv Abstracthttps://arxiv.org/abs/2606.23525
PDF Downloadhttps://arxiv.org/pdf/2606.23525.pdf
Github RepositoryN/A

15. HydraHead: From Head-Level Functional Heterogeneity to Specialized Attention Hybridization (18 votes)​

Tác giả: Zhentao Tan, Wei Chen, Jingyi Shen, Yao Liu, Xu Shen, et al.

Xuất bản lúc: 2026-06-18

Tag: Mechanistic Interpretability, Hybrid Attention, Linear Attention, Full Attention, Long-Context, Large Language Models, LLM

I. Main Problem:​

Sự kết hợp giữa Full Attention (FA) và Linear Attention (LA) trong các mô hình ngôn ngữ lớn hiện tại thường gặp khó khăn và chủ yếu dựa trên kiến trúc lai theo từng layer, dẫn đến thiết kế bị hạn chế. Các nghiên cứu trước đây đã chỉ ra rằng việc huấn luyện các mô hình lai kết hợp FA và LA là một thách thức, cho thấy không gian thiết kế của sự lai ghép attention vẫn chưa được khám phá đầy đủ.

II. Main Idea:​

HydraHead đề xuất lai ghép Full Attention (FA) và Linear Attention (LA) ở mức độ head (đầu), dựa trên quan sát về tính không đồng nhất chức năng của các head trong cùng một layer. Phương pháp này gồm hai cải tiến chính: (1) chiến lược chọn lọc head dựa trên interpretability để xác định các head quan trọng cho việc truy xuất và chỉ giữ lại FA cho chúng, và (2) một module hợp nhất scale-normalized để dung hòa khoảng cách phân phối giữa đầu ra của head FA và LA. Một pipeline chuyển đổi ba giai đoạn được sử dụng để huấn luyện mô hình lai mới từ một mô hình pre-trained FA, giúp giảm chi phí huấn luyện.

III. Main Results:​

  • HydraHead vượt trội hơn các thiết kế lai khác trong các tác vụ long-context, đồng thời duy trì khả năng suy luận tổng quát mạnh mẽ.
  • Với chiến lược chọn head dựa trên interpretability, nó đạt hiệu suất long-context tương đương mô hình lai layer 3:1 chỉ với tỷ lệ LA:FA là 7:1.
  • Được huấn luyện trên chỉ 15B token, HydraHead cải thiện hơn 69% so với baseline ở độ dài ngữ cảnh 512K, tiến gần đến hiệu suất của Qwen3.5-2B-Base.

IV. Conclusion & Future Works:​

HydraHead chứng minh rằng head là đơn vị lai ghép tự nhiên và hiệu quả cho attention, giúp kết hợp ưu điểm của FA và LA. Kết quả cho thấy tiềm năng mở rộng đáng kể của việc lai ghép ở mức head. Các hướng phát triển tương lai có thể bao gồm mở rộng HydraHead cho các kiến trúc khác và tối ưu hóa thêm quá trình chọn head.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng phương pháp chọn head dựa trên causal intervention cho các tác vụ suy luận phức tạp hơn, như lập kế hoạch đa bước hoặc suy luận toán học.
  2. Áp dụng tư tưởng lai ghép head-level cho các cơ chế attention hiệu quả khác, chẳng hạn như sparse attention hoặc sliding-window attention, để tạo ra các mô hình lai đa dạng hơn.
  3. Phát triển một framework tự động cho lai ghép head-level, nơi kiến trúc (tỷ lệ FA/LA, vị trí head) có thể được tối ưu hóa tự động dựa trên dữ liệu và tài nguyên tính toán.

2. Patent:​

  1. Hệ thống xử lý văn bản dài trên điện thoại thông minh: một số head mạng được dành riêng để nắm bắt các từ khóa quan trọng (dùng Full Attention), trong khi các head khác xử lý ngữ cảnh tổng quát (dùng Linear Attention), giúp tóm tắt hiệu quả các tài liệu dài.
  2. Công cụ tìm kiếm cá nhân hóa trên thiết bị di động: mô hình học cách xác định các head cần thiết để truy xuất thông tin ưu tiên từ lịch sử chat và tin nhắn, trong khi các head còn lại xử lý dữ liệu chung, giúp tăng tốc độ phản hồi.
  3. Trợ lý ảo với khả năng ghi nhớ ngữ cảnh siêu dài: áp dụng kiến trúc HydraHead với tỷ lệ Linear Attention cao để giảm chi phí tính toán, cho phép trợ lý duy trì cuộc trò chuyện hàng giờ trên thiết bị có tài nguyên hạn chế.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.20097
ArXiv Abstracthttps://arxiv.org/abs/2606.20097
PDF Downloadhttps://arxiv.org/pdf/2606.20097.pdf
Github RepositoryN/A

16. Learning from Your Own Mistakes: Constructing Learnable Micro-Reflective Trajectories for Self-Distillation (18 votes)​

Tác giả: Zhilin Huang, Hang Gao, Ziqiang Dong, Yuan Chen, Yifeng Luo, et al.

Xuất bản lúc: 2026-06-17

Tag: Self-Distillation, Reinforcement Learning, Large Language Models, Mathematical Reasoning, GRPO, Error-Driven Learning, Zone of Proximal Development

I. Main Problem:​

Các phương pháp self-distillation hiện tại (ví dụ OPSD) chỉ căn chỉnh phân phối đầu ra một cách ngầm định, không cung cấp chẩn đoán lỗi cụ thể hay hướng dẫn sửa chữa cho từng sai lầm của mô hình. Kết quả là mô hình học cách bắt chước một phân phối ưu tiên thay vì nhận được các hiệu chỉnh chi tiết chỉ ra vị trí và lý do suy luận sai.

II. Main Idea:​

TAPO nâng cấp self-distillation từ căn chỉnh phân phối ngầm sang xây dựng quỹ đạo tường minh. Trong mỗi vòng huấn luyện RL, mô hình tạo cả luồng đầu ra đúng và sai cho cùng một câu hỏi; TAPO tận dụng cấu trúc tương phản này để xây dựng các "micro-reflective corrections"—những quỹ đạo huấn luyện mới giữ nguyên suy luận sai của mô hình đến điểm lỗi, sau đó chèn chẩn đoán ngôn ngữ tự nhiên và suy luận đã sửa dựa trên lời giải đúng cùng nhóm. Để tích hợp các quỹ đạo này, TAPO dùng cơ chế chọn ứng viên theo độ khó (DCS) và ước lượng advantage tách rời (DAE) để tránh nhiễu gradient.

III. Main Results:​

  • Trên AIME 2024, TAPO đạt 62.50% Pass@1, cải thiện 9.58 điểm so với GRPO (52.92%) và 4.79 điểm so với OPSD (57.71%).
  • Trên HMMT 2025 (khó nhất), TAPO đạt 31.46% Pass@1, vượt GRPO 2.71 điểm và OPSD 7.29 điểm.
  • TAPO cải thiện cả tỷ lệ giải đúng trực tiếp (DSR) và tỷ lệ tự sửa lỗi hiệu quả (ERR).
  • Các cải thiện bền vững qua tất cả giá trị Pass@k, phản ánh năng lực thực sự chứ không chỉ giảm phương sai.

IV. Conclusion & Future Works:​

TAPO chuyển self-distillation từ căn chỉnh phân phối sang xây dựng quỹ đạo sửa lỗi tường minh, mang lại cải thiện nhất quán so với GRPO. Hướng tương lai: mở rộng cho các tác vụ suy luận phức tạp hơn và tối ưu hóa cơ chế chọn lọc ứng viên.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng TAPO cho các mô hình ngôn ngữ lớn hơn (ví dụ 70B tham số) để kiểm tra khả năng mở rộng của micro-reflective trajectory construction trên quy mô lớn.
  2. Kết hợp TAPO với các thuật toán RL khác (ví dụ DAPO) để tận dụng ưu điểm của cả hai trong việc ổn định huấn luyện và khám phá.
  3. Áp dụng TAPO cho các tác vụ suy luận phi toán học như lập trình hoặc suy luận thông thường, nơi lỗi suy luận phức tạp hơn.

2. Patent:​

  1. Phương pháp tự động xây dựng câu hỏi luyện tập cá nhân hóa trên điện thoại: ứng dụng ghi lại các lỗi thường gặp của người dùng, tạo câu hỏi mới tập trung vào loại lỗi đó và cung cấp hướng dẫn sửa lỗi từng bước.
  2. Hệ thống trợ giúp học tập trên điện thoại: khi người dùng giải toán sai, hệ thống tự động phân tích bước sai, giữ nguyên phần đúng và đề xuất cách sửa, giúp người dùng học từ lỗi mà không cần giáo viên.
  3. Công cụ kiểm tra lỗi suy luận cho chatbot trên điện thoại: chatbot tự động phát hiện và sửa lỗi trong câu trả lời của mình bằng cách xây dựng lại quỹ đạo suy luận, cải thiện độ chính xác mà không cần can thiệp thủ công.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18844
ArXiv Abstracthttps://arxiv.org/abs/2606.18844
PDF Downloadhttps://arxiv.org/pdf/2606.18844.pdf
Github RepositoryN/A

17. Training Open Models for Agentic Phone Use (16 votes)​

Tác giả: Zhengyang Tang, Xin Lai, Pengyuan Lyu, Xinyuan Wang, Tianyi Bai, et al.

Xuất bản lúc: 2026-06-22

Tag: Mobile GUI Agents, RL, Mock Environment, PhoneWorld, PhoneBuddy, Supervised Fine-tuning, Task Completion

I. Main Problem:​

Huấn luyện mô hình mở để sử dụng điện thoại đáng tin cậy rất khó vì môi trường thực (thiết bị thật, ứng dụng thật) chậm, có trạng thái, dễ gây tác dụng phụ và khó thiết lập lại. Trong khi đó, môi trường giả lập có thể mở rộng nhưng chỉ xấp xỉ hành vi thực, không thay thế được hoàn toàn.

II. Main Idea:​

PhoneBuddy đề xuất quy trình huấn luyện kết hợp môi trường ứng dụng thật và môi trường giả lập PhoneWorld – tái tạo ứng dụng giả có thể chạy từ cấu trúc GUI thực. Mô hình 4B trải qua ba giai đoạn: supervised fine-tuning trên dữ liệu từ cả hai môi trường, RL trên môi trường thật, và RL hỗn hợp trên cả thật lẫn giả. Môi trường giả cung cấp tương tác có thể thiết lập lại và kiểm tra tự động, bổ sung cho RL thực chứ không thay thế.

III. Main Results:​

  • Trên 150 tác vụ đánh giá thực tế (ứng dụng, mini-app, cross-app), tỷ lệ thành công tăng từ 36,67% (SFT) lên 40,67% (RL thật) và 45,33% (RL hỗn hợp).
  • Trên AndroidWorld, tỷ lệ thành công tăng từ 60,3% lên 77,2% rồi 83,2%.
  • Cải thiện mạnh nhất ở tác vụ đơn ứng dụng và mini-app; cross-app vẫn là thách thức lớn.
  • Mô hình PhoneBuddy-4B-Real+Mock đạt Avg 54,8%, vượt GPT-5.4 và Seed 2.0 Pro, thấp hơn Gemini 3.1 Pro.

IV. Conclusion & Future Works:​

Kết hợp môi trường thật và giả tạo ra quy trình huấn luyện hiệu quả hơn cho tác tử điện thoại. Cải thiện rõ rệt ở tác vụ đơn và mini-app, trong khi cross-app vẫn cần theo dõi trạng thái dài hạn, chuyển giao thông tin và xác minh runtime mạnh hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PhoneWorld cho nhiều nền tảng di động khác (iOS) và nhiều ngôn ngữ hơn để kiểm tra tính khái quát của quy trình huấn luyện hỗn hợp.
  2. Nghiên cứu chiến lược RL online có thể thích ứng tỷ lệ pha trộn giữa môi trường thật và giả dựa trên hiệu suất tác vụ để tối ưu tài nguyên tính toán.
  3. Tích hợp cơ chế theo dõi trạng thái dài hạn và xác minh chéo giữa các ứng dụng vào PhoneWorld để giải quyết thách thức cross-app workflow.

2. Patent:​

  1. Hệ thống huấn luyện tác tử điện thoại thông minh: sử dụng kết hợp ứng dụng thật và ứng dụng giả được tái tạo từ dữ liệu GUI thực để cải thiện tỷ lệ hoàn thành tác vụ mà không cần nhiều dữ liệu thủ công.
  2. Phương pháp đánh giá tự động tác vụ điện thoại dùng mô hình ngôn ngữ lớn tạo tiêu chí đánh giá cho từng lệnh, sau đó chấm điểm dựa trên trace tương tác, giúp giảm chi phí kiểm tra thủ công.
  3. Giao diện điều khiển tác tử di động có kiến trúc plug-in: harness trung gian chuyển đổi giữa mô hình và hành động GUI thực, cho phép thêm hoặc bớt kênh tương tác (CLI, MCP) mà không ảnh hưởng đến lõi huấn luyện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.23049
ArXiv Abstracthttps://arxiv.org/abs/2606.23049
PDF Downloadhttps://arxiv.org/pdf/2606.23049.pdf
Github Repositoryhttps://github.com/PhoneBuddyAI/phonebuddy

18. Deep Research in Physical Sciences: A Multi-Agent Framework and Comprehensive Benchmark (15 votes)​

Tác giả: Yigeng Jiang, Tengchao Yang, Taoyong Cui, Jiaxing Wan, Yuan Wang, et al.

Xuất bản lúc: 2026-06-17

Tag: Multi-Agent, LLMs, Scientific Reasoning, Benchmark, Physical Sciences, Deep Research, Reflection

I. Main Problem:​

Các hệ thống deep research agent hiện tại thiếu khả năng thực hiện suy luận khoa học đa bước và tích hợp kiến thức liên ngành trong lĩnh vực vật lý-hóa học. Các benchmark hiện có hoặc quá hẹp (chỉ đánh giá một tác vụ đơn lẻ) hoặc không bao gồm xử lý đa phương thức, trích xuất dữ liệu có cấu trúc và thực thi mã, vốn là yêu cầu cốt lõi của nghiên cứu khoa học thực tế.

II. Main Idea:​

PhySciBench là benchmark 200 câu hỏi chuyên gia biên soạn, bao phủ ba giai đoạn nhận thức (trích xuất thông tin, hiểu khoa học, ứng dụng & sáng tạo) với sáu loại tác vụ, cân bằng 100 câu vật lý và 100 câu hóa học. Từ các lỗi trên PhySciBench, nhóm tác giả phát triển DelveAgent, một framework đa tác tử gồm: (i) Adaptive Planning Loop – lập kế hoạch động và điều chỉnh giữa chừng; (ii) Dual-Granularity Memory – lưu trữ kinh nghiệm thành công và kiến thức miền; (iii) Hierarchical Physics-Grounded Reflection – kiểm tra tính nhất quán vật lý ở cấp bước và quỹ đạo.

III. Main Results:​

  • Trên PhySciBench, DelveAgent đạt 41.0% độ chính xác, vượt baseline mạnh nhất (Gemini Deep Research: 33.5%) 7.5 điểm phần trăm.
  • Cải thiện lớn nhất ở trích xuất thông tin có cấu trúc (+15.0 p.p.) và sinh mã (+15.0 p.p.).
  • Giảm chi phí suy luận xuống còn khoảng 1/3 so với baseline mạnh nhất.
  • Trên ba benchmark khoa học khác (HLE, SGI-DR, FS-Research), DelveAgent đạt độ chính xác trung bình cao nhất (23.62% vs 20.87%).
  • Ablation: mỗi module (bộ nhớ, phản ánh, lập kế hoạch) đều đóng góp tương đương (~2.5–3.0 p.p.), tổng ablation giảm 6.5 p.p.

IV. Conclusion & Future Works:​

PhySciBench và DelveAgent chứng minh rằng cải thiện kiến trúc đặc thù cho khoa học vật lý có thể nâng cao đáng kể độ tin cậy của agent tự động, vượt quá đơn thuần tăng quy mô mô hình. Hướng tới: mở rộng PhySciBench thêm các ngành khoa học khác và tinh chỉnh cơ chế phản ánh vật lý cho các tác vụ thời gian thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PhySciBench với các câu hỏi từ các ngành như sinh học cấu trúc, địa chất hoặc vật liệu mới, bổ sung thêm tác vụ về xử lý tín hiệu thực nghiệm.
  2. Kết hợp DelveAgent với mô hình đa phương thức có khả năng hiểu sâu hình ảnh khoa học (phổ, đồ thị) để giảm lỗi suy luận từ số liệu trực quan.
  3. Nghiên cứu cơ chế học tăng cường từ phản hồi của con người (RLHF) cho các module phản ánh, giúp agent tự động tinh chỉnh chiến lược xác minh khoa học qua từng bài toán.

2. Patent:​

  1. Hệ thống trợ lý nghiên cứu tích hợp trên điện thoại: cho phép nhà khoa học chụp ảnh phổ hoặc biểu đồ từ tài liệu và yêu cầu trích xuất dữ liệu số hoặc giải thích cơ chế; hệ thống dùng bộ nhớ domain và phản ánh để đảm bảo kết quả chính xác.
  2. Ứng dụng tự động kiểm tra tính hợp lý của mô phỏng vật lý trong thiết bị di động: sinh viên nhập công thức và tham số, hệ thống sẽ chạy mô phỏng và dùng phản ánh vật lý để phát hiện lỗi như sai đơn vị hoặc vi phạm định luật bảo toàn.
  3. Công cụ tổng hợp tài liệu nghiên cứu đa nguồn trên điện thoại: người dùng upload vài bài báo; agent lập kế hoạch đọc, trích xuất kết quả chính và so sánh chúng, sử dụng bộ nhớ để nhận diện mâu thuẫn và phản ánh để đảm bảo trích dẫn đúng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.18648
ArXiv Abstracthttps://arxiv.org/abs/2606.18648
PDF Downloadhttps://arxiv.org/pdf/2606.18648.pdf
Github Repositoryhttps://github.com/yigengjiang/physci-deepresearch

19. Foresight: Failure Detection for Long-Horizon Robotic Manipulation with Action-Conditioned World Model Latents (14 votes)​

Tác giả: Haoran Zhang, Yifu Lu, Boyang Wang, Xuhui Kang, Yen-Ling Kuo, et al.

Xuất bản lúc: 2026-06-22

Tag: Failure Detection, Long-Horizon Tasks, World Models, Robotic Manipulation, Conformal Prediction, Vision-Language-Action, Causal Transformer

I. Main Problem:​

Phát hiện lỗi trong các tác vụ robot dài hạn rất khó vì lỗi diễn biến mờ nhạt và không có nhãn thời gian chi tiết. Các phương pháp hiện tại chủ yếu hoạt động tốt trên tác vụ ngắn hạn, dựa vào tín hiệu đặc thù của từng chính sách, hoặc chỉ phát hiện bất thường thị giác, không hiệu quả trên chuỗi hành động kéo dài.

II. Main Idea:​

Foresight sử dụng biểu diễn tiềm ẩn từ mô hình thế giới có điều kiện hành động (action-conditioned world model) để giám sát quỹ đạo robot. Mô hình thế giới mã hóa quan sát hiện tại và dự đoán trạng thái tương lai dựa trên hành động dự kiến. Các đặc trưng này được đưa vào một Transformer nhân quả (causal Transformer) để dự đoán điểm lỗi từng bước. Cuối cùng, dùng functional conformal prediction để hiệu chỉnh ngưỡng phát hiện thích ứng, đảm bảo kiểm soát tỷ lệ dương tính giả. Phương pháp này chỉ cần nhãn thành công/thất bại ở cấp độ toàn bộ tập, không cần trạng thái nội bộ của chính sách.

III. Main Results:​

  • Foresight-Transformer đạt balanced accuracy tốt nhất trên cả ba benchmark mô phỏng: LIBERO-Long (0.94), ManiSkill-Long (0.80), BEHAVIOR-1K (0.78).
  • Trên BEHAVIOR-1K (dài nhất, ~8.557 bước), Foresight vượt baseline mạnh nhất đến 0.14 balanced accuracy.
  • Trên robot thật, Foresight-Transformer đạt ROC-AUC 0.93 (ReactorX/ACT) và 0.89 (Franka/GR00T N1.5).
  • Foresight có thể khái quát hóa chính sách: huấn luyện trên π0.5 chuyển giao tốt sang ACT, nhưng ngược lại thì kém hơn.

IV. Conclusion & Future Works:​

Foresight chứng minh rằng biểu diễn tiềm ẩn từ mô hình thế giới có điều kiện hành động là tín hiệu hữu hiệu cho phát hiện lỗi trong tác vụ dài hạn. Hạn chế chính là chi phí tính toán của mô hình thế giới, gây khó khăn cho triển khai trên thiết bị. Hướng tương lai có thể tối ưu hóa độ trễ hoặc kết hợp với các mô hình nhẹ hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Foresight để phát hiện lỗi cho nhiều robot cùng lúc trong môi trường cộng tác, mỗi robot dùng mô hình thế giới chung và ngưỡng phát hiện riêng.
  2. Kết hợp Foresight với học tăng cường để robot tự động điều chỉnh hành vi khi phát hiện nguy cơ lỗi, biến phát hiện lỗi thành cơ chế phục hồi thích ứng.
  3. Áp dụng mô hình thế giới có điều kiện hành động cho phát hiện lỗi trong xe tự hành, giám sát quỹ đạo dài hạn dựa trên hành động lái dự kiến.

2. Patent:​

  1. Ứng dụng trên robot hút bụi thông minh: robot dùng camera và mô hình thế giới để dự đoán liệu hành động tiếp theo (ví dụ: vượt qua ngưỡng cửa) có dẫn đến kẹt hay không; nếu có, robot lập tức đổi hướng.
  2. Hệ thống giám sát lắp ráp trên dây chuyền sản xuất: camera ghi lại từng bước, mô hình thế giới dự đoán trạng thái tương lai dựa trên hành động cánh tay robot; nếu phát hiện sai lệch, dừng máy ngay lập tức.
  3. Điều khiển robot phẫu thuật từ xa: mô hình thế giới theo dõi chuyển động dụng cụ và dự đoán hậu quả của hành động sắp tới; nếu phát hiện nguy cơ tổn thương, hệ thống cảnh báo bác sĩ hoặc chặn lệnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.23085
ArXiv Abstracthttps://arxiv.org/abs/2606.23085
PDF Downloadhttps://arxiv.org/pdf/2606.23085.pdf
Github RepositoryN/A

20. Tmax: A simple recipe for terminal agents (14 votes)​

Tác giả: Hamish Ivison, Junjie Oscar Yin, Rulin Shao, Teng Xiao, Nathan Lambert, et al.

Xuất bản lúc: 2026-06-22

Tag: RL for Agents, Terminal Agents, Coding Agents, DPPO, Synthetic Data, GRPO, SWE-Bench, LM Post-training

I. Main Problem:​

Các mô hình terminal agent hiện tại chủ yếu dùng SFT và dữ liệu hạn chế; RL cho lĩnh vực này còn ít được khám phá do thiếu benchmark, dữ liệu và công thức baseline đơn giản. Hơn nữa, dữ liệu tổng hợp hiện có khó mở rộng, thiếu đa dạng và không kiểm soát độ khó, dẫn đến hiệu suất kém trên các tác vụ terminal phức tạp.

II. Main Idea:​

Bài báo đề xuất TMAX, một công thức RL mở cho terminal agents, gồm pipeline sinh dữ liệu mới theo taxonomy 9 trục (domain, skill, complexity, persona, verifier...), tạo tập TMAX-15K với 14,600 môi trường RL, lớn gấp 2.5 lần tập trước. Mô hình được huấn luyện bằng DPPO với FP32 LM head và group size 32 để ổn định, không cần SFT cho Qwen 3.5. Kết quả TMAX-9B (9B tham số) đạt 27% trên Terminal-Bench 2.0, vượt các mô hình 32B trước đó và đạt ngang Claude Haiku 4.5.

III. Main Results:​

  • TMAX-9B đạt 27% trên Terminal-Bench 2.0, outperforming prior open RL recipes, các mô hình 32B và xấp xỉ Claude Haiku 4.5.
  • Huấn luyện RL trên TMAX-15K cải thiện SWE-Bench Verified +5.3 điểm và AIME lên 91.1% (so với 73.3% baseline).
  • TMAX-9B vượt các mô hình trên cùng Qwen 3.5/3.6 ở mọi kích thước (2B, 4B, 27B).
  • DPPO với group size 32 & FP32 LM head ổn định training collapse, trong khi GRPO dễ sụt.
  • Dữ liệu TMAX-15K có pass@1=42% và balance domain=0.998, vượt trội so với các tập cũ (pass@1=41-92%, balance=0.146-0.646).

IV. Conclusion & Future Works:​

TMAX cung cấp baseline mạnh cho terminal agents với RL đơn giản nhưng hiệu quả, chứng minh RL cải thiện kỹ năng agent tổng quát hóa qua harness và tác vụ khác. Hướng tới: tối ưu harness, xử lý context dài hơn, giảm chi phí sandbox, và phát triển SFT hiệu quả cho các base model đã qua post-training mạnh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng công thức RL qua các harness khác nhau để tìm harness tối ưu cho terminal agent nhỏ, tập trung vào latency và độ tin cậy sandbox.
  2. Kết hợp curriculum learning dựa trên complexity của TMAX-15K để train model từ dễ đến khó, đánh giá ảnh hưởng đến độ ổn định và hiệu suất.
  3. Nghiên cứu khả năng distillation từ mô hình mạnh hơn (như Gemini-3-Pro) vào terminal agent nhỏ thông qua RL, so sánh với SFT truyền thống.

2. Patent:​

  1. Hệ thống tự động sinh dữ liệu huấn luyện cho terminal agent trên di động: tạo task dạng checklist với độ khó tăng dần dựa trên các trục domain & skill, giúp người dùng tự fine-tune assistant cục bộ.
  2. Phương pháp ổn định huấn luyện RL cho agent trên điện thoại bằng cách sử dụng FP32 LM head và DPPO, giảm sai lệch logprob trong quá trình inference, phù hợp với thiết bị hạn chế.
  3. Cơ chế verifier đa dạng (metric-threshold, adversarial-corpus) tích hợp vào môi trường test trên cloud di động, cho phép đánh giá chính xác khả năng của terminal agent mà không cần sandbox cục bộ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.23321
ArXiv Abstracthttps://arxiv.org/abs/2606.23321
PDF Downloadhttps://arxiv.org/pdf/2606.23321.pdf
Github Repositoryhttps://github.com/hamishivi/tmax

21. DailyReport: An Open-ended Benchmark for Evaluating Search Agents on Daily Search Tasks (14 votes)​

Tác giả: Jingxuan Han, Wei Liu, Mingyang Zhu, Youpeng Wang, Ziwen Wang, et al.

Xuất bản lúc: 2026-06-11

Tag: Search Agents, LLMs, Benchmark, User-Centric Evaluation, Web Search, Information Retrieval, Open-Ended Tasks

I. Main Problem:​

Các benchmark hiện tại cho Search Agents (SA) chủ yếu tập trung vào các nhiệm vụ chuyên môn hóa, không phản ánh nhu cầu tìm kiếm hàng ngày của người dùng. Hơn nữa, chúng thường dùng các tiêu chí đánh giá thô sơ, khó diễn giải và không đo lường được trải nghiệm người dùng thực tế.

II. Main Idea:​

DailyReport là benchmark mới với 150 nhiệm vụ tìm kiếm hàng ngày dạng mở, được xây dựng từ các chủ đề thịnh hành trên mạng xã hội, chia thành 10 lĩnh vực và 35 danh mục nhỏ. Mỗi nhiệm vụ được phân rã thành các nhiệm vụ con và đánh giá qua bộ tiêu chí xếp tầng (cascade rubrics) trên ba khía cạnh riêng biệt: Mức độ tuân thủ chỉ dẫn (Instruction Following), Tính thực tế (Factuality), và Tính hợp lý (Rationality). Kết quả được tổng hợp theo hướng lấy người dùng làm trung tâm, cho ra điểm số ưu tiên (User Preference Score) dễ hiểu.

III. Main Results:​

  • Các hệ thống hiện tại (17 agent) đạt điểm cao ở khả năng tuân thủ chỉ dẫn (~0.97) nhưng thấp ở tính thực tế (~0.73) và tính hợp lý (~0.82).
  • Điểm User Preference (tối đa 4) chỉ đạt ~2.89, dưới mức chấp nhận được (3), cho thấy khoảng cách lớn giữa SA và kỳ vọng người dùng.
  • GPT 5.4 với công cụ tìm kiếm đạt hiệu suất tốt nhất, trong khi Deep Research Agents bản địa kém hơn.
  • Phân tích dấu vết cho thấy số lượng cuộc gọi tìm kiếm tương quan mạnh với hiệu suất, nhưng việc trích dẫn không đảm bảo tính chính xác tuyệt đối.

IV. Conclusion & Future Works:​

DailyReport cho thấy Search Agents hiểu chỉ dẫn tốt nhưng còn yếu về độ chính xác và suy luận trên thông tin cập nhật, đặc biệt trong các chủ đề thay đổi nhanh. Hướng tương lai có thể cải thiện chất lượng trích dẫn, tăng cường khả năng tìm kiếm, và phát triển các chiến lược suy luận tốt hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng DailyReport với các nhiệm vụ đa ngôn ngữ và đa văn hóa để đánh giá khả năng toàn cầu hóa của Search Agents.
  2. Nghiên cứu các cơ chế tối ưu hóa chiến lược tìm kiếm cho các tác vụ thiên về phân tích, nơi thông tin rải rác và cần xác thực chéo.
  3. Phát triển phương pháp đánh giá tự động dựa trên phản hồi người dùng thực để cập nhật điểm số ưu tiên linh hoạt hơn.

2. Patent:​

  1. Trợ lý tìm kiếm trên di động định kỳ cập nhật các chủ đề hot và tạo báo cáo cá nhân hóa dựa trên sở thích người dùng.
  2. Ứng dụng kiểm tra độ tin cậy của tin tức: người dùng nhập câu hỏi, hệ thống tự động tìm kiếm, đối chiếu nhiều nguồn, và hiển thị mức độ chính xác dạng điểm số.
  3. Công cụ so sánh sản phẩm mua sắm: dựa trên xu hướng mạng xã hội, hệ thống thu thập review, phân tích ưu nhược điểm, và đưa ra khuyến nghị trực quan.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.12871
ArXiv Abstracthttps://arxiv.org/abs/2606.12871
PDF Downloadhttps://arxiv.org/pdf/2606.12871.pdf
Github Repositoryhttps://github.com/AGI-Eval-Official/DailyReport

22. PoLAR: Factorizing Extent and Mode in Latent Actions for Robot Policy Learning (11 votes)​

Tác giả: Youngjoon Jeong, Jihwan Yu, Minsoo Jo, Junha Chun, Taesup Kim

Xuất bản lúc: 2026-06-19

Tag: Latent Actions, Representation Learning, Robot Learning, Hyperbolic Geometry, Policy Learning, Imitation Learning

I. Main Problem:​

Các phương pháp học latent action hiện tại mã hóa mỗi chuyển tiếp giữa hai quan sát thành một vector không cấu trúc, làm lẫn lộn mức độ thay đổi (transition extent) và kiểu thay đổi (transition mode). Điều này khiến các chuyển tiếp tương tự nhưng khác độ dài không có quan hệ rõ ràng trong không gian latent, gây khó khăn cho việc học chính sách điều khiển robot.

II. Main Idea:​

PoLAR áp đặt cấu trúc xuyên tâm (radial) lên không gian latent action: bán kính mã hóa mức độ thay đổi, hướng mã hóa kiểu thay đổi. Khoảng cách thời gian giữa các cặp quan sát được dùng làm tín hiệu yếu để sắp xếp bán kính—chênh lệch thời gian lớn hơn được khuyến khích nằm ở bán kính lớn hơn. Cấu trúc này được hiện thực hóa trong không gian hyperbolic, nơi thể tích mở rộng theo bán kính, phù hợp để phân biệt nhiều kiểu thay đổi hơn ở mức độ thay đổi lớn.

III. Main Results:​

  • PoLAR cải thiện tỷ lệ thành công trung bình trên các tác vụ RoboMimic và MimicGen so với latent action phẳng và các baseline pretrained khác.
  • Trên SimplerEnv-WidowX, PoLAR đạt tỷ lệ thành công 62.5%, vượt UniVLA, Villa-X, Pi0.5 và SmolVLA.
  • Trong thực nghiệm robot thật, PoLAR đạt tỷ lệ thành công cao nhất ở cả ba tác vụ Pick & Place, Banana Cup Stack và Open Pot & Banana.
  • Cấu trúc hyperbolic giúp latent action giàu thông tin hơn: PoLAR hyperbolic có mutual information và probe R^2 cao nhất khi dự đoán ground-truth action.
  • Các phép phân tích cho thấy bán kính tăng dần theo temporal offset, trong khi baseline flat vẫn gần như không đổi.

IV. Conclusion & Future Works:​

PoLAR chứng minh rằng cấu trúc hình học của không gian latent action là một yếu tố thiết kế quan trọng cho học chính sách robot, giúp cải thiện hiệu suất qua các mô phỏng và thực nghiệm thực tế. Hướng phát triển tương lai bao gồm mở rộng sang thiết lập đa camera và xử lý các hành vi phi tuần tự như vòng lặp hoặc chuyển động phục hồi.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PoLAR cho môi trường đa tác vụ: huấn luyện một tokenizer latent action duy nhất trên nhiều bộ dữ liệu robot khác nhau, dùng cấu trúc radial để tách biệt mức độ và kiểu thay đổi giữa các tác vụ, giúp chính sách học tổng quát hơn.
  2. Kết hợp cấu trúc radial với world model: dùng không gian latent action có cấu trúc (bán kính-hướng) làm đầu vào cho mô hình thế giới, cho phép dự đoán chuyển tiếp đa tầm xa và lập kế hoạch chính xác hơn.
  3. Nghiên cứu ảnh hưởng của curvature (độ cong) trong hyperbolic space: tìm curvature tối ưu cho các tác vụ robot khác nhau, có thể điều chỉnh curvature làm hyperparameter để tăng hiệu quả học latent action.

2. Patent:​

  1. Hệ thống dạy robot bằng video từ điện thoại: người dùng quay video thao tác, mô hình PoLAR trích xuất latent action có bán kính-hướng, robot tái hiện hành động với tốc độ phù hợp bằng cách nội suy bán kính.
  2. Module tăng tốc huấn luyện robot gia dụng: khi robot học một kỹ năng mới, PoLAR phân tách mức độ thay đổi (ví dụ góc xoay) khỏi kiểu thay đổi (ví dụ hướng), cho phép áp dụng lại kiểu thay đổi với mức độ khác mà không cần thu thập dữ liệu mới.
  3. Ứng dụng trên điện thoại cho robot giám sát: camera điện thoại ghi chuyển động robot, PoLAR kiểm tra xem mức độ thay đổi có vượt ngưỡng an toàn (bán kính lớn) nhưng kiểu thay đổi không mong muốn hay không, tự động dừng robot.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.21139
ArXiv Abstracthttps://arxiv.org/abs/2606.21139
PDF Downloadhttps://arxiv.org/pdf/2606.21139.pdf
Github Repositoryhttps://github.com/joon-stack/PoLAR

23. Notes2Skills: From Lab Notebooks to Certainty-Aware Scientific Agent Skills (11 votes)​

Tác giả: Shi Liu, Jiayao Chen, Chengwei Qin, Yanqing Hu, Jufan Zhang, et al.

Xuất bản lúc: 2026-06-10

Tag: LLMs, Scientific AI Agents, Lab Notebooks, Uncertainty Detection, Skill Compilation, Procedural Text, Epistemic Status

I. Main Problem:​

Các ghi chép trong phòng thí nghiệm (lab notebooks) chứa cả quan sát xác thực, phán đoán không chắc chắn và đề xuất thí nghiệm, nhưng hầu hết các hệ thống trích xuất thủ tục khoa học trước đây chỉ xử lý văn bản mệnh lệnh, bỏ qua độ chắc chắn của tác giả. Điều này dẫn đến hai lỗi nguy hiểm: uncertainty laundering (biến phán đoán chưa chắc chắn thành quyết định cứng) và directive loss (bỏ qua chỉ thị chắc chắn), khiến AI không thể làm trợ lý khoa học an toàn.

II. Main Idea:​

Notes2Skills là khung hai giai đoạn: Giai đoạn 1 (Epistemic Directive Extraction) nhận diện các câu chỉ thị trong ghi chép và gán nhãn độ chắc chắn—FACT, JUDGMENT hay SUGGESTION. Giai đoạn 2 biên dịch các chỉ thị có nhãn thành MetaSkill—tệp Markdown mà agent có thể tải, trong đó mỗi hành động vẫn gắn kết với mức cam kết và nguồn gốc văn bản. Một executor xác định điều khiển cổng dual-evidence: chỉ cho phép hành động mạnh khi cả cam kết từ capsule và bằng chứng tín hiệu công cụ đều ủng hộ, đảm bảo an toàn cho dữ liệu khoa học.

III. Main Results:​

  • Notes2Skills đạt F1=0.737 trên phát hiện chỉ thị nhị phân với Claude few-shot, cao hơn baseline zero-shot 0.682.
  • Trên ba session wet-lab thực tế, cấu hình Notes2Skills+executor (verify) duy nhất tránh được cả hai lỗi: đạt 88.2% Acc và 85.7% FLAG recall trên session bão hòa không chắc chắn (Saturation-A), và 100% Acc+κ=1.0 trên session bão hòa giai đoạn cuối.
  • Audit Stage 2 xác nhận toàn bộ 149 chỉ thị từ ba kho ngữ liệu được bảo toàn nguyên vẹn trong capsule.
  • Session Step-drop (FACT-dominated): Notes2Skills+verify+elevate đạt 77.8% Acc và κ=0.63, không mất chỉ thị chắc chắn.
  • Khi thay đầu ra Stage 1 bằng dự đoán Claude, kết quả giảm rõ rệt nhưng vẫn vượt nhiều baseline.

IV. Conclusion & Future Works:​

Notes2Skills chứng minh rằng bảo toàn độ chắc chắn là mảnh ghép còn thiếu để biến ghi chép phòng thí nghiệm thành kỹ năng agent đáng tin cậy. Hướng tương lai cần cải thiện ranh giới FACT–JUDGMENT trong Stage 1 và mở rộng executor cho các lĩnh vực khoa học khác ngoài nanopore.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung Notes2Skills cho ghi chép đa tác giả (multi-author notebooks), nơi mỗi phát biểu có thể mang độ chắc chắn khác nhau tùy theo ý kiến từng nhà nghiên cứu, thử thách mới về tổng hợp epistemic.
  2. Kết hợp nhận diện độ chắc chắn với suy luận causal để phân biệt hướng dẫn cần thực thi ngay với quan sát có thể chịu ảnh hưởng bởi lỗi thí nghiệm.
  3. Áp dụng cách tiếp cận certainty-preserving vào lĩnh vực y sinh—như ghi chép lâm sàng bệnh nhân—để tạo agent hỗ trợ chẩn đoán chỉ hành động trên phán đoán chắc chắn.

2. Patent:​

  1. Ứng dụng trên điện thoại thông minh giúp kỹ sư ghi lại nhật ký thí nghiệm bằng giọng nói; hệ thống tự động gắn nhãn mức chắc chắn và biên dịch thành hướng dẫn cho robot phòng thí nghiệm, đảm bảo không bỏ sót chỉ thị quan trọng.
  2. Plugin cho phần mềm quản lý dữ liệu khoa học (ELN) cho phép người dùng đánh dấu mức độ tin cậy của từng ghi chú; khi AI đề xuất xóa/giữ dữ liệu, hệ thống chỉ cho phép xóa nếu ghi chú có mức 'chắc chắn' và có bằng chứng tín hiệu hỗ trợ.
  3. Hệ thống giám sát an toàn cho thiết bị đo đạc tự động (ví dụ máy giải trình tự DNA): sau khi đọc nhật ký vận hành, AI quyết định tắt/mở thiết bị dựa trên mức chắc chắn của ghi chú, tránh các lệnh tắt không an toàn do phán đoán chưa chắc chắn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.11897
ArXiv Abstracthttps://arxiv.org/abs/2606.11897
PDF Downloadhttps://arxiv.org/pdf/2606.11897.pdf
Github RepositoryN/A

24. Vera: A Layered Diffusion Model for Content-Preserving Video Editing (10 votes)​

Tác giả: Hongkai Zheng, Ta-Ying Cheng, Benjamin Klein, Yisong Yue, Zhuoning Yuan

Xuất bản lúc: 2026-06-22

Tag: Diffusion Models, Video Editing, Layered Generation, Content Preservation, Mixture-of-Transformers, Alpha Matting, Dataset Curation

I. Main Problem:​

Các mô hình chỉnh sửa video hiện tại thường 'dựng lại' toàn bộ video, dẫn đến thay đổi ngoài ý muốn ở vùng cần giữ nguyên như nhân vật hay nền. Trong sản xuất thương mại, chỉ một sai sót nhỏ cũng làm sản phẩm không dùng được, làm giảm niềm tin vào công cụ.

II. Main Idea:​

Vera là khung chỉnh sửa video theo lớp (layered) sinh ra một lớp chỉnh sửa RGBA và alpha matte riêng, cho phép ghép (composite) với video gốc mà không chạm vào nội dung cần bảo toàn. Vera mở rộng kiến trúc Diffusion Transformer (DiT) thành Mixture-of-Transformers (MoT) với ba DiT chuyên biệt tương tác qua joint self-attention, giúp mỗi lớp học phân phối riêng. Tác giả cũng xây dựng bộ dữ liệu có alpha matte chính xác, cảnh quay đa dạng và hiệu ứng thị giác để huấn luyện.

III. Main Results:​

  • Vera-14B vượt baseline mạnh nhất 4.5dB PSNR (background change) và 7.1dB (object addition).
  • Giảm LPIPS hơn một nửa so với các phương pháp end-to-end khác.
  • Các chỉ số video truyền thống (OC, TF) bị bão hòa, nhưng VLM-judged metrics (CS, CT) cho thấy Vera dẫn đầu về chất lượng tổng thể.
  • Khảo sát người dùng 2AFC: Vera-1.3B được ưa thích hơn mọi baseline về content preservation và instruction compliance.
  • Huấn luyện chỉ với 486K frame dữ liệu có lớp.

IV. Conclusion & Future Works:​

Vera chứng minh hướng tiếp cận layered giúp bảo toàn nội dung gốc một cách triệt để và cho phép tái sử dụng các lớp trong quy trình hậu kỳ. Hướng tới: mở rộng cho vùng bán trong suốt phức tạp (kính, phản chiếu) và tích hợp thêm điều kiện đầu vào như camera pose hay depth.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng kiến trúc MoT để sinh video thành nhiều lớp hơn (foreground, background, shadow layer) với khả năng tương tác phức tạp, giúp kiểm soát từng thành phần trong cảnh.
  2. Áp dụng video layered cho bài toán đồng bộ chuyển động: sinh lớp hành động cho một vật thể mới sao cho khớp hoàn hảo với chuyển động camera và ánh sáng của cảnh gốc.
  3. Kết hợp layered diffusion với mô hình ngôn ngữ thị giác để cho phép chỉnh sửa bằng hội thoại tự nhiên, người dùng nói nhiều bước và hệ thống tự động tách lớp, sinh và ghép mà không hỏng vùng gốc.

2. Patent:​

  1. Ứng dụng trên điện thoại cho phép người dùng khoanh vùng một đối tượng và thay nền động trong video đã quay: hệ thống tự sinh alpha matte và lớp nền mới, giữ nguyên chủ thể và bóng đổ.
  2. Tính năng 'thêm vật thể ảo vào video quay tay' trên điện thoại: người dùng ghi lại một vật thể thật (ví dụ: con chó), sau đó app tự động tạo lớp RGBA của con chó đó và chèn vào video cũ sao cho khớp bối cảnh.
  3. Công cụ chỉnh sửa video cho nhà sáng tạo nội dung trên mobile: khi người dùng thay nền, hệ thống tự sinh alpha matte chính xác cho tóc và các chi tiết phức tạp, đảm bảo không làm mờ hay méo chủ thể.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.23610
ArXiv Abstracthttps://arxiv.org/abs/2606.23610
PDF Downloadhttps://arxiv.org/pdf/2606.23610.pdf
Github RepositoryN/A

25. Exploring the Design Space of Reward Backpropagation for Flow Matching (10 votes)​

Tác giả: Ruoyu Wang, Boye Niu, Xiangxin Zhou, Yushi Huang, Tongliang Liu, et al.

Xuất bản lúc: 2026-06-09

Tag: Flow Matching, Reward Backpropagation, Text-to-Image, Preference Alignment, Jacobian, Surrogate Trajectory, Direct Gradient

I. Main Problem:​

Các mô hình text-to-image flow matching hiện có tuy tạo ảnh chất lượng cao nhưng chưa căn chỉnh với sở thích con người. Phương pháp backpropagation trực tiếp thưởng để căn chỉnh gặp hai vấn đề: lưu activation cho toàn bộ trajectory huấn luyện là bất khả thi với quy mô mô hình lớn, và tích Jacobian xuyên các bước làm reward gradient phình to và mất ổn định.

II. Main Idea:​

FlowBP là khung trajectory thay thế thống nhất, thiết kế backward trajectory như một đối tượng nhẹ. FlowBP giữ rollout đã cache không gradient để lấy mẫu, sau đó xây dựng surrogate nhẹ từ các vận tốc được cache và re-forward có chọn lọc. Khung này tách rời bốn lựa chọn thiết kế: đầu vào mô hình thưởng, tập active, trọng số tích phân, và bridge coupling. FlowBP gồm ba biến thể: FlowBP-Sparse dùng Euler tái tạo thưa, FlowBP-Bridge thêm bridge coupling có kiểm soát, và FlowBP-Lagrange tăng bậc leap quadrature.

III. Main Results:​

  • Cả ba biến thể FlowBP cải thiện hầu hết các chỉ số về sở thích, chất lượng và thành phần so với các baseline direct-gradient.
  • Thử nghiệm trên SD3.5-M, FLUX.1-dev và FLUX.2-Klein-base cho kết quả vượt trội.
  • FlowBP loại bỏ vấn đề phình gradient bằng cách giới hạn gradient chain ở một Jacobian factor duy nhất.
  • Bộ nhớ chỉ phụ thuộc vào kích thước tập active, không phải độ dài rollout.
  • Các phương pháp hiện tại (ReFL, DRaFT-LV, DRTune, LeapAlign) được phục hồi như trường hợp cụ thể của FlowBP.

IV. Conclusion & Future Works:​

FlowBP đưa ra khung thiết kế thống nhất cho backward surrogate, giảm thiểu vấn đề bộ nhớ và phình gradient, và đạt kết quả căn chỉnh tốt nhất. Hướng tương lai có thể mở rộng thiết kế surrogate với các bộ tích phân cao cấp hơn và áp dụng cho các mô hình generative khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu ảnh hưởng của số lượng active step và cấu trúc bridge coupling đến độ ổn định gradient và hiệu quả căn chỉnh cho flow matching, từ đó tối ưu hóa thiết kế surrogate.
  2. Phân tích so sánh chi tiết giữa surrogate dựa trên Euler reconstruction và connector-based surrogate, làm rõ trade-off giữa độ chính xác forward và độ lệch connector.
  3. Mở rộng khung FlowBP cho các mô hình diffusion có noise schedule phức tạp hơn như cosine schedule, hoặc cho các tác vụ khác như inpainting và super-resolution với reward định nghĩa riêng.

2. Patent:​

  1. Hệ thống trên điện thoại cho phép người dùng tinh chỉnh mô hình tạo ảnh cá nhân hóa: người dùng đánh giá ảnh đầu ra bằng điểm, FlowBP cập nhật mô hình trực tiếp trên thiết bị mà không cần lưu toàn bộ quá trình sinh ảnh.
  2. Ứng dụng di động hỗ trợ thiết kế quảng cáo: người dùng nhập mô tả sản phẩm, mô hình flow matching tạo ảnh concept; FlowBP nhanh chóng căn chỉnh mô hình theo sở thích qua vài bước thưởng-giá, giảm thời gian chỉnh sửa thủ công.
  3. Phần mềm trên thiết bị dùng để tạo avatar 3D từ ảnh selfie: FlowBP fine-tune mô hình tạo ảnh dựa trên điểm đánh giá của người dùng (như độ giống hoặc độ nghệ thuật) mà không cần lưu giữ toàn bộ quá trình sinh, tiết kiệm tài nguyên.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.11075
ArXiv Abstracthttps://arxiv.org/abs/2606.11075
PDF Downloadhttps://arxiv.org/pdf/2606.11075.pdf
Github Repositoryhttps://github.com/RuoyuWang-2077/FlowBP