Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-06-08

Báo cáo được tạo tự động vào lúc 2026-06-30 10:10:23 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. Imaginative Perception Tokens Enhance Spatial Reasoning in Multimodal Language Models (126 votes)​

Tác giả: Mahtab Bigverdi, Linjie Li, Weikai Huang, Yiming Liu, Jaemin Cho, et al.

Xuất bản lúc: 2026-06-03

Tag: Spatial Reasoning, Vision-Language Models, Imaginative Perception, Multimodal, Chain-of-Thought, Intermediate Representations, BAGEL

I. Main Problem:​

Các mô hình Vision-Language hiện tại gặp khó khăn lớn với suy luận không gian, đặc biệt là các bài toán yêu cầu tưởng tượng cấu trúc không gian không có sẵn trong đầu vào, như mô phỏng góc nhìn chưa thấy hoặc tích hợp các quan sát một phần. Các phương pháp hiện có tập trung vào tinh chỉnh thông tin đã thấy, chưa giải quyết được yêu cầu dự đoán cấu trúc không gian còn thiếu.

II. Main Idea:​

Bài báo giới thiệu Imaginative Perception Tokens (IPT), các biểu diễn trực quan trung gian giúp mô hình ngoại vi hóa suy luận không gian về cấu trúc chưa được quan sát. IPT được huấn luyện cùng với mô hình hợp nhất BAGEL, tạo ra hình ảnh từ góc nhìn mới hoặc bản đồ tích hợp, sau đó sử dụng để trả lời câu hỏi. Phương pháp này giúp mô hình học biểu diễn không gian nội tại mạnh hơn, ngay cả khi không tạo ảnh ở suy luận.

III. Main Results:​

  • Trên Multiview Counting, IPT đạt 67.3%, vượt trội so với label-only (63.9%) và text chain-of-thought (62.3%).
  • Trên Perspective Taking (Habitat), IPT đạt 87.0%, cao hơn label-only (82.0%) và Mixed Training lên 87.7%.
  • Text CoT thường kém hơn label-only và IPT, cho thấy sự không phù hợp giữa ngôn ngữ và suy luận không gian.
  • Độ phân giải latent ảnh hưởng trực tiếp đến chất lượng tưởng tượng và độ chính xác: từ 87.4% (64x64) lên 96.8% (1024x1024) trên Perspective Taking.
  • Huấn luyện với IPT cải thiện hiệu suất trên các benchmark không gian khác như ScanNet (+11.5%) và MindCube (+8%).

IV. Conclusion & Future Works:​

IPT cung cấp tín hiệu giám sát có nguyên tắc cho suy luận về cấu trúc chưa quan sát, cải thiện tổng quát hóa không gian và tạo ra biểu diễn trung gian dễ diễn giải. Hướng tương lai: mở rộng sang các bài toán động liên tục và tối ưu chiến lược tưởng tượng chủ động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Imaginative Perception Tokens cho suy luận không gian động, như dự đoán chuyển động của vật thể hoặc thay đổi góc nhìn theo thời gian thực.
  2. Kết hợp IPT với học tăng cường để robot tự tưởng tượng không gian xung quanh, hỗ trợ định vị và di chuyển trong môi trường mới.
  3. Nghiên cứu hiệu quả của IPT trên các mô hình multimodal khác (như Qwen-VL, InternVL) để đánh giá tính khái quát của phương pháp.
  4. patent_ideas_3_vi
  5. patent_ideas_2_vi
  6. patent_ideas_1_vi
  7. patent_ideas_3_vi
  8. patent_ideas_2_vi
  9. patent_ideas_1_vi

2. Patent:​

  1. Ứng dụng trên điện thoại thông minh: chụp ảnh phòng từ góc bất kỳ, mô hình dùng IPT để tưởng tượng bố trí đồ đạc từ góc nhìn mới (ví dụ: từ cửa vào), giúp người dùng lên kế hoạch sắp xếp nội thất dễ dàng hơn.
  2. Hệ thống hỗ trợ lái xe: camera ghi lại cảnh giao thông từ một hướng, mô hình tưởng tượng góc nhìn từ điểm mù (ví dụ: sau xe tải) để cảnh báo người lái về chướng ngại vật tiềm ẩn.
  3. Ứng dụng thực tế ảo và game: người dùng đưa điện thoại quét không gian, mô hình dùng IPT tạo ra bản đồ không gian 3D từ nhiều ảnh 2D, giúp xây dựng môi trường ảo chính xác và tương tác tốt hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.03988
ArXiv Abstracthttps://arxiv.org/abs/2606.03988
PDF Downloadhttps://arxiv.org/pdf/2606.03988.pdf
Github Repositoryhttps://github.com/weikaih04/Imaginative-Perception-Token

2. Your UnEmbedding Matrix is Secretly a Feature Lens for Text Embeddings (99 votes)​

Tác giả: Songhao Wu, Zhongxin Chen, Yuxuan Liu, Heng Cui, Cong Li, et al.

Xuất bản lúc: 2026-06-05

Tag: Zero-shot Text Embedding, Large Language Models, Mechanistic Interpretability, Logit Lens, Anisotropy, Dimensionality Reduction

I. Main Problem:​

Large language models hoạt động kém khi được dùng trực tiếp làm mô hình embedding văn bản. Các phương pháp hiện tại chỉ mang tính heuristic, không giải thích được nguyên nhân gốc rễ dẫn đến sự suy giảm chất lượng biểu diễn ngữ nghĩa của LLM.

II. Main Idea:​

Bài báo phát hiện một hiện tượng: khi chiếu embedding thô lên không gian từ vựng, chúng bị kéo về phía các token tần suất cao nhưng vô nghĩa, làm lu mờ thông tin ngữ nghĩa. Nguyên nhân là ma trận unembedding trong LLM chứa một không gian con ẩn (gọi là edge spectrum subspace) chịu trách nhiệm viết các token phổ biến vào embedding. Để khắc phục, tác giả đề xuất EmbedFilter, một phép biến đổi tuyến tính đơn giản dựa trên phân tích SVD của ma trận unembedding, giúp lọc bỏ không gian con này, cho phép LLM tạo ra embedding giàu ngữ nghĩa hơn.

III. Main Results:​

  • Trên benchmark MTEB, EmbedFilter cải thiện hiệu suất lên đến 14.1% trên PromptEOL hoặc ECHO, không cần huấn luyện thêm.
  • EmbedFilter hoạt động ổn định trên nhiều backbone LLM (Qwen, Llama, Mistral) và các thiết lập tham số khác nhau.
  • EmbFilter cho phép giảm chiều embedding xuống 1/8 (từ 4096 xuống 512) mà vẫn giữ hoặc vượt hiệu suất gốc, giảm lưu trữ index và tăng tốc độ truy vấn.
  • So với các phương pháp giảm chiều khác như Matryoshka hay whitening, EmbedFilter vượt trội và không cần dữ liệu hiệu chuẩn.

IV. Conclusion & Future Works:​

EmbedFilter giải thích cơ chế suy giảm chất lượng embedding của LLM và đưa ra giải pháp xử lý hậu kỳ nhẹ, hiệu quả. Hướng tới: khám phá chiến lược lọc tối ưu cho không gian edge spectrum bất đối xứng và phân tích sâu hơn về tính chất whitening tự nhiên của phổ giữa (bulk spectrum).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phương pháp lọc không gian con dựa trên edge spectrum cho các tác vụ embedding khác như image-text alignment, nơi cũng tồn tại hiện tượng 'từ phổ biến' gây nhiễu.
  2. Kết hợp EmbedFilter vào quá trình fine-tuning (ví dụ contrastive learning) để xây dựng mô hình embedding nội tại không bị lệch về token tần suất cao ngay từ đầu.
  3. Phân tích lý thuyết sâu hơn về mối liên hệ giữa phổ trung gian (bulk spectrum) và tính đẳng hướng của embedding, hướng tới thiết kế thuật toán whitening không cần giám sát.

2. Patent:​

  1. Bộ lọc hậu xử lý embedding cho hệ thống tìm kiếm văn bản quy mô lớn trên điện thoại: nhúng EmbedFilter vào pipeline để giảm kích thước vector xuống 8 lần mà vẫn duy trì độ chính xác, giúp tiết kiệm bộ nhớ và tăng tốc tìm kiếm cục bộ.
  2. Công cụ tối ưu embedding cho chatbot di động: dùng EmbedFilter để làm sạch embedding của câu hỏi người dùng khỏi nhiễu từ, cải thiện độ chính xác khi so sánh với cơ sở tri thức trên thiết bị mà không cần gửi dữ liệu lên đám mây.
  3. Phần mềm cá nhân hóa tin tức trên smartphone: áp dụng EmbedFilter lên embedding của bài báo và lịch sử đọc để lọc bỏ các token phổ biến vô nghĩa, nhờ đó hệ thống gợi ý các chủ đề tinh tế và đa dạng hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.07502
ArXiv Abstracthttps://arxiv.org/abs/2606.07502
PDF Downloadhttps://arxiv.org/pdf/2606.07502.pdf
Github Repositoryhttps://github.com/CentreChen/EmbFilter

3. ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research (97 votes)​

Tác giả: Wanghan Xu, Shuo Li, Tianlin Ye, Qinglong Cao, Yixin Chen, et al.

Xuất bản lúc: 2026-05-28

Tag: LLM, Autonomous Agent, Scientific Discovery, Benchmark, Rubric Evaluation, Research Automation, Multi-Domain

I. Main Problem:​

Các tác nhân AI ngày càng được quảng bá là có khả năng 'tự động tiến hành nghiên cứu' nhưng chưa có chuẩn kiểm tra khách quan để đánh giá tuyên bố này. Các benchmark hiện tại chỉ tập trung vào các nhiệm vụ con (hỏi đáp, lập trình, tái tạo) mà không yêu cầu hệ thống hoàn thành toàn bộ vòng đời nghiên cứu từ dữ liệu thô đến báo cáo hoàn chỉnh. Thiếu hụt này khiến không thể so sánh tiến bộ giữa các hệ thống một cách đáng tin cậy.

II. Main Idea:​

ResearchClawBench cung cấp 40 nhiệm vụ nghiên cứu thực tế từ 10 lĩnh vực khoa học, mỗi nhiệm vụ bắt nguồn từ một bài báo thật, kèm dữ liệu thô và tài liệu tham khảo, nhưng ẩn bài báo đích trong quá trình đánh giá. Điểm số được tính qua rubric đa phương thức do chuyên gia xây dựng, chia nhỏ kết quả mong đợi thành các tiêu chí có trọng số xác minh được. Benchmark đặt ngưỡng 50 điểm cho mức 'tái khám phá' tương đương bài báo, trên 50 là phát hiện mới, cho phép đo lường cả tái hiện và khám phá trong cùng thang đo.

III. Main Results:​

  • Tác nhân tự trị mạnh nhất (Claude Code) chỉ đạt trung bình 21.5/100, rất xa ngưỡng tái khám phá.
  • LLM mạnh nhất (Claude-Opus-4.7 qua ResearchHarness) đạt 20.7/100, với trung bình frontier LLM là 26.5.
  • Không có hệ thống nào vượt ngưỡng 50 điểm; kết quả tốt nhất đầu cơ (oracle) của từng tác vụ chỉ đạt trung bình frontier 24.6.
  • Phân tích lỗi cho thấy thất bại tập trung vào: sai lệch quy trình thí nghiệm, thiếu bằng chứng, và thiếu nội dung khoa học cốt lõi.

IV. Conclusion & Future Works:​

Các hệ thống hiện tại còn rất xa khả năng tái khám phá đáng tin cậy, đặt ra nhu cầu cấp thiết cải thiện cả mô hình ngôn ngữ lẫn scaffold tác nhân. Hướng tương lai: mở rộng RCBench sang thêm lĩnh vực (ví dụ y sinh, địa chất), và phát triển phương pháp tự động hóa việc xây dựng rubric.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phân tích chi tiết hơn về nguyên nhân thất bại: nghiên cứu tác động của việc cung cấp thêm tài liệu tham khảo và hướng dẫn thí nghiệm tận bước đến hiệu suất tái khám phá.
  2. Mở rộng RCBench sang lĩnh vực khoa học xã hội và nhân văn, nơi tiêu chí đánh giá 'khám phá' phức tạp hơn, đòi hỏi thiết kế rubric tinh tế hơn.
  3. Kết hợp RCBench với các kỹ thuật tinh chỉnh (RLHF, fine-tuning có giám sát) để đo lường cải thiện khả năng nghiên cứu đầu cuối của LLM sau huấn luyện.

2. Patent:​

  1. Hệ thống đánh giá năng lực nghiên cứu của AI dùng rubric đa chiều: khi AI tạo báo cáo phân tích dữ liệu, hệ thống tự động chấm điểm dựa trên mục tiêu và tiêu chí ẩn, hỗ trợ sàng lọc ứng viên nghiên cứu viên AI tự động.
  2. Phần mềm hỗ trợ sinh viên nghiên cứu: dùng LLM và rubric tương tự RCBench để chấm sơ bộ báo cáo thí nghiệm, chỉ ra điểm yếu về phương pháp và bằng chứng, giúp người dùng cải thiện trước khi nộp cho giảng viên.
  3. Dịch vụ web đánh giá độc lập cho các nền tảng 'AI nhà khoa học': cung cấp bộ nhiệm vụ chuẩn hóa và rubric sẵn sàng để khách hàng kiểm tra mức độ tự chủ của tác nhân nghiên cứu AI trong lĩnh vực chuyên biệt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.07591
ArXiv Abstracthttps://arxiv.org/abs/2606.07591
PDF Downloadhttps://arxiv.org/pdf/2606.07591.pdf
Github Repositoryhttps://github.com/InternScience/ResearchClawBench

4. SoCRATES: Towards Reliable Automated Evaluation of Proactive LLM Mediation across Domains and Socio-cognitive Variations (55 votes)​

Tác giả: Taewon Yun, Hyeonseong Park, Jeonghwan Choi, Hayoon Park, Yeeun Choi, et al.

Xuất bản lúc: 2026-06-04

Tag: LLM, Conflict Resolution, Automated Mediation, Benchmark, Socio-cognitive Adaptation, Topic-localized Evaluation, Agentic Scenario Curation

I. Main Problem:​

Việc đánh giá LLM với vai trò hòa giải (mediator) đang gặp khó khăn do các bộ test hiện tại phụ thuộc vào kịch bản do chuyên gia viết tay ở vài lĩnh vực, chỉ thay đổi một trục duy nhất (chiến lược), và chấm điểm từng chủ đề ở mọi lượt thoại—gây nhiễu ngoài chủ đề làm sai lệch đánh giá. Không có một phương pháp tự động, mở rộng được và đáng tin cậy để đo lường khả năng thích ứng xã hội của hòa giải viên AI trong các xung đột đa dạng ngoài đời thực.

II. Main Idea:​

SoCRATES xây dựng kịch bản từ xung đột thực tế thông qua pipeline tác nhân gồm tìm kiếm, viết lại và lọc mô phỏng, bao phủ tám lĩnh vực. Sau đó, nó khảo sát độc lập năm trục thích ứng xã hội: chiến lược, thành phần phe, độ dài lịch sử, phản ứng cảm xúc và bản sắc văn hóa. Cuối cùng, bộ đánh giá 'topic-localized' chỉ cho điểm từng chủ đề ở đúng lượt mà chủ đề đó được đề cập, đạt tương quan Pearson 0.82 với chuyên gia—cao gấp đôi baseline.

III. Main Results:​

  • Trung bình tổng thể, hòa giải viên LLM mạnh nhất chỉ thu hẹp được ~30% khoảng cách đồng thuận giữa các bên so với khi không có hòa giải.
  • Kết quả dao động mạnh theo lĩnh vực: từ 41.3% trên xung đột giao dịch xuống còn 16.6% trên xung đột nội tổ chức.
  • Mọi mô hình đều giảm hiệu suất dưới áp lực đối đầu (Competing) và dễ tiếp thu (Accommodating) hơn so với điều kiện chung.
  • Hiệu suất giảm dần khi khoảng cách văn hóa so với chuẩn Mỹ tăng, đặc biệt với các cặp văn hóa Đông Á.
  • Thời điểm can thiệp (timeliness) phải thích ứng theo trục xã hội; mô hình mạnh biết điều chỉnh thời điểm can thiệp tối ưu.

IV. Conclusion & Future Works:​

SoCRATES cho thấy hòa giải xung đột vẫn là thách thức lớn với LLM và hiệu suất phụ thuộc mạnh vào bối cảnh xã hội, đòi hỏi hòa giải viên phải thích ứng linh hoạt. Cần mở rộng bài toán sang môi trường đa ngôn ngữ và bổ sung thêm các thước đo như sự hài lòng, công bằng thủ tục và phục hồi cảm xúc.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng tư tưởng topic-localized evaluation để đánh giá chatbot hỗ trợ tâm lý, chỉ chấm điểm các khía cạnh cảm xúc ở đúng thời điểm khách hàng bộc lộ thay vì mọi lượt thoại.
  2. Mở rộng SoCRATES sang môi trường đa ngôn ngữ để nghiên cứu cách chuẩn mực ngôn ngữ ảnh hưởng đến chiến lược hòa giải của LLM.
  3. Kết hợp kỹ thuật 'social probing' của SoCRATES với reinforcement learning để huấn luyện hòa giải viên AI thích ứng theo từng trục nhân khẩu học cụ thể.

2. Patent:​

  1. Hệ thống hòa giải tự động trên nền tảng thương mại điện tử: AI phân tích lịch sử chat giữa người mua và người bán, xác định các chủ đề tranh cãi và can thiệp đúng lúc bằng các gợi ý hòa giải chuẩn hóa.
  2. Trợ lý đàm phán tích hợp trên điện thoại thông minh cho các cuộc gọi dịch vụ khách hàng: AI lắng nghe cuộc gọi, đánh giá mức độ leo thang cảm xúc và đề xuất giải pháp hòa giải cho nhân viên.
  3. Phần mềm đánh giá năng lực hòa giải cho nhân sự doanh nghiệp: mô phỏng các kịch bản xung đột nội bộ với các trục văn hóa và cảm xúc khác nhau để huấn luyện và đánh giá kỹ năng mềm của quản lý.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.05563
ArXiv Abstracthttps://arxiv.org/abs/2606.05563
PDF Downloadhttps://arxiv.org/pdf/2606.05563.pdf
Github RepositoryN/A

5. GENEB: Why Genomic Models Are Hard to Compare (49 votes)​

Tác giả: Daria Ledneva, Mikhail Nuridinov, Denis Kuznetsov

Xuất bản lúc: 2026-06-03

Tag: Genomic Foundation Models, Benchmarking, Evaluation Protocol, Transfer Learning, Representation Learning, DNA Classification

I. Main Problem:​

Việc so sánh các mô hình nền tảng gen học là rất khó khăn do các benchmark bị phân mảnh, giao thức đánh giá không tương thích và cách báo cáo kết quả riêng lẻ theo từng tác vụ. Điều này khiến các tuyên bố về tính ưu việt hoặc tổng quát của mô hình không thể được kiểm chứng một cách đáng tin cậy.

II. Main Idea:​

Bài báo giới thiệu GENEB, một benchmark quy mô lớn đánh giá 40 mô hình nền tảng gen học trên 100 tác vụ thuộc 13 hạng mục chức năng với một giao thức probing thống nhất. GENEB sử dụng các biểu diễn đông lạnh của mô hình làm đầu vào cho bộ phân loại tuyến tính, cho phép so sánh kiểm soát giữa các kiến trúc, phương pháp token hóa và dữ liệu tiền huấn luyện khác nhau. Benchmark này vạch ra sự đánh đổi hiệu suất giữa các tác vụ, giúp lựa chọn mô hình phù hợp với từng loại tác vụ cụ thể.

III. Main Results:​

  • Kích thước mô hình có tương quan vừa phải với hiệu suất tổng hợp (ρ=0.573), nhưng kiến trúc và dữ liệu tiền huấn luyện thường có tác động lớn hơn số tham số: MUTBERT (86M) vượt ECCDNAMAMBA (537M) tới +0.110 macro-MCC.
  • Mô hình Transformer nhìn chung vượt trội hơn mô hình state-space được đánh giá, đặc biệt trên các tác vụ xuyên loài: GenomicOcean-500M vượt ECCDNAMAMBA tới +0.355 macro-MCC trên tác vụ virus/phage.
  • Dữ liệu tiền huấn luyện đa loài mang lại lợi thế trung bình +0.018 macro-MCC so với chỉ dùng dữ liệu người, đặc biệt rõ rệt trên các tác vụ về chromatin accessibility (+0.076) và splice sites (+0.065).
  • Hiệu suất few-shot suy giảm mạnh: macro-MCC giảm từ 0.488 (full-shot) xuống 0.106 (1-shot); các mô hình mạnh nhất ở full-shot thường có độ suy giảm tuyệt đối lớn nhất, cho thấy leaderboard tổng hợp few-shot có thể gây hiểu lầm.
  • 28/100 tác vụ có MCC trung bình dưới 0.35, chỉ ra rằng việc chỉ tăng quy mô mô hình là không đủ để giải quyết các tác vụ khó như DNA methylation hay plant lncRNA.

IV. Conclusion & Future Works:​

GENEB cung cấp một khuôn khổ tham chiếu cho việc so sánh có kiểm soát và lựa chọn mô hình dựa trên hạng mục trong học máy gen học. Các phát hiện cho thấy cần đánh giá theo từng hạng mục thay vì dựa vào leaderboard tổng hợp. Công việc tương lai có thể mở rộng GENEB với các tác vụ đường dài, cải thiện độ phủ mô hình và bổ sung thêm các tác vụ prokaryote.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tác động của việc tinh chỉnh (fine-tuning) toàn bộ mô hình thay vì probing tuyến tính lên thứ hạng hiệu suất, nhằm xác định liệu các kết luận từ GENEB có còn vững chắc khi cho phép cập nhật tham số hay không.
  2. Phát triển một phương pháp lựa chọn mô hình tự động dựa trên hồ sơ hiệu suất theo hạng mục từ GENEB, giúp người dùng nhanh chóng xác định mô hình tốt nhất cho bộ tác vụ gen học cụ thể của họ.
  3. Khảo sát chi tiết các tác vụ khó nhất trong GENEB (ví dụ: DNA methylation, plant lncRNA) để thiết kế các mục tiêu tiền huấn luyện mới hoặc cấu trúc mô hình có khả năng khái quát hóa tốt hơn trên các tín hiệu gen học tinh tế.

2. Patent:​

  1. Ứng dụng GENEB để tối ưu hóa lựa chọn mô hình nền tảng gen học cho thiết bị di động: một ứng dụng trên điện thoại thông minh cho phép nhập dữ liệu DNA và tự động chọn mô hình có kích thước nhỏ nhất từ GENEB mà vẫn đạt độ chính xác cao trên tác vụ dự đoán cụ thể, tiết kiệm năng lượng và bộ nhớ.
  2. Hệ thống chẩn đoán y tế di động dựa trên kết quả của GENEB: bác sĩ có thể chụp ảnh kết quả xét nghiệm gen và gửi lên đám mây, nơi một dịch vụ sử dụng GENEB để so sánh nhanh hiệu suất của hàng loạt mô hình và trả về dự đoán đáng tin cậy nhất cho biến thể gen quan tâm.
  3. Công cụ hỗ trợ nghiên cứu nông nghiệp tích hợp GENEB: nông dân hoặc nhà khoa học nhập trình tự gen của cây trồng và chọn loại dự đoán mong muốn (ví dụ: khả năng kháng bệnh); hệ thống sẽ tự động tìm mô hình phù hợp nhất từ GENEB và chạy suy luận ngay trên điện thoại hoặc thiết bị cầm tay.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.04525
ArXiv Abstracthttps://arxiv.org/abs/2606.04525
PDF Downloadhttps://arxiv.org/pdf/2606.04525.pdf
Github Repositoryhttps://github.com/darlednik/GENEB

6. MMAE: A Massive Multitask Audio Editing Benchmark (46 votes)​

Tác giả: Ziyang Ma, Ruiqi Yan, Ruiyang Xu, Jie Fang, Zhikang Niu, et al.

Xuất bản lúc: 2026-06-05

Tag: Audio Editing, Benchmark, Multitask, Evaluation, Rubric-based, Multimodal, Instruction Following

I. Main Problem:​

Các hệ thống chỉnh sửa âm thanh hiện tại thiếu cơ sở đánh giá toàn diện và thống nhất. Các benchmark hiện có chỉ tập trung vào các phân vùng hẹp như giọng nói hoặc âm thanh đơn thuần, cùng với các thao tác cơ bản, và sử dụng các thước đo thô sơ không đánh giá được độ chính xác của việc tuân theo hướng dẫn trong các nhiệm vụ phức tạp, mở.

II. Main Idea:​

Bài báo giới thiệu MMAE, benchmark toàn diện đầu tiên cho chỉnh sửa âm thanh đa nhiệm theo hướng dẫn, bao gồm 7 loại âm thanh (âm thanh, lời nói, nhạc và hỗn hợp), 6 mức độ phức tạp và 8 loại thao tác. Mỗi mẫu được đánh giá bằng một bộ rubric chi tiết (17.741 tiêu chí), cho phép đánh giá chính xác khả năng tuân theo hướng dẫn và giữ nguyên ngữ cảnh. Quy trình xây dựng dữ liệu kết hợp giữa con người và tác nhân AI để đảm bảo chất lượng và tính đa dạng.

III. Main Results:​

  • Trên MMAE, Exact Match Rate (EMR) của tất cả các mô hình đều dưới 5%, và giảm xuống 0% trong các tác vụ hỗn hợp phức tạp.
  • Step-Audio-EditX đạt Instruction Following Rate (IFR) cao nhất là 44.86% và Consistency Rate (CR) là 58.88%.
  • Audio-Omni dẫn đầu trên tập con 10 giây với IFR 50.73% và CR 56.93%.
  • Hiệu suất giảm rõ rệt khi độ phức tạp tăng và khi chuyển từ âm thanh đơn lẻ sang hỗn hợp.
  • Tồn tại sự tách rời giữa điểm trung bình và tỷ lệ hoàn hảo, cho thấy các mô hình chưa đạt được độ tin cậy tổng thể.

IV. Conclusion & Future Works:​

MMAE cho thấy các mô hình hiện tại còn xa mới đạt được khả năng chỉnh sửa âm thanh đáng tin cậy. Hướng phát triển tương lai cần tập trung vào việc tăng cường độ chính xác khi thực thi hướng dẫn và khả năng giữ nguyên ngữ cảnh, cũng như xây dựng các mô hình có tính cấu trúc mạnh mẽ hơn cho các tác vụ đa phương thức và phức tạp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển một hệ thống chỉnh sửa âm thanh mới sử dụng học tăng cường từ phản hồi rubric để tối ưu trực tiếp cả độ tuân thủ hướng dẫn và tính nhất quán ngữ cảnh.
  2. Nghiên cứu kiến trúc mô hình có khả năng xử lý nhiều vòng chỉnh sửa liên tiếp mà vẫn giữ nguyên chất lượng và ngữ cảnh của các vòng trước.
  3. Xây dựng một mô hình chỉnh sửa âm thanh đa phương thức có thể lập kế hoạch và thực thi các thao tác phức tạp dựa trên suy luận nhiều bước, tương tự như suy luận trong các mô hình ngôn ngữ lớn.

2. Patent:​

  1. Ứng dụng chỉnh sửa âm thanh trên điện thoại cho phép người dùng dùng giọng nói để yêu cầu thay đổi nhạc nền trong video, đồng thời tự động đảm bảo giọng nói gốc không bị ảnh hưởng.
  2. Hệ thống hỗ trợ sản xuất podcast thông minh: người dùng có thể nói 'loại bỏ tiếng ồn nền khi tôi nói' và hệ thống sẽ tự động nhận diện và tách biệt tín hiệu giọng nói khỏi các tạp âm xung quanh.
  3. Công cụ dành cho người dùng điện thoại muốn hòa âm bài hát: chỉ cần nói 'làm cho giọng hát này vui hơn và giữ nguyên phần nhạc', hệ thống sẽ tự động điều chỉnh cao độ và nhịp độ của giọng hát.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.07229
ArXiv Abstracthttps://arxiv.org/abs/2606.07229
PDF Downloadhttps://arxiv.org/pdf/2606.07229.pdf
Github Repositoryhttps://github.com/ddlBoJack/MMAE

7. Robots Need More than VLA and World Models (30 votes)​

Tác giả: Elis Karcini, Faisal Mehrban, Quang Nguyen, Mac Schwager, Arash Ajoudani, et al.

Xuất bản lúc: 2026-06-04

Tag: Robotics, Vision-Language-Action, World Models, Imitation Learning, Reinforcement Learning, Data Scaling, Sim-to-Real

I. Main Problem:​

Robot learning hiện tại phụ thuộc chủ yếu vào dữ liệu “robot-native” (quỹ đạo có nhãn hành động, phần thưởng). Trong khi thế giới chứa vô số dữ liệu hành vi vật lý phi cấu trúc—video người, tương tác mô phỏng—hầu hết không thể dùng trực tiếp cho robot vì thiếu cấu trúc hành động, ngữ nghĩa tác vụ và phần thưởng gắn với hình thái robot.

II. Main Idea:​

Bài báo lập luận rằng nút thắt chính không phải là huấn luyện chính sách lớn hơn, mà là thiếu các cơ chế chuyển đổi trải nghiệm vật lý phi cấu trúc thành giám sát robot. Cần bốn trụ cột: (1) giao diện dữ liệu tự động gắn nhãn hành vi, (2) giao diện hình thái chuyển đổi chuyển động người sang robot, (3) giao diện world model lý tính 3D, và (4) giao diện phần thưởng suy diễn tiến độ tác vụ từ video/ngôn ngữ. Các mô hình VLA chỉ là một lớp trong stack trí tuệ vật lý lớn hơn.

III. Main Results:​

  • Robot-native supervision (ví dụ: datasets như DROID, Open X-Embodiment) đã giúp VLA mở rộng ấn tượng, nhưng vẫn phụ thuộc vào hành trình có nhãn.
  • Video thụ động chỉ cung cấp tín hiệu hình ảnh, latent action hoặc phần thưởng, chưa phải hành động robot thực tế.
  • Mô phỏng và world model có thể tạo ra dữ liệu mới, nhưng thành công phụ thuộc vào độ trung thực vật lý (3D, tiếp xúc, động lực học).
  • Các kỹ thuật xác định độ tin cậy của world model (uncertainty quantification) đang nổi lên để tránh ảo giác khi lập kế hoạch.
  • Tổng kết: khả năng mở rộng của robot bị giới hạn không phải bởi kiến trúc, mà bởi việc thiếu các cơ chế “grounding” để biến dữ liệu thế giới thành giám sát robot.

IV. Conclusion & Future Works:​

Cần chuyển từ pipeline lấy robot làm trung tâm sang pipeline lấy grounding làm trung tâm, nơi trải nghiệm vật lý rộng (video, mô phỏng, cảm biến) được chuyển hóa thành hành động, phần thưởng, trạng thái. Hướng tương lai: phát triển giao diện tự động gắn nhãn hành vi, retargeting bảo toàn tác vụ và world model grounded bằng quy tắc vật lý.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển một khung retargeting bảo toàn tác vụ giữa hình thái người và robot, sử dụng không gian latent hành động có thể ánh xạ ngược về không gian điều khiển cụ thể của từng loại robot.
  2. Nghiên cứu mô hình world model kết hợp biểu diễn 3D neural với mô phỏng vật lý truyền thống để vừa tái tạo trực quan chính xác vừa đảm bảo tính khả thi về động lực học.
  3. Xây dựng giao diện phần thưởng có thể suy diễn tiến độ tác vụ từ video đa dạng (cả robot và người) bằng cách học phép đo khoảng cách thời gian và dùng phản hồi từ các vòng triển khai.

2. Patent:​

  1. Robot hút bụi thông minh sử dụng camera điện thoại người dùng để ghi lại hành vi dọn dẹp mẫu, từ đó tự động sinh lộ trình và điểm đến dọn dẹp mà không cần lập trình trước.
  2. Hệ thống tự động điều chỉnh tay robot công nghiệp: cho robot thực hiện một vài động tác khám phá ngắn; camera ghi lại chuyển động và hệ thống suy luận động lực học mới để tối ưu chính sách mà không cần huấn luyện lại.
  3. Ứng dụng điện thoại cho robot gia đình: người dùng quay video màn hình điện thoại hướng dẫn robot thực hiện tác vụ; hệ thống phân tích hành vi và tự động ánh xạ thành lệnh robot dựa trên tương quan không gian ảnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06556
ArXiv Abstracthttps://arxiv.org/abs/2606.06556
PDF Downloadhttps://arxiv.org/pdf/2606.06556.pdf
Github RepositoryN/A

8. AnchorWorld: Embodied Egocentric World Simulation with View-based Evolution Customization (29 votes)​

Tác giả: Yu Li, Menghan Xia, Gongye Liu, Xintao Wang, Conglang Zhang, et al.

Xuất bản lúc: 2026-06-05

Tag: World Modeling, Egocentric Video Synthesis, Human Motion Control, Video Generation, Diffusion Transformers, Scene Customization, View-based Control

I. Main Problem:​

Các mô hình thế giới tương tác hiện tại chưa đáp ứng được hai yêu cầu thực tế: điều khiển hành động từ góc nhìn thứ nhất (egocentric) một cách chính xác và khả năng tùy chỉnh thế giới ảo ở các vị trí 3D cụ thể. Việc học điều khiển từ video egocentric rất khó vì phần lớn cơ thể người nằm ngoài khung hình, và môi trường thường chỉ được xác định mơ hồ qua khung hình đầu hoặc prompt toàn cục.

II. Main Idea:​

AnchorWorld giải quyết hai vấn đề trên bằng một khung thống nhất. Đầu tiên, nó kết hợp video góc nhìn thứ ba (third-person) làm dữ liệu huấn luyện phụ để cung cấp giám sát chuyển động toàn thân đầy đủ, dùng cơ chế chiếu (projection) để huấn luyện lai giữa góc nhìn thứ nhất và thứ ba. Thứ hai, nó giới thiệu 'anchor view'—các hình ảnh RGB kèm tư thế 3D và prompt tiến hóa—cho phép người dùng chỉ rõ diện mạo, vị trí và sự thay đổi của các đối tượng tại các điểm 3D cố định trong thế giới. Các anchor view được tích hợp qua cơ chế in-context và cross-attention có mặt nạ.

III. Main Results:​

  • Vượt trội các baseline như PlayerOne và CaM trên cả tác vụ điều khiển chuyển động (độ chính xác camera cao hơn: ATE 0.112 so với 0.131) và nhất quán cảnh (Mat.Pix. 4493K so với 3961K).
  • Trên các kịch bản động (dynamic scene), cải thiện đáng kể độ khớp văn bản tiến hóa (Text Alignment 0.717 so với 0.449 của PlayerOne-Scene).
  • Hiệu quả khi chỉ có ít hoặc không có sự chồng lấn giữa khung hình đầu và anchor view, thể hiện khả năng khái quát hóa mạnh.
  • Các ablation khẳng định tầm quan trọng của từng thiết kế: huấn luyện third-person, pose anchor view, và RoPE riêng cho anchor.

IV. Conclusion & Future Works:​

AnchorWorld tích hợp thành công điều khiển hành động egocentric tự nhiên với tùy chỉnh thế giới cục bộ có thể tiến hóa. Tuy nhiên, mô hình còn hạn chế trong khám phá dài hạn, khái quát hóa thế giới mở, và mô phỏng các kịch bản động đa dạng—mở ra hướng cải tiến trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng AnchorWorld cho môi trường nhiều người dùng: mỗi người có anchor view riêng và hành động riêng, yêu cầu cơ chế đồng bộ hóa và tránh xung đột giữa các anchor.
  2. Kết hợp biểu diễn 3D rõ ràng (như NeRF hoặc 3D Gaussian) thay vì anchor view 2D để tăng tính nhất quán hình học khi di chuyển góc nhìn lớn.
  3. Nghiên cứu cơ chế học các prompt tiến hóa tự động từ video thực, giúp mô hình tự suy luận các chuyển đổi trạng thái cảnh mà không cần mô tả văn bản thủ công.

2. Patent:​

  1. Ứng dụng trên điện thoại: người dùng chụp ảnh một khu vực (anchor view), xoay điện thoại (hành động giả lập di chuyển đầu), và điện thoại tạo video egocentric mô phỏng cảnh đó từ góc nhìn mới, hữu ích cho thiết kế nội thất hoặc xem trước ảnh hưởng của việc thay đổi đồ đạc.
  2. Trong game di động: người chơi có thể đặt các 'anchor view' (ví dụ ảnh chụp một góc bản đồ) và dùng chuyển động thân (cảm biến) để điều khiển camera; hệ thống tự động hoàn thiện các vùng chưa thấy theo phong cách mong muốn, tạo thế giới ảo động và mở rộng vô hạn.
  3. Hỗ trợ người khiếm thị: khi họ quay điện thoại về một hướng, hệ thống kết hợp ảnh chụp nhanh (anchor) và hướng di chuyển (action) để tạo ra mô tả âm thanh hoặc văn bản về những gì có thể xuất hiện khi họ đến gần, dựa trên khả năng suy luận tiến hóa của AnchorWorld.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.07326
ArXiv Abstracthttps://arxiv.org/abs/2606.07326
PDF Downloadhttps://arxiv.org/pdf/2606.07326.pdf
Github RepositoryN/A

9. OpenSkill: Open-World Self-Evolution for LLM Agents (29 votes)​

Tác giả: Zhiling Yan, Dingjie Song, Hanrong Zhang, Wei Liang, Yuxuan Zhang, et al.

Xuất bản lúc: 2026-06-04

Tag: LLM Agents, Self-Evolution, Open-World, Skill Learning, Verification, Knowledge Acquisition

I. Main Problem:​

Các tác nhân LLM hiện tại (self-evolving agent) khi triển khai ngoài thế giới thực thường giả định có sẵn các tín hiệu học tập như kỹ năng đã được chọn lọc, quỹ đạo thành công hoặc bộ xác thực. Trong thực tế, môi trường mở chỉ cung cấp một câu lệnh nhiệm vụ, không có bất kỳ giám sát nào cho việc cải thiện.

II. Main Idea:​

OpenSkill giải quyết vấn đề 'open-world self-evolution' bằng ba giai đoạn: (1) thu thập kiến thức và neo xác thực từ tài liệu, kho lưu trữ và web; (2) tổng hợp chúng thành kỹ năng chuyển giao được, sau đó tinh chỉnh kỹ năng đó dựa trên các bài kiểm tra ảo tự xây dựng từ các neo xác thực thay vì đáp án mục tiêu; (3) triển khai kỹ năng cuối cùng một cách zero-shot cho tác nhân. Điều này đảm bảo vòng lặp học tập không bị rò rỉ thông tin từ bộ kiểm tra thực tế.

III. Main Results:​

  • OpenSkill đạt tỷ lệ pass tự động tốt nhất trên cả hai tác nhân: 43.6% trên Opus 4.6 và 42.1% trên GPT 5.2, vượt baseline mạnh nhất từ 8.9 đến 8.8 điểm.
  • Kỹ năng do OpenSkill tạo ra chuyển giao hiệu quả giữa các mô hình (Haiku, Qwen, DeepSeek, Mistral) mà không cần thích ứng riêng.
  • Bộ xác thực ảo (virtual verifier) bao phủ 88.9% các mục đích kiểm tra thực tế, và có sự tương quan có ý nghĩa thống kê với kết quả thực.
  • Trong ablation, truy vấn thế giới mở và bộ xác thực ảo mỗi thành phần đóng góp +6.1% và +6.3%, và kết hợp cho hiệu suất tốt nhất.

IV. Conclusion & Future Works:​

OpenSkill mở ra hướng phát triển tác nhân có thể tự cải thiện sau khi triển khai mà không cần giám sát mục tiêu. Hạn chế: nguồn web/web có thể nhiễu, bài kiểm tra ảo có thể đơn giản hơn thực tế, và chi phí độ trễ cao hơn so với thế giới đóng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng OpenSkill cho các tác vụ liên tục và tương tác lâu dài, nơi kỹ năng không chỉ chuyển giao mà còn được cập nhật động dựa trên phản hồi từ môi trường thực tế.
  2. Nghiên cứu tự động hóa việc chọn lọc và tổng hợp kiến thức từ nhiều nguồn mở (web, repo, tài liệu API) để nâng cao chất lượng kỹ năng cho các tác vụ siêu chuyên biệt.
  3. Phát triển cơ chế đánh giá chất lượng kỹ năng tự sinh mà không cần bộ xác thực ảo, bằng cách sử dụng các phép đo độ tương tự ngữ nghĩa với các kết quả đã biết từ thế giới mở.

2. Patent:​

  1. Phần mềm hỗ trợ học tập: khi học sinh gặp bài toán khó, hệ thống tự động tra cứu tài liệu trên mạng, tạo kỹ năng giải thích từng bước và tự kiểm tra bằng bài tập ảo trước khi đưa ra câu trả lời cuối cùng.
  2. Trợ lý sửa lỗi cho lập trình viên: công cụ phát hiện lỗi trong mã nguồn, tìm kiếm tài liệu API, tạo kỹ năng sửa lỗi và tự chạy thử nghiệm ảo để đảm bảo bản vá hoạt động mà không cần dùng bộ kiểm thử chính thức.
  3. Cá nhân hóa hướng dẫn sử dụng đồ điện tử: điện thoại phân tích yêu cầu người dùng, tự động hóa tìm kiếm hướng dẫn trực tuyến, tổng hợp thành kỹ năng hướng dẫn và tự mô phỏng xác minh tính đúng đắn trước khi hiển thị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06741
ArXiv Abstracthttps://arxiv.org/abs/2606.06741
PDF Downloadhttps://arxiv.org/pdf/2606.06741.pdf
Github Repositoryhttps://github.com/OpenLAIR/OpenSkill

10. Direct 3D-Aware Object Insertion via Decomposed Visual Proxies (26 votes)​

Tác giả: Jingbo Gong, Yikai Wang, Yushi Lan, Yuhao Wan, Ziheng Ouyang, et al.

Xuất bản lúc: 2026-06-04

Tag: Object Insertion, 3D-Aware Image Editing, Diffusion Models, Image-to-3D, Pose Control, FLUX

I. Main Problem:​

Các phương pháp chèn đối tượng hiện tại chỉ hoạt động trên mặt phẳng 2D, không cho phép điều khiển tư thế 3D một cách rõ ràng. Việc sử dụng ngôn ngữ mơ hồ hoặc tham số góc quay trừu tượng dẫn đến sai lệch tư thế và thiếu kiểm soát hình học chính xác, hạn chế ứng dụng thực tế.

II. Main Idea:​

Bài báo đề xuất DIRECT, một framework phân tách tín hiệu điều kiện thành bộ ba: hướng dẫn hình học (từ 3D proxy được dựng với tư thế do người dùng chỉ định), hướng dẫn diện mạo (từ ảnh gốc), và hướng dẫn ngữ cảnh (từ nền). Các tín hiệu này được tiêm qua các nhánh LoRA riêng biệt, giúp mô hình vừa tuân thủ tư thế 3D chính xác, vừa giữ được chi tiết chất lượng cao từ ảnh tham chiếu và hòa hợp với nền. Một pipeline tự động xây dựng bộ dữ liệu 160k cặp từ ảnh thực giúp cải thiện khả năng tổng quát hóa.

III. Main Results:​

  • Trên backbone FLUX, DIRECT đạt PSNR 23.09, SSIM 0.871, LPIPS 0.147, vượt trội so với Object3DIT và TRELLIS kết hợp InsertAnything.
  • Điểm CLIP-I và DINO lần lượt đạt 0.959 và 0.936, cho thấy khả năng bảo toàn diện mạo vượt trội.
  • Matching Error (đo độ chính xác tư thế) chỉ 17.8, thấp hơn nhiều so với các baseline (Object3DIT: 98.9).
  • Phân tích cho thấy phương pháp hoạt động ổn định trên mọi dải xoay từ 0–180°, không suy giảm rõ rệt.
  • Các ablation khẳng định tác dụng của từng thành phần: dữ liệu lai (+7.4% CLIP-I), tiêm ngữ cảnh, mask augmentation, và huấn luyện phân giải tiến tiến.

IV. Conclusion & Future Works:​

DIRECT kết hợp thành công điều khiển tư thế 3D với tổng hợp 2D chất lượng cao bằng cách phân tách và tiêm hướng dẫn hình học, diện mạo và ngữ cảnh. Hướng tương lai sẽ cải thiện khả năng tinh chỉnh hình học từ đầu đến cuối để giảm lỗi topology từ mô hình 3D trung gian.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Một phiên bản DIRECT không cần 3D proxy trung gian: thay vì dùng mô hình image-to-3D, có thể học trực tiếp ánh xạ từ ảnh 2D và tư thẻ 6-DoF sang hình học điều kiện dày đặc, giảm phụ thuộc vào chất lượng tái tạo 3D.
  2. Mở rộng DIRECT cho video: chèn đối tượng vào một chuỗi khung hình với tư thế thay đổi mượt mà, yêu cầu ổn định thời gian và bảo toàn diện mạo xuyên suốt các khung.
  3. Kết hợp DIRECT với mô hình ngôn ngữ để hỗ trợ thiết kế sản phẩm: người dùng có thể mô tả tư thế mong muốn bằng ngôn ngữ tự nhiên, hệ thống tự động suy luận tham số 6-DoF và thực hiện chèn.

2. Patent:​

  1. Ứng dụng chèn đồ nội thất vào ảnh phòng thực tế ảo trên điện thoại: người dùng chụp ảnh phòng trống, chọn đồ từ thư viện 3D, xoay/kéo thả trên màn hình cảm ứng để chỉnh tư thế, hệ thống tự động chèn và hòa hợp ánh sáng, cho kết quả như thật.
  2. Công cụ chỉnh sửa ảnh thời trang: người dùng chụp ảnh sản phẩm (túi xách, giày), dùng ngón tay xoay mô hình 3D trên màn hình để chọn góc ưng ý, ảnh sản phẩm được chèn tự động vào ảnh người mẫu với tư thế chính xác.
  3. Tính năng 'thử đồ trực tuyến' trên sàn thương mại điện tử: người dùng tải ảnh sản phẩm, hệ thống tạo proxy 3D, sau đó cho phép kéo thả sản phẩm vào ảnh người mẫu hoặc ảnh phòng với điều khiển tư thế linh hoạt, giúp hình dung sản phẩm trong ngữ cảnh thực.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06601
ArXiv Abstracthttps://arxiv.org/abs/2606.06601
PDF Downloadhttps://arxiv.org/pdf/2606.06601.pdf
Github Repositoryhttps://github.com/Gong1130/DIRECT

11. When Tools Fail: Benchmarking Dynamic Replanning and Anomaly Recovery in LLM Agents (23 votes)​

Tác giả: Dongsheng Zhu, Xuchen Ma, Yucheng Shen, Xiang Li, Yukun Zhao, et al.

Xuất bản lúc: 2026-06-04

Tag: LLM Agents, Tool-Integrated Reasoning, Benchmarking, Fault Tolerance, Dynamic Replanning, Anomaly Detection

I. Main Problem:​

Các benchmark hiện tại đánh giá khả năng sử dụng công cụ của LLM chủ yếu dựa trên kịch bản lý tưởng ('happy path'), bỏ qua các lỗi thực tế như mạng lỗi hoặc dữ liệu sai lệch. Điều này khiến agent thiếu khả năng phát hiện và phục hồi lỗi một cách chủ động, dẫn đến vòng lặp thử-sai vô tận hoặc thất bại nhiệm vụ.

II. Main Idea:​

TOOLMAZE là benchmark hai chiều (C × P) để đánh giá khả năng động (dynamic replanning) của agent khi công cụ thất bại. Chiều C (topological complexity) sử dụng DAG với bốn mức phức tạp từ C1 (tuyến tính) đến C4 (đa nhánh), xác định không gian đường đi phục hồi. Chiều P (perturbation mode) gồm 4 loại lỗi: Explicit/Implicit kết hợp với Transient/Permanent. Lỗi được tiêm vào tool cụ thể để đo lường chính xác khả năng phát hiện và tìm đường thay thế. Các metric mới PRR (Perturbation Recovery Rate) và RC (Recovery Cost) phân tách khả năng phục hồi thực sự khỏi thử-sai mù quáng.

III. Main Results:​

  • Hầu hết model sụt giảm hiệu suất rõ rệt khi chuyển từ NP (non-perturbed) sang P1–P4, cho thấy khả năng 'happy path' không tự sinh ra khả năng chịu lỗi.
  • Với lỗi implicit (P3, P4), PRR giảm trung bình 37% so với lỗi explicit, do agent quá tin tưởng vào đầu ra sai lệch.
  • Khả năng chịu lỗi (PRR) chỉ tăng 4.88 điểm phần trăm mỗi bậc log kích thước model, chậm hơn 3.66 lần so với tăng TSR (17.85 pp).
  • Lỗi implicit permanent (P4) khiến PRR dưới 20% và RC trên 70%, cho thấy đây là thách thức lớn nhất.

IV. Conclusion & Future Works:​

TOOLMAZE chỉ ra rằng khả năng phục hồi động (dynamic replanning) là năng lực riêng biệt, không đạt được chỉ qua scaling model hay prompting đơn thuần. Hướng tới cần phát triển cơ chế phát hiện bất thường chủ động kiểu System 2 và mở rộng benchmark cho môi trường mở, lỗi tầng (cascading failures) và tấn công đối nghịch.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển cơ chế phát hiện lỗi implicit dựa trên tự giám sát (self-supervised anomaly detection) cho agent sử dụng công cụ, giúp agent nhận biết khi đầu ra tool có vẻ đúng nhưng thực tế sai.
  2. Nghiên cứu huấn luyện đặc thù (targeted training) để cải thiện khả năng phục hồi động, chẳng hạn như tạo dữ liệu mô phỏng lỗi DAG đa dạng và fine-tune model với các tình huống cần tìm đường thay thế.
  3. Mở rộng benchmark TOOLMAZE với lỗi tầng (cascading failures) và tấn công đối nghịch vào tool response để đánh giá toàn diện độ an toàn của agent trong môi trường thực.

2. Patent:​

  1. Hệ thống trợ lý ảo trên điện thoại có cơ chế phát hiện lỗi dữ liệu: khi nhập một thông tin từ app tài chính (giá cổ phiếu), nếu giá trị không hợp lý (âm hoặc quá cao), hệ thống tự động cảnh báo và đề xuất kiểm tra lại nguồn dữ liệu khác.
  2. Trình duyệt web có module hỗ trợ agent mua sắm: khi gọi API kiểm tra tồn kho, nếu kết quả trả về số lượng âm hoặc lỗi mạng, agent không lặp vô hạn mà tự chuyển sang nhà cung cấp thay thế hoặc thông báo lỗi cho người dùng.
  3. Ứng dụng quản lý lịch trình đa nền tảng: khi agent gọi API đặt phòng khách sạn gặp lỗi tạm thời (timeout), thay vì retry liên tục, hệ thống lưu trạng thái và thử lại sau 5 phút, đồng thời thông báo cho người dùng có phương án dự phòng khác.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.05806
ArXiv Abstracthttps://arxiv.org/abs/2606.05806
PDF Downloadhttps://arxiv.org/pdf/2606.05806.pdf
Github Repositoryhttps://github.com/Zhudongsheng75/ToolMaze

12. Watch, Remember, Reason: Human-View Video Understanding with MLLMs (21 votes)​

Tác giả: Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, et al.

Xuất bản lúc: 2026-06-05

Tag: Video Understanding, Multimodal LLMs, Video Reasoning, Video MLLMs, Memory, Spatio-temporal Grounding, Survey

I. Main Problem:​

Video understanding chuyển từ clip ngắn sang video dài hàng giờ, nơi bằng chứng quan trọng thưa thớt, rải rác và đa phương thức. Các mô hình hiện tại chưa có khung tích hợp để giải quyết đồng thời ba thách thức: nhận thức có chọn lọc, duy trì ngữ cảnh dài hạn và suy luận trung thành với bằng chứng.

II. Main Idea:​

Bài báo đề xuất khung phân loại Watch–Remember–Reason, phỏng theo quá trình nhận thức của con người. Watch trích xuất bằng chứng đa phương thức (căn chỉnh thời gian-không gian, caption, hiệu quả). Remember lưu trữ thông tin nổi bật qua bộ nhớ offline hoặc streaming. Reason suy luận trên bằng chứng đã thu thập với CoT, grounding hoặc tác nhân. Khung này thống nhất nhiều hướng nghiên cứu rời rạc thành một pipeline chức năng.

III. Main Results:​

  • Cung cấp khung phân loại watch–remember–reason cho video MLLM, bao phủ 4 hướng watch, 2 hướng remember, 2 hướng reason.
  • Tổng hợp hơn 100 phương pháp đại diện, 5 lĩnh vực ứng dụng (egocentric, sports, instructional, medical, narrative).
  • Liệt kê các bộ dữ liệu huấn luyện và benchmark đánh giá đa dạng.
  • So sánh phạm vi với 8 survey hiện có, cho thấy khung này duy nhất tích hợp đầy đủ grounding, caption, omni, efficiency, memory, reasoning, subfields, training data và benchmark.

IV. Conclusion & Future Works:​

Survey kết luận video understanding cần chuyển từ kiến trúc tách rời sang hệ thống watch–remember–reason tích hợp. Hướng tương lai gồm: bộ nhớ có thể mở rộng, suy luận có căn cứ (evidence-grounded), xử lý streaming và mô hình có thể kiểm chứng (verifiable RL).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển khung huấn luyện đa nhiệm tích hợp watch–remember–reason, giúp MLLM vừa học căn chỉnh không gian-thời gian vừa tối ưu bộ nhớ và suy luận trong một pipeline duy nhất.
  2. Nghiên cứu cơ chế 'active watching' cho phép mô hình tự động quyết định khi nào cần xem lại frame cũ dựa trên độ không chắc chắn của bộ nhớ hiện tại, thay vì xử lý offline toàn bộ video.
  3. Xây dựng benchmark mới đánh giá riêng khả năng 'remember' và 'reason' tách biệt, giúp phân tích điểm yếu cụ thể của từng chức năng trong pipeline video MLLM.

2. Patent:​

  1. Hệ thống trợ lý ảo trên điện thoại xem lại video cuộc họp dài: tự động phát hiện khoảng thời gian chứa quyết định quan trọng, tóm tắt và trích xuất văn bản tại các khung hình liên quan.
  2. Module ghi nhớ thích ứng cho camera hành trình: tự động nén và lưu các sự kiện nổi bật (va chạm, biển báo) trong bộ nhớ cục bộ, cho phép người dùng hỏi lại bằng giọng nói mà không cần kết nối mạng.
  3. Ứng dụng chỉnh sửa video thể thao trên điện thoại: người dùng nhập mô tả (vd 'cú sút penalty'), hệ thống dùng watching để định vị khung hình, remember để theo dõi cầu thủ xuyên suốt trận, và reason để tạo clip highlight tự động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.07433
ArXiv Abstracthttps://arxiv.org/abs/2606.07433
PDF Downloadhttps://arxiv.org/pdf/2606.07433.pdf
Github Repositoryhttps://github.com/marinero4972/Awesome-HumanView-VideoUnderstanding

13. UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs (21 votes)​

Tác giả: Amirhossein Abaskohi, Amirhossein Dabiriaghdam, Liang Luo, Ellie Dingqiao Wen, Lele Wang, et al.

Xuất bản lúc: 2026-06-04

Tag: LLMs, Benchmark, Distributional Randomness, Sampling Fidelity, KS Test, Stochastic Simulation, Probabilistic Reasoning

I. Main Problem:​

Large language models (LLMs) ngày càng được dùng để mô phỏng các hệ thống ngẫu nhiên như hành vi con người hay quá trình vật lý. Tuy nhiên, các mô hình này có xu hướng thu hẹp đầu ra về một vài giá trị hợp lý, thay vì tái tạo đúng phân phối xác suất của hệ thống thực. Các benchmark hiện tại chưa đánh giá được khả năng mô phỏng phân phối một cách có hiệu chuẩn này.

II. Main Idea:​

Bài báo giới thiệu UNPREDICTABENCH, một benchmark gồm 448 bài toán yêu cầu LLM lấy mẫu từ 40 phân phối mục tiêu, bao gồm phân phối thống kê kinh điển, chương trình ngẫu nhiên, và kịch bản ngôn ngữ tự nhiên. Các tác giả đề xuất chỉ số KS@N, đo tỷ lệ mẫu mô hình không bị bác bỏ bởi kiểm định Kolmogorov-Smirnov so với mẫu thực. Benchmark này cô lập vấn đề cơ bản: khả năng tạo ra các mẫu độc lập, có hiệu chuẩn với một phân phối đích, thay vì chỉ đa dạng đầu ra đơn thuần.

III. Main Results:​

  • Không mô hình nào đạt quá 40% trên KS@100; Nemotron-3 Super 120B dẫn đầu với 32.64%.
  • Mô hình nhỏ như Qwen-3.5-2B (17.67%) vượt Claude Sonnet 4.6 (4.7%) và GPT-5.4 (15.18%).
  • Nhiệm vụ xáo trộn danh sách và lập trình khó nhất: nhiều mô hình mạnh đạt 0% ở xáo trộn.
  • Lấy mẫu từ token suy luận (reasoning) có thể cải thiện điểm, nhưng không giải quyết triệt để vấn đề.
  • Hiệu suất trên benchmark tương quan chặt với các chỉ số sáng tạo và tính mới từ NoveltyBench và CREATE.

IV. Conclusion & Future Works:​

UNPREDICTABENCH cho thấy ngay cả lấy mẫu từ phân phối đơn giản cũng là thách thức lớn với các LLM hiện tại. Công việc tương lai có thể mở rộng benchmark bằng cách tăng kích thước mẫu, thêm các phân phối phức tạp hơn, và dùng KS@N làm khuôn mẫu cho các đánh giá khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng UNPREDICTABENCH sang các phân phối phức tạp hơn như phân phối có điều kiện, phân phối trên không gian nhiều chiều, để đánh giá khả năng mô phỏng hệ thống thực tế của LLM.
  2. Phát triển phương pháp fine-tuning mới nhằm tăng cường khả năng tái tạo phân phối của LLM mà không làm giảm đa dạng đầu ra, chẳng hạn dùng mất mát dựa trên khoảng cách Wasserstein.
  3. Khảo sát ảnh hưởng của kiến trúc mô hình (dense vs. MoE) và dữ liệu huấn luyện lên khả năng lấy mẫu phân phối, để hiểu rõ nguyên nhân dẫn đến sự sụp đổ phân phối.

2. Patent:​

  1. Ứng dụng trên điện thoại kiểm tra tính ngẫu nhiên của sinh mã số ngẫu nhiên: so sánh phân phối đầu ra của LLM với phân phối lý thuyết để cảnh báo người dùng về độ tin cậy của ứng dụng dùng LLM (ví dụ mô phỏng xổ số).
  2. Phần mềm mô phỏng rủi ro tài chính cá nhân: người dùng nhập kịch bản (ví dụ xác suất mất việc, thị trường giảm), LLM tạo ra nhiều kịch bản mô phỏng; hệ thống dùng KS@N để đánh giá xem mô phỏng có bị thiên lệch không.
  3. Công cụ kiểm thử trò chơi di động: tự động tạo các tình huống ngẫu nhiên (ví dụ tung xúc xắc, rút bài) thông qua LLM; tích hợp KS@N để kiểm tra xem kết quả LLM đưa ra có tuân theo đúng phân phối xác suất thiết kế của trò chơi không.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06622
ArXiv Abstracthttps://arxiv.org/abs/2606.06622
PDF Downloadhttps://arxiv.org/pdf/2606.06622.pdf
Github Repositoryhttps://github.com/UnpredictaBench/UnpredictaBenchCode

14. SubtleMemory: A Benchmark for Fine-Grained Relational Memory Discrimination in Long-Horizon AI Agents (19 votes)​

Tác giả: Wenxuan Wang, Haoyu Sun, Fukuan Hou, Mingyang Song, Weinan Zhang, et al.

Xuất bản lúc: 2026-06-04

Tag: Long-term Memory, AI Agents, Benchmark, Relation-aware Reasoning, Semantic Variants, Complementary/Nuanced/Contradictory

I. Main Problem:​

Các tác nhân AI trợ lý cá nhân ngày càng tích lũy nhiều ký ức liên quan đến nhau theo thời gian. Tuy nhiên, các benchmark hiện tại chủ yếu đánh giá khả năng nhớ đơn lẻ, chưa kiểm tra xem tác nhân có thể bảo toàn và sử dụng các mối quan hệ tinh tế giữa các ký ức (như bổ sung, khác biệt ngữ cảnh, hay mâu thuẫn) khi thực hiện tác vụ thực tế hay không.

II. Main Idea:​

SubtleMemory là benchmark mới xây dựng các 'artifact ngữ nghĩa tiềm ẩn' gồm các biến thể ký ức có quan hệ được kiểm soát (Complementary, Nuanced, Contradictory) và nhúng chúng vào các lịch sử hội thoại người dùng-tác nhân dài hạn. Khi đặt câu hỏi hoặc giao nhiệm vụ, tác nhân phải truy hồi, phân biệt và suy luận đúng mối quan hệ giữa các ký ức có liên quan. Benchmark bao gồm 1.522 phiên đánh giá trên 10 lịch sử tương tác, sử dụng 1.090 bộ biến thể ký ức.

III. Main Results:​

  • Hệ thống tốt nhất (A-Mem với GPT-5.4) chỉ đạt 70.0% tổng thể, thấp hơn Oracle 15.4%.
  • Các ký ức mâu thuẫn (Contradictory) là khó nhất: Oracle chỉ đạt 68.7%, các hệ thống còn lại rất thấp (A-Mem tốt nhất với 50.4%).
  • Phân tích waterfall cho thấy cả giai đoạn bảo toàn và truy hồi đều là nút thắt.
  • Tích hợp plugin bộ nhớ vào OpenClaw cải thiện hiệu năng tổng thể nhưng tác động không đồng nhất theo loại quan hệ.
  • Suy luận thời gian (temporal) khó hơn suy luận ngữ cảnh (contextual) đối với hầu hết hệ thống.

IV. Conclusion & Future Works:​

Các hệ thống ký ức và mô hình ngôn ngữ lớn hiện tại còn yếu trong việc xử lý các mối quan hệ tinh tế giữa các ký ức tích lũy, đặc biệt là mâu thuẫn. Hướng phát triển gồm cải thiện tổ chức ký ức theo thời gian và thiết kế cơ chế nhận diện mâu thuẫn tốt hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển cơ chế tổ chức ký ức động có khả năng phân biệt ngữ cảnh và thời gian hình thành ký ức, giúp cải thiện suy luận với các ký ức khác biệt tinh tế (nuanced).
  2. Nghiên cứu phương phép huấn luyện mô hình ngôn ngữ để nhận diện và xử lý ký ức mâu thuẫn một cách hợp lý, ví dụ trả lời 'không chắc chắn' thay vì suy diễn sai.
  3. Xây dựng framework đánh giá toàn diện cho tác nhân AI dài hạn, bao gồm cả khả năng tích hợp và tổng hợp thông tin từ nhiều ký ức bổ sung (complementary).

2. Patent:​

  1. Trợ lý cá nhân trên điện thoại có khả năng ghi nhớ và phân biệt các sở thích thay đổi theo thời gian (ví dụ: yêu thích cà phê sữa, sau đó chuyển sang cà phê đen) và đưa ra gợi ý phù hợp mà không nhầm lẫn.
  2. Phần mềm quản lý công việc thông minh tự động phát hiện và cảnh báo người dùng khi các kế hoạch trong quá khứ mâu thuẫn với nhau, chẳng hạn như lịch họp trùng giờ hoặc thông tin liên lạc sai lệch.
  3. Hệ thống tìm kiếm cá nhân hóa trên di động có khả năng hiểu các mối quan hệ phức tạp giữa các ảnh, ghi chú, và tin nhắn để trả lời câu hỏi chính xác hơn, ví dụ: 'bức ảnh đó là từ chuyến đi năm ngoái hay năm kia?'.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.05761
ArXiv Abstracthttps://arxiv.org/abs/2606.05761
PDF Downloadhttps://arxiv.org/pdf/2606.05761.pdf
Github Repositoryhttps://github.com/Yummytanmo/SubtleMemory

15. LLM Explainability with Counterfactual Chains and Causal Graphs (18 votes)​

Tác giả: Nirit Nussbaum-Hoffer, Nitay Calderon, Liat Ein-Dor, Roi Reichart

Xuất bản lúc: 2026-06-04

Tag: Causal Graphs, LLM Interpretability, Explainability, Counterfactuals, MCMC, Concept Discovery, Causal Discovery

I. Main Problem:​

Quy trình suy luận của các Mô hình Ngôn ngữ Lớn (LLM) vẫn là một 'hộp đen', khiến việc ứng dụng trong các lĩnh vực nhạy cảm gặp rủi ro. Các phương pháp giải thích hiện tại chủ yếu dựa trên tương quan hoặc chỉ mang tính cục bộ, thiếu một góc nhìn toàn cục và nhân quả về cách mô hình tổ chức các khái niệm để đưa ra dự đoán.

II. Main Idea:​

Bài báo đề xuất một phương pháp bốn bước để xây dựng một đồ thị nhân quả (causal graph) về cách một LLM suy luận. Đầu tiên, phương pháp thay thế nhãn gốc bằng dự đoán của LLM và tự động phát hiện các khái niệm có khả năng phân biệt các lớp dự đoán. Tiếp theo, một quy trình 'MCMC-inspired' sử dụng LLM để tạo ra các văn bản phản thực tế (counterfactuals), giúp làm dày đặc không gian dữ liệu thưa thớt. Cuối cùng, thuật toán σ-CG xây dựng đồ thị nhân quả từ bộ dữ liệu đã được mở rộng này.

III. Main Results:​

  • Các cha trực tiếp (direct parents) từ đồ thị nhân quả dự đoán tốt hơn các tập hợp khái niệm khác trong việc suy ra giá trị của một nút (bao gồm cả dự đoán cuối cùng) ở hầu hết các cấu hình thử nghiệm.
  • Trong các tác vụ tổng hợp có cấu trúc (chẩn đoán bệnh), các LLM khác nhau hội tụ về các khái niệm giải thích tương tự nhau.
  • Trong các tác vụ tự nhiên hơn (phân tích cảm xúc, LLM-as-a-Judge), mỗi mô hình phát triển các bộ khái niệm và cấu trúc suy luận riêng biệt.
  • Quy trình mở rộng dữ liệu MCMC đạt được sự hội tụ về mặt phân phối và cấu trúc, giảm khoảng cách Hamming giữa các đồ thị về 0.
  • Các mẫu phản thực tế giúp tăng độ chính xác dự đoán trên cả khái niệm và nhãn dự đoán so với dữ liệu gốc.

IV. Conclusion & Future Works:​

Nghiên cứu này cung cấp một khuôn khổ nhân quả mới để giải thích quy trình suy luận của LLM, mang lại góc nhìn minh bạch và có thể hành động cho các bên liên quan. Phương pháp này mở ra hướng đi cho các phương pháp giải thích tập trung vào cơ chế thay vì các dự đoán riêng lẻ. Trong tương lai, nhóm tác giả có kế hoạch mở rộng khuôn khổ này cho các ngôn ngữ khác, các nhiệm vụ sinh văn bản mở và các miền đa phương thức.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung đồ thị nhân quả giải thích LLM cho các tác vụ sinh văn bản mở (open-ended generation), thay vì chỉ phân loại, để hiểu cách mô hình xây dựng các luồng suy luận phức tạp.
  2. Kết hợp phương pháp MCMC của bài báo với các kỹ thuật can thiệp vào các thành phần nội bộ (mechanistic interpretability) để xác thực các cạnh nhân quả ở cấp độ khái niệm với bằng chứng ở cấp độ neuron.
  3. Phát triển một giao thức đánh giá chuẩn hóa cho các đồ thị nhân quả cấp khái niệm, với sự tham gia của các chuyên gia trong lĩnh vực để kiểm tra tính hữu ích và độ chính xác của các giải thích.

2. Patent:​

  1. Ứng dụng trên điện thoại: Hệ thống phân tích phản hồi người dùng bằng cách xây dựng đồ thị nhân quả từ văn bản đánh giá, giúp nhà phát triển hiểu yếu tố nào (ví dụ: tính năng nào, lỗi nào) thúc đẩy sự hài lòng hay không hài lòng nhất.
  2. Ứng dụng trên điện thoại: Công cụ hỗ trợ chẩn đoán y tế từ xa, nơi mô hình LLM giải thích các triệu chứng của bệnh nhân thành một đồ thị nhân quả, giúp bác sĩ dễ dàng thấy được lý do tại sao mô hình lại đưa ra chẩn đoán đó.
  3. Ứng dụng trên điện thoại: Trợ lý ảo viết email hoặc bài đăng mạng xã hội, cung cấp một sơ đồ nhân quả giải thích cách các yếu tố như giọng điệu, mức độ trang trọng hay từ ngữ cụ thể ảnh hưởng đến thông điệp muốn truyền tải.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.05972
ArXiv Abstracthttps://arxiv.org/abs/2606.05972
PDF Downloadhttps://arxiv.org/pdf/2606.05972.pdf
Github RepositoryN/A

16. LIMMT: Less is More for Motion Tracking (16 votes)​

Tác giả: Yu Guan, Zekun Qi, Chenghuai Lin, Xuchuan Chen, Dairu Liu, et al.

Xuất bản lúc: 2026-06-05

Tag: Reinforcement Learning, Humanoid Motion Tracking, Data-Centric, Physics-Based Simulation, Imitation Learning, Motion Capture, Robotics

I. Main Problem:​

Các hệ thống tracking chuyển động humanoid hiện tại dùng nhiều dữ liệu MoCap nhưng không cải thiện tương ứng vì dữ liệu lớn thường chứa lỗi vật lý (trôi nổi, trượt chân, xuyên mặt đất) và dư thừa, gây nhiễu cho quá trình học. Hiệu suất tracking bị giới hạn bởi chất lượng gradient từ các target chuyển động xấu ngay từ đầu huấn luyện.

II. Main Idea:​

LIMMT đề xuất General Quality Selection (GQS), pipeline ba giai đoạn: (1) lọc chuyển động bất khả thi về vật lý bằng simulator, (2) nhúng chuyển động vào không gian ngữ nghĩa bằng Periodic Autoencoder để đo độ đa dạng, (3) chọn tập con bằng Global Weighted FPS ưu tiên chuyển động giàu năng lượng và phức tạp. Khung này xử lý chất lượng dữ liệu theo ba thứ bậc: feasibility, diversity, complexity.

III. Main Results:​

  • Huấn luyện trên chỉ 3% dữ liệu AMASS được GQS chọn đạt Success Rate 95.6% (Any2Track) và 86.1% (TWIST2), vượt qua dữ liệu 100% thô.
  • Khi chọn ngẫu nhiên 3% dữ liệu (không qua GQS) gây suy giảm thảm khốc, SR chỉ 83.8% và 64.9%.
  • Trên tập PHUMA, 10% dữ liệu GQS vượt full dataset ở MPJPE và cải thiện zero-shot lên AMASS: SR 92.8% vs 91.0%.
  • Cả ba thành phần (physics filter, diversity, complexity) đều cần thiết; bỏ physics filter khiến SR giảm từ 95.6% xuống 91.1%.
  • GQS đạt MPJPE giảm 5-15% so với dữ liệu đầy đủ trên hai tracker khác nhau.

IV. Conclusion & Future Works:​

LIMMT chứng minh chất lượng dữ liệu (feasibility, diversity, complexity) quan trọng hơn số lượng cho tracking humanoid. GQS cung cấp khung plug-and-play giúp giảm chi phí huấn luyện và cải thiện độ chính xác. Hướng tương lai có thể tối ưu hóa chiến lược lấy mẫu tự động và mở rộng cho các tác vụ đa robot.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển GQS cho các tác vụ imitation learning khác ngoài tracking như manipulation, khai thác thứ bậc feasibility-diversity-complexity trên dữ liệu teleoperation.
  2. Nghiên cứu adaptive alpha trong Global Weighted FPS: dùng meta-learning để tự động cân bằng diversity và complexity dựa trên phân phối dữ liệu đầu vào.
  3. Tích hợp GQS với online learning: robot tự đánh giá chất lượng chuyển động trong quá trình rollout và cập nhật tập huấn luyện động để liên tục cải thiện.

2. Patent:​

  1. Phần mềm tiền xử lý dữ liệu MoCap cho robot humanoid: tự động lọc các clip lỗi vật lý (trôi nổi, trượt chân) rồi tối ưu số lượng clip huấn luyện, giúp giảm thời gian train và tăng độ ổn định khi triển khai trên robot thật.
  2. Hệ thống tự động chọn chuyển động mẫu cho robot gia đình: khi thu thập dữ liệu từ người dùng qua camera điện thoại, hệ thống phân tích độ phức tạp và đa dạng hành vi để chỉ giữ lại các đoạn chuyển động giàu thông tin, tiết kiệm bộ nhớ và tăng hiệu quả học.
  3. Công cụ đánh giá chất lượng dữ liệu MoCap trực tuyến cho nhà phát triển robot: tích hợp vào pipeline huấn luyện, tự động cảnh báo và loại bỏ các clip gây nhiễu dựa trên điểm số vật lý, giúp phát hiện sớm lỗi dữ liệu mà không cần chạy thử nghiệm đầy đủ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06953
ArXiv Abstracthttps://arxiv.org/abs/2606.06953
PDF Downloadhttps://arxiv.org/pdf/2606.06953.pdf
Github RepositoryN/A

17. dots.tts Technical Report (16 votes)​

Tác giả: Shi Lian, Changtao Li, Bohan Li, Hankun Wang, Da Zheng, et al.

Xuất bản lúc: 2026-06-05

Tag: Text-to-Speech, Autoregressive Model, Flow Matching, Diffusion Transformer, Continuous Latent, Voice Cloning, Streaming, AudioVAE

I. Main Problem:​

Các hệ thống TTS hiện tại có hai hướng chính: dùng discrete token bị giới hạn về chất lượng âm thanh và khả năng biểu cảm, còn mô hình continuous latent gặp vấn đề mất ổn định do lỗi tích lũy qua các bước sinh. Dots.tts ra đời nhằm giải quyết khoảng cách này bằng cách mô hình hóa speech trong không gian latent liên tục, kết hợp ổn định và chất lượng cao.

II. Main Idea:​

Dots.tts là mô hình TTS autoregressive liên tục với 2B tham số, gồm ba cải tiến chính: (1) AudioVAE đa nhiệm tạo không gian latent vừa mang tính ngữ nghĩa vừa dễ dự đoán; (2) phân tách sinh thành ba module chuyên biệt – semantic encoder, LLM và AR flow-matching head – giúp giảm tích lũy lỗi; (3) post-training không cần reward model cho flow-matching head để tăng độ bền và chất lượng. Mô hình hỗ trợ sinh dual-streaming với độ trễ thấp nhờ kiến trúc causal và MeanFlow distillation.

III. Main Results:​

  • Đạt WER 0.94%/1.30%/6.60% và SIM 81.0/77.1/79.5 trên zh/en/zh-hard của Seed-TTS-Eval, đứng đầu trung bình.
  • Sinh streaming với độ trễ gói đầu 85 ms (plain) và 54 ms (interleaved).
  • Cloning giọng nói zero-shot hàng đầu so với các mô hình open-source.
  • Cạnh tranh trên các benchmark đa ngôn ngữ, cảm xúc và paralinguistic.

IV. Conclusion & Future Works:​

Dots.tts chứng minh continuous AR TTS có thể đạt chất lượng và độ ổn định vượt trội so với discrete token, phù hợp triển khai thực tế. Hướng phát triển tiếp: mở rộng sang sinh đa modal (âm nhạc, tiếng ồn) và tối ưu thêm về tốc độ suy luận.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tác động của kích thước AudioVAE và số bước flow-matching lên chất lượng và độ ổn định của continuous AR TTS.
  2. Mở rộng post-training tự sửa lỗi cho LLM backbone thay vì chỉ flow-matching head, nhằm cải thiện khả năng lập kế hoạch ngữ nghĩa.
  3. Kết hợp continuous AR với mã hóa âm nhạc để tạo hệ thống TTS biểu diễn cảm xúc và hát trong một kiến trúc duy nhất.

2. Patent:​

  1. Hệ thống trợ lý giọng nói trên điện thoại: dùng continuous latent TTS để sinh giọng nói tự nhiên, có cảm xúc theo ngữ cảnh hội thoại, không cần token hóa discrete, cho phản hồi nhanh và chất lượng cao.
  2. Dịch thuật giọng nói thời gian thực: mô hình nhận diện giọng gốc, chuyển ngữ và sinh giọng nói mới bằng voice cloning, phù hợp cho ứng dụng gọi điện dịch trực tiếp trên smartphone.
  3. Tạo giọng đọc sách nói có cảm xúc: người dùng ghi vài câu mẫu, mô hình học giọng và sinh toàn bộ nội dung văn bản với ngữ điệu, cảm xúc phù hợp từng đoạn, tối ưu cho ứng dụng nghe sách.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.07080
ArXiv Abstracthttps://arxiv.org/abs/2606.07080
PDF Downloadhttps://arxiv.org/pdf/2606.07080.pdf
Github Repositoryhttps://github.com/rednote-hilab/dots.tts

18. Physics in 2-Steps: Locking Motion Priors Before Visual Refinement Erases Them (16 votes)​

Tác giả: Woojung Han, Seil Kang, Youngjun Jun, Min-Hung Chen, Fu-En Yang, et al.

Xuất bản lúc: 2026-06-04

Tag: Video Generation, Diffusion Models, Physical Consistency, Phase Preservation, Training-free, Image-to-Video

I. Main Problem:​

Các mô hình sinh video dạng diffusion thường tạo ra chuyển động vi phạm vật lý dù hình ảnh rất chân thực. Nghiên cứu phát hiện một nghịch lý: sinh với chỉ 2 bước lại có tính nhất quán vật lý cao hơn nhiều so với sinh 50 bước. Nguyên nhân là trong quá trình khử nhiễm, pha quang phổ (phase spectrum)—vốn mã hóa cấu trúc chuyển động—bị xói mòn mạnh (~18%), trong khi biên độ (magnitude) hầu như ổn định.

II. Main Idea:​

PhaseLock là khung không cần huấn luyện, khóa các motion prior hợp lệ từ vài bước khử nhiễm đầu và áp dụng xuyên suốt quá trình sinh chất lượng cao. Nó dùng Latent Delta Guidance: trích xuất chênh lệch giữa các frame từ latent của 2 bước đầu làm prior chuyển động, rồi ép các latent ở các bước sau đi theo prior đó thông qua hiệu chỉnh nhẹ trong không gian tiềm ẩn. Không thao tác trực tiếp trên phổ, tránh gây nhiễu.

III. Main Results:​

  • PhaseLock cải thiện điểm Physics-IQ trung bình 6.2 điểm trên ba backbone khác nhau (CogVideoX, LTX-Video, Wan 2.1).
  • Chỉ tăng thời gian suy luận 1.06 lần và bộ nhớ 1.02 lần, so với phương pháp dùng mô hình thưởng bên ngoài (~5× thời gian).
  • Trên PhyGenBench, cải thiện 13-37% ở từng hạng mục vật lý so với baseline.
  • Khảo sát người dùng: tỷ lệ thắng >78% về độ hợp lý vật lý so với các mô hình gốc.
  • Phân tích quang phổ chứng minh PhaseLock giảm xói mòn pha mà không ảnh hưởng biên độ.

IV. Conclusion & Future Works:​

PhaseLock cho thấy việc sinh video nhất quán vật lý không cần thêm tính toán, mà cần bảo toàn thông tin chuyển động đã có từ sớm. Hướng tới: thiết kế bộ lấy mẫu bảo toàn pha, mất mát huấn luyện nhạy pha, và mở rộng sang âm thanh và 3D.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển một hàm loss huấn luyện nhạy cảm với pha (phase-aware) để ngăn xói mòn ngay từ giai đoạn training, bổ sung cho PhaseLock.
  2. Kết hợp PhaseLock với các mô hình thưởng vật lý (như WMReward) để tận dụng cả motion prior tự nhiên và kiến thức ngoại sinh.
  3. Nghiên cứu cơ chế adaptive guidance tự động điều chỉnh cường độ PhaseLock dựa trên độ tin cậy của prior 2 bước.

2. Patent:​

  1. Ứng dụng trên điện thoại quay video chuyển động chậm: dùng cơ chế tương tự PhaseLock để ổn định chuyển động giữa các frame, giảm rung lắc khi quay tay mà không cần chống rung quang học.
  2. Module sinh hiệu ứng đặc biệt (ví dụ đổ nước, bóng rơi) trong ứng dụng chỉnh sửa video điện thoại: lấy prior chuyển động từ 2 bước sinh nhanh, sau đó tinh chỉnh texture, đảm bảo hiệu ứng trông thật mà không sai vật lý.
  3. Hệ thống mô phỏng vật lý thời gian thực cho game mobile: tách riêng bước tính chuyển động (2 bước) và bước tô texture (nhiều bước hơn), giúp game chạy mượt mà trên điện thoại cấu hình thấp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06361
ArXiv Abstracthttps://arxiv.org/abs/2606.06361
PDF Downloadhttps://arxiv.org/pdf/2606.06361.pdf
Github Repositoryhttps://github.com/dnwjddl/phaselock

19. Thinking with Imagination: Agentic Visual Spatial Reasoning with World Simulators (15 votes)​

Tác giả: Chenming Zhu, Jingli Lin, Yilin Long, Peizhou Cao, Tai Wang, et al.

Xuất bản lúc: 2026-06-04

Tag: Vision-Language Models, Spatial Reasoning, World Models, Agentic AI, Reinforcement Learning, Novel View Synthesis, Tool-Use Policy

I. Main Problem:​

Các Vision-Language Model (VLM) hiện tại xử lý suy luận không gian kém khi chỉ có vài ảnh quan sát hạn chế. Chúng không thể suy ra bố cục chưa thấy, duy trì tính nhất quán giữa các góc nhìn, hay lý luận từ góc nhìn thay thế. Thiếu khả năng tương tác để chủ động thu thập bằng chứng trực quan mới là rào cản chính.

II. Main Idea:​

Astra là khung suy luận không gian tác nhân, kết hợp Astra-VL (chính sách VLM huấn luyện bằng RL) với Astra-WM (bộ mô phỏng thế giới tạo ảnh góc nhìn mới từ lệnh camera ngôn ngữ). Astra-WM được tinh chỉnh 'View Consistency Tuning' để đảm bảo tính nhất quán về tư thế và nội dung giữa các góc nhìn. Astra-VL được huấn luyện qua quy trình RL hai pha: pha 1 dạy cách tương tác hợp lệ với bộ mô phỏng, pha 2 khuyến khích chỉ gọi mô phỏng khi nó cải thiện câu trả lời so với trả lời trực tiếp.

III. Main Results:​

  • Astra-WM cải thiện Gemini-3-Flash có hỗ trợ mô phỏng từ 45.1 lên 49.5 trên MMSI-Bench.
  • Astra-VL nâng Qwen3-VL từ 29.8 lên 38.8 trên MMSI-Bench và từ 36.8 lên 42.7 trên MindCube.
  • Chính sách hai pha đạt tỷ lệ gọi công cụ 61.5% và số lần gọi 0.78, cân bằng giữa thám hiểm và chọn lọc.
  • Chế độ agentic tool-use vượt forced tool-use (42.3 so với 40.1) nhờ quyết định gọi mô phỏng thông minh.
  • Bộ mô phỏng chưa huấn luyện (Bagel) hầu như không mang lại lợi ích nhất quán, khẳng định cần tinh chỉnh.

IV. Conclusion & Future Works:​

Astra chứng minh suy luận không gian hiệu quả cần cả bộ mô phỏng đáng tin cậy và chính sách tác nhân biết khi nào cần tưởng tượng. Trí tưởng tượng hữu ích không phải chỉ là truy cập vào bộ sinh ảnh, mà là một quá trình tương tác học được để thu thập và sử dụng bằng chứng không gian. Hướng tới có thể mở rộng tập lệnh camera và môi trường động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Astra cho suy luận không gian trong môi trường ngoài trời động, nơi camera di chuyển liên tục và vật thể có thể thay đổi, yêu cầu bộ mô phỏng thích ứng nhanh.
  2. Tích hợp Astra với mô hình ngôn ngữ lớn đa phương thức khác, nghiên cứu xem khả năng tưởng tượng không gian có cải thiện suy luận nhân quả và lập kế hoạch hành động phức tạp hay không.
  3. Xây dựng mô hình phản biện (adversarial) cho Astra bằng cách sinh ra các góc nhìn mới gây hiểu lầm, từ đó huấn luyện chính sách trở nên mạnh mẽ hơn trước nhiễu không gian.

2. Patent:​

  1. Hệ thống hướng dẫn lắp ráp nội thất trên điện thoại: người dùng chụp ảnh các bộ phận từ góc nhìn bất kỳ; ứng dụng gọi mô phỏng thế giới để sinh ảnh từ góc nhìn tối ưu, giúp xác định vị trí lắp ghép chính xác mà không cần nhiều ảnh đầu vào.
  2. Tính năng 'xem thử' đồ nội thất ảo khi mua sắm online: từ ảnh phòng thực tế, mô phỏng thế giới cho phép người dùng xoay, di chuyển camera để thấy đồ vật mới từ mọi góc, đánh giá sự phù hợp về không gian trước khi đặt mua.
  3. Công cụ hỗ trợ người khiếm thị trên smartphone: camera chụp ảnh môi trường xung quanh; hệ thống phân tích bố cục không gian, sinh mô tả chi tiết về vị trí vật thể từ các góc nhìn khác, và đọc to hướng dẫn di chuyển an toàn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.06476
ArXiv Abstracthttps://arxiv.org/abs/2606.06476
PDF Downloadhttps://arxiv.org/pdf/2606.06476.pdf
Github Repositoryhttps://github.com/ZCMax/Thinking-With-Imagination

20. SIA: Self Improving AI with Harness & Weight Updates (15 votes)​

Tác giả: Prannay Hebbar, Yogendra Manawat, Samuel Verboomen, Alesia Ivanova, Selvam Palanimalai, et al.

Xuất bản lúc: 2026-05-26

Tag: Self-Improving Agents, Test-Time Training, Reinforcement Learning, Harness Engineering, Scaffold Generation, LoRA, PPO

I. Main Problem:​

Con người là nút thắt cổ chai trong việc xây dựng và cải thiện AI, cả mô hình lẫn agent đều do con người viết, tinh chỉnh và sửa lỗi. Hai hướng nghiên cứu cải thiện tự động—cập nhật scaffold (harness) và cập nhật trọng số mô hình—hoạt động biệt lập, chưa có hệ thống nào kết hợp cả hai trong một vòng lặp thống nhất.

II. Main Idea:​

SIA là một vòng lặp tự cải thiện, trong đó một Feedback-Agent (LLM) phân tích trajectory và hiệu suất của task-specific agent, sau đó tự động chọn hành động: cập nhật scaffold (lời nhắc, logic gọi công cụ) hoặc cập nhật trọng số mô hình qua RL (PPO hoặc entropic advantage weighting). Hai loại cập nhật được xen kẽ linh hoạt, không theo giai đoạn cứng nhắc. Cập nhật scaffold giúp agent tinh chỉnh cách tìm kiếm và hành động, trong khi cập nhật trọng số xây dựng trực giác miền mà không scaffold nào có thể truyền tải.

III. Main Results:​

  • Trên LawBench (phân loại tội danh 191 lớp): SIA-W+H đạt 70.1% accuracy, vượt prior SOTA 25.1%.
  • Trên AlphaEvolve TriMul (tối ưu kernel CUDA cho H100): SIA-W+H đạt 1,017µs, nhanh hơn 12.4% so với prior SOTA (1,161µs).
  • Trên MAGIC scRNA-seq Denoising (khử nhiễu dữ liệu single-cell): SIA-W+H đạt mse norm 0.289, vượt prior SOTA 20.4%.
  • Kết hợp hai lever luôn vượt trội so với chỉ cập nhật scaffold trên cả ba tác vụ.

IV. Conclusion & Future Works:​

SIA chứng minh rằng kết hợp cập nhật scaffold và trọng số là chiến lược vượt trội so với chỉ một lever. Hướng tương lai: tối ưu chiến lược chọn hành động của Feedback-Agent, mở rộng cho môi trường động và đa agent, và giảm chi phí tính toán cho các vòng lặp.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SIA cho học đa tác vụ (multi-task): một Feedback-Agent duy nhất quản lý nhiều task-specific agent, chia sẻ kiến thức giữa các scaffold và LoRA để tăng hiệu quả.
  2. Nghiên cứu cơ chế quyết định thông minh hơn cho Feedback-Agent: dùng mô hình dự báo reward để chọn thời điểm chuyển đổi giữa harness update và weight update.
  3. Áp dụng SIA cho các tác vụ robot: agent tự cải thiện cả pipeline điều khiển (scaffold) và policy (trọng số) dựa trên phản hồi từ môi trường thực.

2. Patent:​

  1. Hệ thống tự động tinh chỉnh chatbot hỗ trợ khách hàng trên điện thoại: chatbot tự điều chỉnh lời nhắc và cập nhật bộ nhớ LoRA dựa trên lịch sử hội thoại, cải thiện độ chính xác trả lời mà không cần lập trình viên.
  2. Ứng dụng camera điện thoại tự động tối ưu thông số chụp: agent phân tích ảnh mẫu, tự sửa prompt mô tả cảnh và cập nhật trọng số bộ lọc ảnh để cho ra kết quả đẹp nhất.
  3. Hệ thống gợi ý bài tập thể dục cá nhân hóa: ứng dụng tự điều chỉnh kịch bản hướng dẫn và cập nhật mô hình dự đoán dựa trên phản hồi từ cảm biến điện thoại, tối ưu hiệu quả tập luyện.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.27276
ArXiv Abstracthttps://arxiv.org/abs/2605.27276
PDF Downloadhttps://arxiv.org/pdf/2605.27276.pdf
Github Repositoryhttps://github.com/hexo-ai/sia

21. PaperFlow: Profiling, Recommending, and Adapting Across Daily Paper Streams (14 votes)​

Tác giả: Fuqiang Wang, Song Tan, Zheng Guo, Jiaohao Fu, Xinglong Xu, et al.

Xuất bản lúc: 2026-06-05

Tag: Scientific Paper Recommendation, Dynamic User Profiling, Interest Drift, Longitudinal Benchmark, Sequential Recommendation, Recommendation System

I. Main Problem:​

Các hệ thống gợi ý bài báo khoa học hiện tại thường đánh giá dưới dạng xếp hạng tĩnh trên tập ứng viên cố định, bỏ qua cấu trúc thời gian của quy trình đọc thực tế—nơi nhà nghiên cứu đối mặt với luồng bài báo mới mỗi ngày, phân bổ thời gian hạn chế, và liên tục điều chỉnh sở thích. Thiếu một khuôn khổ kết hợp hồ sơ người dùng, gợi ý hàng ngày, và thích ứng theo thời gian thực.

II. Main Idea:​

PaperFlow tổ chức gợi ý bài báo thành ba giai đoạn ghép nối: Profiling (xây dựng hồ sơ học thuật có cấu trúc và có thể kiểm tra từ các nguồn nguội), Recommending (xếp hạng luồng bài báo hàng ngày qua tổng hợp đa tín hiệu với ngân sách hiển thị cố định), và Adapting (cập nhật trạng thái người dùng từ phản hồi không đồng nhất và mô hình hóa sự trôi dạt sở thích). Khung này duy trì các trường riêng biệt cho định hướng nghiên cứu, sở thích và trạng thái trôi dạt, đồng thời phân tích hành vi đọc để phân biệt thăm dò tạm thời với di cư bền vững.

III. Main Results:​

  • PaperFlow đạt điểm cao nhất trên 3 họ chỉ số: gNDCG@20 (50.65), SelectedNDCG@20 (70.88), và HumanEval (65.56), vượt baseline mạnh nhất Scholar Inbox.
  • Khả năng thích ứng hành vi vượt trội: SelectedNDCG@20 cải thiện từ 33.47 lên 70.88 so với baseline.
  • Trên tập con trôi dạt sở thích, PaperFlow đạt NewTopicRecall@20 cao nhất, OldTopicRate@20 thấp nhất và độ trễ thích ứng ngắn nhất.
  • Nghiên cứu thực tế với 5 sinh viên cho thấy PaperFlow vượt trội về Precision@5 (0.71), Precision@20 (0.47) và mức hài lòng (4.0/5).
  • Tương quan giữa điểm tự động và điểm chuyên gia rất cao (Pearson r=0.9632), xác nhận độ tin cậy của đánh giá tự động.

IV. Conclusion & Future Works:​

PaperFlow kết hợp hồ sơ có cấu trúc, xếp hạng đa tín hiệu và mô hình trôi dạt sở thích trong một vòng lặp động, cải thiện đáng kể chất lượng và độ thích ứng so với các phương pháp tĩnh. Hướng phát triển: mở rộng cho môi trường đa người dùng và tối ưu hóa chiến lược thăm dò chủ động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PaperFlow sang tác vụ gợi ý đa người dùng trong cùng phòng thí nghiệm, nơi hồ sơ và phản hồi được chia sẻ theo nhóm để tận dụng tri thức tập thể.
  2. Phát triển phương pháp học tăng cường để tối ưu hóa ngân sách hiển thị và chiến lược thăm dò dài hạn, thay vì sử dụng ngưỡng tĩnh.
  3. Kết hợp PaperFlow với các mô hình ngôn ngữ lớn (LLM) để sinh báo cáo đọc và giải thích hồ sơ một cách tự nhiên, tăng khả năng diễn giải cho người dùng cuối.

2. Patent:​

  1. Hệ thống gợi ý bài báo hàng ngày trên điện thoại: dựa trên hồ sơ học thuật có cấu trúc và lịch sử đọc, bộ lọc thông minh đề xuất danh sách bài báo ngắn gọn, tiết kiệm thời gian cho nhà nghiên cứu.
  2. Ứng dụng theo dõi và điều chỉnh sở thích nghiên cứu: ghi nhận tín hiệu đọc (chọn/bỏ qua/đọc sâu) tự động cập nhật hồ sơ và phát hiện xu hướng mới, gửi cảnh báo khi có sự trôi dạt sở thích rõ rệt.
  3. Module tích hợp trong trình đọc PDF cho điện thoại: khi người dùng đọc bài báo, module phân tích nội dung và so sánh với hồ sơ hiện tại để gợi ý các bài báo liên quan với giải thích có cấu trúc, ngay trên thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.07454
ArXiv Abstracthttps://arxiv.org/abs/2606.07454
PDF Downloadhttps://arxiv.org/pdf/2606.07454.pdf
Github Repositoryhttps://github.com/OpenRaiser/PaperFlow

22. UniSHARP: Universal Sharp Monocular View Synthesis (14 votes)​

Tác giả: Meixi Song, Dizhe Zhang, Hao Ren, Ruiyang Zhang, Bo Du, et al.

Xuất bản lúc: 2026-06-05

Tag: Novel View Synthesis, 3D Gaussian Splatting, Monocular, Omnidirectional, Panoramic, Feedforward, Camera Generalization

I. Main Problem:​

Các phương pháp tổng hợp góc nhìn mới từ một ảnh đơn (monocular NVS) dựa trên 3D Gaussian Splatting hiện tại, như SHARP, được huấn luyện chủ yếu trên ảnh phối cảnh (perspective) hẹp, do đó không tổng quát được cho các hệ thống camera đa dạng như góc rộng (wide-FoV), mắt cá (fisheye) hay toàn cảnh 360° (panoramic). Việc thiếu một biểu diễn thống nhất cho mọi loại camera là rào cản chính.

II. Main Idea:​

UniSHARP mở rộng khung SHARP bằng cách căn chỉnh ngầm tất cả ảnh đầu vào trong một không gian tiềm ẩn (latent space) toàn hướng (omnidirectional) thống nhất, thay vì không gian ảnh. Cụ thể, các Gaussian được sắp xếp dọc theo tia (ray) và khoảng cách xuyên tâm trong một biểu diễn chung dựa trên tia, trong khi các đặc trưng 2D ngữ nghĩa và 3D không gian được giải mã cùng nhau để sinh ra toàn bộ đám mây Gaussian. Mô hình cũng hỗ trợ suy luận không cần tham số camera (pose-free) bằng cách ước lượng trường tia.

III. Main Results:​

  • Trên các tập dữ liệu phối cảnh chuẩn (RealEstate10K, DL3DV), UniSHARP đạt PSNR cao nhất, vượt SHARP, Flash3D và các baseline khác.
  • Trên ảnh toàn cảnh (HM3D, Replica), UniSHARP cải thiện đáng kể PSNR lên tới ~29 dB so với ~23 dB của các phương pháp tốt nhất trước đó.
  • Trên ảnh mắt cá (ScanNet++ Fisheye) và góc rộng (OmniRooms-Wide), UniSHARP vượt trội so với PanoDreamer và Matrix3D.
  • Chế độ pose-free giữ chất lượng cạnh tranh (PSNR ~20.85) so với phiên bản dùng tham số camera (PSNR ~21.56).
  • Ablation cho thấy việc kết hợp đặc trưng 2D+3D và lớp Gaussian thứ hai mang lại cải thiện lớn nhất.

IV. Conclusion & Future Works:​

UniSHARP là khung feedforward 3DGS đa năng cho monocular NVS, hoạt động hiệu quả trên nhiều hệ thống camera khác nhau. Các hướng tương lai có thể bao gồm cải tiến chiến lược thăm dò chủ động khi thiếu thông tin camera, mở rộng sang môi trường động, và tối ưu hóa cho phần cứng di động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển phiên bản UniSHARP có khả năng suy luận động lượng (motion) và tương tác với môi trường, kết hợp với bộ nhớ ngắn hạn để tổng hợp góc nhìn trong các kịch bản chuyển động phức tạp.
  2. Nghiên cứu kết hợp UniSHARP với mô hình khuếch tán để kiểm soát chất lượng góc nhìn được sinh ra, đặc biệt trong các vùng bị che khuất nặng.
  3. Mở rộng biểu diễn Gaussian dựa trên tia cho tái tạo 3D từ nhiều ảnh đơn (multi-image) không có pose, giúp tăng độ chính xác và giảm chi phí tính toán.

2. Patent:​

  1. Ứng dụng trên điện thoại thông minh cho phép người dùng chụp một ảnh toàn cảnh hoặc góc rộng bằng camera sau, sau đó tạo ra các góc nhìn mới xoay quanh chủ thể để xem sản phẩm từ nhiều hướng, không cần quay video hay quét 3D.
  2. Tích hợp vào kính thực tế ảo (VR/AR): kính nhận một ảnh duy nhất từ camera tích hợp, nhanh chóng tạo bối cảnh 3D xung quanh, cho phép người dùng di chuyển đầu và nhìn các chi tiết mới mà không bị vỡ hình.
  3. Phần mềm chỉnh sửa ảnh trên điện thoại: người dùng dùng camera mắt cá để chụp phòng, ứng dụng tạo mô hình 3D và cho phép kéo thả đồ nội thất ảo vào đúng vị trí, hiển thị dưới góc nhìn tùy chỉnh ngay trên màn hình.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.07514
ArXiv Abstracthttps://arxiv.org/abs/2606.07514
PDF Downloadhttps://arxiv.org/pdf/2606.07514.pdf
Github Repositoryhttps://github.com/Insta360-Research-Team/UniSHARP

23. Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills (12 votes)​

Tác giả: Chuan Xiao, Zhengbo Jiao, Shaobo Wang, Wei Wang, Bing Zhao, et al.

Xuất bản lúc: 2026-06-05

Tag: SWE Agents, Self-Evolution, Self-Play, Large Language Models, Reinforcement Learning, Skill Distillation, Software Engineering

I. Main Problem:​

Các tác nhân lập trình hiện nay thiếu dữ liệu huấn luyện chất lượng cao để tự tiến hóa. Các phương pháp sinh dữ liệu tổng hợp hiện tại tạo ra các tác vụ sửa lỗi độc lập với điểm yếu thực tế của tác nhân, dẫn đến phân phối tác vụ tĩnh và không thích ứng. Quan trọng hơn, các dấu vết giải quyết (solving traces) thường bị bỏ qua sau khi tính toán phần thưởng, dù chúng chứa đựng thông tin về ranh giới năng lực của mô hình.

II. Main Idea:​

Socratic-SWE là một khung tự tiến hóa vòng kín, tái sử dụng các dấu vết giải quyết lịch sử của tác nhân để huấn luyện. Nó chưng cất các dấu vết này thành một Agent Skill Registry – một tập hợp các kỹ năng có cấu trúc ghi lại các lỗi lặp lại và các mẫu sửa lỗi hiệu quả. Các kỹ năng này hướng dẫn Generator tạo ra các tác vụ sửa lỗi có mục tiêu trong các kho mã thực tế, trải qua quá trình xác thực dựa trên thực thi. Các tác vụ được chấp nhận sẽ được đánh giá bằng phần thưởng 'solver-gradient alignment' để ưu tiên các tác vụ hữu ích nhất. Vòng lặp trace-skill-task này cho phép chương trình học tự thích ứng và tiến hóa qua nhiều vòng.

III. Main Results:​

  • Socratic-SWE đạt 50.40% trên SWE-bench Verified sau 3 vòng lặp, cải thiện +7.80% so với tác nhân cơ sở.
  • Vượt trội hơn tất cả các baseline tự tiến hóa (SPIRAL, R-Zero, Absolute-Zero, Socratic-Zero, SSR) trên cả bốn benchmark: SWE-bench Verified, Lite, Pro và Terminal-Bench 2.0.
  • Cải thiện ổn định qua từng vòng, không bị bão hòa sớm như các phương pháp khác.
  • Khả năng tổng quát hóa tốt sang tác vụ terminal-native trên Terminal-Bench 2.0 (+4.50%).
  • Kéo dài vùng bão hòa đến vòng 5, đạt 52.00% so với 48.00% của SSR.

IV. Conclusion & Future Works:​

Socratic-SWE chứng minh rằng các dấu vết giải quyết có thể được tái sử dụng làm nguồn tín hiệu huấn luyện để tạo ra chương trình học tự tiến hóa hiệu quả cho tác nhân lập trình. Các phân tích cho thấy chương trình học dựa trên kỹ năng giúp trì hoãn bão hòa và khai thác tốt hơn từ nguồn dữ liệu hạn chế. Hướng phát triển tương lai có thể mở rộng kho mã nguồn động, chuyển giao kỹ năng đa miền và khám phá kỹ năng trực tuyến.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phương pháp chưng cất kỹ năng từ dấu vết giải quyết cho các tác vụ lập trình phức tạp hơn như tích hợp đa module, cho phép tác nhân học các mẫu sửa lỗi tinh vi hơn.
  2. Kết hợp kỹ thuật gradient-aware curriculum với active learning để tác nhân tự động lựa chọn các tác vụ khó nhất để huấn luyện, thay vì dựa trên gradient từ một tập xác thực cố định.
  3. Nghiên cứu khả năng chuyển giao kỹ năng học được từ miền sửa lỗi mã nguồn sang các tác vụ AI đại lý khác như tương tác với hệ thống và cơ sở dữ liệu.

2. Patent:​

  1. Hệ thống tự động sinh các bài kiểm tra mới cho mã nguồn: dựa trên lịch sử sửa lỗi của lập trình viên, hệ thống phân tích các điểm yếu thường gặp và tạo ra các test case nhắm vào các lỗi tiềm ẩn tương tự, giúp phát hiện lỗi sớm.
  2. Trợ lý lập trình trên điện thoại có khả năng phân tích lỗi và đề xuất bản vá thông minh: khi lập trình viên gặp lỗi, trợ lý sẽ xem xét các dấu vết sửa lỗi trước đó và các mẫu lỗi tương tự để đưa ra giải pháp phù hợp nhất, cải thiện độ chính xác theo thời gian.
  3. Công cụ DevOps tự động tối ưu hóa quy trình CI/CD: bằng cách phân tích lịch sử build và test thất bại, công cụ học các mẫu lỗi và tự động tạo ra các task sửa lỗi mới, giúp pipeline phát hiện và khắc phục vấn đề nhanh hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2606.07412
ArXiv Abstracthttps://arxiv.org/abs/2606.07412
PDF Downloadhttps://arxiv.org/pdf/2606.07412.pdf
Github RepositoryN/A