Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-07-29

Báo cáo được tạo tự động vào lúc 2026-07-30 10:08:25 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. HiFi-UMI: Learning Deployable Manipulation Policies from High-Fidelity UMI Data Alone (136 votes)​

Tác giả: Simple AI, Yuteng Wei, Jinming Ma, Jiawei Wang, Weitao Zhou, et al.

Xuất bản lúc: 2026-07-28

Tag: Robotics, Imitation Learning, Data Collection, Manipulation Policy, SLAM, Human Demonstrations

I. Main Problem:​

Học chính sách điều khiển robot từ biểu diễn hành động bị ràng buộc bởi thiếu dữ liệu vừa chính xác vừa có thể mở rộng. Teleoperation trên robot thật rất chính xác nhưng tốn kém để mở rộng (cần robot, thiết bị điều khiển, người vận hành); thu thập bằng tay cầm Universal Manipulation Interface (UMI) rẻ hơn nhưng có sai số quỹ đạo lớn, độ chính xác tư thế tương đối giữa 2 gripper kém, không đồng bộ cảm biến, và trường nhìn hẹp—những hạn chế khiến dữ liệu UMI hiện tại chỉ dùng để pre-training trước, rồi vẫn phải dùng teleoperation để post-training cuối cùng.

II. Main Idea:​

HiFi-UMI là một hệ thống thu thập dữ liệu robotic được thiết kế đồng thời phần cứng và phần mềm nhằm nâng cao độ chính xác quỹ đạo, đồng bộ cảm biến, độ chính xác tư thế tương đối, và trường nhìn. Cốt lõi:

  • Đầu-cố định stereo SLAM ngoại tuyến để ước lượng quỹ đạo drift-free qua chiều dài dài
  • Kích hoạt GPIO phần cứng dùng chung đồng bộ tất cả cảm biến ở mức microsecond
  • Hai camera wide-angle trên mỗi bàn tay cung cấp ~200° trường nhìn
  • Đo trực tiếp tư thế tương đối giữa 2 gripper từ khung hình đầu (thay vì tái cấu trúc từ công nhân)
  • Quy trình xử lý 6 bước tự động (tái cấu trúc quỹ đạo, validation mô phỏng, chú thích, kiểm tra con người) giữ lại 96% captures như dữ liệu có thể chạy được

Ví dụ đời thường: giống như một thợ phổ thông học theo phim ghi từ điện thoại chuyên nghiệp thay vì từ điện thoại cũ kỹ, có thể nhìn rõ chi tiết từng chuyển động trên mọi góc độ, với âm thanh ghi đúng lúc, và ngay lần chạy lại cũng được.

III. Main Results:​

  • Zero-robot post-training: post-training chỉ trên dữ liệu HiFi-UMI (không có teleoperation) khớp với baseline teleoperation in-domain trên cùng robot: sai khác −2.5%, +3.1%, và −0.6% trên ba kiến trúc (StarVLA-QwenPI, OpenPI-π0.5, LingBot-VA); chính sách mạnh nhất đạt 85% trên tác vụ insertion chính xác cao.
  • Pre-training: 4,000 giờ dữ liệu HiFi-UMI giảm lỗi hành động 41% trên 10 tác vụ chưa gặp, và trên StarVLA-QwenPI nâng thêm 18.1% thành công so với không pre-train.
  • Độ chính xác: 3mm end-effector precision (bằng VR controller), không cần cơ sở hạ tầng theo dõi bên ngoài.
  • Đồng bộ: microsecond-level giữa tất cả cảm biến (so với millisecond trên hệ thống cũ).
  • Chất lượng dữ liệu: tái cấu trúc quỹ đạo >98%, validation mô phỏng >98%, tổng hợp ~96% captures có thể dùng.
  • Dataset mở: HiFi-UMI-2K, 2,000 giờ biểu diễn đã kiểm tra, được phát hành cho cộng đồng.

IV. Conclusion & Future Works:​

HiFi-UMI chứng minh rằng nâng cao chất lượng dữ liệu robot-free (thay vì giảm tỷ lệ teleoperation) là con đường để loại bỏ nhu cầu post-training trên robot thật. Sự hiểu biết chính khác so với công trình trước: không phải là chủ yếu giảm tỷ lệ real-robot, mà là làm cho dữ liệu handheld đủ tin cậy để đầy đủ. Hướng tương lai: (1) tách riêng ablation của từng khía cạnh fidelity để hiểu đóng góp riêng của chính xác quỹ đạo, đồng bộ, và trường nhìn; (2) mở rộng sang tác vụ động longer-horizon và môi trường thay đổi; (3) kết hợp active exploration hoặc curriculum learning để tối ưu thành phần của pre-training corpus.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng HiFi-UMI sang thu thập đa-điểm (người khác nhau, scene khác nhau) để nghiên cứu cách đa dạng operand và quy mô dữ liệu ảnh hưởng đến chất lượng pre-training và khả năng tổng quát hóa chéo-embodiment.
  2. So sánh chiến lược learning từ handheld demonstrations vs. teleoperation qua lăng kính lý thuyết (curse of dimensionality, observability), để dự đoán khi nào robot-free đủ và khi nào cần real-robot anchor.
  3. Phát triển phương pháp active curation tự động: thay vì kiểm tra con người, dùng policy gradient hoặc uncertainty để chọn demos HiFi-UMI có giá trị huấn luyện cao nhất cho từng tác vụ post-train mới.

2. Patent:​

  1. Hệ thống huấn luyện robot công nghiệp đắp dây nhây thế hệ tới dành cho nhà máy SX nhỏ: xác suất ngây thơ mặc một bộ quần áo HiFi-UMI vào (stereo headset + 2 glove), người chỉ cần ghi 30–50 lần demo cho từng công việc (lắp ráp, xếp hàng, kiểm tra), máy tính xử lý quỹ đạo 3D và post-train trên robot trong đêm, sáng hôm sau robot chạy mà không cần engineer tinh chỉnh thêm.
  2. Ứng dụng điều khiển robot tại nhà qua điện thoại của người dùng bình thường: người nhận lệnh giọng nói, ghi video điều khiển bằng tay (VR-style tracking từ điện thoại đeo trên cánh tay), gửi lên máy chủ để post-train bộ policy cho một robot nhân tác, trả về trong 5 phút—bất kỳ ai cũng có thể dạy robot làm việc nhà mà không cần lập trình.
  3. Module self-calibration cho robot khi thay đầu công cụ: khi lắp gripper loại mới, robot tự chạy chuỗi ngắn interactive movement từ HiFi-UMI corpus, kiểm tra chiều cao đầu công cụ, độ mở, và friction qua camera và force sensor, cập nhật các tham số policy ẩn trước khi chạy công việc thực—loại bỏ downtime hiệu chuẩn thủ công.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.25895
ArXiv Abstracthttps://arxiv.org/abs/2607.25895
PDF Downloadhttps://arxiv.org/pdf/2607.25895.pdf
Github RepositoryN/A

2. A New Role for Relevance: Guiding Corpus Interaction in Agentic Search (84 votes)​

Tác giả: Jiangnan Li, Yuqing Li, Mo Yu, Jinchao Zhang, Jie Zhou

Xuất bản lúc: 2026-07-27

Tag: Agentic Search, Information Retrieval, Corpus Interaction, Relevance Ranking, Direct Corpus Interaction, RAG

I. Main Problem:​

Các hệ thống tìm kiếm hiện đại gặp bế tắc về cách sử dụng thông tin độ liên quan (relevance). Phương pháp truyền thống chỉ dùng relevance để chọn top-k tài liệu, nhưng không thể xác định vị trí chính xác, kết hợp hoặc xác minh bằng chứng cho các câu hỏi phức tạp. Direct Corpus Interaction (DCI) cho phép tìm kiếm chi tiết hơn (kiểu grep), nhưng lại bỏ qua relevance hoàn toàn—tìm kiếm một cách mù quáng—khiến các manh mối hữu ích xuất hiện muộn và hội tụ chậm. Các phương pháp gần đây (RISE, DR-DCI) dùng relevance để giới hạn corpus trước tương tác, nhưng không hướng dẫn cách thực hiện tìm kiếm bên trong (thứ tự duyệt tài liệu, những đoạn trích nào được hiển thị).

II. Main Idea:​

Relevance-Aware RipGrep Search Agent (RARG) chuyển đổi điểm số relevance từ một bộ lọc tĩnh thành một hướng dẫn thực thi động cho quá trình grep. Phương pháp ba cấp độ:

  • Cấp tài liệu (Global Relevance): Xếp hạng các tài liệu theo relevance, sau đó yêu cầu ripgrep quét chúng tuần tự theo thứ tự xếp hạng (dùng -j1 để buộc xử lý tuần tự). Bằng cách này, những manh mối từ tài liệu liên quan cao xuất hiện trước.

  • Điểm khởi đầu (Entry Point): Trích xuất những đoạn văn top-10 từ các tài liệu xếp hạng cao và cung cấp cho agent như một điểm bắt đầu hữu ích, thay vì bắt đầu từ không.

  • Cấp trích dẫn cục bộ (Local Relevance): Khi ripgrep trả về quá nhiều kết quả, xếp hạng lại các đoạn trích bằng cách kết hợp mục tiêu tìm kiếm toàn cục với từ khóa cục bộ. Những bằng chứng từ tài liệu xếp hạng thấp hơn nhưng phù hợp với truy vấn cục bộ được đưa lên trước.

Ví dụ đời thường: giống như nhân viên mới vào thư viện khổng lồ tìm kiếm một sự kiện lịch sử. Thay vì để họ đi tìm kiếm mù quáng từng kệ sách, người quản lý (relevance) chỉ cho họ:

  1. thứ tự những kệ sách có khả năng chứa thông tin cao nhất
  2. trang và đoạn văn khởi đầu hay trên mỗi kệ
  3. trong đống ghi chú tìm được, bố trí lại để những dòng có liên quan nhất thấp nhất lên trên cùng

III. Main Results:​

  • BrowseComp-Plus (100K tài liệu, GPT-5.4-mini): RARG++ đạt 84% độ chính xác với 23.9 lần gọi công cụ, vượt RISE (78%, 28.7 gọi) và DCI (78%, 99.1 gọi). Với GPT-5.4, đạt 91% (+9 điểm so với RISE).
  • Mở rộng corpus (100K → 1M tài liệu): RARG++ vẫn giữ 79% độ chính xác (so với RISE-BM25 69%), chứng tỏ tỉ lệ hiệu suất-chi phí ổn định khi corpus lớn.
  • BRIGHT (Retrieval reasoning-intensive, 4 lĩnh vực): RARG+ đạt 53.36 nDCG@10, vượt chuyên gia retrieval NeMo (52.89) và tất cả baseline khác. DCI đạt 48.43, RISE-BM25 chỉ 41.60.
  • Hiệu suất cấu trúc: Mỗi cấp độ (RARG → RARG+ → RARG++) cùng tăng độ chính xác và giảm công cụ gọi, xác nhận thiết kế coarse-to-fine hoạt động.

IV. Conclusion & Future Works:​

Relevance không chỉ nên lọc tài liệu mà còn hướng dẫn cách thực hiện tìm kiếm. RARG chứng minh rằng kết hợp xếp hạng toàn cục (thứ tự duyệt) với xếp hạng cục bộ (hiển thị kết quả) giữ được độ chi tiết cao của DCI mà vẫn tận dụng relevance để hội tụ nhanh hơn. Hướng tương lai:

  • Giải quyết vấn đề tài liệu dài gây nhiều kết quả không liên quan (false matches) khi corpus mở rộng—cải thiện chất lượng grep match.
  • Tối ưu chiến lược xếp hạng cục bộ khi task cần độ recall rộng thay vì hội tụ nhanh (như BRIGHT).
  • Khóa khoảng cách giữa mô hình với tạo truy vấn xếp hạng lại (generative reranking) để giảm sai số instruction-following.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RARG cho tìm kiếm đa-hop trên graph tri thức: trong từng bước, dùng relevance để xếp hạng các nút trong neighbor để suy luận lý do theo thứ tự khả năng nhất.
  2. Kết hợp active query refinement: agent tự học phát hiện khi nào nên yêu cầu người dùng làm rõ thêm câu hỏi dựa trên mức độ hội tụ của relevance scores, thay vì tiếp tục tìm kiếm mù quáng.
  3. Áp dụng relevance-guided interaction cho tìm kiếm pháp luật: kết hợp dense retrieval (semantic) với sparse retrieval (keyword chính xác) để xếp hạng vừa cơ sở luật vừa những đoạn trích có điều luật cụ thể.

2. Patent:​

  1. Tìm kiếm thông minh trên điện thoại: Ứng dụng cài sẵn mô hình embedding nhẹ, cho phép tìm kiếm văn bản trong file/note cục bộ. Thay vì quét file từ đầu, xếp hạng relevance file trước, rồi grep bên trong theo thứ tự—tiết kiệm pin và tốc độ tìm kiếm.
  2. Hệ thống phát hiện gian lận tài chính: Ngân hàng lưu trữ hàng triệu giao dịch; khi phát hiện mẫu bất thường, dùng relevance score để xếp hạng những tài khoản/ngày giờ giao dịch có khả năng gian lận cao, sau đó pattern-match chi tiết bên trong những tài khoản đó trước.
  3. Công cụ tìm kiếm y tế cá nhân: Bệnh nhân quản lý lịch sử bệnh tích dài. Khi hỏi 'lần nào tôi bị dị ứng?', hệ thống dùng relevance để xếp hạng mã bệnh/ngày tháng, rồi tìm chi tiết (triệu chứng, thuốc) bên trong nhằm tóm tắt đáp án nhanh chóng và chính xác.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.24223
ArXiv Abstracthttps://arxiv.org/abs/2607.24223
PDF Downloadhttps://arxiv.org/pdf/2607.24223.pdf
Github Repositoryhttps://github.com/LeqsNaN/RARG

3. ReDesign: Recovering Editable Design Structures from Images via Agentic Decomposition (57 votes)​

Tác giả: Jooyeol Yun, Jintae Park, Hyesu Lim, Junha Hyung, Hyungjin Chung, et al.

Xuất bản lúc: 2026-07-28

Tag: Generative Models, Vision-Language Models, Design Automation, Hierarchical Decomposition, Agentic Systems

I. Main Problem:​

Khôi phục tập tin thiết kế có thể chỉnh sửa từ hình ảnh raster là bộ ngực chai thường xuyên trong quy trình thiết kế hiện đại. Vấn đề: rasterization là ánh xạ một-nhiều (từ cấu trúc lớp editable thành pixel), khiến việc khôi phục cấu trúc ban đầu từ hình ảnh trở thành bài toán ill-posed. Thiết kế cần:

  • Nhận diện và trích xuất văn bản, hình dạng vector, màu sắc
  • Khôi phục phân cấp lớp và thứ tự z
  • Giữ nguyên các thuộc tính có thể chỉnh sửa (phông chữ, tọa độ, định danh nhóm)

Hiện tại, các công cụ riêng lẻ (OCR, phân rã lớp, vectorization) gây lỗi chồng chập khi kết hợp tuần tự, dẫn đến tái tạo thủ công lâu dài và dễ có lỗi.

II. Main Idea:​

ReDesign là hệ thống agentic sử dụng Vision-Language Model (VLM) để phát triển phân cấp lớp editable thông qua sự lựa chọn công cụ có cấu trúc. Quy trình:

  • Phân rã dựa trên cây: Bắt đầu từ hình ảnh đầy đủ (nút gốc), VLM controller lặp đi lặp lại chọn một nút để mở rộng và tổng hợp chuỗi công cụ từ tập hành động cố định (trích xuất văn bản, phân rã đa lớp, gán thành phần liên thông, phát hiện/phân đoạn, vectorization)
  • Xác minh thanh lịch: Ở mỗi bước mở rộng, verifier đánh giá các nút con được đề xuất, có thể chấp nhận (accept), loại bỏ (prune), hoặc thử lại (retry) — tránh lỗi tích lũy bằng cách sửa chữa cục bộ ngay lập tức
  • Quản lý bộ nhớ tuyến tính: Mỗi nút chỉ lưu trữ lịch sử dọc theo đường dẫn từ gốc, cho phép song song an toàn và quyết định được hướng dẫn tốt hơn

Ví dụ đời thường: giống nhà thiết kế mới nhận một bản thiết kế thô — thay vì cố gắng tái tạo ngay, họ kỹ lưỡng tách từng yếu tố một lớp (text, hình dạng, màu), kiểm tra từng bước xem có đúng chưa, rồi nếu sai thì chỉnh lại chi tiết đó chứ không làm lại toàn bộ.

III. Main Results:​

  • Editability vượt trội: ReDesign đạt hiệu suất tốt nhất trên tất cả loại chỉnh sửa (reposition, recolor, text edit, rotation, deletion, re-ordering) — SSIM cao hơn 0.65–0.75 so với baselines
  • Text recall cao: Sau khi chỉnh sửa văn bản, ReDesign duy trì text recall cao nhất; các phương pháp sequential tool-chaining suy giảm mạnh vì lỗi chồng chập
  • Độ chính xác tái tạo: Trên tập Figma, tốt nhất trên tất cả metric (L1, PSNR, LPIPS, panoptic quality, F1 detection); trên Crello, đạt hiệu suất cạnh tranh
  • Phòng ngừa cascading errors: Graceful verification tại mỗi nút ngăn chặn lỗi sớm lan rộng, khác với end-stage validation của các phương pháp serial
  • Figma Edit Replay Benchmark: Đánh giá trên 909 tập tin Figma thực tế với 14,796 hướng dẫn chỉnh sửa được kiểm soát

IV. Conclusion & Future Works:​

ReDesign chứng minh rằng cấu trúc hóa phân rã thành cây và xác minh cục bộ tại mỗi bước có thể khắc phục sự không tin cậy của các công cụ riêng lẻ và các quyết định controller sai lầm. Phương pháp này khác với decomposition theo lớp (chỉ tách visual mà không có ngữ nghĩa) và serial tool-chaining (lỗi tích lũy). Hướng phát triển tương lai: mở rộng action space với các công cụ mới, tối ưu chiến lược thăm dò, hỗ trợ các loại thiết kế phức tạp hơn (animation, component libraries, responsive layouts).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ReDesign cho các định dạng thiết kế khác (Adobe XD, Canva, PowerPoint): ánh xạ các action và hierarchical structures giữa các công cụ để khôi phục editable formats đa nền tảng.
  2. Kết hợp active learning vào controller: thay vì chọn action cố định, VLM học để đặt câu hỏi gì cho verifier (ví dụ: 'element này có bị duplicate không?') để giảm số bước phân rã cần thiết.
  3. Thêm style transfer và responsive layout: phát triển action cho việc phục hồi constraint-based layouts và media queries để tái sử dụng thiết kế trên nhiều kích thước màn hình.

2. Patent:​

  1. Ứng dụng mobile: người dùng chụp ảnh thiết kế in hoặc ảnh chụp từ một ứng dụng khác, ReDesign khôi phục tập tin Figma editable, người dùng chỉnh sửa ngay trên điện thoại. Kinh doanh: bán subscription cho designer freelance để tái sử dụng và chỉnh sửa thiết kế nhanh chóng.
  2. Plugin Figma: tích hợp ReDesign vào Figma; khi designer import ảnh thiết kế, plugin tự động phân rã và đề xuất layer hierarchy, designer chỉ cần duyệt qua và chấp nhận — giảm 80% thời gian import thủ công.
  3. Batch design converter cho doanh nghiệp: tập đoàn có hàng ngàn hình ảnh thiết kế từ nhiều năm; ReDesign chuyển đổi hàng loạt sang editable formats, cho phép rebranding toàn cầu (swap logo, màu sắc, font) một lần cho tất cả tài sản (asset).
  4. AI-powered design handoff: developer nhận screenshot từ designer, tool tự khôi phục editable Figma file và generate CSS từ layer hierarchy, developer không cần sử dụng Figma hoặc yêu cầu lại file gốc.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.25565
ArXiv Abstracthttps://arxiv.org/abs/2607.25565
PDF Downloadhttps://arxiv.org/pdf/2607.25565.pdf
Github Repositoryhttps://github.com/jintae-00/ReDesign

4. CodeNib: A Multi-View Data System for Serving Repository Context to Coding Agents (56 votes)​

Tác giả: Zhongming Yu, Hengjia Yu, Boqin Yuan, Shuting Zhao, Yizhao Chen, et al.

Xuất bản lúc: 2026-07-28

Tag: Code Intelligence, Repository Context, Coding Agents, Multi-View Indexing, Incremental Maintenance

I. Main Problem:​

Coding agents cần truy cập thông tin repository lặp đi lặp lại mà hiện tại bị phân rã thành các hệ thống độc lập—text indexes, language servers, embedding stores, semantic graphs—mỗi cái có cấu trúc, chi phí cập nhật, và định dạng kết quả riêng. Hậu quả:

  • agents phải khám phá lại cùng dữ liệu trong mỗi tác vụ
  • chi phí cập nhật ẩn khi repository thay đổi nhưng không thể tái sử dụng view
  • không có ranh giới rõ ràng về độ tính toán và hiệu suất của từng hoạt động truy xuất

II. Main Idea:​

CodeNib xây dựng ba repository views (lexical, dense/embedding, structural) một lần tại mỗi commit, sau đó duy trì và phục vụ chúng qua một runtime thống nhất. Cơ chế:

  • View Compiler: xây dựng độc lập các artifact (text index, vector embeddings, knowledge graph) và ánh xạ mỗi kết quả về source ranges tương đối với repository
  • Incremental Maintenance: cập nhật từng view qua đường riêng (graph repair với LSP, vector reuse qua content-addressing, rebuilds chỉ khi cần thiết)
  • Agent Runtime: tải các view cần thiết, thực thi ranked retrieval, symbol navigation, và áp dụng chính sách context delivery (grep/read, eager, hay compact)

Toàn bộ lifecycle được ghi lại với trace, cho phép đo đạc riêng biệt chi phí xây dựng, cập nhật, tải, truy vấn, và phân phối.

Ví dụ đời thường: giống quản lý kho hàng tập trung—một lần phân loại hàng vào các kệ (text, vector, graph), rồi khi hàng thay đổi, cập nhật chỉ những kệ bị ảnh hưởng và dùng lại cấu trúc cũ nếu còn hợp lệ, thay vì phải xếp lại toàn bộ kho.

III. Main Results:​

  • Static symbol navigation: trên 1,000 requests, 63% khớp vị trí chuẩn hóa với live language server, với tỷ lệ latency live/static là 4.72× (median)
  • Incremental updates: graph repairs khớp rebuild độc lập trên 15/33 transitions (45%), với speedup 8.67× median; vector reuse khớp trên 28/31 transitions (90%), speedup 25.44× median
  • Context delivery: so với paired grep/read, eager context policies tiết kiệm 50–87% trajectory tokens trên năm mô hình khác nhau, đồng thời giữ localization trong margin ±5% AnswerRecall@5
  • Lifecycle projection: trên 100 snapshots repository, phân tích Pareto phơi bày điểm cân bằng chất lượng–chi phí qua retrieval, dense indexing, navigation, maintenance, và context delivery

IV. Conclusion & Future Works:​

CodeNib chuyển repository context từ repeated per-task discovery sang reusable materialized views bằng cách tách hoàn toàn quản lý lifecycle từ logic agent. Manifest và source-address mapping cho phép views độc lập được xây dựng, cập nhật, và phục vụ mà không mất thông tin. Hướng tương lai: tích hợp patch generation và concurrent production updates, đánh giá học tập đơn ngữ/đa ngữ trên kho hỏi-đáp repository lớn, và mở rộng sang live workspace semantics hoàn toàn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu chiến lược chọn view cho coding agents: so sánh learned selector heuristics với deterministic lowering hiện tại để dự đoán khi nào dense search hay structural navigation sẽ vượt trội.
  2. Mở rộng incremental maintenance sang cross-view consistency: duy trì bất biến không bị hỏng giữa text index, embeddings, và graph khi có concurrent edits trong workspace.
  3. Áp dụng CodeNib cho repository-scale code generation: đánh giá patch generation latency và accuracy với context từ multi-view retrieval so với vanilla dense search.

2. Patent:​

  1. Hệ thống cached IDE đa chế độ: IDE cache ba loại index (text, dense, graph) khi developer mở workspace; khi edit file, tự động patch graph rồi dùng incremental query để đề xuất hàm/class liên quan mà không phải rebuild toàn bộ index.
  2. Tìm kiếm code repository trên điện thoại tối ưu dữ liệu: trước đó materialized views được đồng bộ xuống thiết bị; trên điện thoại, ranked queries dùng lightweight FAISS/BM25 mà không cần LSP; khi có sửa, delta patches được gửi lên thay vì rebuild.
  3. Semantic code review automation: CI pipeline pre-builds CodeNib views cho PR branch, sau đó agent review dùng static symbol navigation và ranked retrieval để đề xuất các vị trí dependency/side-effect có nguy cơ, giảm chi phí LSP calls tới code server trong PR.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.25431
ArXiv Abstracthttps://arxiv.org/abs/2607.25431
PDF Downloadhttps://arxiv.org/pdf/2607.25431.pdf
Github Repositoryhttps://github.com/sysevol-ai/CodeNib

5. Keep It InMind: Benchmarking the Implicit-Association Blind Spot in Agent Memory (25 votes)​

Tác giả: Ruizhe Li, Mingxuan Du, Benfeng Xu, Zhendong Mao

Xuất bản lúc: 2026-07-27

Tag: Agent Memory, Retrieval-Augmented Generation, Long-term Memory, Knowledge Graphs, Benchmark

I. Main Problem:​

Hệ thống trợ lý AI dựa trên bộ nhớ lấy tài liệu (retrieval-based memory) có một lỗ hổng ngầm: chúng có thể nhớ một sự kiện khi được hỏi trực tiếp, nhưng thất bại khi cần áp dụng kiến thức đó qua một cầu nối tri thức. Ví dụ, hệ thống nhớ người dùng dị ứng hạt cây khi được hỏi, nhưng sau đó khuyến nghị công thức bánh macaron có chứa bột hạnh nhân (là cây hạt). Bộ nhớ và truy vấn không chia sẻ từ khóa, nên bộ retriever không thể phát hiện liên kết.

Nhân rộng: các hệ thống tương tác, nguyên tắc ăn uống, quy tắc pháp luật—tất cả yêu cầu kết nối giữa thông tin cá nhân và quyết định tương lai thông qua kiến thức bên ngoài, nhưng retrieval-based design không thể thực hiện.

II. Main Idea:​

Bài báo định nghĩa "implicit-association blind spot": một cặp (bộ nhớ, truy vấn) mà relevance đòi hỏi kiến thức không có trong cả hai text mà phải từ một nguồn bên ngoài. Ví dụ:

  • Bộ nhớ: "Tôi sở hữu một con mèo"
  • Truy vấn: "Hoa lily có phù hợp làm trang trí?" (không đề cập đến mèo, độc tính)
  • Cầu nối: "Hoa lily độc với mèo" (kiến thức thú y)

Nhiều loài hoa, công thức thuốc, quy tắc pháp lý chứa những liên kết ẩn này. Bài báo giới thiệu InMind—một benchmark 125 tác vụ với 113 tác vụ được xác minh từ các nguồn công cộng (FDA, OSHA, USCIS)—để phân tách ba lý do thất bại:

  • Bộ nhớ chưa được lưu trữ
  • Mô hình thiếu kiến thức cầu nối
  • Bộ nhớ được lưu nhưng retriever không lấy được

Ví dụ đời thường: Giống như nhân viên ngân hàng nhớ bạn sợ độ cao khi bạn nói với họ, nhưng khi bạn sau đó hỏi về đầu tư bất động sản ở tầng cao, họ không nhận ra rằng thông tin cũ của bạn (sợ độ cao) nên ảnh hưởng đến lời khuyên của họ—vì từ khóa hoàn toàn khác.

III. Main Results:​

Sáu hệ thống bộ nhớ (A-RAG, xMemory, Mem0, A-Mem, HippoRAG 2, MemoryOS) được đánh giá:

Trực tiếp retrieval (naive recall): đạt tới 100%—bộ nhớ được lưu và có thể lấy lại khi hỏi trực tiếp.

Ứng dụng gián tiếp (indirect application): không quá 16.0%—khi cần liên kết ngầm, hầu hết thất bại.

  • In-context backbone (bộ nhớ hiển thị sẵn): 84.0%—chứng minh mô hình CÓ kiến thức cầu nối
  • Retrieval + MiniLM (384 chiều): 3.2–14.4%
  • Retrieval + text-embedding-3-large (3,072 chiều, gấp 8 lần): cải thiện nhưng vẫn tối đa 14.4%

Thử nghiệm "always-in-state" (giữ bộ nhớ trong system prompt trước khi truy vấn): 68.8%—khép đóng hầu hết khoảng cách bằng cách loại bỏ query-conditioned retrieval.

Kết luận: Lỗ hổng không phải từ mô hình, lưu trữ hay biểu diễn, mà từ giao diện retrieval đưa ra quyết định relevance trước khi mô hình được nhìn thấy bộ nhớ.

IV. Conclusion & Future Works:​

Retrieval-based memory là cần thiết nhưng không đủ để xử lý implicit associations. Giải pháp không phải "tìm kiếm chăm chỉ hơn" (A-RAG đã lặp 15 lần vẫn chỉ đạt 7.2%), mà phải ghép retrieval với persistent state (hồ sơ, tóm tắt)—hệ thống hybrid đã tồn tại nhưng thiếu tiêu chí định tuyến (routing): quyết định thông tin nào nên giữ ngay trước mắt vs. tìm kiếm chi tiết.

Vấn đề mở: Routing—việc quyết định nên đưa những sự kiện nào vào persistent state—phụ thuộc từng lĩnh vực (bác sĩ, cố vấn tài chính, lập trình viên lên tiêu chuẩn khác nhau). InMind là benchmark đầu tiên để đánh giá routing quyết định.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng InMind cho các lĩnh vực phức hợp (y tế, tài chính, pháp lý) với các cầu nối tri thức chuyên biệt; xây dựng corpus implicit associations từ incidents thực tế (sai lầm y tế, hoàn cảnh xấu).
  2. Nghiên cứu routing functions được huấn luyện để dự báo cái nào sẽ trở thành decision-critical qua cầu nối ngầm; so sánh heuristic (recency, frequency) với learned scoring.
  3. Thiết kế hybrid memory system kết hợp always-in-state profile với graph-based multi-hop retrieval; đánh giá chi phí (token context) vs. độ chính xác across InMind tasks.

2. Patent:​

  1. Ứng dụng di động: hôm nay người dùng nói "Tôi bị dị ứng hạt", ngày mai yêu cầu công thức nấu ăn—hệ thống xây dựng persistent "user profile" (giữ đó allergy luôn visible) cộng với retrieval từ recipe database, đảm bảo lệnh cảnh báo allergen được đánh giá trước khi trả kết quả.
  2. Trợ lý tài chính cá nhân: ghi nhớ "có con nhỏ học lớp 6" hoặc "sắp về hưu", sau đó khi người dùng hỏi về tùy chọn đầu tư/bảo hiểm, tư vấn sẽ lọc các sản phẩm phù hợp dựa trên những sự kiện ẩn (nhu cầu giáo dục con em, horizon thời gian), không chỉ từ khóa trực tiếp.
  3. Hệ thống quản lý an toàn tại nơi làm việc: công ty lưu trữ "nhân viên X bị mất thính lực từ từ" → khi phân công công việc hay cấu hình bàn làm việc, hệ thống tự động gợi ý giảm tiếp xúc với tiếng ồn hoặc vị trí tĩnh thoáng, thay vì chỉ trả lời nếu được hỏi trực tiếp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.24368
ArXiv Abstracthttps://arxiv.org/abs/2607.24368
PDF Downloadhttps://arxiv.org/pdf/2607.24368.pdf
Github Repositoryhttps://github.com/imlrz/InMind

6. Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model (24 votes)​

Tác giả: Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, et al.

Xuất bản lúc: 2026-07-27

Tag: Vision-Language-Action, Video Understanding, Efficient Multimodal, Streaming Video, Codec-Native, Transformer Architecture

I. Main Problem:​

Các mô hình Vision-Language truyền thống bị Moravec's Paradox: chúng xuất sắc với suy luận tĩnh trên ảnh phức tạp nhưng thất bại khi xử lý video trực tiếp — sử dụng quá nhiều tính toán do lấy mẫu frame đều đặn và mã hóa dày đặc các vùng nền không thay đổi. Hậu quả:

  • Tốc độ suy luận chậm trên video liên tục
  • Tiêu thụ token hình ảnh gấp 8 lần so với cần thiết
  • Không thể hoạt động theo sự kiện (event-driven) như tri giác tự nhiên

II. Main Idea:​

Mage-VL — mô hình streaming đa phương thức được thiết kế để xử lý video liên tục hiệu quả bằng cách chọn lọc các vùng động dựa trên tín hiệu codec. Kiến trúc lõi:

  • Mage-ViT tokenizer: thay vì mã hóa tất cả frame, nó chỉ chọn patches với motion vector cao và năng lượng phần dư lớn trên P-frame (predicted frames) của codec H.265, giữ lại toàn bộ I-frame (anchor frames). Kết quả: giảm token hình ảnh 75% mà vẫn giữ ngữ cảnh thời gian-không gian.

  • Kiến trúc hai hệ thống sinh học: System 1 (gate đơn giản) giám sát stream liên tục và quyết định khi nào nên phản hồi; System 2 (LLM decoder) tạo phản hồi chi tiết khi gate kích hoạt.

Ví dụ đời thường: giống cách chúng ta xem trận bóng — mắt tập trung vào bóng và người chuyển động, bỏ qua nền tĩnh, và não bộ chỉ "thức" khi có sự kiện quan trọng (ghi bàn) thay vì phân tích từng khung hình.

III. Main Results:​

  • Mage-VL-4B đạt hiệu suất tương đương Qwen3-VL-4B trên tác vụ tĩnh nhưng vượt xa trên video understanding và 2D/3D spatial reasoning.
  • Tốc độ suy luận: 3.5× nhanh hơn (wall-clock speedup) so với lấy mẫu frame đều đặn.
  • Vượt trội so với các baseline lớn hơn: Phi-4-reasoning-vision-15B mặc dù Mage-VL-4B chỉ dùng 1/4 tham số.
  • Pre-training hiệu quả: Mage-ViT huấn luyện chỉ trên 560M ảnh + 100M frame video vẫn cạnh tranh với các encoder được huấn luyện trên hàng tỷ cặp ảnh-text (SigLIP2).
  • Hỗ trợ codec linh hoạt: hoạt động với H.265 truyền thống và neural codec (DCVC-RT) mà không sụt hiệu suất.

IV. Conclusion & Future Works:​

Mage-VL chứng minh rằng hướng nhìn codec-native là con đường hiệu quả để xây dựng mô hình video. Thay vì phụ thuộc vào pre-training quy mô web khổng lồ, việc căn chỉnh với cấu trúc thời gian video (motion vectors, residuals) và thiết kế streaming tự nhiên từ đầu cho phép model nhỏ hơn chạy nhanh hơn. Hướng tương lai: tối ưu chiến lược thăm dò sự kiện proactive, mở rộng cho audio-visual integration, và ứng dụng codec-native vào các miền khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Mage-VL cho xử lý audio-video: tích hợp codec âm thanh (như Opus) để chọn lọc cả visual và audio patches theo entropy, giảm thêm token cho tác vụ video-QA đa phương thức.
  2. Tối ưu chiến lược probe-then-react: thay vì gate tĩnh, huấn luyện policy học để robot/agent chủ động chọn thời điểm và loại hỏi để tối đa hóa lợi ích thông tin trước khi phản hồi.
  3. Ứng dụng codec-native tokenization cho các modality khác: khám phá motion vectors trong LiDAR point clouds hoặc infrared sequences để xây dựng encoder hiệu quả cho autonomous driving.

2. Patent:​

  1. Hệ thống camera giám sát thông minh trên điện thoại: ứng dụng mobile chạy Mage-VL-4B để phát hiện sự kiện (người xâm nhập, cửa mở) từ stream camera liên tục với chỉ 1/8 dung lượng tính toán so với VLM thông thường, tiết kiệm pin 6+ giờ.
  2. Trợ lý xe tự hành real-time: codec-native tokenizer xử lý feed camera 360° từ xe để phát hiện chướng ngại vật/tín hiệu giao thông; gate quyết định khi nào cần suy luận phức tạp (e.g., diễn giải biển báo) vs. chỉ giữ yên tĩnh, giảm độ trễ suy luận xuống dưới 100ms.
  3. Nền tảng live-streaming interactive: dùng Mage-VL trên máy chủ để tự động sinh bình luận sự kiện cho stream thể thao/gaming; model học từ mô hình codec của stream (video khán phòng lớn → bit rate cao nơi hành động → phát hiện ghi bàn/play hot) mà không cần huấn luyện thêm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.24904
ArXiv Abstracthttps://arxiv.org/abs/2607.24904
PDF Downloadhttps://arxiv.org/pdf/2607.24904.pdf
Github Repositoryhttps://github.com/microsoft/Mage

7. Shieldstral (12 votes)​

Tác giả: Antonia Calvi, Avinash Sooriyarachchi, Giada Pistilli, Guillaume Lample, Maarten Buyl, et al.

Xuất bản lúc: 2026-07-28

Tag: Content Moderation, Safety Classification, Multimodal, Policy-Adaptive, LLMs, Data Curation

I. Main Problem:​

Hệ thống kiểm duyệt hiện đại gặp hai hạn chế cơ bản:

  • Phân loại theo danh mục cố định: phần lớn các mô hình kiểm duyệt chỉ dùng một bộ danh mục an toàn không thay đổi, không thể thích ứng với yêu cầu khác nhau của các nền tảng hoặc tình huống (nội dung an toàn trong nghiên cứu an ninh mạng có thể gây hại trên nền tảng hỗ trợ sức khỏe tâm thần).

  • Dữ liệu không nhất quán: các bộ dữ liệu an toàn công khai sử dụng danh mục và quy ước gán nhãn khác nhau, khiến khó hợp nhất chúng thành một tín hiệu huấn luyện duy nhất.

II. Main Idea:​

Shieldstral đưa kiểm duyệt nội dung thành bài toán hỏi-đáp nhị phân thay vì phân loại danh mục cố định. Kiến trúc:

  • Mô hình nhận ba yếu tố: hướng dẫn tự do (mô tả ngữ cảnh và mức độ nghiêm ngặt), truy vấn yes/no cụ thể ("Nội dung này có chứa bạo lực không?"), và nội dung cần đánh giá (văn bản/hình ảnh).
  • Xuất điểm an toàn liên tục từ logits của token "yes" và "no", thay vì dán nhãn loại cố định.
  • Dùng LoRA fine-tuning trên mô hình cơ sở Ministral-3B với ~54M mẫu huấn luyện (45.2M văn bản mở, 4.4M văn bản tổng hợp đối nghịch, 4.5M đa phương tiện).

Kỹ thuật dữ liệu:

  • Thống nhất mẫu: chuyển đổi các bộ dữ liệu khác nhau với danh mục không giống nhau thành định dạng instruction-query-document thống nhất.
  • Cặp đối nghịch: ghép cùng nội dung với truy vấn khác nhau để buộc mô hình phân biệt giữa các danh mục cụ thể, không chỉ phát hiện "không an toàn" chung chung.
  • Sinh dữ liệu: dùng LLM để tạo mẫu đối nghịch từ các văn bản an toàn, học cách phân biệt sắc thái giữa các chính sách gần giống.

Ví dụ đời thường: giống như nhân viên kiểm duyệt không chỉ nhớ danh sách "từ cấm", mà còn hiểu ngữ cảnh cụ thể ("tại sao câu này lại không an toàn với nhóm này?"), cho phép áp dụng quy tắc mới mà không cần huấn luyện lại.

III. Main Results:​

  • Văn bản: đạt F1 = 84.9% trên 16 benchmark, ngang bằng mô hình 7 lần lớn hơn (GPT-OSS-Safeguard-20B), mặc dù chỉ có 3B tham số.
  • Đa phương tiện: F1 = 83.8%, vượt tất cả baseline (OmniGuard 7B đạt 77.6%).
  • Thích ứng chính sách: F1 = 91.3% trên bộ đánh giá danh mục chi tiết, cho phép mô hình thích ứng với chính sách mới tại thời điểm suy luận mà không cần huấn luyện lại.
  • Hiệu suất suy luận: độc lập so với các mô hình lớn mà chỉ ra một token (tốc độ nhanh hơn mô hình reasoning dài như GPT-OSS-Safeguard).

IV. Conclusion & Future Works:​

Shieldstral giải quyết vấn đề kiểm duyệt nội dung bằng cách:

  • Thống nhất dữ liệu không đồng nhất thông qua định dạng instruction-query-document chung, cho phép hợp nhất các bộ dữ liệu khác nhau với danh mục riêng biệt.
  • Làm phong phú dữ liệu với các cặp đối nghịch (cùng nội dung, truy vấn khác) để bắt buộc phân biệt tế giác giữa các danh mục.
  • Đạt thích ứng chính sách thực sự bằng cách học phân biệt, không memorize danh mục cố định.

Hướng tương lai:

  • Mở rộng đến các ngôn ngữ và miền an toàn mới.
  • Tích hợp phản hồi từ người dùng để điều chỉnh chính sách năng động.
  • Nghiên cứu cách mô hình tổng quát hóa đến các chính sách hoàn toàn mới chưa thấy trong huấn luyện.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kiểm duyệt đa ngôn ngữ thích ứng: mở rộng Shieldstral để xử lý các truy vấn an toàn trong 50+ ngôn ngữ với bộ dữ liệu có cấu trúc chung nhưng truy vấn được bản địa hóa.
  2. Huấn luyện trực tuyến với phản hồi con người: cập nhật liên tục mô hình kiểm duyệt dựa trên quyết định kháng cáo của người dùng mà không cần đầu vào lại mô hình lớn.
  3. So sánh chính sách: xây dựng công cụ để tính điểm khác biệt giữa hai bộ quy tắc an toàn bằng cách truy vấn Shieldstral với các cặp truy vấn đối lập.
  4. Kiểm duyệt kết hợp: kết hợp mô hình văn bản và hình ảnh thành một lõi kiểm duyệt thống nhất có thể xử lý nội dung hỗn hợp phức tạp.

2. Patent:​

  1. Nền tảng kiểm duyệt tùy chỉnh cho điện thoại di động: ứng dụng nhúng mô hình 3B để kiểm duyệt nội dung ngay trên thiết bị; người dùng cấu hình truy vấn an toàn qua giao diện tự nhiên ("Cảnh báo nếu có hành vi bạo lực hoặc quấy rối") thay vì chọn danh mục từ menu cố định.
  2. Công cụ kiểm duyệt cộng đồng: nền tảng cho phép các cộng đồng trực tuyến xác định chính sách an toàn riêng của họ bằng cách cung cấp các truy vấn tự do; Shieldstral tự động áp dụng quy tắc mới mà không cần huấn luyện lại tập trung.
  3. Hệ thống phát hiện vi phạm chính sách thay đổi: theo dõi tiến hóa của chính sách an toàn nền tảng theo thời gian; khi quy tắc cập nhật, so sánh "chính sách cũ" vs. "chính sách mới" bằng Shieldstral để tìm nội dung sẽ bị ảnh hưởng.
  4. Kiểm duyệt theo bối cảnh ngang hàng: kiểm duyệt khác nhau tùy thuộc vào mối quan hệ giữa người tạo và người xem (bạn bè, lạ mặt, giáo viên-học sinh); mô hình nhận truy vấn động dựa trên vai trò mà không cần danh mục cụ thể.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.25857
ArXiv Abstracthttps://arxiv.org/abs/2607.25857
PDF Downloadhttps://arxiv.org/pdf/2607.25857.pdf
Github RepositoryN/A

8. Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking (12 votes)​

Tác giả: Haorui He, Xinwen Chen, Dacheng Wen, Reynold Cheng, Francis C. M. Lau, et al.

Xuất bản lúc: 2026-07-26

Tag: Fact-Checking, Multimodal LLMs, Benchmark Contamination, Dynamic Evaluation, Evidence Retrieval

I. Main Problem:​

Các hệ thống kiểm chứng tự động đa phương thức (MAFC) dựa trên LLM để xác minh tính chính xác của yêu cầu. Tuy nhiên, các bộ đánh giá tĩnh hiện tại chứa những yêu cầu cũ mà LLM đã nhìn thấy trong dữ liệu huấn luyện, cho phép chúng xác minh chỉ dựa trên kiến thức tham số mà không cần truy xuất bằng chứng bên ngoài. Điều này làm phình ra hiệu suất thực tế so với khả năng trên yêu cầu hoàn toàn mới.

Các bộ đánh giá "động" mới tập hợp yêu cầu được công bố sau ngày cắt kiến thức của LLM, nhưng giả định này chưa được kiểm tra: những yêu cầu này vẫn có thể xác minh được bằng cách sử dụng thông tin công cộng trước ngày cắt hoặc tổng hợp nhiều sự kiện cũ.

II. Main Idea:​

Nghiên cứu này kiểm tra lại giả định rằng đánh giá động không có sự ô nhiễm bằng cách:

  1. Xây dựng đường ống phát hiện ô nhiễm: yêu cầu LLM tạo bài báo kiểm chứng dựa trên kiến thức tham số của nó, sau đó so sánh bằng chứng được tạo với bằng chứng của con người (sử dụng ba số liệu giống nhau: METEOR, Gemma-Embedding, Qwen-Embedding)

  2. So sánh hai bộ dữ liệu: bộ tĩnh AVeriTeC (yêu cầu từ năm 2020) và bộ động ClaimReview2025Q4 (yêu cầu từ Q4 2025)

  3. Đánh giá tác động: chạy hệ thống MAFC SOTA trên các yêu cầu ô nhiễm vs sạch để đo xem ô nhiễm làm thay đổi hiệu suất như thế nào

Ví dụ đời thường: giống như kiểm toán viên nghi ngờ kế toán công ty có thể "ghi nhớ" các con số từ trước bằng cách hỏi họ cộng toán theo trí nhớ, rồi so sánh với số từ tài liệu gốc để phát hiện gian lận.

III. Main Results:​

  • (RQ1) Đánh giá động giảm nhưng không loại bỏ hoàn toàn ô nhiễm: 17.09%–29.30% yêu cầu sau ngày cắt vẫn bị ô nhiễm
  • (RQ2) Ô nhiễm xảy ra vì yêu cầu mới thường có thể xác minh được bằng cách áp dụng trực tiếp kiến thức cũ (ví dụ: luật EMTALA từ năm 1986, tuổi của Barron Trump + yêu cầu tuổi Thượng viện)
  • (RQ3) Ô nhiễm phình ra hiệu suất đáng kể: Macro-F1 tăng lên tới 11.34 điểm, thay đổi xếp hạng mô hình; LLM giảm số bước tìm kiếm khi yêu cầu ô nhiễm
  • (RQ4) Khi kiểm soát ô nhiễm nghiêm ngặt (chỉ giữ yêu cầu không ô nhiễm cho tất cả 6 mô hình): tất cả mô hình đều dưới 56% Macro-F1; DeepSeek-V3.2 cao nhất

IV. Conclusion & Future Works:​

Công trình này thách thức giả định rằng ngày cắt là bảo vệ duy nhất chống ô nhiễm. Các nhà nghiên cứu cần:

  • Di chuyển vượt qua bộ lọc dựa trên timestamp bằng cách kiểm soát tính mới lạ của yêu cầu
  • Sử dụng đường ống phát hiện này để làm sạch các bộ dữ liệu MAFC hiện tại
  • Mở rộng kiểm tra ngoài tiếng Anh để tăng cường xác thực thông tin đa ngôn ngữ

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển phương pháp phát hiện ô nhiễm tinh vi hơn vượt qua sự trùng lặp bằng chứng rõ ràng, bắt các tái ứng dụng ẩn của kiến thức cũ bằng cách phân tích chuỗi suy luận của LLM.
  2. Thiết kế cơ chế thu thập yêu cầu động tích cực tái cân bằng nhãn (Supported/Refuted/Not Enough Evidence) thay vì phụ thuộc vào sự phân bố tự nhiên từ các cơ quan kiểm chứng.
  3. Khám phá cách bộ lọc ô nhiễm ảnh hưởng đến đánh giá công bằng trên các nhóm dân cư khác nhau (ví dụ: yêu cầu về sự kiện địa phương vs toàn cầu) để tránh thiên vị đánh giá.

2. Patent:​

  1. Công cụ làm sạch dữ liệu cho các nền tảng kiểm chứng tự động: API nhận yêu cầu và ngày cắt kiến thức của LLM, trả về điểm ô nhiễm dựa trên ba số liệu giống nhau, cho phép tổ chức lọc yêu cầu rủi ro cao khỏi huấn luyện.
  2. Hệ thống xếp hạng động cho LLM dành cho fact-checking: thay vì dùng bộ tĩnh cũ, định kỳ (hàng quý) tạo bộ yêu cầu mới từ ClaimReview, chạy hệ thống trên bộ không ô nhiễm (kiểm soát qua đường ống), xuất bảng xếp hạng mô hình chính xác hơn.
  3. Plugin cho các đơn vị kiểm chứng nhân sự: trước khi công bố bài báo kiểm chứng mới, kiểm tra xem LLM có thể tạo lại bằng chứng từ kiến thức cũ không; nếu có, gắn cờ để biên tập viên thêm bằng chứng mới để bài báo chứng thực được thực sự.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.23514
ArXiv Abstracthttps://arxiv.org/abs/2607.23514
PDF Downloadhttps://arxiv.org/pdf/2607.23514.pdf
Github Repositoryhttps://github.com/TrustworthyComp/Rethink-MAFC-Eval

9. Visual prompt engineering for video models (11 votes)​

Tác giả: Robert Geirhos, Yuxuan Li, Thaddäus Wiedemer, Neha Kalibhat, Zi Wang, et al.

Xuất bản lúc: 2026-07-28

Tag: Video Generation, Prompt Engineering, Visual Reasoning, Foundation Models, Image Editing

I. Main Problem:​

Video models hiện tại được coi là foundation models cho các tác vụ suy luận hình ảnh, nhưng input hình ảnh (visual prompt) vẫn được cố định trong khi text prompt được tối ưu hóa rộng rãi. Điều này tạo ra sự bất cân xứng: hình ảnh là tín hiệu điều kiện hóa chủ yếu (chiếm nhiều tokens) định nghĩa bối cảnh, bố cục và ràng buộc, nhưng chưa bao giờ được kỹ sư hóa một cách có hệ thống để cải thiện hiệu suất mô hình.

II. Main Idea:​

Visual Prompt Engineering (VIPE) - biến đổi hình ảnh đầu vào qua mô hình chỉnh sửa hình ảnh để cải thiện hiệu suất suy luận của video models, mà không thay đổi logic tác vụ. Quy trình 3 bước:

  • Ideator: đề xuất các biến đổi hình ảnh bằng ngôn ngữ tự nhiên (ví dụ: chuyển bản phác họa thành ảnh có chiều sâu 3D, thay quả bóng vẽ bằng quả bóng billiard thực tế)
  • Editor: áp dụng các chỉ dẫn biến đổi dùng mô hình chỉnh sửa hình ảnh để tạo ra các biến thể ứng cử viên
  • Filter (tùy chọn): lựa chọn biến thể chất lượng cao nhất bằng mô hình vision-language

Varriants được truyền đến video model để sinh video và đánh giá. Ví dụ đời thường: giống cách một giáo viên dạy học thay vì chỉ dùng bảng phác họa, còn vẽ những hình ảnh sống động, màu sắc để học sinh hình dung và giải quyết bài toán tốt hơn.

III. Main Results:​

  • VPCT (physics reasoning): Veo 3.1 cải thiện từ 41.3% → 59.3%; Omni Flash từ 56.3% → 67.5%; Wan từ gần mức cơ hội → trên 40%
  • Tự động hóa: Freeform ideation (VLM) và ACE (chỉnh sửa từng bước) đều tìm được các biến thể hiệu quả, giảm tỷ lệ lỗi lên tới 100% trên một số tác vụ
  • Test-time scaling: VIPE hiệu quả hơn self-consistency (majority voting) - một mẫu VIPE (+18pp) vượt 20 samples baseline (+8.7pp); kết hợp cả hai đạt 68%
  • Chi phí: VIPE rẻ hơn 8 lần so với tạo video, nên tối ưu tìm nhiều biến thể VIPE hơn tạo thêm video trên cùng prompt
  • Visual vs text: Visual prompt engineering thường hiệu quả hơn text prompt engineering; trên Sort 3 Numbers cả hai đạt ~80-86% so với 4% baseline
  • Consistency: Mỗi bước tăng độ thực tế, scene consistency tăng từ 0% (tổng hợp) → 59% (thực tế hoàn toàn); lý giải tại sao video sinh ra ổn định hơn

IV. Conclusion & Future Works:​

VIPE chứng minh rằng tối ưu hóa visual input tương tự như prompt engineering cho language models - hình ảnh là đòn bẩy mạnh mẽ để cải thiện suy luận video. Hiệu ứng chủ yếu xuất phát từ mô hình bias về tính thực tế: video models được huấn luyện chủ yếu trên video thực tế, nên gặp bản phác họa trừu tượng dẫn đến object hallucination và mất consistency. VIPE cầu nối khoảng cách biểu diễn này. Hướng tương lai: (1) tự động hóa tìm kiếm biến thể tốt hơn với closed-loop feedback; (2) hiểu sâu hơn realism bias qua các mô hình video khác nhau; (3) áp dụng cho các tác vụ video reasoning phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tương tác giữa realism bias, architecture model, và dữ liệu huấn luyện - tại sao video models (không phải image models) lại cực kỳ nhạy cảm với độ trừu tượng của input hình ảnh.
  2. Phát triển phương pháp tìm kiếm VIPE tối ưu dùng reinforcement learning hoặc Bayesian optimization để học trực tiếp từ feedback suy luận, thay vì heuristic open-loop hiện tại.
  3. Mở rộng VIPE cho các tác vụ vision-language khác ngoài video reasoning (VQA, image understanding) và nghiên cứu khi nào visual engineering mạnh hơn text engineering.

2. Patent:​

  1. Plugin tự động chỉnh sửa ảnh cho các ứng dụng AI trên điện thoại: người dùng chụp ảnh phác họa tác vụ (bản vẽ puzzle, sơ đồ), app tự biến đổi thành ảnh thực tế qua API chỉnh sửa, rồi gửi mô hình AI suy luận - cải thiện độ chính xác mà người dùng không nhận ra.
  2. Hệ thống robot thích ứng động: khi robot được đặt trong môi trường mới (phòng khác, điều kiện ánh sáng), camera ghi video thành phác họa của các vật thể (thông qua edge detection), hệ thống tự biến đổi thành ảnh thực tế trong bối cảnh đó rồi chỉ thị robot hành động - không cần retrain.
  3. Công cụ tối ưu hóa hình ảnh cho AI reasoning trong y tế: X-ray, MRI của bệnh nhân có thể phác họa trừu tượng, công cụ tự biến đổi thành hình ảnh chi tiết hơn trước khi gửi mô hình chẩn đoán AI - tăng độ chính xác mà không đề cao độ phơi nhiễm bức xạ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.25537
ArXiv Abstracthttps://arxiv.org/abs/2607.25537
PDF Downloadhttps://arxiv.org/pdf/2607.25537.pdf
Github RepositoryN/A

10. Wonder: Video World Model Done Better (11 votes)​

Tác giả: Jiacong Xu, Hanwen Jiang, Zhixin Shu, Kalyan Sunkavalli, Vishal M. Patel, et al.

Xuất bản lúc: 2026-07-28

Tag: Video World Models, Diffusion Transformers, Camera Control, Autoregressive Generation, Real-time Streaming, Video-to-Video Re-rendering

I. Main Problem:​

Video world models hiện tại không thể đồng thời đạt được ba yêu cầu: (1) điều khiển camera chính xác theo quỹ đạo người dùng, (2) giữ bộ nhớ dài hạn consistent khi camera tái thăm vùng cũ, và (3) inference thời gian thực với độ trễ ổn định khi sinh dài đến phút. Các phương pháp hiện có:

  • Camera control chính xác nhưng chậm, không thích ứng với vùng chưa từng thấy
  • Sinh tự hồi quy nhanh nhưng không tuân lệnh camera hoặc mất thông tin dài hạn
  • Dùng bộ nhớ đầy đủ để giữ chi tiết nhưng độ trễ tăng tuyến tính theo chiều dài sinh

II. Main Idea:​

Wonder thiết kế hệ thống end-to-end với ba thành phần lõi phối hợp:

1. Điều khiển camera bằng trường tọa độ pixel-space: thay vì mã hóa camera pose thành embedding trừu tượng (khó cho mô hình liên kết với chuyển động ảnh) hoặc tái render điểm mây cố định (trống khi camera vượt ngoài vùng quan sát), Wonder render một khung cảnh tổng hợp với lưới 3D mật đặc và bản đồ môi trường vô hạn. Chuyển động camera trở thành tín hiệu trực quan canh lề pixel—giống như vẽ sơ đồ tham chiếu để mô tả cách một vật dịch chuyển và quay.

2. Bộ nhớ thưa nhưng đầy đủ cho sinh dài hạn: thay vì nén lịch sử (mất chi tiết) hay dùng cửa sổ trượt (mất tái thăm), Wonder giữ toàn bộ KV cache gốc nhưng chỉ chọn một tập nhỏ không đổi các khung thích liên quan mỗi bước qua so sánh độ tương tự giữa query và key tóm tắt. Kết quả: giữ bộ nhớ chi tiết đúng nơi cần mà chi phí attention không tăng—như độc giả kiểm tra chỉ mục sách thay vì đọc toàn bộ để tìm trang liên quan.

3. Cải thiện distillation tự-forcing: giới hạn của một student đơn khi phải xấp xỉ teacher nhiều bước bằng bước ít gây mất mode và drift camera. Wonder dùng mixture-of-students (ba generator khác nhau cho ba giai đoạn nhiễu) tăng khả năng mà không tăng latency, và GAN control regularizer để giám sát camera consistency trực tiếp qua feature khác biệt tần thấp.

III. Main Results:​

  • Sinh phút-level (60 giây) với video diverse tại 16 FPS và độ trễ ổn định khi lịch sử phát triển
  • Image-to-video: chất lượng visual và tuân lệnh camera vượt mô hình world streaming gần đây
  • Video-to-video: bảo toàn động học cảnh gốc trong khi cho phép tái quay tự do, tác vụ chưa được explore đầy đủ trước đó
  • Tái thăm consistent: camera quay lại vùng cũ vẫn giữ hình học và mặt ngoài rõ nét, không bị "lạng quạng"
  • Beyond observed views: sinh tin tưởng được các vùng chưa thấy trong frame input (khác các phương pháp phụ thuộc reconstruction point cloud)

IV. Conclusion & Future Works:​

Wonder chứng minh rằng co-design hệ thống (điều khiển, bộ nhớ, distillation) giải quyết được các xung đột trước đây giữa độ chính xác, bộ nhớ và latency. Bằng cách làm cho camera motion thành tín hiệu trực quan thay vì nhúng trừu tượng, và đặc biệt bằng sparse attention content-aware thay vì nén/cửa sổ, mô hình có thể sinh dài hạn ổn định mà vẫn tái thăm chi tiết. Hướng tương lai: (1) mở rộng sang các chế độ điều khiển phong phú hơn (động tác vật thể, tương tác), (2) tối ưu hóa chiến lược thu gọn để tích cực chọn khung thích liên quan thay vì sơ cấp đơn giản, (3) áp dụng world model tương tác cho robotics và game tạo sinh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Wonder sang điều khiển tương tác đa phương thức: cho phép người dùng hoặc agent không chỉ thay đổi camera mà còn chỉ định hành động vật thể (di chuyển nhân vật, tương tác đồ vật); nghiên cứu cách bộ nhớ thưa co-design với trạng thái vật thể động.
  2. Khôi phục hình học từ dòng video sinh dài hạn: sử dụng ước lượng camera track từ Wonder để xây dựng lại geometry 3D consistent của cảnh qua các quỹ đạo khác nhau, cho phép chỉnh sửa vật thể 3D trong cảnh sinh.
  3. World modeling có điều kiện ngôn ngữ: duyệt qua world toàn cảnh qua lệnh tự nhiên (ví dụ 'quay lên, di chuyển sang trái để xem bên kia ghế sofa'), kết hợp camera policy với hành động học từ lệnh.

2. Patent:​

  1. Xem trước sản phẩm ngoại tuyến trên điện thoại: khi dùng camera điện thoại chụp một sản phẩm từ một góc, ứng dụng sinh một mô hình thế giới 3D có thể điều hướng. Người dùng xoay, phóng to, khám phá điểm chi tiết từ các góc độ mà sản phẩm thực tế không có ảnh đã chụp—ứng dụng thương mại điện tử, quản lý hàng tồn kho, kiểm tra chất lượng.
  2. Hệ thống bảo mật ảo tương tác: camera an ninh quay một vùng, mô hình sinh ra thế giới có thể tái quay lại theo bất kỳ quỹ đạo camera nào. Cho phép điều tra tội phạm 'xem lại sự kiện từ góc khác' mà không cần quay lại mục tiêu, hoặc tái sản xuất cảnh để phục vụ tòa án.
  3. Tạo video quảng cáo 4D từ ảnh sản phẩm: từ một ảnh sản phẩm tĩnh, tạo ra video quay quanh sản phẩm có phong cảnh nền động phía sau (tự do lựa chọn câu chuyện nền). Người bán chỉ cần ảnh sản phẩm tĩnh + mô tả cảnh; hệ thống sinh video cao cấp không tốn chi phí quay phim thực.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.26037
ArXiv Abstracthttps://arxiv.org/abs/2607.26037
PDF Downloadhttps://arxiv.org/pdf/2607.26037.pdf
Github RepositoryN/A

11. PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models (10 votes)​

Tác giả: Zichao Lin, Yifeng Xie, Bowen Qu, Haiming Wang, Jia Li, et al.

Xuất bản lúc: 2026-07-27

Tag: Multimodal LLMs, Visual Perception, Benchmark Design, Atomic Capabilities, Failure Attribution

I. Main Problem:​

Các benchmark hiện có không cô lập được nhận thức hình ảnh khỏi khả năng suy luận và kiến thức miền. Kết quả:

  • đánh giá toàn diện làm nhầm lẫn lỗi tri giác với lỗi suy luận hoặc thiếu kiến thức
  • các benchmark theo tác vụ chỉ bao phủ các lát cắt hẹp, không cân bằng của không gian tri giác
  • không thể chẩn đoán những khả năng tri giác cụ thể mà mô hình thiếu

II. Main Idea:​

PerceptionBench - một benchmark từ dưới lên dựa trên các lỗi thực tế của các mô hình biên giới. Quy trình:

  • phân tích các lỗi của 16 mô hình MLLM trên 42 benchmark hiện có
  • gán nhãn lỗi cho từng bước sai sót đầu tiên trong chuỗi suy luận
  • phân cụm các nhãn để phát hiện 10 khả năng tri giác nguyên tử: định vị hình ảnh, nhận dạng thuộc tính, đếm, hiểu quan hệ, tri giác độ sâu/3D, OCR, so sánh, nhận dạng chi tiết, tích hợp bối cảnh, ảo giác tri giác
  • xây dựng 3.000 câu hỏi đã xác minh, mỗi câu cô lập một khả năng duy nhất

Ví dụ đời thường: giống như bác sĩ chẩn đoán bằng cách theo dõi bước đầu tiên bệnh nhân đi sai trong qui trình khám, chứ không chỉ xem kết quả cuối cùng.

III. Main Results:​

  • Không có mô hình nào đạt 60% độ chính xác - GPT-5.6-Sol dẫn đầu với 59,7%, Kimi K3 đạt 58,5%
  • Ảo giác tri giác là khả năng yếu nhất - trung bình chỉ 36,7% độ chính xác, thậm chí GPT-5.6-Sol chỉ 26,9%
  • Các mô hình có điểm số gần nhau nhưng hồ sơ khả năng khác nhau rất lớn - ví dụ GPT-5.5 và Gemini-3.1-Pro (55,8% vs 56,2%) khác nhau 13 điểm ở định vị
  • Tri giác không ổn định theo từng mẫu - pass@4 vs pass↓4 gap cho thấy mô hình giải quyết câu hỏi không nhất quán qua các lần chạy
  • Ranh giới mã nguồn mở đóng lại - Kimi K3 (mã nguồn mở) chỉ kém 1,2 điểm so với lãnh đạo toàn cầu

IV. Conclusion & Future Works:​

PerceptionBench cung cấp chẩn đoán khả năng cấp độ - thay vì chỉ cấp điểm tổng thể, nó tiết lộ mỗi mô hình yếu ở đâu cụ thể. Phát hiện chính: tri giác nguyên tử vẫn là nút thắt cổ chai của các MLLM hiện đại, ngay cả những mô hình hàng đầu cũng không đạt 60%. Hướng tương lai: (1) tái cảm ứng taxonomy khi mô hình cải thiện; (2) kết hợp với các benchmark hướng tác vụ để dự đoán hiệu suất end-to-end; (3) phân tích các chiến lược cải tiến tri giác có mục tiêu dựa trên hồ sơ khác nhau của từng mô hình.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PerceptionBench cho các lĩnh vực chuyên biệt (hình ảnh y tế, ảnh vệ tinh, sơ đồ khoa học) để xác định xem những khả năng tri giác nào lại nổi bật trong các miền này.
  2. Phát triển phương pháp cải thiện tri giác có mục tiêu - một khi biết mô hình yếu ở OCR hay ảo giác, thiết kế các chiến lược fine-tuning hoặc augmentation dữ liệu cụ thể cho từng khả năng.
  3. Nghiên cứu mối liên hệ giữa khả năng tri giác nguyên tử và hiệu suất tác vụ cuối cùng - xác định nhóm khả năng nào nhất thiết phải có để giải quyết tốt các tác vụ phức tạp.

2. Patent:​

  1. Hệ thống đánh giá MLLMs tự động cho ứng dụng di động - app được tài trợ chạy bộ kiểm tra nhanh (50-100 câu hỏi) từ PerceptionBench để đo tri giác của mô hình cục bộ (ví dụ: độ nhận diện đối tượng, đọc văn bản) trước khi triển khai trực tuyến.
  2. Plugin tuning cho máy khách - dựa trên hồ sơ khía cạnh tri giác từ PerceptionBench, tự động chọn prompt hoặc chiến lược xử lý tiền xử lý hình ảnh để bù đắp điểm yếu cụ thể của mô hình (ví dụ: thêm instruction nếu yếu ở OCR).
  3. Bộ cảnh báo tri giác cho robot/xe tự hành - triển khai các câu hỏi PerceptionBench nhỏ gọn trên thiết bị để phát hiện khi tri giác suy giảm (camera bụi, ánh sáng kém) trước khi ra quyết định quan trọng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.24957
ArXiv Abstracthttps://arxiv.org/abs/2607.24957
PDF Downloadhttps://arxiv.org/pdf/2607.24957.pdf
Github RepositoryN/A