Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-07-24

Báo cáo được tạo tự động vào lúc 2026-07-25 10:16:56 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. AREX: Towards a Recursively Self-Improving Agent for Deep Research (118 votes)​

Tác giả: Shuqi Lu, Chaofan Li, Kun Luo, Zhang Zhang, Hui Wang, et al.

Xuất bản lúc: 2026-07-23

Tag: Deep Research, Recursive Self-Improvement, Agent, Reinforcement Learning, Tool Use, Multi-Constraint Verification, BrowseComp

I. Main Problem:​

Nghiên cứu sâu (deep research) đòi hỏi câu trả lời phải đồng thời thỏa mãn nhiều ràng buộc liên kết, nhưng các hệ thống hiện tại chủ yếu kéo dài một quỹ đạo tìm kiếm đơn bằng thêm suy luận, công cụ hoặc ngữ cảnh. Cách làm này không đảm bảo tiến bộ có hệ thống:

  • lỗi ban đầu có thể tồn tại suốt quá trình
  • các hướng đã tìm kiếm bị lặp lại
  • câu trả lời chỉ đúng một phần bị chấp nhận quá sớm

Bản chất là mất cân xứng khám phá–xác minh: tìm đáp án thỏa mãn đồng thời nhiều điều kiện rất tốn kém, nhưng kiểm tra một đáp án ứng viên lại có thể tách thành các bước kiểm chứng từng ràng buộc. Thách thức then chốt là xác định ràng buộc nào chưa được giải quyết và dùng chẩn đoán đó để định hình câu hỏi nghiên cứu tiếp theo.

II. Main Idea:​

AREX (Recursively Self-Improving agent) tổ chức nghiên cứu sâu thành hai vòng lặp lồng nhau:

  • Vòng nghiên cứu trong (inner loop): thu thập bằng chứng, tích hợp và xây dựng câu trả lời tạm thời kèm điểm tin cậy.
  • Vòng tự cải thiện ngoài (outer loop): kiểm toán câu trả lời theo từng ràng buộc, phát hiện khẳng định chưa được hỗ trợ, rồi phát sinh mục tiêu nghiên cứu tiếp theo nhắm đúng vào điểm yếu đó.

AREX tự quyết định chấp nhận, tinh chỉnh (refine) hay khởi động lại (restart) dựa trên điểm tin cậy và khả năng phục hồi của quỹ đạo. Để duy trì đệ quy trong chuỗi dài, nó học cách gọi công cụ update_context tự chủ, nén lịch sử tương tác thành improvement state gọn gàng: giữ bằng chứng đã xác minh, ghi trạng thái thỏa ràng buộc, làm nổi bật khoảng trống thông tin chưa giải quyết và lập kế hoạch bước tiếp theo.

Ví dụ đời thường: giống như thám tử không chỉ chạy lung tung hỏi han, mà cứ sau một hồi điều tra lại ngồi lại sắp xếp manh mối đã xác thực, xem còn điểm nào chưa chứng minh, rồi cử người đi tìm đúng bằng chứng còn thiếu thay vì lặp lại chỗ đã hỏi.

III. Main Results:​

  • AREX-Base (Qwen3.5-122B-A10B MoE) và AREX-Turbo (Qwen3.5-4B dense) được huấn luyện qua ba giai đoạn: supervised capability acquisition, agentic mid-training và reinforcement learning cho chuỗi dài.
  • Trên BrowseComp, AREX-Base đạt 82.5, chỉ sau Kimi-K2.6 (83.2); AREX-Turbo đạt 70.7.
  • Trên GAIA: AREX-Base 85.4, AREX-Turbo 81.6.
  • Trên DeepSearchQA: AREX-Base 89.9; trên WideSearch: 82.0.
  • Trên Humanity's Last Exam (tools): AREX-Base 52.4, vượt nhiều mô hình lớn hơn.
  • Trên xbench-2510: AREX-Base 71.0.
  • Kết quả cho thấy AREX vượt trội so với các baseline cùng quy mô và cạnh tranh với mô hình có nhiều tham số được kích hoạt hơn, chứng minh cải thiện trạng thái nghiên cứu đệ quy là con đường hiệu quả.

IV. Conclusion & Future Works:​

AREX cho thấy nghiên cứu sâu hiệu quả hơn khi chuyển từ tìm kiếm dài hơn sang cải thiện đệ quy trạng thái nghiên cứu dựa trên xác minh từng ràng buộc. Việc bảo toàn tiến bộ đã xác minh, cô lập điểm chưa chắc chắn và tái định hình mục tiêu nghiên cứu giúp agent tránh lặp vòng và tận dụng bằng chứng có chọn lọc.

Hướng tương lai: mở rộng AREX cho các miền nghiên cứu khoa học đòi hỏi thiết kế thí nghiệm; cải thiện công cụ update_context để nén ngữ cảnh hiệu quả hơn trong hàng nghìn bước; kết hợp nhiều agent cùng kiểm chứng chéo các ràng buộc; và phát triển cơ chế tin cậy thích ứng thay vì ngưỡng cố định.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung Recursive Self-Improvement sang nghiên cứu khoa học tự động, trong đó agent không chỉ tìm kiếm bằng chứng mà còn đề xuất thí nghiệm tiếp theo để giải quyết ràng buộc chưa xác minh.
  2. Kết hợp nhiều AREX agent chuyên môn hóa, mỗi agent đảm nhận một tập ràng buộc và kiểm chứng chéo kết quả của nhau để nâng cao độ tin cậy của câu trả lời cuối cùng.
  3. Nghiên cứu cách học ngưỡng tin cậy động và chiến lược dừng thích ứng trong RSI, thay vì dùng ngưỡng cố định, để cân bằng giữa chi phí tìm kiếm và chất lượng câu trả lời.

2. Patent:​

  1. Trợ lý nghiên cứu trên điện thoại thông minh: người dùng đặt câu hỏi đa ràng buộc, ứng dụng tự động tìm kiếm, xây dựng câu trả lời tạm, kiểm toán từng khẳng định, rồi thực hiện thêm các truy vấn nhắm đúng điểm chưa chứng minh và trả về đáp án có điểm tin cậy cùng trích dẫn nguồn.
  2. Hệ thống rà soát tài liệu doanh nghiệp: kiểm tra hợp đồng, báo cáo hoặc chính sách theo từng điều kiện tuân thủ, tự phát hiện điểm thiếu bằng chứng và tạo nhiệm vụ nghiên cứu bổ sung cho pháp lý hoặc kiểm toán.
  3. Trợ lý tổng hợp y văn: đọc hàng loạt bài báo y khoa, xác minh từng kết luận dựa trên trích dẫn, đánh dấu khẳng định chưa được bằng chứng hỗ trợ, và tự động tìm thêm nghiên cứu liên quan để hoàn thiện khuyến nghị lâm sàng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.21461
ArXiv Abstracthttps://arxiv.org/abs/2607.21461
PDF Downloadhttps://arxiv.org/pdf/2607.21461.pdf
Github Repositoryhttps://github.com/VectorSpaceLab/arex-model

2. ReferTrack: Referring Then Tracking for Embodied Visual Tracking (45 votes)​

Tác giả: Hanjing Ye, Tianle Zeng, Jiazhao Zhang, Shaoan Wang, Zibo Zhang, et al.

Xuất bản lúc: 2026-07-22

Tag: Vision-Language-Action, Embodied Visual Tracking, Visual Grounding, Robotics, Chain-of-Thought Reasoning

I. Main Problem:​

Các chính sách Vision-Language-Action (VLA) hiện tại cho embodied visual tracking (EVT) gộp chung nhận diện mục tiêu và lập kế hoạch quỹ đạo, nhưng bước chain-of-thought (CoT) của chúng thường suy luận trong không gian tiềm ẩn trừu tượng (tọa độ cực, v.v.). Hệ quả:

  • khó giám sát trực tiếp vì không gắn với hình ảnh thực
  • căn chỉnh yếu với detection trong không gian ảnh, dẫn đến nhầm lẫn trong cảnh đông người hoặc mục tiêu tương tự nhau
  • cần nhiều camera hoặc tinh chỉnh RL tốn kém để bù đắp.

II. Main Idea:​

ReferTrack đề xuất referring-then-tracking: tách nhận diện mục tiêu thành bài toán chọn một bounding box được đánh số từ danh sách candidate hiện có trong ảnh, rồi mới dự đoán quỹ đạo đuổi theo.

Quy trình:

  • Candidate catalog: detector trích xuất các pedestrian bbox và đánh chỉ số <ped_1>…<ped_K> cộng token <NO_EXIST>
  • Refer-CoT: LLM xuất một token duy nhất chọn mục tiêu khớp mô tả ngôn ngữ
  • TVBI memory: hàng đợi bbox mục tiêu đã chọn trong cửa sổ trượt được nhúng vào lịch sử ảnh qua temporal-viewpoint-bbox indicator (TVBI) tokens để giữ dấu hiệu chuyển động
  • Refer-QA co-training: huấn luyện kèm bộ dữ liệu tĩnh cùng giao diện chọn bbox để tăng khả năng grounding

Ví dụ đời thường: giống như khi được yêu cầu “tìm người mặc áo xanh” trong đám đông, bạn không tưởng tượng vị trí trừu tượng mà lần lượt chỉ từng người trong tầm nhìn (“A? B? C? — đúng là C”), rồi sau đó mới quyết định bước đi và nhớ vị trí của C để không để lạc.

III. Main Results:​

  • Trên EVT-Bench với chỉ một camera trước, ReferTrack đạt state-of-the-art trong nhóm single-view:
    • Single-Target Tracking: 89.4% SR / 92.5% TR / 1.6 CR
    • Distracted Tracking: 73.3% SR / 81.8% TR / 7.6 CR
    • Ambiguity Tracking: 74.1% SR / 85.7% TR / 7.7 CR
  • Vượt TrackVLA++ single-view rõ rệt: +6.8 SR và +13.0 TR trên DT, +22.9 SR và +22.3 TR trên AT.
  • Chỉ dùng Qwen3-4B + SFT (không RL), không cần nhiều camera, vẫn sánh ngang hoặc vượt một số baseline multi-camera trên tác vụ nặng về nhận diện.
  • Ablation cho thấy Refer-CoT là yếu tố then chốt (bỏ cả Refer-CoT và TVBI thì SR trên DT tụt 17.6%), còn TVBI giúp ổn định thêm 2.9% SR.
  • Triển khai thực tế trên Unitree Go2 (chân động vật) và Unitree G1 (humanoid) với một camera trước, chạy 10.6 Hz, detection 12 ms/frame.

IV. Conclusion & Future Works:​

ReferTrack chứng minh rằng việc grounding nhận diện mục tiêu trực tiếp trong không gian ảnh qua một token chọn bbox không chỉ dễ giám sát hơn mà còn hiệu quả hơn cả các phương pháp dùng nhiều camera hoặc RL trên các tác vụ đòi hỏi phân biệt mục tiêu. Hướng tương lai: mở rộng giao diện catalog cho nhiều loại đối tượng hơn, tích hợp tracker/ReID mạnh để cung cấp TVBI tự động khi detection thất bại, và khai thác thêm dữ liệu grounding/web-scale cho giai đoạn referring.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng referring-then-tracking cho tác vụ theo dõi đa mục tiêu: thay vì chọn một bbox, mô hình duy trì nhiều hàng đợi TVBI song song để robot có thể theo dõi nhiều người/nhiều đối tượng cùng lúc theo chỉ dẫn.
  2. Kết hợp module ReID hoặc tracker bên ngoài với Refer-CoT để xử lý trường hợp mục tiêu ra khỏi tầm nhìn dài hạn, tận dụng TVBI như bộ nhớ định danh thay vì chỉ dựa vào detection từng khung hình.
  3. Áp dụng paradigm catalog-based referring cho navigation nói chung (object-goal, VLN) bằng cách đánh chỉ số các vùng ảnh quan trọng và yêu cầu LLM chọn mục tiêu trước khi lập kế hoạch hành động.

2. Patent:​

  1. Hệ thống theo dõi người trên robot phục vụ/robot giao hàng: người dùng nói “theo người mặc áo xanh”, camera trước robot liệt kê candidate, mô hình chọn đúng người bằng một token, sau đó điều khiển động cơ duy trì khoảng cách 1–3 m trong khi tránh vật cản.
  2. Tính năng theo dõi chủ thể trên điện thoại thông minh cho quay phim di động: ứng dụng chọn mục tiêu từ các bbox được đánh số trong khung hình, sau đó tự động điều chỉnh gimbal/góc máy và cảnh báo khi mục tiêu bị che khuất hoặc ra khỏi khung hình.
  3. Module hướng dẫn robot hình người trong siêu thị/sân bay: nhân viên bảo mật mô tả đặc điểm nghi phạm qua giọng nói, robot dùng ReferTrack để xác định và bám theo mục tiêu giữa đám đông bằng một camera duy nhất.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.20061
ArXiv Abstracthttps://arxiv.org/abs/2607.20061
PDF Downloadhttps://arxiv.org/pdf/2607.20061.pdf
Github Repositoryhttps://github.com/MedlarTea/referTrack

3. K12-KGraph: A Curriculum-Aligned Knowledge Graph for Benchmarking and Training Educational LLMs (42 votes)​

Tác giả: Hao Liang, Qihan Lin, Zhaoyang Han, Xiaochen Ma, Zhen Hao Wong, et al.

Xuất bản lúc: 2026-07-23

Tag: Knowledge Graphs, Educational AI, K-12 Education, Curriculum Cognition, Benchmark, Supervised Fine-Tuning, Multimodal VQA, LLMs, VLMs, Textbooks

I. Main Problem:​

Các benchmark giáo dục K–12 hiện tại (C-Eval, CMMLU, GaokaoBench, EduEval) chỉ đo khả năng trả lời câu hỏi thi — tức ghi nhớ sự kiện. Chúng bỏ qua curriculum cognition: hiểu cấu trúc chương trình như chuỗi tiên quyết, phân loại khái niệm, liên kết thí nghiệm–lý thuyết, trình tự sư phạm và cách hình ảnh minh họa trong sách giáo khoa hỗ trợ kiến thức. Hậu quả:

  • mô hình có thể giải đề nhưng không hiểu nội dung nằm ở đâu, cần học gì trước;
  • thiếu dữ liệu huấn luyện dạy cấu trúc này một cách tường minh.

II. Main Idea:​

Tác giả xây dựng K12-KGraph, một knowledge graph căn chỉnh chính thức với sách giáo khoa Nhân dân Giáo dục (Trung Quốc), bao gồm toán, lý, hóa, sinh từ tiểu học đến trung học phổ thông. Đồ thị có 9 loại nút (Book, Chapter, Section, Concept, Skill, Experiment, Exercise, Figure, VisualElement) và 14 loại quan hệ, gồm cả thành phần văn bản và thành phần đa phương thức. Từ một đồ thị duy nhất, họ rút ra hai tài nguyên bổ sung:

  • K12-Bench: 23.640 câu hỏi chọn nhiều đáp án thuộc 5 nhóm tác vụ (Ground, Prereq, Neighbor, Evidence, Locate) để đo lường curriculum cognition.
  • K12-Train: 7.335 mẫu SFT hướng dẫn bởi KG, gồm 2.267 mẫu văn bản và 5.068 mẫu đa phương thức.

Quy trình xây dựng: OCR sách giáo khoa, trích xuất KG theo schema bằng LLM, hợp nhất phân cấp giữa các mục/sách, kiểm tra topo DAG cho quan hệ is_a và prerequisites_for, và xác minh bởi chuyên gia.

Ví dụ đời thường: giống như một giáo viên giỏi không chỉ biết đáp án bài tập mà còn biết phần nào là tiên quyết, khái niệm nào liên quan, hình vẽ nào giải thích, và bài đó nằm chương mấy — K12-KGraph dạy mô hình cách “đọc sách giáo khoa như giáo viên” thay vì chỉ học thuộc đáp án.

III. Main Results:​

  • Trên K12-Bench, các mô hình mạnh vẫn kém ở cấu trúc chương trình: Gemini-3-Flash đạt 57% exact match, Gemma-4-31B-IT 46%, còn LLaMA-3-8B-Instruct gần như đoán ngẫu nhiên (~7%). Hai nhóm tác vụ khó nhất là Prereq (tiên quyết) và Neighbor (quan hệ/lân cận).
  • K12-Train-Text (2.267 mẫu) vượt trội so với 8 bộ dữ liệu instruction-tuning phổ thông (OpenHermes, Infinity, UltraChat, WizardLM, DataFlow, LMSYS, SmolTalk, Tulu-3) khi cùng ngân sách ~2.300 mẫu trên cả GaokaoBench và EduEval, với cả hai backbone Qwen3-4B và Llama3.1-8B.
  • Với VLMs, K12-Train-Full (7.335 mẫu) đạt hiệu suất tổng thể tốt nhất trên Gaokao-MM, MDK12-Bench, K12Vista, dù nhỏ hơn nhiều so với DataFlow (10.000) và WizardLM (142.759); kết hợp văn bản + đa phương thức luôn vượt riêng lẻ từng loại.

IV. Conclusion & Future Works:​

Một knowledge graph căn chỉnh chương trình học có thể đồng thời làm cả benchmark chính xác và nguồn huấn luyện hiệu quả cho LLM/VLM giáo dục. Dữ liệu dạy cấu trúc (không chỉ nội dung) giúp bù đắp điểm yếu của các mô hình tổng quát trong bối cảnh K–12.

Hướng tương lai:

  • mở rộng KG sang thêm môn học, cấp học và ngôn ngữ;
  • tích hợp KG vào hệ thống gia sư thông minh để lập lộ trình học cá nhân hóa;
  • phát triển cơ chế cập nhật đồ thị từ phản hồi giáo viên và học sinh để duy trì tính chính xác theo thời gian.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng K12-KGraph sang chương trình giáo dục quốc tế (ví dụ Common Core, chương trình Việt Nam) để xây dựng benchmark đa ngôn ngữ cho curriculum cognition.
  2. Kết hợp knowledge graph chương trình học với mô hình gợi ý lộ trình học cá nhân, dùng quan hệ prerequisites_for để điều chỉnh thứ tự bài học theo năng lực từng học sinh.
  3. Nghiên cứu cách tích hợp KG giáo dục vào quá trình suy luận dài hạn (chain-of-thought) của LLM, cho phép mô hình giải thích tại sao một bước giải phụ thuộc vào kiến thức tiên quyết.

2. Patent:​

  1. Ứng dụng di động gia sư cá nhân: chụp ảnh bài tập hoặc hình vẽ trong sách giáo khoa, ứng dụng dùng K12-KGraph để xác định khái niệm liên quan, kiến thức tiên quyết còn thiếu và đề xuất bài học/bài tập bổ sung phù hợp với chương trình.
  2. Hệ thống tạo đề kiểm tra thông minh: từ danh sách chương/bài cần đánh giá, hệ thống duyệt KG để sinh câu hỏi đo đúng mức độ hiểu, kiểm tra cả nội dung và mối quan hệ giữa các khái niệm, thí nghiệm, hình vẽ.
  3. Thiết bị hỗ trợ học thí nghiệm tại nhà qua camera điện thoại: học sinh quay video thí nghiệm, hệ thống dùng KG liên kết thí nghiệm–khái niệm để giải thích hiện tượng, chỉ ra sai sót và nhắc lại lý thuyết tiên quyết.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.09635
ArXiv Abstracthttps://arxiv.org/abs/2605.09635
PDF Downloadhttps://arxiv.org/pdf/2605.09635.pdf
Github Repositoryhttps://github.com/haolpku/K12-Dataset

4. Visual Contrastive Self-Distillation (41 votes)​

Tác giả: Yijun Liang, Yunjie Tian, Yijiang Li, Yuqi Jia, Furong Huang, et al.

Xuất bản lúc: 2026-07-23

Tag: Self-Distillation, Vision-Language Models, Knowledge Distillation, On-Policy Distillation, Contrastive Learning, Visual Grounding, Qwen3-VL

I. Main Problem:​

On-policy self-distillation (OPSD) cho mô hình vision-language cần tạo bất đối xứng thông tin giữa teacher và student để teacher tự sinh tín hiệu học mạnh hơn dự đoán của student. Các phương pháp hiện tại tạo bất đối xứng bằng:

  • privileged answers hoặc reasoning traces (gợi ý đáp án cho teacher)
  • visual evidence signals (crop, vùng ảnh, điều kiện hình ảnh bổ sung)

Những tín hiệu này tốn chi phí xử lý thêm, cần annotation hoặc pipeline task-specific, và không phải lúc nào cũng sẵn có. Bài báo đặt câu hỏi: có thể xây dựng bất đối xứng chỉ từ điều kiện đầu vào, không cần thông tin phụ trợ?

II. Main Idea:​

Visual Contrastive Self-Distillation (VCSD) tạo tín hiệu teacher-student bằng cách đối chiếu phân phối next-token của cùng một EMA teacher dưới hai điều kiện hình ảnh:

  • ảnh gốc (original image)
  • ảnh điều khiển đã xóa nội dung (content-erased control, thường là ảnh đen cùng kích thước)

Tại mỗi prefix do student sinh, teacher tính log-probability của các token dưới cả hai điều kiện. Độ tương phản ∆t(v) = log pϕ(v|ảnh gốc) − log pϕ(v|ảnh điều khiển) chỉ ra token nào được ảnh thực tế ủng hộ mạnh hơn. VCSD sau đó:

  • giữ ảnh gốc làm neo plausibility để giới hạn tập ứng viên hợp lý
  • dùng ∆t(v) để sharpen phân phối teacher trong tập đó
  • distill target đã định hình vào student qua forward KL dọc theo on-policy trajectory

Không cần teacher bên ngoài, đáp án đặc quyền, visual evidence, reasoning trace, hoặc chi phí suy luận thêm.

Ví dụ đời thường: giống như giáo viên muốn biết câu trả lời nào của học sinh thực sự dựa vào đề bài, nên so sánh bài làm khi có đề gốc và khi đề đã bị xóa nội dung — chỉ những câu thay đổi rõ rệt giữa hai trường hợp mới là phần thực sự dùng thông tin từ đề.

III. Main Results:​

  • Qwen3-VL: Acc trung bình 7 benchmark tăng từ 62.27% → 67.04% (2B), 71.30% → 73.16% (4B), 72.51% → 76.26% (8B).
  • Qwen3.5: cải thiện +2.9% đến +4.3% so với base model ở các quy mô 2B/4B/9B.
  • VCSD vượt OPSD có gợi ý đáp án trên hầu hết cấu hình, ví dụ +2.54% trên Qwen3-VL-8B và +4.51% trên Qwen3.5-9B.
  • Cải thiện lan tỏa qua nhiều khả năng: nhận thức tổng quát (BLINK, MMStar), toán học trực quan (MathVista), nhận thức độ phân giải cao/tinh vi (V*, HRBench4K/8K), và giảm hallucination (HallusionBench).
  • Ablation chính: forward KL tốt hơn reverse KL và JSD; plausibility support β=0.1 ổn định hơn β=0; α∈[1,1.5] cho kết quả tốt; việc xóa nội dung ảnh bằng đen/nhiễu/blur/không ảnh đều cho kết quả tương đương.

IV. Conclusion & Future Works:​

VCSD chứng minh rằng bất đối xứng trong OPSD có thể xuất phát hoàn toàn từ điều kiện đầu vào — cụ thể là đối chiếu ảnh gốc và ảnh đã xóa nội dung — mà không cần đáp án đặc quyền hay tín hiệu visual evidence. Cách tiếp cận này giúc mô hình ground hơn vào bằng chứng trực quan instance-level, giảm phụ thuộc vào prior ngôn ngữ.

Hướng tương lai:

  • Mở rộng VCSD sang video hoặc các modality khác (audio, 3D) bằng cách thay đổi điều kiện đầu vào tương ứng.
  • Kết hợp với các kỹ thuật self-distillation khác (reasoning traces, verifiable rewards) để xem tín hiệu bổ trợ hay chồng chéo.
  • Khảo sát các chiến lược xây dựng ảnh điều khiển thông minh hơn (ví dụ: mask ngữ nghĩa thay vì xóa toàn bộ) cho các miền ứng dụng cụ thể.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng VCSD cho các tác vụ đa khung hình: thay vì ảnh đen, dùng frame trung bình hoặc frame bị che để tạo điều kiện điều khiển, kiểm tra xem đối chiếu temporal-visual có giúp video-language models giảm hallucination động.
  2. Kết hợp contrastive self-distillation với reinforcement learning từ phản hồi có thể kiểm chứng (ví dụ: câu trả lời đúng/sai trong toán học trực quan), để tận dụng cả tín hiệu phân phối dày đặc và tín hiệu reward thưa.
  3. Áp dụng tư tưởng input-conditioned contrast cho mô hình ngôn ngữ-thuần-túy: thay vì xóa ảnh, dùng prompt trống hoặc prompt generic để tạo tín hiệu self-distillation giúp model giảm reliance vào prior ngôn ngữ.

2. Patent:​

  1. Trợ lý hỏi-đáp ảnh trên điện thoại: ứng dụng camera so sánh phân phối câu trả lời khi có ảnh thật và khi ảnh bị che đen, chỉ giữ lại câu trả lời thực sự dựa vào nội dung hình ảnh — giảm trả lời bịa cho câu hỏi về sản phẩm, tài liệu, hoặc cảnh vật.
  2. Hệ thống kiểm tra chữ ký và tài liệu di động: quét tài liệu hai lần (bản gốc và bản trắng), dùng độ tương phản để xác định thông tin nào thực sự xuất phát từ tài liệu thay vì từ prior ngôn ngữ, hỗ trợ trích xuất và xác minh dữ liệu nhạy cảm trên điện thoại.
  3. Ứng dụng hỗ trợ người khiếm thị mô tả cảnh quay: điện thoại chụp ảnh thật và ảnh điều khiển, rồi làm nổi bật các từ mô tả được ảnh thực ủng hộ mạnh nhất, giúp người dùng tin tưởng hơn rằng mô tả không phải là hallucination từ prior ngôn ngữ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.21556
ArXiv Abstracthttps://arxiv.org/abs/2607.21556
PDF Downloadhttps://arxiv.org/pdf/2607.21556.pdf
Github Repositoryhttps://github.com/joliang17/VCSD

5. Show, Don't Tell: Evaluating Spatial Cognition in Generative Pixels Rather Than LLM Text (34 votes)​

Tác giả: Xu Wang, Kaixiang Yao, Miao Pan, Xiaohe Zhou, Xuanyu Liu, et al.

Xuất bản lúc: 2026-07-23

Tag: Spatial Cognition, Vision-Language Models, Image Generation, Benchmarking, Multimodal Evaluation, Generative Pixels

I. Main Problem:​

Các benchmark đánh giá nhận thức không gian hiện tại bắt buộc mô hình trả lời bằng tọa độ, nhãn lựa chọn hoặc mô tả văn bản, gây ra sự không khớp giữa giao diện câu trả lời và bản chất bài toán. Hệ quả:

  • các mô hình tạo ảnh (image-generation models) vốn diễn đạt phán đoán không gian qua pixel (vẽ, đánh dấu, chỉ vùng) không thể được đánh giá trực tiếp bằng các metric gốc;
  • các VLM trả lời văn bản phải ép phán đoán liên tục thành dãy số hoặc từ ngữ, gây bất tự nhiên và làm sai lệch kết quả;
  • việc dùng VLM thứ cấp làm judge bị phụ thuộc vào độ tin cậy của judge và khó so sánh công bằng giữa hai nhóm mô hình.

II. Main Idea:​

ProVisE (Protocolized Visual Evaluation) là khung đánh giá không phụ thuộc benchmark, cho phép mô hình tạo ảnh trả lời trực tiếp trong không gian pixel theo một giao thức (protocol) cố định, rồi chuyển đổi về dự đoán có cấu trúc để chấm bằng metric gốc. Quy trình:

  • xây dựng visual protocol pool: đánh dấu điểm/vùng, lưới hướng, bản đồ độ sâu tương đối, mặt nạ vùng, vẽ quỹ đạo, minh chứng trực quan;
  • Agentic builder tự động phân tích benchmark mới, chọn hoặc xây dựng giao thức phù hợp, kiểm định trước khi áp dụng;
  • parser xác định chuyển ảnh trả lời thành dạng chuẩn (nhãn, số đếm, mặt nạ, quỹ đạo…) rồi chấm bằng metric nguồn;
  • SpatialGen-Bench (470 mẫu, 14 subtask, 4 cấp độ năng lực) làm testbed chẩn đoán cho cả VLM văn bản và mô hình tạo ảnh dưới cùng ngữ nghĩa bài toán.

Khác cách dùng VLM judge sau khi sinh ảnh, ProVisE cố định giao thức trước, giữ nguyên metric gốc và chỉ thay đổi giao diện trả lời.

Ví dụ đời thường: giống như thay vì bắt học sinh mô tả bằng lời "hình tròn nằm ở tọa độ (120, 85)", ta cho học sinh dùng bút đánh dấu trực tiếp trên ảnh, rồi giáo viên đọc dấu đó và chấm theo đáp án gốc.

III. Main Results:​

  • Con người vẫn vượt trội: Overall 87.79%, trong khi mô hình tốt nhất mỗi nhóm đạt khoảng 54–61%.
  • VLM văn bản dẫn đầu tổng thể: GPT-5.4 đạt 61.04%; GPT Image 2 dẫn đầu nhóm trả lời bằng ảnh với 54.49%.
  • Mô hình tạo ảnh cạnh tranh khi câu trả lời có thể ngoại hóa trực tiếp trên pixel: vượt trội ở Depth (+18.85 điểm so với nhóm văn bản) và Relationship (+6.74), nơi trả lời dạng trường độ sâu hoặc vùng đánh dấu giữ nguyên cấu trúc không gian.
  • VLM văn bản mạnh hơn khi cần suy luận tổng hợp: dẫn trước ở Size, Feasibility, Prediction, Counting và toàn bộ cấp độ Reasoning (+17.63 điểm ở cấp độ này).
  • Khoảng cách lớn nhất với con người tập trung ở các nhiệm vụ đòi hỏi biến đổi quan điểm và quan hệ: Perspective (cách 51.43 điểm), Relationship (31.43), Mental Modeling (28.57).
  • Agentic builder đã chứng minh khả năng thích ứng với 6 benchmark ngoài có định dạng câu trả lời và metric khác nhau.

IV. Conclusion & Future Works:​

ProVisE và SpatialGen-Bench thiết lập testbed đánh giá chung cho cả VLM văn bản và mô hình tạo ảnh, cho thấy hai cách tiếp cận có điểm mạnh bổ trợ: pixel trực quan giúp bài toán ngoại hóa không gian trực tiếp, còn văn bản vượt trội trong suy luận tổng hợp và biến đổi trừu tượng. Hướng tương lai: phát triển mô hình kết hợp cả hai giao diện — sinh pixel làm minh chứng trung gian nhưng vẫn duy trì khả năng suy luận tổ hợp — và mở rộng ProVisE cho các nhiệm vụ tương tác vật lý dài hơi.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ProVisE cho đánh giá mô hình tạo video, trong đó câu trả lời không gian–thời gian (quỹ đạo, chuyển động) được biểu diễn trực tiếp trong các frame thay vì tọa độ rời rạc.
  2. Kết hợp học tăng cường với phản hồi từ SpatialGen-Bench để tinh chỉnh mô hình tạo ảnh nhằm cải thiện các cấp độ suy luận không gian còn yếu.
  3. Xây dựng benchmark đa người dùng cho ProVisE, trong đó con người tự do chọn giao diện trả lời (vẽ, nói, hoặc kết hợp) để nghiên cứu sự phân bố điểm mạnh giao diện ngoài phòng thí nghiệm.

2. Patent:​

  1. Ứng dụng chỉ đường AR trên điện thoại bằng pixel thay vì mô tả: người dùng chụp ảnh đích, mô hình tạo ảnh vẽ sẵn đường đi và mũi tên ngay trên khung hình; ProVisE kiểm chứng độ chính xác của vẽ so với bản đồ thực trước khi hiển thị.
  2. Hệ thống kiểm tra khoảng cách an toàn cho robot giao hàng trong nhà: camera ghi cảnh, mô hình tạo ảnh đánh dấu vùng đi được/vật cản; ProVisE chuyển vùng đó thành tọa độ để điều khiển và tránh va chạm theo metric đã xác thực.
  3. Công cụ ghi chú không gian trên ảnh chụp điện thoại: người dùng yêu cầu "đánh dấu vị trí lắp kệ trên tường"; mô hình tạo ảnh vẽ mực tên trực tiếp lên ảnh, hệ thống kiểm đo khoảng cách và căn chỉnh theo giao thức để xuất bản vẽ 2D chuẩn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.21072
ArXiv Abstracthttps://arxiv.org/abs/2607.21072
PDF Downloadhttps://arxiv.org/pdf/2607.21072.pdf
Github Repositoryhttps://github.com/ZJU-OmniAI/ProVisE

6. NVIDIA-labs OO Agents: Native Python Object-Oriented Agents (19 votes)​

Tác giả: Paul Furgale, Severin Klingler, James Nolan, Matt Staats, Gaia Di Lorenzo, et al.

Xuất bản lúc: 2026-07-22

Tag: LLM Agents, CodeAct, Python, Object-Oriented Programming, Framework, Tool Use, NVIDIA

I. Main Problem:​

Phát triển agent truyền thống bị chia nhỏ thành prompt template, schema công cụ, callback và workflow graph, khiến mỗi framework lại có mô hình lập trình riêng. Hệ quả:

  • tăng độ khó học và bảo trì
  • khó kiểm thử, trace và refactor hành vi agent
  • agent không tận dụng được các khái niệm Python quen thuộc như class, type annotation, async/await hay object state.

II. Main Idea:​

NVIDIA Object-Oriented Agents (NOOA) coi agent là một object Python thuần: class là agent, method là khả năng, field là trạng thái, docstring là prompt, type annotation là hợp đồng đầu vào/ra. Method có thân ... được chạy như vòng lặp LLM; method có thân thường là Python xác định.

Cơ chế nổi bật:

  • PredictStrategy: một lời gọi LLM đơn, validate kiểu trả về.
  • CodeActStrategy: model viết mã Python trong REPL giới hạn, gọi execute_python(...) để tính toán, inspect state, gọi helper, rồi return_result(...) khi xong.
  • Pass-by-reference: model nhận object Python sống (image, bảng dữ liệu, Order object) qua tham chiếu, chỉ thấy preview gọn; viết code trực tiếp trên object thật thay vì deserialize vào prompt.
  • Context gồm static blocks, dynamic blocks và event history có kiểu, có thể query/compact qua API Python.
  • Agent tự quản lý bộ nhớ dài hạn qua SQLite với các công cụ remember/recall/forget.

Ví dụ đời thường: giống như đưa nhân viên mới vào làm việc trực tiếp trên phần mềm công ty với quyền truy cập tài liệu, form và database giống hệt đồng nghiệp, thay vì phát cho họ một cuốn sổ hướng dẫn riêng và bộ công cụ khác biệt.

III. Main Results:​

  • Capability tests (88 test, 36 nhóm, 10 model, 5 lần): đạt 97,9% pass (4.309/4.400); model nhỏ 96,0%, model frontier 99,2%; GPT-5.5 đạt 100%.
  • SWE-bench Verified và Terminal-Bench 2.0: agent viết bằng NOOA giải quyết được các tác vụ kỹ thuật thực tế.
  • ARC-AGI-3: một agent duy nhất với skill một trang thay thế hệ thống multi-agent world-model, đẩy lùi biên Pareto về score–cost.
  • Long-term memory: hệ thống nhớ của agent tự quản lý vượt trội +11,8 điểm RHAE so với ghi chú dạng file.

IV. Conclusion & Future Works:​

NOOA đưa kỹ thuật prompt trở lại thành kỹ thuật phần mềm: agent có thể test, trace, refactor và version như code bình thường. Bằng cách tái sử dụng Python abstraction và cho model viết Python thay vì DSL công cụ, framework tăng độ tin cậy và khả năng sẵn sàng của coding agent. Hướng tương lai: cải thiện định dạng preview và rendering context cho nhiều kiểu dữ liệu hơn, phát triển chiến lược mới, và thúc đẩy áp dụng các capability giao diện model rộng hơn trong cộng đồng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng mô hình agent-as-object sang hệ thống multi-agent: các agent Python chia sẻ state, gọi method lẫn nhau và tuân theo kỷ luật stack/serialization như hàm async thông thường.
  2. Tối ưu hóa context rendering và progressive disclosure cho object lớn: nghiên cứu định dạng preview tốt nhất để model hiểu nhanh cấu trúc object mà không cần serialize toàn bộ vào prompt.
  3. Áp dụng CodeAct + pass-by-reference cho agent điều khiển robot/embodied: model viết mã Python trực tiếp thao tác sensor stream và actuator API thay vì gọi công cụ rời rạc.

2. Patent:​

  1. Trợ lý ảo trên điện thoại quản lý lịch và tin nhắn: agent được mô hình hóa như object Python chứa danh bạ, lịch và sở thích; các hành động như đặt lịch, gửi tin, nhắc việc có chữ ký kiểu dữ liệu rõ ràng, đảm bảo thao tác an toàn với dữ liệu cá nhân trên thiết bị.
  2. Ứng dụng chăm sóc khách hàng trên điện thoại: người dùng chụp ảnh sản phẩm lỗi, ứng dụng nhận ảnh và thông tin đơn hàng dạng object trực tiếp, tự động phân loại khiếu nại (hoàn tiền, đổi mới, hư hỏng) và tạo ticket mà không cần nhập lại thông tin thủ công.
  3. Trợ lý lập trình trên điện thoại: một agent duy nhất giữ trạng thái project, nhận yêu cầu sửa code qua giọng nói hoặc chat, viết từng đoạn Python/Java nhỏ trong sandbox, kiểm tra kiểu trả về và chạy thử nghiệm ngay trên thiết bị trước khi áp dụng thay đổi.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.20709
ArXiv Abstracthttps://arxiv.org/abs/2607.20709
PDF Downloadhttps://arxiv.org/pdf/2607.20709.pdf
Github RepositoryN/A

7. Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction (18 votes)​

Tác giả: Tencent WorkBuddy Bench Team, Siqi Cai, Shaopeng Chen, Xiang Fei, Yong Mao, et al.

Xuất bản lúc: 2026-07-23

Tag: Benchmarks, Coding Agents, Evaluation, Contamination Resistance, Software Engineering, Web Agents, Security, Office Workflows

I. Main Problem:​

Các bộ đánh giá coding agent hiện tại gặp bẫy ở hai đầu. Một là bộ công khai tĩnh như SWE-bench: prompt và lời giải lan truyền trên web, điểm cao có thể chỉ là ghi nhớ issue thread chứ không phải suy luận cấp repository, và phần lớn chỉ là sửa bug. Hai là bộ sản xuất kín của vendor như CursorBench: phân phối gần thực tế nhưng không thể kiểm chứng, dễ thiên lệch về agent của chính vendor, và không tái tạo được bên ngoài. Cần một bộ đánh giá vừa gốc thực tế, vừa chống nhiễm, vừa mở hoàn toàn để audit.

II. Main Idea:​

Tencent WorkBuddy Bench là một bộ đánh giá đa miền cho coding agent gồm 4 track — Code (80), Web (70), Office (50), Security (60) — chạy dưới hai harness CodeBuddy Code và Claude Code. Cốt lõi là cách xây task:

  • mỗi task được reverse-engineer từ commit, PR, CVE hoặc kịch bản công việc thực rồi viết lại thành yêu cầu thân mật, vai diễn cụ thể, không copy văn phong issue công khai;
  • prompt cố tình thiếu thông tin (không chỉ file, không cho diff vàng, không gợi ý nguyên nhân) để agent phải tự khám phá workspace;
  • tài sản chấm điểm được giấu khỏi agent trong lúc chạy nhưng công khai sau release cùng với task directory, image, harness và reference solution;
  • kháng nhiễm dựa vào cách xây dựng (prompt không searchable) và phiên bản hóa dataset định kỳ, thay vì giữ bí mật.

Mỗi track có công cụ chấm điểm riêng — Code dùng hidden tests, Web dùng rubric + LLM/VLM judge + agent-judge, Office dùng rule + LLM Judge, Security dùng deterministic scorer — nên điểm không so sánh trực tiếp giữa các track.

Ví dụ đời thường: giống như giáo viên lấy bài toán thực từ dự án cũ, đổi tên khách hàng và ngữ cảnh, rồi diễn tả lại như một đồng nghiệp nhờ giúp, để học sinh không thể google đề gốc mà vẫn phải tự mò tài liệu để giải.

III. Main Results:​

  • Bộ tổng cộng 260 task đầu tiên được phát hành công khai, mỗi task là một task directory tự chứa với Dockerfile, workspace, instruction, task.toml và tài sản chấm điểm.
  • Cổng kiểm tra nhập task: mỗi task phải đạt baseline ≤ 0.3 và oracle (gold patch) = 1.0 trước khi vào suite, đảm bảo workspace chưa tự pass và lời giải tham khảo thực sự đạt full điểm.
  • Bảng xếp hạng đa mô hình: Claude Opus 4.8 đứng đầu với 75.0% tổng thể, tiếp theo là GLM-5.2 72.9%, GPT-5.5 72.0%, HY-3 70.9%, Kimi K2.7 66.2%, MiniMax-M3 65.5%, DeepSeek-V4-Pro 64.2%. Không có điểm trung bình toàn suite vì các track dùng thước đo khác nhau.
  • Code track mở rộng ngoài sửa bug: chỉ 10/80 task là bug fix, còn lại là feature/API, code engineering, testing, algorithm engineering và product/data analytics, với 5 persona khác nhau (developer, algo, PM, QA, ops).
  • Web track không chỉ tạo mới: 35/70 task là from-scratch, nửa còn lại là bug fix, feature extension, review & analysis, test generation và format conversion để tránh thưởng thiên vị agent chỉ biết viết mới.
  • Office track đánh giá trạng thái workspace cuối cùng (file, cấu trúc, giá trị, ranh giới thực thi) thay vì chỉ output văn bản.
  • Security track dùng scorer xác định, không dùng LLM judge, để đánh giá vulnerability discovery, malware analysis, SOC work và agent-security assessment.

IV. Conclusion & Future Works:​

WorkBuddy Bench cho thấy có thể xây một benchmark gốc thực tế, mở hoàn toàn mà vẫn kháng nhiễm bằng cách thiết kế prompt như lời nhờ vả trong công việc thật, không phải bản sao issue công khai. Việc công khai toàn bộ task, harness, tests và gold patch làm cho benchmark có thể audit và tái chạy, trong khi versioning giúp quản lý rủi ro nhiễm sau release. Hướng tương lai: mở rộng scale từng track, làm mới phiên bản dataset định kỳ, tinh chỉnh thước đo semantic cho Web và Office, và bổ sung thêm domain công việc thực tế khác để theo sát tiến hóa của coding agent.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng phương pháp reverse-engineer và role-play sang các domain công việc agent khác như DevOps, data engineering và scientific computing để có benchmark toàn diện hơn.
  2. Phát triển kỹ thuật tự động kiểm tra và tái tạo task directory từ hệ thống theo dõi công việc nội bộ mà không đụng chạm dữ liệu người dùng thô.
  3. Nghiên cứu cách kết hợp nhiều loại judge (deterministic, LLM, VLM, agent-judge) vào một framework chấm điểm chung cho các tác vụ đa phương thức.

2. Patent:​

  1. Nền tảng đánh giá agent viết code cho doanh nghiệp: tạo bài test từ commit/PR nội bộ nhưng viết lại thành yêu cầu vai diễn, tự động chấm điểm trong sandbox cô lập và công khai kết quả để chọn mô hình phù hợp.
  2. Hệ thống tạo đề thi chống nhiễm cho mô hình AI lập trình: phân tích phân phối công việc thực, sinh lại yêu cầu bằng ngôn ngữ đời thường, đảm bảo prompt không thể tìm kiếm trực tuyến và tự động phiên bản hóa dataset khi bị lộ.
  3. Ứng dụng trên điện thoại để kiểm thử trợ lý AI văn phòng: gửi các kịch bản xử lý file Excel, Word, PDF dạng yêu cầu từ sếp, đo lường agent có sửa đúng, lưu đúng chỗ và không làm hỏng dữ liệu hay không.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.20911
ArXiv Abstracthttps://arxiv.org/abs/2607.20911
PDF Downloadhttps://arxiv.org/pdf/2607.20911.pdf
Github RepositoryN/A

8. Color Pass-Through via Camera-Display Coupling (17 votes)​

Tác giả: Ruikang Li, Molin Li, Jiarui Wu, Zhe Wei, Pengpeng Liu, et al.

Xuất bản lúc: 2026-07-14

Tag: Computational Photography, Color Reproduction, Camera-Display Calibration, End-to-End Learning, Metamerism

I. Main Problem:​

Khi chụp cảnh thật bằng smartphone và xem lại trên chính màn hình đó, màu sắc, độ sáng và độ tương phản thường khác rõ so với thực tế. Các pipeline truyền thống tách quá trình chụp-hiển thị thành hai giai đoạn hiệu chuẩn riêng (camera → không gian màu trung gian thấp chiều → màn hình), tạo ra cổ chai thông tin và tích lũy sai số. Auto white balance hay hiệu chuẩn bằng color-checker chỉ giảm một phần, không đảm bảo tái tạo trung thực cho từng cặp camera–màn hình cụ thể trong điều kiện ánh sáng đa dạng. Trong AR/VR, sai lệch này làm giảm cảm giác chân thực và thoải mái.

II. Main Idea:​

Color Pass-Through xem camera và màn hình như một hệ thống ghép cặp được học end-to-end, thay vì hiệu chuẩn riêng từng thiết bị. Quy trình chính:

  • huấn luyện một pixel-wise MLP nhẹ (2 tầng fully-connected, hidden width 128) kèm positional encoding và AvgPool trên kênh green để học ánh xạ nghịch đảo của pipeline chụp-hiển thị, từ dữ liệu re-capture (hiển thị ảnh lên màn hình rồi chụp lại bằng camera ghép cặp);
  • bù sai số còn lại cho người quan sát cụ thể bằng camera-null color correction: thành phần màu bị camera bỏ sót nằm trong không gian metameric-black; tác giả xấp xỉ bằng thành phần chính đơn (rank-1 PCA) và một hệ số hiệu chuẩn φ ∈ R³×¹ chỉnh trong một bước.

Ví dụ đời thường: giống như một thợ pha màu không dựa bảng màu chung, mà ngồi giữa máy chụp và màn hình, tự học cách “chuyển lại” qua nhiều lần chụp-chiếu ngược, rồi đeo thêm một lớp kính lọc riêng cho mắt của từng khách hàng để màu trên màn hình trùng với thực tế.

III. Main Results:​

  • Trung bình +2.0 điểm trên thang 5 điểm trong nghiên cứu người dùng và hơn 2× cải thiện các chỉ số định lượng so với các baseline điển hình.
  • Mô hình học đạt PSNR 35.68 / ΔE 2.51, vượt xa ma trận affine 3×4 (PSNR 17.27 / ΔE 18.9) và 3D LUT (PSNR 31.17 / ΔE 3.82).
  • Đánh giá trên cả digital observer (DSLR) và human observer, cho thấy tái tạo màu sắc ổn định qua nhiều cảnh và nguồn sáng.
  • Thành phần chính đầu tiên trong camera-null space giải thích khoảng 93% phương sai, biện minh cho xấp xỉ rank-1.

IV. Conclusion & Future Works:​

Ghép cặp camera–màn hình và học end-to-end giúp tránh tích lũy sai số từ hiệu chuẩn tách rời qua không gian màu trung gian. Tổ hợp camera-display projector và camera-null correction bậc thấp mang lại khả năng tái tạo màu sắc nhận thức cho một observer cụ thể. Hướng tương lai: mở rộng cho nhiều thiết bị, nguồn sáng động, ứng dụng AR/VR pass-through, và tối ưu tốc độ để chạy real-time trên thiết bị di động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng camera-display projector cho hệ sinh thái đa thiết bị (smartphone, tablet, headset, TV) với khả năng chuyển giao hoặc hiệu chuẩn chung.
  2. Kết hợp computational color constancy và quản lý màu màn hình trong một mô hình end-to-end, tối ưu cả white balance lẫn tái hiển thị.
  3. Xây dựng neural projector dựa trên thông tin phổ để giảm metamerism cho observer bất kỳ mà không cần đo phần cứng từng người.

2. Patent:​

  1. Ứng dụng tự hiệu chuẩn trên smartphone: điện thoại hiển thị và tự chụp lại một bảng màu tham chiếu để học projector camera–màn hình của chính nó, sau đó tự động chỉnh sửa ảnh trước khi hiển thị cho đúng màu thực.
  2. Module chỉnh màu pass-through cho kính AR/VR: học cặp camera–màn hình của headset và một hệ số hiệu chỉnh theo người dùng để khung nhìn see-through khớp mắt thường, giảm say và mất cảm giác chân thực.
  3. Gương thử đồ ảo trong cửa hàng: camera và màn hình được ghép cặp và hiệu chuẩn theo từng lắp đặt, giúp màu vải trên màn hình trùng với màu thật dưới ánh sáng cửa hàng.
  4. Bộ lọc chỉnh màu thời gian thực trên điện thoại: MLP nhẹ chạy ngay trên thiết bị, điều chỉnh từng khung hình camera trước khi hiển thị hoặc quay video để giữ màu gốc của cảnh.
  5. Trạm hiệu chuẩn xuất xưởng cho smartphone: giá đỡ tự động hiển thị-chụp lại nhiều mẫu màu để huấn luyện projector và camera-null correction cho từng máy, tạo profile cá nhân khi xuất xưởng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.12746
ArXiv Abstracthttps://arxiv.org/abs/2607.12746
PDF Downloadhttps://arxiv.org/pdf/2607.12746.pdf
Github Repositoryhttps://github.com/lyricccco/color-pass-through

9. LLMs Get Lost in Evolving User Intent (16 votes)​

Tác giả: Jihoon Tack, Philippe Laban, Jennifer Neville

Xuất bản lúc: 2026-07-22

Tag: LLMs, Multi-turn Interaction, User Intent, Benchmarking, Agent Evaluation

I. Main Problem:​

Các LLM ngày càng được triển khai như tác nhân cộng tác đa lượt, nhưng hầu hết vẫn được đánh giá và huấn luyện trong thiết lập một lượt với ý định người dùng mô tả đầy đủ ngay từ đầu. Trong thực tế, người dùng thường dần dần tiết lộ, sửa đổi và chuyển hướng ý định trong khi trò chuyện. Khoảng cách này làm các benchmark tĩnh không đo được khả năng then chốt: theo dõi và hành động theo ý định tiến hóa của người dùng.

II. Main Idea:​

Đề xuất khung chuyển đổi các bài toán một lượt có verifier tự động thành các cuộc hội thoại đa lượt với ý định người dùng tiến hóa. Quy trình:

  • Neo ý định gốc tại lượt cuối cùng để giữ nguyên giao thức đánh giá và verifier gốc
  • Tổng hợp ngược các lượt trước qua ba chuyển tiếp ý định có kiểm soát:
    • Argument reveal: tiết lộ thêm đối số từng bước
    • Argument revision: thay đổi giá trị đã tiết lộ trước đó
    • Function switch: chuyển sang tác vụ khác nhưng giữ lại các đối số chung
  • Mỗi lượt chỉ render phần thay đổi so với lượt trước, mô phỏng cách người dùng thực tế giao tiếp.

Ví dụ đời thường: giống như khách đặt bàn nhà hàng qua điện thoại—ban đầu chỉ nói "tôi muốn ăn tối ở New York", rồi bổ sung "tôi ăn chay", sau đó đổi thành "Brooklyn đi", cuối cùng lại chuyển sang "đặt bàn 7h tối"—nhân viên phải luôn cập nhật ý định hiện tại thay vì chỉ ghi nhớ yêu cầu ban đầu.

III. Main Results:​

  • Hiệu suất một lượt mạnh không chuyển sang đa lượt: GPT 5.5 trên GSM8K giảm từ 99.0% xuống 80.5% sau 6 chuyển tiếp ý định.
  • Suy giảm xuất hiện trên hầu hết các mô hình (GPT, Gemini, Grok, Kimi, Mistral, DeepSeek) và các lĩnh vực (math, text-to-SQL, search, coding).
  • Function switch là dạng chuyển tiếp khó nhất, gây sụt giảm mạnh hơn reveal và revision.
  • Các cơ chế bộ nhớ (prompt recap, oracle recap) giúp cải thiện nhưng không thu hẹp hoàn toàn khoảng cách so với thiết lập một lượt.
  • Tương tác đa lượt làm tăng độ khó của bài toán gốc: trên BIRD-SQL, câu hỏi khó (không có hint) sụt 9.0% trong đa lượt so với 3.6% trong một lượt.
  • Phân tích theo lượt cho thấy mô hình theo dõi tốt reveal và revision, nhưng yếu khi có nhiều function switch và khi cần kết hợp ngữ cảnh trước và sau chuyển tác vụ.

IV. Conclusion & Future Works:​

Các LLM hiện tại chưa theo dõi trung thực ý định người dùng tiến hóa—đây là khoảng trống căn bản mà đánh giá tĩnh không phát hiện được. Khung đề xuất cho phép tái sử dụng các benchmark một lượt có sẵn để tạo môi trường đa lượt có kiểm chứng. Hướng tương lai: bổ sung persona và phong cách giao tiếp đa dạng, cho phép nhiều ý định trong cùng một lượt, xây dựng verifier cho các lượt trung gian, và phát triển cơ chế chủ động tóm tắt lại ý định hiện tại của người dùng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung đánh giá ý định tiến hóa cho các tác vụ tác nhân dài hạn, kết hợp nhiều chuyển tiếp đồng thời và verifier từng giai đoạn để đánh giá toàn diện hơn.
  2. Phát triển phương pháp huấn luyện LLM để duy trì belief state động về ý định người dùng qua các lượt, đặc biệt khi xảy ra function switch và nhiều lần chuyển hướng.
  3. Nghiên cứu hành vi người dùng thực tế khi tiết lộ và sửa ý định, từ đó xây dựng user simulator có điều kiện persona và phong cách giao tiếp tự nhiên hơn cho đánh giá tác nhân.

2. Patent:​

  1. Trợ lý ảo trên điện thoại thông minh tự động xác nhận ý định hiện tại sau mỗi lượt: khi người dùng đặt vé máy bay rồi đổi sang đặt khách sạn, ứng dụng hỏi lại "vậy mình đang đặt phòng ở Boston đêm 15/8 đúng không?" trước khi hành động.
  2. Ứng dụng di động kiểm thử chatbot đa lượt tự động: biến các câu hỏi dịch vụ khách hàng một lượt thành kịch bản đa lượt với thông tin tiết lộ dần, sửa đổi và chuyển tác vụ, đo chính xác khả năng theo dõi ý định của bot trước khi triển khai.
  3. Ứng dụng chỉnh sửa văn bản trên điện thoại với agent đa lượt: khi người dùng viết lách, yêu cầu sửa mở đầu rồi chuyển sang "viết lại giọng trang trọng hơn" và cuối cùng "thêm kết luận", ứng dụng luôn xác nhận ý định hiện tại trước khi thực hiện để tránh sửa sai phần đã ổn định.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.20734
ArXiv Abstracthttps://arxiv.org/abs/2607.20734
PDF Downloadhttps://arxiv.org/pdf/2607.20734.pdf
Github Repositoryhttps://github.com/microsoft/evolving-intent

10. SANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation (15 votes)​

Tác giả: Junsong Chen, Jincheng Yu, Yitong Li, Shuchen Xue, Haozhe Liu, et al.

Xuất bản lúc: 2026-07-23

Tag: Diffusion Models, Video Generation, Linear Attention, Efficient Transformers, DiT

I. Main Problem:​

Mô hình sinh video dạng Video DiT truyền thống dùng full 3D softmax attention, chi phí tăng theo bậc hai của độ dài chuỗi token (𝑂(𝑁²)). Sau khi nén qua VAE, một đoạn 1080p đã chứa hàng chục nghìn token tiềm ẩn, khiến chi phí attention trở nên quá đắt — đặc biệt với video dài hơn 10 giây. Ngược lại, linear attention thuần túy chỉ có chi phí 𝑂(𝑁), nhưng bị bottleneck hạng vì nén tương tác token-token vào một ma trận trạng thái cố định, làm giảm khả năng biểu diễn chi tiết và tương ứng không-thời gian chính xác. Bài toán đặt ra: làm sao giữ được độ biểu diễn gần softmax mà vẫn duy trì quy mô tuyến tính với độ dài video?

II. Main Idea:​

SANA-Video 2.0 là một video diffusion transformer sử dụng kiến trúc hybrid:

  • Hybrid Linear-Softmax Attention: đa số layer dùng gated bilinear linear attention (chi phí 𝑂(𝑁)) xen kẽ với softmax anchors theo tỷ lệ 3:1 (25% softmax) ở các độ sâu cố định. Các anchor này định kỳ phục hồi tương tác token-token đầy đủ mà linear attention không biểu diễn được.
  • Block Attention Residuals (AttnRes): thay vì chỉ cộng residual thông thường, hệ thống định tuyến tóm tắt đặc trưng của các block đã hoàn thành xuống các layer sâu hơn, giúp layer linear sau này tái sử dụng thông tin đã được anchor làm mới.
  • Huấn luyện từ đầu (from-scratch): mô hình học trực tiếp cấu trúc hybrid thay vì linearize từ mô hình softmax có sẵn, qua chương trình đào tạo đa giai đoạn với dữ liệu được lọc theo chất lượng và chuyển động.

Ví dụ đời thường: giống như một dây chuyền giao hàng đa số dùng xe máy nhanh và rẻ cho các chặng ngắn, nhưng cứ mỗi vài chặng lại gửi một chuyến xe tải lớn để kiểm kê và bổ sung đầy đủ hàng hóa; đồng thời, mỗi ca làm việc ghi chú lại những gì đã phát hiện cho ca sau, thay vì bắt họ tự tìm lại từ đầu.

III. Main Results:​

  • Chất lượng: SANA-Video 2.0 5B đạt VBench Total 84.30 và Quality 85.61 tại 480×832×81 với 40 bước lấy mẫu, cạnh tranh với các mô hình softmax lớn hơn nhiều như Wan 2.2-A14B hay Bernini-R 14B.
  • Tốc độ: 13.2 giây trên một H100 tại 480p; pipeline 5B chỉ mất 13.06 giây tại 720p/5s sau tối ưu Sol-Engine, nhanh hơn 120 lần Wan 2.2-A14B.
  • Lợi ích kiến trúc: phần DiT forward nhanh hơn 3.2× so với baseline full-softmax tương đương tại 720p/60s, khoảng cách này tăng theo độ dài video.
  • Tối ưu full-stack: Sol-Engine (kernel fusion, caching, sparse attention) đẩy nhanh thêm 3.58× trên B200.
  • Hiệu quả của AttnRes: bật AttnRes làm tăng effective rank ở các layer sâu khoảng 12% so với cùng checkpoint tắt đi.
  • Tỷ lệ tối ưu: các nghiên cứu proxy xác định 25% softmax là điểm Pareto thực tế giữa chất lượng và hiệu năng; 14B cũng được huấn luyện thành công với cùng kiến trúc.

IV. Conclusion & Future Works:​

SANA-Video 2.0 chứng minh rằng một backbone chủ yếu linear có thể khôi phục độ biểu diễn gần softmax với chi phí thấp hơn nhiều, mở khóa khả năng sinh video dài và độ phân giải cao trên một GPU đơn. Sự phân công rõ ràng: linear layers đảm nhận trộn toàn cục rẻ tiền, softmax anchors cung cấp tương tác chính xác, AttnRes vận chuyển đặc trưng qua độ sâu. Hướng tương lai: mở rộng sang video dài hơn (phút) và độ phân giải 4K/8K; áp dụng kiến trúc hybrid-attention + residual này cho các miền khác như sinh 3D hoặc âm thanh; và phát triển các biến thể nhân quả/recurrent để hỗ trợ sinh video theo luồng (streaming) theo thời gian thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng kiến trúc hybrid linear-softmax attention kết hợp AttnRes để sinh video dài hơn (hàng phút) và độ phân giải 4K/8K, với các chiến lược caching và sparse attention mới để duy trì hiệu quả.
  2. Áp dụng công thức attention hybrid + residual xuyên độ sâu cho các tác vụ sinh dữ liệu tuần tự khác, như sinh âm thanh dài, sinh cảnh 3D, hoặc mô hình đa phương thức kết hợp video-text-3D.
  3. Nghiên cứu các biến thể nhân quả/recurrent của hybrid attention để hỗ trợ sinh video theo luồng thời gian thực (streaming), trong đó các layer linear có thể hoạt động dạng stateful và các anchor được chèn theo khoảng để làm mới trạng thái.

2. Patent:​

  1. Ứng dụng sinh video ngắn trên điện thoại thông minh: dùng kiến trúc attention hầu hết tuyến tính để chạy nhanh trên chip di động, xen kẽ các lớp full-attention định kỳ để khôi phục chi tiết khuôn mặt, chuyển động và ánh sáng, cho phép người dùng tạo video từ văn bản mà không cần gửi lên đám mây.

  2. Công cụ chỉnh sửa video trực tiếp trên thiết bị di động: khi người dùng thay đổi cảnh, phong cách hoặc thêm đối tượng, hệ thống lưu lại các đặc trưng đã tính toán của từng đoạn video theo dạng block summary và tái sử dụng cho các đoạn sau, giảm thời gian chờ và tiêu thụ pin.

  3. Dịch vụ tạo video quảng cáo sản phẩm trên nền tảng thương mại điện tử: nhập mô tả sản phẩm, hệ thống tạo video demo 720p/5s trong vài giây trên một card đồ họa duy nhất nhờ kết hợp các lớp attention nhanh với các lớp làm mới chi tiết định kỳ, giúp doanh nghiệp nhỏ sản xuất nội dung quảng cáo nhanh và rẻ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.21553
ArXiv Abstracthttps://arxiv.org/abs/2607.21553
PDF Downloadhttps://arxiv.org/pdf/2607.21553.pdf
Github RepositoryN/A

11. Self-Supervised Learning of Structured Dynamics from Videos (14 votes)​

Tác giả: Lukas Knobel, Andrew Zisserman, Yuki M. Asano

Xuất bản lúc: 2026-07-23

Tag: Self-Supervised Learning, Video Understanding, Motion Representation, DINOv2, Frozen Features, Camera Motion Decomposition, Kubric, ProbeMotion

I. Main Problem:​

Chuyển động trong video bị chồng chéo giữa hai nguồn động lực học: chuyển động máy quay và chuyển động của vật thể. Các mô hình tự giám sát thông thường chỉ mô hình hóa sự thay đổi tổng hợp giữa các khung hình mà không tách biệt các nguyên nhân gốc rễ. Điều này làm hạn chế khả năng học các biểu diễn chuyển động có cấu trúc, giải thích rõ ràng động lực vật thể và chuyển động máy quay, đặc biệt khi muốn tận dụng các đặc trưng hình ảnh đã tiền huấn luyện mà không cần giám sát 3D dày đặc.

II. Main Idea:​

Structured Dynamics Model (SDM) xây dựng trên đặc trưng đông lạnh của DINOv2, học cấu trúc chuyển động qua dự đoán đặc trưng khung hình tương lai. Quy trình:

  • Primary motion token p được trích xuất từ cặp khung hình liên tiếp để bù đắp phần thay đổi chiếm ưu thế (thường là chuyển động máy quay).
  • Residual motion token r được trích xuất từ sai lệch còn lại sau bù primary, nắm bắt các động lực vật thể còn sót lại.
  • Huấn luyện kết hợp tự giám sát trên video thật không nhãn và giám sát yếu trên dữ liệu tổng hợp Kubric, chỉ cần nhãn cảnh tĩnh/máy quay tĩnh để định hướng phân rã.

Ví dụ đời thường: giống như người đi tàu nhìn qua cửa sổ — não tự tách biệt chuyển động của tàu (camera) với chuyển động của ô tô, cây cối bên ngoài (vật thể), thay vì chỉ thấy mọi thứ đều chuyển động hỗn loạn.

III. Main Results:​

  • SDM vượt qua các baseline từ đặc trưng đông lạnh DINOv2 (CLS token và average-pooled features) trên hầu hết các tác vụ trong ProbeMotion.
  • Vượt DeltaTok (mô hình tự giám sát dùng một token chuyển tiếp duy nhất) trên 5/7 tác vụ, đặc biệt giảm MSE Kubric object motion 0.16 và tăng accuracy SSv2-110k 9.6 điểm phần trăm.
  • Cạnh tranh được với các mô hình giám sát mạnh như VGGT và vượt VGGT trên 3/7 probe dù dùng ít giám sát và ít tham số hơn (215M vs ~1B).
  • Trên SSv2-110k, SDM tăng 8.2 p.p. so với CLS và 20.8 p.p. so với AVG-pool, cho thấy token chuyển động học tốt cho cả nhận diện hành động.
  • p chuyên hóa cho chuyển động máy quay khi camera động, và cho chuyển động vật thể khi camera tĩnh; r bắt các động lực vật thể còn sót lại.

IV. Conclusion & Future Works:​

Kết quả cho thấy các mô hình hình ảnh tiền huấn luyện có thể được tái cấu trúc thành biểu diễn động lực học video có cấu trúc mà không cần pretrain video end-to-end hay giám sát 3D dày đặc. Cơ chế bù primary-residual mang lại inductive bias mạnh cho việc phân tách chuyển động. Hướng tương lai: cải thiện ngoại suy dài hạn của motion token, mở rộng cho nhiều vật thể chuyển động đồng thời, và khám phá các chiến lược giám sát yếu hiệu quả hơn trên dữ liệu thật.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng SDM cho video đa vật thể: nghiên cứu cách primary/residual tokens có thể tách biệt chuyển động của nhiều đối tượng độc lập trong cùng một cảnh.
  2. Kết hợp SDM với mô hình ngôn ngữ-vision để trả lời câu hỏi về chuyển động trong video, ví dụ: 'vật thể nào đang di chuyển và theo hướng nào?'.
  3. Phát triển chiến lược giám sát yếu hoàn toàn trên dữ liệu thật, loại bỏ phụ thuộc vào dữ liệu tổng hợp Kubric bằng cách tự động ước lượng camera tĩnh/cảnh tĩnh.

2. Patent:​

  1. Hệ thống ổn định video trên điện thoại thông minh: tách chuyển động của người cầm máy (primary token) và chuyển động của chủ thể trong khung hình (residual token) để tạo hiệu ứng cinematic hoặc xóa phông chuyển động mà không cần cảm biến chuyên dụng.
  2. Module phân tích tai nạn giao thông từ camera hành trình: tự động tách chuyển động của xe đang chạy so với chuyển động của camera gắn trên xe, giúp xác định va chạm và hướng di chuyển của các phương tiện khách quan hơn.
  3. Hệ thống hỗ trợ robot di động trong nhà kho: robot dùng camera để ước lượng chuyển động của bản thân (primary) và chuyển động của con người/xe nâng (residual) để tránh va chạm và lập kế hoạch đường đi an toàn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2607.21576
ArXiv Abstracthttps://arxiv.org/abs/2607.21576
PDF Downloadhttps://arxiv.org/pdf/2607.21576.pdf
Github Repositoryhttps://github.com/lukasknobel/StructuredDynamics