Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-08-24

Báo cáo được tạo tự động vào lúc 2026-08-25 10:16:39 bằng mô hình hermes-agent.

📰 Summary of Papers​

1. Graph Engineering in the Era of LLM Agents: From Individual Intelligence to System Intelligence (36 votes)​

Tác giả: Yuyuan Feng, Zhishang Xiang, Chaobin Yang, Qichao Ma, Zerui Chen, et al.

Xuất bản lúc: 2026-08-21

Tag: LLM Agents, Multi-Agent Systems, Graph Engineering, System Intelligence, Survey

I. Main Problem:​

Các kỹ thuật hiện tại trong kỷ nguyên LLM agent — Prompt Engineering, Context Engineering, Harness Engineering, và Loop Engineering — chủ yếu tối ưu hóa intelligence ở cấp độ cá thể (individual agent). Tuy nhiên, nhiều tác vụ thực tế ngày càng đòi hỏi:

  • chuyên môn đa dạng (heterogeneous expertise)
  • các subtask phụ thuộc lẫn nhau
  • thực thi song song
  • xác minh độc lập
  • trạng thái persistent trong quá trình dài hạn

Đơn thuần tăng cường context hoặc năng lực cho một agent đơn lẻ không thể giải quyết được sự không khớp về kiến trúc này, vì một vòng lặp agent trung tâm buộc mọi quá trình phải chạy tuần tự trong cùng một context chung.

II. Main Idea:​

Graph Engineering là paradigm kỹ thuật mới để xây dựng hệ thống agent thế hệ tiếp theo, trong đó các cấu trúc đồ thị (graph structures) được dùng để tổ chức và điều khiển việc thực thi tác vụ, phối hợp agent, và quản lý trạng thái runtime một cách explicit, dynamic, evolving.

Ba trục cốt lõi:

  • Task Organization — phân rã mục tiêu toàn cục thành các đơn vị thực thi, mô hình hóa dependencies, thứ tự, concurrency và ràng buộc xác minh.
  • Agent Coordination — ánh xạ công việc lên các agent/các thành phần khác nhau, tổ chức giao tiếp, delegation, đồng bộ hóa và tích hợp kết quả.
  • Runtime State Management — theo dõi, ghi nhận trạng thái hệ thống, hỗ trợ đồng bộ hóa các cập nhật song song, bảo toàn provenance, cô lập lỗi và phục hồi/thích ứng.

Ví dụ đời thường: giống như một bếp trưởng điều hành nhà hàng bận rộn — không thể một người làm hết mọi món, mà cần bản thiết kế đồ thị công thức phân chia các bước nấu, phân công đầu bếp chuyên môn khác nhau (món Á, món Âu, bánh ngọt), và một bảng theo dõi trạng thái từng món để phát hiện kịp thời khi có lỗi và điều phối lại toàn bộ quy trình.

III. Main Results:​

Đây là một survey paper, nên đóng góp chính nằm ở khung lý thuyết và tổng hợp chứ không phải kết quả thực nghiệm số liệu:

  • Định nghĩa hình thức Individual Agent (Foundation Model + Harness + Loop + local state) và Agent System (agent team, shared resources, environment, coordination, system state).
  • Truy nguyên sự tiến hóa từ Model Intelligence → Individual Intelligence → System Intelligence, làm rõ vai trò của từng giai đoạn kỹ thuật.
  • Đề xuất Graph Engineering với ba trục tổ chức: Task Organization, Agent Coordination, Runtime State Management.
  • Tổng hợp các benchmark, dataset, môi trường thực thi cho Model, Individual, và System Intelligence.
  • Khảo sát thư viện open-source và hệ sinh thái kỹ thuật, cùng các ứng dụng thực tế từ software engineering, scientific discovery, healthcare, enterprise workflows đến digital agents và social simulation.

IV. Conclusion & Future Works:​

Graph Engineering cung cấp nền tảng cấu trúc để chuyển từ agent-centric execution sang system-level organization, nhưng vẫn còn nhiều hướng mở:

  • Graph-Native Capability Substrates: xây dựng các mô hình/thành phần được thiết kế riêng để vận hành trên cấu trúc đồ thị.
  • Self-Evolving Graph Systems: hệ thống đồ thị tự học, tự cập nhật cấu trúc task/agent/state trong runtime.
  • Graph-Native Agent Operating Systems: hệ điều hành cho agent đa thành phần với quản lý trạng thái, phối hợp và phục hồi tích hợp.
  • Ontology Engineering: nâng cấp từ graph engineering sang ontology engineering để giải quyết goal formation, value alignment, shared semantics, world grounding, và measuring system intelligence.
  • Privacy and Ethics: quản lý dữ liệu, trách nhiệm giải trình và an toàn trong hệ thống đa agent.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển thuật toán self-evolving graph cho agent systems, trong đó cấu trúc đồ thị task và agent được cập nhật tự động dựa trên feedback từ môi trường và hiệu suất thực thi.
  2. Xây dựng benchmark đo lường System Intelligence với các metrics cụ thể về khả năng tổ chức công việc, phối hợp đa agent, và quản lý trạng thái runtime trong các tác vụ dài hạn.
  3. Kết hợp Ontology Engineering với Graph Engineering để tạo ra shared semantic layer cho các hệ thống đa agent, đảm bảo goal alignment và khả năng grounding vào thế giới thực.

2. Patent:​

  1. Ứng dụng quản lý dự án trên điện thoại di động: người dùng nhập mục tiêu (ví dụ "tổ chức sự kiện ra mắt sản phẩm"), ứng dụng tự động xây dựng đồ thị task với các subtask, phân công các agent ảo chuyên môn (tìm địa điểm, thiết kế, marketing, ngân sách), đồng bộ tiến độ và cảnh báo khi có lỗi hoặc chậm trễ.
  2. Trợ lý lập kế hoạch du lịch thông minh trên điện thoại: sử dụng graph engineering để phân rã chuyến đi thành các node (vé máy bay, khách sạn, lịch trình, ngân sách), phối hợp nhiều agent tìm kiếm/đặt chỗ/ tối ưu hóa, đồng thời theo dõi trạng thái realtime và tự động điều chỉnh khi có thay đổi (delay chuyến bay, khách sạn hết phòng).
  3. Hệ thống hỗ trợ chẩn đoán và theo dõi sức khỏe trên điện thoại: xây dựng đồ thị phác đồ điều trị cá nhân hóa, phối hợp các agent chuyên khoa (dinh dưỡng, vật lý trị liệu, thuốc), ghi nhận trạng thái bệnh nhân từ wearable devices và cảnh báo bác sĩ khi phát hiện bất thường.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.21156
ArXiv Abstracthttps://arxiv.org/abs/2608.21156
PDF Downloadhttps://arxiv.org/pdf/2608.21156.pdf
Github Repositoryhttps://github.com/DEEP-JLU/Awesome-Graph-Engineering

2. Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts (35 votes)​

Tác giả: Nayeon Kim, Hojin Lee, Yunju Bak, Jaesun Park, Boseop Kim

Xuất bản lúc: 2026-08-20

Tag: MoE, Mixture-of-Experts, Hyperparameter Transfer, Maximal Update Parameterization, Muon, MLA, Scaling Laws

I. Main Problem:​

Tinh chỉnh learning rate cho mô hình Mixture-of-Experts (MoE) quy mô cực lớn (hàng trăm tỷ tham số, nghìn tỷ token) đòi hỏi sweep 2 chiều qua cả quy mô mô hình và quy mô token. Cách làm này tốn kém tính toán đến mức không khả thi, và mỗi lần thay đổi kích thước mô hình hoặc ngân sách token lại phải tìm lại learning rate tối ưu từ đầu.

II. Main Idea:​

Đề xuất framework hai bước để thay sweep 2D bằng tìm kiếm 1D nhẹ nhàng:

  • Bước 1 — µP cho MoE: điều chỉnh Maximal Update Parameterization (µP) cho kiến trúc MoE dùng Multi-head Latent Attention (MLA) và optimizer Muon, chứng minh learning rate tối ưu ở mô hình proxy nhỏ có thể zero-shot transfer sang các mô hình rộng hơn (2×, 4×, 8×) mà không cần sweep qua quy mô mô hình.
  • Bước 2 — Scaling law theo token: từ vài lần chạy proxy ngắn, dùng hồi quy tuyến tính trong không gian log-log giữa learning rate tối ưu và ngân sách token để ngoại suy ra learning rate cho chu trình huấn luyện cực dài (10 nghìn tỷ token).

Ví dụ đời thường: giống như thợ pha chế điều chỉnh công thức cà phê — trước tiên xác định tỷ lệ cơ bản ở ly nhỏ, rồi theo quy luật tỉ lệ thuận dự đoán lượng nguyên liệu cho bình cà phê khổng lồ mà không cần pha thử đến khi đầy bình.

III. Main Results:​

  • µP cho phép chuyển giao learning rate tối ưu qua các mô hình MoE có độ rộng tăng dần; ngược lại Standard Parameterization (SP) thì learning rate tối ưu thay đổi theo quy mô.
  • Hồi quy log-log đạt R² = 0.95, dự đoán learning rate tối ưu 3.85 × 10⁻⁴ cho huấn luyện 10 nghìn tỷ token.
  • Proxy runs tiết kiệm compute: tìm kiếm tối ưu chỉ tốn một phần nhỏ (≈1/98) so với huấn luyện target đầy đủ.
  • Áp dụng thực tế: pretrain mô hình nền tảng 155B tổng / 17B active parameters trên 10 nghìn tỷ token với loss ổn định, không có spike.
  • Mô hình đạt hiệu suất cạnh tranh trên MMLU, MMLU-Pro, BBH, đa ngôn ngữ, toán và code; nằm trên Pareto frontier khi so sánh MMLU-Pro với compute so với các mô hình MoE công khai tương đương.

IV. Conclusion & Future Works:​

Framework hai bước giảm đáng kể chi phí tìm kiếm hyperparameter cho MoE quy mô lớn bằng cách tách riêng chiều quy mô mô hình (dùng µP) và chiều token (dùng scaling law). Hướng tương lai: mở rộng ra các kiến trúc MoE khác và optimizer khác; nghiên cứu learning rate tùy chỉnh cho từng expert do batch size hiệu dụng khác nhau giữa các expert; và tách biệt rõ ảnh hưởng của chiều sparsity so với width trong µP.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng µP sang các optimizer bậc hai/adaptive khác cho MoE để kiểm tra tính tổng quát của chuyển giao learning rate.
  2. Nghiên cứu scaling law cho batch size trong MoE khi kết hợp với batch size scheduling để tối ưu cả throughput hệ thống và hội tụ.
  3. Xây dựng lý thuyết per-expert hyperparameter scaling cho MoE, trong đó learning rate thích ứng theo tải routing và đặc tính gradient từng expert.

2. Patent:​

  1. Hệ thống tự động tinh chỉnh learning rate cho mô hình ngôn ngữ lớn trên đám mây: chạy proxy nhỏ, dùng µP và scaling law để dự đoán learning rate cho mô hình sản xuất hàng trăm tỷ tham số, giảm thời gian và chi phí GPU.
  2. Module tối ưu hyperparameter trên điện thoại cho mô hình AI cục bộ: thử nghiệm mô hình thu nhỏ chạy trên thiết bị, sau đó chuyển giao learning rate sang biến thể lớn hơn được tải từ đám mây mà không cần thu thập dữ liệu thêm.
  3. Dịch vụ tư vấn hyperparameter theo yêu cầu cho khách hàng huấn luyện MoE: nền tảng nhận cấu hình proxy, tự động fit parabola và hồi quy log-log để xuất learning rate dự kiến cho target token budget.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.20061
ArXiv Abstracthttps://arxiv.org/abs/2608.20061
PDF Downloadhttps://arxiv.org/pdf/2608.20061.pdf
Github RepositoryN/A

3. InfinityEdit: Infinite Video Editing with a Lightweight Edit-Ignition Adapter (33 votes)​

Tác giả: Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, et al.

Xuất bản lúc: 2026-08-21

Tag: Diffusion Models, Video Editing, Streaming Video Generation, Autoregressive Models, DiT, Instruction-Based Editing

I. Main Problem:​

Các phương pháp chỉnh sửa video hiện tại đều dựa trên giả định in-place editing: đầu vào và đầu ra có cùng độ dài, căn chỉnh từng khung hình trong một cửa sổ thời gian cố định. Giả định này thất bại với luồng video mở như restyle livestream game hay thêm chuyển camera vào cảnh quay đang diễn ra, vì chỉnh sửa phải lan tỏa sang các khung hình tương lai thay vì chỉ viết lại một đoạn đã có sẵn.

Bài toán mới — infinite video editing — đặt ra hai thách thức:

  • Tiếp nối trung thực: đoạn sinh ra phải tự nhiên tiếp nối lịch sử, không phải biến đổi từng khung hình có sẵn.
  • Ổn định qua nhiều lượt chỉnh sửa: mỗi đoạn sinh ra lại trở thành lịch sử cho đoạn sau, lỗi có thể tích lũy và làm đồng loạt giảm chất lượng.

II. Main Idea:​

InfinityEdit là một adapter siêu nhẹ gắn lên mô hình sinh video streaming đã đóng băng (Helios-Distilled 14B), cho phép chỉnh sửa video không giới hạn số lượt mà vẫn giữ nguyên khả năng sinh video dài của backbone.

Adapter chỉ gồm ba module attention xếp chồng sau mỗi transformer layer:

  • History cross-attention: neo đoạn đang khử nhiễu vào khung hình lịch sử đã cho.
  • Temporal causal self-attention: chỉ cho thông tin thời gian chảy từ khung trước sang khung sau, đảm bảo nhất quán động.
  • Edit cross-attention: đưa chỉ dẫn chỉnh sửa vào quá trình khử nhiễu.

Huấn luyện và suy luận theo nguyên tắc "ignite-then-continue":

  • Ignite: adapter chỉ bật ở chunk đầu tiên khi có yêu cầu chỉnh sửa, khởi động thay đổi.
  • Continue: các chunk sau được sinh bởi backbone đóng băng, dùng anchor frame được reset về khung đã chỉnh sửa để kéo dài luồng mới.
  • Cửa sổ lịch sử trượt và anchor di động giúp bộ nhớ có giới hạn và tránh drift tích lũy.

Ví dụ đời thường: giống như thợ cắt tóc chỉ cần nhấc kéo một nhát đầu tiên để định hướng mái tóc, sau đó để lược tự trượt theo đường vừa cắt mà không cần can thiệp liên tục; InfinityEdit cũng "đánh lửa" chỉnh sửa một lần rồi để backbone tự kéo dài luồng đã chỉnh sửa.

III. Main Results:​

  • Trên benchmark tự xây (200 video, 3 lượt chỉnh sửa liên tiếp), InfinityEdit đạt Camera Motion cao nhất (0.7654), vượt xa baseline tốt thứ hai Helios-Base (0.5494) — khoảng cách hơn +0.22.
  • Temporal Flickering tốt nhất (0.9660) ở lượt chỉnh sửa thứ ba, chứng tỏ ổn định thời gian ngay cả khi lỗi có thể tích lũy.
  • Motion Smoothness gần nhất với tốt nhất (0.9833), duy trì độ mượt chuyển động.
  • Vượt trội hơn hẳn các baseline thuộc ba nhóm: backbone thuần (Helios-Base), chỉnh sửa in-place (Lucy-Edit, SANA-Streaming), và prompt switching (Anchor-Forcing, Infinity-RoPE).

IV. Conclusion & Future Works:​

InfinityEdit chứng minh có thể chỉnh sửa video streaming một cách không giới hạn bằng cách tách rõ nhiệm vụ: adapter nhẹ đảm nhiệm bật chỉnh sửa, còn backbone đóng băng đảm nhiệm kéo dài luồng. Cơ chế ignite-then-continue, cửa sổ lịch sử trượt, anchor reset và huấn luyện với lịch sử nhiễu giúp hệ thống vừa trung thành với yêu cầu chỉnh sửa, vừa ổn định qua nhiều lượt.

Hướng tương lai có thể mở rộng:

  • Giảm độ trễ để áp dụng cho livestream thời gian thực trên thiết bị người dùng.
  • Mở rộng pipeline dữ liệu sang các loại chỉnh sửa phức tạp hơn (hiệu ứng vật lý, thay đổi cảm xúc, biên tập đa đối tượng).
  • Tích hợp phản hồi người dùng trực tiếp để điều chỉnh chỉnh sửa trong khi stream đang chạy.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng ignite-then-continue cho tác vụ multi-modal streaming control, trong đảo văn bản, âm thanh và điểm chạm có thể kích hoạt chỉnh sửa luồng video theo thời gian thực.
  2. Kết hợp active learning trên luồng để hệ thống tự động chọn thời điểm tối ưu để reset anchor hoặc tái-kích hoạt adapter, cân bằng giữa tính liên tục và độ chính xác của chỉnh sửa.
  3. Nghiên cứu tương quan giữa lỗi tích lũy và độ dài luồng trong chỉnh sửa video tự hồi quy, đề xuất các cơ chế self-correction hoặc consistency regularization để kéo dài số lượt chỉnh sửa có thể ổn định.

2. Patent:​

  1. Ứng dụng chỉnh sửa livestream trên điện thoại: người dùng đang phát trực tiếp game; hệ thống nhận lệnh thoại/văn bản như "chuyển phong cách cyberpunk" hoặc "zoom gần nhân vật", áp dụng ngay chunk tiếp theo và tiếp tục phát luồng đã chỉnh sửa mà không cần render lại toàn bộ video.
  2. Module camera ảo cho quay phim trực tiếp: trong khi quay đang diễn ra, đạo diễn nhập lệnh "quay từ trên xuống" hoặc "xoay vòng quanh chủ thể"; hệ thống tự động áp dụng chuyển động camera cho các khung hình tiếp theo trong khi vẫn giữ nhất quán với cảnh đã quay.
  3. Hệ thống biên tập video thể thao/thời sự tự động: nhận luồng sự kiện trực tiếp, tự áp dụng các bộ lọc phong cách, logo, hiệu ứng màu sắc theo chỉ dẫn từng đoạn, duy trì chất lượng hình ảnh ổn định trong suốt buổi phát.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.20910
ArXiv Abstracthttps://arxiv.org/abs/2608.20910
PDF Downloadhttps://arxiv.org/pdf/2608.20910.pdf
Github Repositoryhttps://github.com/YunzeTong/InfinityEdit

4. ParaTempo: Efficient Parallel Reasoning via Temporal Confidence (29 votes)​

Tác giả: Xuteng Zhang, Wenhao Zeng, Xiaodong Gu, Chao Hu, Haotian Lin, et al.

Xuất bản lúc: 2026-08-17

Tag: Parallel Reasoning, Test-Time Scaling, Efficient Inference, Temporal Confidence, LLM Reasoning

I. Main Problem:​

Lý luận song song (parallel reasoning) cải thiện độ chính xác bằng cách khám phá đồng thời nhiều nhánh suy luận, nhưng chi phí tính toán tăng nhanh theo độ sâu và số lượng nhánh. Các phương pháp hiện tại dùng các tín hiệu điều khiển yếu:

  • Consensus ở câu trả lời cuối đến quá muộn, khi phần lớn token đã sinh xong.
  • Confidence ở cấp token phản ánh sự không chắc chắn cục bộ của từng token, không liên quan trực tiếp đến sự tiến hóa của đáp án.
  • Các probe trung gian cô lập rất nhạy với nhiở dao động ngắn hạn, dễ đưa ra quyết định sai.

Hệ quả: nhánh đã hội tụ vẫn tiếp tục sinh token dư thừa, trong khi nhánh kém tiềm năng vẫn tiêu tốn tài nguyên.

II. Main Idea:​

Temporal confidence là tín hiệu hội tụ cục bộ tính theo mỗi nhánh, đo mức độ phân bố đáp án gần đây tập trung vào một đáp án chính. Quy trình:

  • Định kỳ probe mỗi nhánh đang chạy để lấy phân bố đáp án tạm thời từ prefix suy luận hiện tại.
  • Tổng hợp các probe gần nhất trong cửa sổ trượt để làm mịn nhiễu ngắn hạn.
  • Tính confidence bằng nghịch đảo perplexity của phân bố đã tổng hợp.
  • Dùng tín hiệu duy nhất này để điều khiển bất đồng bộ: prune nhánh confidence thấp, retire nhánh đã ổn định, fork từ nhánh tiềm năng để tái phân bổ tính toán, và dừng toàn cục khi confidence-weighted vote đạt ngưỡng.

Khác với điều khiển đồng bộ phải chờ các nhánh cùng tiến độ, ParaTempo cho phép mỗi nhánh tự quyết định, giảm cả tổng token và độ trễ quan trọng.

Ví dụ đời thường: giống như giám thị đi vòng quanh phòng thi, nhìn đáp án nháp của từng học sinh trong vài phút gần nhất — nếu một học sinh liên tục viết ra cùng một đáp án rõ ràng thì cho nộp bài sớm; nếu học sinh cứ gạch xóa lung tung thì dừng và để học sinh khác giải tiếp; khi đủ nhiều học sinh tự tin đồng ý một đáp án thì kết thúc bài thi.

III. Main Results:​

Thử nghiệm trên AIME 2026, HMMT November 2025, HMMT February 2026 và GPQA Diamond với Qwen3.5-35B-A3B và GPT-OSS-20B:

  • So với Self-Consistency (SC@16), ParaTempo@16 duy trì độ chính xác cạnh tranh (71.1% vs 72.2% trung bình trên Qwen) trong khi giảm 21.8% độ trễ và giảm 30.3% tổng token.
  • So với Parallel-Probe@16 — bộ điều khiển song song mạnh nhất — ParaTempo tăng +3.9 điểm chính xác trên AIME26 với Qwen, đồng thời giảm 10.6% độ trễ; trên GPT-OSS-20B tăng +3.8 điểm với chi phí tuần tự tương đương.
  • Temporal confidence ổn định hơn và dự đoán hội tụ tương lai tốt hơn rõ rệt so với token entropy, token perplexity và instantaneous answer confidence.
  • Ablation trên HMMT25 cho thấy cả ba thành phần prune, retire, fork đều có đóng góp bổ trợ; bỏ retire làm giảm chính xác 6.6 điểm.

IV. Conclusion & Future Works:​

ParaTempo chứng minh rằng việc tổng hợp phân bố đáp án trung gian theo thời gian ở cấp nhánh có thể thay thế điều khiển đồng bộ toàn cục, giảm đáng kể chi phí suy luận song song mà vẫn giữ được độ chính xác và độ tin cậy.

Hướng tương lai: mở rộng temporal confidence cho tác tử đa bước sử dụng công cụ (tool-use agents), kết hợp với học có điều kiện để tự động điều chỉnh cửa sổ và ngưỡng theo độ khó từng bài toán, và áp dụng cho các kịch bản suy luận luồng (streaming reasoning).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng temporal confidence cho các tác tử mã hóa/coding agents, trong đó mỗi nhánh là một tác tử suy luận độc lập và confidence dùng để cắt bỏ các nhánh đang viết code không hội tụ.
  2. Học điều kiện (conditional learning) cho kích thước cửa sổ trượt và các ngưỡng prune/retire/fork dựa trên độ phức tạp của bài toán, thay vì giữ các hyperparameter cố định.
  3. Kết hợp ParaTempo với speculative decoding để giảm thêm độ trễ wall-clock trong khi vẫn duy trì lợi ích về tiết kiệm token.

2. Patent:​

  1. Trợ lý AI trên điện thoại cho bài toán học tập: người dùng chụp đề bài, ứng dụng sinh nhiều nhánh suy luận song song ở backend, dùng temporal confidence để dừng sớm các nhánh yếu và trả về đáp án ngay khi weighted vote đạt ngưỡng, tiết kiệm pin và thời gian chờ.
  2. Trợ lý thoại trên thiết bị di động: với các truy vấn phức tạp, thiết bị chạy song song nhiều luồng suy luận nhỏ, prune các luồng confidence thấp để cân bằng giữa độ chính xác và độ trễ trong điều kiện tính toán hạn chế.
  3. Hệ thống gợi ý sửa lỗi code trên cloud: nhận báo cáo lỗi, sinh song song nhiều đề xuất patch, dùng temporal confidence để ưu tiên các patch có tiềm năng và loại bỏ sớm các đề xuất phân tán, giảm chi phí token cho mỗi yêu cầu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.16425
ArXiv Abstracthttps://arxiv.org/abs/2608.16425
PDF Downloadhttps://arxiv.org/pdf/2608.16425.pdf
Github Repositoryhttps://github.com/ScottZhang812/ParaTempo

5. OmniAssistBench: Assistant-style Interaction Benchmark for Omni-LLMs (27 votes)​

Tác giả: Xianyun Sun, Chaoyou Fu, Zhengye Zhang, Feiyang Duan, Qingyuan Cao, et al.

Xuất bản lúc: 2026-08-21

Tag: Omni-LLMs, Video Assistant, Multimodal Benchmark, Interactive Evaluation, Vision-Language Models

I. Main Problem:​

Đánh giá mô hình ngôn ngữ đa phương thức toàn diện (Omni-LLMs) trong vai trò trợ lý video tương tác thời gian thực gặp khó khăn căn bản:

  • Trợ lý chủ động phản hồi sẽ thay đổi hành động tiếp theo của người dùng, tạo ra nhiều nhánh tương tác khác nhau.
  • Bộ dữ liệu tĩnh không thể điều chỉnh video đầu vào để theo kịp phản hồi không thể đoán trước của mô hình.
  • Các benchmark video truyền thống chỉ kiểm tra hiểu video thụ động, không đo khả năng kết hợp trạng thái hình ảnh, mục tiêu người dùng và kiến thức nền để hướng dẫn liên tục.

II. Main Idea:​

OmniAssistBench là benchmark đánh giá tương tác kiểu trợ lý qua video, xử lý vấn đề nhánh tương tác bằng cách cung cấp prior knowledge cố định rút ra từ nội dung video gốc, buộc mô hình phải hướng dẫn người dùng theo đúng một lộ trình.

Quy trình xây dựng:

  • Lọc video từ Internet (chủ yếu YouTube) theo cốt truyện cụ thể.
  • Suy luận mục tiêu người dùng và kiến thức nền từ nội dung video.
  • Cắt video thành các đoạn đa lượt, nhúng câu hỏi dưới dạng audio TTS hoặc hình ảnh picture-in-picture để mô phỏng tương tác trực tuyến.

Hai tầng đánh giá:

  • Basic tier: kỹ năng nhận thức nền tảng — Social Perception, Temporal Perception, Referential Perception, Non-audio Prompt Following.
  • Advanced tier: nhiệm vụ phức tạp hướng đến mục tiêu — Context-aware Response, Proactive Response, Process Tracking.
  • 3 Real World Cases được quay riêng: Meeting Simulation, Blind Assistance, Handicraft Process Tracking.

Ví dụ đời thường: giống như người hướng dẫn viên du lịch không chỉ trả lời câu hỏi khách, mà còn giữ bản đồ tuyến đường cố định trong đầu và dẫn khách đi đúng từng chặng, không để khách tự rẽ sang đường khác.

III. Main Results:​

  • Gemini-3-Pro đạt 66.4/100, Qwen3-Omni-Instruct đạt 51.2/100 — khoảng cách lớn giữa proprietary và open-source.
  • Các mô hình hiện tại hiểu được câu hỏi bằng lời nói nhưng thường đưa ra câu trả lời sai hoặc thiếu sót.
  • Bốn điểm yếu chính:
    • Theo dõi visual prompt kém, đặc biệt là cử chỉ tay (gesture-based prompt following).
    • Bộ nhớ dài hạn yếu: cửa sổ context bị cạn sau vài phút, mô hình quên mục tiêu ban đầu.
    • Không biết trì hoãn phản hồi: thường trả lời ngay lập tức thay vì chờ sự kiện yêu cầu xảy ra.
    • Mất ngữ cảnh giữa các lượt: dễ bị phân tâm bởi nội dung video mới và quên mục tiêu người dùng.
  • Bộ dữ liệu gồm 300 video, 685 cặp QA, trung bình 182 giây/video, tốn hơn 1000 giờ chuyên gia.
  • Trong thử nghiệm teacher forcing, thay thế lịch sử bằng đáp án đúng chỉ cải thiện hạn chế — mô hình vẫn khó liên kết đáp án với video.

IV. Conclusion & Future Works:​

OmniAssistBench chỉ ra rằng các Omni-LLMs hiện tại vẫn chưa đủ tin cậy để làm trợ lý video thực tế, dù đã hiểu được phần lớn yêu cầu bằng lời. Cần cải thiện: khả năng theo dõi cử chỉ, bộ nhớ dài hạn, kiểm soát thời điểm phản hồi, và duy trì ngữ cảnh xuyên suốt nhiều lượt. Hướng tương lai: phát triển cơ chế lưu trữ và truy xuất bộ nhớ dài hạn chuyên biệt, cải thiện hiểu visual prompt không lời, và xây dựng chiến lược phản hồi chủ động có nhận thức thời gian.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cơ chế memory bền vững cho Omni-LLMs trong tương tác video đa lượt: kết hợp external memory với attention có chọn lọc để giữ mục tiêu người dùng suốt hàng chục phút.
  2. Phương pháp học cử chỉ tay từ dữ liệu tương tác thực tế: tổng hợp và gán nhãn các mẫu gesture đa dạng để mô hình hiểu prompt thị giác mà không cần lời nói.
  3. Mô hình trợ lý biết chờ đợi: huấn luyện Omni-LLM tự đánh giá thời điểm cần phản hồi dựa trên diễn biến video, thay vì trả lời liên tục mọi kích thích.

2. Patent:​

  1. Trợ lý ảo hướng dẫn nấu ăn trên điện thoại: người dùng đặt camera quay mặt bếp, trợ lý theo dõi từng bước, nhận diện cử chỉ tay khi người dùng chỉ nguyên liệu, và nhắc bước tiếp theo đúng thứ tự công thức đã chọn.
  2. Ứng dụng hỗ trợ người khiếm thị qua camera điện thoại: mô hình mô tả môi trường, chỉ dẫn điều hướng theo bản đồ vẽ tay, và tự động báo khi người cần gặp xuất hiện trong khung hình.
  3. Trợ lý họp trực tuyến tự ghi chép: xử lý video cuộc họp dài, nhận diện người phát biểu, hiểu cử chỉ chụp màn hình của người dùng, và trả lời các câu hỏi về nội dung đã diễn ra.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.21360
ArXiv Abstracthttps://arxiv.org/abs/2608.21360
PDF Downloadhttps://arxiv.org/pdf/2608.21360.pdf
Github Repositoryhttps://github.com/XianyunSun/OmniAssistBench

6. Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs (22 votes)​

Tác giả: Xinming Wang, Weinong Wang, Hongming Yang, Yansong Lin, Zheng Ruan, et al.

Xuất bản lúc: 2026-08-17

Tag: Multimodal Large Language Models, Hybrid-Thinking, Reinforcement Learning, Reward Modeling, Benchmark

I. Main Problem:​

Các hybrid-thinking MLLM cho phép một mô hình chuyển đổi giữa chế độ thinking (suy luận kỹ lưỡng, tốn token) và non-thinking (trả lời trực tiếp, nhanh). Tuy nhiên, tối ưu hiện tại chỉ tập trung vào độ chính xác, bỏ qua chất lượng hành vi phản hồi người dùng nhìn thấy được. Hệ quả:

  • chế độ non-thinking thường xuyên rò rỉ chain-of-thought, lặp lại nội dung, mâu thuẫn logic, hoặc diễn reasoning giả tạo
  • khoảng cách về mẫu phản hồi giữa hai chế độ có thể lên tới 48.64%, ngay cả trên các mô hình flagship
  • độ chính xác cao không đồng nghĩa với phản hồi sạch, nhất quán và dễ sử dụng.

II. Main Idea:​

Bài báo đề xuất response-pattern alignment như một mục tiêu bổ sung song song với độ chính xác. Hệ thống gồm ba thành phần:

  • PatternEval: bộ đánh giá chẩn đoán 2,415 prompt đa phương thức, đo bốn lỗi mẫu phản hồi
  • PatternRM: reward model cấp response, học cách nhận diện bốn failure pattern
  • PatternRL: thêm pattern-specific penalties vào quá trình reinforcement learning để huấn luyện policy non-thinking

Cơ chế tương tự như một nhà hàng có hai quầy: quầy thường (thinking) và quầy nhanh (non-thinking). Thực khách ở quầy nhanh vẫn phải nhận món ăn không chỉ đúng yêu cầu mà còn trình bày gọn gàng, không dính giấy nháp của bếp, không lặp lại món, không tự mâu thuẫn. PatternRL chính là quy trình kiểm soát chất lượng để quầy nhanh đạt chuẩn tương đương quầy thường.

III. Main Results:​

  • PatternEval gồm 2,415 prompt thuộc 9 thể loại và 3 nhóm tác vụ: visual perception & grounding, OCR & structured-image understanding, multimodal knowledge reasoning.
  • Đánh giá trên 25 cấu hình mô hình (Qwen, Kimi, Seed, Claude, Mimo, GPT) cho thấy tất cả đều có khoảng cách pattern dương giữa thinking và non-thinking; 17/25 cặp có Δpat > 20 điểm phần trăm.
  • CoT leakage là lỗi phổ biến nhất trong non-thinking, chiếm phần lớn các trigger.
  • PatternRL trên Qwen3-VL-4B và Qwen3-VL-8B giảm non-thinking Trigger lần lượt 13.08 và 14.35 điểm phần trăm so với BaseRL chỉ tối ưu độ chính xác.
  • Độ chính xác tổng thể thay đổi dưới 1 điểm phần trăm, chứng tỏ có thể cải thiện hành vi phản hồi mà không đánh đổi nhiều hiệu suất tác vụ.
  • Độ dài phản hồi tương quan dương với Trigger (r = 0.64 non-thinking, r = 0.84 thinking), và phản hồi sai lệch dài hơn thường dễ kích hoạt lỗi mẫu hơn.

IV. Conclusion & Future Works:​

PatternEval và PatternRL lập khung đánh giá – huấn luyện toàn diện để căn chỉnh hành vi phản hồi người dùng nhìn thấy được trên các giao diện hybrid-thinking. Kết quả cho thấy cần đưa response-pattern objectives vào post-training, không chỉ dừng lại ở correctness rewards. Hướng mở rộng: mở rộng taxonomy pattern, thử nghiệm trên các mô hình lớn hơn, tích hợp chặt với cơ chế routing giữa thinking/non-thinking, và áp dụng cho các phương thức khác như âm thanh hoặc video.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Áp dụng PatternEval cho các mô hình ngôn ngữ lớn text-only có chế độ hybrid-thinking, kiểm tra tính tổng quát của bốn failure pattern ngoài miền đa phương thức.
  2. Nghiên cứu khả năng tổng quát hóa của PatternRM khi chuyển đổi giữa các taxonomy pattern khác nhau (ví dụ: thêm lỗi sáo rỗng, thiên vị định dạng).
  3. Tối ưu hóa đồng thời độ chính xác, độ trễ, và chất lượng pattern phản hồi trong một framework routing thích ứng giữa thinking và non-thinking.
  4. Phân tích lý thuyết về điều kiện tối ưu để kích hoạt non-thinking: khi nào mô hình có thể trả lời trực tiếp mà không làm giảm chất lượng phản hồi.

2. Patent:​

  1. Hệ thống API gateway cho MLLM hybrid-thinking: tự động kiểm tra và làm sạch phản hồi non-thinking (loại bỏ CoT leakage, lặp, mâu thuẫn) trước khi gửi đến người dùng cuối.
  2. Trợ lý ảo trên điện thoại sử dụng hai chế độ suy nghĩ: chế độ nhanh tự kiểm tra pattern và chuyển sang chế độ suy nghĩ kỹ nếu phát hiện performative reasoning hoặc mâu thuẫn.
  3. Module đánh giá chất lượng phản hồi cho doanh nghiệp triển khai MLLM: ghi nhận tỷ lệ trigger theo thời gian thực, cảnh báo khi non-thinking có xu hướng rò rỉ quá trình suy nghĩ.
  4. Công cụ rewrite phản hồi đa phương thức: tự động rút gọn, khử trùng lặp và sửa mâu thuẫn trong câu trả lời MLLM mà không cần tạo lại câu trả lời từ đầu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.12781
ArXiv Abstracthttps://arxiv.org/abs/2608.12781
PDF Downloadhttps://arxiv.org/pdf/2608.12781.pdf
Github RepositoryN/A

7. Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models (15 votes)​

Tác giả: Zhaoyi Li, Deyang Kong, Yuan Wei, Evan Yang, Ranran Shen, et al.

Xuất bản lúc: 2026-08-17

Tag: On-Policy Distillation, Knowledge Distillation, Large Language Models, Multi-Teacher Distillation, Generalization, Model Origin

I. Main Problem:​

OPD hiện được đánh giá chủ yếu trong một miền tác vụ duy nhất và trên benchmark gần với dữ liệu huấn luyện, nên chưa phân biệt được hai khả năng:

  • Local fitting: student chỉ khớp với phân phối đã huấn luyện
  • Broader policy transfer: student thực sự học được chính sách suy luận từ teacher

Hệ quả là chưa rõ OPD khái quát thế nào khi đánh giá khác ngôn ngữ, khác độ dài chuỗi suy luận, hay khác miền tác vụ. Đặc biệt, trong MOPD — nơi mỗi prompt được định tuyến tới một domain expert — chưa biết liệu ảnh hưởng của từng teacher có bị giới hạn trong miền được giao hay không.

II. Main Idea:​

Nghiên cứu kiểm soát bằng cách thay đổi một yếu tố khái quát hóa tại một thời điểm, từ trong miền tới ngoài miền và đa teacher. Phát hiện trung tâm: OPD truyền hành vi suy luận của teacher chứ không phải đáp án của từng bài toán cụ thể.

Cụ thể:

  • Độ khó bài tập huấn luyện gần như không quan trọng — cả bài teacher không bao giờ giải được vẫn hữu ích như bài teacher luôn giải được.
  • Khả năng khái quát ra ngôn ngữ khác (Anh → Trung) và chuỗi suy luận dài hơn là có thật.
  • Nguồn gốc mô hình (same-origin vs cross-origin) quyết định mức độ khái quát:
    • Same-origin: student tiến gần teacher trên nhiều miền, ngôn ngữ, horizon.
    • Cross-origin: student chủ yếu cải thiện trên phân phối đã huấn luyện.
  • Hiện tượng này là con dao hai lưỡi trong MOPD: vì mỗi teacher ảnh hưởng ra ngoài miền được giao, thay đổi tỷ lệ mixture tạo hiệu ứng seesaw — các năng lực miền bị kéo lên/xuống theo teacher chiếm ưu thế.

Ví dụ đời thường: giống như học nghề không phải thuộc lời giải từng bài toán cụ thể, mà là học cách tư duy của thầy; nhưng nếu thầy dạy nghề có "vibe" quá xa, học trò chỉ bắt chước đúng những tình huống đã thấy, còn nhiều thầy cùng dạy thì kéo co nhau theo tỷ lệ giờ dạy.

III. Main Results:​

  • Độ khó bài tập huấn luyện (theo teacher pass-rate 0, 1, ngẫu nhiên) cho kết quả cuối gần như nhau trên nhiều cặp teacher-student khác nhau.
  • Lọc động bỏ các bài student đã giải được (pass-rate ∈ [0,1)) cho lợi ích nhỏ nhưng ổn định.
  • Huấn luyện toán tiếng Anh ngắn hạn cải thiện toán tiếng Trung và toán chuỗi dài; same-origin teacher cho lợi ích lớn hơn cross-origin teacher mạnh hơn.
  • Huấn luyện toán cải thiện code (LiveCodeBench) và khoa học (GPQA-Diamond); huấn luyện code, khoa học, hoặc instruction-following cũng cải thiện toán — chủ yếu với same-origin.
  • Cross-origin teacher tạo khoảng cách rõ giữa khái quát trong miền và ngoài miền.
  • Trong MOPD, thay đổi tỷ lệ Nemotron/JustRL làm GPQA, LiveCodeBench, IF-Eval thay đổi theo teacher chiếm tỷ lệ cao hơn, bất chấp teacher được phân công miền nào.
  • Tug-of-war xuất hiện trong huấn luyện MOPD: student ban đầu theo teacher này, sau bị kéo về teacher khác; thí nghiệm cascaded OPD cũng cho thấy năng lực khoa học tăng lên dưới Nemotron rồi giảm xuống khi chuyển sang JustRL.

IV. Conclusion & Future Works:​

OPD truyền hành vi suy luận của teacher hơn là đáp án riêng lẻ. Khả năng khái quát rộng của same-origin là con dao hai lưỡi: tốt cho single-teacher nhưng khiến MOPD khó kiểm soát vì domain routing không thể cô lập ảnh hưởng của từng teacher. Hiệu ứng seesaw cung cấp góc nhìn chẩn đoán hữu ích cho MOPD.

Hướng tương lai: thiết kế chiến lược kết hợp teacher trong MOPD tốt hơn — có thể qua các cơ chế cô lập năng lực, pha trộn có điều kiện, hoặc mixture ratio tự thích ứng để giảm hiện tượng seesaw.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng nghiên cứu "origin gap" sang các kiến trúc mô hình khác nhau và các kỹ thuật alignment teacher-student ngoài OPD để hiểu sâu hơn về tương thích phân phối.
  2. Phát triển phương pháp định lượng "capability interference" trong MOPD qua nhiều miền, dựa trên quan sát cross-domain influence của từng teacher.
  3. Thiết kế thuật toán mixture/routing thích ứng cho MOPD, tự động điều chỉnh tỷ lệ teacher dựa trên hiệu ứng seesaw và mục tiêu cân bằng năng lực đa miền.

2. Patent:​

  1. Hệ thống tinh chỉnh LLM cục bộ trên điện thoại: dùng OPD same-origin để chuyển khả năng suy luận từ model lớn trên cloud xuống model nhỏ trên thiết bị, với dữ liệu huấn luyện có thể gồm cả bài dễ và bài teacher chưa giải được, giảm chi phí thu thập dữ liệu khó.
  2. Nền tảng huấn luyện LLM đa chuyên gia: tự động phát hiện và điều chỉnh tỷ lệ mixture các teacher dựa trên hiệu ứng seesaw quan sát được, giúp cân bằng năng lực giữa các miền toán, code, khoa học, instruction-following.
  3. Ứng dụng chuyển ngôn ngữ trên thiết bị di động: huấn luyện model bằng dữ liệu tiếng Anh rồi khái quát sang tiếng Việt/Trung nhờ tính chất truyền hành vi suy luận của OPD, giảm phụ thuộc vào dữ liệu song ngữ lớn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.16647
ArXiv Abstracthttps://arxiv.org/abs/2608.16647
PDF Downloadhttps://arxiv.org/pdf/2608.16647.pdf
Github RepositoryN/A

8. EviRank: Structured Relevance Evidence for Multimodal Image Re-ranking (11 votes)​

Tác giả: Enjun Du, Siyi Liu, Zirong Chen, Xinyu Zuo, Jinwen Luo, et al.

Xuất bản lúc: 2026-08-21

Tag: Multimodal Retrieval, Image Re-ranking, Vision-Language Models, Structured Reasoning, Semantic Constraints, Knowledge Distillation, Composed Image Retrieval

I. Main Problem:​

Truy vấn tìm kiếm ảnh thực tế thường đa thành phần và đa phương thức — ví dụ “tìm chiếc áo sơ mi này màu hồng” ngầm yêu cầu giữ nguyên sản phẩm, thay đổi một thuộc tính, và bỏ qua nền hoặc ánh sáng. Các phương pháp hiện tại gặp hai hạn chế:

  • Representation-centric gom mọi khía cạnh liên quan thành một embedding đặc trưng mờ nhạt, không cho biết tiêu chí nào bị vi phạm.
  • Reasoning-centric dùng chain-of-thought tự do, dễ bỏ sót ràng buộc ngầm, halucinate bằng chứng, và có độ bao phủ ngữ nghĩa không nhất quán giữa các truy vấn.

II. Main Idea:​

EviRank định khung lại image re-ranking thành bài toán thỏa mãn ràng buộc ngữ nghĩa có cấu trúc. Quy trình:

  • Query → Evidence Frame: mọi truy vấn (chỉ văn bản, chỉ ảnh, hoặc kết hợp) được phân tích thành một gói bằng chứng thống nhất với 6 slot ngữ nghĩa (entities, attributes, actions, relations, scene, key details), mỗi slot gán nhãn required / forbidden / ignorable.
  • Evidence-conditioned verification: re-rank bằng cách kiểm tra từng ràng buộc — kết hợp rubric scoring xác định (có trọng số slot, phạt vi phạm forbidden, che đi ignorable) và listwise comparison dựa trên bằng chứng để phân biệt các ứng viên gần nhau.
  • Distillation: cùng bộ bằng chứng có cấu trúc và điểm slot-wise trở thành supervision để chưng cất student nhẹ (Qwen3-VL-2B) giữ >90% năng lực teacher.

Ví dụ đời thường: giống như thanh tra nhà hàng kiểm tra bếp theo một checklist cố định (nhiệt độ tủ lạnh, vệ sinh, cách trữ đồ), trong đó mỗi mục ghi rõ bắt buộc đạt, tuyệt đối không được, hay không quan trọng — thay vì chỉ ngửi tổng thể và cho điểm chung chung.

III. Main Results:​

  • SOTA trên 5 benchmark ba paradigms: text-to-image (Flickr30k, MS COCO), image-to-image (Stanford Online Products, CUB-200), composed retrieval (FashionIQ).
  • Flickr30k với BLIP-2: EviRank-pro đạt 95.61% R@1, cao hơn CoTMR +6.32 điểm; ngay cả EviRank-mini (chỉ rubric, không cần MLLM lúc inference) cũng vượt các baseline.
  • MS COCO với CLIP-ViT-L/14: EviRank-pro đạt 69.53% R@1, cao hơn CoTRR +9.6 điểm.
  • Image-to-image: EviRank-pro đạt 91.46% R@1 (SoP) và 86.89% R@1 (CUB-200), vượt LoCoRE-base +7.66 và +8.59 điểm.
  • FashionIQ: R@10 cải thiện tới +8.27 điểm trên mục Shirt so với ImageScope.
  • Rubric + listwise bổ sung nhau, không thừa; ablation cho thấy loại bỏ Evidence Frame gây sụt giảm lớn nhất, còn forbidden constraints rất quan trọng cho phân biệt fine-grained.
  • Stable evidence: Kendall’s τ ≥ 0.89, top-1 agreement ≥ 91%, R@10 std ≤ 1.3 khi thay đổi prompt, teacher, hoặc decoding ngẫu nhiên.

IV. Conclusion & Future Works:​

EviRank cho thấy image re-ranking đa phương thức về bản chất là language-grounded semantic verification: biến truy vấn thành các ràng buộc typed có cấu trúc giúp hệ thống biết chiều nào quan trọng và cách thức ứng viên thỏa mãn, thay vì dựa vào điểm tương đồng mờ hoặc suy luận tự do. Hướng mở rộng: áp dụng Evidence Frame cho video, 3D, audio-visual; đánh giá với truy vấn đa ngôn ngữ và nghiên cứu người dùng quy mô lớn trong hệ thống tìm kiếm thực tế.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Evidence Frame sang video retrieval bằng cách bổ sung các slot thời gian (hành động diễn ra khi nào, quan hệ trước-sau giữa các sự kiện) và thiết kế rubric kiểm tra theo chuỗi khung hình.
  2. Áp dụng evidence-conditioned verification cho multimodal document ranking — ví dụ tìm kiếm slide hoặc báo cáo dựa trên truy vấn kết hợp văn bản, biểu đồ và hình ảnh.
  3. Chuyển giao khung required/forbidden/ignorable sang các bài toán đánh giá ngữ nghĩa trong NLP (fact-checking, summary evaluation) để tạo supervision có cấu trúc thay vì nhãn scalar.

2. Patent:​

  1. Ứng dụng mua sắm trên điện thoại với tìm kiếm hình ảnh có điều kiện: người dùng chụp một món đồ và gõ “cùng kiểu nhưng màu đỏ”; điện thoại phân tích truy vấn thành required/forbidden/ignorable rồi re-rank danh mục sản phẩm theo đúng ý muốn.
  2. Trợ lý thiết kế nội thất trên smartphone: người dùng chụp ảnh phòng và nhập phong cách mong muốn; ứng dụng kiểm tra từng đồ nội thất đề xuất theo slot entities, attributes, scene, rồi sắp xếp các lựa chọn phù hợp nhất.
  3. Trình quản lý ảnh cá nhân thông minh: người dùng tìm trong thư viện bằng truy vấn kết hợp như “ảnh giống tấm này nhưng chụp ban đêm”; điện thoại trích xuất evidence frame và re-rank ảnh cục bộ mà không cần gửi toàn bộ dữ liệu lên đám mây.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.20886
ArXiv Abstracthttps://arxiv.org/abs/2608.20886
PDF Downloadhttps://arxiv.org/pdf/2608.20886.pdf
Github RepositoryN/A

9. UniSpace: Unified Visual Representation and Scalable Multimodal Modeling (10 votes)​

Tác giả: Jinbo Yan, Limeng Qiao, Jie Qin, Junyan He, Feize Wu, et al.

Xuất bản lúc: 2026-08-09

Tag: Multimodal Models, Vision Transformers, Image Generation, Image Editing, Flow Matching, Mixture of Experts

I. Main Problem:​

Các bộ mã hóa thị giác ngữ nghĩa (như SigLIP, CLIP) là giao diện trung tâm cho hệ thống đa phương thức, nhưng token đầu ra của chúng mất chi tiết pixel mịn vì được tối ưu cho trừu tượng ngữ nghĩa. Hệ quả:

  • Khôi phục hình ảnh kém, khó dùng cho tạo ảnh và chỉnh sửa nhạy cảm với chi tiết.
  • Các hệ thống hiện tại phải dùng hai không gian biểu diễn riêng biệt: token ngữ nghĩa cho hiểu ảnh và latent VAE cho tạo ảnh, gây phân mảnh và phức tạp.

II. Main Idea:​

Patch Reparameterization — giữ nguyên bộ mã hóa patch ngữ nghĩa gốc và các khối Transformer đông lạnh, đồng thời thêm một patch embedding nhận thức tái tạo được huấn luyện riêng. Cả hai luồng token đi qua cùng một backbone ViT, sau đó được ghép kênh một cách tường minh (semantic tokens + reconstruction tokens nén) tạo thành biểu diễn thống nhất T_u. Từ đó, hiểu ảnh, tái tạo và tạo ảnh chia sẻ một không gian biểu diễn duy nhất.

Ví dụ đời thường: giống như cùng một chiếc máy ảnh nhưng thay đổi ống kính: một ống kính làm nổi bật chủ thể/bối cảnh (ngữ nghĩa), một ống kính giữ độ nét, màu sắc, kết cấu vải (chi tiết pixel); hai bức ảnh chụp cùng cảnh được ghép lại thành một bức ảnh vừa nhận diện được vừa sắc nét.

III. Main Results:​

  • Thay chỉ bộ mã hóa patch của SigLIP2 bằng một chiếu ngẫu nhiên trong khi giữ nguyên các khối Transformer đông lạnh làm tăng PSNR tầng cuối từ 20.96 lên 24.66 dB (+3.70 dB), chứng tỏ bottleneck nằm ở patch embedding chứ không phải backbone.
  • Áp dụng thiết kế cho SigLIP2, DINOv2, Qwen-ViT tạo ra các bộ mã hóa thống nhất PR-SigLIP2, PR-DINOv2, PR-Qwen-ViT, vừa giữ khả năng hiểu ảnh vừa cải thiện tái tạo/tạo ảnh.
  • UniSpace là mô hình 8B tham số dựa trên Qwen3, dùng kiến trúc Mixture-of-Transformer-Experts (MoT), thực hiện hiểu ảnh, tạo ảnh từ văn bản và chỉnh sửa ảnh theo chỉ dẫn trong cùng một không gian biểu diễn T_u, không cần VAE riêng.
  • Huấn luyện trên khoảng 510M mẫu (~470B token đa phương thức) với tokenizer đông lạnh xuyên suốt.

IV. Conclusion & Future Works:​

Patch Reparameterization cho thấy các khối Transformer ngữ nghĩa đông lạnh vốn có khả năng giữ chi tiết pixel; chỉ cần tái tham số hóa đầu vào là có thể biến một ViT ngữ nghĩa thành tokenizer thị giác thống nhất cho cả hiểu, tạo và chỉnh sửa. UniSpace chứng minh điều này ở quy mô 8B mà không cần không gian VAE riêng.

Hướng tương lai: mở rộng sang video/3D, cải thiện cân bằng giữa thành phần ngữ nghĩa và tái tạo, và tinh chỉnh chiến lược lấy mẫu thời gian (timestep) cho các độ phân giải cao hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Patch Reparameterization cho bộ mã hóa video: một embedding patch ngữ nghĩa và một embedding patch tái tạo cùng chạy qua backbone video Transformer đông lạnh để hiểu và tạo video trong cùng một không gian.
  2. Nghiên cứu lý thuyết về cơ chế 'tuyến đường ngữ nghĩa' vs 'tuyến đường chi tiết' trong các khối Transformer đông lạnh, đo lường mức độ tương tác và nhiễu giữa hai luồng thông tin.
  3. Áp dụng biểu diễn thống nhất T_u cho các tác vụ điều khiển đa phương thức và robot: ảnh quan sát và mục tiêu được mã hóa trong cùng không gian để mô hình ngôn ngữ-vision sinh chuỗi hành động.

2. Patent:​

  1. Ứng dụng chỉnh sửa ảnh trên điện thoại thông minh: người dùng nhập chỉ dẫn bằng giọng nói/văn bản; mô hình UniSpace hiểu nội dung ảnh gốc và tái tạo ảnh đã chỉnh sửa trong cùng một không gian biểu diễn, giữ chi tiết gốc ở các vùng không thay đổi.
  2. Hệ thống tạo ảnh quảng cáo trên thiết bị di động: nhập mô tả sản phẩm, mô hình sinh ảnh sản phẩm và cho phép chỉnh sửa theo chỉ dẫn trong một pipeline duy nhất, tiết kiệm bộ nhớ và năng lượng so với việc chạy VAE và ViT ngữ nghĩa riêng rẽ.
  3. Module camera thông minh cho xe tự hành/drone: cùng một bộ mã hóa thị giác thống nhất vừa nhận diện vật thể, vừa tái tạo/tạo ảnh cảnh quan để kiểm tra và mô phỏng, giảm độ trễ và phức tạp hệ thống nhận thức.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2608.08676
ArXiv Abstracthttps://arxiv.org/abs/2608.08676
PDF Downloadhttps://arxiv.org/pdf/2608.08676.pdf
Github Repositoryhttps://github.com/yjb6/UniSpace