🤗 Daily Hugging Face Paper Digest - 2026-10-23

Báo cáo được tạo tự động vào lúc 2026-10-24 10:24:25 bằng mô hình hermes-agent.

📰 Summary of Papers

1. WeVisOne-VL: Unified Visual Perception from Objects to Pixels (223 votes)

Tác giả: Tianming Liang, Junyi Pan, Yuxi Li, Canmiao Fu, Zhipeng Huang, et al.

Xuất bản lúc: 2026-10-22

Tag: Vision-Language Models, Object Detection, Segmentation, Referring Localization, Matting, OCR, Reinforcement Learning, Qwen3-VL

I. Main Problem:

Các VLM hiện tại không đáng tin cậy trong nhận thức hình ảnh mức chi tiết (fine-grained): chúng thường ảo giác đối tượng không tồn tại, hiểu sai ý định người dùng với mô tả lạ, hoặc bỏ sót các instance không nổi bật. Ngoài ra, các tác vụ như detection, segmentation, matting vẫn phải dùng mô hình chuyên biệt riêng lẻ (SAM, DETR...), khó triển khai đồng nhất trong thực tế.

II. Main Idea:

WeVisOne-VL đưa mọi tác vụ nhận thức hình ảnh — từ object-level (detection, referring, counting, OCR, pointing) đến pixel-level (segmentation, matting) — về một giao diện ngôn ngữ thống nhất dưới dạng structured next-token prediction:

Token tọa độ <0>–<1000> biểu diễn toạ độ chuẩn hoá, output gọn (box, point, hoặc None nếu đối tượng vắng mặt)
Sau mỗi box, model sinh token <OBJ> — hidden state của nó là biểu diễn latent của instance — nạp vào một pixel decoder siêu nhẹ (~9.6M tham số): visual feature adapter + Deformable DETR-style query decoder được khởi tạo từ box, rồi dự đoán mask/alpha matte độ phân giải đầy đủ mà không cần SAM riêng
Dữ liệu: Data Engine ~100M ảnh, 3.6 tỷ box annotation, xây knowledge graph, gộp đề xuất từ nhiều expert (SAM3, detector in-house) rồi verify bằng Qwen3-VL, tạo mask bằng SAM2, alpha matte qua pipeline matting chuyên dụng
Huấn luyện: 3 giai đoạn SFT theo curriculum (task alignment → tăng resolution/density → liên kết token–pixel luân phiên) rồi mixed-task RL (GRPO) trên các sample model tự tin nhất để giảm hallucination

Ví dụ đời thường: giống nhân viên bán hàng vừa chỉ đúng món hàng bằng miệng (box/tọa độ) vừa khoanh viền chính xác bằng bút (mask/matte) trên cùng một tấm ảnh — một người làm được cả hai việc, không cần người chuyên viền riêng.

III. Main Results:

Theo abstract, trên hơn 30 benchmark WeVisOne-VL đạt hiệu năng dẫn đầu ở cả object-level lẫn pixel-level:

Mạnh trên detection, fine-grained referring, OCR, segmentation và language-guided pixel prediction
Giữ recall cao trong cảnh đông đúc và từ chối đúng khi truy vấn không có đối tượng thật
Mô hình release ở 2 quy mô 2B và 4B, mã nguồn và trọng số mở cho cộng đồng

(Phần extracted text không chứa bảng kết quả chi tiết nên không liệt kê số cụ thể.)

IV. Conclusion & Future Works:

WeVisOne-VL cho thấy VLM có thể thống nhất object-level và pixel-level perception trong một model duy nhất, tiến từ hiểu hình ảnh rộng sang hệ thống nhận thức đáng tin cậy với khả năng định vị ở mọi mức độ chi tiết người dùng yêu cầu. Việc mở mã nguồn nhằm thúc đẩy VLMs hướng tới triển khai thực tế. Phần tương lai không được nêu rõ trong trích đoạn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng kiến trúc token <OBJ> + pixel decoder nhẹ cho các tác vụ dự đoán dày đặc mới như depth estimation hoặc optical flow, giữ nguyên phong cách output tự hồi quy.
Nghiên cứu cơ chế RL đa tác vụ (GRPO) sâu hơn để cân bằng trade-off giữa các tác vụ object-level và pixel-level mà không làm chệch khả năng từ chối.
Áp dụng vòng phản hồi lỗi-sửa-dữ-liệu của Data Engine cho các miền dữ liệu mới như video hoặc ảnh y khoa.

2. Patent:

Ứng dụng camera điện thoại chỉnh ảnh chân dung: người dùng nói “tách người đang cầm ô đỏ ra khỏi phông”, model vừa tìm đúng người vừa tạo alpha matte mượt ở biên tóc để xóa phông mà không cần app chuyên biệt.
Công cụ đếm và kiểm kê bằng ảnh cho kho hàng/siêu thị: chụp một lần, model đếm và khoanh box từng món, tự trả lời “không có” khi mã hàng không xuất hiện thay vì báo sai.
Trợ lý OCR định vị trên điện thoại: nhận lệnh thoại rồi trả về vị trí và nội dung mọi chữ trong ảnh (hóa đơn, biển hiệu) để người khiếm thị biết chữ nằm ở đâu.
Hệ thống cắt sản phẩm làm ảnh quảng cáo: nhập mô tả ngôn ngữ, model xuất mask/matte từng sản phẩm để ghép nền mới với biên mượt, thay thế chụp studio.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.31329
ArXiv Abstract	https://arxiv.org/abs/2610.31329
PDF Download	https://arxiv.org/pdf/2610.31329.pdf
Github Repository	https://github.com/Tencent/WeVisOne-VL

2. Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation (165 votes)

Tác giả: Songlin Yang, Zhe Wang, Xiaotong Zhao, Xi Wang, Ran Zhang, et al.

Xuất bản lúc: 2026-10-22

Tag: Video Generation, MLLMs, Diffusion Transformer, Flow Matching, Controllable Generation, Representation Learning

I. Main Problem:

Sinh video điện ảnh cần đồng thời suy luận thời gian từ đầu vào thưa — chỉ có kịch bản/vài tham chiếu, không có mô tả từng khung — và điều khiển theo từng yếu tố nhân vật, bối cảnh, hành động, camera mà không làm lệch các yếu tố còn lại.

Vấn đề cốt lõi: đưa đặc trưng của mô hình ngôn ngữ đa phương thức vào generator là chưa đủ. Các đường điều kiện quen thuộc như text encoder và ảnh/tham chiếu qua VAE khiến Video Diffusion Transformer bỏ qua latent MLLM để giảm loss. Supervision ở cấp video toàn cục cũng không chỉ rõ: thay đổi một nhân tố nào, phải bảo toàn cái gì; và khi chỉ có text, MLLM chưa được học để dự đoán nội dung thời gian còn thiếu.

II. Main Idea:

Factor-Aware Predictive Learning (FAPL) biến latent của MLLM thành điều kiện sinh video thật sự có ích bằng ba giai đoạn bổ trợ nhau:

Giai đoạn I — MLLM-only generator grounding: đóng băng MLLM và connector, chỉ cho DiT dùng latent MLLM chiếu qua connector làm điều kiện nội dung duy nhất. Cả hai kiểu quan sát text-only và text + video đầy đủ cùng nhắm tới một video target, buộc DiT phải học cách đọc latent MLLM thay vì dựa vào text/VAE.
Giai đoạn II — factor-aware augmentation: dùng cặp video chỉ khác nhau một nhân tố. Caption được viết thành 4 trường có nhãn: character / scene / action / camera, giúp định vị span latent tương ứng. Thay span của nhân tố mục tiêu giữa hai ví dụ rồi huấn luyện DiT tạo đúng video đích, tức học quan hệ “đổi đúng cái được yêu cầu, giữ nguyên phần còn lại”.
Giai đoạn III — prediction from limited inputs: đóng băng DiT đã học, rồi tối ưu MLLM và connector xuyên qua DiT cố định. Text-only và text + video đầy đủ chia sẻ cùng target, nên nhánh thiếu dữ liệu học cách dự đoán chuyển động/diễn biến, còn nhánh đủ dữ liệu cung cấp reconstruction bổ trợ qua cùng một giao diện sinh.

Không giả định representation đã tách biệt hoàn toàn; can thiệp ở cấp span sau connector, trước DiT.

Ví dụ đời thường: giống đạo diễn tập kịch — đầu tiên bắt diễn viên chỉ nghe ghi chú của người phiên dịch kịch bản để không ỷ vào đạo cụ; sau đó đổi đúng một tấm thẻ ghi “camera quay tròn” để cả đoàn thấy phần còn lại không được đổi; cuối cùng giữ nguyên máy quay, chỉ huấn luyện người phiên dịch gửi đủ gợi ý để dàn dựng chạy đúng từ kịch bản thưa.

III. Main Results:

Trên CineFactor-10K, FAPL vượt UniVideo 13B và Omni-Video 2 ở cả ba tác vụ.
Sparse-to-video: Motion Order 61% so với 48% UniVideo, 43% Omni-14B, 33% Omni-1.3B; Translation Error 0.0586 so với 0.0763/0.0817/0.1084; Rotation Error 1.02 rad so với 1.54/1.49/1.87.
Factor-aware editing: ∩-Acc 58% so với 42% UniVideo, 37% Omni-14B, 28% Omni-1.3B; đổi nhân tố mục tiêu trong khi bảo toàn các nhân tố khác tốt hơn rõ.
Multi-shot consistency: Subject 0.516, Scene 0.471, FaceSim-Arc 0.523, cao hơn UniVideo 0.462/0.427/0.451 và cả hai Omni-Video 2.
Ablation: Stage I cải thiện motion order và camera error. Stage II với factor swapping đạt ∩-Acc 57% so với 48% khi dùng cùng paired data nhưng không swap, cho thấy lợi ích tập trung ở editing. Stage III mixed-observation nâng Motion Order từ 57% lên 61%, giảm translation 0.0629 → 0.0586, rotation 1.26 → 1.02 rad, giữ editing 58% so với 56% khi chỉ train text-only.
Kết quả cải thiện sinh dưới MLLM-only conditioning cũng quan sát được trên nhiều mô hình nền khác nhau, cho thấy cơ chế không chỉ riêng một backbone.

IV. Conclusion & Future Works:

FAPL cho thấy nút cổ chai không chỉ là “có latent MLLM”, mà là generator phải dùng nó, supervision phải chỉ rõ đổi/giữ ở cấp nhân tố, và MLLM phải được học để dự đoán từ quan sát thưa qua một generator cố định. Ba tín hiệu này đủ mạnh để cải thiện sparse-to-video, factor-aware editing và multi-shot generation mà không thêm kiến trúc phức tạp.

Giới hạn: chất lượng vẫn bị chặn bởi MLLM nền — hiện còn yếu với blockout 3D, suy luận camera phức tạp — và DiT nền giới hạn độ chân thực, diễn xuất, hiện thực hóa nhân tố khó. Hướng đi tự nhiên là kết hợp MLLM mạnh hơn và video generator mạnh hơn, đồng thời mở rộng can thiệp nhân tố tinh hơn cho acting, ánh sáng và blocking.

V. Brainstorming Space:

1. Publish Papers:

Phương pháp can thiệp latent có nhãn cho điều khiển đa nhân tố trong sinh video: thay span tương ứng với nhân vật, cảnh, hành động, camera để học quan hệ “đổi mục tiêu — bảo toàn còn lại” mà không giả định disentanglement hoàn chỉnh.
Học dự đoán video từ quan sát thưa qua generator cố định: dùng chung video target cho nhánh chỉ có text và nhánh có text + video đầy đủ để huấn luyện mô hình hiểu đa phương thức sinh representation tương thích với decoder.
Đánh giá cross-shot cinematic consistency: mở rộng từ consistency nhân vật/cảnh sang giữ đúng diễn biến hành động, logic không gian và ý đạo diễn khi sinh nhiều shot từ cùng tài liệu tham chiếu.
Tự động dựng storyboard thành shot list điện ảnh: từ kịch bản ngắn và vài ảnh tham chiếu, sinh chuỗi shot có cùng nhân vật/bối cảnh nhưng thay đổi hành động và camera theo từng câu lệnh.

2. Patent:

Ứng dụng điện thoại tạo video quảng cáo từ kịch bản ngắn: người dùng nhập mô tả cảnh, chọn ảnh nhân vật/sản phẩm, hệ thống dựng video có chuyển động camera và hành động suy ra từ text mà không cần quay thật.
Trình chỉnh sửa video trên điện thoại đổi đúng một yếu tố: người dùng sửa một dòng mô tả kiểu “đổi áo khoác”, “đổi phông nền”, “camera quay trái”; hệ thống tạo lại video giữ nguyên gương mặt, cử chỉ, bối cảnh và ánh sáng còn lại.
Công cụ làm phim nhiều cảnh trên điện thoại: dùng cùng bộ ảnh nhân vật và bối cảnh để sinh nhiều shot liên tiếp, mỗi shot có hành động và góc máy riêng nhưng nhân vật, trang phục và không gian không bị lệch giữa các cảnh.
Tính năng “thử blocking trước khi quay”: nhà làm phím nhập sơ đồ vị trí diễn viên đơn giản và câu thoại, điện thoại sinh thử đoạn phim ngắn với dự kiến chuyển động camera để kiểm tra nhịp kịch trước khi lên hiện trường.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.30926
ArXiv Abstract	https://arxiv.org/abs/2610.30926
PDF Download	https://arxiv.org/pdf/2610.30926.pdf
Github Repository	https://github.com/Songlin1998/ShotVerse2.0

3. Deep Search in Real-World Web Environments (152 votes)

Tác giả: Xiaomin Yu, Hongliang Chen, Zhe Huang, Shilin Yan, Shao-Rong Su, et al.

Xuất bản lúc: 2026-10-19

Tag: Deep Search, Web Agents, Benchmark, Tool Use, LLM Evaluation, Multi-Modal Reasoning

I. Main Problem:

Các đánh giá hiện tại về Deep Search agents thiếu thực tế: chúng không phản ánh đúng sự phức tạp của Web thật, nơi thông tin nằm rải rác ở:

Nhiều phương thức (modalities) khác nhau: văn bản, hình ảnh, âm thanh, video
Định dạng dữ liệu dị thức: HTML, PDF, Parquet, RSS/XML, ZIP...
Yêu cầu tương tác phức tạp: phải điều hướng, thao tác giao diện, cập nhật tham số, tải tài nguyên mới lấy được bằng chứng

Các benchmark cũ thường tách rời từng thách thức này, nên không đo được khả năng tích hợp bằng chứng đa nguồn của agent trong môi trường Web mở thật.

II. Main Idea:

Tác giả đề xuất OpenDS (Open-Web Deep Search) — tác vụ đặt agent vào Web mở, thật, và yêu cầu tự tìm kiếm nhiều bước, truy cập, xử lý và nối bằng chứng từ nhiều nguồn độc lập để đưa ra một đáp án duy nhất. Trên nền đó họ xây dựng OpenDS-World: 200 câu hỏi xuất phát từ một video thật, agent phải đi theo chuỗi bằng chứng qua 8 lĩnh vực (văn hóa, khoa học, lịch sử...), với human verification độc lập bởi 10 người kiểm tra để đảm bảo bằng chứng hợp lệ và đáp án duy nhất.

Xây dựng câu hỏi bằng inversion: xây chuỗi bằng chứng trước rồi giấu các nút trung gian thành manh mối gián tiếp
Môi trường agent thống nhất với 3 loại tool: Search, GUI, và xử lý video frame/subtitle
Giới hạn ngân sách: tối đa 100 tool calls, 3.600 giây

Ví dụ đời thường: giống chơi trò tìm kho báu bắt đầu từ một mảnh ghép duy nhất — phải tự lần theo dấu vết qua nhiều địa điểm khác nhau, mỗi địa điểm lại mở khóa theo cách riêng (một nơi xem video, một nơi phải bấm nút trên giao diện 3D, một nơi đọc bảng dữ liệu), chỉ nối được hết mới ra đáp án cuối.

III. Main Results:

GPT-6 Astra dẫn đầu với 39.0% accuracy trên 200 tác vụ; Claude Opus 5.5 đạt 38.0%, Gemini 3.8 Flash 36.5%.
Con người chỉ đạt 21.1% (211/1000 lượt); 42.5% tác vụ không ai giải được, thời gian trung bình 12.92h/người cho 20 câu hỏi.
Nhóm bài khó (không ai giải được) mới phân biệt rõ các model: top model ~24.7% vs mô hình text-only như DeepSeek-V4-Pro chỉ 3.5%.
Không có tương quan giữa số tool calls, thời gian chạy với độ chính xác — gọi tool nhiều hơn không giúp làm tốt hơn.
Phân tích lỗi: các model vẫn yếu ở phối hợp công cụ, chọn nguồn thông tin, điều chỉnh chiến lược tìm kiếm và quản lý tác vụ dài hạn; nhiều model bỏ cuộc sớm (termination quá sớm).
Claude Opus 5.5 có tỷ lệ chính xác gần top nhưng chi phí token cao gấp ~2 lần GPT-6 Astra.

IV. Conclusion & Future Works:

OpenDS-World cung cấp nền tảng đánh giá thống nhất đầu tiên cho deep search trên Web thật, cho thấy khoảng cách còn rất xa: model tốt nhất chỉ 39% và con người 21% cho thấy tác vụ vừa khó với cả hai. Kết quả phân tích cho thấy vấn đề cốt lõi không phải thiếu tài nguyên mà là chiến lược nghiên cứu — chọn nguồn, phối hợp công cụ, và tự điều chỉnh trong tác vụ dài. Hướng tương lai: cải thiện khả năng tự phục hồi sau lỗi (failure recovery), quản lý ngân sách dài hạn, và chiến lược tìm kiếm chủ động của agent trong môi trường Web động.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các chiến lược tự điều chỉnh (self-correction) trong deep search dài hạn: agent tự nhận biết khi đi lạc bằng chứng và quay lại các nhánh tìm kiếm khác thay vì bỏ cuộc.
Phân tích tương quan giữa hành vi termination của agent và độ khó tác vụ, để xây dựng cơ chế dừng thích ứng thay vì ngân sách cố định 100 tool calls.
Mở rộng OpenDS cho tác vụ nghiên cứu nhiều câu hỏi liên quan (multi-hop compound questions) thay vì một đáp án duy nhất.
Nghiên cứu kết hợp multimodal reasoning (nghe podcast, xem video, đọc biểu đồ) trong một chuỗi suy luận thống nhất cho Web agents.

2. Patent:

Trợ lý nghiên cứu tự động trên điện thoại: người dùng đặt một câu hỏi (ví dụ 'công viên nào được đề cập trong podcast tháng 2 này?'), ứng dụng tự lần theo dấu vết trên Web thật qua video, trang tin, tệp dữ liệu và trả về đáp án kèm chuỗi nguồn có thể kiểm chứng.
Hệ thống kiểm chứng thông tin đa nguồn cho nội dung mạng xã hội: khi phát hiện một tuyên bố gây tranh cãi, hệ thống tự tìm nhiều nguồn độc lập (báo, video, dữ liệu chính thức), nối bằng chứng chéo và gắn nhãn xác thực/không xác thực cho người dùng.
Công cụ điều tra chuyên nghiệp cho nhà báo: từ một đoạn video duy nhất, công cụ tự xây chuỗi điều tra (xác định địa điểm, sự kiện, tài liệu liên quan) và xuất báo cáo nguồn mở có trích dẫn từng bước.
Trợ lý học thuật cho sinh viên: nhận câu hỏi nghiên cứu liên ngành, tự tìm bài báo khoa học, bộ dữ liệu công khai và video giảng giải, sau đó tổng hợp câu trả lời với đường dẫn bằng chứng đầy đủ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.30181
ArXiv Abstract	https://arxiv.org/abs/2610.30181
PDF Download	https://arxiv.org/pdf/2610.30181.pdf
Github Repository	https://github.com/Yu-xm/OpenDS

4. Editing Images into Reusable Layers via Compositional Edit-Prior Distillation (74 votes)

Tác giả: Wen Xue, Yong Liu, Xueheng Li, Si Wu, Yong Xu, et al.

Xuất bản lúc: 2026-10-17

Tag: Image Editing, Diffusion Models, RGBA Layers, On-Policy Distillation, Layered Image Generation, Multimodal Diffusion Transformer

I. Main Problem:

Các mô hình chỉnh sửa ảnh theo hướng dẫn hiện nay thường tạo ra một ảnh phẳng đã chỉnh, khiến người dùng khó sửa tiếp từng thành phần như chữ, vật thể hay nền. Ngược lại, các mô hình tách ảnh thành lớp thường chạy riêng sau bước chỉnh sửa, nên không đảm bảo các lớp khớp với yêu cầu chỉnh sửa ban đầu. Hệ quả:

muốn thay đổi nhỏ cũng phải tạo lại toàn bộ ảnh
dễ làm hỏng vùng không liên quan hoặc tạo rìa xấu
các lớp thu được thiếu, sai thứ tự hoặc khó tái sử dụng
quy trình chỉnh sửa rồi tách lớp tốn nhiều lần gọi mô hình và chỉnh thủ công.

II. Main Idea:

LayerEditor kết hợp trong một mô hình duy nhất hai nhiệm vụ: chỉnh sửa ảnh theo hướng dẫn và sinh các lớp RGBA có thể tái sử dụng. Người dùng cung cấp ảnh gốc, câu chỉnh sửa và số lượng lớp mong muốn; mô hình đồng thời tạo ảnh canvas đã chỉnh và một ngăn xếp lớp RGB–Alpha có thứ tự.

Các thành phần chính:

In-Context RGB–Alpha Token Modeling: đưa canvas và từng lớp RGB/Alpha vào một chuỗi token chung, dùng attention chia sẻ để mô hình hiểu mối liên hệ giữa toàn bộ ảnh, vật thể và độ trong suốt.
Tọa độ rotary theo slot (s, x, y): mỗi trường ảnh/lớp có một slot riêng, giúp mô hình biết đâu là canvas, đâu là lớp nào và lớp nào nằm trước/sau.
Alpha decoder riêng: học thêm bộ giải mã chuyên về độ trong suốt liên tục, giúp giữ rìa mảnh và vùng bán trong suốt tốt hơn.
Compositional Edit-Prior Distillation (C-EPD): giữ nguyên mô hình chỉnh sửa tiền huấn luyện làm teacher, hỏi teacher tại các trạng thái trung gian do student thật sự đi qua. Teacher giám sát cả Direct canvas lẫn ảnh tổng hợp lại từ các lớp, tránh làm giảm khả năng chỉnh sửa gốc khi chuyển sang đầu ra nhiều lớp.
LayerEditor-100K: bộ dữ liệu 100K cặp chỉnh sửa có ảnh nguồn, hướng dẫn, ảnh đích và ngăn xếp RGBA thứ tự, gồm chỉnh chữ, vật thể và giao diện poster.

Ví dụ đời thường: giống một họa sĩ giàu kinh nghiệm đứng cạnh người mới, vừa nhìn bức ảnh hoàn chỉnh vừa nhìn từng lớp cắt rời trong lúc người mới đang dựng; cứ sai ở trạng thái nào là sửa ngay ở trạng thái đó, thay vì đợi làm xong mới nhận xét.

III. Main Results:

Trên Crello-Testset, LayerEditor đạt Composite SSIM 0.8351, FID 33.86, RGBA L1 0.0350, Alpha IoU 0.6074; các điểm rubric về độ nhất quán chỉnh sửa, chất lượng ảnh, phân tách lớp, tổng hợp lớp và độ chính xác Alpha lần lượt là 6.14 / 6.35 / 6.83 / 5.64 / 5.05.
Trên ScaleEdit-Testset, LayerEditor đạt Composite SSIM 0.8839, FID 39.48, RGBA L1 0.0515, Alpha IoU 0.6802; các điểm rubric là 5.96 / 6.58 / 6.26 / 5.84 / 5.13.
So với Seedream5-Pro (Joint) trên Crello, Composite SSIM tăng 5.7% và Composite FID giảm 38.8%; trên ScaleEdit, Alpha IoU tăng từ 0.6583 lên 0.6802.
Khi thay đổi số lượng lớp yêu cầu từ 2–10 lớp, LayerEditor đạt Alpha IoU 0.6196, vượt Seedream5-Pro (Joint) 0.0493, đồng thời đạt điểm semantic grouping 6.88, composition 6.28, Alpha 6.98 và độ trễ khoảng 41.5 giây/mẫu.
Ở tác vụ tách ảnh thành lớp thuần túy, LayerEditor đạt Composite SSIM 0.8761, cao hơn QIL 0.7963; Alpha IoU 0.6343 và điểm semantic 6.39 cũng tốt hơn các baseline so sánh.
Ablation cho thấy bỏ C-EPD làm edit consistency giảm từ 6.14 xuống 4.67 và layer segmentation giảm từ 6.83 xuống 5.01. Bổ sung Alpha decoder giảm RGBA L1 từ 0.0578 xuống 0.0350 và tăng layer segmentation từ 5.67 lên 6.83.

IV. Conclusion & Future Works:

LayerEditor cho thấy có thể chỉnh sửa ảnh theo hướng dẫn và sinh lớp RGBA hữu dụng trong cùng một quy trình, thay vì tách thành hai bước rời rạc. Điểm then chốt là biểu diễn canvas và các lớp trong một không gian token chung, kết hợp bộ giải mã Alpha chuyên biệt và chiến lược on-policy distillation để giữ năng lực chỉnh sửa gốc. Mô hình hỗ trợ thay đổi số lượng lớp, chỉ định nội dung từng lớp và chất lượng tái tổng hợp tốt hơn nhiều baseline. Hướng mở theo tự nhiên từ kết quả là mở rộng dữ liệu và đánh giá sang nhiều phong cách thiết kế hơn, cải thiện khả năng chỉnh sửa dài hạn bằng cách dùng lại các lớp, và tối ưu độ trễ để triển khai trong công cụ thiết kế thực tế.

V. Brainstorming Space:

1. Publish Papers:

Phát triển phiên bản video hoặc ảnh động của LayerEditor, trong đó mỗi khung hình hoặc từng đoạn chuyển động được chỉnh sửa theo hướng dẫn nhưng vẫn giữ các lớp nội dung có thể chỉnh riêng.
Kết hợp LayerEditor với agent lập kế hoạch thiết kế để tự động quyết định nên thay đổi canvas trực tiếp hay tách thành lớp mới cho phù hợp với mục tiêu chỉnh sửa.
Nghiên cứu bộ dữ liệu và mô hình cho layer hierarchy, nơi lớp có thể chứa nhóm lớp con, phù hợp với thiết kế đồ họa phức tạp hơn ngăn xếp phẳng hiện tại.
Mở rộng C-EPD sang các teacher khác nhau hoặc nhiều teacher chuyên biệt để cân bằng giữa chỉnh sửa thực tế, chất lượng typography và khả năng phân tách lớp.

2. Patent:

Ứng dụng chỉnh ảnh trên điện thoại cho phép người dùng nói hoặc gõ yêu cầu như “đổi dòng chữ thành giá mới và tách nền ra riêng”; hệ thống trả về ảnh đã chỉnh kèm các lớp màu và độ trong suốt có thể di chuyển, xóa hoặc thay riêng từng phần.
Công cụ thiết kế quảng cáo trên điện thoại cho thương nhân: người dùng chọn ảnh sản phẩm, hệ thống tự tạo poster theo yêu cầu và xuất các lớp riêng cho sản phẩm, tiêu đề, giá, nền và logo để dễ đổi nội dung mà không cần thiết kế lại.
Trình soạn ảnh mạng xã hội có chức năng tái sử dụng phần tử: khi người dùng lưu một thiết kế cũ, hệ thống giữ các lớp chữ, nhân vật, sticker và hiệu ứng riêng để ghép sang ảnh mới theo hướng dẫn bằng ngôn ngữ tự nhiên.
Hệ thống in ấn hoặc làm sticker trong suốt: ảnh chụp được chuyển thành các lớp có độ trong suốt riêng, giúp cắt sticker, in lớp phủ hoặc tạo file thiết kế có thể chỉnh trước khi sản xuất.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.24738
ArXiv Abstract	https://arxiv.org/abs/2610.24738
PDF Download	https://arxiv.org/pdf/2610.24738.pdf
Github Repository	N/A

5. IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems (55 votes)

Tác giả: A. Jian Yang, An Huang, Bo Dan, Chen Mu, Chengran Yang, et al.

Xuất bản lúc: 2026-10-22

Tag: Mixture-of-Experts, LLMs, Agentic AI, CLI Agents, Reinforcement Learning, Distillation, Speculative Decoding, Model Merging

I. Main Problem:

Mô hình ngôn ngữ muốn trở thành agent thao tác qua giao diện dòng lệnh (CLI) — công cụ chung nhất để gọi tool, truy cập file, chạy code — nhưng gặp ba khó khăn:

Cần cân bằng giữa coding, suy luận dài hạn và tương tác người dùng trong một mô hình duy nhất.
Training ở quy mô lớn dễ mất ổn định: learning rate tối ưu về hiệu quả có thể vượt ngưỡng an toàn khi mô hình lớn hơn.
Môi trường agentic dễ bị reward hacking (mô hình khai thác lỗ hổng verifier, lộ đáp án thay vì giải thật), làm nhiễu cả SFT lẫn RL.

II. Main Idea:

IQuest-Q1 là mô hình nền tảng agentic dạng sparse MoE: 320B tổng tham số, chỉ kích hoạt 15B/token, được huấn luyện qua 3 giai đoạn tách bạch:

Pre-training ổn định & hiệu quả: kết hợp Stable SplitNorm (chuẩn hóa có chọn lọc giữa attention và FFN), Muon + μP (chuyển learning rate zero-shot từ mô hình nhỏ sang lớn), chương trình học 2 giai đoạn với tăng dần tỷ lệ dữ liệu code (40%→70%). Đưa ra khái niệm Critical Model Size — ngưỡng quy mô nơi learning rate an toàn và tối ườu trùng nhau — cho thấy còn rất nhiều headroom mở rộng.
Mid-training mịn: mở rộng dữ liệu đa lĩnh vực (corpus tự nhiên, QA, trajectory agentic), loss masking ở cấp token, kéo context dần 32K→128K→512K; dựng hơn 1 triệu môi trường container hóa từ repo code để tạo trajectory huấn luyện.
Post-training đa scaffold: SFT xây tương tác CLI cơ bản → RL chuyên ngành trên nhiều harness với phản hồi cấp task → MOPD (multi-teacher on-policy distillation) hợp nhất 4 chuyên gia đóng băng vào một student; cuối cùng model merging kết hợp checkpoint từ các giai đoạn mà hạn chế xung đột cập nhật tham số. Kèm 3 lớp chống reward hacking: dọn môi trường, chặn tool call lúc chạy, audit trajectory.

Ví dụ đời thường: giống đào tạo nhân viên vận hành terminal theo lớp — học chữ trước (pre-training), rồi thực tập nhiều nghề (mid-training), rồi có sếp khác nhau kèm riêng từng kỹ năng (SFT/RL/distillation), cuối cùng gộp bảng thành tích của các học viên xuất sắc nhất thành một người toàn diện.

III. Main Results:

Hiệu quả scaling: đạt loss thấp hơn so với thiết kế Qwen3-MoE cùng dữ liệu, hiệu quả cao hơn 1.93× (chỉ cần ~52% compute).
Ổn định scaling: Critical Model Size ước lượng ~572B tham số kích hoạt / ~12T tổng tham số — learning rate an toàn luôn cao hơn tối ưu trong phạm vi đo.
Coding: dẫn đầu DeepSWE v1.1 (74.2), CyberGym (88.1), NL2Repo (75.3), cạnh tranh Claude Opus 5, DeepSeek-V4, GLM-5.3, Hy4.
Agentic/suy luận tổng quát: Terminal-Bench 2.1 (89.1), JobBench (65.7), Agents' Last Exam (32.2), Humanity's Last Exam (43.4, không tool).
Trải nghiệm CLI người dùng: dẫn đầu benchmark nội bộ IQuest-CLIBench (58.5).
Mô hình tham gia recursive self-improvement có giám sát con người: tự đánh giá và đề xuất cải tiến cho thế hệ sau.
Phát hành open-weight cho cộng đồng.

IV. Conclusion & Future Works:

IQuest-Q1 chứng minh một pipeline CLI-centric — pre-training ổn định (SplitNorm + Muon + μP), mid-training mở rộng context và dữ liệu agentic, post-training đa scaffold với SFT/RL/MOPD và model merging — có thể tạo một mô hình vừa mạnh coding, vừa mạnh agentic tổng quát, trong khi kiểm soát được reward hacking. Khung Critical Model Size đưa ra cách đo định lượng headroom scaling còn lại. Hướng tương lai hàm ý từ thiết kế: mở rộng quy mô vượt 320B nhờ headroom ổn định, và đẩy mạnh hơn nữa vòng lặp human-on-the-loop recursive self-improvement để rút ngắn chu kỳ phát triển mô hình.

V. Brainstorming Space:

1. Publish Papers:

Phân tích lý thuyết và thực nghiệm khung Critical Model Size: cách tiêu chuẩn hóa (SplitNorm, Muon, μP) dịch chuyển ranh giới giữa learning rate tối ưu và an toàn khi mô hình lớn hơn.
Nghiên cứu MOPD (multi-teacher on-policy distillation) khi số lượng và độ khác biệt của teacher tăng lên, và cách chọn student nhận tín hiệu từ nhiều expert mà không bị chồng lấp năng lực.
Đánh giá chống reward hacking ở quy mô lớn: mức độ hiệu quả của từng lớp phòng vệ (dọn môi trường, chặn tool call, audit trajectory) đối với các chiến lược hack mới xuất hiện trong quá trình RL.
Mở rộng speculative decoding dạng recursive MTP (1 lớp dùng lại qua 7 bước dự thảo) sang nhiều tầng dự thảo và đo trade-off độ chính xác/tốc độ trên tác vụ agentic dài hạn.

2. Patent:

Trợ lý lệnh trên điện thoại: người dùng nói yêu cầu bằng ngôn ngữ tự nhiên, mô hình agentic dịch thành chuỗi lệnh terminal chạy trong sandbox trên máy, tự kiểm tra kết quả và hỏi lại khi thất bại.
Hệ thống dạy lập trình tự động: tạo bài tập từ repo GitHub thật, chạy thử lời giải trong container, tự chấm điểm và phát hiện học viên gian lận (copy đáp án, giả mạo test) giống cơ chế chống reward hacking của bài báo.
Máy chủ tự sửa lỗi (self-healing SRE): model agentic giám sát log dịch vụ, tái hiện lỗi trong môi trường ảo, đề xuất bản vá và mô phỏng hậu quả trước khi đề nghị con người áp dụng.
Công cụ gộp cập nhật mô hình AI trên thiết bị biên: kết hợp nhiều checkpoint chuyên môn hóa (một cho gõ code, một cho trả lời) thành một mô hình duy nhất mà giảm xung đột tham số, cho phép cập nhật OTA từng phần.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.30949
ArXiv Abstract	https://arxiv.org/abs/2610.30949
PDF Download	https://arxiv.org/pdf/2610.30949.pdf
Github Repository	N/A

6. Toward Recursive Self-Improvement in Physical AI (47 votes)

Tác giả: Meng Luo, Zechen Bai, Shanqing Xu, Yanlin Li, Kaixin Li, et al.

Xuất bản lúc: 2026-10-21

Tag: Robotics, Recursive Self-Improvement, Robot Learning, World Models, Reinforcement Learning, LLM Agents, AutoML

I. Main Problem:

Recursive Self-Improvement (RSI) — hệ thống không chỉ cải thiện hành vi mà còn cải thiện cả quy trình tạo ra sự cải thiện — đã có bằng chứng ở tác tử số (viết lại code tự thân, chấm điểm bằng test tự chạy). Nhưng mang cơ chế này sang thế giới vật lý (robot) gặp bốn trở ngại căn bản:

Kiểm tra kết quả kém tin cậy: cảm biến, người hoặc mô hình phát hiện có thể phán đoán sai, và lỗi đó bị học lặp lại rồi thực thi trên phần cứng.
Mỗi thử nghiệm tốn kém: thời gian robot, reset cảnh, giám sát và độ mòn — một thay đổi phải đáng giá trong vài lần thử.
Không thể đảo ngược: rollback phần mềm không sửa được vật đã hỏng, độ chính xác hiệu chuẩn trôi dạt theo thời gian.
Chưa có bằng chứng đệ quy: các nghiên cứu vật lý hiện tại mới chứng minh được cải thiện hành vi, chưa tách riêng được lợi ích thật sự từ recursion.

II. Main Idea:

Bài khảo sát xây dựng một thang bậc các tuyên bố (claims) để đánh giá mọi hệ thống tự cải thiện, từ thấp đến cao:

Behavioral improvement: robot làm tác vụ tốt hơn.
Later-learning benefit: dữ liệu/mô hình/kỹ năng lưu lại giúp một learner về sau học nhanh hơn.
Procedure improvement: quy trình học (thu thập, chấm điểm, cập nhật) được sửa lại và dạy learner tốt hơn bản cũ.
Recursion: cần hai mắt xích — R1: kiến thức từ các lần sửa trước phải giúp bộ cải tiến (improver) làm tốt hơn; R2: bộ cải tiến đã tốt hơn đó phải tự tạo ra bước cải tiến kế tiếp cho chính nó.

Trải nghiệm vật lý có thể lưu thay đổi ở bốn nơi: policy, world model, tri thức bên ngoài, quy trình học — và bốn điều kiện để lợi ích truyền tiếp được: phản hồi có thông tin, thành phần nhận dùng được, giá trị sống sót qua thay đổi tác vụ/phần cứng, và luyện tập tiếp vẫn an toàn, đủ chi phí.

Ví dụ đời thường: giống người thợ sửa xe — đứng ở bậc thấp thì chỉ sửa chiếc xe trước mặt; lên bậc cao hơn thì ghi lại vì sao cách sửa đó hiệu quả để lần sau sửa nhanh hơn; và đỉnh cao nhất là dùng chính những ghi chú kinh nghiệm ấy để viết lại cuốn quy trình sửa xe, rồi cuốn mới lại giúp ông viết quy trình tốt hơn nữa.

III. Main Results:

Khảo sát hệ thống hóa hàng loạt nghiên cứu (tập trung ở manipulation) và xếp chúng trên thang bậc theo so sánh thực nghiệm cần có cho từng claim, cho thấy khối lượng dữ liệu và độ chính xác thành phần là chỉ báo đáng tin cậy cho tiến bộ.
Kết luận: các nghiên cứu hiện có ủng hộ ba bậc đầu (cải thiện hành vi, lợi ích cho học sau, cải thiện quy trình — ví dụ Eureka viết lại reward code, ENPIRE sửa hạ tầng huấn luyện từ thí nghiệm robot); chưa có nghiên cứu vật lý nào tách riêng được lợi ích từ recursion.
Đề xuất thí nghiệm hai vòng (two-round) với các nhóm đối chứng để cô lập quan hệ đệ quy R1/R2, kèm ước lượng chi phí phần cứng.
Đóng góp bộ nguyên tắc đánh giá và bốn hướng nghiên cứu: đo lường cải thiện, tích lũy cải thiện, giữ an toàn, và thực hiện recursion.

IV. Conclusion & Future Works:

Physical RSI là câu hỏi mở: trải nghiệm vật lý có thể cải thiện cả năng lực tác vụ, quy trình học lẫn bộ cải tiến, nhưng lợi ích chỉ truyền tiếp khi thỏa bốn điều kiện mang tính vật lý. Hướng tương lai:

Đo lường: xây dựng các so sánh có đối chứng thay vì dựa vào tên gọi thành phần.
Tích lũy: làm rõ vì sao lợi ích từ dữ liệu tự thu thập thường bão hòa và có thể suy giảm.
An toàn: kiểm soát rủi ro lỗi chấm điểm được củng cố thành hành vi lỗi trên phần cứng.
Đệ quy: thực hiện thí nghiệm hai vòng có kiểm soát để chứng minh lần đầu tiên một lợi ích đệ quy thật sự trên robot.

V. Brainstorming Space:

1. Publish Papers:

Thí nghiệm hai vòng kiểm chứng đệ quy trên cánh tay robot thật: đo xem kinh nghiệm sửa lỗi trước đó có giúp bộ cải tiến viết quy trình học tốt hơn cho lỗi mới hay không, và bộ cải tiến mới có tự tạo ra cải tiến tiếp theo cho chính nó không.
Phương pháp phát hiện và sửa lỗi chấm điểm tự động trong học tăng cường robot thật, để tránh việc phán đoán sai của cảm biến bị học lặp lại thành hành vi nguy hiểm.
Cơ chế tích lũy kinh nghiệm sửa lỗi (repair knowledge) dưới dạng bộ nhớ có cấu trúc mà bộ cải tiến có thể truy vấn khi đề xuất quy trình học mới cho robot.
Nghiên cứu về độ bền của cải thiện khi thay đổi phần cứng (đổi gripper, trôi hiệu chuẩn): tiêu chí nào giúp một thay đổi đã học vẫn giá trị qua nhiều thế hệ robot.

2. Patent:

Robot hút bụi gia đình tự cải tiện qua điện thoại: mỗi lần bị kẹt, robot ghi lại nguyên nhân và cách thoát; ứng dụng trên điện thoại tổng hợp những lần này để đề xuất cập nhật chiến lược lau dọn mới cho chính robot, thay vì chỉ lặp lại lịch cũ.
Hệ thống đào tạo robot công nghiệp có bảng điều khiển trên điện thoại cho quản lý xưởng: robot ghi lại các lần sản phẩm lỗi và cách chỉnh tay máy; phần mềm phân tích nguyên nhân rồi tự viết lại quy trình huấn luyện, người quản lý chỉ việc phê duyệt qua điện thoại.
Trợ lý robot bếp học theo phản hồi: khi đánh rơi hoặc làm đổ món ăn, robot lưu lại tình huống và cách khắc phục; theo thời gian nó không chễ làm tốt hơn mà còn đề xuất thay đổi cách luyện tập các động tác nấu nướng, đồng bộ cập nhật xuống mọi robot cùng mẫu qua tài khoản đám mây.
Ứng dụng điện thoại cho robot chăm sóc người già: khi robot gặp tình huống chưa biết xử lý, người nhà can thiệp và hướng dẫn qua video; hệ thống lưu lời khuyên đó, rút ra quy tắc chung và tự cập nhật kịch bản chăm sóc, đồng thời gợi ý cách huấn luyện robot tốt hơn trong những lần tương tự sau.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.29677
ArXiv Abstract	https://arxiv.org/abs/2610.29677
PDF Download	https://arxiv.org/pdf/2610.29677.pdf
Github Repository	https://github.com/Physical2RSI/Awesome-Physical2RSI

7. Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models (39 votes)

Tác giả: Rubin Wei, Siyuan Sun, Hao Sun, Yuliang Liu, Xiang Shi, et al.

Xuất bản lúc: 2026-10-18

Tag: LLMs, Parametric Memory, RAG, Knowledge Injection, Continual Pretraining, Catastrophic Forgetting, Cross-Attention

I. Main Problem:

LLM cần bổ sung tri thức ngoài kho pretraining, mà các cách hiện có đều có đánh đổi nghiêm trọng:

Continued Pretraining / LoRA: tự vận hành khi inference nhưng gây catastrophic forgetting.
RAG / RETRO: không cần học trước nhưng tốn kém tìm kiếm datastore trực tuyến khi inference (độ trễ cao).
Parametric Memory (MLP Memory, Memory Decoder): tránh được retrieval khi inference, nhưng:
- dựng dữ liệu huấn luyện token-level đòi hỏi retrieval ở từng vị trí token trên toàn corpus — chi phí offline khổng lồ.
- chỉ nội suy xác suất đầu ra (shallow fusion), không đưa bộ nhớ vào hidden states để các lớp sau xử lý sâu.

II. Main Idea:

Deep Fusion Memory (DFM) gồm hai module nhỏ học cùng nhau trong khi backbone LLM bị đóng băng:

Memory Predictor (causal Transformer + K đầu ra): dùng embedding đã mean-pool của các chunk trước đó để dự đoán trước bộ nhớ cho chunk tiếp theo. Mỗi chunk có C token (mặc định 32) nhưng chỉ cần một lần retrieval dựng target → giảm 32× queries và 2048× items so với token-level.
Memory Fusion (gated cross-attention chèn vào các lớp decoder [9,16,24,31]): bộ nhớ dự đoán được chiếu vào không gian ẩn, attention theo K slot với sigmoid gate per-head (khởi tạo bias −2) điều tiết mức đóng góp, chạy song song self-attention và cộng vào residual.
Huấn luyện end-to-end: loss = cross-entropy LM + MSE giữa bộ nhớ dự đoán và target retrieval; gradient truyền từ fusion ngược về predictor. Inference không cần retrieval hay datastore — bộ nhớ sinh thuần từ input.

Khác các phương pháp cũ pha loãng xác suất cuối, DFM đưa tri thức thẳng vào hidden states nên các lớp sau còn tiếp tục xử lý, kết hợp với ngữ cảnh đang tiến hóa.

Ví dụ đời thường: giống nhân viên mới được giao quyển sổ tay công ty — thay vì mỗi lần khách hỏi lại chạy lên tủ hồ sơ lục tìm (RAG), anh ta đọc sổ tay trước rồi ghi nhớ trong đầu; và thay vì chỉ nhớ vài câu chép lại cuối giờ, anh ta để kiến thức ngấm vào tư duy nên trả lời được cả những câu cần ghép nhiều thông tin.

III. Main Results:

6 benchmark QA (NQ, WebQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle): DFM đạt trung bình cao nhất, vượt baseline mạnh nhất +12.71% trên Mistral-7B-v0.3 (27.21 vs 24.14 của xRAG) và +11.19% trên Qwen3-8B-Base (26.46 vs 23.80 của MLP Memory).
Domain adaptation (Code, Math, Law): trung bình tăng +6.51 điểm (Qwen3-4B) và +4.38 điểm (Qwen3-8B) so với Base; vượt cả CPT, LoRA, RAG.
Hiệu quả tài nguyên: thêm chỉ 0.75B tham số (bằng nửa MLP Memory), training 24h thay vì 64h trên 16×A800 (−62.5%), dữ liệu target giảm 96.88% queries và 99.95% retrieved items.
Ablation: chunk 32 token tối ưu; phân bố fusion ở lớp trung gian–cuối tốt hơn chỉ gộp ở lớp cuối (27.21 vs 21.11); Top-8 slot gần bằng Top-16; gate initialization quan trọng (bias 0 cho 27.90, nhưng −2 được giữ làm mặc định an toàn).

IV. Conclusion & Future Works:

DFM chứng minh parametric memory chunk-level kết hợp deep fusion vào hidden states là hướng khả thi: cắt mạnh chi phí dựng dữ liệu offline, inference không cần retrieval, đồng thời vượt cả retrieval-based, CPT, LoRA và memory token-level trên QA và adaptation. Khả năng mở rộng sang reasoning (code, math) và lĩnh vực chuyên biệt (law) cho thấy tính tổng quát. Paper đề cập code sẽ sớm công bố; hướng tự nhiên tiếp theo là mở rộng quy mô corpus/backbone lớn hơn, tinh chỉnh gate learning, và kết hợp với retrieval khi cần bằng chứng rất mới (các trường hợp retrieval vẫn nhỉnh hơn như 2Wiki trên Mistral).

V. Brainstorming Space:

1. Publish Papers:

Chunk-level parametric memory cho đa phương thức: dự đoán và hợp nhất bộ nhớ embedding từ ảnh, bảng biểu, tài liệu PDF để mở rộng tri thức ngoài văn bản thuần cho LLM.
Kết hợp DFM với cơ chế xác thực độ tin cậy: gate học được tự cân nhắc khi nào tin bộ nhớ dự đoán, khi này bổ sung retrieval trực tuyến cho dữ liệu mới hoặc mâu thuẫn.
Bộ nhớ parametric có vòng lặp cập nhật tăng dần: cho phép mô hình tiếp tục hấp thụ corpus mới sau khi triển khai mà không quên kiến thức đã nhúng.

2. Patent:

Trợ lý AI trên điện thoại trả lời offline: nạp trước bách khoa toàn thư vào module bộ nhớ dự đoán theo chunk; khi người dùng hỏi, điện thoại sinh bộ nhớ trực tiếp từ câu hỏi mà không cần kết nối mạng hay máy chủ tìm kiếm — nhanh, tiết kiệm pin và bảo mật.
Hệ thống cập nhật kiến thức doanh nghiệp cho chatbot nội bộ: thay vì fine-tune lại toàn bộ mô hình, chỉ huấn luyện lại module bộ nhớ nhỏ với tài liệu công ty mới, tránh làm hỏng khả năng trả lời chung, chi phí cập nhật giảm hơn 60%.
Ứng dụng học luật/y khoa trên thiết bị di động: đóng gói sẵn bộ nhớ parametric cho lĩnh vực chuyên sâu; người dùng tra cứu thông tin pháp lý hoặc y tế cơ bản ngay cả khi mất mạng, không lo độ trễ của hệ thống tìm kiếm tài liệu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.25100
ArXiv Abstract	https://arxiv.org/abs/2610.25100
PDF Download	https://arxiv.org/pdf/2610.25100.pdf
Github Repository	N/A

8. What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models (31 votes)

Tác giả: Tengju Ru, Weitong Lian, Zecong Tang, Zhiheng Liu, Lingyi Meng, et al.

Xuất bản lúc: 2026-10-14

Tag: Unified Multimodal Models, Vision-Language Models, Fine-Grained Understanding, Visual Generation, DPO, Representation Learning

I. Main Problem:

Các mô hình đa phương thức thống nhất (UMMs) hiện nay hiểu ảnh ở mức nông về chi tiết: nhầm lẫn vật thể nhỏ, thuộc tính cục bộ, đếm số lượng và quan hệ không gian. Nguyên nhân gốc:

Đường hiểu (understanding) dùng bộ mã hóa đã căn chỉnh với ngôn ngữ (CLIP/SigLIP) nên nén ảnh quá mức, chi tiết mất ở khâu mã hóa thì không bao giờ hồi phục ở khâu suy luận.
Các cách dùng thông tin sinh ảnh (sinh hỗ trợ hiểu) trước đây đều gián tiếp hoặc tốn kém: giám sát sinh heuristic dễ xung đột biểu diễn, hoặc sinh ảnh trung gian rồi mã hóa lại — sinh ra chi phí suy luận và lỗi lan truyền.

II. Main Idea:

Bài báo chứng minh rằng biểu diễn thuần của đường sinh ảnh (generation-side) trong UMM chứa bằng chứng thị giác mà đường hiểu bỏ lỡ, qua 3 phát hiện phân tích trên 2.084 cặp ảnh thay đổi tối thiểu (VisMin) và 6 mô hình:

Nhạy ngữ nghĩa mịn hơn: phản ứng mạnh hơn với thay đổi nhỏ về vật thể, thuộc tính, quan hệ (sau khi trừ biến đổi mức pixel).
Bổ sung có hệ thống: có phần thay đổi chỉ đường sinh bắt được còn đường hiểu hoàn toàn bỏ qua, ở cả 24 tổ hợp mô hình–tác vụ.
Phụ thuộc cấu trúc không gian: xáo trộn vị trí khối ảnh làm mất lợi thế này → ưu thế đến từ việc giữ vững bố cục không gian.

Từ đó, framework GAFU (Generation-Assisted Fine-grained Understanding) gồm 2 giai đoạn:

Nén và căn chỉnh: nén biểu diễn đường sinh thành 256 G-token gọn qua encoder–decoder, huấn luyện bằng 3 mất mát: tái tạo ảnh (L1+L2+LPIPS), liên kết không gian (mỗi G-token dự đoán đúng vùng ảnh tương ứng), và căn chỉnh quan hệ (cấu trúc tương quan giữa các vị trí khớp với đường hiểu ở nhiều tỷ lệ 4/8/16).
Tiêm có điều kiện theo tác vụ: sau mỗi lớp Transformer của đường hiểu, hidden state văn bản hiện tại làm query để cross-attention truy xuất chọn lọc bằng chứng từ G (khớp với câu hỏi đang xử lý); kèm DPO theo cặp (nhánh G đúng ảnh vs G từ ảnh khác) + KL với mô hình gốc để khuyến khích dùng bằng chứng đúng mẫu mà không làm suy giảm năng lực hiểu cũ.

Ví dụ đời thường: đường hiểu giống người chỉ đọc bản tóm tắt công việc, còn đường sinh giống người cầm bản đồ chi tiết đầy đủ. GAFU đóng vai trò phiên dịch viên: photocopy bản đồ thành tờ ghi chú gọn (G-token) rồi đưa đúng tờ ghi chú liên quan đến câu hỏi người đọc đang hỏi, thay vì bắt người đọc tự lật cả cuốn bản đồ.

III. Main Results:

Thắng SFT cùng dữ liệu ở cả 15 tổ hợp mô hình–benchmark (BAGEL 14B, Janus-Pro 7B, Lance 3B), cải thiện trung bình 3.56–5.98 điểm phần trăm.
Cải thiện tương đối tối đa: +20.00% trên VStar-Bench, +17.94% trên OmniSpatial, +8.62% trên VSR-Bench.
Tác vụ chung: VStar-Bench +5.23–7.85, OmniSpatial +2.61–4.44, MMVP +3.67–5.67 điểm so với SFT; lợi ích giữ nguyên từ mô hình 3B đến 14B.
Tác vụ chuyên ngành: PathVQA +1.12–7.65, VSR-Bench +1.09–6.15 điểm — cho thấy supervision lĩnh vực vẫn không khai thác hết bằng chứng từ đường sinh.
Ablation chỉ ra bản chất cơ chế: dùng text hidden state làm query vượt xa nối G vào đầu vào (+2–6 điểm) hoặc query học được; thiếu căn chỉnh không gian/quan hệ làm MMVP sụt 4.7–5.3 điểm; DPO không có KL làm OmniSpatial sụt 11 điểm — KL là chìa khóa biến preference learning thành lợi ích ổn định.

IV. Conclusion & Future Works:

GAFU chứng minh thông tin bổ sung trong biểu diễn thuần của đường sinh ảnh — không cần sinh ảnh trung gian — có thể chuyển hóa thành bằng chứng thị giác hữu ích cho đường hiểu, đưa UMM từ mô hình hóa chung tiến tới cộng sinh thật sự giữa sinh và hiểu. Hướng mở: khai thác sâu hơn tính bổ sung hai chiều (hiểu↔sinh), mở rộng sang các cặp phương thức khác, và nâng độ tin cậy hiểu chi tiết trong tình huống thực tế phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Phân tích định lượng sâu hơn về khi nào biểu diễn đường sinh thua đường hiểu (ví dụ tác vụ đếm dựa vào gộp thông tin xuyên vật thể), để thiết kế cơ chế chọn lọc ngược — chỉ trả giá cho G-token khi thật sự cần.
Mở rộng GAFU cho hiểu video và ảnh động, nơi thông tin không gian–thời gian từ đường sinh (diffusion) có thể bổ sung mạnh cho nhận diện hành động mịn và quan hệ thời gian.
Nghiên cứu cộng sinh hai chiều: dùng bằng chứng đường hiểu cải thiện chất lượng sinh ảnh đồng thời, trong một vòng lặp huấn luyện thống nhất.
Ứng dụng G-token cho các tác vụ đa ảnh (so sánh, tracking đối tượng qua nhiều khung hình) nhờ khả năng giữ chi tiết cục bộ gắn với vị trí.

2. Patent:

Trợ lý ảnh trên điện thoại với chế độ 'chi tiết cao': khi người dùng chụp ảnh chữ nhỏ, dấu hiệu bệnh trên da, hoặc linh kiện, ứng dụng kích hoạt module nén đặc trưng sinh ảnh thành token gọn, truy xuất theo câu hỏi để trả lời chính xác hơn mà không cần gửi ảnh phân giải cao lên máy chủ.
Hệ thống kiểm tra chất lượng sản xuất: camera quét sản phẩm, mô hình so sánh ảnh chụp với ảnh chuẩn ở mức chi tiết cục bộ (vết xước, lệch vị trí lắp ráp) nhờ đặc trưng sinh ảnh giữ nguyên cấu trúc không gian, cảnh báo lỗi mà bộ kiểm tra thông thường bỏ qua.
Kính hỗ trợ người khiếm thị nâng cao: bên cạnh mô tả cảnh chung, khi người dùng hỏi về chi tiết cụ thể ('còn bao nhiêu bước nữa', 'chai nào là dầu ăn'), thiết bị truy xuất có chọn lọc từ đặc trưng sinh ảnh để đếm và phân biệt vật nhỏ chính xác hơn.
Công cụ học tập quét sách vở: chụp một trang, người học chạm vào công thức hoặc hình vẽ bất kỳ; ứng dụng dùng cross-attention theo vị trí chạm để giải thích đúng chi tiết đó, tận dụng khả năng liên kết không gian của token sinh ảnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.23987
ArXiv Abstract	https://arxiv.org/abs/2610.23987
PDF Download	https://arxiv.org/pdf/2610.23987.pdf
Github Repository	https://github.com/LRuca/GAFU

9. LaLa-World: Scaling Latent World Models with Natural Language Actions (29 votes)

Tác giả: Junha Song, Geonmo Gu, Jeongeun Park, Heejeong Nam, Lucas Maes, et al.

Xuất bản lúc: 2026-10-21

Tag: World Models, JEPA, Latent Prediction, Language Conditioning, MPC Planning, Robot Policy, Video Generation

I. Main Problem:

Các latent world model (LWM) kiểu JEPA (V-JEPA 2-AC, DINO-WM) dự đoán tương lai trong không gian ẩn nên rất hiệu quả cho planning, nhưng bị kẹt trong từng domain riêng lẻ vì:

Điều kiện hành động là vector số có kích thước và ý nghĩa vật lý khác nhau giữa các môi trường ([2,4] là dịch chuyển ở domain này, là lực ở domain khác) → không thể huấn luyện chung một predictor.
Dữ liệu ảnh/video phong phú không có nhãn hành động số → bỏ phí nguồn dữ liệu quan sát thế giới.
Việc dùng LWM làm khởi tạo cho policy learning hạ nguồn gần như chưa được khám phá.

II. Main Idea:

LaLa-World dùng ngôn ngữ tự nhiên làm giao diện chung để huấn luyện một predictor duy nhất trên dữ liệu dị biệt:

Chuyển hành động số thành ngôn ngữ bằng template cố định ("move 2 left and 4 up", "push with force 2 downward") → các dataset điều khiển từ nhiều domain gộp được thành một.
Mô tả thay đổi hình ảnh bằng caption từ OpenVid, OmniEdit, ShareGPT → dữ liệu video/ảnh không có nhãn hành động cũng tham gia huấn luyện, giúp mô hình hiểu ngôn ngữ đa dạng và bền vững với cách diễn đạt khác nhau.
Predictor được xây trên một language model (Qwen3.5-0.8B): đọc trực tiếp điều kiện ngôn ngữ và dự đoán latent tương lai trong cùng một mạng (latent ảnh được chiếu qua MLP + positional embedding, đầu ra đọc qua query tokens), tối thiểu hóa L2 distance — không cần text encoder riêng.
Fine-tune LaLa-World thành LaLa-Policy: thêm action queries và một diffusion action generator để dự đoán đồng thời action chunk và latent tương lai.

Ví dụ đời thường: giống như dùng một ngôn ngữ chung để ra lệnh cho nhiều loại máy khác nhau — thay vì mỗi máy một bảng mã số riêng, ta chỉ cần nói "kéo sang trái 2 phân" và cùng một người vận hành (predictor) hiểu và làm việc với tất cả.

III. Main Results:

MPC planning: một predictor huấn luyện chung đạt success rate trung bình 72.1% trên 5 tác vụ mô phỏng, vượt JEPA-WMs (+7.5 điểm) và DINO-WM; Push-T tăng từ 68.8% → 81.2%; zero-shot trên RoboCasa (không tham gia training) đạt 40.6% / 46.9%.
Dữ liệu ảnh/video giúp tăng điểm trung bình 59.3 → 61.6 và giữ vững khi diễn đạt hành động bị paraphrase (chỉ huấn luyện trên control data thì sụt 6.8 điểm).
So sánh công bằng với generative world model RAEv2 (cùng encoder, dữ liệu, điều kiện ngôn ngữ): LaLa-World đạt 59.4% so với 48.0%, với chi phí huấn luyện thấp hơn 6× và planning nhanh hơn 13.9× (so với RAEv2 5 bước denoise).
LaLa-Policy: cạnh tranh với Cosmos Policy trên LIBERO (97.7% so với 97.3%) và vượt trên RoboCasa-50 (57.3% so với 56.0%), đồng thời suy luận nhanh hơn tới 5.5× mỗi trajectory.

IV. Conclusion & Future Works:

Ngôn ngữ là giao diện đủ mạnh để mở rộng LWM xuyên domain và nguồn dữ liệu mà vẫn giữ lợi thế hiệu quả của dự đoán latent: không cần tái tạo pixel vẫn planning tốt hơn và nhanh hơn world model generative, và trọng số pretrained là khởi đầu hữu ích cho policy. Điều này cho thấy LWM — dù không tạo ảnh đẹp — có thể thực dụng hơn generative world model trong planning và policy learning. Tác giả hy vọng kết quả kéo sự chú ý quay lại latent world models.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng LaLa-World sang hành động định tính thuần túy: huấn luyện trực tiếp với mô tả ngôn ngữ không mang giá trị số thay vì phải chuyển đổi từ CEM sampling.
Kết hợp world model latent ngôn ngữ với reward/task specification bằng ngôn ngữ để planning không cần ảnh goal, chỉ cần mô tả mục tiêu bằng văn bản.
Khảo sát khả năng chuyển giao zero-shot của predictor huấn luyện chung sang robot thật có động lực học và action space hoàn toàn mới, chỉ qua ngôn ngữ.

2. Patent:

Nền tảng điều khiển robot đa nhiệm trên điện thoại: người dùng nói hoặc gõ lệnh bằng ngôn ngữ tự nhiên ("cầm cốc lên, đặt sang bàn trái"), mô hình latent dự đoán kết quả từng phương án rồi chọn hành động tối ưu — chạy nhanh trên chip điện thoại vì không cần sinh ảnh.
Hệ thống mô phỏng hậu quả trước khi thao tác cho máy móc công nghiệp: nhân viên mô tả thao tác bằng lời, ứng dụng trên điện thoại hiển thị kết quả dự đoán (qua bộ giải mã ảnh) để xác nhận an toàn trước khi ra lệnh thật.
Trợ lý huấn luyện robot gia đình: dùng video người dùng quay từ điện thoại (có caption tự động) làm dữ liệu bổ sung để huấn luyện chung một mô hình dự đoán thế giới, sau đó fine-tune thành policy cho nhiều loại robot khác nhau mà không cần dữ liệu điều khiển đắt đỏ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.27851
ArXiv Abstract	https://arxiv.org/abs/2610.27851
PDF Download	https://arxiv.org/pdf/2610.27851.pdf
Github Repository	https://github.com/junha1125/LaLa-World

Tác giả: Ermo Hua, Xiangyu Hong, Baiting Wu, Che Jiang, Haozheng Hou, et al.

Xuất bản lúc: 2026-10-20

Tag: Mixture-of-Experts, MoE, LLMs, Parameter Efficiency, Cross-Layer Sharing, Model Scaling

I. Main Problem:

Các mô hình MoE hiện tại tổ chức Feed-Forward dạng hàng ngàn Local Expert phân tầng theo từng layer: mỗi layer có bộ expert riêng, chỉ được layer đó đọc/ghi. Cấu trúc này dẫn đến hai vấn đề lớn:

Dư thừa tham số theo chiều sâu: nghiên cứu interpretability cho thấy Feed-Forward lưu kiến thức tương đối tĩnh và các layer khác nhau lưu kiến thức rất giống nhau, gây lãng phí khi mô hình càng sâu.
Kém hiệu quả lưu/truy xuất thông tin: với Local Expert, nội dung từ layer nông chỉ truyền tới layer sâu như một thành phần đông cứng (không thể được layer sâu đọc lại bằng đúng toán tử đã ghi), còn tín hiệu từ layer sâu quay về layer nông chỉ qua gradient trong training, không bao giờ xuất hiện ở tầng activation trong một forward pass.

Các phương án dùng chung tham số trước đây như Looped Transformer tiết kiệm tham số nhưng tăng số lần lặp → tăng chiều sâu tuần tự và độ trễ.

II. Main Idea:

Thay vì mỗi layer giữ riêng một bộ Local Expert, tác giả đề xuất Meta Expert: một pool expert duy nhất (một router + một tập tham số chung) được chia sẻ xuyên suốt tất cả các layer — dùng chính cơ chế sparse activation của MoE (top-k mỗi layer) để giữ nguyên lượng tham số được kích hoạt và FLOPs tính toán mỗi layer. Khác Looped Transformer (giữ tham số cố định, tăng vòng lặp), cách này giữ số vòng lặp không đổi, tăng pool ứng viên expert, rồi dùng routing thưa để chọn. Nhờ đó:

Loại bỏ dư thừa giữa các layer, mỗi expert được training tốt hơn vì được nhiều layer cùng cập nhật.
Về mặt lý thuyết, vì mọi layer đọc/ghi bằng cùng một toán tử, expert chung tạo ra đường residual hai chiều: layer sâu có thể đọc lại, tái mã hóa nội dung layer nông, và ngược lại layer nông tiếp cận nội dung layer sâu ngay trong forward pass — điều kiến trúc phân tầng không làm được.
Các tinh chỉnh tối ưu: tỉ lệ Meta/Local 75%, chỉ giữ Local Expert riêng ở 2 layer đầu và 2 layer cuối (vì các layer này chuyên biệt, gần như không dư thừa với nhau), và chia Meta Expert thành 2 sub-pool lặp xen kẽ cho mô hình sâu.

Ví dụ đời thường: giống một thư viện trung tâm dùng chung cho cả tòa nhà thay vì mỗi phòng xây một thư viện riêng toàn sách trùng lặp — độc giả ở mọi tầng đều tra cứu cùng một kho sách, sách được mượn và bổ sung liên tục nên giàu hơn, đồng thời mọi người cùng hưởng lợi từ ghi chú của nhau thay vì mỗi phòng chỉ đọc được sổ của mình.

III. Main Results:

Tiết kiệm 20–30% tổng số expert (15–25% tham số) so với Vanilla MoE khi giữ nguyên loss — tương đương đạt hiệu năng tương đương Vanilla với chỉ 70–80% expert, và lợi thế này càng lớn khi mô hình càng sâu (iso-FLOPs ở nhiều độ sâu D12–D24).
Ở mọi tỉ lệ kích hoạt, tăng tỉ lệ Meta Expert luôn giảm cả loss lẫn độ dư thừa expert ρ; cấu hình tối ưu là 75% Meta + 25% Local.
Thêm Local Expert riêng ở 2 layer đầu + 2 layer cuối và vòng lặp Meta Expert 2 nhóm cho kết quả tốt nhất ở mọi ngân sách compute.
Downstream (6B-A1.6B, 200B tokens): các biến thể Meta Expert nhất quán vượt Vanilla trên MMLU (0.4120 vs 0.4087), C-Eval (0.4487 vs 0.4354), TriviaQA, BBH, OpenBookQA — dù từng biến thể thắng trên từng dataset khác nhau.
Phân tích lý thuyết chứng minh Meta Expert cho phép truy xuất thông tin hai chiều theo chiều sâu trong một forward pass duy nhất qua kernel dạng J_m · J_l^T, thay vì chỉ một chiều như Local Expert.

IV. Conclusion & Future Works:

Dư thừa giữa các layer — lâu nay bị xem là chi phí tất yếu của MoE sâu — có thể được chuyển hóa thành capacity hiệu dụng: chia sẻ expert xuyên layer không chỉ tiết kiệm tham số mà còn mở rộng đường residual, cho phép hidden state truy cập hai chiều nội dung expert theo chiều sâu, cải thiện đồng thời hiệu quả lưu trữ và truy xuất thông tin. Hướng tương lai: mở rộng phân tích lên mô hình lớn hơn và kiến trúc rộng hơn; giải thích vì sao Meta Expert tổ chức phân tầng nhẹ lại gây dư thừa mà không làm loss tăng.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Meta Expert lên quy mô mô hình lớn (hàng trăm tỷ tham số) và kiểm chứng độ bền của lợi thế 70–80% expert khi scale compute hơn nữa.
Nghiên cứu lý thuyết về nghịch lý hierarchy nhẹ: vì sao việc chia Meta Expert thành sub-pool lặp lại tạo dư thừa nhưng không suy giảm hiệu năng.
Kết hợp chia sẻ expert xuyên layer với các kỹ thuật tiết kiệm chiều rộng (như nén expert) để tối ưu đồng thời cả hai chiều của mô hình MoE.
Áp dụng tư tưởng residual hai chiều của Meta Expert cho các khối khác ngoài Feed-Forward (ví dụ cross-layer attention) để cải thiện truy xuất thông tin.

2. Patent:

Hệ thống huấn luyện mô hình ngôn ngữ lớn trên đám mây tiết kiệm bộ nhớ: máy chủ dùng kiến trúc một pool expert dùng chung cho nhiều lớp, giảm 20–30% dung lượng lưu trữ trọng số so với kiến trúc mỗi lớp một bộ expert, cho phép triển khai mô hình lớn hơn trên cùng phần cứng.
Dịch vụ AI trên điện thoại tối ưu bộ nhớ: ứng dụng chạy mô hng MoE thu nhỏ với expert dùng chung xuyên lớp kèm top-k routing, giảm dung lượng tải về và RAM khi chạy chatbot offline trên thiết bị di động.
Hệ thống cập nhật tri thức cho chatbot doanh nghiệp: chỉ cần fine-tune lại pool expert chung thay vì từng lớp riêng lẻ, rút ngắn thời gian và chi phí cập nhật kiến thức mới cho mô hình MoE lớn.
Bộ định tuyến thông minh cho hạ tầng inference: cân bằng tải các yêu cầu đến cụm máy chủ MoE dùng expert chia sẻ xuyên lớp, khai thác độ dư thừa thấp để gom nhiều mô hình chạy trên cùng GPU với hiệu năng không suy giảm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.27598
ArXiv Abstract	https://arxiv.org/abs/2610.27598
PDF Download	https://arxiv.org/pdf/2610.27598.pdf
Github Repository	N/A

11. Self-Distilling Future Video Representations for World Action Models (23 votes)

Tác giả: Huiwon Jang, Suhyeok Jang, Hyeonmo Kang, Seungku Kim, Jinwoo Shin, et al.

Xuất bản lúc: 2026-10-21

Tag: World Action Models, Video Diffusion Models, Self-Distillation, Robot Learning, Representation Learning, Robotics, Flow Matching

I. Main Problem:

Các World Action Models (WAMs) hiện đại tăng tốc suy luận bằng cách chỉ chạy một bước khử nhiễu duy nhất trên video diffusion model (VDM), rồi điều kiện hóa action decoder lên hidden state trung gian sinh ra từ nhiễu Gaussian. Điều này làm hiệu suất điều khiển phụ thuộc trực tiếp vào chất lượng của representation tương lai đó.

Phân tích cho thấy hidden state từ nhiễu đã mang thông tin chuyển động tương lai, nhưng vẫn còn khoảng cách rõ rệt so với representation trích xuất từ ảnh tương lai thật (future-motion probing thấp hơn đáng kể).
Nghĩa là: mô hình chưa sinh đủ thông tin tương lai từ một bước khử nhiễu, làm suy giảm chính sách robot — đặc biệt ở tác vụ dài hạn, ngoài miền dữ liệu, và chuyển kỹ năng từ video người.

II. Main Idea:

FRED (FutureREpresentation learning via self-Distillation) huấn luyện WAM tự cải thiện representation tương lai sinh từ nhiễu qua hai cơ chế chính:

Self-distillation: mạng student lấy nhiễu làm đầu vào và sinh hidden state h; mạng teacher (bản EMA momentum của student) trích xuất target representation từ ảnh tương lai thật đã bị nhiễu hóa ở mức vừa phải (τ=0.25). Student được tối ưu bằng KL divergence giữa phân phối softmax theo patch của hai đầu ra (teacher dùng centering + sharpening chống collapse).
Temporal context: cả student và teacher đều được điều kiện hóa thêm lịch sử H khung hình gần nhất, giúp mô hình suy luận xu hướng chuyển động hiện tại để dự đoán tương lai tốt hơn.
Bộ tạo representation chỉ học từ video denoising + self-distillation (chặn gradient từ action loss), giữ vai trò 'máy dự đoán tương lai' thuần túy cho action decoder.

Ví dụ đời thường: giống học viên vẽ tranh phong cảnh từ trí nhớ — thay vì tự mò, có người thầy vừa nhìn thấy cảnh thật đứng bên chỉnh từng nét cho bức phác thảo khớp dần với thực tế, đồng thời cho xem vài ảnh chụp trước đó để đoán đúng hướng chuyển động của mây và nước.

III. Main Results:

Zero-shot environment generalization (DROID, môi trường mới không fine-tune):
Scale 5B: FRED vượt mọi WAM cùng hạng — long-horizon 46.7% (tốt nhất còn lại 31.7%), out-of-domain 37.5% (vs 10.4%).
Scale 14B: long-horizon 81.7% vs 61.7% (DreamZero), out-of-domain 52.1% vs 10.4%, vượt cả các VLA như π0.5 và GR00T N1.7.
Human-robot co-training (OpenArm, huấn luyện kèm video người không nhãn action):
In-domain: atomic 97.2%, composite 75.0% (baseline mạnh nhất 50.0%).
Skill transfer từ video người: 50.0% task success + 97.2% instruction-following, trong khi WAM tốt nhất khác chỉ đạt 19.4%.
Ablation: bỏ self-distillation 68.8%→65.1%, bỏ history conditioning →64.8%, bỏ cả hai →61.4% — hai thành phần bổ sung lẫn nhau.
So với các phương pháp representation learning khác (VideoREPA, SRA, Self-Flow) trên RoboCasa/GR-1/LIBERO: FRED cải thiện lớn và nhất quán hơn hẳn.
Phân tích tương quan: chất lượng representation sinh từ nhiễu một bước tương quan mạnh với task success (r=0.89), trong khi chất lượng sinh video (FVD, r=0.24) hay representation từ ảnh sạch (r=0.49) gần như không liên quan — xác nhận góc nhìn 'VDM là future representation generator'.

IV. Conclusion & Future Works:

FRED chứng minh rằng trong WAM kiểu một bước khử nhiễu, điều quyết định hiệu suất điều khiển không phải chất lượng video được sinh ra, mà là chất lượng representation tương lai dùng để điều kiện hóa action decoder. Self-distillation với teacher EMA trên ảnh tương lai thật kết hợp lịch sử quan sát là cách đơn giản nhưng hiệu quả để thu hẹp khoảng cách này, mang lại cải thiện lớn ở tác vụ dài hạn, ngoài miền, và chuyển kỹ năng người→robot ở cả hai quy mô 5B và 14B. Hướng tương lai (theo phần Limitations): mở rộng sang các tác vụ cần tương tác nhiều bước và điều kiện thực tế phức tạp hơn, cũng như khám phá các cơ chế tận dụng thông tin tương lai sâu hơn cho chính sách robot.

V. Brainstorming Space:

1. Publish Papers:

Áp dụng self-distillation representation tương lai cho robot cấp thấp và điều khiển tần số cao, nơi kiến trúc một bước khử nhiễu là bắt buộc về mặt độ trễ.
Kết hợp FRED với chiến lược chọn mức nhiễu teacher thích ứng theo độ khó của tác vụ, thay vì τ cố định 0.25.
Khảo sát self-distillation tương lai cho các mô hình world model hành động đa phương thức (ngoài hình ảnh: lực, xúc giác) để cải thiện khái quát hóa chạm và thao tác mỏng manh.
Nghiên cứu cắt giảm chi phí huấn luyện của teacher EMA và self-distillation để phương pháp khả thi trên quy mô dữ liệu robot nhỏ của phòng lab.

2. Patent:

Hệ thống huấn luyện robot gia đình qua video người dùng quay bằng điện thoại: người dùng quay clip thao tác (ví dụ gấp quần áo), robot học representation tương lai bằng self-distillation từ video đó và thực hiện lại động tác mà không cần gắn cảm biến hay nhãn hành động lên người quay.
Module dự đoán bước tiếp theo cho trợ lý thực tế tăng cường (AR) trên điện thoại: camera điện thoại quan sát cảnh, mô hình tự học dự đoán representation của khung hình tương lai ngay cả khi cảnh bị rung/mờ, từ đó đề xuất hành động tiếp theo cho người dùng theo thời gian thực.
Hệ thống cải thiện chất lượng video siêu phân giải trên điện thoại bằng cách chưng cất đặc trưng tự nhiễu: mô hình nhỏ trên thiết bị học từ mô hình lớn trên đám mây (bản EMA) để suy luận một bước mà vẫn giữ chi tiết chuyển động, tiết kiệm pin và độ trễ.
Giải pháp điều khiển drone/robot dọn dẹp văn phòng từ xa: camera gửi luồng hình ảnh có độ trễ cao, mô hình một bước tự sinh representation tương lai và ra lệnh điều khiển khớp, giảm phụ thuộc vào chất lượng ảnh hiện tại bị nhiễu mạng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.30320
ArXiv Abstract	https://arxiv.org/abs/2610.30320
PDF Download	https://arxiv.org/pdf/2610.30320.pdf
Github Repository	https://github.com/suhyeok-jang/FRED

12. Policy-Mask: Budget-Aware Adaptation of Diffusion Features to Discriminative Tasks (23 votes)

Tác giả: Ivan Listopadov, Maksim Nakhodnov, Aibek Alanov

Xuất bản lúc: 2026-10-20

Tag: Diffusion Models, Feature Selection, Knowledge Distillation, Reinforcement Learning, Policy Gradient, Semantic Segmentation, Computer Vision

I. Main Problem:

Các mô hình diffusion đã đóng băng chứa đặc trưng tốt cho các tác vụ nhận diện (phân đoạn ảnh, phân loại, tương ứng ngữ nghĩa), nhưng việc chọn đặc trưng trung gian để chiết xuất là khó:

tín hiệu hữu ích phân tán dọc theo quỹ đạo khử nhiễu (timestep), chiều sâu mạng (block), và các kênh
các phương pháp hiện tại chỉ chọn tay hoặc tối ưu ít siêu tham số (thường chỉ timestep), rồi tái sử dụng một quy tắc cố định cho mọi ảnh và mọi ngân sách tính toán
chưa có phương pháp nào chọn đồng thời cả ba yếu tố (timestep, layer, tập kênh) dưới một ngân sách kênh cho trước.

II. Main Idea:

POLICY-MASK coi việc chiết xuất đặc trưng diffusion như bài toán ra quyết định có ngân sách: một policy được huấn luyện bằng reinforcement learning cùng lúc chọn:

timestep t và layer l (hai phân phối categorical)
tập kênh K đúng kích thước b (dùng Gumbel top-b sampling cho Plackett–Luce ordering, rút không thay thế)

Phần thưởng cho policy là độ lỗi của task decoder trên đặc trưng đã chọn; đặc trưng đó đồng thời làm mục tiêu distill cho student. Khi suy luận chỉ chạy student, không cần mô hình diffusion.

Đóng góp kỹ thuật chính: chuẩn hóa điểm số kênh theo 1/b — vì điểm kênh là tổng của b số hạng, nó át đảo các đầu timestep/layer khi cập nhật chung; chia cho b đưa ba đầu policy về cùng tỷ lệ và ổn định việc huấn luyện (tăng mIoU ADE20K từ 36.8 lên 37.7).

Phương pháp cũng được chuyển sang diffusion transformer (PixArt-Σ, SD3.5 MMDiT) bằng cách thay trục kênh U-Net bằng chiều ẩn của image-token.

Ví dụ đời thường: giống người đi chợ được phép chỉ xách về đúng một túi nhỏ (ngân sách) — thay vì mang hết chợ về, họ học cách chọn đúng quầy (timestep), đúng kệ (layer), và nhặt đúng vài món cần nhất (kênh) cho bữa ăn của mình, thay vì mặc định mua cố định ở một quầy như trước.

III. Main Results:

Với chỉ 128/1280 kênh (10%), POLICY-MASK vượt cả chiết xuất full-width cố định: +1.5–1.6 mIoU trên ADE20K, Cityscapes, CelebA-HQ, Pascal VOC (đạt 38.9 mIoU ADE20K, so với 37.4 của full-width).
Phân loại: 95.2% CIFAR-10, 75.4% CIFAR-100 ở 128 chiều, cao hơn RepFusion 1.0–1.3 điểm; vượt các baseline top-variance và Fisher.
Tương ứng ngữ nghĩa: 76.3 PCK@0.1 (img-norm) trên SPair-71k.
Ablation trục hành động: mở rộng không gian hành động mà không chuẩn hóa làm kết quả tệ hơn policy chỉ-chọn-timestep (31.68 vs 31.78 mIoU) — chứng minh normalization là then chốt.
Ngân sách kênh: điểm cao nhất ở 256 kênh (+0.72 mIoU so với 128); ở 512 kênh giảm do thang độ lỗi distillation thay đổi, không phải kênh dư thừa.
Transformer teachers: interface chuyển sang DiT/MMDiT hoạt động được ở cùng tỷ lệ ~10% kênh (SD3.5 MMDiT: 36.4 ADE20K, cao hơn SD-1.5 U-Net ở cùng tỷ lệ chọn lọc).

IV. Conclusion & Future Works:

Ba kết luận chính:

Chọn đồng thời (t, l, K) có lợi ở ngân sách cố định: 128 kênh chọn lọc vượt cả 1280 kênh chiết xuất cố định trên cả bốn benchmark phân đoạn.
Chuẩn hóa điểm kênh theo 1/b là cần thiết để huấn luyện policy ba đầu ổn định.
Hành động chuyển được sang kiến trúc transformer (DiT, MMDiT, flow transformer) bằng ánh xạ kênh U-Net sang chiều ẩn image-token.

Hạn chế & hướng mở: ngân sách kênh hiện bị ràng buộc với độ mạnh của distillation loss (loss trung bình theo 1280 kênh thay vì theo kênh đã chọn), nên chưa xác định được ngân sách tối ưu độc lập — cần sweep với loss chuẩn hóa theo kênh đã chọn; ngoài ra các ablation transformer mới dùng một seed duy nhất.

V. Brainstorming Space:

1. Publish Papers:

Tách biệt số lượng kênh được chọn khỏi độ mạnh của distillation loss (chuẩn hóa loss theo kênh đã chọn) để xác định ngân sách kênh tối ưu một cách độc lập.
Mở rộng policy có điều kiện ngân sách sang các mô hình sinh khác (video diffusion, latent flow models) và kiểm chứng thống kê trên nhiều seed cho transformer teachers.
Kết hợp POLICY-MASK với chiến lược caching có ngân sặt ở inference (kiểu ReCache) để tối ưu đồng thời chi phí lưu trữ đặc trưng teacher và chất lượng student.

2. Patent:

Hệ thống nén đặc trưng ảnh trên điện thoại: một mô hình sinh ảnh lớn lưu trên đám mây 'dạy' mô hình nhỏ chạy trên máy; policy tự chọn đúng vài kênh đặc trưng cần truyền qua mạng cho từng ảnh, giảm băng thông và bộ nhớ mà không mất độ chính xác phân đoạn/phân loại.
Ứng dụng chỉnh sửa ảnh trên thiết bị di động: mô hình nhẹ thực hiện phân đoạn chính xác nhờ học lại từ đặc trưng đã chọn lọc của mô hình diffusion lớn, cho phép các tính năng như xóa nền, gắn nhãn vật thể chạy real-time không cần kết nối mô hình lớn.
Hệ thống tìm kiếm ảnh theo nội dung: policy chọn lọc kênh đặc trưng tối ưu cho từng truy vấn người dùng, lưu trữ vector đặc trưng chỉ bằng 10% kích thước gốc, giảm chi phí máy chủ cho ứng dụng tìm kiếm hình ảnh quy mô lớn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.28889
ArXiv Abstract	https://arxiv.org/abs/2610.28889
PDF Download	https://arxiv.org/pdf/2610.28889.pdf
Github Repository	N/A

13. Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents (18 votes)

Tác giả: Zhenyu Zhang, Kewei Fu, Yongqi Tong, Chenzhi Zheng, Wei Wu, et al.

Xuất bản lúc: 2026-10-19

Tag: Voice Agents, Speculative Reasoning, Tool Execution, Streaming ASR, Latency Optimization, RAG, ReAct

I. Main Problem:

Các voice agent dùng tool thường bắt người dùng chờ sau khi nói xong, dù phần cần thiết đã xuất hiện giữa câu. Các cách speculative hiện có bị ràng buộc theo chunk hoặc bị gián đoạn khi có cập nhật, nên tool call có thể bị cắt trước khi đủ arguments; kết quả tính toán bị buộc phải hoàn thành trong một cửa sổ speech update, giảm lượng công việc dùng được sau này. Ngoài ra, một kết quả chuẩn bị sớm có thể trở nên lỗi thời khi người dùng bổ sung ràng buộc hay đổi ý.

II. Main Idea:

Heartbeat Thinking tách việc chuẩn bị khi còn đang nghe khỏi việc tạo câu trả lời cuối. Trong lúc người dùng nói, hệ thống cứ mỗi khoảng thời gian cố định khởi động một Thinker invocation đọc transcript tạm mới nhất và bản ghi dùng chung của reasoning cùng kết quả tool đã hoàn thành; tối đa vài invocation chạy chồng lấp, speech mới hay tool result mới chỉ đi vào các lần gọi sau mà không cắt ngang lần đang chạy. Tool được dispatch bất đồng bộ, result quay lại shared state, rồi invocation sau dùng nó để điền missing arguments hoặc bắt đầu dependent calls. Khi VAD phát hiện hết speech, scheduler dừng invocation mới và hủy các speculative job chưa xong; Responder nhận full request cùng snapshot preparation tại thời điểm bàn giao, theo ReAct kiểm tra kết quả nào còn đúng, loại bỏ kết quả bị câu nói sau bác bỏ, tái dùng kết quả hợp lệ và tự thực hiện các call còn lại. Thinker và Responder có thể dùng model khác nhau.

Giống như bếp trưởng cứ mỗi ít phút đưa đầu bếp phụ xem order tạm và món nào đã xong; đầu bếp không đổ nồi đang nấu mỗi khi khách gọi thêm món, mà chỉ ghi chú mới cho lượt sau, rồi khi khách nói xong mới chốt bill và chỉ mang ra những món hợp với order cuối cùng.

III. Main Results:

Trên SpeechFCEval, FDBench v3, AudioCRAG, Heartbeat vượt baseline SHANKS-style Window Thinking về speculative tool coverage/retrieval reuse: +10.56, +16.00, +42.37 điểm phần trăm.
FDBench v3: Quality tăng 72.0% → 77.0%, Pass@1 tăng 57.0% → 65.0%, speculative tool coverage tăng 34.67% → 50.67%.
FDBench latency: final-response latency giảm 6.90s → 4.39s (-36.4%) so với Window Thinking và thấp hơn 45.7% so với Pipecat, cascaded baseline nhanh nhất; correct tool call xuất hiện trước speech end khoảng -4.37s, so với -2.74s của Window Thinking.
Chất lượng tác vụ không cải thiện đồng đều: SpeechFCEval accuracy hơi giảm 67.95% → 66.85%, AudioCRAG correct-answer rate giảm 57.24% → 55.49% dù retrieval reuse tăng mạnh 20.05% → 62.42%.
Khi thông tin đến sớm, 73.3% recording có tool call đúng được bắt đầu trước khi speech end; với thông tin đến muộn là 49.2%, với trường hợp người dùng sửa ý là 70.6%.
Có khoảng 4.0% recording trên FDBench v3 dùng kết quả speculative lỗi thời hoặc sai dù arguments của tool call là đúng, cho thấy reuse đúng kết quả vẫn là nút thắt riêng.

IV. Conclusion & Future Works:

Heartbeat Thinking cho thấy computation có thể trải qua nhiều speech update thay vì phải xong trong một cửa sổ ngắn, biến thời gian nghe thành preparation có thể tái sử dụng và giảm latency trả lời trên tác vụ có tool. Điểm giới hạn là lịch scheduling còn cố định theo interval và số invocation đồng thời, snapshot tại handoff bỏ qua tool result trả về muộn, và chất lượng cuối phụ thuộc vào khả năng diễn giải kết quả speculative. Hướng tương lai: adaptive scheduling theo thay đổi transcript và hoàn thành tool call; giao kết quả trả muộn một cách incremental; đánh giá rộng hơn trên nhiều workload để cân bằng speculative coverage, chi phí inference và response latency; cơ chế kiểm chứng hoặc rollback kết quả khi request đổi ý.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu lịch heartbeat thích ứng cho voice agent: điều chỉnh tần suất Thinker và số invocation đồng thời theo mức thay đổi của partial transcript, completion của tool call và mức rủi ro suy đoán sai.
Đề xuất cơ chế bàn giao incremental thay vì snapshot một lần: cho phép Responder nhận tool result hoàn thành muộn trong một ngưỡng an toàn, đặc biệt với tool có execution time biến động.
Phát triển khung kiểm chứng kết quả speculative cho tác vụ đổi ý giữa câu: phát hiện khi early tool call đúng arguments nhưng kết quả đã lỗi thời, và đề xuất rollback hoặc tính toán lại phần phụ thuộc.
So sánh chi phí-lợi ích của speculative tool coverage trên nhiều loại workload: function calling, retrieval-grounded answering và state-changing actions để xác định khi nào chuẩn bị sớm thực sự cải thiện task quality.

2. Patent:

Trợ lý giọng nói trên điện thoại chuẩn bị tác vụ trong khi người dùng đang nói: ứng dụng liên tục đọc lời thoại tạm và danh sách công việc đã xong, cho phép nhiều luồng chuẩn bị chạy song song; khi người dùng ngừng nói, trợ lý chỉ giữ lại các kết quả khớp yêu cầu cuối cùng và hủy phần chưa xong không còn đúng.
Hệ thống đặt món hoặc mua sắm bằng giọng nói biết chuẩn bị trước rồi đối chiếu cuối câu: trong lúc khách còn nói, hệ thống có thể tra cứu sản phẩm hoặc kiểm tra giỏ hàng, nhưng khi nghe thêm ngân sách hay đổi món sẽ chỉ dùng kết quả chưa mâu thuẫn và tự thực hiện phần còn thiếu.
Trợ lý giọng nói trên xe hơi giảm thời gian chờ khi người lái vừa nói vừa bổ sung điều kiện: xe định kỳ tổng hợp yêu cầu tạm và kết quả tra cứu đã hoàn thành, sau đó khi câu nói kết thúc sẽ ráp câu trả lời từ dữ liệu hợp lệ thay vì bắt đầu tính toán từ đầu.
Phần mềm chăm sóc khách hàng bằng giọng nói cho phép tác vụ nền chạy không bị ngắt mỗi khi khách nói thêm: agent nội bộ ghi lại suy luận đã hoàn thành và kết quả tra cứu vào vùng nhớ dùng chung, các lượt xử lý sau đọc vùng nhớ này để điền thiếu thông tin hoặc gọi bước phụ thuộc trước khi tổng đài viên ảo trả lời.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.26233
ArXiv Abstract	https://arxiv.org/abs/2610.26233
PDF Download	https://arxiv.org/pdf/2610.26233.pdf
Github Repository	N/A

14. Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V (18 votes)

Tác giả: Zhenghan Chen, Zekai Shao, Xin Lin, Leting Cheng, Siming Chen

Xuất bản lúc: 2026-10-20

Tag: Code-Based Video Generation, Benchmark, MLLMs, T2V, I2V, V2V, Evaluation, Remotion, HTML/CSS, SVG, Canvas, Three.js

I. Main Problem:

Các benchmark sinh video trực tiếp như VBench, EvalCrafter, T2V-CompBench đã đo chất lượng và độ căn chỉnh, nhưng sinh video bằng code vẫn thiếu một chuẩn đánh giá toàn diện. Các benchmark code hiện có chủ yếu tập trung vào tác vụ hẹp như Manim giáo dục, SVG animation, web animation hoặc clip motion graphics ngắn, nên chưa kiểm tra khả năng tạo video hoàn chỉnh đa dạng về thể loại sáng tạo và ba dạng đầu vào T2V/I2V/V2V.

Vấn đề cốt lõi là MLLM phải biến yêu cầu ngôn ngữ và tham chiếu hình ảnh/video thành chương trình thực thi được, đủ dài, đúng cú pháp, đúng tiến trình sự kiện, đúng layout, vận động, trạng thái liên tục, đồng thời tái tạo keyframe hoặc reference clip vào đúng vị trí trong video hoàn chỉnh. Đây là thách thức khác hẳn sinh pixel trực tiếp vì lỗi nhỏ trong code có thể làm hỏng toàn bộ video.

II. Main Idea:

Code2Video-Compass là benchmark đánh giá MLLM ở mức tạo video hoàn chỉnh bằng code, gồm:

2,104 tác vụ thuộc 10 categories và 24 subtypes, phân loại theo taxonomy motion design như Explainer Motion Graphics, Kinetic Typography, UI & Product Motion, 3D Motion.
Ba cài đặt đầu vào: T2V từ hướng dẫn văn bản, I2V từ văn bản + keyframe, V2V từ văn bản + reference clip.
Hai nguồn dữ liệu bổ sung nhau: Independent Task Set từ prompt/tham chiếu được curate, và Paired Task Set rút ra từ 573 video thật, mỗi video tạo ba tác vụ T2V/I2V/V2V chia sẻ mục tiêu sáng tạo.
Model phải viết code dùng HTML/CSS, SVG, Canvas, Three.js, sau đó Remotion render thành video; ảnh/video tham chiếu không được nhúng trực tiếp mà phải được tái dựng bằng code.
Mỗi tác vụ được gắn ba chiều phức tạp: Construction Complexity, Dynamic Animation Complexity, State-Dependency Complexity.
Đánh giá hai tầng gồm 12 objective metrics như execution success, token consumption, technical/aesthetic quality, motion smoothness, local/global text-video alignment, perceptual/structural/sequence/appearance/motion fidelity; và 5 subjective metrics gồm instruction following, content coherence, visual design, motion quality, viewer engagement.

Ví dụ đời thường: giống như yêu cầu một người không được vẽ từng khung hình mà phải viết kịch bản vận hành sân khấu hoàn chỉnh: ai xuất hiện khi nào, đạo cụ đặt ở đâu, đèn và chuyển động chạy thế nào; máy mới tự dựng và chiếu toàn bộ vở, còn với I2V/V2V thì phải mời đúng nhân vật hoặc đoạn múa tham chiếu vào vở đúng chỗ.

III. Main Results:

Thử nghiệm trên 15 MLLM thuộc 9 họ model, gồm GPT-6 Astra/Sol/Luna, Claude Opus/Sonnet/Haiku 5.5, Gemini 3.8 Flash, Qwen3.8 Max/Flash/27B, Kimi K3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, MiniMax M3, MiMo-V2.6-Pro.
Claude Opus 5.5 đạt average rank tốt nhất trên cả ba cài đặt T2V, I2V, V2V; ba vị trí dẫn đầu thuộc về các model proprietary. Trong nhóm open-weight, DeepSeek-V4.1-Flash dẫn T2V, còn MiMo-V2.6-Pro dẫn I2V/V2V.
Execution success chênh rất lớn: khoảng 0.52–0.94 ở T2V, 0.59–0.96 ở I2V, 0.69–0.97 ở V2V.
Chất lượng video khi render thành công không đồng nghĩa độ tin cậy tổng thể: GPT-6 Astra và GPT-6.1 Sol đạt holistic quality cao hơn trên tập render thành công, nhưng nhiều lỗi chạy hơn khiến điểm toàn tập thấp hơn Claude Opus 5.5.
Phân tích 2,756 lỗi cho thấy profile thất bại khác nhau rõ rệt: GPT-6 Astra chủ yếu lỗi compilation và thiếu API/package; Claude Opus 5.5 chủ yếu gặp runtime exception.
Hiệu năng giảm khi độ phức tạp tăng, đặc biệt ở structural fidelity và state dependency dài hạn; mức tăng từ L1 lên L2 đã đủ gây khó cho nhiều model.
Nhiều token và chi phí API hơn không đảm bảo chất lượng cao hơn: GLM-5.3-Flash dùng khoảng 90.0k output tokens/request nhưng chất lượng thấp hơn GPT-6 Astra dùng khoảng 13.9k.
MLLM judge Gemini 3.8 Flash có độ tương đồng người đánh giá khá cao: Pearson r khoảng 0.796 cho instruction following và 0.783 cho holistic video quality, đồng thời repeat stability trên 0.97.

IV. Conclusion & Future Works:

Code2Video-Compass cho thấy các MLLM dẫn đầu vẫn còn yếu ở bốn điểm then chốt: execution reliability, instruction following, reference fidelity, và khả năng duy trì trạng thái khi task phức tạp hơn. Benchmark phù hợp làm diagnostic testbed để phát triển mô hình sinh video lập trình đáng tin cậy, mạch lạc và kiểm soát được.

Hướng cải tiến hợp lý từ kết quả: tăng độ bền khi sinh codebase dài và phụ thuộc lẫn nhau, cải thiện kiến thức API/render stack, xử lý tốt hơn reference keyframe/clip, tối ưu hiệu quả token-chi phí, và xây dựng vòng lặp kiểm thử/self-repair sau khi code thực thi.

V. Brainstorming Space:

1. Publish Papers:

Phát triển phương pháp execution-aware code generation cho MLLM, kết hợp kiểm tra render, phát hiện lỗi compilation/runtime và sửa lại code trước khi hoàn thành video.
Nghiên cứu cơ chế reference integration cho I2V/V2V, để model không chỉ tái tạo keyframe hoặc clip giống về ngoại hình mà còn giữ đúng chuyển động, thứ tự sự kiện và vị trí thời gian trong video hoàn chỉnh.
Mở rộng Code2Video-Compass sang các stack render thực tế hơn hoặc thêm tín hiệu phản hồi vòng lặp, nhằm đánh giá mô hình trong pipeline tạo video code-based gần với công cụ sản xuất thật.
Nghiên cứu complexity-aware prompting và planning để cải thiện state dependency dài hạn, đặc biệt khi dữ liệu, layout, nhân vật hoặc scene phải nhất quán qua nhiều giai đoạn.

2. Patent:

Ứng dụng điện thoại tạo video quảng cáo/motion graphics từ một câu mô tả: người dùng nhập ý tưởng, app gọi model sinh HTML/SVG/Canvas/Three.js rồi render bằng Remotion thành video có thể chỉnh sửa từng thành phần.
Công cụ trên điện thoại biến ảnh sản phẩm thành video giới thiệu: người dùng chọn một ảnh keyframe, hệ thống tạo video hoàn chỉnh có logo, chữ, chuyển động và mở đầu/kết thúc phù hợp với thương hiệu.
Hệ thống tạo video minh họa dữ liệu cá nhân bằng code: từ bảng số liệu hoặc báo cáo trên mobile, app sinh infographic animation có tiến trình rõ ràng, dễ cập nhật số liệu mà không cần làm lại toàn bộ video.
Plugin biên tập video từ clip tham chiếu: người dùng cung cấp clip ngắn, hệ thống tái dựng đúng đoạn chuyển động trong một video dài hơn bằng code, cho phép đổi style, text, màu sắc và nhịp dựng mà vẫn giữ cốt truyện gốc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.28416
ArXiv Abstract	https://arxiv.org/abs/2610.28416
PDF Download	https://arxiv.org/pdf/2610.28416.pdf
Github Repository	https://github.com/code2video-compass/Code2Video-Compass

15. Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports (17 votes)

Tác giả: Jiahao Meng, Qize Yang, Yuxuan Wang, Yunfei Chu, Wensi Dai, et al.

Xuất bản lúc: 2026-10-22

Tag: Deep Research Agents, Benchmark, Video Understanding, Multimodal Retrieval, Agent Evaluation, Rubric-based Evaluation

I. Main Problem:

Các deep research agent hiện nay (Google Deep Research, OpenAI Deep Research, v.v.) chỉ tổng hợp báo cáo trên web dạng văn bản, hoặc các benchmark video deep research chỉ chấm trả lời câu hỏi ngắn, không đánh giá báo cáo nghiên cứu dài xoay quanh một video nguồn cụ thể. Nhu cầu thực tế rất lớn: người xem video muốn định vị khoảnh khắc liên quan, kiểm chứng tuyên bố trong video, tái hiện quy trình hướng dẫn, so sánh sản phẩm để ra quyết định — nhưng không có benchmark nào đo được khả năng này. Việc đánh giá còn khó vì báo cáo mở không có đáp án chuẩn duy nhất.

II. Main Idea:

Đề xuất Video-Centered Deep Research Report Generation: cho một video nguồn và yêu cầu người dùng, agent phải rút các 'anchor' nghiên cứu (tuyên bố, tham số, thực thể, câu hỏi mở gắn timestamp), truy xuất bằng chứng đa phương thức từ web (văn bản, ảnh, video, tài liệu), rồi tổng hợp thành báo cáo HTML tương tác có trích dẫn liên kết tới từng khoảnh khắc trong video gốc.

Kèm theo là hệ thống chấm điểm:

Omni Atomic Rubric Trees (Omni-ARTs): cây tiêu chí 3 tầng — 3 chiều (content, citation, presentation), 23 hướng chẩn đoán dùng chung, và tiêu chí nhị phân nguyên tử riêng theo tác vụ (mỗi lá gắn với một bản ghi fact độc lập hoặc một kiểm tra chương trình).
Audited Rubric Construction (ARC): xây dựng bộ rubric qua thu thập bằng chứng video và web một cách độc lập, sàng lọc tiêu chí, hiệu chuẩn hành vi (3 mức báo cáo: chỉ-video < đủ-công-cụ < có-fact-library phải tăng điểm tương ứng), và rà soát lặp bởi con người.
Kết quả là OmniDR-Bench: 50 tác vụ Trung–Anh thuộc 19 tiểu mục, 6.414 tiêu chí, kiểm thử 18 cấu hình agent.

Ví dụ đời thường: giống như thuê một trợ lý nghiên cứu xem hộ video dạy nấu ăn, rồi lập báo cáo chi tiết có mục lục thời gian ('phút 3:15 sai nhiệt độ — nguồn khoa học X nói khác'), kèm link kiểm chứng cho từng lời khẳng định của người dạy.

III. Main Results:

Hệ tốt nhất (Claude Opus 5) chỉ đạt 63.3/100; GLM-5.3 đạt 62.0 với tỉ lệ hoàn thành 100%; khoảng cách giữa hai hệ không có ý nghĩa thống kê.
Nút thắt chung rõ rệt: presentation trung bình 81.8 điểm, trong khi content chỉ 45.4 và citation 47.8 — agent làm báo cáo 'đẹp' giỏi hơn nhiều so với nghiên cứu sâu.
Theo tiêu chí nguyên tử: tỉ lệ pass fact trong video gốc ~80%, nhưng bằng chứng web ngoài chỉ ~9%, kiểm chứng liên nguồn ~9%, lập luận nhân quả ~9.5%, so sánh ~4.6%; claim support chỉ 15.9%.
Tìm nguồn dễ hơn dùng nguồn: GPT-5.6 pass 98% tiêu chí 'số lượng nguồn' nhưng chỉ 23.9% tiêu chí 'trích dẫn thực sự đỡ tuyên bố' — agent thường dồn link vào mục Sources cuối bài thay vì trích cạnh luận điểm.
Skill ablation: thêm tìm kiếm web vào xử lý video nâng điểm 31.8 → 45.5; điều phối đầy đủ (video-research skill) thêm +7.3 điểm, chủ yếu nhờ +20.7 điểm citation, nhưng tốn gấp đôi thời gian và token.
Các harness (Claude Code, Codex, OpenClaw) cho kết quả khác nhau tùy model; chi phí cao hơn không đảm bảo chất lượng hơn.

IV. Conclusion & Future Works:

Công trình mở ra tác vụ nghiên cứu sâu lấy video làm trung tâm — vượt ra ngoài tóm tắt video và câu trả lời ngắn — đồng thời cung cấp phương pháp đánh giá fine-grained, có kiểm toán (Omni-ART + ARC). Kết quả cho thấy agent hiện tại còn yếu rõ ở độ phủ nội dung, lập luận nhân quả liên phương thức và hỗ trợ trích dẫn. Hướng tương lai: khai thác tốt hơn bằng chứng audio-visual, nâng cao hiệu quả chi phí, cải thiện suy luận và chất lượng citation.

V. Brainstorming Space:

1. Publish Papers:

Phát triển agent nghiên cứu video đa video: mở rộng từ một video nguồn sang so sánh và đối chiếu nhiều video (ví dụ review cùng sản phẩm từ nhiều kênh) trong một báo cáo thống nhất.
Kỹ thuật citation grounding cho báo cáo đa phương thức: huấn luyện agent gắn từng trích dẫn đúng vị trí luận điểm, khắc phục lỗi 'dồn link cuối bài' phổ biến.
Tối ưu hóa chi phí – chất lượng của deep research: điều phối số bước tìm kiếm và token theo độ khó của tác vụ thay vì ngân sách cố định.
Đánh giá factuality theo thời gian thực cho nội dung video nhanh lỗi thời (giá cả, thông số sản phẩm, quy định pháp luật).

2. Patent:

Ứng dụng điện thoại kiểm chứng video quảng cáo: người dùng chia sẻ video quảng cáo sản phẩm, ứng dụng tự đối chiếu tuyên bố trong video với đánh giá ngoài, giá thị trường, thông số kỹ thuật rồi hiển thị báo cáo có mục lục thời gian ('giây 12 nói pin 2 ngày — thực tế theo thử nghiệm X là 1 ngày').
Trợ lý học nghề qua video trên điện thoại: người học quay video quy trình của mình, ứng dụng so sánh với video hướng dẫn gốc, chỉ ra sai lệch từng bước và đưa link tài liệu chuẩn để sửa.
Hệ thống báo cáo tin tức video có trích dẫn cho nhà báo: tự động rút các tuyên bố đáng ngờ trong video phát ngôn, tìm bằng chứng xác nhận/phủ nhận từ web và ảnh, tạo bản nháp bài kiểm chứng.
Công cụ mua sắm so sánh video-review: tổng hợp nhiều video đánh giá sản phẩm thành báo cáo so sánh ưu nhược điểm có nguồn, giúp người dùng ra quyết định mua hàng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.31158
ArXiv Abstract	https://arxiv.org/abs/2610.31158
PDF Download	https://arxiv.org/pdf/2610.31158.pdf
Github Repository	https://github.com/marinero4972/OmniDR-Bench

16. RouteWeaver: Weaving Mode Selection and Execution into Unified LLM Routing (16 votes)

Tác giả: Xiaohan Wang, Haozhen Zhang, Qingyuan Liu, Tao Feng, Wenya Wang

Xuất bản lúc: 2026-10-19

Tag: LLM Routing, Reinforcement Learning, GRPO, Multi-Agent Systems, Model Selection, Agentic Workflows

I. Main Problem:

Các phương pháp LLM routing hiện tại đều gắn chặt với một paradigm thực thi cố định được chọn từ trước:

Single-round: chọn một model, gọi một lần
Multi-round: chọn model lần lượt dựa trên output trung gian
Agentic: tổ chức nhiều model thành workflow có vai trò và phụ thuộc

Hệ quả: router chỉ học được dùng model nào, chứ không học được tổ chức các cuộc gọi model thế nào cho từng query. Trong khi thực tế, mỗi loại bài toán (toán, code, kiến thức, lý luận, thuộc lòng) ưa thích một paradigm khác nhau — không có paradigm nào tối ưu cho mọi tác vụ.

II. Main Idea:

RouteWeaver đưa chính việc chọn paradigm vào trong policy: một router duy nhất (Qwen3-4B) trước hết chọn mode (single/multi/agentic), sau đó sinh các quyết định routing tương ứng (chọn Worker, viết sub-query, gán vai trò, chỉ định phụ thuộc giữa các cuộc gọi).

Hai cơ chế huấn luyện chính:

COMET-GRPO: tách tín hiệu reward của cả trajectory thành hai mức — advantage giữa các mode (so sánh điểm trung bình của mode đã chọn với nhóm rollout) gán cho token quyết định mode, và advantage trong mode (so sánh trajectory này với các trajectory cùng mode) gán cho các token thực thi. Nhờ đó credit assignment chính xác hơn: biết lỗi do chọn sai mode hay thực thi kém.
Progressive exploration: huấn luyện theo 3 giai đoạn — ban đầu gán mode từ bên ngoài để router học cách thực thi từng mode, sau đó giảm dần tỉ lệ gán, cuối cùng để router tự chọn mode hoàn toàn, tránh thiên lệch sớm vào một mode duy nhất.

Ví dụ đời thường: giống một đầu bếp phục vụ nhiều loại khách — trước tiên được phân ca tập làm từng món (gán mode), tay nghề đều lên rồi mới được tự quyết định món nào nấu cho khách nào (tự chọn mode), và nếu món hỏng thì biết rõ lỗi do chọn sai món hay nấu sai kỹ thuật (tách credit).

III. Main Results:

Độ chính xác trung bình 61.4%, cao hơn 11.03% so với baseline mạnh nhất (Router-R1, 55.3%), và thắng tất cả 10 baseline ở cả 5 lĩnh vực (Math, Code, Knowledge, Reason, Recall).
Hiệu quả chi phí: với hệ số α=0.1, giảm 23% chi phí inference chỉ mất 1.0 điểm chính xác; α=0.3 giảm 61% chi phí, mất 3.1 điểm — nhiều điểm vận hành accuracy-cost chỉ bằng cách đổi α.
Khái quát hóa sang benchmark chưa từng thấy (AIME, GPQA-D, BBH): 53.7% trung bình, cao hơn 18.28% so với baseline mạnh nhất.
Ablation: bỏ COMET-GRPO giảm còn 58.8% và mode usage lệch hẳn về multi-round (82%); bỏ progressive exploration giảm còn 55.6% và policy sụp đổ hoàn toàn về single-round (100%). Cả hai thành phần đều cần thiết.
Phân tích hành vi: router chọn mode rất khác theo tác vụ — Reason 99% agentic, Recall 96% single-round, Code 84% multi-round, chứng minh việc chọn mode thích ứng là có thật.

IV. Conclusion & Future Works:

Bài học chính: routing hiệu quả không chỉ cần thích ứng model nào được gọi, mà cả cách tổ chức tính toán của chúng. Tách credit assignment theo hai mức quyết định (COMET-GRPO) kết hợp lịch khám phá dần dần (progressive exploration) cho phép một policy duy nhất thành thạo cả ba paradigm.

Hướng tương lai: mở rộng tư duy unified routing này sang các cấu trúc thực thi phong phú hơn và môi trường tích hợp công cụ (tool-augmented).

V. Brainstorming Space:

1. Publish Papers:

Áp dụng tư tưởng 'paradigm như quyết định có thể học' cho các hệ thống LLM tích hợp công cụ: policy vừa chọn gọi công cụ nào, vừa chọn sơ đồ tổ chức gọi công cụ (tuần tự, song song, lặp có phản hồi) cho từng query.
Nghiên cứu cơ chế credit assignment phân cấp cho điều phối nhiều tác tử: mở rộng việc tách advantage thành nhiều mức quyết định lồng nhau (chọn nhóm agent, phân vai, phân công việc) trong multi-agent RL.
Điều tra lý thuyết về lịch chuyển dần từ gán nhãn sang tự quyết định: khi nào curriculum dạng progressive exploration tối ưu so với khám phá tự do hoàn toàn trong bài toán chọn hành động rời rạc có chi phí khác nhau.

2. Patent:

Hệ thống điều phối nhiều chatbot AI trên điện thoại: một bộ điều phối tự phân loại câu hỏi của người dùng, quyết định trả lời bằng một model duy nhất (câu hỏi đơn giản), hỏi tiếp nhiều vòng (vấn đề phức tạp), hay phân vai nhiều model cùng thảo luận (bài toán khó), giúp tiết kiệm chi phí mà không giảm chất lượng.
Trợ lý ảo doanh nghiệp tối ưu ngân sách: người quản lý đặt ngưỡng chi phí; hệ thống tự cân bằng độ chính xác và chi phí bằng cách chọn cách tổ chức gọi các model AI (một lần hay nhiều vòng) cho từng yêu cầu, với mức ưu tiên chi phí có thể điều chỉnh bằng một tham số duy nhất.
Nền tảng gia sư AI cho học sinh: nhận diện dạng bài (thuộc lòng, lý luận, toán khó) để tự chọn cách xử lý — trả lời nhanh cho câu hỏi kiến thức, nhưng tổ chức nhiều model kiểm chéo lẫn nhau cho bài toán lý luận, đảm bảo độ tin cậy đúng nơi cần thiết.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.19705
ArXiv Abstract	https://arxiv.org/abs/2610.19705
PDF Download	https://arxiv.org/pdf/2610.19705.pdf
Github Repository	https://github.com/LaughKing/RouteWeaver

17. RLSplat: Resource-Linear Budget Control for Feed-forward 3D Gaussian Splatting (15 votes)

Tác giả: Injae Kim, Minseok Joo, Jihwan Park, Sehyung Kim, Minseong Bae, et al.

Xuất bản lúc: 2026-10-20

Tag: 3D Gaussian Splatting, Novel View Synthesis, Feed-forward 3D Reconstruction, Reinforcement Learning, Policy Optimization, Budget Control

I. Main Problem:

Các phương pháp Feed-forward 3D Gaussian Splatting (FF3DGS) kiểm soát ngân sách hiện có (EcoSplat, F4Splat) chỉ điều chỉnh được kích thước đầu ra, không điều chỉnh được chi phí suy luận:

Chúng dự đoán trước một tập rất lớn Gaussian rồi mới prune/chọn còn B cái → độ trễ (latency) và bộ nhớ đỉnh (peak VRAM) gần như không đổi dù ngân sách giảm.
Điều này vô hiệu hóa lợi ích của việc đặt ngân sách thấp khi triển khai trên thiết bị tài nguyên hạn chế (AR/VR, robot, điện thoại).

II. Main Idea:

RLSplat biến việc sinh Gaussian thành bài toán phân bổ (allocation) thay vì cắt tỉa:

Gaussian Allocation Policy: mạng backbone mã hóa ảnh thành các anchor token đại diện cho vùng 3D cục bộ; policy dự đoán mỗi anchor nên nhận bao nhiêu Gaussian sao cho tổng chính xác bằng B. Việc phân bổ rời rạc, không khả vi phân nên được huấn luyện bằng policy optimization (GSPO) với phần thưởng là chất lượng render.
Resource-Linear Decoder: mỗi anchor sinh đúng số token đã phân bổ; mỗi Gaussian được tinh chỉnh bằng local cross-attention chỉ với Kgs Gaussian láng giềng gần nhất (tìm qua hierarchical neighbor search 2 tầng: tìm anchor gần → tìm Gaussian trong các anchor đó). Chi phí O(B·Kgs) thay vì O(B²), nên latency và VRAM giảm tuyến tính khi B giảm.
Hai regularizer (Voronoi loss, offset loss) giữ Gaussian không trôi khỏi vùng anchor, đảm bảo neighbor search luôn đúng.

Ví dụ đời thường: giống thợ nhiếp ảnh được giao đúng 100 tấm film — thay vì chụp 500 tấm rồi vứt 400 tấn xấu (mất công và tiền y như cũ), người thợ quyết định trước vùng nào cần nhiều tấm (chi tiết cầu thang) và vùng nào cần ít (tường phẳng), nên chụp ít mà ảnh lại đẹp hơn.

III. Main Results:

Vượt mọi baseline kiểm soát ngân sách ở mọi mức ngân sách (1K/2K/4K Gaussian per view), trên ACID zero-shot từ RE10K: tại 2K budget, +0.9 dB PSNR so với F4Splat.
Hiệu quả tài nguyên: tại budget 2K, nhanh hơn 4.1× và ít bộ nhớ đỉnh 9.6× so với F4Splat; với chỉ 4× ít Gaussian vẫn vượt baseline mạnh nhất.
Vượt cả các phương pháp budget-fixed: dùng ít hơn 64× Gaussian (24K vs 1536K) mà PSNR cao hơn SPFSplat (25.58 vs 25.00 dB).
Khi ngân sách thấp, khoảng cách chất lượng càng lớn (với 8 views: +0.74 dB ở 4K → +1.22 dB ở 1K).
Ablation: neighbor search phân cấp nhanh hơn 27× (8.1 ms vs 219.6 ms) và khớp 99.0% với tìm kiếm chính xác nhờ Voronoi loss (không có nó chỉ còn 60.2%); allocation bằng policy vượt heuristic Sobel-edge và chia đều; thiếu projection loss khiến huấn luyện hoàn toàn thất bại.

IV. Conclusion & Future Works:

RLSplat chứng minh rằng kiểm soát ngân sách trong FF3DGS có thể mở rộng từ kích thước biểu diễn sang toàn bộ chi phí suy luận: allocation học qua RL + decoder tuyến tính theo tài nguyên cho phép chất lượng, độ trễ và bộ nhớ cùng cải thiện khi ngân sách giảm — rất phù hợp triển khai thiết bị biên. Hyperparameter Kgs có thể đổi lúc inference mà không cần huấn luyện lại, cho phép cân bằng chất lượng/bộ nhớ linh hoạt theo từng ngữ cảnh.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng allocation policy học qua RL sang các dạng biểu diễn 3D khác ngoài Gaussian (voxel, NeRF-based) để kiểm soát ngân sách tài nguyên tuyến tính.
Kết hợp ngân sách động thích ứng theo nội dung cảnh và tài nguyên thiết bị thời gian thực (adaptive budgeting trên điện thoại/headset).
Nghiên cứu allocation có điều kiện nhiều mục tiêu: cân bằng đồng thời chất lượng render, độ trễ, bộ nhớ và dung lượng lưu trữ trong một policy duy nhất.

2. Patent:

Ứng dụng AR trên điện thoại dựng cảnh 3D từ vài ảnh: người dùng chọn mức 'nhẹ/thường/nặng'; hệ thống tự phân bổ số điểm ảnh 3D theo độ phức tạp từng vùng cảnh để render mượt mà không giật lag, tiết kiệm pin và RAM.
Module chụp ảnh panorama thông minh: máy ảnh điện thoại phân tích vùng cảnh, tự động dành nhiều dữ liệu lưu trữ và sức xử lý cho chi tiết phức tạp (chữ, vật thể nhỏ) và nén vùng đơn giản (tường, bầu trời), giảm dung lượng file mà ảnh zoom vẫn nét.
Hệ thống quét 3D cho robot tự hành: robot đặt ngân sách điểm 3D theo thời gian thực tùy pin còn lại, dồn độ phân giải cao vào vùng cần định vị chính xác và thưa ở vùng trống, kéo dài thời gian hoạt động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.27712
ArXiv Abstract	https://arxiv.org/abs/2610.27712
PDF Download	https://arxiv.org/pdf/2610.27712.pdf
Github Repository	https://github.com/mlvlab/RLSplat

18. Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought (15 votes)

Tác giả: Zhengye Bao, Shengtao Zhang, Haokai Zhang, Shiqi Lou, Muning Wen, et al.

Xuất bản lúc: 2026-10-22

Tag: RAG, LLM Memory, Long-term Conversation, Retrieval-Augmented Generation, Agentic Memory, Dense Retrieval

I. Main Problem:

Các hệ thống agentic memory cho LLM (trích xuất fact, tóm tắt, cập nhật/xóa bộ nhớ, xây graph, chiến lược retrieval học được) ngày càng phức tạp, nhưng chưa ai kiểm chứng sự phức tạp này có thật sự cần thiết. Giả định phổ biến là RAG đơn giản trên lịch sử thô thì không đủ vì:

hội thoại dài có fact bị thay thế/xóa, cần duy trì trạng thái hiện tại một cách tường minh
các đánh giá trước báo cáo RAG thua xa agentic memory — nhưng các baseline RAG đó thường dùng đơn vị retrieval quá to, độ sâu retrieval bị giới hạn, hoặc thiếu reranking

Bài báo đặt câu hỏi: liệu reader LLM đủ khả năng tự suy luận trạng thái thay đổi từ bằng chứng thô, và liệu RAG đúng chuẩn đã đủ mạnh chưa?

II. Main Idea:

Đề xuất RAW-RAG — một baseline RAG "ngây thơ":

Không trích xuất fact, không tóm tắt, không graph, không mutation — chỉ lập chỉ mục lịch sử hội thoại nguyên bản, chia thành cửa sổ 256 token (overlap 32), embed vào một flat index
Khi có câu hỏi: dense retrieval lấy 128 cửa sổ gần nhất → cross-encoder rerank chọn top-15 → đưa cho reader LLM tự sắp xếp thứ tự thời gian và suy luận thay đổi trạng thái

Hai thí nghiệm tiền khảm cho thấy phần lớn sự phức tạp là thừa:

Audit Mem0: UPDATE+DELETE chỉ chiếm 4.39% (LoCoMo) và 2.46% (LongMemEval) quyết định ghi; tỉ lệ mutation thực sự có hiệu lực chỉ ~1.9%/1.34%. Bỏ mutation, chỉ ADD/NONE, độ chính xác còn tăng +2.06 điểm
Cho reader tiếp cận đầy đủ bằng chứng thô (bỏ qua lỗi retrieval): DeepSeek-V4-Flash giải được 82.32% bài cascade và 91.54% bài invalidation — tức reader giỏi tự xử lý trạng thái động từ dữ liệu thô

Phân tích nguyên nhân thắng: RAW-RAG đạt coverage (tỉ lệ câu hỏi có đủ bằng chứng) cao nhất, và bảo toàn cả dependency path — không chỉ giá trị đáp án mà cả quan hệ/thứ tự để suy ra nó.

Ví dụ đời thường: giống như tra hồ sơ gốc đầy đủ thay vì phiếu tóm tắt do thư ký rút gọn — bản tóm tắt có thể gọn nhưng dễ bỏ sót chi tiết then chốt; khi cần đối chiếu sự việc nối tiếp nhau, đọc trực tiếp hồ sơ gốc theo trình tự vẫn đáng tin hơn, và đọc giỏi thì tự nối được mạch.

III. Main Results:

RAW-RAG đứng đầu trong 6/7 benchmark–model settings trên 4 bộ dữ liệu (LoCoMo, LongMemEval, MEME, MemoryAgentBench), vượt hệ agentic memory mạnh nhất +0.13 đến +5.53 điểm (chỉ thua MemMachine ở MEME–DeepSeek-V4-Flash, còn Full-context thắng nhờ đọc toàn bộ lịch sử)
Ablation (MemoryAgentBench):
- Bỏ reranker: −3.92 điểm; chỉ trả 1 kết quả: −11.73; top-120: −14.57
- Chunk size 128–1024 không ảnh hưởng đáng kể
- Mọi phép bổ sung quản lý bộ nhớ đều làm giảm độ chính xác: atomic-fact extraction −19.62 điểm, summary augmentation −5.81, graph expansion −5.78
Hiệu quả: nạp + tìm kiếm trên MEME chỉ 305.9 giây, nhanh gấp 5.1× hệ tiếp theo (EMem) và 30.4× EverMemOS; trên hội thoại 1M token (BEAM-1M): RAW-RAG 0.33 giờ vs MemOS 3.25 giờ, Memora 26.95 giờ (tức 83×)
Coverage vs utilization: RAW-RAG coverage cao nhất (45.29% MemoryAgentBench, 76.35% MEME) — các hệ thống khác nhau chủ yếu ở khả năng cung cấp bằng chứng, không phải ở khả năng dùng bằng chứng
Path coverage có điều kiện: RAW-RAG 62.34% (cao nhất) — truy xuất được giá trị đáp án và đường phụ thuộc hỗ trợ
Oracle thử nghiệm: dù có quyền truy cập toàn bộ memory store đã biến đổi, các hệ thống vẫn thua bằng chứng thô 7.58–29.38 điểm → thông tin bị loại bỏ/xuyến tạp lúc nạp không hồi phục được bằng retrieval

IV. Conclusion & Future Works:

Kết luận: với các tác vụ hội thoại đã đánh giá, bộ nhớ agentic phức tạp không phải lúc nào cũng cần thiết. Naive RAG trên lịch sử thô, làm đúng (dense retrieval + reranking), là baseline mạnh mà mọi hệ thống agentic memory mới phải vượt qua được mới chứng minh được giá trị của sự phức tạp thêm vào. Nút thắt lớn nhất là tiếp cận bằng chứng và bảo toàn quan hệ phụ thuộc, chứ không phải quản lý trạng thái tường minh.

Hạn chế & hướng tương lai:

Chỉ đánh giá hội thoại offline trên benchmark công khai — chưa rõ với tương tác tương tác thời gian thực, đa phương thức
Lưu trữ lịch sử thô nêu vấn đề bộ nhớ và quyền riêng tư (cần cơ chế xóa dữ liệu)
Cần kiểm tra xem structured/compressed memory có lợi cho reader yếu hơn không, và đánh giá trên lịch sử dài hơn với nhiều model hơn

V. Brainstorming Space:

1. Publish Papers:

Phát triển RAG thô có kiểm soát quyền riêng tư: kết hợp lập chỉ mục lịch sử nguyên bản với cơ chế xóa/chỉnh sửa có kiểm chứng (verifiable deletion) để đáp ứng yêu cầu bảo mật dữ liệu người dùng mà vẫn giữ được độ chính xác.
Nghiên cứu khi nào bộ nhớ nén/graph vượt trội RAG thô: xác định ranh giới về độ dài lịch sử, độ mạnh của reader, và loại tác vụ mà tóm tắt có cấu trúc bắt đầu mang lại lợi ích ròng so với truy xuất lịch sử nguyên bản.
Tối ưu hóa chiến lược reranking và lựa chọn bằng chứng cho bộ nhớ hội thoại: học cách chọn cửa sổ bằng chứng sao cho bảo toàn đường phụ thuộc (dependency path) chứ không chỉ tối đa hóa tương đồng ngữ nghĩa với câu hỏi.

2. Patent:

Trợ lý AI trên điện thoại với bộ nhớ hội thoại siêu nhẹ: thay vì chạy mô hình trích xuất và cập nhật fact tốn pin, ứng dụng chỉ lập chỉ mục nội dung chat gốc bằng nhúng vector và reranker nhỏ chạy trên thiết bị — giảm thời gian phản hồi và chi phí điện toán đám mây xuống nhiều lần so với kiến trúc bộ nhớ agentic truyền thống.
Hệ thống hỗ trợ khách hàng có khả năng đối chiếu lịch sử tương tác nguyên văn: khi khách hỏi về thay đổi trạng thái đơn hàng hay sở thích, hệ thống truy xuất các đoạn hội thoại gốc (thay vì bản tóm tắt) để suy luận chuỗi thay đổi, tránh lỗi sai lệch do tóm tắt tự động và giảm độ trễ xử lý.
Dịch vụ đám mây lưu trữ bộ nhớ dạng ngăn xếp 'ghi một lần, không sửa' (append-only) kèm tìm kiếm ngữ nghĩa: cho phép ứng dụng chat dài hạn lưu toàn bộ lịch sử gốc với chi phí nạp thấp gấp hàng chục lần, đồng thời dễ audit và xóa dữ liệu theo yêu cầu pháp lý vì không có bước biến đổi dữ liệu trung gian.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.30755
ArXiv Abstract	https://arxiv.org/abs/2610.30755
PDF Download	https://arxiv.org/pdf/2610.30755.pdf
Github Repository	https://github.com/Litmeb/RAW-RAG

19. Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation (14 votes)

Tác giả: Hongcan Guo, Yian Zhao, Feng Wang, Shen Nie, Guoqiang Wei, et al.

Xuất bản lúc: 2026-10-22

Tag: Hierarchical Language Modeling, Masked Diffusion, Latent Semantic Compression, Flow Matching, Continuous Latent Space, Classifier-Free Guidance, ByteDance

I. Main Problem:

Các mô hình ngôn ngữ phân cấp (hierarchical LM) tách mô hình hóa ngữ nghĩa liên tục (latent space) khỏi sinh token rời rạc (như Cola DLM), nhưng chưa giải quyết được hai câu hỏi cốt lõi:

Latent space nên nén giữ lại thông tin gì — rút ngắn chuỗi latent không đồng nghĩa với có biểu diễn ngữ nghĩa gọn; mục tiêu chỉ tái cấu trúc (reconstruction) không đảm bảo latent dự đoán được token tương lai hay bị thiếu.
Decoder rời rạc phải dùng latent thế nào — ngoài tái hiện đúng ngữ nghĩa latent, nó còn phải tự sinh phần còn lại khi latent đầy đủ hay mơ hồ.
Nén ngữ nghĩa và sinh rời rạc không thể thiết kế độc lập, và encoder cố định trước khi train decoder sẽ khóa định luôn phân bổ thông tin trước khi generator được học đầy đủ.

II. Main Idea:

Cola2 — khung language modeling phân cấp co-adaptive, trong đó latent liên tục và decoder rời rạc được học cùng điều chỉnh lẫn nhau để quyết định thông tin nào giữ lại, thông tin nào để decoder tự sinh. Các cơ chế chính:

Dynamic semantic segmentation: tự động chia văn bản thành các span theo nội dung; tốc độ nén duy trì quanh mục tiêu nhờ bộ điều khiển phản hồi âm không cần auxiliary loss (gradient-free), thay vì thêm loss nén riêng.
Cân bằng reconstruction–generation: decoder là block-causal Masked Diffusion Model (MDM) — causal giữa các block, denoising hai chiều trong block hiện tại — được train đồng thời dưới 3 điều kiện latent: clean, noisy, dropped, để học cả tái hiện ngữ nghĩa lẫn tự sinh từ context; Classifier-Free Guidance điều chỉnh mức cân bằng này lúc inference.
Co-adaptation qua gradient: loss dự đoán token backprop xuyên qua latent về encoder, nên encoder học biểu diễn phù hợp với decoder thật; riêng Flow Matching (DiT học phân phối prior của latent) bị stop-gradient, tách riêng việc fit prior khỏi học biểu diễn.
Latent feedback tại inference: văn bản sinh ra được re-encode block-by-block theo span layout cố định, giữ lịch sử latent luôn khớp với context token thực tế, tránh lệch lũy tiến giữa hai không gian.

Ví dụ đời thường: giống việc ghi chú bài giảng — thay vì chép nguyên câu, bạn tóm tắt ý chính thành từ khóa (latent gọn) đủ để tự viết lại toàn văn khi về nhà; nếu từ khóa mơ hồ, bạn dựa thêm vào đoạn đã viết trước đó để tự suy ra phần còn thiếu, rồi sau mỗi đoạn lại rà soát và cập nhật lại phần tóm tắt cho khớp bài đã viết.

III. Main Results:

Dynamic segmentation vượt fixed-length và random segmentation: +8.2 và +4.4 điểm trên LAMBADA; khi nới span tối đa lên 8 đạt 29.4%, vượt cả mô hình không nén (28.7%) — chứng tỏ nén theo nội dung không chỉ không mất mát mà còn có lợi.
Negative-feedback rate control không-loss vượt phương pháp DLCM có auxiliary loss.
Scaling có kiểm soát trên 5 tác vụ với ~210B token training token xác nhận từng thiết kế cốt lõi; kết quả cạnh tranh và chưa bão hòa theo quy mô.
Checkpoint chưa hội tụ với chỉ 346.03B source token đạt 60.10 điểm trung bình 8 tác vụ, vượt Llama-3-8B trên HellaSwag và StoryCloze dù Llama-3-8B có ngân sách pretraining được báo cáo gấp hơn 43 lần — cho thấy khả năng chuyển giao từ decoder causal khởi tạo bằng Qwen và dư địa scaling lớn.
Latent phân cấp liên tục tương thích tốt với các paradigm sinh token-space đã thành lập (autoregressive lẫn masked-diffusion).

IV. Conclusion & Future Works:

Cola2 chứng minh rằng trong language modeling phân cấp, việc nén ngữ nghĩa liên tục và sinh rời rạc phải được tối ưu đồng thời: phân bổ thông tin giữa latent và decoder được quyết định bởi nhu cầu thực tế của tái cấu trúc và sinh text, không phải từng phần riêng lẽ. Các cơ chế negative-feedback rate control, supervision cân bằng reconstruction–generation, gradient decoupling và latent feedback đều được thực nghiệm xác nhận, mở ra hướng kết hợp modeling latent liên tục với generator token-space hiện có. Hướng tương lai: khai thác thêm dư địa scaling chưa bão hòa, tối ưu chi phí inference (số bước denoising, CFG đa trục) và mở rộng sang các kiến trúc decoder/tokenizer khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng khung co-adaptive sang text-to-image/video: latent ngữ nghĩa nén trước được sinh bằng DiT, rồi decoder rời rạc (hoặc diffusion pixel) tái hiện, giảm số bước sampling và chi phí attention.
Áp dụng negative-feedback rate control vào compression thích ứng trên thiết bị biên: điều chỉnh độ dài latent theo ngân sách tính toán động mà không cần fine-tune lại loss nén.
Nghiên cứu phân bổ thông tin giữa latent và context khi kéo dài ngữ cảnh rất dài (long-context LM), trong đó latent đóng vai trò bộ nhớ ngữ nghĩa nén thay thế KV cache dài.
Kết hợp latent feedback với suy luận nhiều vòng (iterative reasoning): re-encode định kỳ để latent luôn phản ánh kết quả suy luận, cải thiện consistency trong chuỗi reasoning dài.

2. Patent:

Bàn phím thông minh trên điện thoại: hệ thống nén câu đang gõ thành biểu diễn ngữ nghĩa gọn, sinh toàn câu gợi ý song song nhiều từ cùng lúc (thay vì gợi ý từng chữ), rút ngắn thời gian soạn tin nhắn và giảm lỗi gõ.
Trợ lý soạn văn bản trên điện thoại có chế độ 'độ tin cậy ngữ nghĩa': người dùng kéo thanh trượt để cân bằng giữa bám sát ý gốc (tái hiện) và viết tự do sáng tạo (sinh mới), tương đương classifier-free guidance hai mức.
Ứng dụng tóm tắt-tái viết tin tức ngoại tuyến: thuật toán chia bài viết thành các đoạn ý nghĩa động, nén thành 'điểm ý' trên máy, sau đó mở rộng lại thành bản viết mới phù hợp ngôn ngữ người dùng chọn, tiết kiệm băng thông tải xuống.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.31305
ArXiv Abstract	https://arxiv.org/abs/2610.31305
PDF Download	https://arxiv.org/pdf/2610.31305.pdf
Github Repository	N/A

20. Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems (13 votes)

Tác giả: Daniel Ruiz, Luca Luceri, Emilio Ferrara

Xuất bản lúc: 2026-10-21

Tag: LLM Agents, AI Safety, Confidentiality, Mosaic Effect, RAG, Access Control

I. Main Problem:

Các tác tử LLM có thể tuân thủ quyền truy cập từng tài liệu nhưng vẫn tiết lộ một kết luận nhạy cảm được suy ra từ nhiều nguồn riêng lẻ. Đây là mosaic effect: từng mảnh dữ liệu có thể xem được, nhưng khi ghép lại lộ ra mối quan hệ cấm phát tán.

Bài toán cốt lõi: kiểm soát không chỉ tài liệu nào được đọc, mà cả kết luận nào được suy ra và phát tán.
Rủi ro đặc biệt trong môi trường có nhiều người dùng với mức quyền khác nhau: một câu hỏi vô hại có thể kích hoạt suy luận liên tài liệu.
Các biện pháp đơn giản như hiển thị nhãn mật và quy tắc cấm tổng hợp chưa chắc đã đủ để chặn rò rỉ.

II. Main Idea:

Tác giả xây dựng một benchmark tổng hợp gồm 30 tình huống trong ba lĩnh vực cybersecurity, medical và military. Mỗi tình huống có:

hai tài liệu mức SECRET, từng tài liệu có thể được phép truy cập
một forbidden composite mức TOP_SECRET, chỉ xuất hiện khi ghép hai tài liệu
ba loại truy vấn: benign chỉ cần một tài liệu, explicit hỏi thẳng kết luận cấm, adversarial yêu cầu bỏ qua hạn chế
các yếu tố can thiệp: tài liệu gây nhiễu, nhãn phân loại hiển thị/ẩn, quy tắc chống tổng hợp bật/tắt

Thiết kế thử nghiệm gồm controlled simulation cung cấp sẵn tài liệu và vết suy luận, cùng hai live agent harnesses là Pi và Hermes để tác tử tự tìm và đọc tài liệu. Kết quả cuối cùng được chấm bởi một LLM judge đã được kiểm chứng bằng nhãn người, với hai nhãn riêng: mosaic disclosure và refusal.

Ví dụ đời thường: giống như hai người mỗi người nắm một mảnh manh mối vô hại, nhưng khi cùng đặt hai mảnh lên bàn lại lộ ra bí mật mà không ai được quyền biết.

III. Main Results:

Benign queries vẫn gây rò rỉ: GPT-5.6-Sol trong simulation tiết lộ forbidden composite trong 7.08% câu trả lời; live Pi đạt 12.50%, live Hermes đạt 8.75%.
Tổng thể simulation: mức rò rỉ trung bình là 52.68% khi gộp ba generator; GPT thấp nhất với 27.75%, Claude Sonnet 5 là 63.17%, Qwen3.5-27B là 67.11%.
Live harnesses cũng rò rỉ: Pi đạt 30.14%, Hermes đạt 32.36%, gần mức simulation của GPT, cho thấy hiện tượng không chỉ do cách cấp tài liệu sẵn.
Safeguards giúp nhưng không chặn hết: bật cả classification headers và aggregation rules làm pooled disclosure giảm từ khoảng 68.63% xuống 32.37%, tức giảm 36.26 percentage points, nhưng rò rỉ còn sót lại trong cả benign configurations.
Refusal không đồng nghĩa an toàn: với Claude, hơn một nửa số câu từ chối được chấm vẫn tiết lộ composite; khi cả hai safeguards bật, 404/410 câu mosaic-positive của Claude nằm trong nhóm refusal overlap.
Có khác biệt theo lĩnh vực: military disclosure tăng từ khoảng 17% trong simulated GPT lên khoảng 25% ở cả hai live harnesses, cho thấy tỉ lệ tổng thể có thể che giấu rủi ro theo domain.

IV. Conclusion & Future Works:

Kết luận chính: mosaic-style disclosure là một failure mode thực quan sát được, không chỉ lý thuyết, trong cả simulation và tác tử live. Ngay cả khi mọi tài liệu đều nằm trong quyền truy cập, tác tử vẫn có thể phát tán kết luận cấm thông qua suy luận liên nguồn. Safeguards bằng ngữ cảnh giảm đáng kể rò rỉ nhưng không đảm bảo confidentiality; từ chối trả lời cũng có thể vô tình nêu đúng kết luận nhạy cảm.

Hướng tương lai:

phát triển kiểm soát domain-specific, deterministic tại retrieval, tool execution và answer release
theo dõi fact nào đã vào context, quan hệ nào bị cấm ghép, và kiểm tra cả access lẫn prohibited combinations
đánh giá residual disclosure, false positives và task utility dưới adaptive queries và workflow dài hơn
mở rộng sang multi-agent workflows, nơi tác tử trao đổi kết quả trung gian, chia sẻ bộ nhớ và tích lũy quan hệ nhạy cảm qua nhiều bước handoff

V. Brainstorming Space:

1. Publish Papers:

Khung kiểm soát chống mosaic disclosure theo từng lĩnh vực, tích hợp logic bắt buộc vào quy trình truy xuất tài liệu, gọi công cụ và phát hành câu trả lời.
Đánh giá rò rỉ cấu hình đa tác tử khi các tác tử chia sẻ manh mối trung gian, lưu trữ ký ức chung và vượt qua ranh giới quyền truy cập gián tiếp.
Phương pháp tách biệt hành vi từ chối và hành vi tiết lộ thông tin, nhằm phát hiện các câu trả lời từ chối nhưng vẫn vô tình nêu kết luận cấm.

2. Patent:

Ứng dụng trên điện thoại cho nhân viên doanh nghiệp đọc tài liệu nội bộ: trước khi gửi câu trả lời, hệ thống quét xem câu trả lời có ghép các chi tiết từ nhiều tài liệu thành kết luận nhạy cảm không; nếu có, ứng dụng chặn hoặc viết lại câu trả lời theo quyền của người dùng.
Trợ lý tóm tắt hồ sơ y tế hoặc pháp lý trên điện thoại: mỗi sự kiện trong hồ sơ được gắn mức độ mật và nguồn gốc; khi tạo tóm tắt, ứng dụng kiểm tra tổ hợp sự kiện có tạo ra kết luận cao hơn mức được phép hay không.
Bộ giám sát an toàn cho nhiều tác tử làm việc cùng nhau trên đám mây hoặc điện thoại: hệ thống theo dõi dữ kiện nào được truyền giữa các tác tử, cảnh báo khi các mảnh thông tin riêng lẻ bắt đầu tạo thành một kết luận cấm phát tán.
Chế độ hội thoại bảo mật trên thiết bị di động: khi người dùng hỏi một câu có thể chạm tới kết luận nhạy cảm, ứng dụng chỉ nói không đủ quyền hoặc cung cấp thông tin thay thế an toàn, thay vì giải thích chi tiết điều gì bị cấm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.30418
ArXiv Abstract	https://arxiv.org/abs/2610.30418
PDF Download	https://arxiv.org/pdf/2610.30418.pdf
Github Repository	N/A

21. FilmFlow: Agentic System for 3D Virtual Film Cinematography (13 votes)

Tác giả: Yiming Zhang, Jiarui Guo, Haojia Wei, Yifei Liu, Yifan Yang, et al.

Xuất bản lúc: 2026-10-22

Tag: Agentic AI, Cinematography, 3D Scenes, Multi-Agent Systems, Camera Trajectory Generation, Vision-Language Models, Benchmark

I. Main Problem:

Chuyển ý đồ điện ảnh (mô tả ngôn ngữ tự nhiên hoặc video tham chiếu) thành quỹ đạo camera có thể thực thi trong môi trường 3D động vẫn là bài toán khó:

các hệ thống trước (rule-based, optimization, trajectory generation) không phối hợp được chuyển động đồng thời nhiều thao tác camera với thời gian khác nhau (ví dụ: vừa xoay quanh nhân vật đang di chuyển, vừa nâng camera, vừa tiến gần)
khó giữ framing khi chủ thể chuyển động; điều kiện hình học hợp lệ không đảm bảo bố cục và nhịp điện điện ảnh
thiếu benchmark chuẩn để đánh giá cả hai chế độ: sinh camera từ text và từ video tham chiếu.

II. Main Idea:

FilmFlow là khung multi-agent gồm 4 tác tử hợp tác:

Interpreter: trích xuất ý đồ điện ảnh gắn với scene, tạo mô tả đối tượng và kịch bản camera (với video tham chiếu thì ước lượng pose tương đối làm bằng chứng phụ)
Scout: tìm góc mở đầu tối ưu, vì góc mở đầu kém sẽ ràng buộc mọi thao tác sau
Director: xây camera plan thực thi được bằng cách kết hợp 22 atomic operations (dolly, orbit, pan, zoom, focus pull...) với khoảng thời gian chồng lấp, cho phép dịch chuyển, xoay và framing điều khiển đồng thời; các thay đổi tương đối của từng operation được tổng hợp theo từng frame
Critic: đánh giá hình ảnh render được so với kịch bản và đưa phản hồi để vòng lặp tinh chỉnh tham số, thao tác và timing; ngoài ra có cơ chế in-context learning truy xuất các plan đã được xác thực theo độ tương đồng từ khóa để hướng dẫn Director

Ví dụ đời thường: giống một ê-kíp quay phim thật — đạo diễn (Director) ra kế hoạch, người dò vị trí máy (Scout) chọn chỗ đặt máy đẹp trước, còn người xem lại băng quay (Critic) chỉ ra chỗ nào bị che, chỗ nào mất nhân vật để quay lại cho đến khi ưng ý.

III. Main Results:

Ra mắt CinemaBench: 150 scene Blender (73 động, 77 tĩnh), 750 tác vụ text-to-camera và 60 video tham chiếu; kết quả chỉ đo bằng evaluator ngoài hoàn toàn độc lập.
Trên T2V, FilmFlow đạt tốt nhất mọi metric: Alignment -1.461 (so với CinemaTraj -1.788), chất lượng DOVER 47.60 (cao nhất), Motion 0.555 và Probe 0.829 — vượt xa LAMP, GenDoP, CinemaTraj.
Trên V2V, FilmFlow vượt LingBot-Map, VGGT-Ω và zero-shot VLM ở tất cả metric chính (Align -1.224, Quality 41.77, Probe 0.750).
Ablation cho thấy từng thành phần (Scout, concurrent operations, Critic, ICL) đều cần thiết; bản đầy đủ đạt điểm cao nhất gần như mọi cột.
User study (42 người, 420+397 lượt đánh giá mù): FilmFlow đạt pass rate 84.3% (T2V) và 82.1% (V2V), xếp top-1 trong 61.0% / 63.2% lượt xếp hạng — áp đảo các baseline.

IV. Conclusion & Future Works:

FilmFlow chứng minh phương pháp agentic lập plan camera từ atomic operations đồng thời + phản hồi hình ảnh lặp vượt trội các cách tiếp cận sinh quỹ đạo truyền thống ở cả hai chế độ text và video tham chiếu trong scene 3D động. Hướng tương lai:

kiểm tra liệu các mô hình nhỏ hơn có đạt hiệu năng tương đương qua fine-tuning chuyên biệt không
mở rộng để tự động hóa đồng thời xây dựng scene và lập plan camera.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng FilmFlow sang dựng scene tự động kết hợp lập plan camera, trong đó agent tự bố trí bối cảnh rồi lên kế hoạch quay trong cùng một pipeline.
Đánh giá khả năng fine-tune các mô hình ngôn ngữ nhỏ để thay thế LLM lớn trong vai trò Director/Critic mà vẫn giữ chất lượng cinematography.
Phát triển phiên bản thời gian thực của Critic dùng reward model chuyên biệt để rút ngắn vòng lặp tinh chỉnh camera trong sản xuất nội dung tương tác.

2. Patent:

Ứng dụng điện thoại biến văn bản thành cảnh quay 3D: người dùng gõ mô tả kiểu 'quay xung quanh nhân vật rồi zoom vào', hệ thống trên điện thoại tự tạo quỹ đạo camera, render video và cho người dùng xem lại, chỉnh sửa bằng lời nói.
Trợ lý quay phim ảo trong game hoặc metaverse: game thủ mô tả góc quay mong muốn, hệ thống điều khiển camera trong game tự thực hiện các thao tác quay phim chuyên nghiệp (orbit, dolly, focus pull) và tự sửa khi nhân vật bị che khuất.
Công cụ tái tạo cảnh quay từ video yêu thích cho người làm nội dung: người dùng tải một video tham chiếu lên điện thoại, hệ thống phân tích chuyển động camera của video đó và áp dụng quỹ đạo tương tự vào scene 3D của chính người dùng.
Hệ thống tự động dựng storyboard động cho nhà làm phim: chuyển kịch bản văn bản thành chuỗi plan camera có thể chỉnh sửa từng thao tác, giúp đạo diễn thử nghiệm nhiều phương án quay trước khi lên phim trường thật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.30753
ArXiv Abstract	https://arxiv.org/abs/2610.30753
PDF Download	https://arxiv.org/pdf/2610.30753.pdf
Github Repository	N/A

22. RTAformer: Relation-Transition-Aware Transformer for Video Scene Graph Generation (12 votes)

Tác giả: Jaeyeon Heo, Geuntaek Lim, Yukyung Choi

Xuất bản lúc: 2026-10-14

Tag: Video Scene Graph Generation, Transformer, Spatio-Temporal Modeling, Video Understanding, Query-Based Detection

I. Main Problem:

Trong video scene graph generation (VidSGG) — trích xuất bộ ba ⟨chủ thể, quan hệ, tân ngữ⟩ theo thời gian — các mô hình hiện có thường tổng hợp thông tin xuyên khung hình để tăng tính nhất quán, nhưng chính điều này gây ra lỗi mới:

Relational semantic inertia: khi cùng một cặp vật thể (vd: person–cup) vẫn xuất hiện nhưng quan hệ đã đổi (looking at → not looking at), mô hình vẫn giữ dự đoán cũ.
Thực nghiệm cho thấy baseline OED chênh tới 11.6 điểm R@10 giữa khung hình bình thường và khung hình có chuyển đổi quan hệ.
Các mô hình tổng hợp thời gian (STTran, DSG-DETR, OED, TR2...) chưa tách bạch rõ sự bền vững của thực thể và sự thay đổi đột ngột của quan hệ.

II. Main Idea:

RTAformer là framework one-stage gồm 3 thành phần chính:

Frame-wise Spatial Triplet Parsing: hai decoder nối tiếp (Instance-Pair Decoder → Relation Context Decoder) biến 100 triplet queries thành instance queries và relation queries cho từng khung.
Disentangled Temporal Aggregation (DTA): tách thành hai luồng thời gian riêng — luồng instance tổng hợp bằng reference queries có độ tin cậy cao; luồng relation áp dụng Transition-Aware Delta Injection (TADI): lấy hiệu query quan hệ giữa khung liền kề Δq = Q_rel(t) − Q_rel(t−1), tách hướng (chuẩn hóa RMS, qua MLP học được) và độ lớn (qua cổng scale gq), rồi pha chúng vào query mục tiêu với trọng số điều chỉnh bởi độ tin cậy vật thể ở cả hai khung — để query tự 'biết' khi nào cần cập nhật quan hệ.
Spatio-Semantic Instance Alignment (SSIA): regular hóa contrastive (InfoNCE) giữa instance queries cùng chỉ số ở hai khung liền kề nhờ đối chiếu ground-truth, giúp query 'neo' đúng cặp vật thể qua các khung, giảm trôi biểu diễn của tín hiệu chuyển tiếp. Chỉ dùng khi train, không tốn chi phí inference.

Ví dụ đời thường: giống người xem video theo dõi một cặp nhân vật — thay vì chỉ ghi nhớ ai đứng cạnh ai, người xem chủ động so sánh 'khoảnh khắc này khác khoảnh khắc trước ở điểm gì' (có cười hay không, có nhìn nhau hay không) để nhận ra ngay khi tương tác đổi.

III. Main Results:

Đánh giá trên Action Genome (SGDET, 35 object + 25 predicate categories):

Với backbone ViT-L/14: R@10/20/50 = 44.6/52.9/60.2 (With Constraint) và 47.2/57.8/65.9 (No Constraint), vượt UNO cùng backbone +5.3 và +6.4 điểm R@10; khoảng cách càng lớn khi backbone càng mạnh.
mR@10/20/50 = 30.5/38.3/44.2, cải thiện đáng kể cả về recall cân bằng theo lớp quan hệ so với OED, ARN.
So sánh kiểm soát backbone với OED: lợi ích lớn hơn rõ rệt trên tập khung hình có chuyển đổi quan hệ so với khung không chuyển đổi — xác nhận đúng mục tiêu thiết kế là chống relational semantic inertia.
Các ablation xác nhận đóng góp riêng của DTA, TADI và SSIA; mô hình one-stage, không cần tracker ngoài hay post-processing thời gian.

IV. Conclusion & Future Works:

Bài báo đặc trưng hóa relational semantic inertia — lỗi phổ biến trong VidSGG khi mô hình giữ dự đoán quan hệ cũ dù thực tế đã đổi — và chứng minh rằng tách bạch luồng thực thể bền vững khỏi luồng quan hệ biến động, cùng tín hiệu hiệu-chỉnh từ hiệu query liền kề và căn chỉnh instance xuyên khung khi train, là hướng hiệu quả. RTAformer đạt state-of-the-art trên Action Genome ở cả recall và mean recall. Văn bản trích xuất không nêu hướng nghiên cứu tiếp theo cụ thể.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng tư tưởng 'tách luồng bền vững/biến động' sang video scene graph có quan hệ nhiều nhãn phức tạp hơn hoặc video dài hạn, với cơ chế ghi nhớ quan hệ nhiều tầng thay vì chỉ hai khung liền kề.
Kết hợp tín hiệu chuyển tiếp quan hệ dạng query-delta với học dự báo trước (anticipatory learning) để mô hình không chỉ phản ứng mà còn dự đoán trước sự thay đổi quan hệ sắp xảy ra.
Áp dụng cơ chế TADI (hiệu biểu diễn giữa các bước thời gian, phân tách hướng và độ lớn, có cổng tin cậy) cho các bài toán phát hiện thay đổi nói chung như phát hiện sự kiện bất thường trong video giám sát.

2. Patent:

Tính năng video trên điện thoại tự nhận biết 'khoảnh khắc thay đổi tương tác': ứng dụng quay phân tích từng khung, so sánh biểu diễn quan hệ giữa các người/vật ở hai khung liền kề và tự đánh dấu đoạn có người cầm đồ vật, buông ra, nhìn hay quay đi — để nhảy cắt video, tìm kiếm khoảnh khắc hoặc cảnh báo an toàn cho trẻ nhỏ.
Hệ thống giám sát camera an ninh thông minh phát hiện thay đổi quan hệ người–người/người–đồ vật: thay vì cảnh báo khi có người đứng gần két sắt, hệ thống phân biệt được chuyển đổi từ 'đứng cạnh' sang 'chạm vào' theo thời gian thực, giảm báo động giả do ưu tiên tính nhất quán.
Trợ lý video cho người khiếm thị: ứng dụng trên điện thoại mô tả luồng tương tác thay đổi trong thời gian thực (ai vừa đưa cốc cho ai, ai vừa quay lưng đi) bằng cách theo dõi chênh lệch quan hệ giữa các khung liên tiếp thay vì chỉ mô tả tĩnh từng khung.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.20091
ArXiv Abstract	https://arxiv.org/abs/2610.20091
PDF Download	https://arxiv.org/pdf/2610.20091.pdf
Github Repository	https://github.com/sejong-rcv/RTAformer

23. Verus-Insight: Towards Explainable Artifact Detection in AI-Generated Videos (12 votes)

Tác giả: Zhuoran Zhang, Yang Shi, Qixun Wang, Tengfei Liu, Yuqi Tang, et al.

Xuất bản lúc: 2026-10-22

Tag: AI-Generated Video Detection, MLLMs, Explainability, Video Understanding, Reinforcement Learning, Deepfake Detection

I. Main Problem:

Video tạo bởi AI ngày càng giống thật, nhưng các bộ phát hiện dựa trên artifact (dấu vết sai lệch do AI tạo) hiện nay còn nhiều hạn chế:

Bỏ sót artifact tinh vi hoặc xem nhầm hiện tượng bình thường thành artifact.
Kết luận đúng video thật/giả nhưng không chỉ ra đúng bằng chứng — ví dụ đoán FAKE đúng mà không tìm ra artifact thực sự.
Thước đo video-level accuracy không phản ánh chất lượng chẩn đoán: một dự đoán đúng không chứng minh model đã bao phủ các artifact mà người thật nhận ra, hay đã định vị bằng chứng đúng trong không-thời gian.

II. Main Idea:

Bài báo tách việc phát hiện artifact thành quy trình 3 bước có cấu trúc và huấn luyện model chuyên biệt (Verus-Insight, dựa trên Qwen3-VL-8B) cho từng bước:

Inspection Planning: lập rubric (tiêu chí kiểm tra) riêng cho từng video, ví dụ "kiểm tra tính liên tục của tóc từ 0.5–4.75s", mà không tiết lộ kết quả.
Evidence Verification: kiểm tra từng tiêu chí, đưa ra quan sát kèm bằng chứng không-thời gian (khung thời gian, bounding box, mức độ chắc chắn).
Evidence Aggregation: tổng hợp các bằng chứng đã xác minh để đưa ra phán quyết REAL/FAKE.

Huấn luyện gồm 3 giai đoạn: warm-up tracking + rubric planning, SFT toàn quy trình (dữ liệu human-anchored gồm cả tiêu chí artifact lẫn tiêu chí được xác minh là bình thường), và GRPO với reward đòi hỏi vừa đúng phán quyết vừa khớp artifact người chú thích. Kèm theo là Verus-Bench, benchmark có chú thích artifact chi tiết cấp độ con người.

Ví dụ đời thường: giống thợ kiểm định chất lượng không chụp bừa rồi ký kết, mà trước hết lập danh sách mục cần kiểm tra, rồi từng mục phải mở ra nhìn kỹ, ghi bằng chứng rõ ràng, và chỉ ký xác nhận khi mọi bằng chứng đã được đối chiếu.

III. Main Results:

Video-level detection: Verus-Insight đạt BA 94.79 trên RewardData và 89.06 trên Verus-Bench — tăng từ 48.81 và 66.67 của backbone Qwen3-VL-8B; tốt nhất trong các model open-source ở hầu hết benchmark, vượt các detector chuyên biệt (Skyra, BusterX++, VideoVeritas).
Phân tích artifact chi tiết: Finding F1 trên RewardData tăng từ 3.38 lên 35.42, kèm precision và recall cùng cải thiện (không phải do đoán nhiều artifact bừa); Plan F1 tăng từ 18.67 lên 31.33.
Ablation: bỏ rubric ở Stage II, bỏ warm-up, hoặc bỏ RL đều làm giảm cả ba chỉ số — mọi thành phần đều có đóng góp; thú vị là bỏ rubric lại tăng BA nhẹ, cho thấy phân loại video đúng không đồng nghĩa hiểu artifact tốt hơn.
Phân tích: ba năng lực (Planning, Verification, Aggregation) là bổ sung nhưng tách biệt — coverage kiểm tra tốt không đảm bảo tìm đúng artifact; Verus-Insight chuyển hóa kiểm tra thành bằng chứng chính xác hơn mà không tăng báo cáo artifact giả.

IV. Conclusion & Future Works:

Công trình chứng minh rằng phát hiện artifact đáng tin cậy cần tách rõ ba năng lực bổ sung nhau và giám sát cả quy trình trung gian, không chỉ tối ưu phán quyết cuối. Việc kết hợp supervision gắn với con người, rubric explicit và reinforcement learning cho kết quả vừa chính xác vừa giải thích được. Verus-Bench mở hướng đánh giá công bằng hơn ở cấp độ artifact. Hướng tương lai (suy luận từ phân tích của tác giả): cải thiện kết nối giữa các giai đoạn — vì inspection đúng vẫn chưa chắc thành bằng chứng đúng — và mở rộng sang các loại artifact mới, tinh vi hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mối quan hệ nhân-quả giữa Inspection Planning, Evidence Verification và Evidence Aggregation: can thiệp (intervention) vào từng giai đoạn để đo động lực học nâng cao khả năng tìm artifact.
Mở rộng quy trình rubric-guided verification sang phát hiện video giả sâu (deepfake) và chỉnh sửa nội dung, nơi bằng chứng không-thời gian càng quan trọng.
Tự động hóa quy trình thu thập dữ liệu: dùng model sinh đề xuất tiêu chí kiểm tra và xác minh chéo bằng thuật toán để mở rộng huấn luyện mà không cần chú thích thủ công dày đặc.

2. Patent:

Ứng dụng điện thoại kiểm tra video trước khi đăng mạng xã hội: người dùng tải video lên, hệ thống tự lập danh sách điểm cần xem (bàn tay, vật thể chuyển động, ánh sáng), soi từng đoạn và đưa ra kết luận kèm lý do cụ thể ("giây 3–5 vùng tay bị biến dạng") thay vì chỉ dán nhãn thật/giả.
Công cụ chấm chất lượng video quảng cáo do AI tạo cho nhà sản xuất: tự động quét video, liệt kê các lỗi sinh tồn tại (đường biên rung, vật thể biến mất) kèm vị trí và thời điểm, giúp đội kỹ thuật sửa prompt hoặc chọn lại cảnh.
Plugin duyệt web/ứng dụng tin tức đánh dấu nội dung video nghi ngờ: khi người dùng xem video, hệ thống phân tích theo thời gian thực, hiển thị huy hiệu cảnh báo kèm bằng chứng có thể kiểm chứng được (khung hình, đoạn thời gian) thay vì cảnh báo chung chung.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.30866
ArXiv Abstract	https://arxiv.org/abs/2610.30866
PDF Download	https://arxiv.org/pdf/2610.30866.pdf
Github Repository	https://github.com/zhangzhuoran997997/Verus-Insight

24. Rethinking Sequence Compression with Test-time Regression (12 votes)

Tác giả: Sihan Yang, Jie Huang, Hanxuan Li, Yifan Guo, Weigao Sun, et al.

Xuất bản lúc: 2026-10-22

Tag: Sequence Compression, Test-time Regression, Ridge Regression, Sparse Attention, Multimodal LLMs, Visual Token Merging, Efficient Architectures

I. Main Problem:

Nén chuỗi token (sequence compression) là nút thắt thông tin cốt lõi trong các mô hình ngôn ngữ và đa phương thức hiệu quả — dùng trong sparse attention theo block và gộp visual token trước khi đưa vào backbone ngôn ngữ — nhưng các phương pháp phổ biến đều yếu:

Mean pooling: trọng số đồng nhất, không học được gì.
Linear projection: trọng số cố định theo vị trí, không phụ thuộc vào nội dung.
Attention-weighted pooling: chấm điểm từng token độc lập, bỏ qua tương quan giữa các token.

Hậu quả: các phương pháp này chỉ khai thác thống kê bậc nhất (first-order) — token trùng lặp củng cố lẫn nhau làm loãng thông tin đặc trưng, nên thông tin quan trọng bị xóa vĩnh viễn ngay tại bước nén.

II. Main Idea:

TTR-Compressor đặt lại bài toán nén chuỗi thành hồi quy ridge (ridge regression) tại thời điểm suy luận: các token đầu vào tự định nghĩa một bài toán hồi quy, và hệ số nghiệm khớp (fitted coefficients) chính là vector nén. Cơ chế:

Mỗi token sinh một key chuẩn hóa k_t = x_t/||x_t|| và một target vô hướng học được v_t = aᵀx_t.
Nghiệm nén h* = argmin_h ½||Kh − v||² + ½hᵀDh được tính đúng bằng closed-form (dual solve Cholesky T×T, vì T ≪ d).
Học hai tầng (bilevel): vòng ngoài meta-học a và ma trận điều tiết chéo khả học D qua task loss; vòng trong giải hồi quy cho từng input riêng.
Điểm then chốt là Gram matrix KKᵀ mã hóa độ tương đồng cặp token (bậc hai): token giống nhau được khớp chung, nên bằng chứng dư thừa có ảnh hưởng giảm dần thay vì cộng dồn — điều pooling/projection cố định không làm được.
Rất nhẹ: chỉ 2d tham số học được, chi phí O(T²d), thay thế trực tiếp (drop-in) cho pooling/MLP merger.

Ví dụ đời thường: giống như tóm tắt buổi họp bằng cách hỏi "phát biểu nào độc lập, phát biểu nào chỉ lặp lại ý cũ" rồi chỉ giữ ý mới — thay vì cứ cộng trung bình mọi lời nói như ghi biên bản máy móc.

III. Main Results:

Block-wise sparse attention (mô hình 345M, train trên FineWeb): TTR-Compressor đạt RULER retrieval avg 0.5092, vượt attention-weighted pooling (0.3920) và concat & projection (0.3919) với biên lớn; bản kèm convolution đạt 0.5144 (+12.24 điểm so với baseline mạnh nhất), ưu thế giữ được khi extrapolate lên 16K–32K context.
Visual token merging (Qwen3-VL + Qwen3-4B): vượt MLP merger ở cả tỉ lệ 2×2 (54.93 → 56.03) và 3×3 (52.27 → 54.85); với 3×3, chỉ số text-rich tăng mạnh: OCRBench +4.10, InfoVQA +4.54, ChartQA +3.56.
Hiệu quả token: bản 3×3 đạt gần bằng MLP 2×2 trong khi dùng ít hơn 55.6% visual token.
Hiệu năng: chi phí train tương đương attention-based compressor trong sparse attention; nhanh hơn cả MLP ở tỉ lệ nén 3×3.
Ablation: bỏ key normalization gây sụp đổ hoàn toàn (0.5092 → 0.2531); regularization dạng diagonal khả học tốt hơn mọi λ cố định và scalar khả học.

IV. Conclusion & Future Works:

Nén chuỗi không cần xem là phép tổng hợp tĩnh mà là bài toán suy luận phụ thuộc input — test-time regression là một primitive đơn giản, biểu đạt tốt và mở rộng được cho các foundation model hiệu quả. Hướng mở: khám phá dạng parameterization khác cho regression targets, áp dụng rộng hơn cho các điểm nén khác trong kiến trúc hiện đại (KV cache, cross-modal fusion).

V. Brainstorming Space:

1. Publish Papers:

Mở rộng framework test-time regression cho các ngữ cảnh nén khác như KV cache compression và cross-modal token fusion, nơi nút thắt thông tin tương tự cũng đang dùng pooling đơn giản.
Nghiên cứu khả năng tương thích của TTR-Compressor với các mô hình đã pretrain sẵn (plug-and-play vào kiến trúc hiện có mà không cần train lại toàn bộ).
Phát triển biến thể nén có cấu trúc (theo block không gian/thời gian) cho video và dữ liệu đa phương thức dài, tận dụng tính chất giảm ảnh hưởng của thông tin dư thừa của Gram matrix.

2. Patent:

Module nén ảnh trên điện thoại cho mô hình AI đa phương thức chạy local: thay phép gộp 2×2/3×3 bằng MLP bằng một bộ giải hồi quy ridge khả vi, giúp ảnh độ phân giải cao chiếm ít hơn một nửa dung lượng xử lý mà chất lượng trả lời không giảm — tiết kiệm pin và tăng tốc phản hồi.
Cơ chế chọn đoạn văn bản dài cho trợ lý AI trên thiết bị di động: mỗi đoạn văn bản được tóm tắt thành 'khóa tìm kiếm' bằng cách giải hồi quy trên chính các câu trong đoạn, giúp tìm đúng thông tin cần thiết trong tài liệu hàng nghìn trang mà không cần duyệt toàn bộ.
Hệ thống quét tài liệu (OCR, biểu đồ, hóa đơn) trên smartphone: gộp các vùng ảnh lặp lại (nền, chi tiết trùng) bằng bộ nén dựa trên ma trận tương quán token, giữ lại chi tiết chữ và số liệu nhỏ quan trọng — cải thiện độ chính xác đọc tài liệu khi nén ảnh mạnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.31574
ArXiv Abstract	https://arxiv.org/abs/2610.31574
PDF Download	https://arxiv.org/pdf/2610.31574.pdf
Github Repository	https://github.com/Sphere-AI-Lab/ttr-compressor

25. AgentVQA: A Unified Benchmark for Agentic Visual Understanding (11 votes)

Tác giả: Advait Gupta, Sachin Konan, Tom Yin, Gabriel Sarch, Zhuang Liu

Xuất bản lúc: 2026-10-22

Tag: Vision-Language Models, Benchmark, Visual Question Answering, Embodied AI, Web Agents, Robotics, Spatial Reasoning

I. Main Problem:

Các VLM hiện nay thường xuyên bị đánh giá bằng benchmark thông dụng (MMMU, GPQA, ChartQA) nhưng những benchmark này không phản ánh kịch bản ra quyết định của tác tử (chọn hành động, định vị UI, suy luận không gian 3D). Hệ quả:

Đánh giá online trong mô phỏng tốn kém, khó mở rộng và kém tái lập
Các benchmark agentic riêng lẻ bị phân mảnh: định dạng đáp án khác nhau, dễ nhiễu, khó so sánh xuyên miền
Điểm cao trên benchmark chung không dự đoán được thành công trên tác vụ agentic.

II. Main Idea:

Xây dựng AgentVQA, một benchmark ngoại tuyến thống nhất gồm 1.000 câu hỏi trắc nghiệm được kiểm chứng thủ công, trích từ 23 bộ dữ liệu trải đều 5 miền tác tử:

Web Agents: điều hướng GUI, định vị phần tử giao diện
Egocentric Videos: hiểu video góc nhìn thứ nhất, lập kế hoạch theo thời gian
Robotics: nhận thức và hành động trong môi trường vật lý
Games: đọc trạng thái game, ra quyết định chiến lược
Spatial Planning: suy luận không gian 3D, định hướng

Pipeline 5 giai đoạn kết hợp VLM và con người: thu thập ứng viên → chuẩn hóa thành câu hỏi trắc nghiệm (Gemini sinh hard negatives) → sàng lọc bằng Gemini + Claude (loại ~45%) → người sửa và loại tiếp ~60% còn mơ hồ/quá dễ → kiểm chứng lại từng câu. Chỉ ~22% ứng viên sống sót, đảm bảo đúng một đáp án đúng.

Ví dụ đời thường: giống kỳ thi tuyển dụng lái xe tổng hợp — thay vì thi từng loại đường riêng lẻ ở nhiều nơi, người ta gom ảnh chụp từ mọi tình huống giao thông thành một bộ đề chuẩn để chấm nhanh, mà thứ hạng thi vẫn khớp với khi người đó lái thật trên đường.

III. Main Results:

Mô hình mạnh nhất chỉ đạt 58.5% (Gemini 3.7 Flash) trong 22 mô hình — agentic visual understanding còn rất xa giới hạn.
Không mô hình nào thống trị mọi miền: Gemini 3.7 Flash dẫn Games (70%) và Spatial Planning (62.5%), Qwen3.7 Flash dẫn Egocentric Videos (72.5%), GPT-5.6-sol dẫn Web Agents.
Độ khó theo miền: Egocentric Videos và Games tương đối dễ nhất; Web Agents khó nhất (chỉ 3 mô hình quá 40%).
Open-source đang bắt kịp: Qwen3.8 27B (50.9%) vượt Claude Opus 4.8 (44.0%) và GPT-4o (31.4%).
Cung cấp action history cải thiện ~10% trên tác vụ web nhiều bước; reasoning dạng chain-of-thought giúp ích không đều (GPT-5.6 +16.8 điểm, GLM-4.1V còn tệ hơn do mắc kẹt vòng lặp suy nghĩ).
Xếp hạng AgentVQA tương quan yếu với benchmark chung (Spearman: MMMU-Pro 0.67, GPQA 0.59, ChartQA-Pro 0.44) nhưng tương quan rất mạnh với đánh giá online SpatialWorld (ρ = 0.895) — chứng tỏ benchmark ngoại tuyến này thay thế được đánh giá tương tác đắt đỏ trong miền tương ứng.
Phân tích lỗi (Gemini 3.1 Pro): 78% lỗi ở Web Agents là grounding sai; Games 71% là đọc sai trạng thái hình ảnh; Robotics 65% và Spatial Planning 62% là lỗi không gian/góc nhìn. Lỗi hiểu sai nhiệm vụ hay suy luận logic gần như không đáng kể → mô hình hiểu yêu cầu nhưng xây dựng sai biểu diễn trạng thái môi trường.

IV. Conclusion & Future Works:

AgentVQA cho thấy năng lực agentic là tập hợp các kỹ năng theo miền, không phải một khả năng chung chung; benchmark ngoại tuyến có kiểm chứng thủ công là bổ sung rẻ và tin cậy cho đánh giá tương tác. Hướng tương lai: liên kết các mẫu lỗi ngoại tuyến cụ thể với lỗi khi chạy tương tác thật, từ đó cải thiện grounding và theo dõi trạng thái, đồng thời kiểm tra liệu cải thiện trên câu hỏi kiểm soát có chuyển hóa thành hành vi online đáng tin cậy hơn không.

V. Brainstorming Space:

1. Publish Papers:

Phân tích chi tiết hơn mối liên hệ giữa lỗi ngoại tuyến (grounding, theo dõi trạng thái) và tỷ lệ thất bại trong đánh giá tác tử online tương ứng, qua các miền khác nhau.
Mở rộng AgentVQA sang dạng câu hỏi đa lượt và dạng sinh tự do (không chỉ trắc nghiệm) để đo sát hơn quá trình ra quyết định từng bước của tác tử.
Nghiên cứu chiến lược cung cấp lịch sử hành động và khung hình video tối ưu cho từng miền, nhằm giảm lỗi grounding và hiểu chuyển động ở mô hình hiện tại.

2. Patent:

Hệ thống kiểm thử tự động giao diện ứng dụng di động: chụp màn hình các màn hình app, hệ thống hỏi mô hình ngôn ngữ nơi người dùng nên bấm để hoàn thành tác vụ (đổi mật khẩu, xóa tài khoản), so sánh tọa độ chạm với kết quả kỳ vọng để phát hiện lỗi thiết kế UI trước khi phát hành.
Trợ lý ảo trên điện thoại điều khiển thiết bị thay người dùng: nhận mục tiêu bằng giọng nói, quan sát màn hình, tự xác định chính xác nút cần chạm kèm lịch sử các thao tác trước đó để thực hiện chuỗi thao tác nhiều bước không sai lệch.
Công cụ đánh giá nhanh robot dịch vụ trước khi triển khai: thay vì chạy thử trong môi trường mô phỏng tốn kém, chỉ cần cho mô hình nhìn ảnh/video cảnh làm việc và trả lời bộ câu hỏi về vị trí vật thể, đường đi và trạng thái bàn tay gắp để dự đoán mức độ sẵn sàng vận hành.
Hệ thống phân tích lỗi game tự động cho studio phát triển: gửi luồng video gameplay vào mô hình, tự phân loại lỗi đọc sai trạng thái màn hình hay lỗi suy luận chiến lược, giúp đội thiết kế xác định phần giao diện nào gây hiểu nhầm cho cả người chơi lẫn AI.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.31494
ArXiv Abstract	https://arxiv.org/abs/2610.31494
PDF Download	https://arxiv.org/pdf/2610.31494.pdf
Github Repository	https://github.com/zlab-princeton/AgentVQA

26. AnyGameRenderer: Entity-Consistent Generative Rendering Across Games and an Entity-Level Benchmark (10 votes)

Tác giả: Ruicong Liu, Liangyang Ouyang, Fengbo Lan, Zhixiang Wang, Kaipeng Zhang

Xuất bản lúc: 2026-10-22

Tag: Video Generation, Generative Rendering, Game AI, LoRA Fine-tuning, World Models, Diffusion

I. Main Problem:

Các coding agent hiện nay có thể viết game chơi được trong vài phút, nhưng hình ảnh đầu ra luôn là "programmer art": khối hộp xám, hình trụ/màu sơ cấp, bóng phẳng không chi tiết. Việc làm đẹp thủ công tốn hàng tháng của studio. Các hệ thống render sinh đồng thời (CWM, PWM, StreamRender-H3, Matrix-Game...) có ba hạn chế:

chỉ demo trên vài thể loại gần thực tế (third-person, lái xe), không phủ thể loại agent thực sự tạo (tower defense, auto-battler, turn-based...)
phụ thuộc biểu diễn trung gian phức tạp: nhãn class từng vật thể, 3D boxes tăng cường trạng thái, proxy low-poly từ engine
không ai đo đạc tương ứng entity-level: 12 kẻ địch chết còn 9, một đợt quái xuất hiện đúng giây thứ 4.2 — metrics cấp frame (edge agreement, point tracks) hoàn toàn không phát hiện được lỗi này.

II. Main Idea:

AnyGameRenderer là video-to-video renderer: nhận một video gameplay thô (blockout xám, primitive màu, semantic map, wireframe — bất kỳ dạng nào) + prompt mô tả style, xuất ra cùng gameplay đó được vẽ đẹp, khung hình khớp từng frame, giữ nguyên camera, bố cục, vị trí, kích thước và thời điểm xuất hiện/biến mất của mọi entity.

Cách làm:

LoRA rank-128 fine-tune trên MiniMax-H3 ref2va (backbone DiT 33B bị đóng băng, chỉ huấn luyện LoRA trên self-attention và feed-forward)
"Correspondence contract" trong caption: mỗi hình khối màu được định nghĩa là hình đại diện của entity thật ("mọi hình trụ xanh trong video là một werewolf"); phần retention_analysis khẳng định vị trí, kích thước, timing, số đếm được giữ chính xác; viết toàn khẳng định tích cực (mô hình không có negative prompt); caption sinh tự động từ metadata và cố tình giữ nhiễu (liệt kê cả nhân vật không xuất hiện) để mô hình học tin video hơn tin text
Dữ liệu 10.330 clip từ 3 nguồn: multi-stream rendering từ 38 game do agent tạo (GEAR, 3.221 clip); two-stream Unreal Engine với cảnh kịch bản hóa quanh các lỗi của model zero-shot (nhóm cùng màu đổi số lượng giữa clip, kích thước entity 20–600px, 4 góc camera, 3.910 clip); gameplay thật tái tạo thành proxy qua dò 3D bounding boxes (3.199 clip)
Đổi style chỉ bằng cách đổi prompt hoặc anchor image — một checkpoint duy nhất

Ví dụ đời thường: giống thợ sơn theo phác thảo bút chì của kiến trúc sư — khuôn nhà, vị trí cửa sổ, số phòng đã có sẵn trong bản phác, người thợ chỉ phủ lên vật liệu đẹp, và không được tự ý thêm hay bớt phòng nào.

III. Main Results:

Trên benchmark entity-level mới (59 case, 753 entity có ground-truth boxes), so với base zero-shot:
- temporal match 50.9% → 62.9%
- position match 57.1% → 61.9%
- unrendered rate 4.1% → 2.9%
- hallucination rate 52.1% → 46.0%
- entity không bao giờ xuất hiện: 26.0% → 20.2%; bỏ lỡ lần đổi số đếm: 34.7% → 21.3%
Trên hai-stream Unreal Engine, temporal match đạt 96.6% (GT floor 98.5%), không entity nào bị bỏ sót
Một checkpoint khái quát hóa qua 5 nhóm thể loại (FPS, top-down, third-person, crowd, vehicle), lợi ích lớn nhất ở crowd và third-person; top-down vẫn khó nhất
Model zero-shot có 3 lỗi điển hình mà method sửa được: để nguyên khối thô không render, đổi góc nhìn khi style lạ, thêm nhân vật chỉ có trong caption mà không có trong input

IV. Conclusion & Future Works:

Tách engine giữ logic và mô hình sinh ảnh render là hướng đi khả thi để game do AI tạo trông đẹp như cách nó chơi hay. AnyGameRenderer cho thấy một checkpoint duy nhất nhận video thô, khái quát hóa đa thể loại và giữ đúng từng entity — điều mà metrics cấp frame của các hệ thống trước không đo được. Benchmark entity-level (xuất hiện đúng giờ, đứng đúng chỗ, không bỏ sót, không bịa) được đề xuất làm tiêu chuẩn đánh giá cho bài toán này. Điểm còn yếu: real recordings cải thiện ít nhất, và hallucination rate trên top-down/third-person vẫn tăng nhẹ.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng entity-level benchmark cho bài toán generative rendering: thêm thể loại, thêm entity nhỏ kích thước pixel thấp, và metrics cho identity swap giữa các entity cùng nhóm.
Phương pháp giảm hallucination cho cảnh top-down và third-person, nơi hallucination rate vẫn tăng sau fine-tuning.
Kết hợp render sinh với interactive world models để vừa giữ entity correspondence từ engine vừa cho phép tác động của người chơi theo thời gian thực.
Cơ chế caption contract tự động cho video thô không có engine metadata (sinh subject definitions và retention analysis trực tiếp từ video).

2. Patent:

Ứng dụng tạo game trên điện thoại: người dùng viết mô tả, AI sinh game dạng khối màu đơn giản; người dùng chọn style (hoạt hình, cyberpunk, realistic) bằng một câu mô tả hoặc ảnh mẫu, ứng dụng tự vẽ lại toàn bộ game giữ nguyên logic, số nhân vật và vị trí — đổi style chỉ bằng cách đổi ảnh mẫu.
Công cụ nâng cấp đồ họa cho game mobile cũ: quay video gameplay, hệ thống render lại bằng đồ họa hiện đại theo phong cách người chơi chọn, không cần sửa source code hay tài nguyên gốc của game.
Hệ thống dựng phim tự động từ storyboard dạng khối: đạo diễn dàn cảnh bằng hình hộp và trụ đơn sơ, hệ thống sinh video hoàn chỉnh với nhân vật, hiệu ứng, ánh sáng theo đúng số lượng và thời điểm xuất hiện của từng vật thể trong storyboard.
Nền tảng làm đẹp video gameplay cho streamer: video quay từ game prototype hoặc mod thô được render lại thành hình ảnh chất lượng cao theo thời gian gần thực, đồng bộ khung hình với luồng game gốc để tương tác không bị trễ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2610.31466
ArXiv Abstract	https://arxiv.org/abs/2610.31466
PDF Download	https://arxiv.org/pdf/2610.31466.pdf
Github Repository	https://github.com/AlayaLab/AnyGameRenderer

📰 Summary of Papers
1. WeVisOne-VL: Unified Visual Perception from Objects to Pixels (223 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation (165 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. Deep Search in Real-World Web Environments (152 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. Editing Images into Reusable Layers via Compositional Edit-Prior Distillation (74 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems (55 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. Toward Recursive Self-Improvement in Physical AI (47 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models (39 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models (31 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. LaLa-World: Scaling Latent World Models with Natural Language Actions (29 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE (25 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. Self-Distilling Future Video Representations for World Action Models (23 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. Policy-Mask: Budget-Aware Adaptation of Diffusion Features to Discriminative Tasks (23 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. RouteWeaver: Weaving Mode Selection and Execution into Unified LLM Routing (16 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. RLSplat: Resource-Linear Budget Control for Feed-forward 3D Gaussian Splatting (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation (14 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. FilmFlow: Agentic System for 3D Virtual Film Cinematography (13 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. RTAformer: Relation-Transition-Aware Transformer for Video Scene Graph Generation (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. Verus-Insight: Towards Explainable Artifact Detection in AI-Generated Videos (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
24. Rethinking Sequence Compression with Test-time Regression (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
25. AgentVQA: A Unified Benchmark for Agentic Visual Understanding (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
26. AnyGameRenderer: Entity-Consistent Generative Rendering Across Games and an Entity-Level Benchmark (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. WeVisOne-VL: Unified Visual Perception from Objects to Pixels (223 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation (165 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Deep Search in Real-World Web Environments (152 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Editing Images into Reusable Layers via Compositional Edit-Prior Distillation (74 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems (55 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Toward Recursive Self-Improvement in Physical AI (47 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models (39 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models (31 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. LaLa-World: Scaling Latent World Models with Natural Language Actions (29 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. WeVisOne-VL: Unified Visual Perception from Objects to Pixels (223 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation (165 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Deep Search in Real-World Web Environments (152 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Editing Images into Reusable Layers via Compositional Edit-Prior Distillation (74 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems (55 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Toward Recursive Self-Improvement in Physical AI (47 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models (39 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models (31 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. LaLa-World: Scaling Latent World Models with Natural Language Actions (29 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: