🤗 Daily Hugging Face Paper Digest - 2026-05-14

Báo cáo được tạo tự động vào lúc 2026-05-15 18:44:00 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers

1. FrameSkip: Learning from Fewer but More Informative Frames in VLA Training (19 votes)

Tác giả: Bin Yu, Shijie Lian, Xiaopeng Lin, Zhaolong Shen, Yuliang Wei, Changti Wu, Hang Yuan, Haishan Liu, Bailing Wang, Cong Huang, Kai Chen

Xuất bản lúc: 2026-05-13

Tag: VLA, Frame Selection, Imitation Learning, Robotics, Data Curation, Diffusion Transformer

I. Main Problem:

Trong quá trình huấn luyện các mô hình Vision-Language-Action (VLA), các quỹ đạo robot thường được thu thập dày đặc và tất cả các frame được sử dụng như nhau. Điều này tạo ra sự mất cân bằng giám sát theo thời gian: các đoạn chuyển động ít thay đổi, kéo dài chiếm ưu thế trong quá trình huấn luyện, trong khi các giai đoạn chuyển tiếp quan trọng cho thao tác (như căn chỉnh, tiếp xúc, nắm bắt, thả) lại xuất hiện rất thưa thớt. Điều này dẫn đến việc mô hình VLA có thể thích ứng tốt với các chuyển động trơn tru phổ biến nhưng lại kém ổn định tại các giai đoạn chuyển tiếp quan trọng.

II. Main Idea:

Bài báo giới thiệu FRAMESKIP, một khung chọn lọc frame ở lớp dữ liệu (data-layer) cho quá trình huấn luyện VLA. Thay vì sử dụng tất cả các frame, FRAMESKIP tính điểm quan trọng cho mỗi frame dựa trên các tín hiệu nhẹ từ quỹ đạo, bao gồm: (1) Độ biến thiên hành động (Action Variation - AVI), (2) Sự gắn kết giữa hình ảnh và hành động (Visual-Action Coherence - VAC), (3) Tiên tri về tiến trình nhiệm vụ (Task Progress Importance - TPI), và (4) Bảo toàn chuyển tiếp gripper. Sau đó, nó xây dựng các chế độ xem quỹ đạo nén (compressed trajectory views) với tỷ lệ giữ lại mục tiêu (ví dụ: 20% frame) và ánh xạ lại các mẫu huấn luyện về các frame có điểm cao này. Phương pháp này hoạt động như một biến đổi dữ liệu trong quá trình huấn luyện, không làm thay đổi kiến trúc mô hình VLA, đầu ra hành động, hàm mất mát hay quy trình suy luận.

III. Main Results:

Trên ba bộ benchmark mô phỏng (RoboCasa-GR1, SimplerEnv, LIBERO), FRAMESKIP đã cải thiện đáng kể tỷ lệ thành công trung bình (macro-average success rate) từ 66.50% (huấn luyện full-frame) lên 76.15%, trong khi chỉ sử dụng 20% số frame duy nhất từ mỗi quỹ đạo. Cụ thể, trên RoboCasa-GR1, tỷ lệ thành công trung bình tăng từ 47.8% lên 59.5%; trên SimplerEnv tăng từ 55.2% lên 71.55%; trên LIBERO tăng từ 96.5% lên 97.4%. Các thí nghiệm ablation cho thấy hiệu quả của phương pháp đến từ việc phân bổ lại sự giám sát thay vì chỉ đơn giản là giảm số lượng frame huấn luyện.

IV. Conclusion & Future Works:

FRAMESKIP chứng minh rằng việc phân bổ giám sát ở cấp độ frame có thể là một đòn bẩy thực tế và hiệu quả để cải thiện hiệu suất huấn luyện VLA mà không cần thay đổi kiến trúc mô hình. Mục tiêu rộng hơn là biến tầm quan trọng của frame thành một đối tượng hạng nhất trong học tập đa phương thức nhúng (embodied multimodal learning). Hướng phát triển trong tương lai có thể bao gồm việc mở rộng khung này sang các kiến trúc VLA khác, khám phá các tín hiệu quan trọng phức tạp hơn, và áp dụng vào dữ liệu robot thực tế.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các tín hiệu quan trọng mới cho frame selection: Khám phá các tín hiệu bổ sung như độ không chắc chắn của mô hình (model uncertainty), tác động lâu dài của hành động (long-term action impact), hoặc sử dụng các mô hình học tự giám sát (self-supervised learning) để tự động học các đặc trưng quan trọng của frame mà không cần gán nhãn thủ công.
Mở rộng FRAMESKIP cho các kiến trúc và phương thức khác: Áp dụng khung chọn lọc frame này cho các mô hình VLA khác nhau (ví dụ: dựa trên diffusion policy, action tokenization) hoặc cho các phương thức đầu vào khác như điểm đám mây (point cloud) hoặc bản đồ độ sâu (depth map).
Kết hợp FRAMESKIP với các kỹ thuật tăng cường dữ liệu khác: Nghiên cứu sự tương tác giữa việc chọn lọc frame và các kỹ thuật khác như data augmentation, reweighting dataset, hoặc curriculum learning để tối ưu hóa toàn bộ quy trình huấn luyện VLA.

2. Patent:

Phương pháp và hệ thống tối ưu hóa hiệu suất điều khiển robot trên điện thoại di động dựa trên lựa chọn khung hình thông minh: Một hệ thống trên điện thoại thông minh sử dụng mô hình VLA đã được huấn luyện với FRAMESKIP để điều khiển robot. Hệ thống sẽ ưu tiên xử lý các khung hình quan trọng (ví dụ: khi robot sắp chạm vào vật thể) để đưa ra quyết định nhanh chóng, giảm tải cho CPU/GPU và tiết kiệm pin, trong khi vẫn đảm bảo độ chính xác của thao tác.
Ứng dụng chọn lọc khung hình thông minh để cải thiện trải nghiệm thực tế ảo tăng cường (AR) trên thiết bị di động: Trong các ứng dụng AR trên điện thoại, việc theo dõi và tương tác với vật thể ảo đòi hỏi xử lý hình ảnh liên tục. Phương pháp này sẽ chọn lọc các khung hình có sự thay đổi lớn về hành động hoặc hình ảnh (ví dụ: khi người dùng di chuyển tay nhanh hoặc chạm vào vật thể ảo) để cập nhật vị trí vật thể ảo, giúp tiết kiệm năng lượng tính toán và kéo dài thời gian sử dụng pin.
Phương pháp huấn luyện trợ lý ảo trên thiết bị di động hiệu quả hơn bằng cách tập trung vào các khung hình quan trọng: Khi huấn luyện trợ lý ảo để thực hiện các tác vụ trên màn hình điện thoại (ví dụ: mở ứng dụng, nhấn nút), thay vì xử lý toàn bộ luồng video ghi lại thao tác của người dùng, phương pháp này sẽ chỉ chọn các khung hình có sự thay đổi lớn (ví dụ: khi ngón tay chạm vào màn hình, khi giao diện thay đổi) để huấn luyện. Điều này giúp giảm đáng kể dung lượng dữ liệu huấn luyện và thời gian huấn luyện trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.13757
ArXiv Abstract	https://arxiv.org/abs/2605.13757
PDF Download	https://arxiv.org/pdf/2605.13757.pdf
Github Repository	https://github.com/ZGC-EmbodyAI/FrameSkip

2. The DAWN of World-Action Interactive Models (16 votes)

Tác giả: Hongbo Lu, Liang Yao, Chenghao He, Haoyu Wang, Xiang Gu, Xianfei Li, Wenlong Liao, Tao He, Pai Peng

Xuất bản lúc: 2026-05-12

Tag: World Action Models, Autonomous Driving, Latent Generative Model, Denoising, Interactive Inference

I. Main Problem:

Các mô hình World Action Models (WAMs) hiện tại thường tách rời quá trình dự đoán thế giới (world prediction) và sinh hành động (action generation), dẫn đến việc không mô hình hóa được mối quan hệ tương hỗ hai chiều giữa chúng. Cụ thể, một tương lai hợp lý phụ thuộc vào hành động đang được xem xét, và một hành động tốt phụ thuộc vào cách thế giới có thể tiến hóa. Các thiết kế song song hoặc tuần tự hiện tại không cho phép thế giới và hành động cùng tiến hóa và tinh chỉnh lẫn nhau trong quá trình suy luận.

II. Main Idea:

Bài báo đề xuất World-Action Interactive Models (WAIMs), một lớp mô hình mới trong đó trạng thái tương lai của thế giới và hành động được suy luận như các biến số ghép cặp (coupled variables) thông qua tương tác đệ quy. Cụ thể, tác giả giới thiệu DAWN (Denoising Actions and World iNteractive model), một mô hình sinh tiềm ẩn (latent generative model) hoạt động trong không gian ngữ nghĩa nhỏ gọn. DAWN kết hợp một World Predictor (bộ dự đoán thế giới) với một World-Conditioned Action Denoiser (bộ khử nhiễu hành động có điều kiện thế giới): giả thuyết thế giới được dự đoán sẽ điều kiện hóa quá trình khử nhiễu hành động, và giả thuyết hành động đã được khử nhiễu được phản hồi để cập nhật dự đoán thế giới. Quá trình này diễn ra trong một không gian tiềm ẩn ngắn (short latent rollout), đủ để hỗ trợ sinh quỹ đạo dài hạn trong các tình huống tương tác phức tạp mà không cần dự đoán toàn bộ tương lai ở không gian pixel.

III. Main Results:

DAWN đạt được kết quả vượt trội trên các benchmark lái xe tự động. Trên NAVSIM v1, DAWN đạt PDMS (Perception-free Driving Metric Score) tốt nhất là 89.1 và điểm Time-to-Collision (TTC) cao nhất. Trên nuScenes, DAWN đạt sai số L2 trung bình thấp nhất (0.33m) và tỷ lệ va chạm trung bình thấp nhất (0.11%). Các thí nghiệm ablation cho thấy: (1) việc thêm tương tác đệ quy cải thiện PDMS từ 85.2 lên 87.9; (2) hiệu suất tăng dần khi tăng số vòng tương tác lên 4; (3) cả hai chiều tương tác (World→Action và Action→World) đều cần thiết; (4) chỉ cần rollout ngắn 2-3 giây là đủ để đạt hiệu quả cao.

IV. Conclusion & Future Works:

Bài báo kết luận rằng WAIMs, với khả năng suy luận tương tác giữa thế giới và hành động, là một hướng đi nguyên lý để xây dựng các mô hình thế giới có thể hành động (actionable world models). Các kết quả thực nghiệm cho thấy thiết kế này cải thiện chất lượng lập kế hoạch, an toàn tương tác và độ mượt của quỹ đạo. Các hướng nghiên cứu trong tương lai có thể bao gồm: mở rộng WAIM sang các lĩnh vực khác như robot, tối ưu hóa hiệu quả suy luận, và khám phá các kiến trúc tương tác khác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng WAIM cho robot di động: Áp dụng nguyên lý tương tác thế giới-hành động cho robot tự hành trong nhà hoặc kho bãi, nơi môi trường thay đổi linh hoạt và cần phản ứng nhanh với các vật cản di động.
Tối ưu hóa hiệu quả suy luận cho WAIM: Nghiên cứu các kỹ thuật như lượng tử hóa, cắt tỉa mô hình, hoặc sử dụng các kiến trúc transformer hiệu quả hơn để giảm độ trễ suy luận, giúp WAIM có thể chạy trên các thiết bị có tài nguyên hạn chế.
Kết hợp WAIM với học tăng cường (Reinforcement Learning): Sử dụng WAIM như một mô hình thế giới có thể tương tác để huấn luyện các chính sách học tăng cường, cho phép agent khám phá và học hỏi từ các kịch bản tương tác phức tạp một cách an toàn hơn.

2. Patent:

Phương pháp hỗ trợ lái xe thông minh trên điện thoại: Hệ thống sử dụng camera điện thoại để quan sát cảnh vật xung quanh xe, dự đoán các tình huống giao thông tiềm ẩn dựa trên hành động dự kiến của người lái (ví dụ: chuyển làn, rẽ), và đưa ra cảnh báo bằng âm thanh hoặc rung động nếu phát hiện nguy cơ va chạm.
Ứng dụng điều khiển xe đồ chơi thông minh: Ứng dụng trên điện thoại cho phép người dùng vẽ một quỹ đạo di chuyển cho xe đồ chơi. Ứng dụng sẽ sử dụng camera để nhận diện chướng ngại vật và tự động điều chỉnh quỹ đạo đã vẽ để tránh va chạm, đồng thời dự đoán chuyển động của các vật thể khác để đảm bảo an toàn.
Hệ thống hỗ trợ đỗ xe từ xa qua điện thoại: Người dùng sử dụng điện thoại để điều khiển xe đỗ vào chỗ hẹp. Hệ thống sẽ liên tục dự đoán không gian xung quanh xe dựa trên hành động lái (đánh lái, tiến/lùi) và tự động hiệu chỉnh quỹ đạo để tránh va chạm với các xe khác hoặc vật cản, hiển thị trực quan trên màn hình điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.11550
ArXiv Abstract	https://arxiv.org/abs/2605.11550
PDF Download	https://arxiv.org/pdf/2605.11550.pdf
Github Repository	https://github.com/COOWAI/DAWN

3. KL for a KL: On-Policy Distillation with Control Variate Baseline (14 votes)

Tác giả: Minjae Oh, Sangjun Song, Gyubin Choi, Yunho Choi, Yohan Jo

Xuất bản lúc: 2026-05-08

Tag: Knowledge Distillation, On-Policy Distillation, Large Language Models, Control Variate, Variance Reduction, Policy Gradient, Reasoning

I. Main Problem:

On-Policy Distillation (OPD) là một phương pháp huấn luyện sau (post-training) cho các mô hình ngôn ngữ lớn, đặc biệt hiệu quả trong các tác vụ suy luận. Tuy nhiên, OPD thường không ổn định trong thực tế do phương sai gradient cao của bộ ước lượng Monte Carlo chỉ sử dụng một mẫu (single-sample Monte Carlo estimator). Các kỹ thuật ổn định hiện tại như tính toán KL phân kỳ trên toàn bộ từ vựng gây ra chi phí tính toán lớn, hoặc giới hạn trong top-k token gây ra độ chệch (bias) cho mục tiêu tối ưu. Do đó, cần một phương pháp ổn định OPD một cách hiệu quả, không làm tăng đáng kể chi phí tính toán hay làm chệch hướng gradient.

II. Main Idea:

Bài báo đề xuất vOPD (On-Policy Distillation with a control variate baseline), một phương pháp mới giúp ổn định quá trình huấn luyện OPD bằng cách áp dụng kỹ thuật giảm phương sai từ học tăng cường chính sách gradient (policy-gradient RL). Cụ thể, vOPD sử dụng một baseline (đường cơ sở) là hàm giá trị (value function) có dạng đóng (closed-form): KL phân kỳ ngược (negative reverse KL divergence) giữa phân phối của mô hình học sinh và mô hình giáo viên tại mỗi token. Baseline này được tính toán trực tiếp từ forward pass đã có sẵn mà không cần thêm mô hình critic hay lượt suy luận nào khác. Bằng cách trừ baseline này khỏi phần thưởng (reward), vOPD giữ nguyên tính không chệch (unbiased) của gradient, giảm phương sai đáng kể, đặc biệt là ở các token có sự bất đồng cao giữa học sinh và giáo viên, đồng thời vẫn duy trì chi phí tính toán thấp của bộ ước lượng một mẫu.

III. Main Results:

vOPD được đánh giá trên bốn mô hình thuộc họ Qwen3 và Olmo-3, qua sáu benchmark suy luận toán học và khoa học. Kết quả cho thấy: vOPD cải thiện độ chính xác trung bình tuyệt đối lên tới +3% so với OPD cơ bản, với mức cải thiện lên tới +6.2% trên MATH500. vOPD vượt trội so với biến thể OPD top-k và đạt hiệu suất tương đương với biến thể OPD full-vocabulary (tốn kém hơn nhiều) trong khi giảm thời gian chạy lên tới 57.7%. Phân tích sâu cho thấy vOPD duy trì chuẩn gradient thấp hơn từ 1-2 bậc độ lớn so với OPD, hoạt động như một bộ điều chỉnh (regularizer) trên các token phần thưởng tiêu cực gây mất ổn định. Ngoài ra, phương pháp xấp xỉ top-k của baseline (vOPD top-k) cho hiệu suất tương đương với baseline toàn bộ từ vựng, cho thấy tính hiệu quả và bền vững.

IV. Conclusion & Future Works:

vOPD là một phương pháp hiệu quả và có nguyên tắc để ổn định OPD bằng cách giảm phương sai gradient, sử dụng baseline dạng đóng từ KL phân kỳ ngược. Nó cải thiện đáng kể hiệu suất và độ ổn định huấn luyện. Các hướng nghiên cứu tương lai bao gồm: (1) Kiểm chứng vOPD trên các mô hình lớn hơn 7B tham số; (2) Tối ưu hóa vOPD top-k để đạt tốc độ nhanh hơn vOPD full-V; (3) Mở rộng vOPD cho các thiết lập tự chưng cất (self-distillation) không cần giáo viên mạnh; (4) Xem xét các mục tiêu KL ở cấp độ chuỗi (sequence-level) thay vì token-level.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng vOPD cho các mô hình lớn hơn: Nghiên cứu hiệu quả của vOPD trên các mô hình ngôn ngữ lớn từ 7B đến hàng trăm tỷ tham số, đánh giá độ ổn định và khả năng mở rộng trong các hệ thống huấn luyện sau quy mô công nghiệp.
vOPD cho các tác vụ đa phương thức: Áp dụng vOPD vào bài toán chưng cất tri thức trên các mô hình đa phương thức (ví dụ: Vision-Language Models), nơi phần thưởng token-level có thể được định nghĩa dựa trên sự phù hợp giữa văn bản và hình ảnh.
Kết hợp vOPD với các kỹ thuật giảm phương sai khác: Nghiên cứu sự kết hợp giữa baseline của vOPD với các kỹ thuật như GRPO (Group Relative Policy Optimization) hoặc RLOO (Reinforce Leave-One-Out) để đạt được hiệu quả giảm phương sai tối ưu hơn nữa trong huấn luyện tăng cường suy luận.

2. Patent:

Phương pháp và hệ thống chưng cất kiến thức ổn định cho mô hình ngôn ngữ trên thiết bị di động: Một phương pháp giúp nén một mô hình ngôn ngữ lớn (giáo viên) thành một mô hình nhỏ hơn (học sinh) có thể chạy trên điện thoại di động. Phương pháp này sử dụng baseline đặc biệt để giảm nhiễu trong quá trình huấn luyện, giúp mô hình học sinh học hiệu quả hơn từ giáo viên mà không cần quá nhiều tài nguyên tính toán.
Hệ thống gợi ý và sửa lỗi văn phạm thông minh trên điện thoại: Một ứng dụng trên điện thoại có khả năng gợi ý từ ngữ và sửa lỗi ngữ pháp theo thời gian thực. Ứng dụng này sử dụng một mô hình ngôn ngữ nhỏ được huấn luyện bằng phương pháp chưng cất ổn định (vOPD) từ một mô hình lớn hơn, đảm bảo độ chính xác cao và phản hồi nhanh chóng ngay trên thiết bị.
Phương pháp cá nhân hóa trợ lý ảo trên điện thoại thông qua chưng cất tri thức ổn định: Một phương pháp cho phép trợ lý ảo trên điện thoại học hỏi và thích ứng với thói quen sử dụng của từng người dùng. Phương pháp này sử dụng kỹ thuật chưng cất tri thức ổn định để cập nhật mô hình trợ lý ảo dựa trên dữ liệu tương tác của người dùng, giúp cải thiện độ chính xác và cá nhân hóa mà không gây ra sự bất ổn định trong quá trình học.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.07865
ArXiv Abstract	https://arxiv.org/abs/2605.07865
PDF Download	https://arxiv.org/pdf/2605.07865.pdf
Github Repository	N/A

4. Asymmetric Flow Models (12 votes)

Tác giả: Hansheng Chen, Jan Ackermann, Minseo Kim, Gordon Wetzstein, Leonidas Guibas

Xuất bản lúc: 2026-05-13

Tag: Flow Matching, Diffusion Models, Pixel-Space Generation, Image Generation, Text-to-Image, Asymmetric Flow Modeling, Latent-to-Pixel Finetuning

I. Main Problem:

Các mô hình sinh dựa trên flow hiện tại gặp khó khăn khi làm việc với dữ liệu có chiều cao (ví dụ: ảnh pixel gốc) vì việc dự đoán vận tốc yêu cầu mô hình hóa nhiễu có chiều cao, ngay cả khi dữ liệu thực tế có cấu trúc hạng thấp. Điều này tạo ra một nút thắt cổ chai trong các mạng transformer thuần túy, vốn thiếu các kết nối bỏ qua (skip connections) như U-Net để dễ dàng truyền nhiễu từ đầu vào đến đầu ra. Các giải pháp trước đây hoặc làm phức tạp kiến trúc transformer hoặc chuyển sang dự đoán dữ liệu sạch (x0-prediction) vốn không ổn định về mặt số học ở mức nhiễu thấp.

II. Main Idea:

Bài báo giới thiệu Asymmetric Flow Modeling (AsymFlow), một phương pháp tham số hóa vận tốc bất đối xứng về hạng (rank-asymmetric). Cụ thể, thành phần dữ liệu (data component) được giữ nguyên chiều đầy đủ (full-rank), trong khi thành phần nhiễu (noise component) bị giới hạn trong một không gian con hạng thấp (low-rank subspace). Từ dự đoán bất đối xứng này, vận tốc đầy đủ được khôi phục một cách giải tích, cho phép huấn luyện và lấy mẫu theo chuẩn flow matching mà không cần thay đổi kiến trúc mạng. Ngoài ra, AsymFlow còn cung cấp phương pháp đầu tiên để tinh chỉnh (finetune) các mô hình flow tiềm ẩn (latent flow models) đã được huấn luyện trước thành các mô hình pixel-space, bằng cách căn chỉnh không gian con pixel hạng thấp với không gian tiềm ẩn.

III. Main Results:

AsymFlow đạt được những kết quả vượt trội:

Trên ImageNet 256×256: Đạt FID 1.57 (với REPA loss), vượt trội so với các mô hình pixel diffusion dạng DiT/JiT trước đây (FID 1.81*).
Tốc độ hội tụ: Cải thiện FID nhanh hơn khoảng 40% so với JiT baseline.
Tinh chỉnh từ FLUX.2 klein 9B: Mô hình AsymFLUX.2 klein thiết lập trạng thái nghệ thuật mới cho sinh ảnh từ văn bản trong không gian pixel, vượt qua cả nền tảng tiềm ẩn của nó trên các benchmark HPSv3, DPG-Bench và GenEval, đồng thời cải thiện đáng kể tính chân thực về mặt thị giác.

IV. Conclusion & Future Works:

AsymFlow là một phương pháp tham số hóa vận tốc dòng chảy bất đối xứng về hạng, cho phép sinh ảnh trong không gian pixel chiều cao với các transformer khuếch tán thuần túy. Nó đạt FID dẫn đầu trong số các mô hình pixel diffusion trên ImageNet và cung cấp con đường đầu tiên để tinh chỉnh các mô hình dòng chảy tiềm ẩn lớn thành các bộ sinh pixel với độ trung thực hình ảnh được cải thiện. Hướng phát triển trong tương lai bao gồm sinh video và hình ảnh độ phân giải cao với khả năng kiểm soát chi tiết tốt hơn, cũng như mở rộng sang các dạng dữ liệu chiều cao khác. Hạn chế hiện tại là phương pháp này giả định một phép nâng tuyến tính tốt ở cấp độ patch, có thể không hiệu quả với các không gian tiềm ẩn không bảo toàn cấu trúc pixel.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng AsymFlow cho sinh video: Áp dụng phương pháp tham số hóa bất đối xứng này cho các mô hình sinh video, nơi dữ liệu có chiều cao hơn nhiều (không gian-thời gian) và việc dự đoán nhiễu càng trở nên khó khăn hơn. Nghiên cứu cách xác định không gian con hạng thấp phù hợp cho các patch không gian-thời gian và đánh giá trên các bộ dữ liệu như UCF-101 hoặc Kinetics.
Kết hợp AsymFlow với các kiến trúc mới: Nghiên cứu việc tích hợp AsymFlow với các kiến trúc transformer hiệu quả hơn như Mamba hoặc các biến thể của nó cho sinh ảnh. Điều này có thể giảm thêm chi phí tính toán và cải thiện chất lượng hình ảnh, đặc biệt là trên các thiết bị có tài nguyên hạn chế.
AsymFlow cho các dữ liệu phi thị giác: Khám phá ứng dụng của AsymFlow cho các dạng dữ liệu chiều cao khác như dữ liệu y tế (ví dụ: ảnh CT, MRI 3D) hoặc dữ liệu khoa học (ví dụ: mô phỏng vật lý). Nghiên cứu cách thiết kế không gian con hạng thấp đặc thù cho từng lĩnh vực.

2. Patent:

Phương pháp và hệ thống cải thiện chất lượng ảnh chụp từ điện thoại thông minh bằng mô hình sinh AsymFlow: Sử dụng mô hình AsymFlow đã được huấn luyện để khôi phục chi tiết và giảm nhiễu cho ảnh chụp từ camera điện thoại. Mô hình này có thể được tinh chỉnh để hoạt động như một bộ lọc hậu kỳ thông minh, giúp ảnh trở nên sắc nét và chân thực hơn mà không làm thay đổi bố cục tổng thể, nhờ vào khả năng làm việc trực tiếp trên không gian pixel.
Ứng dụng tạo ảnh đại diện (avatar) cá nhân hóa từ mô tả văn bản trên thiết bị di động: Phát triển một ứng dụng di động cho phép người dùng nhập mô tả văn bản (ví dụ: 'một chàng trai trẻ với mái tóc xoăn, phong cách hoạt hình') và ứng dụng sẽ sử dụng mô hình AsymFlow (đã được nén nhẹ) để tạo ra ảnh đại diện chất lượng cao trực tiếp trên điện thoại. Khả năng sinh ảnh pixel chất lượng cao giúp ảnh đại diện trông tự nhiên và chi tiết hơn.
Hệ thống chỉnh sửa ảnh thông minh dựa trên văn bản cho điện thoại thông minh: Một hệ thống cho phép người dùng chọn một vùng trên ảnh và mô tả thay đổi mong muốn bằng văn bản (ví dụ: 'thay đổi kết cấu tóc từ thẳng sang xoăn', 'thêm hiệu ứng ánh sáng lung linh'). Hệ thống sử dụng mô hình AsymFlow để thực hiện các thay đổi này một cách mượt mà và chân thực, nhờ vào khả năng kiểm soát chi tiết ở cấp độ pixel mà không làm hỏng các vùng ảnh khác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.12964
ArXiv Abstract	https://arxiv.org/abs/2605.12964
PDF Download	https://arxiv.org/pdf/2605.12964.pdf
Github Repository	https://github.com/Lakonik/LakonLab

5. Learning Agentic Policy from Action Guidance (11 votes)

Tác giả: Yuxiang Ji, Zengbin Wang, Yong Wang, Shidong Yang, Ziyu Ma, Guanhua Chen, Zonghua Sun, Liaoni Wu, Xiangxiang Chu

Xuất bản lúc: 2026-05-12

Tag: Agentic RL, LLM Agents, Action Guidance, Reinforcement Learning, Exploration, Off-Policy Optimization

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) khi được huấn luyện bằng Reinforcement Learning (RL) trong các tác vụ tác tử (agentic tasks) gặp phải rào cản về khả năng khám phá (reachability barrier). Cụ thể, nếu phần thưởng (reward) nằm ngoài vùng khả năng hiện tại của mô hình (out-region), các tín hiệu huấn luyện sẽ bị triệt tiêu, khiến quá trình RL bị đình trệ. Các giải pháp hiện tại như SFT khởi động nguội (cold-start SFT) hoặc học theo chương trình (curriculum learning) rất tốn kém và khó mở rộng.

II. Main Idea:

Bài báo đề xuất ACTGUIDE-RL, một khung làm việc tận dụng dữ liệu hành động (action data) có sẵn từ các tương tác hàng ngày của con người làm hướng dẫn dạng kế hoạch (plan-style guidance). Phương pháp này dựa trên ba nguyên tắc chính: (1) Dùng dữ liệu hành động để sửa chữa các rào cản khám phá bằng cách cung cấp một kế hoạch tham chiếu cho mô hình. (2) Áp dụng nguyên tắc can thiệp tối thiểu (minimal intervention principle), chỉ sử dụng hướng dẫn một cách thích ứng khi cần thiết để giảm thiểu rủi ro lệch phân phối (off-policy risk). (3) Tối ưu hóa chung (mixed-policy optimization) các rollout có hướng dẫn và không có hướng dẫn để nội hóa các lợi ích khám phá vào mô hình suy luận.

III. Main Results:

ACTGUIDE-RL cải thiện đáng kể so với RL cơ bản (zero RL) trên các benchmark tác tử tìm kiếm: +10.68 pp trên GAIA, +27.79 pp trên WebWalkerQA, +19.00 pp trên XBench và +5.15 pp trên BC-ZH với mô hình Qwen3-4B. Quan trọng hơn, nó đạt hiệu suất tương đương với pipeline SFT+RL mà không cần bất kỳ khởi động nguội nào, cho thấy một hướng đi mới giảm sự phụ thuộc vào dữ liệu SFT đắt đỏ.

IV. Conclusion & Future Works:

ACTGUIDE-RL chứng minh rằng các dữ liệu hành động có thể mở rộng quy mô là một tín hiệu huấn luyện thực tế cho các tương tác tác tử phức tạp, bổ sung hoặc thay thế một phần các mô phỏng có giám sát đắt đỏ. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng phương pháp này sang các môi trường phức tạp hơn như GUI và CLI, cũng như nghiên cứu cách thu thập dữ liệu hành động một cách hiệu quả hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về tác động của các loại dữ liệu hành động khác nhau (ví dụ: từ GUI, CLI, API) lên hiệu quả của ACTGUIDE-RL trong các môi trường tác tử đa dạng.
Phát triển một phương pháp học tăng cường mới kết hợp ACTGUIDE-RL với các kỹ thuật curriculum learning để tự động điều chỉnh độ khó của hướng dẫn hành động theo từng bước huấn luyện.
Mở rộng ACTGUIDE-RL cho các tác vụ tác tử đa phương thức (ví dụ: kết hợp văn bản và hình ảnh) bằng cách sử dụng dữ liệu hành động từ các tương tác trên màn hình điện thoại hoặc máy tính.

2. Patent:

Phương pháp huấn luyện trợ lý ảo trên điện thoại thông minh: Sử dụng dữ liệu các thao tác chạm, vuốt và nhấn của người dùng trên màn hình điện thoại làm hướng dẫn hành động để huấn luyện một mô hình tác tử có khả năng thực hiện các tác vụ phức tạp như đặt báo thức, gửi tin nhắn hay tìm kiếm thông tin mà không cần dữ liệu huấn luyện có giám sát chi tiết.
Hệ thống hỗ trợ người dùng điện thoại thông minh với tính năng tự động hoàn thành tác vụ: Hệ thống này ghi lại các bước hành động của người dùng khi họ thực hiện một tác vụ mới lần đầu tiên. Sau đó, hệ thống sử dụng dữ liệu này làm hướng dẫn để tự động hóa tác vụ đó cho người dùng trong tương lai, chỉ can thiệp khi cần thiết để đảm bảo tác vụ được hoàn thành.
Ứng dụng trên điện thoại giúp người dùng mới làm quen với các tính năng phức tạp: Ứng dụng này thu thập các thao tác của người dùng chuyên nghiệp khi sử dụng một tính năng phức tạp (ví dụ: chỉnh sửa ảnh nâng cao). Sau đó, nó sử dụng các thao tác này làm hướng dẫn từng bước cho người dùng mới, giúp họ học cách sử dụng tính năng một cách hiệu quả mà không cần hướng dẫn bằng văn bản dài dòng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.12004
ArXiv Abstract	https://arxiv.org/abs/2605.12004
PDF Download	https://arxiv.org/pdf/2605.12004.pdf
Github Repository	https://github.com/AMAP-ML/ActGuide-RL

6. HAGE: Harnessing Agentic Memory via RL-Driven Weighted Graph Evolution (10 votes)

Tác giả: Dongming Jiang, Yi Li, Guanpeng Li, Qiannan Li, Bingzhe Li

Xuất bản lúc: 2026-05-11

Tag: LLMs, Agentic Memory, Reinforcement Learning, Graph Retrieval, Multi-Relational Graph, RAG

I. Main Problem:

Trong các hệ thống tác tử dựa trên mô hình ngôn ngữ lớn (LLM), việc truy xuất bộ nhớ thường được xử lý như một bài toán tra cứu tĩnh, dựa trên tìm kiếm vector phẳng hoặc đồ thị quan hệ nhị phân cố định. Tuy nhiên, cấu trúc đồ thị cố định không thể nắm bắt được sức mạnh, độ tin cậy và mức độ liên quan phụ thuộc vào truy vấn của các mối quan hệ giữa các sự kiện. Điều này dẫn đến suy giảm độ chính xác khi truy xuất thông tin trong các tác vụ suy luận dài hạn và đa bước.

II. Main Idea:

Bài báo đề xuất HAGE, một khung bộ nhớ đa quan hệ có trọng số, tái định nghĩa việc truy xuất bộ nhớ như một quá trình duyệt đồ thị tuần tự, có điều kiện theo truy vấn. Bộ nhớ được tổ chức thành các góc nhìn đồ thị riêng cho từng loại quan hệ (thời gian, ngữ nghĩa, nhân quả, thực thể) trên các nút bộ nhớ dùng chung, mỗi cạnh mang một vector đặc trưng có thể huấn luyện được. Khi có truy vấn, một bộ phân loại dựa trên LLM xác định ý định quan hệ và một mạng định tuyến điều chỉnh linh hoạt các chiều tương ứng của embedding cạnh. Điểm số duyệt được tính bằng tổ hợp học được giữa độ tương đồng ngữ nghĩa và biểu diễn cạnh có điều kiện theo truy vấn. HAGE cũng giới thiệu khung huấn luyện dựa trên học tăng cường (RL) để tối ưu hóa đồng thời hành vi định tuyến và biểu diễn cạnh dựa trên phản hồi từ tác vụ hạ nguồn.

III. Main Results:

Trên benchmark LoCoMo (hội thoại dài hạn), HAGE đạt điểm LLM-as-a-Judge tổng thể cao nhất (0.739 với gpt-4o-mini và 0.548 với Qwen2.5-3B), vượt qua các baseline mạnh nhất (lần lượt 0.700 và 0.499). Trên HotpotQA (QA đa bước), HAGE đạt F1=0.678 và LLM Score=0.824 với GPT-4o-mini, cải thiện đáng kể so với baseline tốt nhất (F1=0.640, LLM Score=0.807). Phân tích hiệu quả cho thấy HAGE đạt được sự cân bằng chính xác-hiệu suất tốt (3.82K token/truy vấn, độ trễ 2.17s). Các thí nghiệm ablation xác nhận rằng tối ưu hóa đồng thời biểu diễn cạnh và bộ định tuyến mang lại hiệu quả vượt trội so với từng thành phần riêng lẻ.

IV. Conclusion & Future Works:

HAGE chứng minh rằng cấu trúc bộ nhớ động, có thể huấn luyện và nhận biết quan hệ là một nền tảng đầy hứa hẹn cho các tác tử LLM mạnh mẽ hơn. Kết quả thực nghiệm cho thấy HAGE cải thiện độ chính xác suy luận dài hạn và mang lại sự cân bằng chính xác-hiệu suất thuận lợi. Các hướng phát triển trong tương lai bao gồm mở rộng đánh giá sang các tác vụ đòi hỏi bộ nhớ khác như suy luận thủ tục hoặc dựa trên tài liệu, và giảm sự phụ thuộc vào các thành phần LLM trong phân tích truy vấn và đánh giá.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng HAGE cho suy luận đa phương thức: Nghiên cứu cách tích hợp thông tin từ nhiều phương thức (văn bản, hình ảnh, âm thanh) vào khung bộ nhớ đa quan hệ. Các cạnh đồ thị có thể mã hóa mối quan hệ giữa các sự kiện từ các phương thức khác nhau, và bộ định tuyến có thể học cách ưu tiên các đường dẫn dựa trên loại phương thức của truy vấn.
Tối ưu hóa hiệu suất và khả năng mở rộng của HAGE: Phát triển các kỹ thuật để giảm chi phí tính toán và bộ nhớ của HAGE, chẳng hạn như nén đồ thị, lấy mẫu nút thông minh, hoặc song song hóa quá trình duyệt. Nghiên cứu khả năng mở rộng của HAGE với số lượng nút và cạnh rất lớn.
Áp dụng HAGE vào các tác vụ tác tử phức tạp: Thử nghiệm HAGE trên các benchmark tác tử đòi hỏi lập kế hoạch, sử dụng công cụ và tương tác đa phiên. Phân tích cách bộ nhớ có thể huấn luyện giúp cải thiện khả năng thích ứng và ra quyết định của tác tử trong môi trường thay đổi.

2. Patent:

Phương pháp và hệ thống quản lý lịch sử tương tác cá nhân hóa trên thiết bị di động: Sử dụng HAGE để xây dựng bộ nhớ cá nhân trên điện thoại, tự động ghi nhớ sở thích, thói quen và lịch sử tương tác của người dùng. Khi người dùng hỏi 'Tôi đã xem bộ phim đó ở đâu?', hệ thống sẽ duyệt qua đồ thị bộ nhớ (quan hệ thời gian, thực thể) để tìm ra câu trả lời chính xác mà không cần nhập lại toàn bộ lịch sử.
Phương pháp gợi ý ứng dụng và nội dung thông minh dựa trên bộ nhớ đồ thị: Hệ thống trên điện thoại sử dụng HAGE để học các mối quan hệ giữa các ứng dụng và nội dung người dùng đã sử dụng. Dựa trên truy vấn hiện tại (ví dụ: 'Công thức nấu ăn tối qua'), hệ thống duyệt đồ thị để gợi ý ứng dụng công thức nấu ăn có liên quan hoặc các món ăn tương tự, thay vì chỉ dựa vào tìm kiếm từ khóa.
Phương pháp hỗ trợ tác vụ đa bước trên thiết bị di động: Khi người dùng thực hiện một tác vụ phức tạp gồm nhiều bước (ví dụ: 'Lên kế hoạch cho chuyến đi đến Đà Lạt'), hệ thống sử dụng HAGE để lưu trữ và truy xuất thông tin từ các bước trước đó (vé máy bay, khách sạn, địa điểm tham quan). Bộ định tuyến học được sẽ ưu tiên các đường dẫn bộ nhớ có liên quan nhất đến bước hiện tại, giúp tác vụ diễn ra mượt mà và hiệu quả.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.09942
ArXiv Abstract	https://arxiv.org/abs/2605.09942
PDF Download	https://arxiv.org/pdf/2605.09942.pdf
Github Repository	https://github.com/FredJiang0324/HAGE_MVPReview

7. MinT: Managed Infrastructure for Training and Serving Millions of LLMs (144 votes)

Tác giả: Mind Lab, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Andrew Lei, Kyrie Lei, Alexy Li, Lucian Li, Ray Li, Theo Li, Zhihui Li, Jiayi Lin, Kairus Liu, Kieran Liu, Logan Liu, Xiang Liu, Irvine Lu, Maeve Luo, Runze Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Rio Yang, Maxwell Yao, Carrie Ye, Regis Ye, Wenlin Ye, Josh Ying, Danney Zeng, Yuhan Zhan, Anya Zhang, Di Zhang, Ruijia Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Changhai Zhou, Yuhua Zhou, Xinyue Zhu, Murphy Zhuang

Xuất bản lúc: 2026-05-13

Tag: LoRA, LLMs, RL, MoE, Multi-Tenant, Infrastructure, Adapter

I. Main Problem:

Các hạ tầng hiện tại gặp khó khăn khi phải quản lý và triển khai hàng triệu chính sách (policy) LLM khác nhau trên cùng một mô hình nền tảng (base model). Việc sao chép toàn bộ checkpoint cho mỗi biến thể mô hình trở nên không hiệu quả, tốn kém tài nguyên phần cứng và khó mở rộng, đặc biệt trong các tác vụ học tăng cường (RL) và phục vụ trực tuyến liên tục.

II. Main Idea:

MinT (MindLab Toolkit) giải quyết vấn đề bằng cách sử dụng các adapter LoRA (Low-Rank Adaptation) làm đơn vị chính sách cơ bản, thay vì các checkpoint đầy đủ. Hệ thống giữ mô hình nền tảng cố định trên GPU, trong khi các hành vi, nhánh sản phẩm, phiên bản thí nghiệm được biểu diễn bằng các adapter LoRA riêng biệt. MinT quản lý toàn bộ vòng đời của adapter: từ huấn luyện (training), xuất khẩu (export), phục vụ (serving) đến thu hồi (rollback), với sự chuyển giao giữa huấn luyện và phục vụ chỉ là các adapter nhẹ (thường <1% kích thước mô hình nền tảng), loại bỏ hoàn toàn việc sao chép checkpoint đầy đủ.

III. Main Results:

Giảm 18.3 lần thời gian chuyển giao (handoff step) trên mô hình dense 4B và 2.85 lần trên mô hình MoE 30B.
Rút ngắn thời gian thực thi (wall time) của GRPO đa chính sách lên tới 1.77x và 1.45x mà không tăng bộ nhớ đỉnh.
Hỗ trợ danh mục chính sách (policy catalog) lên tới 10^6 mục, với khả năng quét 100.000 mục trên một engine.
Cải thiện tốc độ tải engine trực tiếp (live engine loading) lên 8.5–8.7 lần nhờ packed MoE LoRA tensors.

IV. Conclusion & Future Works:

MinT chứng minh rằng hạ tầng đa người thuê (multi-tenant) với các adapter LoRA là khả thi và hiệu quả, giúp việc huấn luyện và triển khai hàng triệu chính sách LLM trở nên thực tế. Hướng phát triển tương lai có thể bao gồm hỗ trợ tốt hơn cho sparse attention (ví dụ DSA), mở rộng khả năng replay các lựa chọn router của mô hình MoE, và tối ưu hóa các cơ chế cache cho adapter.

V. Brainstorming Space:

1. Publish Papers:

Kết hợp LoRA với các kỹ thuật mới: Nghiên cứu cách kết hợp hiệu quả vòng đời adapter của MinT với các kỹ thuật kiến trúc mới nhất như Dynamic Sparse Attention (DSA) hoặc Multi-Head Latent Attention (MLA), tập trung vào việc tối ưu replay và correction để đảm bảo ổn định khi RL.
Tối ưu lịch trình cho training đa adapter: Phát triển các thuật toán lập lịch thông minh hơn cho việc time-slicing các phiên huấn luyện LoRA, dựa trên đặc điểm của từng tác vụ RL (ví dụ: kích thước rollout tokens) để giảm thiểu thời gian chết và tối đa hóa hiệu suất GPU.
Mở rộng quy mô danh mục chính sách: Khám phá các chiến lược bộ nhớ đệm và định tuyến mới để quản lý danh mục chính sách vượt xa quy mô 10^6, sử dụng các mô hình dự đoán locality của lưu lượng truy cập để tối ưu việc tải và giữ adapter trên các engine phục vụ.

2. Patent:

Phương pháp và hệ thống cập nhật tính năng cho trợ lý ảo trên điện thoại: Ứng dụng MinT để cho phép người dùng tải xuống các adapter LoRA nhỏ (ví dụ vài MB) từ cửa hàng ứng dụng, giúp thay đổi hoặc thêm tính năng mới cho trợ lý ảo (ví dụ: chuyên gia về nấu ăn, du lịch) mà không cần cập nhật toàn bộ ứng dụng trợ lý ảo nặng trên điện thoại.
Hệ thống cá nhân hóa bàn phím ảo thông minh trên thiết bị di động: Adapter LoRA được huấn luyện riêng cho từng người dùng dựa trên thói quen gõ phím, từ vựng, và ngữ cảnh sử dụng. Các adapter này được lưu trữ đám mây và tải xuống thiết bị khi cần, giúp bàn phím dự đoán từ ngữ và câu chính xác hơn mà không ảnh hưởng đến hiệu năng của mô hình ngôn ngữ nền tảng trên điện thoại.
Hệ thống dịch thuật đa ngữ trên điện thoại thông minh: Thay vì cài đặt nhiều mô hình dịch thuật khác nhau cho từng cặp ngôn ngữ, điện thoại chỉ cần một mô hình nền tảng duy nhất. Các adapter LoRA nhẹ cho từng cặp ngôn ngữ (ví dụ: Anh-Việt, Nhật-Việt) sẽ được tải xuống và kích hoạt tức thời khi người dùng chọn chế độ dịch, đảm bảo chất lượng dịch cao mà vẫn tiết kiệm bộ nhớ và pin.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.13779
ArXiv Abstract	https://arxiv.org/abs/2605.13779
PDF Download	https://arxiv.org/pdf/2605.13779.pdf
Github Repository	https://github.com/MindLab-Research/mindlab-toolkit

8. MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image (122 votes)

Tác giả: Alan Arazi, Eilam Shapira, Shoham Grunblat, Mor Ventura, Elad Hoffer, Gioia Blayer, David Holzmüller, Lennart Purucker, Gaël Varoquaux, Frank Hutter, Roi Reichart

Xuất bản lúc: 2026-05-11

Tag: Multimodal Tabular Learning, Foundation Models, Benchmarking, Target-Aware Representations, Image-Tabular, Text-Tabular, PFN, LoRA

I. Main Problem:

Các mô hình nền tảng dạng bảng hiện tại (TFMs) thiếu hỗ trợ tự nhiên cho các phương thức phi cấu trúc như văn bản và hình ảnh. Chúng thường dựa vào các embedding đông lạnh (frozen) từ các mô hình tiền huấn luyện, dẫn đến mất thông tin quan trọng cho các tác vụ dự đoán chi tiết. Các chuẩn đánh giá hiện có thường chỉ tập trung vào sự xuất hiện đồng thời của các phương thức, không phân biệt được các bài toán thực sự cần biểu diễn thích ứng với mục tiêu (Target-Aware Representations), dẫn đến việc đánh giá không chính xác.

II. Main Idea:

Bài báo giới thiệu MulTaBench, một chuẩn đánh giá gồm 40 bộ dữ liệu, được chia đều cho các tác vụ văn bản-bảng và hình ảnh-bảng. Bộ dữ liệu này được tuyển chọn thông qua một quy trình gồm 4 điều kiện thực nghiệm để xác định các tác vụ thực sự cần Tín hiệu Kết hợp (Joint Signal) (mỗi phương thức đều đóng góp vào dự đoán) và Nhận thức về Tác vụ (Task-awareness) (biểu diễn đông lạnh mất thông tin chi tiết, cần điều chỉnh). Quy trình này sử dụng LoRA để tinh chỉnh các lớp cuối của bộ mã hóa (encoder) một cách độc lập trước khi đưa vào mô hình bảng, nhằm tạo ra các biểu diễn thích ứng với mục tiêu (TAR).

III. Main Results:

Các thí nghiệm trên MulTaBench cho thấy các biểu diễn thích ứng với mục tiêu (TAR) luôn vượt trội hơn so với các embedding đông lạnh trên nhiều loại mô hình học bảng khác nhau (từ GBDT đến TFMs), kích thước bộ mã hóa khác nhau và số chiều embedding khác nhau. Khoảng 41% bộ dữ liệu văn bản-bảng và 31% bộ dữ liệu hình ảnh-bảng từ các nguồn khác nhau vượt qua quy trình tuyển chọn, cho thấy các chuẩn đánh giá trước đây thiếu sự tập trung vào các tác vụ thực sự cần TAR. Phân tích định tính cho thấy bộ mã hóa sau khi tinh chỉnh tập trung vào các vùng chi tiết hơn liên quan đến mục tiêu dự đoán.

IV. Conclusion & Future Works:

MulTaBench là công cụ cần thiết để đánh giá thế hệ Mô hình nền tảng dạng bảng đa phương thức (Multimodal TFMs) tiếp theo. Hạn chế chính là quy trình tuyển chọn gắn chặt bài toán với giải pháp, gây ra độ chệch lựa chọn. Các hướng nghiên cứu tương lai bao gồm: mở rộng chuẩn đánh giá cho các tác vụ văn bản-hình ảnh-bảng, khám phá các phương thức khác (âm thanh, video), và phát triển các kiến trúc mới kết hợp ưu điểm của In-Context Learning và tinh chỉnh để tạo ra các biểu diễn thích ứng một cách hiệu quả.

V. Brainstorming Space:

1. Publish Papers:

1. Mở rộng chuẩn đánh giá đa phương thức cho dữ liệu bảng: Nghiên cứu cách mở rộng MulTaBench để bao gồm các tác vụ kết hợp cả ba phương thức văn bản, hình ảnh và dữ liệu bảng. Đề xuất các tiêu chí tuyển chọn mới để xác định các tác vụ ba phương thức thực sự cần biểu diễn thích ứng.
1. Nghiên cứu kiến trúc kết hợp In-Context Learning và tinh chỉnh: Phát triển một kiến trúc Mô hình nền tảng dạng bảng đa phương thức mới, kết hợp khả năng suy luận nhanh không cập nhật tham số của In-Context Learning (ICL) với khả năng tinh chỉnh để đạt được biểu diễn thích ứng với mục tiêu (TAR). Kiến trúc có thể sử dụng các bộ mã hóa văn bản/hình ảnh lớn (LLM/VLM) và một PFN.
1. Tạo dữ liệu huấn luyện tổng hợp đa phương thức: Nghiên cứu các phương pháp tạo dữ liệu tổng hợp cho học bảng đa phương thức, mở rộng các bộ tiên nghiệm số hiện tại để bao gồm các đặc trưng văn bản và hình ảnh. Điều này sẽ giải quyết vấn đề khan hiếm dữ liệu thực tế cho việc tiền huấn luyện các mô hình nền tảng đa phương thức.

2. Patent:

1. Hệ thống gợi ý sản phẩm thông minh trên thiết bị di động: Một phương pháp kết hợp dữ liệu hồ sơ người dùng (tuổi, giới tính, lịch sử mua hàng) với hình ảnh sản phẩm và mô tả văn bản để dự đoán mức độ yêu thích. Bộ mã hóa hình ảnh và văn bản được tinh chỉnh liên tục dựa trên phản hồi của người dùng (như nhấp chuột, thêm vào giỏ hàng) để tạo ra các biểu diễn thích ứng với sở thích cá nhân, giúp gợi ý chính xác hơn.
1. Phương pháp chẩn đoán bệnh qua ảnh chụp và hồ sơ sức khỏe trên điện thoại: Ứng dụng cho phép người dùng chụp ảnh vùng da bị tổn thương và nhập các triệu chứng dưới dạng văn bản cùng hồ sơ sức khỏe cơ bản (tuổi, tiền sử dị ứng). Hệ thống sử dụng mô hình đa phương thức đã được tinh chỉnh để tập trung vào các dấu hiệu bệnh cụ thể trên ảnh, kết hợp với các đặc điểm lâm sàng để đưa ra chẩn đoán sơ bộ và khuyến nghị hành động (ví dụ: đi khám da liễu).
1. Cá nhân hóa nội dung và quảng cáo dựa trên ảnh và văn bản trên mạng xã hội: Một hệ thống trên điện thoại phân tích các bài đăng trên mạng xã hội bao gồm cả ảnh và văn bản mô tả, kết hợp với thông tin hồ sơ người dùng. Bộ mã hóa được tinh chỉnh để hiểu sở thích thị giác và văn phong của từng người dùng, từ đó đề xuất nội dung hoặc quảng cáo phù hợp. Ví dụ, nếu người dùng thường đăng ảnh ẩm thực với mô tả về 'món chay', hệ thống sẽ ưu tiên hiển thị quảng cáo nhà hàng chay.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.10616
ArXiv Abstract	https://arxiv.org/abs/2605.10616
PDF Download	https://arxiv.org/pdf/2605.10616.pdf
Github Repository	N/A

9. AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation (79 votes)

Tác giả: Yuchao Gu, Guian Fang, Yuxin Jiang, Weijia Mao, Song Han, Han Cai, Mike Zheng Shou

Xuất bản lúc: 2026-05-13

Tag: Video Diffusion, Flow Maps, Distillation, Any-Step Generation, On-Policy Distillation, Causal Video Generation, Bidirectional Video Generation

I. Main Problem:

Các mô hình khuếch tán video hiện tại chủ yếu được huấn luyện với số bước suy luận cố định, không hỗ trợ linh hoạt việc điều chỉnh giữa tốc độ và chất lượng (any-step). Các phương pháp chưng cất dựa trên consistency model (CM) bị suy giảm hiệu suất khi tăng số bước lấy mẫu, do việc tái nhiễu liên tục các trạng thái trung gian làm lệch quỹ đạo khỏi đường ODE mục tiêu. Ngoài ra, các mô hình video nhân quả (causal) gặp vấn đề thiên vị phơi nhiễm (exposure bias) trong sinh tự hồi quy.

II. Main Idea:

AnyFlow là khung chưng cất khuếch tán video any-step đầu tiên dựa trên flow map, học các chuyển đổi giữa các cặp thời gian bất kỳ (z_t -> z_r) thay vì chỉ ánh xạ điểm cuối (z_t -> z_0). Khung này gồm hai giai đoạn: (1) Huấn luyện flow map tiến (forward flow map training) với các cải tiến về điều kiện thời gian, lấy mẫu thời gian và trọng số mất mát thích ứng để khởi tạo mạnh; (2) Chưng cất on-policy với mô phỏng ngược flow map (flow map backward simulation) giúp phân rã quỹ đạo Euler thành các bước nhảy tắt, khắc phục lỗi rời rạc và thiên vị phơi nhiễm. Phương pháp này cho phép một mô hình duy nhất hỗ trợ mọi ngân sách suy luận.

III. Main Results:

AnyFlow đạt hiệu suất vượt trội so với các phương pháp dựa trên consistency. Trong cài đặt causal mô hình 14B, AnyFlow đạt VBench 84.05 tại 4 NFE và cải thiện lên 84.41 tại 32 NFE, vượt qua Krea-Realtime-14B (83.25 tại 4 NFE). Trong sinh hình-ảnh-video, AnyFlow đạt VBench-I2V 87.87 tại 4 NFE, tương đương Wan2.1-I2V-14B dùng 50x2 NFE (87.71). Trong cài đặt bidirectional 14B, AnyFlow đạt 84.04 tại 4 NFE, vượt qua rCM-14B (83.73 tại 4 NFE). Quan trọng, AnyFlow duy trì khả năng mở rộng theo số bước (test-time scaling), không bị suy giảm như các phương pháp cũ.

IV. Conclusion & Future Works:

AnyFlow thiết lập một khung chưng cất video any-step hiệu quả, hoạt động tốt trên cả kiến trúc bidirectional và causal với nhiều quy mô mô hình. Các hướng phát triển tương lai bao gồm: tinh chỉnh mô hình đã chưng cất trên các tập dữ liệu hạ nguồn, mở rộng sang các tác vụ sinh video khác, và cải thiện hiệu quả huấn luyện.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu khả năng mở rộng của AnyFlow lên các mô hình video lớn hơn (trên 14B tham số) và đánh giá trên nhiều benchmark sinh video phức tạp hơn.
Kết hợp AnyFlow với các kiến trúc video mới như mô hình video nhân quả cải tiến hoặc mô hình video dạng ống kính (lens-based) để tăng cường chất lượng chuyển động và tính nhất quán.
Phát triển phiên bản AnyFlow không cần giáo viên (teacher-free) bằng cách tự động sinh dữ liệu huấn luyện hoặc sử dụng chiến lược tự chưng cất (self-distillation).

2. Patent:

Phương pháp sinh video linh hoạt trên thiết bị di động: Hệ thống cho phép người dùng chọn giữa chế độ xem trước nhanh (vài bước) và chế độ chất lượng cao (nhiều bước) khi tạo video trên điện thoại, tối ưu hóa thời gian xử lý và pin.
Ứng dụng chỉnh sửa video thông minh trên điện thoại thông minh: Tính năng cho phép người dùng nhập một video ngắn và mô tả văn bản, sau đó hệ thống tự động tạo ra các biến thể video với chất lượng khác nhau (từ thô đến mượt) tùy theo nhu cầu sử dụng (chia sẻ nhanh hay lưu trữ).
Hệ thống tạo hiệu ứng chuyển cảnh động trên video điện thoại: Sử dụng mô hình any-step để tạo ra các hiệu ứng chuyển cảnh mượt mà giữa các clip, cho phép người dùng điều chỉnh độ chi tiết của hiệu ứng (số bước) để cân bằng giữa thời gian render và chất lượng hình ảnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.13724
ArXiv Abstract	https://arxiv.org/abs/2605.13724
PDF Download	https://arxiv.org/pdf/2605.13724.pdf
Github Repository	https://github.com/NVlabs/AnyFlow

10. Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context (75 votes)

Tác giả: Zhaowei Wang, Lishu Luo, Haodong Duan, Weiwei Liu, Sijin Wu, Ji Luo, Shen Yan, Shuai Peng, Sihang Yuan, Chaoyi Huang, Yi Lin, Yangqiu Song

Xuất bản lúc: 2026-05-13

Tag: Vision-Language Models, Long-Context Modeling, Continued Pre-training, Data Mixture Design, Document VQA, OCR, Context Window Extension, Needle-in-a-Haystack

I. Main Problem:

Các mô hình ngôn ngữ-thị giác lớn (LVLM) ngày càng cần khả năng xử lý ngữ cảnh dài (lên tới 128K token) cho các tác vụ như hiểu tài liệu nhiều trang, phân tích video dài và tác nhân AI. Tuy nhiên, các công thức huấn luyện thực tế, đặc biệt là cách thiết kế và cân bằng dữ liệu dài, vẫn chưa được khám phá đầy đủ. Các nghiên cứu trước đây chủ yếu tập trung vào LLM hoặc các phương pháp mở rộng ngữ cảnh nhẹ, thiếu hướng dẫn chi tiết cho việc tiền huấn luyện liên tục (LongPT) trên LVLM. Cụ thể, còn nhiều câu hỏi chưa được giải đáp: loại dữ liệu dài nào nên tổng hợp, cách pha trộn các tác vụ dài và dữ liệu ngắn, và phân bố độ dài ảnh hưởng thế nào đến mô hình kết quả.

II. Main Idea:

Nghiên cứu này trình bày một nghiên cứu có hệ thống về tiền huấn luyện liên tục cho ngữ cảnh dài (LongPT) trên LVLM, tập trung vào việc xây dựng và kết hợp dữ liệu đa phương thức dài hiệu quả. Các tác giả đề xuất một quy trình tổng hợp dữ liệu mới, trong đó tạo ra các cặp Hỏi-Đáp từ các đoạn ngắn (8-15 trang) của tài liệu dài, sau đó đặt chúng trở lại ngữ cảnh đầy đủ của tài liệu gốc để tạo thành các mẫu huấn luyện ngữ cảnh dài. Thông qua các thí nghiệm cắt bỏ (ablation studies) trên mô hình Qwen2.5-VL-7B, nghiên cứu đưa ra ba phát hiện chính: (i) Dữ liệu có phân bố độ dài cân bằng (pool-native) hiệu quả hơn dữ liệu tập trung vào độ dài mục tiêu (128K), cho thấy khả năng ngữ cảnh dài đòi hỏi khả năng truy xuất thông tin tổng quát ở nhiều độ dài và vị trí khác nhau; (ii) Truy xuất thông tin là nút thắt chính, ưu tiên hỗn hợp nhiều tác vụ truy xuất với một lượng nhỏ tác vụ suy luận để đa dạng hóa; (iii) Dữ liệu VQA tài liệu dài thuần túy phần lớn vẫn giữ được khả năng ngữ cảnh ngắn. Dựa trên các phát hiện này, mô hình MMProLong được huấn luyện với ngân sách chỉ 5B token, mở rộng ngữ cảnh từ 32K lên 128K.

III. Main Results:

MMProLong cải thiện điểm VQA tài liệu dài lên 7.1% ở ngữ cảnh 64K và 128K so với mô hình nền Qwen2.5-VL-7B. Mô hình duy trì hiệu suất mạnh mẽ ở ngữ cảnh 256K và 512K (đạt trung bình 53.80 so với 28.80 của mô hình nền), vượt qua các baseline hơn 20%, mà không cần huấn luyện thêm. MMProLong cũng thể hiện khả năng tổng quát hóa tốt sang các tác vụ khác: cải thiện điểm MM-NIAH từ 20.0 lên 49.4 (đặc biệt mạnh ở truy xuất và suy luận), cải thiện điểm trên các benchmark video dài (Video-MME, MLVU, LongVideoBench) và VTCBench (nén văn bản-thị giác). So với các LVLM nguồn mở dưới 15B tham số, MMProLong đạt kết quả tốt nhất với điểm trung bình 57.70, thậm chí vượt qua một số mô hình lớn hơn như InternVL3-38B và Gemma3-27B.

IV. Conclusion & Future Works:

Nghiên cứu này cung cấp một công thức thực tế cho tiền huấn luyện liên tục ngữ cảnh dài (LongPT) trên LVLM, chứng minh rằng dữ liệu VQA tài liệu dài là một nguồn giám sát hiệu quả, giúp cải thiện đáng kể khả năng ngữ cảnh dài và tổng quát hóa sang các tác vụ đa phương thức khác như hiểu video dài. Các tác giả hy vọng nghiên cứu này sẽ tạo nền tảng thực tế cho việc xây dựng các LVLM trong tương lai với khả năng ngữ cảnh dài đáng tin cậy. Hướng nghiên cứu trong tương lai có thể bao gồm: mở rộng công thức cho các mô hình mạnh hơn (Qwen3-VL), thử nghiệm với ngân sách token lớn hơn, và tối ưu hóa thêm việc cân bằng giữa hiệu suất ngữ cảnh dài và ngắn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng công thức LongPT cho các mô hình LVLM khác nhau: Nghiên cứu này mới chỉ được xác thực trên Qwen2.5-VL và Qwen3-VL. Một hướng đi mới là kiểm tra tính khả chuyển của công thức này trên các kiến trúc LVLM khác như InternVL, Gemma, hoặc LLaVA-NeXT, nhằm khám phá xem các phát hiện về phân bố độ dài, tỷ lệ pha trộn tác vụ có mang tính tổng quát hay không.
Tối ưu hóa chiến lược pha trộn dữ liệu dài và ngắn: Mặc dù nghiên cứu chỉ ra rằng dữ liệu VQA tài liệu dài thuần túy phần lớn giữ được khả năng ngữ cảnh ngắn, vẫn tồn tại một sự đánh đổi (trade-off). Hướng nghiên cứu tiếp theo có thể tập trung vào việc tìm ra chiến lược pha trộn dữ liệu dài/ngắn tối ưu, ví dụ như dùng curriculum learning (bắt đầu với dữ liệu ngắn, tăng dần độ dài) hoặc các phương pháp học liên tục (continual learning) để giảm thiểu sự suy giảm hiệu suất trên các tác vụ ngữ cảnh ngắn.
Xây dựng pipeline tự động sinh dữ liệu VQA tài liệu dài chất lượng cao: Quy trình sinh dữ liệu hiện tại dựa trên việc trích xuất đoạn ngắn và sinh câu hỏi. Một hướng cải tiến là tự động hóa toàn bộ pipeline, bao gồm cả bước kiểm tra chất lượng câu hỏi (tránh mơ hồ khi đặt vào ngữ cảnh dài) và mở rộng sang các loại tài liệu phức tạp hơn như báo cáo tài chính, biểu đồ khoa học, hoặc tài liệu kỹ thuật có nhiều bảng biểu.

2. Patent:

Phương pháp tóm tắt thông minh cho điện thoại thông minh dựa trên khả năng hiểu ngữ cảnh dài: Một ứng dụng trên điện thoại cho phép người dùng chụp ảnh một cuốn sách dày, một báo cáo nhiều trang hoặc một loạt ảnh chụp màn hình các cuộc hội thoại. Ứng dụng sẽ sử dụng mô hình có khả năng hiểu ngữ cảnh dài (như MMProLong) để tự động phân tích, tổng hợp và đưa ra một bản tóm tắt ngắn gọn, chính xác về nội dung chính, các sự kiện quan trọng, hoặc các số liệu nổi bật. Khác với các ứng dụng tóm tắt hiện tại chỉ xử lý từng trang riêng lẻ, phương pháp này nắm bắt được mối liên hệ xuyên suốt toàn bộ tài liệu, giúp bản tóm tắt có chiều sâu và mạch lạc hơn.
Hệ thống tìm kiếm hình ảnh và văn bản chính xác trong tài liệu dài trên thiết bị di động: Một tính năng 'Kim trong đống cỏ' cho điện thoại, cho phép người dùng đặt câu hỏi về một chi tiết cụ thể nằm trong một tài liệu dài (ví dụ: 'Tìm hình ảnh biểu đồ doanh thu quý 3 năm 2023' hoặc 'Trong báo cáo kỹ thuật, dòng nào mô tả cách khắc phục lỗi XYZ?'). Hệ thống sẽ hiểu toàn bộ ngữ cảnh của tài liệu (bao gồm cả hình ảnh và văn bản) và định vị chính xác 'cây kim' thông tin mà người dùng cần, giúp tiết kiệm thời gian đọc và tìm kiếm thủ công.
Ứng dụng dịch thuật và hỗ trợ học tập cho tài liệu đa phương thức dài: Một ứng dụng di động kết hợp giữa dịch thuật và trợ lý học tập. Người dùng có thể chụp ảnh toàn bộ một chương sách giáo khoa hoặc một bài báo khoa học dài. Ứng dụng sẽ dịch toàn bộ nội dung (văn bản + chú thích hình ảnh) sang ngôn ngữ mong muốn, đồng thời cho phép người dùng đặt các câu hỏi tương tác về nội dung vừa dịch, chẳng hạn 'Giải thích khái niệm này bằng một ví dụ đơn giản', 'So sánh hai phương pháp được đề cập trong bài', hoặc 'Tóm tắt chương này thành 3 ý chính'. Khả năng hiểu ngữ cảnh dài giúp ứng dụng trả lời các câu hỏi phức tạp cần tổng hợp thông tin từ nhiều trang khác nhau, biến điện thoại thành một công cụ học tập siêu việt.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.13831
ArXiv Abstract	https://arxiv.org/abs/2605.13831
PDF Download	https://arxiv.org/pdf/2605.13831.pdf
Github Repository	N/A

11. EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents (56 votes)

Tác giả: Tara Bogavelli, Gabrielle Gauthier Melançon, Katrina Stankiewicz, Oluwanifemi Bamgbose, Fanny Riols, Hoang H. Nguyen, Raghav Mehndiratta, Lindsay Devon Brin, Joseph Marinier, Hari Subramani, Anil Madamala, Sridhar Krishna Nemala, Srinivas Sunkara

Xuất bản lúc: 2026-05-13

Tag: Voice Agents, Evaluation Benchmark, Multi-turn Dialogue, Simulation, Accuracy Metrics, Experience Metrics, Cascade Architecture, Speech-to-Speech, Robustness, Perturbation Suite

I. Main Problem:

Các hệ thống voice agent (trợ lý giọng nói) ngày càng được triển khai rộng rãi nhưng chưa có một benchmark nào giải quyết đồng thời hai thách thức cốt lõi: (1) Mô phỏng hội thoại thực tế – tạo ra các cuộc trò chuyện đa lượt, động, phản ánh đúng điều kiện triển khai thực tế (giọng nói, tạp âm, hành vi người dùng). (2) Đo lường chất lượng toàn diện – đánh giá chính xác toàn bộ các lỗi đặc thù của giọng nói (ví dụ: sai thực thể, vi phạm chính sách, tương tác kém tự nhiên) mà các benchmark dạng văn bản không thể phát hiện được.

II. Main Idea:

EVA-Bench là một framework đánh giá end-to-end dành cho voice agent, giải quyết cả hai thách thức trên. Về mô phỏng, framework này sử dụng hội thoại bot-to-bot qua audio WebSocket với một user simulator được kiểm tra và xác thực tự động, đảm bảo tính nhất quán và độ tin cậy. Nó bao gồm 213 kịch bản trong 3 lĩnh vực doanh nghiệp (Airline CSM, Healthcare HRSD, Enterprise ITSM) và một bộ nhiễu có kiểm soát (giọng, tiếng ồn). Về đo lường, EVA-Bench giới thiệu hai chỉ số tổng hợp: EVA-A (Accuracy) đo lường mức độ hoàn thành nhiệm vụ, tính trung thực (faithfulness) và độ chính xác của giọng nói ở mức âm thanh; EVA-X (Experience) đo lường tiến trình hội thoại, sự ngắn gọn và thời gian tương tác (turn-taking). Các chỉ số này áp dụng cho mọi kiến trúc voice agent (cascade, hybrid, speech-to-speech) và sử dụng các thống kê pass@1, pass@k, pass^k để phân biệt hiệu suất trung bình, đỉnh và độ tin cậy.

III. Main Results:

Trên 12 hệ thống voice agent khác nhau, kết quả cho thấy: (1) Không hệ thống nào vượt quá 0.5 trên cả EVA-A pass@1 và EVA-X pass@1 cùng lúc. (2) Khoảng cách giữa hiệu suất đỉnh và hiệu suất đáng tin cậy rất lớn – chênh lệch trung bình pass@k và pass^k là 0.44 trên EVA-A. (3) Nhiễu (giọng và tiếng ồn) gây ra suy giảm đáng kể và không đồng đều giữa các kiến trúc: hệ thống cascade dễ bị ảnh hưởng về độ chính xác, trong khi hệ thống S2S dễ bị ảnh hưởng về trải nghiệm. Ngoài ra, lỗi sao chép thực thể tên (named entities) ở mức âm thanh là nút thắt cổ chai chính cho hệ thống cascade.

IV. Conclusion & Future Works:

EVA-Bench là framework đánh giá voice agent toàn diện và mở, được phát hành dưới dạng mã nguồn mở. Các kết quả thực nghiệm nhấn mạnh sự cần thiết của việc đo lường đồng thời độ chính xác và trải nghiệm, khoảng cách giữa hiệu suất đỉnh và độ tin cậy, cũng như các mô hình suy giảm đặc thù theo nhiễu. Hướng phát triển tương lai bao gồm mở rộng benchmark với nhiều lĩnh vực hơn, ngôn ngữ khác, và các chiều đánh giá mới. Các hạn chế bao gồm khả năng thiên vị của LLM judge đối với cùng dòng model, điểm số nhị phân cho task completion chưa có điểm thành phần, và chưa đánh giá các lỗi an toàn như rò rỉ PII.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng EVA-Bench cho các voice agent đa ngôn ngữ: Xây dựng bộ kịch bản và nhiễu cho tiếng Việt, tiếng Trung và các ngôn ngữ khác, tập trung vào các lỗi phiên âm đặc thù và sự khác biệt văn hóa trong tương tác giọng nói.
Phân tích chuyên sâu về ảnh hưởng của các chiến lược turn-taking mới (ví dụ: barge-in thông minh, dự đoán thời điểm ngắt lời) đến trải nghiệm người dùng và hiệu suất hoàn thành nhiệm vụ trên các voice agent cascade và speech-to-speech.
Nghiên cứu các phương pháp giảm thiểu khoảng cách giữa hiệu suất đỉnh (pass@k) và độ tin cậy (pass^k) cho voice agent, tập trung vào các kỹ thuật tăng cường tính nhất quán qua nhiều lượt thử nghiệm (ví dụ: sử dụng prompt tuning hoặc fine-tuning với mục tiêu robust).

2. Patent:

Phương pháp và hệ thống kiểm tra tự động độ chính xác của giọng nói đầu ra từ trợ lý ảo trên điện thoại: Sử dụng một mô hình ngôn ngữ âm thanh (LALM) để so sánh các thực thể chính (mã xác nhận, số tiền, ngày tháng) được phát ra với dữ liệu gốc từ công cụ, giúp người dùng phát hiện lỗi sai ngay lập tức trên màn hình điện thoại.
Hệ thống tối ưu hóa trải nghiệm người dùng cho trợ lý giọng nói trên điện thoại di động dựa trên phân tích thời gian tương tác (turn-taking): Thuật toán tự động điều chỉnh thời gian phản hồi và độ dài câu trả lời dựa trên hành vi của người dùng (ví dụ: người dùng hay ngắt lời sẽ được ưu tiên câu trả lời ngắn gọn hơn), giúp cuộc trò chuyện tự nhiên hơn.
Phương pháp tạo kịch bản đánh giá trợ lý giọng nói có kiểm soát nhiễu: Một ứng dụng trên điện thoại cho phép người dùng tự tạo các cuộc gọi mô phỏng với các điều kiện âm thanh khác nhau (tiếng ồn đường phố, giọng địa phương) để kiểm tra độ bền bỉ của trợ lý ảo trước khi sử dụng thực tế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.13841
ArXiv Abstract	https://arxiv.org/abs/2605.13841
PDF Download	https://arxiv.org/pdf/2605.13841.pdf
Github Repository	https://github.com/ServiceNow/eva

12. Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling (43 votes)

Tác giả: Eilam Shapira, Moshe Tennenholtz, Roi Reichart

Xuất bản lúc: 2026-05-12

Tag: AI agents, few-shot prediction, text-tabular learning, LLM-as-Observer, bargaining, negotiation

I. Main Problem:

Bài toán dự đoán quyết định của các tác nhân AI không quen biết chỉ từ một vài tương tác trước đó. Trong thương lượng và giao dịch qua ngôn ngữ tự nhiên, một tác nhân phải đối mặt với đối tác có LLM, prompt, logic điều khiển và các quy tắc dự phòng hoàn toàn ẩn, nhưng mỗi quyết định lại mang hậu quả về tiền bạc. Làm thế nào để dự đoán quyết định tiếp theo của một tác nhân mới chỉ dựa trên một vài ván chơi đã quan sát?

II. Main Idea:

Tác giả đề xuất khung dự đoán target-adaptive text-tabular. Mỗi điểm quyết định được biểu diễn thành một hàng trong bảng, kết hợp: (1) các đặc trưng trạng thái trò chơi có cấu trúc, (2) biểu diễn văn bản chung của hội thoại, và (3) biểu diễn trạng thái ẩn từ Observer – một LLM nhỏ đóng băng chỉ đọc trạng thái và hội thoại công khai, bỏ qua câu trả lời trực tiếp, chỉ lấy trạng thái ẩn làm đặc trưng định hướng quyết định. Mô hình nền tảng dạng bảng (TabPFN) kết hợp các hàng từ quần thể nguồn (13 agent frontier-LLM) với K ván chơi của tác nhân mục tiêu để thích ứng.

III. Main Results:

Mô hình đầy đủ vượt trội so với baseline LLM-as-Predictor và baseline game+text features. Tại K=16, Observer cải thiện AUC dự đoán phản hồi khoảng 4 điểm phần trăm trên cả hai tác vụ bargaining và negotiation, và giảm 14% sai số dự đoán giá đề nghị trong bargaining. Các trạng thái ẩn của Observer mang lại giá trị bổ sung vượt trội so với câu trả lời trực tiếp của nó. Kết quả ổn định qua nhiều LLM Observer khác nhau (Gemma-2-2B, Qwen3-1.7B, Llama-3.2-1B) và qua nhiều tầng mid-to-late (relative depth 0.6–0.9).

IV. Conclusion & Future Works:

Kết luận chính: dự đoán quyết định của tác nhân AI không quen biết nên được đóng khung như học text-tabular thích ứng mục tiêu hơn là dự đoán trực tiếp bằng LLM few-shot. Chiến lược chung là tách biểu diễn khỏi thích ứng: dùng LLM để xây dựng biểu diễn định hướng quyết định, nhưng để mô hình có giám sát (tabular) đưa ra dự đoán cuối cùng, kết hợp các khuyến khích có cấu trúc, bằng chứng từ quần thể nguồn và vài quyết định quan sát được của mục tiêu. Hạn chế: trò chơi là trừu tượng hóa có kiểm soát, không phải thị trường thực; phương pháp giả định có quần thể nguồn phù hợp; đóng góp của Observer thay đổi theo tác vụ.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu phương pháp dự đoán quyết định của tác nhân AI trong các thị trường thương mại thực tế (ví dụ: sàn thương mại điện tử, đấu giá trực tuyến) bằng cách mở rộng khung text-tabular với các đặc trưng ngữ cảnh phong phú hơn như lịch sử giao dịch, đánh giá người dùng và thông tin sản phẩm.
Phát triển phiên bản Observer có khả năng học thích ứng động: LLM Observer có thể được tinh chỉnh nhẹ (fine-tune) trên một tập nhỏ các tác nhân mới mà không làm mất tính tổng quát, kết hợp với cơ chế cập nhật trọng số cho hàng mục tiêu trong bảng theo thời gian thực.
Nghiên cứu khả năng dự đoán đa tác vụ (multi-task) trong cùng một khung: kết hợp dự đoán phản hồi (chấp nhận/từ chối) và dự đoán đề xuất (giá trị/offer) thành một mô hình thống nhất, sử dụng kiến trúc transformer cho cả hai đầu ra, đồng thời khám phá thêm các loại quyết định khác như rút lui hay thay đổi chiến lược.

2. Patent:

Phương pháp dự đoán hành vi người dùng trên thiết bị di động dựa trên lịch sử đàm phán và trạng thái ứng dụng: Hệ thống trên điện thoại thông minh ghi lại các tương tác đàm phán của người dùng (ví dụ: mặc cả giá, thương lượng dịch vụ) trong các ứng dụng thương mại. Khi người dùng bắt đầu một cuộc đàm phán mới, hệ thống sẽ khớp các đặc điểm của cuộc đàm phán hiện tại (sản phẩm, giá, lịch sử) với các mẫu hành vi đã học từ chính người dùng đó (K ván chơi trước) và từ quần thể người dùng chung. Kết quả dự đoán (ví dụ: khả năng chấp nhận giá, giá đề xuất tiếp theo) được hiển thị dưới dạng gợi ý thông minh, giúp người dùng ra quyết định nhanh hơn và hiệu quả hơn.
Trợ lý mua sắm thông minh trên di động có khả năng dự đoán quyết định của người bán: Một trợ lý ảo trên điện thoại di động, trong quá trình người dùng đàm phán với một người bán trực tuyến, sẽ tự động thu thập các cuộc hội thoại và đề nghị công khai. Trợ lý sử dụng mô hình Observer nhỏ gọn (chạy trên thiết bị) để phân tích văn bản và trạng thái giao dịch, sau đó dự đoán phản ứng tiếp theo của người bán (ví dụ: có chấp nhận giá thấp hơn không, giá thấp nhất có thể là bao nhiêu). Dự đoán này được trình bày dưới dạng cảnh báo hoặc gợi ý chiến lược cho người dùng (ví dụ: 'Người bán có khả năng chấp nhận giá 5.000.000 VND với xác suất 80%').
Hệ thống phát hiện và dự đoán hành vi bất thường của chatbot trên ứng dụng nhắn tin di động: Ứng dụng nhắn tin tích hợp công cụ giám sát các cuộc trò chuyện với chatbot dịch vụ khách hàng. Hệ thống ghi lại các quyết định của chatbot (chấp nhận yêu cầu, từ chối, đề xuất giải pháp) và so sánh với mô hình hành vi chuẩn từ quần thể chatbot tương tự. Nếu phát hiện sự khác biệt đáng kể (ví dụ: chatbot thường chấp nhận hoàn tiền nhưng đột nhiên từ chối), hệ thống sẽ cảnh báo người dùng và đề xuất các bước tiếp theo, đồng thời ghi nhận để cải thiện mô hình dự đoán trong tương lai.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.12411
ArXiv Abstract	https://arxiv.org/abs/2605.12411
PDF Download	https://arxiv.org/pdf/2605.12411.pdf
Github Repository	N/A

13. Qwen-Image-VAE-2.0 Technical Report (41 votes)

Tác giả: Zekai Zhang, Deqing Li, Kuan Cao, Yujia Wu, Chenfei Wu, Yu Wu, Liang Peng, Hao Meng, Jiahao Li, Jie Zhang, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiao Xu, Xiaoyue Chen, Yan Shu, Yanran Zhang, Yilei Chen, Yixian Xu, Yuxiang Chen, Zhendong Wang, Zihao Liu, Zikai Zhou, Yiliang Gu, Yi Wang, Xiaoxiao Xu, Lin Qu

Xuất bản lúc: 2026-05-13

Tag: VAE, Diffusion, Image Generation, Semantic Alignment, High-Compression

I. Main Problem:

Các mô hình Diffusion tiềm ẩn (LDM) hiện tại bị hạn chế bởi tỷ lệ nén không gian thấp (f8), dẫn đến chi phí tính toán cao khi xử lý ảnh độ phân giải cao. Việc tăng tỷ lệ nén gặp phải sự đánh đổi giữa ba yếu tố: tỷ lệ nén cao, chất lượng tái tạo và khả năng khuếch tán (diffusability). Cụ thể, nén cao làm mất chi tiết, đặc biệt là văn bản; tăng kênh tiềm ẩn để bù đắp lại tạo ra không gian tiềm ẩn phức tạp, khó huấn luyện cho mô hình khuếch tán.

II. Main Idea:

Nhóm tác giả đề xuất Qwen-Image-VAE-2.0, một bộ VAE nén cao (f16 và f32) với các cải tiến về kiến trúc, dữ liệu và chiến lược huấn luyện: (1) Kiến trúc cải tiến: Sử dụng Global Skip Connection (GSC) để bảo toàn chi tiết tần số cao, backbone không dùng attention để tăng thông lượng và kiến trúc bất đối xứng (encoder nhẹ, decoder nặng) để tối ưu hiệu suất. (2) Kỹ thuật dữ liệu: Huấn luyện trên hàng tỷ ảnh, thu thập kho dữ liệu văn bản phong phú, và xây dựng pipeline tổng hợp văn bản trên nền phức tạp để cải thiện tái tạo chữ. (3) Chiến lược huấn luyện: Loại bỏ các loss KL và GAN truyền thống, thay vào đó sử dụng Semantic Alignment Loss (căn chỉnh với đặc trưng DINOv2) để cải thiện khả năng khuếch tán, kết hợp với huấn luyện đa giai đoạn từ độ phân giải thấp đến cao và từ ảnh không chữ đến có chữ.

III. Main Results:

Qwen-Image-VAE-2.0 đạt chất lượng tái tạo vượt trội so với các baseline cùng tỷ lệ nén trên ImageNet và FFHQ. Đặc biệt, trên benchmark OmniDoc-TokenBench (ảnh giàu văn bản), mô hình f16c128 đạt NED 0.9617, vượt qua cả các VAE f8 tốt nhất (FLUX.1-dev: 0.9546), là lần đầu tiên một VAE f16 có chất lượng văn bản vượt trội hơn f8. Ở tỷ lệ f32, mô hình f32c192 đạt NED 0.8555, vượt trội so với các baseline f32 khác. Các thí nghiệm DiT hạ nguồn cho thấy khả năng khuếch tán vượt trội, hội tụ nhanh hơn so với các baseline nén cao khác.

IV. Conclusion & Future Works:

Qwen-Image-VAE-2.0 chứng minh rằng có thể đạt được cả ba mục tiêu: nén cao, tái tạo chất lượng và khả năng khuếch tán tốt thông qua kiến trúc cải tiến, kỹ thuật dữ liệu quy mô lớn và chiến lược huấn luyện thông minh. Các hướng nghiên cứu tương lai có thể bao gồm: (1) Mở rộng phương pháp cho các tác vụ đa phương thức và video, (2) Khám phá các chiến lược căn chỉnh ngữ nghĩa tiên tiến hơn với các bộ mã hóa khác, và (3) Tối ưu hóa kiến trúc để giảm tham số và tăng tốc độ suy luận cho các ứng dụng thời gian thực.

V. Brainstorming Space:

1. Publish Papers:

Semantic Alignment in Latent Space for Multi-Modal Generation: Nghiên cứu sâu hơn về việc áp dụng Semantic Alignment Loss với các bộ mã hóa đa phương thức (như CLAP cho âm thanh) để tạo ra không gian tiềm ẩn chung cho các tác vụ sinh đa phương thức như sinh ảnh từ mô tả âm thanh.
Dynamic Compression Ratio VAE for Variable-Resolution Generation: Phát triển một kiến trúc VAE duy nhất có thể tự động điều chỉnh tỷ lệ nén dựa trên độ phức tạp của nội dung, cho phép sinh ảnh với chất lượng và chi phí tính toán tối ưu, thay vì sử dụng các mô hình cố định như f16 hay f32.
Improving Diffusability of High-Dimensional Latent Spaces with Diffusion Bridges: Khám phá việc sử dụng các kỹ thuật Diffusion Bridge thay vì căn chỉnh ngữ nghĩa truyền thống để làm cho không gian tiềm ẩn có số chiều lớn dễ dàng được mô hình hóa bởi quá trình khuếch tán, có thể mở ra các tỷ lệ nén cao hơn nữa.

2. Patent:

Phương pháp nén ảnh thông minh trên điện thoại để tối ưu bộ nhớ và hiển thị: Sáng chế về phương pháp sử dụng VAE nén cao (f32) được huấn luyện đặc biệt để nén ảnh chụp màn hình, tài liệu, hoặc ảnh chụp có chữ trên điện thoại. Ảnh gốc được nén ở phía người dùng, lưu trữ dưới dạng mã tiềm ẩn, và khi cần xem, một bộ giải mã nhanh (decoder) trên điện thoại sẽ tái tạo ảnh với chất lượng cao, đặc biệt là các chi tiết chữ, giúp tiết kiệm đáng kể dung lượng lưu trữ mà vẫn đảm bảo trải nghiệm đọc.
Hệ thống tăng cường chất lượng văn bản trong ảnh nén cho các ứng dụng nhắn tin và mạng xã hội: Sáng chế về một module xử lý hậu kỳ trên điện thoại, sử dụng một mô hình nhẹ (dựa trên GSC) để phát hiện và tái tạo lại các vùng chữ bị mờ hoặc biến dạng trong ảnh đã được nén bởi các ứng dụng nhắn tin. Module này có thể được kích hoạt khi người dùng phóng to một bức ảnh có chữ, giúp cải thiện đáng kể khả năng đọc mà không cần tải lại ảnh gốc.
Ứng dụng chụp và chỉnh sửa tài liệu thông minh trên điện thoại: Sáng chế về một ứng dụng camera kết hợp trí tuệ nhân tạo. Khi người dùng chụp một tài liệu, ứng dụng sẽ sử dụng VAE nén cao để nén ảnh gốc, nhưng đồng thời khai thác không gian tiềm ẩn đã được căn chỉnh ngữ nghĩa để cho phép người dùng thực hiện các thao tác chỉnh sửa 'thông minh' như thay đổi phông chữ, sửa lỗi chính tả, hoặc dịch thuật văn bản trực tiếp trên ảnh mà không cần đến các bước nhận dạng ký tự quang học (OCR) phức tạp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.13565
ArXiv Abstract	https://arxiv.org/abs/2605.13565
PDF Download	https://arxiv.org/pdf/2605.13565.pdf
Github Repository	https://github.com/alibaba/OmniDoc-TokenBench

14. TrackCraft3R: Repurposing Video Diffusion Transformers for Dense 3D Tracking (31 votes)

Tác giả: Jisu Nam, Jahyeok Koo, Soowon Son, Jaewoo Jung, Honggyu An, Junhwa Hur, Seungryong Kim

Xuất bản lúc: 2026-05-12

Tag: Video Diffusion Transformers, 3D Tracking, Dense 3D Correspondence, Monocular Video, Pointmap, LoRA, Feed-forward Tracking

I. Main Problem:

Các phương pháp theo dõi 3D hiện tại từ video đơn nhìn chung gặp hai vấn đề chính: (1) Các tracker 3D lặp (iterative) được huấn luyện từ đầu trên dữ liệu tổng hợp, thiếu các tiên nghiệm chuyển động từ thế giới thực; (2) Các phương pháp feed-forward tinh chỉnh các mô hình tái tạo 3D được huấn luyện trên ảnh đa góc nhìn tĩnh, thiếu các tiên nghiệm thời gian mạnh mẽ. Ngoài ra, các mô hình khuếch tán video hiện có chỉ tạo ra đầu ra gắn với từng khung hình (frame-anchored), trong khi theo dõi 3D yêu cầu đầu ra tham chiếu đến khung hình đầu tiên (reference-anchored), dẫn đến sự không khớp về mặt biểu diễn.

II. Main Idea:

TrackCraft3R là phương pháp đầu tiên tái sử dụng một Video Diffusion Transformer (DiT) như một bộ theo dõi 3D dày đặc dạng feed-forward. Phương pháp này giải quyết sự không khớp giữa cơ chế sinh frame-anchored của DiT và yêu cầu reference-anchored của bài toán tracking thông qua hai thiết kế chính: (1) Biểu diễn tiềm ẩn kép (Dual-Latent Representation): Sử dụng các 'geometry latent' (mã hóa RGB và điểm 3D của từng khung hình) và các 'track latent' (mã hóa thông tin của khung hình tham chiếu I₀) hoạt động như các truy vấn dày đặc để tìm kiếm điểm tương ứng qua các khung hình thông qua cơ chế attention 3D. (2) Căn chỉnh RoPE thời gian (Temporal RoPE Alignment): Gán cùng một chỉ số thời gian cho cả 'track latent' và 'geometry latent' tương ứng, đảm bảo mỗi 'track latent' chỉ chú ý đến khung hình mục tiêu chính xác. Nhờ đó, TrackCraft3R chuyển đổi mô hình DiT thành một bộ hồi quy một bước, dự đoán trực tiếp bản đồ điểm theo dõi (tracking pointmap) và bản đồ hiển thị (visibility map) cho toàn bộ video chỉ trong một lần chạy.

III. Main Results:

TrackCraft3R đạt được hiệu suất vượt trội so với các phương pháp trước đó trên các benchmark theo dõi 3D thưa và dày đặc, bao gồm ADT, PStudio, DR, PO và Kubric. Cụ thể, TrackCraft3R + DA3 đạt AJ trung bình 0.6785, APD3D 0.7931 và OA 0.9250, vượt xa các baseline mạnh như DELTAv2 + DA3. Về mặt hiệu năng, TrackCraft3R nhanh hơn 1.3 lần và sử dụng bộ nhớ đỉnh ít hơn 4.6 lần so với DELTAv2. Mô hình cũng cho thấy độ bền bỉ vượt trội với các chuyển động lớn và video dài.

IV. Conclusion & Future Works:

TrackCraft3R chứng minh rằng các tiên nghiệm không gian-thời gian từ video DiT có thể được tái sử dụng hiệu quả cho bài toán theo dõi 3D dày đặc. Các thiết kế biểu diễn tiềm ẩn kép và căn chỉnh RoPE thời gian là chìa khóa để chuyển đổi mô hình sinh frame-anchored sang mô hình hồi quy reference-anchored. Hướng phát triển trong tương lai có thể bao gồm việc cải thiện chất lượng hình học đầu vào (ví dụ: depth và camera pose) để nâng cao hiệu suất theo dõi, và mở rộng phương pháp cho các ứng dụng khác như tái tạo cảnh động hoặc điều khiển robot.

V. Brainstorming Space:

1. Publish Papers:

Xây dựng mô hình theo dõi 3D dựa trên Video Diffusion kết hợp với thông tin ngữ nghĩa (Semantic-aware 3D Tracking from Video Diffusion): Kết hợp các latent đặc trưng ngữ nghĩa (ví dụ: từ CLIP) vào biểu diễn tiềm ẩn kép để cải thiện độ chính xác khi theo dõi các vật thể có chuyển động phức tạp hoặc bị che khuất một phần, đặc biệt hữu ích trong các cảnh có nhiều đối tượng tương tác.
Theo dõi 3D đa khung hình tham chiếu (Multi-Reference 3D Tracking with Video Diffusion): Mở rộng ý tưởng 'reference-anchored' từ một khung hình tham chiếu duy nhất (khung đầu tiên) sang nhiều khung hình tham chiếu để tăng cường độ tin cậy khi có sự thay đổi lớn về hình dáng hoặc biến mất hoàn toàn của đối tượng trong một khoảng thời gian dài.
Tinh chỉnh Video Diffusion Transformers cho bài toán dự đoán quỹ đạo 3D dài hạn (Long-horizon 3D Trajectory Prediction via Finetuned Video DiTs): Nghiên cứu cơ chế 'sliding window' thông minh hơn cho video rất dài, có khả năng dự đoán sự thay đổi của các điểm theo dõi trong tương lai dựa trên chuyển động đã học, thay vì chỉ ghép nối các cửa sổ liên tiếp.

2. Patent:

Phương pháp tạo hiệu ứng ảnh động 3D trên điện thoại từ một bức ảnh tĩnh: Ứng dụng dùng camera của điện thoại chụp một bức ảnh, sau đó sử dụng mô hình AI (dựa trên ý tưởng TrackCraft3R) để dự đoán chuyển động 3D của các vật thể trong ảnh (ví dụ: một người đang nhảy, một chiếc xe đang chạy). Ứng dụng tự động tạo ra một video ngắn với hiệu ứng chuyển động 3D mượt mà, cho phép người dùng chia sẻ ảnh động sống động trên mạng xã hội.
Hệ thống tăng cường thực tế (AR) theo dõi vật thể 3D trên điện thoại thông minh: Một ứng dụng AR cho phép người dùng chọn một vật thể trong khung hình camera (ví dụ: một món đồ chơi, một cuốn sách). Hệ thống sẽ sử dụng AI (TrackCraft3R) để theo dõi chính xác vị trí 3D của vật thể đó ngay cả khi người dùng di chuyển điện thoại hoặc vật thể bị che khuất tạm thời. Thông tin vị trí này được dùng để gắn các đối tượng ảo (nhân vật hoạt hình, chú thích) lên trên vật thể thật một cách ổn định.
Công cụ chỉnh sửa video chuyên nghiệp trên điện thoại với khả năng 'khóa' đối tượng 3D: Một ứng dụng chỉnh sửa video cho phép người dùng chạm vào một đối tượng trong video (ví dụ: một vận động viên trượt ván). Ứng dụng sử dụng mô hình AI (TrackCraft3R) để theo dõi quỹ đạo 3D của đối tượng đó. Sau đó, người dùng có thể áp dụng các hiệu ứng chỉ bám theo đối tượng này (ví dụ: làm mờ hậu cảnh xung quanh đối tượng, thay đổi màu sắc của đối tượng, hoặc chèn văn bản 'bám dính' vào đối tượng) một cách chính xác và mượt mà.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.12587
ArXiv Abstract	https://arxiv.org/abs/2605.12587
PDF Download	https://arxiv.org/pdf/2605.12587.pdf
Github Repository	https://github.com/cvlab-kaist/TrackCraft3r

15. Edit-Compass & EditReward-Compass: A Unified Benchmark for Image Editing and Reward Modeling (30 votes)

Tác giả: Xuehai Bai, Yang Shi, Yi-Fan Zhang, Xuanyu Zhu, Yuran Wang, Yifan Dai, Xinyu Liu, Yiyan Ji, Xiaoling Gu, Yuanxing Zhang

Xuất bản lúc: 2026-05-13

Tag: Image Editing, Reward Model, Benchmark, Multimodal LLM, Reinforcement Learning

I. Main Problem:

Các benchmark đánh giá mô hình chỉnh sửa ảnh hiện tại thường không phản ánh đúng đánh giá của con người do độ khó thấp và phương pháp đánh giá thô. Đồng thời, các benchmark cho mô hình phần thưởng (reward model) trong chỉnh sửa ảnh thường không mô phỏng đúng các tình huống thực tế khi tối ưu hóa bằng học tăng cường (RL).

II. Main Idea:

Giới thiệu Edit-Compass và EditReward-Compass, một bộ benchmark thống nhất để đánh giá mô hình chỉnh sửa ảnh và mô hình phần thưởng. Edit-Compass chứa 2.388 mẫu được chú thích cẩn thận, trải dài trên 36 tác vụ với 6 cấp độ khó tăng dần, bao gồm các khả năng như lý luận tri thức thế giới, lý luận thị giác và chỉnh sửa đa ảnh. Nó sử dụng một khung đánh giá đa chiều dựa trên lý luận có cấu trúc và thang điểm được thiết kế chi tiết. EditReward-Compass chứa 2.251 cặp ưu tiên mô phỏng các tình huống đánh giá thực tế trong quá trình tối ưu hóa RL.

III. Main Results:

Đánh giá trên 29 mô hình chỉnh sửa ảnh và 21 mô hình phần thưởng cho thấy khoảng cách lớn giữa mô hình đóng và mô hình mở. Mô hình đóng tốt nhất đạt 3.99 điểm tổng thể, trong khi mô hình mở tốt nhất chỉ đạt 2.69. Các mô hình vẫn yếu trong các tác vụ như hiểu đa ảnh, lý luận tri thức thế giới và lý luận thị giác. Về mô hình phần thưởng, các mô hình ngôn ngữ lớn đa phương thức gốc (native MLLMs) vượt trội so với các mô hình phần thưởng nguồn mở khác.

IV. Conclusion & Future Works:

Edit-Compass và EditReward-Compass cung cấp một khung đánh giá toàn diện và phù hợp với con người cho các hệ thống chỉnh sửa ảnh và mô hình phần thưởng. Hạn chế hiện tại là sự phụ thuộc vào API đánh giá từ các MLLM. Hướng phát triển tương lai là xây dựng một mô hình chuyên đánh giá chỉnh sửa ảnh, ổn định và minh bạch hơn, không phụ thuộc vào API độc quyền.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu phương pháp tăng cường khả năng lý luận tri thức thế giới và lý luận thị giác trong các mô hình chỉnh sửa ảnh nguồn mở, tập trung vào các tác vụ như suy luận thời gian và nguyên nhân.
Phát triển một kiến trúc mô hình phần thưởng chuyên dụng cho chỉnh sửa ảnh, kết hợp giữa mô hình ngôn ngữ lớn đa phương thức gốc và kỹ thuật học tăng cường để cải thiện độ chính xác trong việc đánh giá chất lượng hình ảnh và tính nhất quán.
Xây dựng một bộ dữ liệu chỉnh sửa ảnh đa ngôn ngữ quy mô lớn, đặc biệt là tiếng Việt, để đánh giá khả năng chỉnh sửa ảnh xuyên ngôn ngữ của các mô hình tiên tiến.

2. Patent:

Phương pháp và hệ thống chỉnh sửa ảnh trên điện thoại di động sử dụng trí tuệ nhân tạo để tự động nhận diện và thay đổi cảm xúc của khuôn mặt người trong ảnh, dựa trên các mô hình mô tả hành động và trạng thái cảm xúc.
Ứng dụng di động cho phép người dùng chụp nhiều ảnh và sử dụng lệnh văn bản để kết hợp các yếu tố từ các bức ảnh khác nhau thành một bức ảnh duy nhất, ví dụ: lấy một người từ ảnh này và một chiếc ô từ ảnh khác, mang lại trải nghiệm sáng tạo và tiện lợi.
Thuật toán tối ưu hóa chỉnh sửa ảnh trên điện thoại bằng cách sử dụng mô hình phần thưởng thông minh để đánh giá và chọn ra phiên bản chỉnh sửa đẹp nhất, đảm bảo ảnh sau chỉnh sửa trông tự nhiên và không có lỗi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.13062
ArXiv Abstract	https://arxiv.org/abs/2605.13062
PDF Download	https://arxiv.org/pdf/2605.13062.pdf
Github Repository	https://github.com/bxhsort/Edit-Compass-and-EditReward-Compass

16. Many-Shot CoT-ICL: Making In-Context Learning Truly Learn (27 votes)

Tác giả: Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

Xuất bản lúc: 2026-05-13

Tag: In-Context Learning, Chain-of-Thought, Many-Shot ICL, Test-Time Learning, Reasoning, LLMs, Demonstration Selection, Curvilinear Demonstration Selection

I. Main Problem:

Các nghiên cứu trước đây về In-Context Learning (ICL) với nhiều mẫu (many-shot) chủ yếu tập trung vào các tác vụ không yêu cầu suy luận (non-reasoning tasks) như phân loại. Các quy tắc được thiết lập từ đó (ví dụ: thứ tự mẫu ít quan trọng khi số lượng tăng, lựa chọn mẫu dựa trên độ tương đồng hiệu quả) không rõ có áp dụng được cho các tác vụ suy luận với Chain-of-Thought (CoT) hay không. Với các tác vụ suy luận, việc cung cấp nhiều mẫu CoT hơn có thực sự cải thiện hiệu suất một cách ổn định hay gây ra sự bất ổn định mới?

II. Main Idea:

Bài báo này nghiên cứu many-shot CoT-ICL cho các tác vụ suy luận và chỉ ra rằng các quy tắc many-shot tiêu chuẩn không còn đúng nữa. Các tác giả phát hiện ra: (1) hiệu ứng mở rộng phụ thuộc vào cài đặt, tăng số lượng mẫu CoT không ổn định cho các LLM không chuyên suy luận và chỉ có lợi cho các LLM chuyên suy luận; (2) truy xuất dựa trên độ tương đồng giúp ích cho tác vụ không suy luận nhưng thất bại với suy luận; (3) hiệu ứng mở rộng thứ tự, phương sai hiệu suất tăng lên khi có nhiều mẫu CoT hơn. Để giải thích, các tác giả đặt lại khung cho many-shot CoT-ICL như là một quá trình 'học trong ngữ cảnh tại thời điểm kiểm tra' (in-context test-time learning) thay vì khớp mẫu quy mô lớn. Từ đó, họ đề xuất hai nguyên tắc: (1) các mẫu cần dễ hiểu đối với mô hình mục tiêu, và (2) các mẫu cần được sắp xếp để tạo ra sự tiến triển kiến thức mượt mà. Dựa trên các nguyên tắc này, họ giới thiệu Curvilinear Demonstration Selection (CDS), một phương pháp sắp xếp đơn giản nhằm giảm thiểu độ cong khái niệm tổng thể, giúp cải thiện hiệu suất.

III. Main Results:

Kết quả thực nghiệm cho thấy: (1) Các LLM không chuyên suy luận (LLaMA 3.1, Qwen 2.5) cho thấy hiệu suất không ổn định hoặc giảm khi tăng số mẫu CoT cho tác vụ suy luận; (2) Các LLM chuyên suy luận (Qwen 3, QwQ, DeepSeek-R1) cho thấy sự cải thiện nhất quán. (3) Việc lựa chọn mẫu dựa trên độ tương đồng ngữ nghĩa (similarity-based retrieval) hoạt động tốt trên các tác vụ không suy luận (ví dụ: BANKING77) nhưng thất bại trên các tác vụ suy luận (hình học, lý thuyết số). (4) Phương sai hiệu suất tăng lên khi có nhiều mẫu CoT hơn, trái ngược với các tác vụ không suy luận. (5) Phương pháp CDS được đề xuất mang lại mức tăng lên tới 5.42 điểm phần trăm trên tác vụ hình học với 64 mẫu. (6) Các mẫu tự sinh (self-generated) từ chính mô hình mục tiêu hiệu quả hơn các mẫu từ tập dữ liệu gốc hoặc từ mô hình mạnh hơn, đặc biệt với các mô hình yếu hơn.

IV. Conclusion & Future Works:

Bài báo kết luận rằng many-shot CoT-ICL cho suy luận không phải là khớp mẫu quy mô lớn mà là một hình thức học trong ngữ cảnh tại thời điểm kiểm tra. Các tác giả đưa ra hai nguyên tắc thiết kế mẫu: dễ hiểu và tiến triển mượt mà. Phương pháp CDS được giới thiệu là một cách nhanh chóng, chi phí thấp để tùy chỉnh thứ tự mẫu, mang lại cải thiện nhất quán. Hướng nghiên cứu trong tương lai có thể bao gồm việc sử dụng các quỹ đạo suy luận được lưu trữ hoặc tự sinh như các hướng dẫn thủ tục có thể tái sử dụng cho việc truy xuất và tạo prompt sau này.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về ảnh hưởng của thứ tự mẫu CoT đến hiệu suất trên các tác vụ suy luận khác nhau như suy luận nhân quả, suy luận không gian hoặc lập kế hoạch.
Phát triển các phương pháp lựa chọn mẫu CoT mới vượt ra ngoài độ tương đồng ngữ nghĩa, tập trung vào khả năng tương thích thủ tục (procedural compatibility) giữa các mẫu và câu hỏi truy vấn.
Mở rộng khung lý thuyết 'học trong ngữ cảnh tại thời điểm kiểm tra' để thiết kế các chiến lược tạo prompt thích ứng, nơi các mẫu được chọn và sắp xếp một cách linh hoạt dựa trên câu hỏi đầu vào và trạng thái hiện tại của mô hình.

2. Patent:

Phương pháp hỗ trợ giải toán trên điện thoại thông minh: Một ứng dụng di động có thể nhận ảnh chụp bài toán và sử dụng một mô hình ngôn ngữ lớn với kỹ thuật suy luận nhiều bước (CoT). Ứng dụng sẽ tự động chọn và sắp xếp các bài toán mẫu tương tự từ một kho dữ liệu đã được huấn luyện trước, theo một thứ tự từ dễ đến khó (dựa trên độ cong kiến thức) để làm ví dụ hướng dẫn cho mô hình, giúp nó giải bài toán một cách chính xác và dễ hiểu hơn cho người dùng.
Hệ thống gợi ý học tập thông minh trên thiết bị di động: Một hệ thống dạy kèm AI trên điện thoại có khả năng phân tích lịch sử học tập và các câu hỏi sai của người dùng. Hệ thống sẽ tạo ra các chuỗi bài tập có lời giải chi tiết (CoT) được sắp xếp theo một 'chương trình giảng dạy' cá nhân hóa. Các bài tập được chọn và sắp xếp sao cho kiến thức tiến triển một cách mượt mà, giúp người dùng dễ dàng tiếp thu các khái niệm phức tạp hơn.
Phương pháp tối ưu hóa trợ lý ảo giải thích văn bản dài trên điện thoại: Một trợ lý ảo trên điện thoại có thể tóm tắt hoặc giải thích các tài liệu dài như hợp đồng, bài báo. Để cải thiện độ chính xác, trợ lý sẽ tự động xây dựng một tập hợp các ví dụ suy luận (CoT) được sắp xếp tối ưu trong bộ nhớ tạm. Thay vì chỉ lấy các ví dụ có nội dung tương tự, hệ thống sẽ ưu tiên các ví dụ có tiến trình suy luận mượt mà và dễ hiểu để đưa vào prompt, giúp trợ lý đưa ra lời giải thích chính xác và mạch lạc hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.13511
ArXiv Abstract	https://arxiv.org/abs/2605.13511
PDF Download	https://arxiv.org/pdf/2605.13511.pdf
Github Repository	N/A

📰 Summary of Papers​

1. FrameSkip: Learning from Fewer but More Informative Frames in VLA Training (19 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. The DAWN of World-Action Interactive Models (16 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. KL for a KL: On-Policy Distillation with Control Variate Baseline (14 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Asymmetric Flow Models (12 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. Learning Agentic Policy from Action Guidance (11 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. HAGE: Harnessing Agentic Memory via RL-Driven Weighted Graph Evolution (10 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. MinT: Managed Infrastructure for Training and Serving Millions of LLMs (144 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image (122 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation (79 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. FrameSkip: Learning from Fewer but More Informative Frames in VLA Training (19 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. The DAWN of World-Action Interactive Models (16 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. KL for a KL: On-Policy Distillation with Control Variate Baseline (14 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Asymmetric Flow Models (12 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. Learning Agentic Policy from Action Guidance (11 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. HAGE: Harnessing Agentic Memory via RL-Driven Weighted Graph Evolution (10 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. MinT: Managed Infrastructure for Training and Serving Millions of LLMs (144 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image (122 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation (79 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: