Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-05-07

Báo cáo được tạo tự động vào lúc 2026-05-08 10:30:45 bằng mô hình deepseek-ai/deepseek-v4-pro.

📰 Summary of Papers​

1. Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation (108 votes)​

Tác giả: Bin Wu, Mengqi Huang, Shaojin Wu, Weinan Jia, Yuxin Wang, Zhendong Mao, Yongdong Zhang

Xuất bản lúc: 2026-05-05

Tag: Diffusion Models, Video Generation, Knowledge Distillation, Distribution Matching Distillation, Reward Modeling, Streaming Video Generation, Autoregressive Models

I. Main Problem:​

Các phương pháp tăng tốc dựa trên chưng cất (distillation) cho mô hình tạo video streaming tự hồi quy (autoregressive) hiện tại, điển hình là Distribution Matching Distillation (DMD), đều huấn luyện mô hình học sinh (student) khớp với đầu ra của mô hình giáo viên (teacher) một cách bừa bãi, không phân biệt. Cách tiếp cận này coi mọi lần sinh video (rollout), mọi khung hình và mọi điểm ảnh đều có độ tin cậy như nhau trong tín hiệu giám sát. Điều này bỏ qua hai trục phương sai quan trọng trong tín hiệu DMD: Độ tin cậy liên mẫu (Inter-Reliability) – mức độ đáng tin cậy của tín hiệu giám sát khác nhau giữa các lần sinh khác nhau; và Độ phức tạp nội mẫu (Intra-Perplexity) – các vùng không gian và khung hình thời gian khác nhau trong cùng một video có tiềm năng cải thiện chất lượng không đồng đều. Việc áp dụng trọng số đồng đều này làm lãng phí ngân sách tối ưu hóa vào những vùng đã bão hòa chất lượng và pha loãng tín hiệu giám sát thực sự hữu ích, đặt ra giới hạn trên cho chất lượng của mô hình đã được chưng cất.

II. Main Idea:​

Nhóm tác giả đề xuất Stream-R1, một khuôn khổ chưng cất phân phối nhận biết độ tin cậy - độ phức tạp (Reliability-Perplexity Aware Distribution Matching Distillation). Ý tưởng cốt lõi là điều chỉnh trọng số của hàm mục tiêu DMD một cách thích ứng ở cả hai cấp độ: liên mẫu và nội mẫu, thông qua một cơ chế dựa trên mô hình điểm thưởng (reward model) duy nhất.

  1. Ở cấp độ liên mẫu (Inter-Reliability): Stream-R1 đánh giá mỗi video được sinh ra bởi một mô hình điểm thưởng video đã được huấn luyện trước. Điểm số này phản ánh độ tin cậy của tín hiệu giám sát DMD cho video đó. Hàm mất mát của mỗi video sau đó được nhân với một hệ số mũ của điểm thưởng này, đảm bảo rằng các video có tín hiệu giám sát đáng tin cậy (điểm thưởng cao) sẽ chi phối tín hiệu gradient.
  2. Ở cấp độ nội mẫu (Intra-Perplexity): Stream-R1 tính toán độ nhạy gradient (gradient saliency) của cùng mô hình điểm thưởng đối với từng điểm ảnh của video đầu vào. Những vùng có độ nhạy cao là những vùng mà điểm thưởng có thể được cải thiện đáng kể nếu được tối ưu hóa thêm (có độ phức tạp cao). Độ nhạy này được phân tách thành các trọng số không gian và thời gian để tập trung áp lực tối ưu hóa vào những vùng và khung hình có tiềm năng cải thiện lớn nhất.
  3. Cân bằng đa chiều: Để tránh việc tối ưu hóa chỉ tập trung vào một khía cạnh chất lượng duy nhất (ví dụ: chất lượng hình ảnh mà bỏ qua độ mượt chuyển động), Stream-R1 sử dụng một cơ chế cân bằng thích ứng, kết hợp điểm thưởng từ ba trục: chất lượng hình ảnh, chất lượng chuyển động và độ khớp văn bản, đồng thời phạt sự phân kỳ trong quá trình cải thiện giữa các trục này.

III. Main Results:​

Stream-R1 đạt được những cải thiện nhất quán trên tất cả các chiều chất lượng so với các phương pháp chưng cất cơ sở (baselines) trên các bộ tiêu chuẩn đánh giá video streaming. Các kết quả chính bao gồm:

  • Tạo video ngắn (5 giây): Stream-R1 đạt điểm tổng (Total score) 84.40 trên bộ tiêu chuẩn VBench, vượt qua tất cả các mô hình tự hồi quy/streaming khác và thậm chí vượt qua chính mô hình giáo viên khuếch tán đa bước Wan2.1 (84.26) trong khi tốc độ suy luận nhanh hơn gấp 30 lần. Cụ thể, nó cải thiện điểm Chất lượng (Quality) thêm +0.30 và điểm Ngữ nghĩa (Semantic) thêm +0.12 so với phương pháp dựa trên điểm thưởng trước đó là Reward Forcing.
  • Tạo video dài (lên đến 180 giây): Stream-R1 vượt trội hơn Reward Forcing trên tất cả sáu chỉ số của VBench ở mọi độ dài video được đánh giá. Đặc biệt, khoảng cách chất lượng ngày càng nới rộng khi độ dài video tăng lên, xác nhận rằng phương pháp này giúp giảm thiểu sự suy giảm chất lượng tích lũy (quality drift) trong các quá trình sinh tự hồi quy dài.
  • Đánh giá bằng Mô hình Ngôn ngữ Lớn có Thị giác (VLM): Stream-R1 đạt điểm cao nhất về Chất lượng Hình ảnh và Độ khớp Văn bản, cho thấy sự cải thiện cân bằng trên nhiều khía cạnh chất lượng khác nhau.

IV. Conclusion & Future Works:​

Kết luận của bài báo là việc chưng cất DMD một cách bừa bãi đã bỏ qua sự khác biệt về độ tin cậy của tín hiệu giám sát và tiềm năng cải thiện không đồng đều trong mỗi video. Bằng cách đề xuất Stream-R1, một khuôn khổ nhận biết độ tin cậy - độ phức tạp sử dụng mô hình điểm thưởng để điều chỉnh trọng số tối ưu ở cả cấp độ video và cấp độ điểm ảnh, bài báo đã chứng minh được sự cải thiện chất lượng đáng kể mà không cần thay đổi kiến trúc mô hình hay tăng chi phí suy luận. Các hướng nghiên cứu trong tương lai có thể bao gồm việc áp dụng Stream-R1 cho các mô hình nền tảng tạo video lớn hơn, mở rộng cơ chế điểm thưởng để bao gồm các chiều chất lượng chủ quan và đa dạng hơn từ phản hồi của con người, và khám phá khả năng tích hợp kỹ thuật này vào các bài toán tạo nội dung đa phương thức khác ngoài video.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Stream-R1++: Learning Dynamic Reward Ensembles for Robust Streaming Video Distillation: Nghiên cứu này sẽ mở rộng Stream-R1 bằng cách sử dụng một tập hợp (ensemble) các mô hình điểm thưởng được huấn luyện trên các tập dữ liệu và tiêu chí chất lượng đa dạng (ví dụ: tính thẩm mỹ, độ an toàn nội dung, phong cách nghệ thuật). Thay vì dùng một mô hình điểm thưởng tĩnh, hệ thống sẽ học cách kết hợp động các điểm thưởng này dựa trên ngữ cảnh của văn bản đầu vào (prompt), giúp quá trình chưng cất trở nên linh hoạt và mạnh mẽ hơn, thích ứng với nhiều yêu cầu tạo video khác nhau.
  2. Cross-Modal Perplexity Transfer for Zero-Shot Video Distillation: Hướng nghiên cứu này tập trung vào việc ước lượng "độ phức tạp" (perplexity) mà không cần mô hình điểm thưởng video. Ý tưởng là sử dụng một mô hình ngôn ngữ lớn đa phương thức (MLLM) để dự đoán vùng không gian-thời gian nào trong video có khả năng chứa lỗi hoặc chưa hoàn thiện dựa trên mô tả văn bản. Tín hiệu "độ phức tạp" này sau đó được chuyển giao (transfer) sang quá trình chưng cất video, loại bỏ sự phụ thuộc vào mô hình điểm thưởng video chuyên biệt và mở ra khả năng chưng cất zero-shot.
  3. Adversarial Reliability Probing for Certifiably Robust Streaming Generation: Bài báo này sẽ nghiên cứu tính bền vững của cơ chế Inter-Reliability trong Stream-R1 trước các nhiễu loạn đối kháng (adversarial perturbations). Mục tiêu là phát triển một phương pháp "thăm dò độ tin cậy đối kháng" (Adversarial Reliability Probing), trong đó một tác nhân (agent) sẽ cố gắng tìm ra các video đầu vào khiến mô hình điểm thưởng đánh giá sai độ tin cậy của tín hiệu DMD. Bằng cách huấn luyện để chống lại các trường hợp này, mô hình sinh video được chưng cất sẽ có chứng nhận (certifiably) về độ tin cậy và an toàn hơn.

2. Patent:​

  1. Hệ thống và phương pháp tăng cường chất lượng video trên thiết bị di động dựa trên phản hồi điểm ảnh thời gian thực: Sáng chế mô tả một hệ thống trên điện thoại di động cho phép người dùng quay video và ngay lập tức cải thiện chất lượng video đó một cách thông minh. Khi người dùng xem lại video vừa quay, họ có thể chạm vào một vùng cụ thể trên màn hình (ví dụ: khuôn mặt bị mờ, vùng trời bị cháy sáng). Hành động chạm này tạo ra một "điểm thưởng cục bộ" (local reward). Một mô hình sinh video nhẹ được chưng cất bằng kỹ thuật tương tự Stream-R1, được tích hợp trong chip xử lý của điện thoại, sẽ tập trung tái tạo và tinh chỉnh chỉ riêng vùng không gian-thời gian đó dựa trên phản hồi của người dùng, thay vì xử lý toàn bộ video, giúp tiết kiệm năng lượng và thời gian xử lý.
  2. Phương pháp và thiết bị tạo video tua nhanh thời lượng dài với cơ chế tự động phát hiện và sửa lỗi rung giật: Sáng chế này hướng đến tính năng tạo video tua nhanh (time-lapse) hoặc slow-motion từ một video dài trên điện thoại. Hệ thống sẽ sử dụng một mô hình sinh streaming đã được chưng cất, hoạt động ngầm khi điện thoại ở chế độ chờ. Mô hình này liên tục phân tích video gốc và sử dụng cơ chế "độ phức tạp nội mẫu" (Intra-Perplexity) để tự động xác định các khung hình hoặc vùng có chất lượng kém (ví dụ: rung, mờ do chuyển động nhanh). Sau đó, nó sẽ chỉ tập trung tối ưu hóa và tái tạo những phần đó để tạo ra một video tua nhanh hoặc slow-motion mượt mà, chất lượng cao mà không cần xử lý lại toàn bộ.
  3. Công nghệ tối ưu hóa luồng trực tiếp video dựa trên độ phức tạp nội dung và điều kiện băng thông: Sáng chế mô tả một giải pháp cho các ứng dụng gọi video hoặc phát trực tiếp (live streaming) trên điện thoại. Hệ thống sẽ tích hợp một mô hình đánh giá "độ phức tạp" (perplexity) nhẹ, hoạt động ở phía người gửi. Mô hình này phân tích từng khung hình theo thời gian thực để xác định vùng nào có độ phức tạp thấp (ví dụ: nền tĩnh) và vùng nào có độ phức tạp cao (ví dụ: khuôn mặt đang nói). Dựa trên điều kiện băng thông mạng hiện tại, hệ thống sẽ phân bổ chất lượng mã hóa (bitrate) một cách thông minh: ưu tiên độ phân giải và chất lượng cao nhất cho các vùng phức tạp, đồng thời giảm chất lượng các vùng đơn giản. Điều này đảm bảo trải nghiệm cuộc gọi/video trực tuyến mượt mà và rõ nét ở những chi tiết quan trọng ngay cả khi mạng yếu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.03849
ArXiv Abstracthttps://arxiv.org/abs/2605.03849
PDF Downloadhttps://arxiv.org/pdf/2605.03849.pdf
Github Repositoryhttps://github.com/FrameX-AI/Stream-R1

2. Stream-T1: Test-Time Scaling for Streaming Video Generation (93 votes)​

Tác giả: Yijing Tu, Shaojin Wu, Mengqi Huang, Wenchuan Wang, Yuxin Wang, Chunxiao Liu, Zhendong Mao

Xuất bản lúc: 2026-05-06

Tag: Video Generation, Test-Time Scaling, Streaming Video, Diffusion Models, Autoregressive Models, Beam Search, KV-Cache, Reward Models

I. Main Problem:​

Các phương pháp tạo video hiện tại gặp khó khăn trong việc duy trì tính nhất quán về mặt ngữ nghĩa, chuyển động mượt mà và tính liên kết thời gian dài hạn. Các kỹ thuật Test-Time Scaling (TTS) hiện có cho khuếch tán video yêu cầu chi phí tính toán cực lớn để khám phá không gian ứng viên toàn cục, đồng thời thiếu khả năng kiểm soát tạm thời chi tiết, dẫn đến việc không thể sửa lỗi cục bộ trên trục thời gian.

II. Main Idea:​

Đề xuất Stream-T1, khung Test-Time Scaling đầu tiên dành riêng cho tạo video dạng luồng (streaming). Thay vì tạo toàn bộ video cùng lúc, Stream-T1 hoạt động theo từng đoạn (chunk) với ba cơ chế chính: (1) Lan truyền nhiễu theo luồng (Stream-Scaled Noise Propagation) tinh chỉnh nhiễu khởi tạo của đoạn hiện tại dựa trên nhiễu chất lượng cao từ đoạn trước; (2) Cắt tỉa phần thưởng theo luồng (Stream-Scaled Reward Pruning) đánh giá toàn diện các ứng viên để cân bằng giữa thẩm mỹ không gian cục bộ và tính liên kết thời gian toàn cục; (3) Neo bộ nhớ theo luồng (Stream-Scaled Memory Sinking) định tuyến động ngữ cảnh bị loại khỏi KV-cache vào các đường dẫn cập nhật khác nhau dựa trên phản hồi phần thưởng.

III. Main Results:​

Trên benchmark video 5 giây, Stream-T1 đạt kết quả tốt nhất ở 6/8 chỉ số, bao gồm Subject Consistency (97.25), Motion Smoothness (99.15) và Aesthetic Quality (65.98). Trên benchmark video 30 giây, Stream-T1 vượt trội toàn diện với Subject Consistency (98.43), Motion Smoothness (99.03) và các chỉ số VideoAlign như Visual Quality (-0.073) và Text Alignment (1.170). So với các phương pháp TTS thông thường (Best-of-N, Beam Search), Stream-T1 thể hiện ưu thế vượt trội trên mọi chỉ số.

IV. Conclusion & Future Works:​

Stream-T1 là khung Test-Time Scaling tiên phong cho tạo video dạng luồng, chứng minh rằng việc tối ưu hóa chủ động quỹ đạo tạo sinh (thay vì chỉ chọn thụ động) giúp cải thiện đáng kể chất lượng video dài. Các hướng phát triển tương lai bao gồm: (1) Mở rộng Stream-T1 cho các mô hình nền tảng khác ngoài LongLive; (2) Tối ưu hóa chi phí tính toán của quá trình tìm kiếm beam search để có thể triển khai trên các thiết bị có tài nguyên hạn chế; (3) Khám phá các hàm phần thưởng học sâu hơn, có khả năng đánh giá chính xác hơn các khía cạnh ngữ nghĩa phức tạp và chuyển động tinh tế trong video dài.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc tích hợp Test-Time Scaling vào các mô hình tạo video dạng luồng dựa trên kiến trúc Diffusion Transformer (DiT) mới nhất, nhằm cải thiện hơn nữa chất lượng và giảm số bước khử nhiễu cần thiết.
  2. Phát triển một hàm phần thưởng đa phương thức tiên tiến, kết hợp phản hồi từ mô hình ngôn ngữ lớn (LLMs) và mô hình thị giác, để đánh giá chính xác hơn tính liên kết ngữ nghĩa và logic hành động trong video dài sinh ra bởi Stream-T1.
  3. Khám phá khả năng áp dụng cơ chế Memory Sinking thích ứng của Stream-T1 vào các tác vụ sinh dữ liệu tuần tự khác như tạo nhạc, tạo lời thoại hoặc sinh mã nguồn theo thời gian thực.

2. Patent:​

  1. Hệ thống và phương pháp quay video chân dung dài trên điện thoại di động sử dụng kỹ thuật lan truyền nhiễu thích ứng: Khi người dùng quay video selfie liên tục, hệ thống sẽ tự động tinh chỉnh chất lượng từng phân đoạn video dựa trên lịch sử các phân đoạn trước đó, giúp duy trì độ sắc nét và ổn định khuôn mặt ngay cả trong điều kiện ánh sáng thay đổi hoặc chuyển động nhanh mà không cần xử lý hậu kỳ nặng nề.
  2. Phương pháp tự động tạo và chỉnh sửa video ngắn (reels/shorts) theo phong cách nhất quán trên điện thoại: Dựa trên một đoạn video mẫu ngắn, hệ thống sử dụng cơ chế cắt tỉa phần thưởng để tự động sinh thêm các phân cảnh mới có phong cách hình ảnh, chuyển động và nhân vật đồng nhất với mẫu ban đầu, cho phép người dùng kéo dài video một cách liền mạch mà không bị đứt gãy về mặt thị giác.
  3. Công nghệ quản lý bộ nhớ thông minh cho tính năng xem trước video AI trên thiết bị di động: Khi một mô hình AI trên điện thoại tạo video dài theo thời gian thực, cơ chế Neo Bộ Nhớ (Memory Sinking) sẽ tự động phát hiện các cảnh chuyển tiếp quan trọng và lưu trữ chúng một cách hiệu quả vào bộ nhớ đệm, đồng thời loại bỏ các khung hình dư thừa. Điều này giúp người dùng có thể tạm dừng và tua lại video đang được tạo mà không gây giật lag hay tiêu tốn quá nhiều RAM của máy.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.04461
ArXiv Abstracthttps://arxiv.org/abs/2605.04461
PDF Downloadhttps://arxiv.org/pdf/2605.04461.pdf
Github Repositoryhttps://github.com/FrameX-AI/Stream-T1

3. RLDX-1 Technical Report (92 votes)​

Tác giả: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Chang Hwan Kim, Dohyeon Kim, Hazel Lee, Heecheol Kim, Hensen Ahn, Hyungkyu Ryu, Hyunsoo Choi, Hyunsoo Shin, Jaeheon Jung, Jaewoo Kim, Jinwook Kim, Joochul Chang, Joonsoo Kim, Junghun Park, Jungwoo Park, Junho Cho, Junhyeok Park, Junwon Lee, Kangwook Lee, Kwanghoon Kim, Kyoungwhan Choe, Manoj Bhadu, Nayoung Oh, Sangjun Kim, Sangwoo Kim, Seunghoon Shim, Seunghyun Kim, Seungjun Lee, Seungyup Ka, Sungryol Yang, Wook Jung, Yashu Shukla, Yeonjae Lee, Yeonwoo Bae, Jinwoo Shin

Xuất bản lúc: 2026-05-05

Tag: Vision-Language-Action, VLA, Diffusion Transformer, Flow Matching, Humanoid Robot, Dexterous Manipulation, Multi-Stream Action Transformer, Synthetic Data Generation, Motion Awareness, Long-Term Memory, Physical Sensing

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) hiện tại đã thể hiện khả năng tổng quát hóa linh hoạt nhờ kế thừa từ các Mô hình Ngôn ngữ-Thị giác (VLM) được huấn luyện trước. Tuy nhiên, chúng gặp khó khăn trong các tác vụ thực tế phức tạp, nơi yêu cầu các khả năng chức năng rộng hơn ngoài trí thông minh linh hoạt đơn thuần. Cụ thể, ba khả năng chính còn thiếu ở các mô hình VLA tiên tiến (như π0.5 và GR00T N1.6) bao gồm: (1) Nhận thức chuyển động để xử lý các môi trường động và quỹ đạo của vật thể; (2) Trí nhớ dài hạn để đưa ra quyết định dựa trên các tương tác trong quá khứ; và (3) Cảm biến vật lý để suy luận lực tiếp xúc và các tương tác giàu tiếp xúc mà quan sát hình ảnh đơn thuần không nắm bắt được. Việc thiếu các khả năng chức năng này khiến các mô hình hiện tại hoạt động kém hiệu quả trong các tác vụ thao tác khéo léo đòi hỏi sự chính xác cao và khả năng thích ứng động.

II. Main Idea:​

Nhóm tác giả giới thiệu RLDX-1, một chính sách robot đa năng cho thao tác khéo léo, được xây dựng dựa trên bốn thành phần chính. Đầu tiên là một kiến trúc hợp nhất mang tên Multi-Stream Action Transformer (MSAT), mở rộng từ Diffusion Transformer, sử dụng các luồng chuyên biệt cho từng phương thức (Nhận thức, Hành động, Vật lý) với cơ chế tự chú ý chéo để tích hợp các tín hiệu không đồng nhất. Thứ hai, một pipeline tạo dữ liệu tổng hợp sử dụng mô hình sinh video để tạo ra các kịch bản thao tác hiếm gặp, kết hợp với bộ lọc nhất quán chuyển động để đảm bảo chất lượng hành động. Thứ ba, quy trình huấn luyện ba giai đoạn (Tiền huấn luyện đa hiện thân, Trung huấn luyện chức năng chuyên biệt, Hậu huấn luyện thích ứng tác vụ) giúp chuyên biệt hóa mô hình từ một nền tảng tổng quát thành các biến thể chuyên gia. Cuối cùng, tối ưu hóa suy luận thông qua chuyển đổi đồ thị tĩnh và hợp nhất toán tử tùy chỉnh để đạt được khả năng điều khiển thời gian thực.

III. Main Results:​

RLDX-1 vượt trội hơn hẳn các mô hình VLA tiên tiến khác như π0.5 và GR00T N1.6 trên cả mô phỏng và thực tế. Trên các bài kiểm tra mô phỏng, nó đạt 58.7% trên GR-1 Tabletop (so với 47.6% của GR00T N1.6). Trong thử nghiệm thực tế với robot hình người ALLEX, RLDX-1 đạt tỷ lệ thành công trung bình 86.8%, trong khi π0.5 và GR00T N1.6 chỉ đạt khoảng 40%. Cụ thể, trong tác vụ "Object-in-Box Selection" yêu cầu trí nhớ dài hạn, RLDX-1 đạt 91.7% so với mức ~30% của các mô hình khác. Trên tác vụ yêu cầu nhận thức chuyển động như thao tác trên băng chuyền, RLDX-1 đạt hơn 87.5% trong khi π0.5 dưới 29.2%. Về tốc độ, các tối ưu hóa suy luận đã giảm độ trễ mỗi bước từ 71.2 ms xuống còn 43.7 ms trên GPU RTX 5090, đạt tốc độ tăng 1.63 lần.

IV. Conclusion & Future Works:​

RLDX-1 là một bước tiến quan trọng hướng tới các mô hình VLA đáng tin cậy cho thao tác khéo léo trong thế giới thực, nơi các môi trường phức tạp, giàu tiếp xúc và biến đổi động. Mô hình chứng minh rằng việc tích hợp tường minh các khả năng chức năng như nhận thức chuyển động, trí nhớ dài hạn và cảm biến vật lý vào kiến trúc VLA là chìa khóa để đạt được hiệu suất vượt trội so với các mô hình chỉ dựa vào trí thông minh linh hoạt. Các hướng phát triển trong tương lai bao gồm: (1) Mở rộng khả năng học tăng cường (RL) trong giai đoạn hậu huấn luyện để cải thiện tỷ lệ thành công trên các tác vụ khó hơn nữa; (2) Cải thiện pipeline dữ liệu tổng hợp để tạo ra các kịch bản thao tác đa dạng và chất lượng cao hơn; và (3) Khám phá các chiến lược hợp nhất mô hình để giảm chi phí tính toán khi triển khai tất cả các phương thức cùng lúc.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về cơ chế tích hợp trí nhớ phân cấp cho robot, kết hợp bộ nhớ ngắn hạn (video frames) và bộ nhớ dài hạn (hành động/sự kiện) sử dụng kiến trúc Transformer với cơ chế truy xuất thích ứng, nhằm giải quyết các tác vụ thao tác có độ trễ kéo dài hàng giờ.
  2. Phát triển phương pháp học biểu diễn cảm biến vật lý (xúc giác, mô-men xoắn) không giám sát, cho phép chuyển giao tri thức giữa các cấu hình cảm biến khác nhau mà không cần gán nhãn thủ công, sử dụng các kỹ thuật học tương phản đa phương thức.
  3. Khám phá khả năng tự động sinh và lọc dữ liệu hành vi robot bằng mô hình thế giới (world model), nơi một mô hình sinh video dự đoán diễn biến tương lai và một bộ phân loại nhất quán đánh giá tính khả thi của hành động trước khi đưa vào tập huấn luyện.

2. Patent:​

  1. Hệ thống điều khiển robot bằng giọng nói và cử chỉ trên điện thoại thông minh: Người dùng quay video một thao tác mẫu và mô tả bằng lời nói; điện thoại sử dụng mô hình VLA rút gọn để phân tích video, hiểu ngữ cảnh và chuyển đổi thành lệnh hành động cho robot gia đình hoặc cánh tay robot trong nhà máy nhỏ, hỗ trợ nhận biết lực qua phản hồi rung trên điện thoại.
  2. Tính năng trợ lý camera thông minh cho thao tác thủ công: Ứng dụng camera trên điện thoại theo dõi bàn tay người dùng đang thực hiện một công việc phức tạp (như sửa chữa, nấu ăn). Mô hình RLDX-1 thu nhỏ tích hợp trí nhớ dài hạn và nhận thức chuyển động để nhận biết công đoạn hiện tại, dự đoán bước tiếp theo và cảnh báo nếu người dùng thao tác sai hoặc gặp nguy hiểm (thiếu lực, trượt tay).
  3. Phương pháp tạo và lọc dữ liệu huấn luyện robot ảo trên thiết bị di động: Một ứng dụng cho phép người dùng chụp ảnh khung cảnh và nhập mô tả tác vụ. Hệ thống trên đám mây tạo video tổng hợp về robot thực hiện tác vụ, sau đó thiết bị di động chạy một mô hình kiểm tra tính nhất quán chuyển động nhẹ để lọc bỏ các video có hành động phi thực tế trước khi gửi lại máy chủ để huấn luyện, giảm băng thông và tăng chất lượng dữ liệu cộng đồng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.03269
ArXiv Abstracthttps://arxiv.org/abs/2605.03269
PDF Downloadhttps://arxiv.org/pdf/2605.03269.pdf
Github Repositoryhttps://github.com/RLWRLD/RLDX-1

4. OpenSearch-VL: An Open Recipe for Frontier Multimodal Search Agents (84 votes)​

Tác giả: Shuang Chen, Kaituo Feng, Hangting Chen, Wenxuan Huang, Dasen Dai, Quanxin Shou, Yunlong Lin, Xiangyu Yue, Shenghua Gao, Tianyu Pang

Xuất bản lúc: 2026-05-06

Tag: Multimodal Search Agents, Reinforcement Learning, GRPO, Vision-Language Models, Tool Use, Data Curation, Deep Search

I. Main Problem:​

Các tác nhân tìm kiếm đa phương thức (multimodal search agents) tiên tiến hiện nay rất khó tái tạo do thiếu dữ liệu huấn luyện chất lượng cao mở, quy trình tổng hợp quỹ đạo minh bạch và công thức huấn luyện chi tiết. Bên cạnh đó, việc huấn luyện các tác nhân này gặp thách thức lớn khi áp dụng học tăng cường (RL) cho các tác vụ dài hơi: một lỗi gọi công cụ duy nhất có thể làm hỏng toàn bộ quá trình thực thi, và việc loại bỏ hoàn toàn các quỹ đạo lỗi sẽ lãng phí các bước suy luận đúng trước đó. Ngoài ra, đầu vào hình ảnh thực tế thường không hoàn hảo (mờ, độ phân giải thấp, méo), đòi hỏi tác nhân phải có khả năng tiền xử lý trực quan trước khi tìm kiếm, nhưng hầu hết các hệ thống hiện tại chỉ tập trung vào truy xuất.

II. Main Idea:​

Bài báo giới thiệu OpenSearch-VL, một công thức mở hoàn toàn để huấn luyện các tác nhân tìm kiếm đa phương thức tiên tiến. Các ý tưởng chính bao gồm: (1) Một pipeline tổng hợp dữ liệu chuyên dụng xây dựng các câu hỏi đa bước (multi-hop VQA) từ đồ thị Wikipedia, sử dụng kỹ thuật viết lại thực thể mờ (fuzzy entity rewriting) và neo trực quan nguồn (source-anchor visual grounding) để ngăn chặn các lối tắt truy xuất một bước. (2) Một môi trường công cụ đa dạng thống nhất tìm kiếm văn bản, tìm kiếm hình ảnh, OCR, cắt ảnh, làm sắc nét, siêu phân giải và chỉnh phối cảnh, cho phép tác nhân kết hợp nhận thức chủ động với thu thập tri thức bên ngoài. (3) Thuật toán GRPO đa lượt nhận biết lỗi nghiêm trọng (fatal-aware GRPO) xử lý các lỗi công cụ dây chuyền bằng cách che các token sau lỗi nhưng vẫn bảo toàn suy luận hữu ích trước lỗi thông qua kẹp lợi thế một phía (one-sided advantage clamping).

III. Main Results:​

OpenSearch-VL đạt được mức tăng hiệu suất đáng kể, với trung bình cải thiện hơn 10 điểm trên bảy tiêu chuẩn đánh giá. Cụ thể, so với tác nhân nền tảng Qwen3-VL-30B-A3B, mô hình cải thiện điểm trung bình từ 47.8 lên 61.6, với các mức tăng lớn trên VDR (+13.3), MMSearch (+24.5), FVQA (+10.2) và InfoSeek (+16.2). Phiên bản OpenSearch-VL-32B đạt điểm trung bình 63.7, vượt trội so với các mô hình độc quyền mạnh như Gemini-2.5-Pro. Các thí nghiệm loại bỏ thành phần cho thấy mỗi giai đoạn trong pipeline dữ liệu và công thức RL đều đóng góp đáng kể vào hiệu suất cuối cùng.

IV. Conclusion & Future Works:​

OpenSearch-VL cung cấp một nền tảng mở và có thể tái tạo cho nghiên cứu về tác nhân tìm kiếm đa phương thức, giải quyết các nút thắt về dữ liệu, công cụ và huấn luyện. Công thức này cho phép mô hình học hành vi tìm kiếm dài hơi và mạnh mẽ trên bằng chứng đa phương thức. Các hướng phát triển trong tương lai bao gồm: mở rộng môi trường công cụ với nhiều công cụ chuyên biệt hơn, cải thiện khả năng xử lý đầu vào đa phương thức phức tạp hơn như video, và khám phá các chiến lược học tăng cường hiệu quả hơn cho các tác vụ tìm kiếm dài hơi hơn nữa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng môi trường công cụ đa phương thức cho các tác nhân tìm kiếm để xử lý đầu vào video và âm thanh, cho phép truy xuất thông tin từ các nguồn dữ liệu động và liên tục, đồng thời phát triển các chiến lược căn chỉnh thời gian giữa các phương thức khác nhau trong quá trình tìm kiếm đa bước.
  2. Khám phá các phương pháp học tăng cường phân cấp (hierarchical RL) cho tác nhân tìm kiếm đa phương thức, trong đó mô hình học cách tự động phân rã các truy vấn phức tạp thành các mục tiêu con và lập kế hoạch sử dụng công cụ ở nhiều mức độ trừu tượng khác nhau để cải thiện hiệu quả trên các tác vụ tìm kiếm dài hơi.
  3. Phát triển kỹ thuật tổng hợp dữ liệu huấn luyện đa tác nhân (multi-agent data synthesis) cho tìm kiếm đa phương thức, trong đó nhiều mô hình chuyên biệt (ví dụ: chuyên gia phân tích hình ảnh, chuyên gia truy xuất) cộng tác để tạo ra các quỹ đạo huấn luyện phong phú và đa dạng hơn, giảm sự phụ thuộc vào các mô hình thương mại đắt đỏ.

2. Patent:​

  1. Phương pháp tìm kiếm thông tin sản phẩm bằng hình ảnh trên điện thoại: Người dùng chụp ảnh một sản phẩm (có thể bị mờ, thiếu sáng, hoặc chụp một phần), hệ thống sẽ tự động cải thiện chất lượng ảnh (làm sắc nét, siêu phân giải, chỉnh phối cảnh), nhận diện đối tượng qua OCR và tìm kiếm hình ảnh ngược, sau đó thực hiện truy xuất đa bước để cung cấp thông tin chi tiết như tên sản phẩm, giá cả, đánh giá và nơi mua, ngay cả khi không có thông tin văn bản rõ ràng trên ảnh gốc.
  2. Trợ lý du lịch thông minh trên điện thoại sử dụng tìm kiếm đa phương thức: Khi người dùng chụp ảnh một địa điểm, công trình kiến trúc hoặc tác phẩm nghệ thuật, hệ thống sẽ thực hiện tìm kiếm đa bước bằng cách kết hợp nhận diện hình ảnh neo (source-anchor) với truy xuất văn bản để xác định chính xác đối tượng, sau đó tự động tìm kiếm thêm thông tin về lịch sử, giờ mở cửa, giá vé và các điểm tham quan liên quan, xử lý tốt cả ảnh chụp trong điều kiện không lý tưởng (ngược sáng, góc chụp xéo).
  3. Hệ thống tra cứu và xác minh thông tin đa nguồn trên điện thoại cho học tập và nghiên cứu: Khi người dùng chụp ảnh một đoạn văn bản, biểu đồ hoặc công thức từ sách, tài liệu, hệ thống sẽ sử dụng OCR để trích xuất nội dung, sau đó thực hiện tìm kiếm đa bước với các thực thể được viết lại mờ để tìm các nguồn tham khảo, định nghĩa, bài giảng liên quan hoặc các bài báo khoa học, đồng thời tự động kiểm tra chéo thông tin từ nhiều nguồn để đánh giá độ tin cậy và cung cấp ngữ cảnh bổ sung.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.05185
ArXiv Abstracthttps://arxiv.org/abs/2605.05185
PDF Downloadhttps://arxiv.org/pdf/2605.05185.pdf
Github Repositoryhttps://github.com/shawn0728/OpenSearch-VL

5. HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation (68 votes)​

Tác giả: Xin Zhou, Dingkang Liang, Xiwu Chen, Feiyang Tan, Dingyuan Zhang, Hengshuang Zhao, Xiang Bai

Xuất bản lúc: 2026-04-30

Tag: World Model, Autonomous Driving, 3D Scene Understanding, Point Cloud Generation, Bird's-Eye View, Large Language Models, Vision-Language Models, Geometric Optimization, Multimodal Learning

I. Main Problem:​

Các mô hình thế giới lái xe hiện tại chỉ tập trung vào việc tạo ra các trạng thái tương lai (dự đoán tiến hóa hình học) nhưng thiếu khả năng hiểu ngữ cảnh 3D (mô tả cảnh, trả lời câu hỏi). Ngược lại, các Mô hình Ngôn ngữ Lớn (LLMs) có khả năng suy luận vượt trội nhưng không thể dự đoán được sự tiến hóa của môi trường trong tương lai. Khoảng cách giữa khả năng diễn giải ngữ nghĩa và mô phỏng vật lý này tạo ra một sự thiếu hụt lớn về năng lực, khi các mô hình tạo sinh không thể trả lời các truy vấn trực tiếp và các mô hình ngôn ngữ không thể dự đoán rủi ro va chạm dựa trên biến đổi hình học.

II. Main Idea:​

Đề xuất HERMES++, một mô hình thế giới lái xe thống nhất tích hợp hiểu biết cảnh 3D và dự đoán tiến hóa hình học trong tương lai. Ý tưởng cốt lõi là sử dụng biểu diễn Bird's-Eye View (BEV) để hợp nhất thông tin đa góc nhìn tương thích với LLM, giới thiệu cơ chế 'world queries' được tăng cường bởi LLM để chuyển giao tri thức từ nhánh hiểu biết sang nhánh sinh tạo, và xây dựng 'Current-to-Future Link' để dự đoán các trạng thái tương lai dựa trên ngữ cảnh ngữ nghĩa và chuyển động của xe. Một chiến lược Tối ưu Hóa Hình học Kết hợp (Joint Geometric Optimization) được sử dụng để đảm bảo tính toàn vẹn cấu trúc bằng cách kết hợp các ràng buộc hình học tường minh với điều chỉnh tiềm ẩn.

III. Main Results:​

HERMES++ vượt trội hơn các mô hình chuyên biệt trên cả hai tác vụ. Về dự đoán đám mây điểm tương lai, mô hình giảm 8.2% lỗi Chamfer Distance (CD) ở thời điểm 3 giây so với DriveX và giảm tới 41.6% so với ViDAR. Về hiểu biết cảnh 3D, mô hình vượt qua mô hình chuyên biệt Omni-Q tới 9.2% trên chỉ số CIDEr. Các cải tiến kỹ thuật như Joint Geometric Optimization và Textual Injection đã giúp giảm 13.7% lỗi sinh tạo so với phiên bản hội nghị trước đó.

IV. Conclusion & Future Works:​

HERMES++ là một bước tiến quan trọng hướng tới mô hình thế giới lái xe thống nhất, chứng minh tính khả thi của việc tích hợp hiểu biết cảnh và dự đoán hình học trong tương lai. Nghiên cứu này đặt nền móng cho lĩnh vực hệ thống lái xe tự động có khả năng diễn giải và dự đoán. Các hướng phát triển trong tương lai có thể tập trung vào việc mở rộng quy mô kiến trúc thống nhất, khám phá sự cộng hưởng nội tại giữa khả năng hiểu và tiến hóa hình học, và phát triển các mô hình nền tảng cho lái xe tự động có khả năng diễn giải.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế chuyển giao tri thức hai chiều giữa nhánh hiểu biết ngôn ngữ và nhánh sinh tạo hình học trong mô hình lái xe thống nhất, cho phép dự đoán tương lai cải thiện khả năng trả lời câu hỏi và ngược lại.
  2. Phát triển phương pháp tối ưu hóa hình học kết hợp mới, sử dụng các ràng buộc tường minh và điều chỉnh tiềm ẩn dựa trên các biểu diễn học tự giám sát để cải thiện độ chính xác và tính nhất quán của dự đoán đám mây điểm 3D trong các tác vụ lái xe tự động.
  3. Khám phá khả năng mở rộng của kiến trúc mô hình thế giới thống nhất cho các tác vụ lập kế hoạch và ra quyết định đầu-cuối, tích hợp trực tiếp dự đoán tiến hóa cảnh với hành động lái xe dựa trên ngôn ngữ.

2. Patent:​

  1. Hệ thống hỗ trợ lái xe trên điện thoại thông minh có khả năng dự đoán va chạm dựa trên video: Ứng dụng sử dụng camera điện thoại ghi lại cảnh giao thông phía trước, mô hình AI sẽ hiểu ngữ cảnh (nhận diện xe, người đi bộ) và dự đoán quỹ đạo 3D của họ trong vài giây tới để cảnh báo sớm nguy cơ va chạm tiềm ẩn.
  2. Tính năng trợ lý lái xe thông minh bằng giọng nói: Tích hợp mô hình HERMES++ vào hệ thống giải trí trên ô tô hoặc ứng dụng di động, cho phép tài xế đặt câu hỏi bằng giọng nói như 'Xe phía sau đang di chuyển thế nào?' hoặc 'Có đủ khoảng trống để chuyển làn không?'. Hệ thống sẽ phân tích camera toàn cảnh, hiểu câu hỏi và đưa ra câu trả lời dựa trên dự đoán tiến hóa hình học của môi trường xung quanh.
  3. Phương pháp nén và truyền tải dữ liệu bản đồ 3D cho thiết bị di động: Sử dụng khả năng dựng lại đám mây điểm 3D từ ảnh đa góc nhìn và dự đoán tương lai của mô hình để tạo ra bản đồ 3D cập nhật theo thời gian thực từ camera điện thoại. Khi chia sẻ vị trí, thay vì gửi video nặng, thiết bị chỉ cần gửi các đặc trưng BEV đã được nén, cho phép thiết bị nhận tái tạo lại toàn bộ khung cảnh 3D và dự đoán các thay đổi sắp tới một cách nhẹ nhàng và bảo mật hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.28196
ArXiv Abstracthttps://arxiv.org/abs/2604.28196
PDF Downloadhttps://arxiv.org/pdf/2604.28196.pdf
Github Repositoryhttps://github.com/H-EmbodVis/HERMESV2

6. PhysForge: Generating Physics-Grounded 3D Assets for Interactive Virtual World (30 votes)​

Tác giả: Yunhan Yang, Chunshi Wang, Junliang Ye, Yang Li, Zanxin Chen, Zehuan Huang, Yao Mu, Zhuo Chen, Chunchao Guo, Xihui Liu

Xuất bản lúc: 2026-05-06

Tag: 3D Generation, Diffusion Models, VLM, Physics-Grounded Generation, Part-Aware Generation, Articulated Objects, Embodied AI, Interactive Virtual World

I. Main Problem:​

Các mô hình tạo sinh 3D hiện nay chủ yếu tập trung vào việc tạo ra hình học tĩnh và kết cấu bề mặt, bỏ qua các thuộc tính vật lý cần thiết cho tương tác (như khối lượng, chất liệu, khớp nối). Các tài sản 3D được tạo ra giống như những "vỏ rỗng", không thể được nắm, đẩy, hay thao tác bởi các tác nhân AI, do đó không thể triển khai trực tiếp trong các mô phỏng robot hay môi trường game đòi hỏi tương tác vật lý chân thực. Khoảng trống này tạo ra nút thắt cổ chai nghiêm trọng cho nhu cầu nội dung 3D quy mô lớn trong thế giới ảo tương tác và AI thể hiện.

II. Main Idea:​

Đề xuất PhysForge, một khung tạo sinh hai giai đoạn tách biệt giữa lập kế hoạch vật lý và hiện thực hóa vật lý, nhằm tạo ra tài sản 3D có căn cứ vật lý từ một ảnh đầu vào duy nhất. Giai đoạn đầu sử dụng Mô hình Ngôn ngữ Thị giác (VLM) đóng vai trò như một "kiến trúc sư vật lý", lên kế hoạch cho một "Bản thiết kế Vật lý Phân cấp" định nghĩa các ràng buộc về chất liệu, chức năng và động học cho từng bộ phận. Giai đoạn hai sử dụng một mô hình khuếch tán được dẫn dắt bởi bản thiết kế này, với cơ chế KineVoxel Injection (KVI) mới để tổng hợp đồng thời hình học chất lượng cao và các tham số động học chính xác. Toàn bộ khung được hỗ trợ bởi PhysDB, một bộ dữ liệu quy mô lớn gồm 150.000 tài sản với hệ thống chú thích vật lý bốn tầng.

III. Main Results:​

PhysForge đạt được hiệu suất vượt trội trên nhiều tiêu chí đánh giá. Về quy hoạch cấu trúc bộ phận, mô hình đạt Bbox IoU 42.95% và Voxel IoU 53.74% trên tập PartObjaverse-Tiny, vượt qua các mô hình hiện đại nhất. Về tạo sinh thuộc tính vật lý, trên tập PhysXNet, mô hình giảm sai số tuyệt đối về kích thước xuống còn 11.04 cm và sai số chất liệu xuống 0.81, tốt hơn đáng kể so với PhysXGen. Trên tập PhysDB đa dạng hơn, mô hình cũng cho thấy lợi thế rõ rệt. Đối với tạo sinh vật thể có khớp nối, PhysForge đạt Joint-Axis-Err-all là 0.164 và Joint-Pivot-Err-all là 0.096, chính xác hơn nhiều so với các mô hình như Articulate Anything hay URDFormer. Các thí nghiệm loại bỏ thành phần cho thấy việc tích hợp nhúng loại khớp và bộ mã hóa/giải mã động học chuyên biệt là yếu tố then chốt cho độ chính xác của tham số khớp.

IV. Conclusion & Future Works:​

PhysForge giới thiệu một khung sinh mới cho phép tạo ra các tài sản 3D có căn cứ vật lý, sẵn sàng cho tương tác, giải quyết điểm mù lớn của các mô hình tạo sinh 3D hiện tại. Sự kết hợp giữa VLM để lập kế hoạch ngữ nghĩa và mô hình khuếch tán để tổng hợp chính xác, cùng với bộ dữ liệu PhysDB, đã tạo ra một công cụ dữ liệu nền tảng cho AI thể hiện và thế giới ảo. Các hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng khung để tạo sinh toàn bộ cảnh 3D tương tác thay vì chỉ các vật thể đơn lẻ, cải thiện độ chính xác và tính đa dạng của các thuộc tính vật lý được tạo ra, và tích hợp sâu hơn với các mô hình ngôn ngữ hành động (VLA) để lập kế hoạch và thực thi tác vụ robot một cách tự động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng PhysForge để tạo sinh toàn bộ cảnh 3D tương tác, nơi không chỉ các vật thể đơn lẻ mà cả mối quan hệ vật lý và ràng buộc giữa chúng (ví dụ: một cuốn sách nằm trên bàn, một cánh cửa trong tủ) được lập kế hoạch và tạo sinh một cách tự động.
  2. Phát triển một mô hình khuếch tán có khả năng tạo sinh đa dạng các thuộc tính vật lý (như độ đàn hồi, ma sát, trọng tâm) một cách chính xác hơn, có thể thông qua việc học từ dữ liệu mô phỏng vật lý hoặc video tương tác thực tế.
  3. Tích hợp PhysForge với các Mô hình Ngôn ngữ - Hành động (Vision-Language-Action - VLA) để tạo thành một vòng lặp khép kín: VLA sử dụng tài sản được tạo ra để mô phỏng và lên kế hoạch cho một tác vụ, sau đó yêu cầu PhysForge tạo ra hoặc điều chỉnh các vật thể mới dựa trên phản hồi từ quá trình thực thi tác vụ.

2. Patent:​

  1. Hệ thống và phương pháp trên điện thoại di động cho phép người dùng chụp một bức ảnh đồ vật thật (ví dụ: một chiếc đồng hồ báo thức bị hỏng) và tự động tạo ra một mô hình 3D có đầy đủ thuộc tính vật lý và khớp nối. Mô hình này sau đó có thể được sử dụng trong một ứng dụng AR để hướng dẫn sửa chữa từng bước, khoanh vùng các bộ phận có thể tháo rời và hiển thị hoạt ảnh cách chúng chuyển động.
  2. Công nghệ tạo nội dung cho game mobile, nơi từ một bản phác thảo hoặc ảnh chụp màn hình ý tưởng, hệ thống tự động tạo ra một vật phẩm 3D hoàn chỉnh với các thuộc tính vật lý (khối lượng, chất liệu) và các bộ phận có thể tương tác (cửa mở, cần gạt). Người chơi có thể tùy chỉnh và nhập ngay vật phẩm này vào môi trường game, sẵn sàng cho các tương tác vật lý thời gian thực.
  3. Ứng dụng trên điện thoại cho phép quét nhanh một không gian (ví dụ: góc học tập) và tự động tạo ra một 'bản sao số' 3D của không gian đó với đầy đủ các vật thể có căn cứ vật lý. Người dùng có thể tương tác với bản sao này trong AR (ví dụ: mở ngăn kéo, nhấc một cuốn sách) để lên kế hoạch sắp xếp lại đồ đạc, và ứng dụng sẽ kiểm tra tính khả thi vật lý (ví dụ: chồng sách có đổ không) trước khi người dùng thực hiện ngoài đời thật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.05163
ArXiv Abstracthttps://arxiv.org/abs/2605.05163
PDF Downloadhttps://arxiv.org/pdf/2605.05163.pdf
Github Repositoryhttps://github.com/HKU-MMLab/PhysForge

7. Rethinking Reasoning-Intensive Retrieval: Evaluating and Advancing Retrievers in Agentic Search Systems (27 votes)​

Tác giả: Yilun Zhao, Jinbiao Wei, Tingyu Song, Siyue Zhang, Chen Zhao, Arman Cohan

Xuất bản lúc: 2026-05-05

Tag: Information Retrieval, Reasoning-Intensive Retrieval, Agentic Search, Deep Research, Synthetic Data, LoRA Fine-tuning, Benchmark, Evaluation

I. Main Problem:​

Các hệ thống truy xuất thông tin hiện tại gặp khó khăn trong các tác vụ đòi hỏi suy luận phức tạp (reasoning-intensive retrieval), nơi bằng chứng cần thiết thường trải rộng trên nhiều khía cạnh và không thể được tìm thấy trong một lần truy xuất duy nhất. Các đánh giá hiện có (ví dụ: BRIGHT) chỉ cung cấp tập bằng chứng vàng hạn chế và đánh giá bộ truy xuất một cách cô lập, trong khi các kho ngữ liệu huấn luyện tổng hợp thường tối ưu hóa cho sự liên quan của một đoạn văn duy nhất thay vì xây dựng một danh mục bằng chứng bổ trợ.

II. Main Idea:​

Nhóm tác giả đề xuất BRIGHT-PRO, một khung đánh giá mở rộng BRIGHT với các tập bằng chứng vàng đa khía cạnh được chuyên gia chú thích, cho phép đánh giá bộ truy xuất trong cả môi trường tĩnh và môi trường tác tử (agentic). Họ cũng xây dựng RTriever-Synth, một kho ngữ liệu tổng hợp phân rã theo khía cạnh, tạo ra các đoạn văn tích cực bổ trợ và các đoạn văn tiêu cực khó dựa trên điều kiện của đoạn tích cực, để huấn luyện bộ truy xuất RTriever-4B bằng phương pháp LoRA.

III. Main Results:​

Trong đánh giá tĩnh, RTriever-4B (4B tham số) vượt trội hơn tất cả các bộ truy xuất đa dụng 7-8B tham số. Trong đánh giá tác tử vòng cố định, RTriever-4B đứng thứ ba về chất lượng tổng thể (4.25/5), đứng sau BGE-Reasoner-8B và DIVER-4B. Trong môi trường vòng thích ứng (adaptive-round), RTriever-4B đứng thứ hai về chỉ số Phần thưởng Chất lượng-Hiệu quả (AER), chứng tỏ khả năng cung cấp bằng chứng chất lượng cao với ít vòng truy xuất hơn. Đánh giá theo khía cạnh và tác tử đã phơi bày các hành vi truy xuất bị che giấu bởi các chỉ số tiêu chuẩn.

IV. Conclusion & Future Works:​

Công trình này kêu gọi xây dựng và đánh giá các bộ truy xuất dựa trên danh mục bằng chứng đầy đủ thay vì chỉ từng đoạn văn riêng lẻ. Các hướng nghiên cứu tương lai bao gồm: mở rộng BRIGHT-PRO sang nhiều lĩnh vực chuyên gia hơn, khám phá quy trình chú thích bán tự động để tăng quy mô dữ liệu, và nghiên cứu các mục tiêu huấn luyện đa tích cực (multi-positive) hoặc chương trình giảng dạy tiêu cực (negative curricula) trên bộ dữ liệu RTriever-Synth đầy đủ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu phương pháp học tăng cường cho tác tử tìm kiếm, trong đó tác tử học cách đưa ra truy vấn tối ưu dựa trên phản hồi về độ bao phủ khía cạnh của bằng chứng đã truy xuất.
  2. Phát triển một mô-đun lập kế hoạch truy vấn động cho hệ thống Deep-Research, có khả năng dự đoán trước những khía cạnh suy luận còn thiếu để tạo ra các truy vấn tìm kiếm có chủ đích và hiệu quả hơn.
  3. Khám phá các kỹ thuật tổng hợp dữ liệu đa phương thức cho truy xuất suy luận chuyên sâu, mở rộng quy trình RTriever-Synth để tạo ra bằng chứng bổ trợ từ văn bản, hình ảnh và bảng biểu.

2. Patent:​

  1. Hệ thống trợ lý ảo trên điện thoại có khả năng phân rã câu hỏi phức tạp của người dùng thành các khía cạnh suy luận nhỏ hơn, sau đó tự động tìm kiếm và tổng hợp thông tin bổ trợ từ nhiều nguồn khác nhau để đưa ra câu trả lời toàn diện, thay vì chỉ trả về một đoạn trích dẫn duy nhất.
  2. Phương pháp tối ưu hóa mức tiêu thụ năng lượng và dữ liệu cho các ứng dụng tìm kiếm chuyên sâu trên thiết bị di động bằng cách sử dụng một bộ truy xuất nhẹ được huấn luyện để ưu tiên các bằng chứng bổ trợ, giúp hệ thống đạt được câu trả lời chất lượng cao trong ít vòng truy vấn mạng hơn.
  3. Công cụ đánh giá chất lượng thông tin tích hợp trong trình duyệt di động, có khả năng phân tích một bài báo hoặc trang web và cảnh báo người dùng nếu nội dung chỉ tập trung vào một khía cạnh của vấn đề (suy luận phiến diện) trong khi bỏ qua các khía cạnh quan trọng khác, dựa trên một mô hình phân rã khía cạnh được huấn luyện trước.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.04018
ArXiv Abstracthttps://arxiv.org/abs/2605.04018
PDF Downloadhttps://arxiv.org/pdf/2605.04018.pdf
Github Repositoryhttps://github.com/yale-nlp/Bright-Pro

8. D-OPSD: On-Policy Self-Distillation for Continuously Tuning Step-Distilled Diffusion Models (20 votes)​

Tác giả: Dengyang Jiang, Xin Jin, Dongyang Liu, Zanyi Wang, Mingzhe Zheng, Ruoyi Du, Xiangpeng Yang, Qilong Wu, Zhen Li, Peng Gao, Harry Yang, Steven Hoi

Xuất bản lúc: 2026-05-06

Tag: Diffusion Models, Step-Distillation, On-Policy Self-Distillation, Continuous Fine-Tuning, Text-to-Image Generation, Flow-Matching, LLM/VLM Encoder, LoRA

I. Main Problem:​

Các mô hình tạo ảnh hiệu suất cao hiện nay đang chuyển dịch từ kiến trúc nhiều bước sang kiến trúc ít bước (step-distilled) để tăng tốc độ suy luận. Tuy nhiên, việc tinh chỉnh liên tục (continuous fine-tuning) các mô hình ít bước này gặp thách thức lớn: các phương pháp tinh chỉnh có giám sát (SFT) tiêu chuẩn thường làm phá hủy khả năng suy luận ít bước vốn có của mô hình do sự không khớp giữa quá trình huấn luyện (sử dụng ảnh mục tiêu được gây nhiễu) và suy luận (tự sinh mẫu). Các phương pháp học tăng cường (RL) trực tuyến thì đòi hỏi hàm thưởng được thiết kế cẩn thận, vốn không khả thi với các nhà phát triển thứ cấp chỉ có dữ liệu cặp ảnh-văn bản.

II. Main Idea:​

Bài báo đề xuất D-OPSD (Diffusion On-Policy Self-Distillation), một khuôn khổ huấn luyện mới cho phép học on-policy trong quá trình tinh chỉnh có giám sát. Ý tưởng cốt lõi dựa trên quan sát rằng các mô hình khuếch tán hiện đại sử dụng LLM/VLM làm bộ mã hóa có thể kế thừa khả năng ngữ cảnh (in-context capability) của bộ mã hóa đó. Cụ thể, trong quá trình huấn luyện, mô hình đóng hai vai trò: học sinh (student) chỉ nhận điều kiện là đặc trưng văn bản (text feature) và giáo viên (teacher) nhận điều kiện mạnh hơn là đặc trưng đa phương thức (multimodal feature) của cả văn bản và ảnh mục tiêu. Mô hình học sinh được tối ưu trên chính quỹ đạo sinh ảnh (roll-outs) của nó để khớp với dự đoán của giáo viên, cho phép học kiến thức mới mà không làm hỏng khả năng suy luận ít bước ban đầu.

III. Main Results:​

Thử nghiệm trên các mô hình Z-Image-Turbo và FLUX.2-klein cho thấy D-OPSD vượt trội hơn hẳn các phương pháp tinh chỉnh truyền thống (Vanilla SFT, DreamBooth, PSO) trong cả hai kịch bản:

  • Huấn luyện LoRA trên tập dữ liệu nhỏ: D-OPSD học khái niệm/phong cách mới hiệu quả (điểm DINO-D, VLM-J cao), đồng thời duy trì chất lượng ảnh (Quality-S, Aesthetic-S) và khả năng khái quát hóa (CLIP-S) tốt hơn.
  • Tinh chỉnh toàn phần trên tập dữ liệu lớn: D-OPSD thích ứng với miền dữ liệu mới (anime) mà không gây ra sự lãng quên thảm khốc (thể hiện qua điểm Geneval, DPG duy trì ở mức cao) và vẫn giữ được khả năng sinh ảnh chất lượng cao với ít bước.

IV. Conclusion & Future Works:​

D-OPSD là một khuôn khổ hiệu quả để liên tục tinh chỉnh các mô hình khuếch tán đã được chắt lọc bước (step-distilled), dựa trên khả năng tự chắt lọc on-policy. Hướng nghiên cứu tương lai bao gồm: (1) Khám phá cách xây dựng ngữ cảnh phong phú hơn cho mô hình giáo viên, ví dụ như tích hợp tín hiệu từ các mô hình chỉnh sửa ảnh hoặc sinh video; (2) Kết hợp D-OPSD với các ràng buộc huấn luyện bổ sung; (3) Nghiên cứu việc đưa chiến lược đa chuyên gia on-policy (multi-expert OPD) vào giai đoạn hậu huấn luyện của mô hình khuếch tán dựa trên hàm mất mát D-OPSD.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng D-OPSD cho các tác vụ sinh ảnh có điều kiện phức tạp hơn như sinh ảnh từ bố cục (layout-to-image) hoặc sinh ảnh dựa trên đa tham chiếu, nơi ngữ cảnh giáo viên có thể được làm giàu bằng nhiều ảnh hoặc thông tin không gian.
  2. Khám phá việc áp dụng kỹ thuật tự chắt lọc on-policy để giải quyết vấn đề lãng quên thảm khốc trong học liên tục (continual learning) cho mô hình khuếch tán, cho phép mô hình học tuần tự nhiều khái niệm hoặc phong cách mới mà không cần truy cập lại dữ liệu cũ.
  3. Phát triển một phương pháp tự động tìm kiếm và xây dựng ngữ cảnh tối ưu cho mô hình giáo viên trong khuôn khổ D-OPSD, sử dụng các kỹ thuật tối ưu hóa prompt hoặc học tăng cường để tối đa hóa chất lượng tín hiệu giám sát từ chính mô hình.

2. Patent:​

  1. Hệ thống cá nhân hóa ảnh đại diện và nhãn dán (sticker) trên điện thoại: Người dùng cung cấp một vài ảnh chân dung, hệ thống sử dụng D-OPSD để tinh chỉnh nhanh mô hình sinh ảnh trên thiết bị (on-device), cho phép tạo ra các ảnh đại diện theo nhiều phong cách hoạt hình, nghệ thuật khác nhau nhưng vẫn giữ được đặc điểm khuôn mặt và chất lượng ảnh cao chỉ với vài bước suy luận.
  2. Tính năng chỉnh sửa ảnh thông minh theo mô tả bằng giọng nói: Người dùng chụp một bức ảnh và ra lệnh bằng giọng nói (ví dụ: 'đổi nền thành bãi biển lúc hoàng hôn'). Hệ thống trên điện thoại sử dụng D-OPSD để nhanh chóng điều chỉnh mô hình sinh ảnh, coi ảnh gốc và mô tả giọng nói là ngữ cảnh giáo viên để tạo ra ảnh mới bám sát yêu cầu nhưng vẫn giữ được bố cục và chủ thể chính, đồng thời tiết kiệm năng lượng nhờ suy luận ít bước.
  3. Công cụ tạo mẫu thiết kế thời trang cá nhân hóa: Ứng dụng trên điện thoại cho phép nhà thiết kế tải lên một vài mẫu vải hoặc phác thảo. D-OPSD được sử dụng để liên tục học phong cách từ các mẫu mới mà không làm mất đi khả năng sinh ảnh chất lượng cao của mô hình nền. Người dùng có thể nhập văn bản mô tả (ví dụ: 'váy maxi họa tiết hoa') và ngay lập tức thấy các thiết kế mới kết hợp phong cách đã học, hoạt động mượt mà ngay cả trên phần cứng di động hạn chế.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.05204
ArXiv Abstracthttps://arxiv.org/abs/2605.05204
PDF Downloadhttps://arxiv.org/pdf/2605.05204.pdf
Github Repositoryhttps://github.com/vvvvvjdy/D-OPSD

9. CreativityBench: Evaluating Agent Creative Reasoning via Affordance-Based Tool Repurposing (14 votes)​

Tác giả: Cheng Qian, Hyeonjeong Ha, Jiayu Liu, Jeonghwan Kim, Jiateng Liu, Bingxuan Li, Aditi Tiwari, Dwip Dalal, Zhenhailong Wang, Xiusi Chen, Mahdi Namazifar, Yunzhu Li, Heng Ji

Xuất bản lúc: 2026-05-06

Tag: LLMs, Creativity, Affordance, Tool Use, Benchmark, Reasoning, Knowledge Base

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) hiện đại thể hiện khả năng suy luận phân tích và thực thi hành động mạnh mẽ, nhưng trí thông minh sáng tạo, đặc biệt là khả năng sử dụng công cụ một cách sáng tạo để giải quyết vấn đề mới, vẫn là một thách thức lớn chưa được khám phá đầy đủ. Các bài đánh giá hiện có thường tập trung vào việc lập kế hoạch hoặc thực thi, bỏ qua việc liệu mô hình có thể xác định các khả năng hành động (affordance) cụ thể ở cấp độ bộ phận và tận dụng chúng để giải quyết vấn đề một cách phi truyền thống hay không. Hơn nữa, việc thiếu một cơ sở tri thức về khả năng hành động được xây dựng bài bản và một bài đánh giá chuẩn hóa khiến việc đo lường trí thông minh sáng tạo trong LLMs trở nên khó khăn.

II. Main Idea:​

Bài báo giới thiệu CreativityBench, một bài đánh giá chuẩn đầu tiên để đánh giá trí thông minh sáng tạo thông qua việc sử dụng công cụ sáng tạo dựa trên khả năng hành động. Cốt lõi của bài đánh giá là một cơ sở tri thức (KB) quy mô lớn, liên kết các thực thể, bộ phận, thuộc tính vật lý/trạng thái và các khả năng hành động tương ứng. Từ KB này, các tác giả tạo ra các nhiệm vụ bằng cách kỹ thuật đảo ngược: bắt đầu từ một khả năng hành động có sẵn và tổng hợp một tình huống mà việc khám phá ra khả năng đó là giải pháp tối ưu. Cách tiếp cận này đảm bảo mỗi nhiệm vụ có một lời giải duy nhất, đòi hỏi mô hình phải suy luận ở cấp độ thuộc tính bộ phận thay vì chỉ ghép nối ngữ nghĩa bề mặt.

III. Main Results:​

Kết quả thực nghiệm trên 14K nhiệm vụ với 10 mô hình LLMs hàng đầu cho thấy: (1) Khả năng xác định chính xác thực thể và bộ phận để sử dụng công cụ vẫn còn rất kém, với tỷ lệ chính xác giảm hơn 60% khi chuyển từ chọn đúng thực thể sang chọn đúng bộ phận. (2) Khả năng suy luận phân tích không đồng nghĩa với khả năng khám phá khả năng hành động sáng tạo; các mô hình giỏi suy luận logic chưa chắc đã vượt trội trong việc tìm ra cách dùng mới cho công cụ. (3) Hiệu suất sử dụng công cụ sáng tạo nhanh chóng bão hòa khi tăng kích thước mô hình và bị giới hạn bởi mức độ phổ biến của khả năng hành động. (4) Các chiến lược suy luận trong lúc dự đoán như Chain-of-Thought chỉ mang lại cải thiện rất hạn chế, thậm chí có thể làm tăng ảo giác hoặc khiến mô hình cam kết sớm với các giả thuyết sai.

IV. Conclusion & Future Works:​

Công trình này kết luận rằng việc sử dụng công cụ sáng tạo vẫn là một thách thức lớn đối với các mô hình hiện tại, và CreativityBench cung cấp một nền tảng thử nghiệm hữu ích để nghiên cứu khía cạnh còn thiếu này của trí thông minh. Các phát hiện cho thấy khả năng suy luận mạnh mẽ không tự động chuyển thành khả năng sáng tạo, mở ra hướng nghiên cứu mới về cách tích hợp tri thức về khả năng hành động vào các mô-đun lập kế hoạch và suy luận cho các tác nhân tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu phát triển một mô-đun suy luận khả năng hành động (affordance reasoning module) có thể tích hợp vào kiến trúc của các tác nhân LLM, giúp chúng tự động phân rã đối tượng thành các bộ phận, suy luận thuộc tính và liên kết với các hành động khả thi một cách tường minh trước khi lập kế hoạch.
  2. Khám phá việc sử dụng cơ sở tri thức CreativityBench để huấn luyện hoặc tinh chỉnh các mô hình ngôn ngữ-hình ảnh (Vision-Language Models) nhằm cho phép chúng dự đoán khả năng hành động của vật thể không quen thuộc trong môi trường thực tế từ đầu vào hình ảnh.
  3. Điều tra mối quan hệ nghịch đảo giữa suy luận phân tích và tư duy phân kỳ (divergent thinking) trong LLMs, từ đó thiết kế các cơ chế giải mã hoặc chiến lược prompting mới giúp cân bằng giữa tính chính xác về mặt vật lý và khả năng khám phá các giải pháp mới lạ, phi truyền thống.

2. Patent:​

  1. Hệ thống và phương pháp hỗ trợ sửa chữa khẩn cấp trên điện thoại di động: Ứng dụng sử dụng camera để quét các vật dụng xung quanh, truy vấn cơ sở tri thức khả năng hành động để phân tích thuộc tính bộ phận và đề xuất các cách sử dụng phi truyền thống của chúng (ví dụ: dùng đầu nhọn của chìa khóa để vặn ốc vít, dùng thẻ nhựa cứng để cạy nắp) giúp người dùng giải quyết sự cố khi không có dụng cụ chuyên dụng.
  2. Trợ lý nấu ăn thông minh dựa trên khả năng hành động: Một ứng dụng di động cho phép người dùng chụp ảnh các nguyên liệu và dụng cụ có sẵn trong bếp. Hệ thống sẽ phân tích thuộc tính của chúng (độ cứng, hình dạng, kích thước) để gợi ý các công thức nấu ăn không chỉ dựa trên tên gọi mà còn dựa trên chức năng mà mỗi vật dụng có thể đảm nhận (ví dụ: dùng đáy cốc thủy tinh để giã gia vị, dùng chai rỗng làm cây cán bột).
  3. Công cụ đánh giá và phát triển tư duy sáng tạo cho trẻ em qua trò chơi trên máy tính bảng: Một ứng dụng trò chơi tương tác đưa ra các thử thách trong các tình huống hàng ngày (ví dụ: lấy đồ vật trên cao, mở hộp kín) và một bộ sưu tập các vật phẩm ảo. Ứng dụng sẽ đánh giá mức độ sáng tạo của trẻ dựa trên khả năng chọn đúng bộ phận và thuộc tính của vật phẩm để giải quyết vấn đề, thay vì chỉ chọn đúng tên đồ vật, từ đó đưa ra các bài luyện tập phù hợp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.02910
ArXiv Abstracthttps://arxiv.org/abs/2605.02910
PDF Downloadhttps://arxiv.org/pdf/2605.02910.pdf
Github Repositoryhttps://github.com/CreativityBench/CreativityBench

10. Lightning Unified Video Editing via In-Context Sparse Attention (11 votes)​

Tác giả: Shitong Shao, Zikai Zhou, Haopeng Li, Yingwei Song, Wenliang Zhong, Lichen Bai, Zeke Xie

Xuất bản lúc: 2026-05-06

Tag: Video Editing, In-Context Learning, Sparse Attention, Diffusion Models, Vision-Language Models, Efficient AI

I. Main Problem:​

Các mô hình chỉnh sửa video dựa trên In-Context Learning (ICL) hiện nay gặp phải nút thắt tính toán nghiêm trọng do chi phí của cơ chế attention tiêu chuẩn tăng theo cấp số nhân với độ dài chuỗi. Cụ thể, trong ICL, số lượng context token thường tương đương với source token, làm tăng gấp bốn lần chi phí tính toán, dẫn đến độ trễ và bộ nhớ GPU tăng cao. Hầu hết các cơ chế sparse attention hiện có được thiết kế cho tác vụ tạo video thông thường, không tận dụng được sự khác biệt về vai trò giữa context token và source token trong kịch bản ICL, dẫn đến hiệu suất chưa tối ưu.

II. Main Idea:​

Bài báo đề xuất In-context Sparse Attention (ISA), một cơ chế sparse attention gần như không mất mát đầu tiên được thiết kế riêng cho chỉnh sửa video ICL. ISA dựa trên hai phát hiện chính: (1) context token có độ quan trọng thấp hơn đáng kể so với source token, có thể được cắt tỉa hiệu quả; (2) độ sắc nét của Query (Query sharpness) tỉ lệ thuận với sai số xấp xỉ Taylor bậc 0, cho phép phân nhóm Query để tính toán linh hoạt. ISA hoạt động theo ba bước: tiền chọn lọc để loại bỏ các context token dư thừa, phân nhóm Query dựa trên độ sắc nét, và sử dụng cơ chế tính toán kép - full attention cho các Query có độ sắc nét cao (sai số lớn) và block-wise 0-th order Taylor sparse attention cho các Query phẳng (sai số thấp). Dựa trên ISA, bài báo xây dựng LIVEditor, một mô hình chỉnh sửa video nhanh, thống nhất, cùng với pipeline dữ liệu tự động tạo ra 1.7 triệu cặp video chỉnh sửa chất lượng cao.

III. Main Results:​

LIVEditor với ISA đạt được mức giảm ~60% độ trễ của mô-đun attention so với SDPA và FlashAttention v2/3 tiêu chuẩn. Trên các benchmark như EditVerseBench, VIE-Bench và IVE-Bench, LIVEditor (ISA) vượt trội hơn các phương pháp hiện đại nhất (như Ditto, InsV2V, Lucy Edit) về hầu hết các chỉ số, bao gồm chất lượng chỉnh sửa, căn chỉnh văn bản, nhất quán thời gian và điểm Pick Score. Đặc biệt, ISA hoạt động hiệu quả ngay cả trong kịch bản không cần huấn luyện lại (training-free), vượt trội hơn đáng kể so với các cơ chế sparse attention khác (Radial, Sparge, STA, SWA, VSA) về chất lượng hình ảnh và tốc độ, đồng thời thậm chí còn vượt qua mô hình full attention ban đầu.

IV. Conclusion & Future Works:​

LIVEditor cung cấp một giải pháp chỉnh sửa video thống nhất, nhanh và hiệu quả. ISA giải quyết thành công nút thắt tính toán của ICL thông qua việc cắt tỉa context token dư thừa và định tuyến Query động dựa trên phân tích lý thuyết về sai số xấp xỉ Taylor. Các nguyên lý nền tảng của ISA được kỳ vọng sẽ là giải pháp có khả năng mở rộng cho các tác vụ tạo video chuỗi dài trong tương lai. Hướng phát triển tiếp theo có thể bao gồm việc mở rộng ISA cho các mô hình nền tảng thị giác lớn hơn và khám phá các chiến lược cắt tỉa thích ứng dựa trên nội dung video cụ thể.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng cơ chế ISA cho các tác vụ tạo video chuỗi dài không giới hạn ở chỉnh sửa, nghiên cứu khả năng duy trì chất lượng và tốc độ khi độ dài video tăng lên đáng kể.
  2. Phát triển một phương pháp học tăng cường để tự động tối ưu hóa các siêu tham số của ISA (như tỉ lệ phẳng, tỉ lệ chọn lọc) một cách động dựa trên đặc điểm của từng video đầu vào, thay vì sử dụng giá trị cố định.
  3. Nghiên cứu khả năng áp dụng ISA và LIVEditor trong môi trường đa phương thức (multimodal) phức tạp hơn, kết hợp chỉnh sửa video với âm thanh hoặc văn bản hội thoại, đánh giá trên các tập dữ liệu tương tác thực tế.

2. Patent:​

  1. Hệ thống và phương pháp tăng tốc xử lý video trên thiết bị di động bằng cơ chế chú ý thưa thớt thông minh, trong đó các token ngữ cảnh kém quan trọng được tự động phát hiện và loại bỏ trước khi thực hiện phép toán chú ý, giúp giảm đáng kể thời gian xử lý và tiêu thụ năng lượng cho các tác vụ chỉnh sửa video trực tiếp trên điện thoại.
  2. Quy trình chỉnh sửa video thời gian thực trên điện thoại thông minh sử dụng mô hình học sâu với cơ chế phân phối tính toán kép: các vùng ảnh phức tạp được xử lý bằng phép chú ý đầy đủ để đảm bảo độ chính xác, trong khi các vùng đồng nhất được xử lý bằng phép xấp xỉ Taylor nhanh, cho phép người dùng xem trước kết quả chỉnh sửa gần như ngay lập tức.
  3. Ứng dụng tạo và chỉnh sửa video ngắn trên nền tảng di động tích hợp trợ lý ảo AI, cho phép người dùng ra lệnh bằng giọng nói (ví dụ: 'đổi nền thành bãi biển', 'thêm mũ cho nhân vật'), hệ thống sẽ tự động phân tích lệnh, áp dụng cơ chế tiền chọn lọc token để tăng tốc độ phản hồi và hiển thị video kết quả với độ trễ tối thiểu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2605.04569
ArXiv Abstracthttps://arxiv.org/abs/2605.04569
PDF Downloadhttps://arxiv.org/pdf/2605.04569.pdf
Github RepositoryN/A