Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-03-09

Báo cáo được tạo tự động vào lúc 2026-03-17 08:35:06 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. Penguin-VL: Exploring the Efficiency Limits of VLM with LLM-based Vision Encoders (105 votes)​

Tác giả: Boqiang Zhang, Lei Ke, Ruihan Yang, Qi Gao, Tianyuan Qu, Rossell Chen, Dong Yu, Leoweiliang

Xuất bản lúc: 2026-03-06

Tag: VLM, LLM, Vision Encoder, Multimodal AI, Efficiency, Video Understanding, Image Understanding, Data Curation

I. Main Problem:​

Việc phát triển các Mô hình Ngôn ngữ Thị giác (VLM) hiện nay chủ yếu dựa vào việc mở rộng kích thước mô hình, điều này gây khó khăn cho việc triển khai trên các thiết bị di động và biên có giới hạn về điện toán như điện thoại thông minh và robot. Các VLM tiên tiến thường sử dụng các bộ mã hóa thị giác được khởi tạo thông qua huấn luyện trước đối lập quy mô lớn (ví dụ: CLIP/SigLIP), vốn được tối ưu hóa cho phân biệt và bỏ qua các tín hiệu hình ảnh chi tiết cần thiết cho việc tạo chú thích dày đặc và suy luận VLM phức tạp. Điều này dẫn đến sự phụ thuộc vào số lượng tham số lớn và quy trình huấn luyện nặng nề, gây khó khăn cho việc triển khai với độ trễ thấp và thường dẫn đến hiệu suất không đồng đều giữa các tác vụ (ví dụ: mô hình tối ưu cho ảnh nhưng kém trong suy luận video).

II. Main Idea:​

Penguin-VL đề xuất một phương pháp mới để xây dựng các VLM nhỏ gọn và hiệu quả bằng cách thay thế các bộ mã hóa thị giác được huấn luyện trước bằng phương pháp đối lập truyền thống. Thay vào đó, bộ mã hóa thị giác của Penguin-VL (Penguin-Encoder) được khởi tạo trực tiếp từ một LLM chỉ dựa trên văn bản (cụ thể là Qwen3-0.6B). Cách tiếp cận này giải quyết sự không phù hợp về mục tiêu bằng cách trang bị cho bộ mã hóa thị giác kiến thức ngữ nghĩa phong phú từ LLM và sử dụng kiến trúc transformer hiệu quả được tối ưu hóa cho mô hình hóa chuỗi dày đặc. Các ý tưởng chính bao gồm:

  • Penguin-Encoder: Biến đổi kiến trúc LLM (Qwen3-0.6B) thành bộ mã hóa thị giác bằng cách chuyển đổi cơ chế tự chú ý nhân quả thành chú ý hai chiều và tích hợp 2D Rotary Positional Embeddings (2D-RoPE) để xử lý đầu vào có độ phân giải thay đổi. Điều này mang lại sự thể hiện kiến trúc mạnh mẽ, căn chỉnh tự nhiên với không gian tính năng của LLM và khả năng kế thừa kiến thức ngữ nghĩa.
  • Huấn luyện trước bộ mã hóa với giám sát hỗn hợp: Giới thiệu một mục tiêu phụ trợ chuyên biệt, kết hợp giám sát chéo entropy của LLM với các mục tiêu dựa trên tái tạo (Amplitude Loss, Direction Loss, Relation Loss) trong giai đoạn khởi động. Điều này giúp truyền tải kiến thức thị giác một cách mượt mà và bảo toàn chi tiết hình ảnh, cho phép sử dụng hiệu quả dữ liệu có nhãn và không nhãn quy mô lớn.
  • Quy trình huấn luyện thống nhất: Bao gồm một chương trình huấn luyện từ độ phân giải thấp đến cao, cơ chế nén token video nhận biết dư thừa tạm thời (Temporal Redundancy-Aware - TRA) để xử lý hiệu quả các chuỗi video dài (phân biệt khung hình chính và khung hình trung gian), và chiến lược tinh chỉnh hướng dẫn hai giai đoạn để hài hòa khả năng xử lý hình ảnh và video.
  • Cung cấp dữ liệu chất lượng cao: Xây dựng kho dữ liệu đa phương thức quy mô lớn, chất lượng cao (Penguin-Recap-I cho ảnh, Penguin-Recap-V và Penguin-QA cho video) thông qua lọc, loại bỏ trùng lặp và chú thích tự động có thể mở rộng (chú thích dài chi tiết cho ảnh, chú thích video đa cấp độ, xây dựng QA suy luận thời gian).

III. Main Results:​

Penguin-VL (phiên bản 2B và 8B) đạt hiệu suất tương đương với các VLM hàng đầu (ví dụ: Qwen3-VL) trong suy luận toán học và vượt trội hơn trong các tác vụ như hiểu tài liệu, kiến thức thị giác và hiểu video đa góc nhìn. Đáng chú ý, những cải tiến này đạt được với kiến trúc nhẹ, chứng minh rằng việc cải thiện biểu diễn thị giác - thay vì chỉ mở rộng mô hình - là yếu tố chính thúc đẩy hiệu suất. Các nghiên cứu chứng minh rằng Penguin-Encoder luôn vượt trội so với các bộ mã hóa được huấn luyện trước bằng phương pháp đối lập, bảo toàn các tín hiệu không gian và thời gian chi tiết quan trọng cho nhận thức dày đặc và suy luận phức tạp. Điều này làm cho Penguin-VL trở thành một giải pháp thay thế hiệu quả về điện toán và mang lại hiệu suất cao trong các môi trường hạn chế tài nguyên.

IV. Conclusion & Future Works:​

Nghiên cứu này giới thiệu Penguin-VL, một VLM nhỏ gọn và hiệu quả, sử dụng bộ mã hóa thị giác được khởi tạo từ một LLM, vượt trội hơn đáng kể so với các phương pháp huấn luyện trước đối lập truyền thống. Thành công của Penguin-VL nhấn mạnh rằng việc cải thiện biểu diễn thị giác, đặc biệt thông qua việc tận dụng kiến thức và kiến trúc của LLM, là chìa khóa để xây dựng các mô hình đa phương thức mạnh mẽ và hiệu quả về điện toán. Cách tiếp cận này mở ra hướng đi mới cho việc triển khai VLM trên các thiết bị có tài nguyên hạn chế. Mặc dù bài báo không nêu rõ các hướng nghiên cứu trong tương lai, nhưng có thể suy luận rằng việc khám phá các kiến trúc LLM khác nhau làm bộ mã hóa thị giác, tối ưu hóa hơn nữa cơ chế nén token video cho các ứng dụng thời gian thực, và áp dụng khuôn khổ này cho các phương thức khác là những hướng đi tiềm năng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các kiến trúc LLM đa dạng làm bộ mã hóa thị giác: Khám phá hiệu suất và các sửa đổi kiến trúc tối ưu khi sử dụng các kiến trúc LLM backbone khác nhau (ví dụ: Llama, Mistral) làm bộ mã hóa thị giác cho các tác vụ đa phương thức, đặc biệt tập trung vào việc duy trì hiệu quả và khả năng mở rộng.
  2. Tối ưu hóa nén token video dựa trên ngữ cảnh cho suy luận thời gian thực: Phát triển các chiến lược nén token video (dựa trên TRA) tiên tiến hơn, có khả năng dự đoán các khung hình quan trọng và điều chỉnh tỷ lệ nén động dựa trên ngữ cảnh video và mục tiêu tác vụ để đạt được hiệu suất suy luận thời gian thực trên các thiết bị biên.
  3. Huấn luyện VLM thích ứng miền với kiến thức đồ thị: Thiết kế một phương pháp huấn luyện VLM mới, trong đó bộ mã hóa thị giác dựa trên LLM được tinh chỉnh bằng cách tích hợp trực tiếp kiến thức đồ thị (knowledge graphs) hoặc ontologies chuyên biệt của từng miền (ví dụ: y tế, công nghiệp) để nâng cao khả năng suy luận và hiểu biết chi tiết trong các lĩnh vực chuyên môn.

2. Patent:​

  1. Hệ thống tóm tắt video thông minh trên điện thoại: Một ứng dụng di động sử dụng công nghệ nén token nhận biết dư thừa tạm thời (TRA) để phân tích video trên thiết bị. Hệ thống này tự động xác định các khoảnh khắc quan trọng và tạo ra bản tóm tắt ngắn gọn hoặc các điểm nổi bật của video mà không cần tải lên đám mây, giúp tiết kiệm dữ liệu di động và kéo dài thời lượng pin. Người dùng có thể nhanh chóng xem lại nội dung chính của video dài chỉ bằng một chạm.
  2. Trợ lý nhận diện văn bản và đồ thị đa năng trên điện thoại: Một tính năng tích hợp vào camera điện thoại thông minh, cho phép người dùng chụp ảnh tài liệu, biểu đồ hoặc bất kỳ nội dung văn bản/hình ảnh phức tạp nào. Hệ thống sử dụng bộ mã hóa thị giác dựa trên LLM để trích xuất thông tin chi tiết, trả lời câu hỏi về nội dung, và thậm chí giải thích các khái niệm phức tạp trong biểu đồ một cách chính xác. Điều này hỗ trợ đắc lực cho việc học tập, nghiên cứu và công việc trên thiết bị di động.
  3. Công cụ tìm kiếm và phân tích hình ảnh/video hiệu quả trên thiết bị di động: Một công nghệ được tích hợp vào ứng dụng thư viện ảnh hoặc ứng dụng quản lý tệp của điện thoại. Công cụ này sử dụng bộ mã hóa thị giác kích thước nhỏ nhưng hiệu quả cao (Penguin-Encoder) để lập chỉ mục và cho phép người dùng tìm kiếm nội dung hình ảnh/video dựa trên mô tả ngôn ngữ tự nhiên. Ví dụ, người dùng có thể tìm kiếm "video về con mèo đang nhảy" hoặc "ảnh tài liệu có chữ ký", giúp tìm kiếm nhanh chóng các chi tiết nhỏ hoặc các hành động cụ thể trong kho lưu trữ lớn mà không làm chậm hiệu suất của thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.06569
ArXiv Abstracthttps://arxiv.org/abs/2603.06569
PDF Downloadhttps://arxiv.org/pdf/2603.06569.pdf
Github Repositoryhttps://github.com/tencent-ailab/Penguin-VL

2. BandPO: Bridging Trust Regions and Ratio Clipping via Probability-Aware Bounds for LLM Reinforcement Learning (54 votes)​

Tác giả: Yuan Li, Bo Wang, Yufei Gao, Yuqian Yao, Xinyuan Wang, Zhangyue Yin, Xipeng Qiu

Xuất bản lúc: 2026-03-05

Tag: Reinforcement Learning, LLMs, PPO, RLHF, Trust Region, f-divergence, Policy Optimization

I. Main Problem:​

Cơ chế cắt (clipping) tiêu chuẩn trong tối ưu hóa chính sách cho các mô hình ngôn ngữ lớn (LLMs) gặp phải một nút thắt quan trọng: các ràng buộc cố định hạn chế nghiêm ngặt biên độ cập nhật tăng lên của các hành động có xác suất thấp. Điều này làm suy yếu các chiến lược đuôi có lợi thế cao và gây ra sự sụp đổ entropy nhanh chóng. Các phương pháp hiện có không thể dung hòa căng thẳng giữa các ràng buộc tối ưu hóa và khả năng khám phá hiệu quả, đồng thời thiếu cơ sở lý thuyết vững chắc để kiểm soát các giới hạn cắt.

II. Main Idea:​

Nghiên cứu này đề xuất Band-constrained Policy Optimization (BandPO), thay thế cơ chế cắt tiêu chuẩn bằng toán tử lý thuyết thống nhất Band. Toán tử Band chiếu các vùng tin cậy được định nghĩa bởi các f-divergence thành các khoảng cắt động, nhận biết xác suất. Việc ánh xạ này được xây dựng như một bài toán tối ưu lồi, đảm bảo giải pháp số tối ưu toàn cục và cung cấp các giải pháp dạng đóng cho các phân kỳ cụ thể (ví dụ: Total Variation, Pearson Chi-squared). BandPO sử dụng một tham số bán kính dễ hiểu duy nhất để thực thi các ràng buộc lân cận, cân bằng sự ổn định tối ưu hóa với khả năng khám phá hiệu quả các chiến lược đuôi.

III. Main Results:​

BandPO nhất quán vượt trội so với cơ chế cắt tiêu chuẩn (GRPO) và Clip-Higher trên nhiều mô hình (Qwen2.5 3B, 7B và Llama3 8B) và bộ dữ liệu toán học (AMC, AIME). Phương pháp này đã giảm thiểu sự sụp đổ entropy một cách mạnh mẽ. Ví dụ, trên Qwen2.5-3B-Instruct, BandKL,0.05 đạt trung bình 22.00 / 42.01 (mean@32/pass@32), vượt trội so với GRPO (17.57 / 32.60) và Clip-Higher (20.47 / 40.60). Tất cả các biến thể BandPO duy trì tính nhất quán hình học nghiêm ngặt với simplex xác suất, không giống như các phương pháp phỏng đoán vi phạm giới hạn lý thuyết ở các chế độ xác suất cao.

IV. Conclusion & Future Works:​

BandPO giải quyết nút thắt khám phá trong học tăng cường cho LLMs bằng cách cung cấp các ràng buộc cắt động, nhận biết xác suất, có cơ sở lý thuyết vững chắc. Phương pháp này đảm bảo các ràng buộc hợp lệ được điều chỉnh bởi một tham số dễ hiểu duy nhất, mang lại hiệu suất vượt trội và giảm thiểu sự sụp đổ entropy. Mặc dù văn bản không nêu rõ các hướng nghiên cứu trong tương lai, thành công của BandPO gợi ý rằng việc khám phá các f-divergence khác, tối ưu hóa thích ứng tham số bán kính δ\delta, và áp dụng BandPO cho các nhiệm vụ RL và LLM khác là những hướng đi tiềm năng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các f-divergence khác nhau và ảnh hưởng của chúng đến hiệu suất BandPO: Khám phá chi tiết các loại f-divergence khác (ngoài KL, TV, Pearson χ2\chi^2) và phân tích cách chúng ảnh hưởng đến biên độ cắt động và hiệu quả khám phá trong RL cho LLMs.
  2. Phát triển cơ chế điều chỉnh động tham số bán kính δ\delta trong BandPO: Nghiên cứu các thuật toán để tự động điều chỉnh tham số bán kính δ\delta của vùng tin cậy dựa trên tiến trình huấn luyện, độ phức tạp của nhiệm vụ, hoặc đặc điểm của phân phối xác suất, nhằm tối ưu hóa sự cân bằng giữa khám phá và khai thác.
  3. Ứng dụng BandPO vào các miền học tăng cường khác và các nhiệm vụ LLM đa dạng: Mở rộng việc đánh giá BandPO sang các lĩnh vực RL ngoài các điểm chuẩn toán học, như điều khiển robot, trò chơi chiến lược, hoặc các nhiệm vụ LLM khác như tóm tắt văn bản, đối thoại, và sáng tạo nội dung, để kiểm tra tính tổng quát và mạnh mẽ của phương pháp.

2. Patent:​

  1. Trợ lý AI di động học hỏi thích ứng: Một hệ thống trợ lý ảo trên điện thoại di động có khả năng học hỏi và thích nghi nhanh chóng với các hành vi và sở thích độc đáo của người dùng. Khi người dùng thực hiện một lệnh mới hoặc một chuỗi hành động ít gặp (xác suất thấp) nhưng mang lại hiệu quả cao, cơ chế học tăng cường dựa trên nguyên lý của BandPO sẽ cho phép hệ thống tăng đáng kể xác suất của các hành động này trong tương lai, giúp trợ lý AI trở nên cá nhân hóa và hữu ích hơn mà không bị giới hạn bởi các mẫu tương tác cố định.
  2. Công cụ gợi ý nội dung cá nhân hóa động trên thiết bị di động: Một ứng dụng di động (ví dụ: ứng dụng tin tức, mạng xã hội, thương mại điện tử) sử dụng hệ thống gợi ý dựa trên học tăng cường. Hệ thống này tích hợp BandPO để điều chỉnh linh hoạt cách nó khám phá và củng cố các gợi ý cho nội dung ngách hoặc ít phổ biến. Nếu người dùng tương tác tích cực với một mục có xác suất thấp (ví dụ: một bài báo ít người đọc, một danh mục sản phẩm mới), BandPO sẽ cho phép thuật toán gợi ý nhanh chóng tăng cường xác suất hiển thị các mục tương tự, dẫn đến các đề xuất đa dạng và được cá nhân hóa cao hơn, tránh "bong bóng lọc" thông tin.
  3. AI đối thủ tự học cho game di động: Một công nghệ AI cho các nhân vật không phải người chơi (NPC) trong game di động, cho phép chúng học hỏi và phát triển các chiến lược mới một cách tự chủ. Sử dụng nguyên tắc của BandPO, AI của game có thể hiệu quả hơn trong việc khám phá và áp dụng các chiến lược mới, ít khả năng xảy ra nhưng lại rất hiệu quả khi đối đầu với người chơi. Điều này giúp AI tránh các mô hình hành vi dễ đoán và liên tục tạo ra những thử thách mới mẻ, làm tăng tính hấp dẫn và khả năng chơi lại của trò chơi mà không cần cập nhật thủ công thường xuyên.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.04918
ArXiv Abstracthttps://arxiv.org/abs/2603.04918
PDF Downloadhttps://arxiv.org/pdf/2603.04918.pdf
Github Repositoryhttps://github.com/OpenMOSS/BandPO

3. Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model (36 votes)​

Tác giả: Dongwon Kim, Gawon Seo, Jinsung Lee, Minsu Cho, Suha Kwak

Xuất bản lúc: 2026-03-05

Tag: World Models, Reinforcement Learning, Latent Representation, Tokenization, Vision Transformers, Generative Models, Planning, Model-Predictive Control

I. Main Problem:​

Việc áp dụng các mô hình thế giới (world models) vào lập kế hoạch ra quyết định theo thời gian thực (real-time control) bị hạn chế nghiêm trọng do chi phí tính toán cao. Các bộ mã hóa (tokenizer) thông thường mã hóa mỗi quan sát thành hàng trăm token, khiến quá trình lập kế hoạch trở nên chậm chạp và tốn nhiều tài nguyên. Đặc biệt, các mô hình thế giới hiện đại ưu tiên tái tạo hình ảnh/video chân thực, đòi hỏi phải nắm bắt các chi tiết thị giác phong phú như kết cấu, ánh sáng, bóng tối, dẫn đến số lượng token lớn và chi phí tính toán tăng theo cấp số nhân (đối với kiến trúc dựa trên attention).

II. Main Idea:​

Đề xuất CompACT, một bộ mã hóa rời rạc (discrete tokenizer) nén mỗi quan sát thành chỉ 8 hoặc 16 token, giảm đáng kể chi phí tính toán trong khi vẫn giữ lại thông tin cần thiết cho việc lập kế hoạch. Nguyên tắc thiết kế chính là ưu tiên nén cực độ so với tái tạo hoàn hảo, tập trung vào việc học các biểu diễn trừu tượng, liên quan đến hành động.

Mã hóa ngữ nghĩa (Semantic Encoding): Sử dụng một bộ mã hóa thị giác tiền huấn luyện cố định (frozen pretrained vision encoder, cụ thể là DINOv3) làm xương sống. Các token tiềm ẩn nhỏ gọn (compact latent tokens) hoạt động như các truy vấn có thể học được, chú ý đến các biểu diễn đã được cố định này thông qua một mô-đun lấy mẫu lại dựa trên cross-attention. Điều này đảm bảo chỉ các thông tin ngữ nghĩa quan trọng cho việc lập kế hoạch (nhận dạng đối tượng, bố cục không gian, cấu trúc cảnh) được chắt lọc, bỏ qua các chi tiết cấp thấp hơn.

Giải mã sinh thành (Generative Decoding): Thay vì cố gắng tái tạo pixel trực tiếp từ ít token, bộ giải mã học cách giải mã một biểu diễn tiềm ẩn chi tiết hơn từ một bộ mã hóa mục tiêu tiền huấn luyện (ví dụ: VQGAN từ MaskGIT, sử dụng hàng trăm token) bằng cách sử dụng các token nhỏ gọn của CompACT làm điều kiện. Điều này biến vấn đề giải nén khó khăn thành một nhiệm vụ tạo sinh có điều kiện khả thi.

Mô hình thế giới trong không gian tiềm ẩn CompACT: Huấn luyện trực tiếp mô hình thế giới trong không gian tiềm ẩn rời rạc N-token (N≤16) bằng cách sử dụng mô hình tạo sinh bị che (masked generative modeling), giúp giảm đáng kể độ trễ khi thực hiện các rollouts.

III. Main Results:​

– Hiệu quả lập kế hoạch: Trên tác vụ điều hướng trực quan có điều kiện mục tiêu (goal-conditioned visual navigation) trong bộ dữ liệu RECON, mô hình thế giới được huấn luyện với CompACT đạt độ chính xác tương đương với baseline SD-VAE sử dụng 784 token liên tục, đồng thời mang lại tốc độ lập kế hoạch nhanh hơn khoảng 40 lần. Mô hình 8-token của CompACT cũng vượt trội hơn các bộ mã hóa trước đó sử dụng 64 token. – Chất lượng mã hóa và tái tạo: CompACT (16 token) đạt rFID 2.40 và IS 209.0, trong khi CompACT (8 token) đạt rFID 3.21 và IS 207.5 trên ImageNet, cho thấy khả năng nén cực cao mà vẫn giữ được chất lượng tái tạo tốt và thậm chí vượt trội MaskGIT-VQGAN ở chỉ số IS. – Tính liên quan đến hành động (Action-relevancy): Mô hình động lực học ngược (Inverse Dynamics Model - IDM) được huấn luyện trên các tiềm ẩn của CompACT (16 token) đạt hiệu suất vượt trội so với MaskGIT-VQGAN (256 token) trong việc dự đoán hành động trên RoboNet (L1 error 0.091 vs 0.093, R2 0.716 vs 0.684), xác nhận rằng các biểu diễn học được giữ lại thông tin quan trọng liên quan đến hành động. – Dự đoán video có điều kiện hành động (Action-conditioned video prediction): Trên RoboNet, CompACT đạt lỗi dự đoán hành động (APE) thấp hơn 3 lần và tốc độ tạo nhanh hơn 5.2 lần so với baseline 256-token, chứng minh khả năng mô hình hóa động lực học do hành động điều khiển. – Nghiên cứu Ablation: Việc sử dụng các đặc trưng cố định từ bộ mã hóa thị giác tiền huấn luyện (frozen DINOv3) là yếu tố then chốt giúp nén cực kỳ nhỏ gọn mà vẫn duy trì chất lượng tái tạo và hiệu suất lập kế hoạch mạnh mẽ.

IV. Conclusion & Future Works:​

CompACT là một bộ mã hóa nhỏ gọn, biểu diễn hình ảnh chỉ với 8 hoặc 16 token rời rạc, bảo toàn thông tin quan trọng cho việc lập kế hoạch. Thành công này đến từ việc sử dụng các mô hình nền tảng thị giác tiền huấn luyện cố định làm xương sống của bộ mã hóa, ưu tiên các đặc trưng ngữ nghĩa và không gian cấp cao thay vì các chi tiết tái tạo. Các mô hình thế giới được huấn luyện trong không gian tiềm ẩn nhỏ gọn này vượt trội hơn các baseline yêu cầu số lượng token lớn hơn, đồng thời đạt được tốc độ lập kế hoạch nhanh hơn 40 lần. Điều này xác nhận giả thuyết rằng lập kế hoạch hiệu quả đòi hỏi sự trừu tượng hóa ngữ nghĩa chứ không phải tái tạo hình ảnh chân thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về phương pháp nén cực đoan hơn nữa cho các biểu diễn tiềm ẩn, ví dụ: xuống dưới 8 token, và đánh giá tác động của chúng đến hiệu suất lập kế hoạch trong các môi trường phức tạp và đa dạng hơn (ví dụ: thế giới mở, tương tác xã hội).
  2. Phát triển các chiến lược huấn luyện mô hình thế giới thích ứng với thông tin ngữ nghĩa được nén để cải thiện khả năng khái quát hóa (generalization) và khả năng học từ dữ liệu ít (few-shot learning) trong các tác vụ lập kế hoạch mới.
  3. Khám phá việc tích hợp các token tiềm ẩn nhỏ gọn của CompACT với các mô hình ngôn ngữ lớn (LLMs) để cho phép lập kế hoạch đa phương thức (multimodal planning) với hướng dẫn ngôn ngữ tự nhiên, tập trung vào việc nâng cao khả năng diễn giải và kiểm soát của tác nhân.

2. Patent:​

  1. Hệ thống điều hướng thông minh tiết kiệm năng lượng cho điện thoại di động: Một ứng dụng di động sử dụng camera của điện thoại để thu thập hình ảnh môi trường xung quanh. Thay vì xử lý toàn bộ chi tiết hình ảnh, hệ thống sẽ nén thông tin hình ảnh thành một số lượng nhỏ các điểm dữ liệu quan trọng, chỉ tập trung vào các đối tượng chính và bố cục không gian. Sau đó, một mô hình dự đoán sẽ sử dụng các điểm dữ liệu này cùng với hành động của người dùng (ví dụ: rẽ trái, đi thẳng) để mô phỏng các kịch bản tương lai và đưa ra hướng dẫn điều hướng theo thời gian thực một cách nhanh chóng, tiết kiệm pin.
  2. Công cụ tạo video hành động theo kịch bản cho ứng dụng chỉnh sửa ảnh/video di động: Một tính năng trong ứng dụng chỉnh sửa ảnh/video trên điện thoại cho phép người dùng vẽ hoặc mô tả một hành động đơn giản (ví dụ: kéo một vật thể, mở cửa). Hệ thống sẽ sử dụng một mô hình nén hình ảnh để tạo ra một chuỗi các khung hình tiềm ẩn, chỉ chứa thông tin cần thiết về sự thay đổi vị trí của các đối tượng liên quan đến hành động. Sau đó, nó sẽ tạo ra một đoạn video ngắn gọn, chân thực về hành động đó, giúp người dùng dễ dàng tạo các hiệu ứng hoặc mô phỏng mà không cần kiến thức phức tạp về đồ họa.
  3. Chế độ tiết kiệm năng lượng cho thực tế tăng cường (AR) trên điện thoại: Khi sử dụng các ứng dụng thực tế tăng cường đòi hỏi xử lý hình ảnh liên tục, điện thoại thường tốn rất nhiều pin. Công nghệ này sẽ sử dụng một bộ mã hóa nhỏ gọn để phân tích khung hình camera, chỉ trích xuất các thông tin cốt lõi về vị trí và hình dạng của các đối tượng trong môi trường vật lý. Các đối tượng ảo trong AR sẽ được neo và tương tác dựa trên các điểm dữ liệu nén này thay vì dữ liệu pixel đầy đủ, giúp giảm đáng kể gánh nặng xử lý cho chip đồ họa của điện thoại, kéo dài thời lượng pin khi sử dụng AR.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.05438
ArXiv Abstracthttps://arxiv.org/abs/2603.05438
PDF Downloadhttps://arxiv.org/pdf/2603.05438.pdf
Github Repositoryhttps://github.com/kdwonn/CompACT

4. WildActor: Unconstrained Identity-Preserving Video Generation (35 votes)​

Tác giả: Qin Guo, Tianyu Yang, Xuanhua He, Fei Shen, Yong Zhang, Zhuoliang Kang, Xiaoming Wei, Dan Xu

Xuất bản lúc: 2026-02-28

Tag: Video Generation, Identity Preservation, Diffusion Models, Large-scale Datasets, Attention Mechanism, Monte Carlo Sampling, Human-centric AI

I. Main Problem:​

Các phương pháp tạo video người hiện có gặp khó khăn trong việc duy trì tính nhất quán nghiêm ngặt về danh tính toàn thân qua các cảnh quay động, góc nhìn và chuyển động khác nhau. Cụ thể, chúng thường bị hạn chế bởi hành vi "face-centric" (chỉ tập trung vào khuôn mặt) bỏ qua sự nhất quán cấp độ cơ thể, dẫn đến hiệu ứng "đầu nổi" hoặc tạo ra các hiện vật "copy-paste" khiến chủ thể trở nên cứng nhắc do bị khóa tư thế. Ngoài ra, có sự thiếu hụt nghiêm trọng các bộ dữ liệu quy mô lớn để học các biểu diễn người bất biến với góc nhìn trong môi trường tự nhiên, dẫn đến hiện tượng "identity drift" (trôi dạt danh tính) khi góc nhìn thay đổi.

II. Main Idea:​

Bài báo giới thiệu Actor-18M, một bộ dữ liệu video người quy mô lớn (1.6M video với 18M hình ảnh người tương ứng) được thiết kế để thu thập tính nhất quán danh tính dưới các góc nhìn và môi trường không giới hạn. Dựa trên Actor-18M, các tác giả đề xuất WILDACTOR, một khuôn khổ để tạo video người có điều kiện theo bất kỳ góc nhìn nào. WILDACTOR bao gồm: (1) Cơ chế Asymmetric Identity-Preserving Attention (AIPA) để thực thi luồng thông tin bất đối xứng, trong đó các token video truy vấn tín hiệu danh tính trong khi các token tham chiếu vẫn tách biệt khỏi các đặc trưng backbone nhiễu, từ đó bảo toàn độ chân thực của danh tính mà không làm nhiễu biểu diễn backbone. (2) Chiến lược Viewpoint-Adaptive Monte Carlo Sampling để điều chỉnh trọng số các điều kiện tham chiếu bằng tiện ích biên, khuyến khích sự bao phủ góc nhìn bổ sung trong quá trình huấn luyện. (3) Lược đồ Identity-Aware 3D RoPE (I-RoPE) để phân biệt rõ ràng các token video với các token tham chiếu danh tính bằng cách gán tọa độ không-thời gian riêng biệt.

III. Main Results:​

WILDACTOR liên tục bảo toàn danh tính cơ thể dưới các bố cục cảnh quay đa dạng, chuyển đổi góc nhìn lớn và chuyển động đáng kể, vượt trội so với các phương pháp hiện có trong các thiết lập đầy thách thức này. Cụ thể, trên Actor-Bench được đề xuất, WILDACTOR đạt được độ trung thực danh tính và căn chỉnh ngữ nghĩa mạnh mẽ nhất trong tạo narrative tuần tự. Trong việc khái quát hóa ngữ cảnh, WILDACTOR đạt điểm nhất quán cơ thể cao nhất (0.952 so với 0.905 của Vidu Q2) và điểm cấp độ VLM cao nhất, cho thấy khả năng duy trì tính nhất quán toàn thân mạnh mẽ hơn và tuân thủ các prompt phức tạp tốt hơn. Các nghiên cứu loại bỏ cho thấy hiệu quả của bộ dữ liệu Actor-18M với chiến lược lấy mẫu thích ứng góc nhìn, cũng như các thành phần AIPA và I-RoPE trong việc bảo toàn danh tính và căn chỉnh ngữ nghĩa.

IV. Conclusion & Future Works:​

Bài báo giới thiệu Actor-18M, một bộ dữ liệu video người quy mô lớn cung cấp các tham chiếu danh tính đa dạng và bổ sung trong các môi trường, góc nhìn và chuyển động không giới hạn, giải quyết một hạn chế dữ liệu chính trong việc tạo video người nhất quán về danh tính. Dựa trên Actor-18M, WILDACTOR được trình bày như một khuôn khổ để tạo video người có điều kiện theo bất kỳ góc nhìn nào, liên tục bảo toàn danh tính toàn thân qua các cảnh quay động, chuyển đổi góc nhìn lớn và chuyển động đáng kể – những điều vẫn còn thách thức đối với các phương pháp hiện có. Các tác giả nhấn mạnh việc ủng hộ mạnh mẽ ứng dụng công nghệ này một cách có trách nhiệm và đạo đức.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khả năng của WILDACTOR cho việc tạo video tương tác và theo thời gian thực: Nghiên cứu cách tối ưu hóa kiến trúc và thuật toán của WILDACTOR để hỗ trợ tạo video người bảo toàn danh tính trong các ứng dụng tương tác hoặc theo thời gian thực, ví dụ như trong trò chơi điện tử, thực tế ảo (VR) hoặc các nền tảng giao tiếp trực tuyến.
  2. Khám phá việc sử dụng WILDACTOR để tổng hợp dữ liệu cho các tác vụ thị giác máy tính khác: Tận dụng khả năng tạo video người nhất quán về danh tính và đa dạng về góc nhìn của WILDACTOR để tổng hợp các bộ dữ liệu huấn luyện tổng hợp cho các tác vụ như nhận dạng hành động, ước tính tư thế hoặc tái tạo 3D của con người, đặc biệt trong các kịch bản góc nhìn hiếm gặp hoặc khó thu thập.
  3. Nghiên cứu tích hợp các yếu tố cá nhân hóa nâng cao (ví dụ: phong cách nghệ thuật, cảm xúc): Phát triển các cơ chế cho phép WILDACTOR không chỉ bảo toàn danh tính mà còn điều khiển các yếu tố cá nhân hóa phức tạp hơn như phong cách nghệ thuật của video đầu ra hoặc biểu cảm cảm xúc chi tiết của nhân vật, dựa trên các prompt hoặc tham chiếu bổ sung.

2. Patent:​

  1. Ứng dụng "Avatar video động" trên điện thoại: Một ứng dụng di động cho phép người dùng tạo ra một "bản sao kỹ thuật số" toàn thân của chính họ từ một vài bức ảnh. Sau đó, người dùng có thể nhập các mô tả văn bản về hành động hoặc môi trường, và ứng dụng sẽ tạo ra các video ngắn có nhân vật kỹ thuật số đó thực hiện các hành động một cách nhất quán về danh tính, tư thế và góc nhìn, phù hợp cho việc tạo nội dung mạng xã hội, hồ sơ cá nhân động hoặc các cuộc gọi video được cá nhân hóa.
  2. Tính năng "Chỉnh sửa video thông minh với nhân vật không đổi" cho điện thoại: Tích hợp vào các ứng dụng chỉnh sửa video trên điện thoại. Người dùng có thể quay nhiều đoạn video về cùng một người từ các góc độ hoặc bối cảnh khác nhau. Công nghệ sẽ tự động nhận diện và bảo toàn danh tính của người đó, cho phép người dùng dễ dàng chỉnh sửa, thêm hiệu ứng, thay đổi phông nền hoặc kết hợp các cảnh quay mà vẫn đảm bảo nhân vật xuất hiện nhất quán như một diễn viên chuyên nghiệp trong toàn bộ video.
  3. Hệ thống "Thử trang phục ảo toàn diện" trên di động: Cho phép người dùng chụp ảnh hoặc quay video ngắn của mình trên điện thoại. Sau đó, họ có thể chọn các bộ trang phục từ một danh mục sản phẩm. Ứng dụng sẽ tạo ra một video ngắn cho thấy người dùng mặc thử trang phục đó trong các tư thế và chuyển động khác nhau (ví dụ: đi bộ, xoay người), với độ chân thực cao và bảo toàn danh tính toàn thân, giúp người dùng hình dung rõ ràng hơn về sản phẩm trước khi mua sắm trực tuyến.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.00586
ArXiv Abstracthttps://arxiv.org/abs/2603.00586
PDF Downloadhttps://arxiv.org/pdf/2603.00586.pdf
Github Repositoryhttps://github.com/WildActor/WildActor

5. Progressive Residual Warmup for Language Model Pretraining (33 votes)​

Tác giả: Tianhao Chen, Xin Xu, Lu Yin, Hao Chen, Yang Wang, Shizhe Diao, Can Yang

Xuất bản lúc: 2026-03-05

Tag: LLMs, Transformers, Pretraining, Optimization, Residual Connections, Warmup, Deep Learning, Stability, Convergence

I. Main Problem:​

Các mô hình Ngôn ngữ lớn (LLMs) dựa trên kiến trúc Transformer gặp phải thách thức về sự ổn định trong quá trình huấn luyện trước (pretraining stability) và tốc độ hội tụ (convergence speed), đặc biệt khi mở rộng quy mô mô hình. Các phương pháp ổn định huấn luyện hiện có thường không nhận biết được các giai đoạn huấn luyện (training-phase-aware) và không điều phối rõ ràng việc học giữa các lớp khác nhau, dẫn đến các cập nhật mô hình hỗn loạn ở giai đoạn đầu và gây nhiễu tín hiệu học tập cho các lớp nông hơn.

II. Main Idea:​

Bài báo đề xuất Progressive Residual Warmup (ProRes), một phương pháp đơn giản và có khả năng mở rộng để điều phối việc học theo từng lớp (layerwise learning) thông qua các kết nối residual trong quá trình huấn luyện Transformer. ProRes hoạt động bằng cách nhân kết nối residual của mỗi lớp với một hệ số vô hướng α(l, t) tăng dần từ 0 lên 1. Các lớp sâu hơn sẽ có thời gian "khởi động" (warmup) dài hơn, cho phép các lớp nông hơn ổn định trước khi các lớp sâu hơn bắt đầu đóng góp đầy đủ vào quá trình học. Điều này đảm bảo rằng các cập nhật mô hình được kiểm soát tốt hơn ở giai đoạn đầu, giảm nhiễu giữa các lớp và tận dụng tối đa khả năng biểu đạt của các lớp sâu ở các giai đoạn sau.

III. Main Results:​

ProRes nhất quán giảm perplexity trên tập dữ liệu huấn luyện (C4-en) và cải thiện hiệu suất trên nhiều kiến trúc Transformer (Pre-LN, Post-LN, Sandwich-LN, DeepNorm, LayerNorm Scaling) và các quy mô mô hình (từ 130M đến 1.3B, mở rộng đến 7B). ProRes mang lại cải thiện đáng kể về độ chính xác zero-shot trên các benchmark suy luận (trung bình 1.27% trên 10 benchmark), đặc biệt là trên HellaSwag, ARC-Easy, OBQA và LAMBADA (tăng 2.89% trên LAMBADA). Phương pháp này cho thấy khả năng tổng quát hóa mạnh mẽ hơn trên các tập dữ liệu ngoài phân phối (out-of-distribution) như WikiText và LAMBADA, với mức giảm perplexity trung bình lần lượt là 1.58 và 4.86. Phân tích cho thấy ProRes ổn định quá trình huấn luyện bằng cách giảm thiểu các đột biến về loss và gradient khi độ sâu mô hình tăng lên, đồng thời thúc đẩy sự phát triển biểu diễn mượt mà và tuyến tính hơn giữa các lớp (thay vì tăng trưởng hàm mũ như Pre-LN thông thường). Lịch trình khởi động "linear" (kích hoạt dần dần từ lớp nông đến lớp sâu) được chứng minh là mạnh mẽ và hiệu quả nhất, đặc biệt là khi so sánh với các lịch trình kích hoạt đồng thời ("equal") hoặc ưu tiên lớp sâu ("reverse").

IV. Conclusion & Future Works:​

Bài báo kết luận rằng ProRes là một sơ đồ khởi động residual đơn giản và có thể mở rộng, giúp điều phối rõ ràng việc học theo từng lớp trong quá trình huấn luyện Transformer. Bằng cách ưu tiên các lớp nông ở giai đoạn đầu và cho phép các lớp sâu tham gia sau khi các biểu diễn upstream đã ổn định, ProRes cải thiện hiệu suất và khả năng mở rộng độ sâu trên nhiều quy mô mô hình, phương pháp khởi tạo và lược đồ chuẩn hóa. Các kết quả này cho thấy rằng việc lập lịch trình residual nhận biết giai đoạn huấn luyện là một hướng đi hiệu quả và thực tế để cải thiện tối ưu hóa Transformer. Hướng nghiên cứu trong tương lai có thể bao gồm việc khám phá ProRes với các lược đồ chuẩn hóa khác (ngoài Pre-LN đã được tập trung trong thử nghiệm mở rộng độ sâu).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu sâu hơn về các lịch trình khởi động residual thích ứng động: Phát triển và đánh giá các lịch trình α(l, t) không chỉ phụ thuộc vào l và t mà còn thích ứng dựa trên các động lực học của quá trình huấn luyện (ví dụ: độ lớn gradient, sự ổn định của biểu diễn, hoặc tốc độ hội tụ của từng lớp), nhằm tối ưu hóa hơn nữa hiệu suất và khả năng mở rộng cho các kiến trúc Transformer cực sâu.
  2. Ứng dụng ProRes cho các kiến trúc mô hình ngôn ngữ mới nổi và đa phương thức: Khám phá hiệu quả của ProRes khi áp dụng cho các kiến trúc LLM tiên tiến hơn như Mixture-of-Experts (MoE) hoặc các mô hình đa phương thức (multimodal models) kết hợp thị giác và ngôn ngữ, để cải thiện sự ổn định và tốc độ hội tụ trong quá trình huấn luyện trước.
  3. Phân tích định lượng tác động của ProRes đến khả năng học chuyển giao (transfer learning) và tinh chỉnh (fine-tuning): Thực hiện một nghiên cứu toàn diện để hiểu rõ hơn cách ProRes ảnh hưởng đến chất lượng của các biểu diễn học được và mức độ dễ dàng của việc chuyển giao các mô hình đã huấn luyện trước với ProRes sang các tác vụ downstream cụ thể, bao gồm cả việc đánh giá các phương pháp tinh chỉnh tối ưu cho các mô hình này.

2. Patent:​

  1. Hệ thống "khởi động thông minh" cho mô hình AI trên điện thoại di động: Một ứng dụng di động sử dụng nguyên tắc của ProRes để tối ưu hóa việc cập nhật hoặc tinh chỉnh các mô hình AI nhỏ trên thiết bị. Thay vì cập nhật toàn bộ mô hình cùng lúc, hệ thống sẽ ưu tiên cập nhật các phần "nông" hơn của mô hình trước để đảm bảo tính ổn định và hiệu quả, sau đó dần dần kích hoạt các phần "sâu" hơn khi các phần đầu đã ổn định, giúp giảm tiêu thụ tài nguyên (pin, CPU/GPU) và tăng tốc độ triển khai cập nhật mô hình AI cục bộ trên điện thoại.
  2. Công nghệ tối ưu hóa hiệu suất camera AI dựa trên lịch trình học tập theo lớp: Phát triển một công nghệ cho camera điện thoại thông minh, nơi các thuật toán xử lý hình ảnh AI (ví dụ: cải thiện chất lượng ảnh, nhận diện vật thể theo thời gian thực) được tối ưu hóa bằng cách áp dụng phương pháp "khởi động tuần tự" tương tự ProRes. Các lớp xử lý cơ bản (ví dụ: khử nhiễu, cân bằng trắng) sẽ được kích hoạt và ổn định trước, sau đó các lớp phức tạp hơn (ví dụ: nhận diện khuôn mặt, tối ưu hóa cảnh) sẽ dần dần được đưa vào, đảm bảo hiệu suất ổn định và chất lượng xử lý cao ngay cả khi tài nguyên hạn chế.
  3. Phương pháp cập nhật phần mềm AI cho thiết bị đeo tay (wearables) với khả năng tự điều chỉnh: Một công nghệ cho phép các thiết bị đeo tay (như đồng hồ thông minh) cập nhật các tính năng AI (ví dụ: theo dõi sức khỏe, trợ lý giọng nói) một cách mượt mà và hiệu quả. Hệ thống sẽ sử dụng một lịch trình "khởi động residual" để cập nhật các thành phần AI quan trọng theo thứ tự ưu tiên, bắt đầu từ các lớp cơ bản và dần dần mở rộng sang các lớp phức tạp hơn. Điều này giúp tránh các lỗi hoặc gián đoạn dịch vụ trong quá trình cập nhật, đồng thời giảm thiểu tác động đến thời lượng pin và trải nghiệm người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.05369
ArXiv Abstracthttps://arxiv.org/abs/2603.05369
PDF Downloadhttps://arxiv.org/pdf/2603.05369.pdf
Github Repositoryhttps://github.com/dandingsky/ProRes

6. Reasoning Models Struggle to Control their Chains of Thought (28 votes)​

Tác giả: Chen Yueh-Han, Robert McCarthy, Bruce W. Lee, He He, Ian Kivlichan, Bowen Baker, Micah Carroll, Tomek Korbak

Xuất bản lúc: 2026-03-05

Tag: Reasoning Models, Chain-of-Thought, CoT Controllability, Monitorability, LLMs, AI Safety, RL training

I. Main Problem:​

Vấn đề chính mà nghiên cứu này giải quyết là khả năng của các mô hình suy luận hiện đại (reasoning models) trong việc kiểm soát Chain-of-Thought (CoT) của chúng. Nếu các mô hình có thể kiểm soát những gì chúng "verbalize" trong CoT, điều này có thể làm suy yếu khả năng giám sát (monitorability) CoT, một công cụ đầy hứa hẹn để phát hiện hành vi sai trái và hiểu động cơ của mô hình. Việc đo lường khả năng không mong muốn này – CoT controllability – rất khó khăn do những thách thức về mặt khái niệm và kỹ thuật, như việc các mô hình hiện tại thiếu lý do để né tránh giám sát hoặc thất bại do không đáng tin cậy.

II. Main Idea:​

Các tác giả giới thiệu bộ công cụ đánh giá CoT-Control để đo lường CoT controllability, tập trung vào khả năng của mô hình tuân thủ các hướng dẫn trong CoT. Bộ công cụ bao gồm 14.076 bài toán yêu cầu mô hình giải quyết vấn đề trong khi tuân thủ các hướng dẫn về CoT, ví dụ: suy luận về một câu hỏi di truyền mà không sử dụng từ "chromosome". Các hướng dẫn CoT này bao gồm ba loại liên quan đến mối đe dọa (information suppression, addition, và stylistic modification) và các mức độ khó khác nhau. Nghiên cứu cũng đánh giá khả năng kiểm soát trong các tình huống mô hình được khuyến khích (chứ không phải yêu cầu trực tiếp) để né tránh các công cụ giám sát, hoặc khi được thông báo rằng chúng đang bị giám sát.

III. Main Results:​

  • Các mô hình suy luận có CoT controllability thấp hơn đáng kể so với output controllability; ví dụ, Claude Sonnet 4.5 chỉ kiểm soát được CoT của nó 2.7% thời gian nhưng kiểm soát được đầu ra cuối cùng 61.9%.
  • CoT controllability cao hơn đối với các mô hình lớn hơn nhưng giảm với việc huấn luyện RL nhiều hơn, tính toán tại thời điểm kiểm tra (test-time compute) và độ khó của bài toán tăng lên.
  • Các thất bại trong CoT controllability xảy ra ngay cả khi các mô hình được khuyến khích để né tránh giám sát, mặc dù khả năng kiểm soát tăng nhẹ khi mô hình được thông báo rằng chúng đang bị giám sát (tối đa 4 điểm phần trăm).
  • Tối ưu hóa prompt theo cách đối kháng không làm tăng đáng kể khả năng kiểm soát đối với các loại hướng dẫn không được thấy trước.
  • Việc ngăn chặn thông tin trong CoT làm giảm đáng kể hiệu suất thực hiện tác vụ (giảm 6.0–16.7 pp), trong khi việc thêm hoặc sửa đổi phong cách ít ảnh hưởng hơn (giảm ≤2.7 pp).
  • Các mô hình thể hiện khả năng kiểm soát thấp hơn trong các lĩnh vực định lượng (Toán, Vật lý, Hóa học) và cao hơn trong các lĩnh vực ít định lượng hơn (Kinh doanh).

IV. Conclusion & Future Works:​

Kết quả nghiên cứu cho thấy CoT controllability hiện tại ít có khả năng trở thành một chế độ lỗi của CoT monitorability, mang lại sự lạc quan thận trọng. Tuy nhiên, cơ chế đằng sau khả năng kiểm soát thấp này chưa được hiểu rõ. Các tác giả khuyến nghị các phòng thí nghiệm tiên phong theo dõi CoT controllability trong các mô hình tương lai. Họ cũng phát hành bộ công cụ CoT-Control để tạo điều kiện báo cáo điểm số kiểm soát và truyền cảm hứng cho nhiều nghiên cứu hơn về nguyên nhân và ý nghĩa của CoT controllability thấp. Công việc trong tương lai có thể khám phá mức độ kiểm soát có thể được tăng lên bằng cách thay đổi lượng huấn luyện RL hoặc fine-tuning có giám sát.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu cơ chế nội tại và biểu diễn của LLMs dẫn đến CoT controllability thấp. Điều này có thể bao gồm việc phân tích sâu hơn cấu trúc mạng nơ-ron, quá trình học tập, và cách thông tin được xử lý nội bộ để hiểu tại sao các mô hình gặp khó khăn trong việc kiểm soát suy nghĩ của chúng theo hướng dẫn.
  2. Phát triển các phương pháp huấn luyện mới nhằm tăng cường monitorability của CoT một cách có chủ đích, ngay cả khi CoT controllability có thể tăng lên. Điều này có thể liên quan đến việc thiết kế các hàm mục tiêu huấn luyện khuyến khích sự minh bạch và trung thực trong CoT, hoặc tạo ra các công cụ giám sát có khả năng phát hiện các nỗ lực che đậy tinh vi hơn.
  3. Khám phá mối quan hệ phức tạp giữa CoT controllability, hiệu suất tác vụ và sự phù hợp của mô hình (model alignment). Nghiên cứu này có thể tìm cách thiết kế các chiến lược huấn luyện tối ưu hóa cả ba yếu tố này, ví dụ, bằng cách tìm điểm cân bằng giữa việc duy trì hiệu suất cao và đảm bảo CoT vẫn có thể giám sát được để phát hiện các hành vi không phù hợp.

2. Patent:​

  1. Hệ thống trợ lý AI di động với kiểm soát suy luận nội bộ: Một tính năng trên điện thoại di động cho phép người dùng đặt ra các "hướng dẫn suy luận" cho trợ lý AI trước khi nó tạo ra một phản hồi. Ví dụ, người dùng có thể yêu cầu AI tóm tắt một tài liệu nhạy cảm "mà không đề cập đến bất kỳ tên nào" hoặc "không sử dụng thuật ngữ tài chính phức tạp". AI sẽ cố gắng xử lý thông tin nội bộ theo các ràng buộc này, chỉ đưa ra kết quả tuân thủ. Điều này đảm bảo quyền riêng tư hoặc giao tiếp đơn giản hóa mà không cần lo lắng về suy nghĩ nội bộ của AI.
  2. Ứng dụng ghi chú thông minh với bộ lọc ý tưởng: Một ứng dụng ghi chú trên điện thoại di động tích hợp AI, cho phép người dùng đặt các quy tắc kiểm soát CoT. Khi người dùng nhập ý tưởng hoặc viết bản nháp, AI sẽ cố gắng tránh suy luận hoặc đề xuất các từ khóa/khái niệm bị cấm theo cài đặt của người dùng. Ví dụ, một nhà văn có thể thiết lập để AI tránh "suy nghĩ về các nhân vật phụ" khi tập trung vào cốt truyện chính, giúp duy trì sự tập trung và chất lượng nội dung.
  3. Công cụ học tập cá nhân hóa với hướng dẫn tư duy có cấu trúc: Một ứng dụng di động sử dụng AI để hướng dẫn học sinh giải quyết vấn đề bằng cách áp đặt các ràng buộc CoT. Ví dụ, khi giải một bài toán khoa học, AI có thể hướng dẫn học sinh (hoặc chính nó, đóng vai trò gia sư) "tư duy từng bước mà không sử dụng lối tắt" hoặc "giải thích khái niệm chỉ sử dụng các ví dụ trong đời sống". Ứng dụng sau đó có thể phân tích quá trình suy luận bị ràng buộc của AI (hoặc học sinh) để đưa ra phản hồi về tư duy có cấu trúc và việc tuân thủ các phương pháp học tập cụ thể.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.05706
ArXiv Abstracthttps://arxiv.org/abs/2603.05706
PDF Downloadhttps://arxiv.org/pdf/2603.05706.pdf
Github RepositoryN/A

7. RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies (24 votes)​

Tác giả: Yinpei Dai, Hongze Fu, Jayjun Lee, Yuejiang Liu, Haoran Zhang, Jianing Yang, Chelsea Finn, Nima Fazeli, Joyce Chai

Xuất bản lúc: 2026-03-04

Tag: Robotic Manipulation, Memory, VLA models, Benchmarking, Generalist Policies, Imitation Learning, Cognitive Memory

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) gần đây đã bắt đầu tích hợp cơ chế bộ nhớ để thực hiện các tác vụ robot kéo dài và phụ thuộc vào lịch sử (ví dụ: đếm hành động lặp lại, thao tác với vật thể bị che khuất). Tuy nhiên, việc đánh giá các cơ chế bộ nhớ này vẫn bị giới hạn trong các thiết lập hẹp, không được tiêu chuẩn hóa. Điều này cản trở việc hiểu rõ, so sánh và đo lường tiến độ một cách có hệ thống. Các phương pháp trước đây sử dụng các kiến trúc chính sách khác nhau và giao thức đánh giá không nhất quán, khiến việc xác định thiết kế bộ nhớ nào có thể tổng quát hóa qua các tác vụ trở nên khó khăn. Ngoài ra, còn thiếu các bộ benchmark đủ đa dạng và thách thức để kiểm tra các yêu cầu bộ nhớ phức tạp.

II. Main Idea:​

Để giải quyết những thách thức này, nghiên cứu giới thiệu RoboMME: một bộ benchmark quy mô lớn, tiêu chuẩn hóa để đánh giá và thúc đẩy các mô hình VLA trong các kịch bản dài hạn, phụ thuộc vào lịch sử. RoboMME bao gồm 16 tác vụ thao tác được xây dựng dựa trên một phân loại được thiết kế cẩn thận, đánh giá bốn loại bộ nhớ chính: temporal (thời gian), spatial (không gian), object (đối tượng) và procedural (thủ tục). Nghiên cứu cũng phát triển một bộ 14 biến thể VLA tăng cường bộ nhớ, dựa trên kiến trúc 𝜋0.5, để khám phá có hệ thống các biểu diễn bộ nhớ khác nhau (symbolic, perceptual, recurrent) thông qua nhiều chiến lược tích hợp (memory-as-context, memory-as-modulator, memory-as-expert). Mục tiêu là cung cấp một nền tảng thống nhất để hiểu rõ hơn về cách bộ nhớ ảnh hưởng đến hiệu suất thao tác của robot.

III. Main Results:​

  1. Không có một thiết kế bộ nhớ nào vượt trội trên tất cả các tác vụ: Hiệu quả của các biểu diễn bộ nhớ phụ thuộc rất nhiều vào từng tác vụ cụ thể.
  2. Bộ nhớ symbolic: Hiệu quả trong các tác vụ đếm và suy luận ngắn hạn (ví dụ: Counting suite).
  3. Bộ nhớ perceptual: Quan trọng đối với các hành vi nhạy cảm về thời gian và tập trung vào chuyển động (ví dụ: Imitation suite). Trong số các biến thể, FrameSamp+Modul (bộ nhớ perceptual với chiến lược memory-as-modulator) đạt tỷ lệ thành công tổng thể cao nhất (44.51%) và cân bằng tốt nhất giữa hiệu suất và hiệu quả tính toán.
  4. Bộ nhớ recurrent: Cho hiệu suất kém nhất, có thể do việc tinh chỉnh 𝜋0.5 với các lớp recurrent nông dẫn đến quá trình huấn luyện không ổn định.
  5. Chiến lược tích hợp: Memory-as-modulator là chiến lược tích hợp hiệu quả nhất cho bộ nhớ perceptual, có thể do nó nhẹ và giữ lại kiến trúc 𝜋0.5 gốc.
  6. Hiệu suất của con người: Con người đạt tỷ lệ thành công 90.5%, cho thấy RoboMME vẫn là một bộ benchmark đầy thách thức.
  7. Khả năng chuyển giao sang thế giới thực: Các xu hướng quan sát được trên RoboMME cũng chuyển giao sang các tác vụ robot trong thế giới thực.

IV. Conclusion & Future Works:​

Nghiên cứu giới thiệu RoboMME, một bộ benchmark thống nhất để đánh giá có hệ thống thao tác robot tăng cường bộ nhớ trên bốn khía cạnh nhận thức. Các so sánh có kiểm soát các biểu diễn bộ nhớ symbolic, perceptual và recurrent với nhiều cơ chế tích hợp đã chỉ ra rằng không có một thiết kế nào vượt trội nhất quán: bộ nhớ symbolic xuất sắc trong việc đếm và suy luận ngắn hạn, trong khi bộ nhớ perceptual rất quan trọng đối với các hành vi tập trung vào chuyển động và nhạy cảm về thời gian.

Các hướng nghiên cứu trong tương lai:

  • Mở rộng từ thao tác trên mặt bàn sang thao tác di động và các môi trường phức tạp hơn.
  • Đánh giá các kiến trúc thay thế (ví dụ: phương pháp memory-bank) và các kiến trúc chính VLA khác ngoài 𝜋0.5.
  • Phát triển các khuôn khổ thống nhất tích hợp nhiều dạng bộ nhớ một cách hiệp lực, vì các biểu diễn bộ nhớ được chứng minh là bổ trợ cho nhau.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển Khung kiến trúc Bộ nhớ Tổng hợp: Nghiên cứu và thiết kế các kiến trúc học máy mới có khả năng tích hợp linh hoạt các loại bộ nhớ (symbolic, perceptual, recurrent) để tạo ra các chính sách robot tổng quát hơn, có khả năng học hỏi và thực hiện các tác vụ phức tạp, dài hạn trong môi trường động.
  2. Đánh giá Bộ nhớ trong Thao tác Robot Di động: Mở rộng bộ benchmark RoboMME và các phương pháp tăng cường bộ nhớ cho các tác vụ thao tác robot di động, bao gồm các thách thức như điều hướng, tương tác với môi trường thay đổi và quản lý thông tin trong thời gian dài hơn.
  3. Tối ưu hóa Tích hợp Bộ nhớ Recurrent cho Mô hình VLA: Khám phá các phương pháp tích hợp sâu hơn và ổn định hơn cho bộ nhớ recurrent trong các mô hình VLA, có thể thông qua các kiến trúc mới hoặc quy trình huấn luyện trước đặc biệt, nhằm cải thiện hiệu suất trên các tác vụ yêu cầu nhớ lịch sử dài và phức tạp.

2. Patent:​

  1. Hệ thống Hỗ trợ Công việc Gia đình Ghi nhớ Chuỗi Hành động: Một ứng dụng di động kết nối với robot gia đình, cho phép người dùng 'dạy' robot các chuỗi hành động phức tạp (ví dụ: 'đếm và nhặt tất cả đồ chơi màu xanh lá cây vào giỏ này'). Hệ thống sẽ ghi nhớ các bước, vị trí đồ vật và số lần thực hiện thông qua camera của điện thoại và robot. Sau đó, robot có thể tự động lặp lại công việc này, giúp người dùng tiết kiệm thời gian và công sức trong các công việc nhà thường ngày.
  2. Trợ lý Thực tế Tăng cường (AR) Ghi nhớ Vị trí Đồ vật Bị Che khuất: Một ứng dụng AR trên điện thoại thông minh giúp người dùng đánh dấu và ghi nhớ vị trí chính xác của các đồ vật trong không gian thực, ngay cả khi chúng bị che khuất hoặc di chuyển. Người dùng có thể quét phòng bằng camera điện thoại, đánh dấu 'chìa khóa' hoặc 'kính mắt'. Khi cần tìm, ứng dụng sẽ hiển thị hướng dẫn AR đến vị trí cuối cùng được ghi nhận, thậm chí chỉ ra rằng vật đó nằm dưới một vật khác, giúp người dùng dễ dàng tìm thấy đồ vật bị thất lạc.
  3. Giao diện Điều khiển Cử chỉ Thông minh cho Thiết bị Kết nối: Một tính năng trên điện thoại di động cho phép người dùng thực hiện một chuỗi cử chỉ hoặc thao tác trên màn hình (ví dụ: vuốt, chạm, giữ theo một thứ tự cụ thể) để điều khiển một thiết bị ngoại vi hoặc robot được kết nối. Điện thoại sẽ ghi nhớ 'cách thức' thực hiện chuỗi cử chỉ này và cho phép tái tạo hoặc tự động hóa chuỗi hành động đó sau này. Điều này hữu ích cho việc tạo ra các lệnh nhanh chóng, cá nhân hóa hoặc hướng dẫn người khác cách sử dụng thiết bị một cách trực quan.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.04639
ArXiv Abstracthttps://arxiv.org/abs/2603.04639
PDF Downloadhttps://arxiv.org/pdf/2603.04639.pdf
Github Repositoryhttps://github.com/RoboMME/robomme_benchmark

8. Dynamic Chunking Diffusion Transformer (14 votes)​

Tác giả: Akash Haridas, Utkarsh Saxena, Parsa Ashrafi Fashi, Mehdi Rezagholizadeh, Vikram Appia, Emad Barsoum

Xuất bản lúc: 2026-03-06

Tag: Diffusion, Transformers, Image Generation, Adaptive Computation, Dynamic Chunking, Generative AI

I. Main Problem:​

Các mô hình Diffusion Transformer (DiT) hiện tại sử dụng cơ chế tạo token (patchify) cố định, dẫn đến việc phân bổ tài nguyên tính toán đồng đều cho cả vùng ảnh ít thông tin và vùng giàu thông tin. Điều này bỏ qua sự khác biệt về mức độ chi tiết trong các vùng ảnh và tính chất tiến hóa từ cấu trúc thô đến chi tiết tinh vi của quá trình khử nhiễu, gây lãng phí tài nguyên và hạn chế hiệu quả.

II. Main Idea:​

Giới thiệu Dynamic Chunking Diffusion Transformer (DC-DiT), một kiến trúc mở rộng DiT bằng một khung mã hóa-định tuyến-giải mã (encoder-router-decoder) học được. DC-DiT tự động nén đầu vào 2D thành một chuỗi token ngắn hơn theo cách phụ thuộc vào dữ liệu, sử dụng cơ chế 'chunking' được học end-to-end trong quá trình huấn luyện diffusion. Cơ chế này học cách nén các vùng nền đồng nhất thành ít token hơn và các vùng giàu chi tiết thành nhiều token hơn. Đồng thời, nó cũng tự động thích ứng việc nén theo các bước thời gian khử nhiễu (sử dụng ít token hơn ở các giai đoạn nhiễu và nhiều token hơn khi các chi tiết tinh vi xuất hiện), mà không cần giám sát tường minh.

III. Main Results:​

DC-DiT đã đạt được những kết quả nổi bật:

  • Nó liên tục cải thiện điểm FID và Inception Score so với các mô hình DiT cơ sở tương đương về tham số (parameter-matched) và tương đương về FLOPs (FLOP-matched) trên tập dữ liệu ImageNet 256x256, với tỷ lệ nén 4x và 16x.
  • Cơ chế chunking học được cách phân đoạn hình ảnh có ý nghĩa (ví dụ: tập trung token vào các cạnh đối tượng và vùng có kết cấu, giảm token ở vùng nền đồng nhất) mà không cần bất kỳ sự giám sát tường minh nào.
  • DC-DiT cũng học được lịch trình nén thích ứng theo thời gian: nén mạnh hơn ở các bước khử nhiễu sớm (khi ảnh nhiễu nhiều) và giữ lại nhiều token hơn ở các bước sau (khi chi tiết tinh vi xuất hiện).
  • Mô hình có thể được 'upcycle' (tái sử dụng) từ các checkpoint DiT đã huấn luyện trước với chi phí tính toán sau huấn luyện tối thiểu (chỉ cần 12.5% số bước huấn luyện) và đạt được kết quả tốt hơn so với huấn luyện từ đầu, đặc biệt khi kết hợp với kỹ thuật chưng cất kích hoạt (activation distillation).

IV. Conclusion & Future Works:​

DC-DiT là một kỹ thuật đầy hứa hẹn để cải thiện hiệu quả và chất lượng của các mô hình Diffusion Transformer bằng cách phân bổ tài nguyên tính toán một cách linh hoạt, tập trung vào các vùng thông tin quan trọng và thích ứng theo tiến trình khử nhiễu. Tiềm năng ứng dụng trong tương lai bao gồm mở rộng DC-DiT cho việc tạo ảnh trong không gian pixel, tạo video và tạo mô hình 3D. Ngoài ra, DC-DiT cũng có khả năng kết hợp với các phương pháp tính toán động khác để giảm thêm FLOPs trong quá trình tạo ảnh, hứa hẹn những cải tiến đáng kể về hiệu suất.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng DC-DiT cho Video và 3D Generation: Nghiên cứu cách áp dụng cơ chế chunking động theo không gian-thời gian cho việc tạo video và mô hình 3D, nơi tính linh hoạt trong phân bổ tài nguyên là cực kỳ quan trọng do lượng dữ liệu lớn và phức tạp.
  2. DC-DiT với các kiến trúc Transformer khác và tác vụ hạ nguồn: Khám phá việc tích hợp cơ chế chunking động vào các kiến trúc Transformer ngoài DiT (ví dụ: mô hình Vision Transformer cho phân loại, phát hiện đối tượng) và đánh giá hiệu quả của nó trên các tác vụ hạ nguồn khác nhau trong lĩnh vực thị giác máy tính.
  3. Tối ưu hóa cơ chế định tuyến và giải nén: Nghiên cứu các phương pháp định tuyến (routing) phức tạp hơn hoặc các chiến lược giải nén (de-chunking) tiên tiến hơn để đạt được sự nén/giải nén hiệu quả hơn và giữ lại thông tin tốt hơn, đặc biệt đối với các tỷ lệ nén cực đoan hoặc trong các ứng dụng đòi hỏi độ chính xác cao.

2. Patent:​

  1. Hệ thống tối ưu hóa tạo ảnh di động thông minh: Một ứng dụng trên điện thoại di động sử dụng công nghệ nén ảnh động để tạo ra hình ảnh chất lượng cao hoặc chỉnh sửa ảnh với hiệu quả năng lượng vượt trội. Khi người dùng yêu cầu tạo ảnh (ví dụ: từ văn bản hoặc chỉnh sửa ảnh hiện có), hệ thống sẽ tự động xác định các vùng quan trọng trong ảnh để xử lý chi tiết hơn và bỏ qua các vùng ít quan trọng, giúp giảm thời gian xử lý và tiết kiệm pin mà vẫn đảm bảo chất lượng hình ảnh mong muốn.
  2. Công cụ tạo ảnh đại diện (avatar) cá nhân hóa với hiệu suất cao: Phát triển một tính năng trên điện thoại cho phép người dùng tạo ảnh đại diện hoặc biểu tượng cảm xúc (emoji) cá nhân hóa từ ảnh chụp hoặc mô tả văn bản. Công nghệ này sẽ tự động nén các vùng nền không cần thiết và tập trung vào các đặc điểm khuôn mặt hoặc đối tượng chính, giúp tạo ra các avatar độc đáo nhanh chóng và hiệu quả, lý tưởng cho các ứng dụng mạng xã hội hoặc nhắn tin trên thiết bị di động.
  3. Hệ thống nén và truyền tải hình ảnh thích ứng cho thiết bị di động: Một công nghệ cho phép các thiết bị di động nén và truyền tải hình ảnh qua mạng với hiệu quả cao hơn. Hệ thống sẽ phân tích nội dung hình ảnh, nén các vùng ít chi tiết hơn và giữ lại độ phân giải cao cho các vùng quan trọng. Điều này giúp giảm băng thông cần thiết khi gửi ảnh qua tin nhắn hoặc tải lên đám mây, đồng thời người nhận vẫn có thể xem được các chi tiết quan trọng mà không cần tải toàn bộ ảnh chất lượng cao, tối ưu hóa trải nghiệm người dùng trên các kết nối mạng khác nhau.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.06351
ArXiv Abstracthttps://arxiv.org/abs/2603.06351
PDF Downloadhttps://arxiv.org/pdf/2603.06351.pdf
Github RepositoryN/A

9. Physical Simulator In-the-Loop Video Generation (11 votes)​

Tác giả: Lin Geng Foo, Mark He Huang, Alexandros Lattas, Stylianos Moschoglou, Thabo Beeler, Christian Theobalt

Xuất bản lúc: 2026-03-06

Tag: Diffusion Models, Video Generation, Physical Simulation, 3D Reconstruction, Test-Time Optimization, LLMs

I. Main Problem:​

Các tiến bộ gần đây trong tạo video dựa trên mô hình khuếch tán đã đạt được độ chân thực hình ảnh đáng kể nhưng vẫn gặp khó khăn trong việc tuân thủ các định luật vật lý cơ bản như trọng lực, quán tính và va chạm. Các đối tượng được tạo ra thường di chuyển không nhất quán giữa các khung hình, thể hiện động lực học phi lý hoặc vi phạm các ràng buộc vật lý, làm hạn chế tính chân thực và độ tin cậy của video do AI tạo ra. Ngoài ra, tính nhất quán về kết cấu của vật thể trong quá trình di chuyển (như nhấp nháy hoặc đổi màu) cũng là một thách thức lớn.

II. Main Idea:​

Để giải quyết vấn đề này, bài báo giới thiệu Physical Simulator In-the-loop Video Generation (PSIVG), một khung công tác mới tích hợp trình mô phỏng vật lý vào quá trình khuếch tán video. PSIVG hoạt động theo các bước sau:

  1. Tạo video mẫu: Bắt đầu từ một video mẫu được tạo bởi một mô hình khuếch tán đã được huấn luyện trước (thường không nhất quán về mặt vật lý).
  2. Quy trình nhận thức (Perception Pipeline): Tái tạo cảnh 4D và lưới vật thể tiền cảnh từ video mẫu. Điều này bao gồm ước tính hình học vật thể 3D, hình học cảnh nền và động lực học vật thể (vị trí, vận tốc tuyến tính và quay).
  3. Mô phỏng vật lý: Khởi tạo các vật thể và cảnh trong một trình mô phỏng vật lý dựa trên MPM (Material Point Method), bao gồm việc xác định miền mô phỏng và ước tính các thuộc tính vật lý (sử dụng mô hình ngôn ngữ lớn như GPT-5 để suy luận các thuộc tính vật liệu).
  4. Tạo quỹ đạo nhất quán: Trình mô phỏng tạo ra các quỹ đạo vật lý nhất quán cho các vật thể.
  5. Hướng dẫn tạo video: Các quỹ đạo mô phỏng này được sử dụng để hướng dẫn mô hình tạo video (ví dụ: Go-with-the-Flow) tạo ra chuyển động nhất quán về mặt vật lý theo không gian-thời gian (thông qua luồng quang học).
  6. Tối ưu hóa tính nhất quán kết cấu tại thời điểm kiểm thử (TTCO): Để cải thiện hơn nữa tính nhất quán về kết cấu trong quá trình di chuyển của vật thể, một kỹ thuật TTCO được đề xuất. TTCO điều chỉnh các nhúng văn bản và đặc trưng dựa trên các điểm tương ứng pixel từ trình mô phỏng, tối ưu hóa các tham số học được để video được tạo ra tuân theo các quỹ đạo và xoay của trình mô phỏng tốt hơn, không yêu cầu dữ liệu huấn luyện bổ sung.

III. Main Results:​

PSIVG tạo ra các video tuân thủ vật lý trong thế giới thực tốt hơn trong khi vẫn giữ được chất lượng hình ảnh và sự đa dạng. Các thí nghiệm toàn diện cho thấy PSIVG đạt hiệu suất tốt nhất một cách nhất quán trên các chỉ số kiểm soát chuyển động (SAM mIoU và Corr. Pixel MSE), cho thấy khả năng mạnh mẽ trong việc duy trì quỹ đạo chuyển động nhất quán và có tính mạch lạc về mặt vật lý qua các khung hình. Trong một nghiên cứu người dùng, phương pháp của chúng tôi được ưu tiên trong 82.3% các so sánh, vượt trội đáng kể so với tất cả các mô hình cơ sở. TTCO cho thấy sự cải thiện đáng kể về Corr. Pixel MSE và tính nhất quán của đối tượng, chứng minh hiệu quả trong việc tăng cường tính nhất quán về kết cấu. Thiết kế tối ưu hóa dựa trên lời nhắc của chúng tôi trong TTCO mang lại kết quả chất lượng cao hơn so với tinh chỉnh dựa trên LoRA, đặc biệt là trong việc bảo toàn nền.

IV. Conclusion & Future Works:​

PSIVG là một khung tạo video tích hợp trình mô phỏng vật lý vào quá trình tạo video dựa trên mô hình khuếch tán, đồng thời tăng cường tính nhất quán về kết cấu thông qua TTCO. Phương pháp này tạo ra video với độ chân thực vật lý và chất lượng hình ảnh vượt trội. Tuy nhiên, phương pháp còn một số hạn chế:

  1. Phụ thuộc vào MPM, hạn chế khả năng xử lý các tác nhân phức tạp như con người hoặc phương tiện, và các cấu trúc khớp nối.
  2. Hạn chế về chất lượng nhận thức trong quá trình tái tạo vật thể ban đầu.
  3. Kế thừa các hạn chế về khả năng tạo của mô hình video GwtF, ví dụ, khó khăn trong việc tạo ra các vật thể rất nhỏ hoặc mỏng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng PSIVG cho các tác nhân phức tạp và cấu trúc khớp nối: Nghiên cứu tích hợp các mô hình vật lý và trình mô phỏng nâng cao hơn để xử lý chuyển động của con người, động vật hoặc các cỗ máy phức tạp, vượt ra ngoài các vật thể cứng nhắc và biến dạng đơn giản, nhằm tăng cường khả năng ứng dụng trong robot và mô phỏng hành vi.
  2. Cải thiện quy trình nhận thức 4D với học tăng cường: Phát triển các kỹ thuật tái tạo cảnh 4D và lưới vật thể từ video mẫu hiệu quả và chính xác hơn, có thể sử dụng học tăng cường hoặc các mô hình học sâu để tự động điều chỉnh và tối ưu hóa chất lượng tái tạo, đặc biệt trong các trường hợp video mẫu có chất lượng thấp hoặc có nhiều lỗi.
  3. Tích hợp PSIVG với các mô hình tạo video đa phương thức thế hệ mới: Khám phá cách kết hợp khung PSIVG với các mô hình tạo video tiên tiến hơn (ví dụ: Sora hoặc các mô hình có khả năng tạo đối tượng nhỏ/mỏng tốt hơn) để giải quyết các hạn chế hiện có về chi tiết và độ phân giải, đồng thời giữ nguyên tính nhất quán vật lý.
  4. patent_ideas

2. Patent:​

  1. Hệ thống chỉnh sửa video AI với hiệu chỉnh vật lý tự động trên điện thoại di động: Một ứng dụng trên điện thoại di động cho phép người dùng tải lên hoặc quay video. Hệ thống sẽ tự động phân tích chuyển động của các vật thể trong video để phát hiện các hành vi phi vật lý (ví dụ: một quả bóng bay lên không trung một cách phi lý, một vật thể xuyên qua vật khác). Sau đó, ứng dụng sẽ cung cấp tùy chọn hiệu chỉnh chuyển động đó sao cho tuân thủ các định luật vật lý cơ bản, giúp video trông tự nhiên và chân thực hơn mà không cần kiến thức chuyên môn về vật lý.
  2. Ứng dụng thực tế tăng cường (AR) tương tác với vật lý thời gian thực: Phát triển một tính năng hoặc ứng dụng AR trên điện thoại di động cho phép người dùng đặt các vật thể ảo vào môi trường thực tế của họ. Các vật thể ảo này sẽ tương tác với nhau và với môi trường thực (được quét qua camera) theo các định luật vật lý. Ví dụ, khi người dùng "thả" một chiếc cốc ảo lên bàn thực, nó sẽ rơi và va chạm một cách chân thực, hoặc khi "đẩy" một khối hộp ảo, nó sẽ trượt theo trọng lực và ma sát, tăng cường trải nghiệm nhập vai và giáo dục.
  3. Tạo biểu tượng cảm xúc và nhãn dán động thông minh bằng AI có vật lý trên điện thoại di động: Một công cụ tích hợp vào các ứng dụng nhắn tin hoặc bàn phím trên điện thoại. Người dùng có thể nhập mô tả văn bản (ví dụ: "một chú mèo nhảy lò cò vui vẻ") để tạo ra các biểu tượng cảm xúc hoặc nhãn dán động cá nhân hóa. Hệ thống sẽ sử dụng một mô hình vật lý đơn giản để đảm bảo các chuyển động như nhảy, rơi, nảy của nhân vật ảo được tạo ra một cách hợp lý và chân thực, thay vì chỉ là các chuyển động hoạt hình cứng nhắc, làm cho các cuộc trò chuyện trở nên sinh động và hấp dẫn hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.06408
ArXiv Abstracthttps://arxiv.org/abs/2603.06408
PDF Downloadhttps://arxiv.org/pdf/2603.06408.pdf
Github Repositoryhttps://github.com/MarkHershey/PSIVG