🤗 Daily Hugging Face Paper Digest - 2026-02-26

Báo cáo được tạo tự động vào lúc 2026-03-06 09:31:43 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. MolHIT: Advancing Molecular-Graph Generation with Hierarchical Discrete Diffusion Models (54 votes)

Tác giả: Hojung Jung, Rodrigo Hormazabal, Jaehyeong Jo, Youngrok Park, Kyunggeun Roh, Se-Young Yun, Sehui Han, Dae-Woong Jeong

Xuất bản lúc: 2026-02-19

Tag: Molecular-Graph Generation, Discrete Diffusion Models, Drug Discovery, Materials Science, AI, ML

I. Main Problem:

Các mô hình khuếch tán đồ thị (graph diffusion models) hiện có để tạo phân tử gặp phải vấn đề về tính hợp lệ hóa học thấp và khó đạt được các tính chất mong muốn so với các mô hình 1D. Thách thức chính không phải là tạo ra cấu trúc mới mà là đảm bảo chúng hợp lệ về mặt hóa học và có thể tổng hợp được. Các lỗi nhỏ ở cấp độ nguyên tử có thể tạo ra cấu trúc không thể tồn tại về mặt hóa học.

Cụ thể, có hai hạn chế nghiêm trọng:

Chuyển đổi đồng nhất hoặc hấp thụ bỏ qua mối quan hệ hóa học: Các phương pháp hiện tại xử lý mỗi loại nguyên tử như một danh mục độc lập, bỏ qua các mối quan hệ hóa học đã biết, làm cho quá trình học trở nên khó khăn không cần thiết, đặc biệt khi dữ liệu phân tử chất lượng cao khan hiếm.
Mã hóa nguyên tử đơn giản không đầy đủ: Các mô hình đồ thị hiện có dựa vào mã hóa nguyên tử đơn giản, bỏ qua việc một nguyên tử có thể có các đặc điểm khác nhau khi có điện tích hình thức hoặc là một phần của vòng thơm. Điều này dẫn đến thất bại trong việc tái tạo các mô hình nguyên tử cụ thể và khiến các tác vụ tạo đồ thị phân tử trở nên không ổn định.

II. Main Idea:

MolHIT giới thiệu một khuôn khổ tạo đồ thị phân tử mạnh mẽ dựa trên Mô hình Khuếch tán Rời rạc Phân cấp (Hierarchical Discrete Diffusion Model - HDDM) và Mã hóa Nguyên tử Tách rời (Decoupled Atom Encoding - DAE).

Mô hình Khuếch tán Rời rạc Phân cấp (HDDM): Mở rộng quá trình khuếch tán rời rạc bằng cách thêm các danh mục cấp trung gian mã hóa các ưu tiên hóa học. Cách tiếp cận từ thô đến tinh này cho phép mô hình thiết lập các nhận dạng hóa học cấp cao trước khi tinh chỉnh thành các loại nguyên tử cụ thể, giúp nắm bắt các phụ thuộc có ý nghĩa trong cấu trúc phân tử.
Mã hóa Nguyên tử Tách rời (DAE): Mở rộng không gian trạng thái nguyên tử bằng cách mã hóa rõ ràng tính thơm (aromaticity) và điện tích hình thức (formal charge) làm thuộc tính nút chính. Điều này giải quyết vấn đề mất thông tin trong các biểu diễn đơn giản và cung cấp các ưu tiên cấu trúc cần thiết cho mô hình.
PN-sampler (Project-and-Noise sampler): Một bộ lấy mẫu mới giúp dự đoán khử nhiễu của mô hình lên manifold sạch thông qua lấy mẫu phân loại để có được một ứng cử viên rời rạc, sau đó trực tiếp thêm nhiễu lại vào bước thời gian trước đó. Điều này khuyến khích sự đa dạng cấu trúc lớn hơn.
Lấy mẫu nhiệt độ (Temperature sampling): Được áp dụng cho PN-sampler, đặc biệt cho dự đoán nguyên tử, để quản lý sự cân bằng giữa chất lượng và tính đa dạng.

III. Main Results:

MolHIT đạt được hiệu suất vượt trội (state-of-the-art - SOTA) trên bộ dữ liệu MOSES với độ hợp lệ gần như hoàn hảo (99.1%) lần đầu tiên trong khuếch tán đồ thị, vượt qua các mô hình 1D mạnh mẽ trên nhiều chỉ số (chất lượng 94.2%, Scaffold Novelty 0.39).

Tạo phân tử không điều kiện: Trên MOSES, MolHIT vượt trội đáng kể so với các baseline dựa trên đồ thị và các baseline 1D về chất lượng, tính hợp lệ, FCD và Scaffold Novelty. Trên GuacaMol, MolHIT đạt hiệu suất cao nhất trên hầu hết các chỉ số (Độ hợp lệ 87.1%, V.U. 87.1%, V.U.N. 86.0%, KL Div. 96.7%).
Tạo phân tử có hướng dẫn đa thuộc tính: MolHIT vượt trội đáng kể so với tất cả các baseline, đạt MAE trung bình 0.058 và hệ số tương quan Pearson trung bình 0.807, với độ hợp lệ cao hơn 95%.
Mở rộng khung (Scaffold Extension): MolHIT vượt trội đáng kể so với DiGress trên tất cả các chỉ số, bao gồm tính hợp lệ (83.9%), độ đa dạng, Hit@1 (3.92%) và Hit@5 (9.79%).
Nghiên cứu cắt bỏ (Ablation Studies): Chứng minh rằng mỗi thành phần (DAE, PN Sampler, HDDM) đều đóng góp vào hiệu suất vượt trội của MolHIT.

IV. Conclusion & Future Works:

MolHIT là một mô hình khuếch tán phân tử mới với khuôn khổ khuếch tán rời rạc phân cấp, đạt hiệu suất vượt trội trên các bộ dữ liệu phân tử lớn. Thuật toán này mở ra khả năng mới cho việc tạo phân tử cấp nguyên tử từ đầu đến cuối, trực tiếp tạo ra các nguyên tử có điện tích hình thức hoặc nH rõ ràng lần đầu tiên, hướng tới việc tạo ra các phân tử thực tế hơn. HDDM của MolHIT được suy ra từ một họ kernel chuyển đổi dạng đóng nhất quán theo semigroup và hỗ trợ phép chiếu row-stochastic Φ tùy ý, tổng quát hóa các phương pháp phân cấp trước đây.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng khả năng của HDDM với các chiến lược phân cấp và nhóm hóa học nâng cao: Nghiên cứu các phương pháp tiên tiến để tự động xác định và tối ưu hóa các trạng thái cấp trung gian (S1) và ma trận chiếu Φ trong HDDM, dựa trên các thuộc tính hóa học phức tạp, học sâu hoặc thông tin cấu trúc 3D, nhằm cải thiện khả năng khám phá không gian hóa học và độ chính xác của mô hình.
Tạo phân tử 3D với HDDM và DAE: Phát triển một phiên bản của MolHIT có khả năng tạo ra các cấu trúc phân tử 3D hoàn chỉnh, bao gồm cả vị trí không gian và hình học liên kết, bằng cách tích hợp khuôn khổ khuếch tán phân cấp và mã hóa nguyên tử tách rời với các biểu diễn đồ thị 3D hoặc các mô hình khuếch tán liên tục.
Tạo phân tử đa mục tiêu có điều kiện với tối ưu hóa theo ràng buộc: Phát triển các kỹ thuật tạo phân tử có điều kiện trong MolHIT để tối ưu hóa đồng thời nhiều thuộc tính hóa học (ví dụ: độ hòa tan, tính chọn lọc, độc tính) dưới các ràng buộc cụ thể (ví dụ: cấu trúc khung, tính khả thi tổng hợp), sử dụng các phương pháp học tăng cường hoặc tối ưu hóa đa mục tiêu.

2. Patent:

Ứng dụng di động "Nhà thiết kế thuốc thông minh" với phản hồi hóa học tức thì: Một ứng dụng trên điện thoại di động cho phép người dùng (nhà khoa học, sinh viên) phác thảo cấu trúc phân tử mong muốn hoặc nhập các thuộc tính hóa học mục tiêu. Ứng dụng sẽ sử dụng thuật toán MolHIT để đánh giá tính hợp lệ hóa học của cấu trúc đã phác thảo trong thời gian thực, đồng thời đề xuất các sửa đổi hoặc mở rộng hợp lệ về mặt hóa học, và dự đoán các thuộc tính mục tiêu của phân tử đã tạo. Điều này giúp đẩy nhanh quá trình thiết kế phân tử ban đầu và cung cấp công cụ học tập tương tác.
Hệ thống tạo vật liệu mới trên điện thoại di động với hướng dẫn thuộc tính: Một công cụ di động cho phép người dùng nhập các yêu cầu về thuộc tính vật liệu ở cấp độ cao (ví dụ: "polyme dẫn điện trong suốt", "vật liệu có khả năng tự phục hồi"). Hệ thống sẽ sử dụng một phiên bản MolHIT được huấn luyện trên dữ liệu đồ thị vật liệu để tạo ra các cấu trúc phân tử hoặc khối xây dựng polyme mới, đáp ứng các tiêu chí đó. Kết quả được hiển thị trực quan trên điện thoại, giúp các nhà khoa học vật liệu và kỹ sư khám phá các vật liệu tiềm năng một cách hiệu quả.
Công cụ tối ưu hóa phân tử cho thiết bị đeo tay: Một ứng dụng tích hợp trên đồng hồ thông minh hoặc thiết bị đeo tay, cho phép người dùng nhanh chóng nhập các tham số hoặc mục tiêu đơn giản (ví dụ: "tăng độ hòa tan", "giảm trọng lượng phân tử") cho một phân tử hiện có. MolHIT sẽ chạy trên đám mây và trả về các gợi ý cấu trúc phân tử được tối ưu hóa, hiển thị dưới dạng 2D hoặc 3D đơn giản trên màn hình thiết bị đeo tay, giúp các nhà nghiên cứu nhận được phản hồi nhanh chóng trong quá trình làm việc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.17602
ArXiv Abstract	https://arxiv.org/abs/2602.17602
PDF Download	https://arxiv.org/pdf/2602.17602.pdf
Github Repository	N/A

2. HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation (53 votes)

Tác giả: Lei Xin, Yuhao Zheng, Ke Cheng, Changjiang Jiang, Zifan Zhang, Fanhu Zeng

Xuất bản lúc: 2026-02-20

Tag: Sequential Recommendation, Generative Recommendation, Hybrid Attention, Temporal-Aware Networks, Long-Sequence Modeling, Deep Learning

I. Main Problem:

Việc mô hình hóa các chuỗi hành vi người dùng dài đã trở thành một thách thức quan trọng trong gợi ý tạo sinh. Các giải pháp hiện có đối mặt với sự đánh đổi giữa hiệu quả và độ chính xác: cơ chế linear attention hiệu quả nhưng mất đi độ chính xác do dung lượng trạng thái hạn chế, trong khi softmax attention lại tốn kém về mặt tính toán. Ngoài ra, các kiến trúc hiện tại gặp khó khăn trong việc thích ứng với sự thay đổi nhanh chóng của sở thích, do các mô hình linear thường nén tất cả thông tin vào một trạng thái cố định, khó phân biệt tín hiệu có giá trị cao tức thời với lượng lớn nhiễu lịch sử.

II. Main Idea:

Chúng tôi đề xuất HyTRec, một kiến trúc Hybrid Temporal-Aware Recommendation để giải quyết vấn đề mô hình hóa chuỗi hành vi dài một cách hiệu quả. HyTRec bao gồm:

Kiến trúc Hybrid Attention: Tách biệt rõ ràng các sở thích ổn định dài hạn khỏi các thay đổi ý định ngắn hạn. Nó gán các chuỗi lịch sử lớn cho một nhánh linear attention và dành một nhánh softmax attention chuyên biệt cho các tương tác gần đây. Điều này giúp khôi phục khả năng truy xuất chính xác trong bối cảnh công nghiệp quy mô lớn, đồng thời duy trì độ phức tạp gần như tuyến tính.
Temporal-Aware Delta Network (TADN): Được thiết kế để giảm thiểu độ trễ trong việc nắm bắt các thay đổi sở thích nhanh chóng. TADN sử dụng cơ chế cổng hàm mũ để tự động tăng trọng số cho các tín hiệu hành vi mới, đồng thời loại bỏ hiệu quả nhiễu lịch sử, đảm bảo mô hình nhạy bén với ý định tức thời của người dùng.
Chiến lược phân tách chuỗi và luồng dữ liệu hai nhánh: Phân tách chuỗi hành vi dài thành chuỗi hành vi ngắn hạn (tập trung vào ý định tức thời) và chuỗi hành vi lịch sử dài hạn (tập trung vào sở thích ổn định), sau đó xử lý chúng thông qua hai nhánh song song (nhánh ngắn hạn dùng MHSA, nhánh dài hạn dùng kiến trúc hybrid attention của chúng tôi) trước khi tổng hợp để đưa ra dự đoán cuối cùng.

III. Main Results:

HyTRec duy trì tốc độ suy luận tuyến tính và vượt trội so với các mô hình nền tảng mạnh mẽ, mang lại cải thiện hơn 8% về Hit Rate cho người dùng có chuỗi tương tác cực dài.
Mô hình vượt trội hơn các mô hình nền tảng mạnh mẽ trung bình 5.8% về NDCG.
Trên bộ dữ liệu Beauty, HyTRec đạt H@500 là 0.6643 (cao nhất) và AUC là 0.8655 (đứng đầu). Trên Electronics, H@500 là 0.3272 (thứ hai) và AUC là 0.876 (cao nhất). Trên Movies&TV, H@500 là 0.707 và NDCG@500 là 0.6268, gần với mức tối ưu của các mô hình dựa trên Transformer.
Về hiệu quả huấn luyện, HyTRec duy trì thông lượng ổn định trên toàn bộ dải độ dài chuỗi từ 100 đến 12k, vượt trội đáng kể so với HSTU (ví dụ, ở độ dài 12k, thông lượng của HSTU chỉ bằng 19% của HyTRec).
Nghiên cứu loại bỏ thành phần (Ablation Study) xác nhận rằng cả nhánh TADN và nhánh Short-Term Attention đều đóng góp đáng kể vào hiệu suất, với mô hình đầy đủ đạt hiệu suất tốt nhất trên tất cả các chỉ số.
Tỷ lệ hybrid attention 3:1 cung cấp sự cân bằng tốt nhất giữa hiệu suất gợi ý và hiệu quả suy luận.
HyTRec đạt hiệu suất vượt trội trong việc xử lý các kịch bản khó khăn như khởi động lạnh (cold-start) cho người dùng mới và người dùng cũ ít hoạt động.

IV. Conclusion & Future Works:

Bài báo đã giải quyết vấn đề làm thế nào để các mô hình chuỗi hành vi có khả năng xử lý hiệu quả các chuỗi cực dài bằng cách tích hợp sở thích lịch sử và ý định ngắn hạn. Chúng tôi đã thiết kế một kiến trúc hybrid attention và giới thiệu cơ chế suy giảm theo thời gian cùng một nhánh attention ngắn hạn để đồng thời tính đến ý định ngắn hạn của người dùng. Kết quả thực nghiệm cho thấy phương pháp đề xuất hiệu quả hơn với hiệu suất tốt hơn.

Các hướng nghiên cứu trong tương lai bao gồm:

Nâng cao khả năng tổng quát hóa đa miền và đa kịch bản của mô hình bằng cách tối ưu hóa bộ mã hóa dài hạn và mạng delta nhận biết thời gian để giảm sự phụ thuộc vào thông tin ngữ cảnh dài hạn và thiết kế một cơ chế thích ứng linh hoạt hơn.
Cải thiện độ bền của mô hình đối với dữ liệu tuần tự nhiễu thông qua việc giới thiệu các cơ chế phát hiện/khử nhiễu và một module học tuần tự nhận biết nhiễu.
Nghiên cứu sâu hơn về sự đánh đổi giữa hiệu suất và hiệu quả trong gợi ý tạo sinh để cân bằng hiệu suất cao và hiệu quả thông qua các cấu trúc nhẹ và chiến lược huấn luyện hiệu quả.
Mở rộng phạm vi ứng dụng của mô hình sang các bộ dữ liệu đa miền và kịch bản công nghiệp đa dạng hơn.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa bộ mã hóa dài hạn và mạng Delta nhận biết thời gian để tăng khả năng tổng quát hóa đa miền và đa kịch bản trong hệ thống gợi ý.
Phát triển cơ chế phát hiện và loại bỏ nhiễu cùng module học tuần tự nhận biết nhiễu để cải thiện độ bền của hệ thống gợi ý với dữ liệu tuần tự nhiễu.
Nghiên cứu sâu hơn về sự cân bằng giữa hiệu suất và hiệu quả trong gợi ý tạo sinh thông qua các cấu trúc nhẹ và chiến lược huấn luyện hiệu quả.

2. Patent:

Một tính năng trợ lý mua sắm trên điện thoại di động có khả năng học hỏi các thói quen mua sắm lâu dài của người dùng (ví dụ: sở thích về thương hiệu, danh mục sản phẩm) đồng thời nhanh chóng thích nghi với các xu hướng hoặc nhu cầu tức thời (ví dụ: tìm kiếm một mặt hàng cụ thể cho sự kiện sắp tới). Hệ thống sẽ tự động điều chỉnh các gợi ý sản phẩm, ưu đãi và cách hiển thị trong ứng dụng mua sắm, đảm bảo sự phù hợp tối đa giữa sở thích ổn định và ý định mua sắm hiện tại của người dùng.
Một hệ thống trên điện thoại di động để sắp xếp ưu tiên nội dung trên các nguồn cấp tin tức hoặc mạng xã hội. Hệ thống này sẽ tự động đánh giá mức độ liên quan của từng bài viết dựa trên thời gian và sở thích gần đây của bạn, đảm bảo các tin tức nóng hổi hoặc chủ đề bạn vừa quan tâm được hiển thị nổi bật hơn, trong khi vẫn giữ lại những nội dung quan trọng liên quan đến sở thích lâu dài mà không bị che lấp bởi thông tin cũ hoặc ít liên quan.
Một trợ lý thông minh trên điện thoại có khả năng gợi ý ứng dụng hoặc hành động phù hợp dựa trên sự kết hợp giữa thói quen sử dụng ứng dụng ổn định của người dùng theo thời gian (ví dụ: luôn dùng ứng dụng quản lý công việc vào buổi sáng) và ngữ cảnh tức thời (ví dụ: gợi ý ứng dụng dịch thuật khi phát hiện bạn đang ở nước ngoài, hoặc ứng dụng ghi chú khi bạn mở một tài liệu dài). Hệ thống này sẽ cân bằng giữa các hành vi đã định hình và nhu cầu phát sinh đột ngột, giúp người dùng thực hiện tác vụ nhanh chóng và hiệu quả hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.18283
ArXiv Abstract	https://arxiv.org/abs/2602.18283
PDF Download	https://arxiv.org/pdf/2602.18283.pdf
Github Repository	N/A

Tác giả: Guibin Chen, Dixuan Lin, Jiangping Yang, Youqiang Zhang, Zhengcong Fei, Debang Li, Sheng Chen, Chaofeng Ao, Nuo Pang, Yiming Wang, Yikun Dou, Zheng Chen, Mingyuan Fan, Tuanhui Li, Mingshan Chang, Hao Zhang, Xiaopeng Sun, Jingtao Xu, Yuqiang Xie, Jiahua Wang, Zhiheng Xu, Weiming Xiong, Yuzhe Jin, Baoxuan Gu, Binjie Mao, Yunjie Yu, Jujie He, Yuhao Feng, Shiwen Tu, Chaojie Wang, Rui Yan, Wei Shen, Jingchen Wu, Peng Zhao, Xuanyue Zhong, Zhuangzhuang Liu, Kaifei Wang, Fuxiang Zhang, Weikai Xu, Wenyan Liu, Binglu Zhang, Yu Shen, Tianhui Xiong, Bin Peng, Liang Zeng, Xuchen Song, Haoxiang Guo, Peiyu Wang, Yahui Zhou

Xuất bản lúc: 2026-02-25

Tag: Multi-modal, Video Generation, Audio Generation, Diffusion Models, Inpainting, Video Editing, MLLM, Super-resolution, Frame Interpolation

I. Main Problem:

Mặc dù đã có những tiến bộ đáng kể, chưa có hệ thống nào hiện tại đồng thời hợp nhất đầu vào đa phương thức (văn bản, hình ảnh, video, mặt nạ và tham chiếu âm thanh), tạo video-âm thanh đồng thời, khả năng điền đầy (inpainting) và chỉnh sửa toàn diện trong một khuôn khổ duy nhất. Các mô hình hiện tại vẫn còn phân mảnh: các hệ thống điều khiển bằng âm thanh không thể căn chỉnh đầy đủ các biểu diễn nghe nhìn, trong khi các mô hình tham chiếu đa phương thức chỉ tập trung vào điều kiện hình ảnh mà không có tổng hợp âm thanh tự nhiên. Ngoài ra, việc đạt được độ phân giải và thời lượng cao với kiến trúc dựa trên khuếch tán đòi hỏi tính toán cao; việc mở rộng quy mô một cách đơn giản dẫn đến chi phí bộ nhớ và thời gian cấm kỵ.

II. Main Idea:

SkyReels-V4 là một mô hình nền tảng video đa phương thức thống nhất để tạo, điền đầy và chỉnh sửa video-âm thanh đồng thời. Mô hình áp dụng kiến trúc Multimodal Diffusion Transformer (MMDiT) luồng kép: một nhánh tổng hợp video và nhánh còn lại tạo âm thanh được căn chỉnh theo thời gian, đồng thời chia sẻ một bộ mã hóa văn bản mạnh mẽ dựa trên MLLM. SkyReels-V4 chấp nhận các hướng dẫn đa phương thức phong phú, bao gồm văn bản, hình ảnh, video clip, mặt nạ và tham chiếu âm thanh. Mô hình sử dụng công thức nối kênh để hợp nhất một loạt các tác vụ kiểu điền đầy (như chuyển đổi hình ảnh thành video, mở rộng video và chỉnh sửa video) dưới một giao diện duy nhất. Để đạt được hiệu quả tính toán, SkyReels-V4 giới thiệu chiến lược tạo đồng thời các chuỗi đầy đủ độ phân giải thấp và các khung hình chính độ phân giải cao, sau đó là các mô hình siêu phân giải và nội suy khung hình chuyên dụng (Refiner module với Video Sparse Attention - VSA). Kiến trúc này còn bao gồm các khối MMDiT luồng kép và luồng đơn lai, tăng cường điều kiện văn bản qua Cross-Attention, Cross-Attention hai chiều âm thanh-video để đồng bộ hóa, và căn chỉnh thời gian bằng RoPE Scaling. Quá trình đào tạo được thực hiện theo chiến lược đa giai đoạn tiến bộ: Tiền đào tạo Video, Tiền đào tạo Âm thanh, và Đào tạo chung Video-Âm thanh, sau đó là tinh chỉnh có giám sát.

III. Main Results:

SkyReels-V4 hỗ trợ độ phân giải lên tới 1080p, 32 FPS và thời lượng 15 giây, cho phép tạo video chất lượng cao, nhiều cảnh quay, cấp độ điện ảnh với âm thanh đồng bộ. Đây là mô hình nền tảng video đầu tiên đồng thời hỗ trợ đầu vào đa phương thức, tạo video–âm thanh đồng thời và xử lý thống nhất việc tạo, điền đầy và chỉnh sửa, đồng thời duy trì hiệu quả và chất lượng mạnh mẽ ở độ phân giải và thời lượng điện ảnh. Mô hình xếp thứ hai trên bảng xếp hạng Artificial Analysis Video Arena (tính đến ngày 25-02-2026) trong số tất cả các hệ thống cạnh tranh. Đánh giá của con người thông qua SkyReels-VABench cho thấy SkyReels-V4 vượt trội đáng kể so với các hệ thống thương mại độc quyền, với những điểm mạnh đặc biệt trong việc tuân thủ hướng dẫn, chất lượng chuyển động và các câu chuyện nhiều cảnh quay phức tạp. Mô hình thể hiện hiệu suất mạnh mẽ trên các tác vụ điều kiện đa phương thức đa dạng bao gồm chuyển đổi tham chiếu thành video, chuyển động thành video và chỉnh sửa video.

IV. Conclusion & Future Works:

SkyReels-V4 là một mô hình nền tảng video đa phương thức thống nhất tiên phong để tạo, điền đầy và chỉnh sửa video-âm thanh đồng thời. Đây là hệ thống đầu tiên trên thế giới đồng thời hỗ trợ (i) đầu vào đa phương thức phong phú (văn bản, hình ảnh, video, mặt nạ và âm thanh), (ii) tạo video–âm thanh đồng thời và (iii) một khuôn khổ thống nhất cho việc tạo, điền đầy và chỉnh sửa, đồng thời mở rộng hiệu quả sang đầu ra độ phân giải cao, thời lượng dài. Sự kết hợp các khả năng này định vị SkyReels-V4 là một mô hình nền tảng linh hoạt cho việc tạo và chỉnh sửa video thế hệ tiếp theo.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc mở rộng thời lượng video và duy trì sự đồng bộ âm thanh-hình ảnh cho các chuỗi dài hơn 15 giây, có thể thông qua các cơ chế chú ý tầm xa hoặc mô hình hóa thời gian tiên tiến hơn để giải quyết các thách thức về tính nhất quán dài hạn.
Phát triển khả năng kiểm soát chi tiết hơn đối với các yếu tố âm thanh cụ thể, ví dụ, chỉ định hiệu ứng âm thanh riêng biệt cho từng đối tượng, đặc điểm giọng nói cho nhiều người nói, hoặc thay đổi âm nhạc động dựa trên hành động trong cảnh, nhằm nâng cao tính chân thực và khả năng tương tác.
Khám phá các phương pháp tối ưu hóa để đạt được tạo video-âm thanh theo thời gian thực hoặc gần thời gian thực, nhằm hỗ trợ các ứng dụng tương tác như chỉnh sửa trực tiếp hoặc tạo nội dung động trên thiết bị di động, thông qua các kiến trúc nhẹ hơn hoặc kỹ thuật tăng tốc phần cứng chuyên biệt.

2. Patent:

Ứng dụng Tạo Video Câu Chuyện AI trên Điện Thoại: Một ứng dụng di động cho phép người dùng nhập vài bức ảnh, một đoạn mô tả văn bản ngắn và có thể là một đoạn ghi âm giọng nói. Ứng dụng sẽ tự động tạo ra một video câu chuyện ngắn, chất lượng cao với nhạc nền và hiệu ứng âm thanh được đồng bộ, phù hợp để chia sẻ trên mạng xã hội, giảm thiểu công sức chỉnh sửa thủ công.
Công Cụ Chỉnh Sửa Video Thông Minh với Thao Tác Cấp Độ Đối Tượng: Một công cụ chỉnh sửa video trên điện thoại, nơi người dùng có thể dễ dàng chọn các đối tượng trong video (ví dụ: một người, một chiếc ô tô, một yếu tố nền) bằng cách chạm hoặc vẽ. Sau đó, họ có thể sử dụng các câu lệnh văn bản hoặc hình ảnh tham chiếu để thay đổi diện mạo, xóa bỏ hoặc thay thế các đối tượng đó, trong khi AI tự động điều chỉnh video và âm thanh xung quanh để đảm bảo sự liền mạch và tự nhiên.
Hệ Thống Tạo Thiệp Chúc Mừng Video Cá Nhân Hóa: Một ứng dụng điện thoại nhận ảnh selfie hoặc video ngắn của người dùng, một tin nhắn văn bản và một hình ảnh/video nền ưa thích. Sau đó, nó tạo ra một thiệp chúc mừng video cá nhân hóa, trong đó hình ảnh người dùng được tích hợp vào cảnh đã chọn, truyền tải thông điệp với lời nói đồng bộ (từ văn bản hoặc giọng nói đã ghi) và âm thanh nền phù hợp, mang lại trải nghiệm độc đáo và cá nhân hóa.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.21818
ArXiv Abstract	https://arxiv.org/abs/2602.21818
PDF Download	https://arxiv.org/pdf/2602.21818.pdf
Github Repository	N/A

4. DreamID-Omni: Unified Framework for Controllable Human-Centric Audio-Video Generation (38 votes)

Tác giả: Xu Guo, Fulong Ye, Qichao Sun, Liyang Chen, Bingchuan Li, Pengze Zhang, Jiawei Liu, Songtao Zhao, Qian He, Xiangwang Hou

Xuất bản lúc: 2026-02-12

Tag: Diffusion Models, Transformer, Audio-Video Generation, Controllable Generation, Human-centric AI, Multi-modal AI, Identity Preservation, Speech Synthesis, Video Editing, Video Animation

I. Main Problem:

Các phương pháp hiện có thường xử lý các tác vụ tạo âm thanh-video tập trung vào con người (như R2AV, RV2AV, RA2V) như những mục tiêu riêng lẻ, không thống nhất. Việc kiểm soát chính xác và tách rời nhiều danh tính nhân vật và âm sắc giọng nói trong một khuôn khổ duy nhất vẫn là một thách thức. Ngoài ra, các phương pháp này gặp phải lỗi ràng buộc danh tính-âm sắc và nhầm lẫn người nói trong các tình huống đa nhân vật. Lĩnh vực tạo âm thanh-video tổng hợp còn thiếu một khuôn khổ thống nhất để tạo, chỉnh sửa và hoạt hình, dẫn đến chi phí vận hành cao khi triển khai nhiều mô hình.

II. Main Idea:

Nhóm tác giả đề xuất DreamID-Omni, một khuôn khổ thống nhất để tạo âm thanh-video tập trung vào con người có thể kiểm soát được.

Symmetric Conditional Diffusion Transformer (DiT): Thiết kế DiT đối xứng cho phép tích hợp các tín hiệu điều kiện không đồng nhất (ảnh tham chiếu, âm sắc giọng nói, video nguồn, âm thanh điều khiển) vào một không gian tiềm ẩn chung, giúp chuyển đổi tác vụ liền mạch mà không thay đổi kiến trúc. Nó xây dựng trên kiến trúc DiT luồng kép, nơi luồng video và âm thanh tương tác qua cơ chế cross-attention hai chiều.
Chiến lược Tách rời Hai Cấp độ (Dual-Level Disentanglement): Để giải quyết vấn đề ràng buộc danh tính-âm sắc và nhầm lẫn người nói.
- Synchronized RoPE (Syn-RoPE) ở cấp độ tín hiệu: Gán các phân đoạn vị trí thời gian riêng biệt, không chồng chéo cho các đầu vào ngữ nghĩa khác nhau trong không gian attention, ràng buộc các đặc trưng hình ảnh của một danh tính với âm sắc giọng nói tương ứng.
- Structured Captions ở cấp độ ngữ nghĩa: Sử dụng các token neo (ví dụ: <subk>) kết hợp với mô tả chi tiết để thiết lập ánh xạ rõ ràng giữa các chủ thể cụ thể và các thuộc tính hoặc nội dung lời nói của họ.
Lược đồ Huấn luyện Tăng cường Đa Nhiệm vụ (Multi-Task Progressive Training): Để hài hòa ba tác vụ.
- Giai đoạn 1: Tái tạo In-pair (chỉ R2AV) để thiết lập prior sinh mạnh mẽ.
- Giai đoạn 2: Tách rời Cross-pair (chỉ R2AV) để tăng cường khả năng tổng quát hóa.
- Giai đoạn 3: Tinh chỉnh Omni-Task (R2AV, RV2AV, RA2V kết hợp) để thống nhất tất cả các tác vụ, ngăn chặn overfitting và duy trì chất lượng sinh nội dung.

III. Main Results:

DreamID-Omni đạt được hiệu suất toàn diện tiên tiến trên các khía cạnh video, âm thanh và tính nhất quán âm thanh-hình ảnh, thậm chí vượt trội so với các mô hình thương mại độc quyền hàng đầu.

Trên R2AV (Tạo âm thanh-video dựa trên tham chiếu): Đạt kết quả vượt trội hoặc tương đương trên các chỉ số video (AES, ViCLIP, ID-Sim), âm thanh (PQ, CLAP, WER, T-Sim) và nhất quán âm thanh-hình ảnh (Sync-C, Sync-D, Spk-Conf.), thể hiện hình ảnh thực tế hơn, tính nhất quán danh tính vượt trội và ràng buộc danh tính-âm sắc chính xác.
Trên RV2AV (Chỉnh sửa video dựa trên tham chiếu): Đạt hiệu suất SOTA trên các chỉ số video (AES, ViCLIP, ID-Sim) và khả năng tạo âm thanh xuất sắc (WER, T-Sim, Sync-C), cho thấy độ tương đồng danh tính cao hơn, chất lượng hình ảnh vượt trội và khả năng theo dõi văn bản tốt hơn.
Trên RA2V (Hoạt hình video điều khiển bằng âm thanh dựa trên tham chiếu): Đạt độ chính xác đồng bộ hóa môi tương đương và hiệu suất hàng đầu trên các chỉ số liên quan đến video. Mô hình có thể tạo hoạt hình cho đúng chủ thể bằng cách tuân thủ chính xác các chú thích có cấu trúc, tránh lỗi gán sai người nói.
Các nghiên cứu loại bỏ thành phần (ablation studies) xác nhận hiệu quả của chiến lược Tách rời Hai Cấp độ (Syn-RoPE và Structured Captions giảm đáng kể sự nhầm lẫn người nói và cải thiện việc bảo toàn âm sắc) và lược đồ Huấn luyện Tăng cường Đa Nhiệm vụ (ngăn chặn vấn đề sao chép, cải thiện học biểu diễn cơ bản và đảm bảo prior sinh mạnh mẽ trước khi áp dụng các ràng buộc mạnh).

IV. Conclusion & Future Works:

DreamID-Omni là một khuôn khổ tạo nội dung tập trung vào con người có thể kiểm soát được, thống nhất các tác vụ R2AV, RV2AV và RA2V. Nó giới thiệu chiến lược Tách rời Hai Cấp độ và lược đồ Huấn luyện Tăng cường Đa Nhiệm vụ, đạt được hiệu suất tiên tiến toàn diện. Nhóm tác giả sẽ phát hành mã nguồn để thu hẹp khoảng cách giữa nghiên cứu học thuật và các ứng dụng cấp thương mại. Các hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng khuôn khổ để tích hợp các biểu cảm cảm xúc, chuyển đổi phong cách hoặc tương tác với các mô hình 3D, tối ưu hóa mô hình để suy luận thời gian thực và triển khai trên các thiết bị biên, cũng như cải thiện khả năng tách rời trong các kịch bản đa nhân vật phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng khuôn khổ hợp nhất cho các tác vụ tạo đa phương thức nâng cao: Nghiên cứu tích hợp thêm các tác vụ tạo nội dung tập trung vào con người phức tạp hơn như điều khiển biểu cảm cảm xúc, chuyển đổi phong cách nói/hành động, hoặc thậm chí tương tác với các mô hình 3D, trong khi vẫn duy trì kiến trúc thống nhất của DreamID-Omni.
Cải thiện khả năng tách rời trong các kịch bản đa nhân vật cực kỳ phức tạp: Phát triển các phương pháp tiên tiến hơn để kiểm soát và tách rời chi tiết hơn trong các cảnh có nhiều chủ thể tương tác, che khuất phức tạp hoặc đa dạng giọng điệu/ngôn ngữ, có thể thông qua cơ chế attention động hoặc biểu đồ ngữ nghĩa phong phú hơn.
Tối ưu hóa DreamID-Omni cho suy luận thời gian thực và triển khai trên thiết bị biên: Tập trung vào các kỹ thuật nén mô hình, lượng tử hóa hoặc tăng tốc phần cứng chuyên dụng để cho phép DreamID-Omni hoặc các mô hình hợp nhất tương tự chạy hiệu quả trên điện thoại di động hoặc các thiết bị có tài nguyên hạn chế, phục vụ cho các ứng dụng tương tác.

2. Patent:

Ứng dụng 'Video Hóa Thân Di Động' (Mobile Avatar Video Creator): Một ứng dụng trên điện thoại di động cho phép người dùng tạo video tùy chỉnh bằng cách sử dụng ảnh khuôn mặt và bản ghi âm giọng nói của họ hoặc của người khác làm tham chiếu. Người dùng chỉ cần nhập văn bản kịch bản, và ứng dụng sẽ tự động tạo ra một video trong đó 'nhân vật hóa thân' nói theo kịch bản với khuôn mặt và giọng điệu được tham chiếu, có thể đặt trong các bối cảnh khác nhau (do người dùng chọn hoặc được tạo tự động).
Tính năng 'Chỉnh Sửa Khuôn Mặt và Giọng Nói Thông Minh' trong trình chỉnh sửa video di động: Tích hợp vào các ứng dụng chỉnh sửa video trên điện thoại, tính năng này cho phép người dùng thay thế khuôn mặt và giọng nói của một nhân vật hiện có trong video. Người dùng có thể chọn một người trong video, cung cấp ảnh và đoạn ghi âm giọng nói mới, và ứng dụng sẽ thay thế khuôn mặt và giọng nói của người đó một cách liền mạch, đồng thời giữ nguyên chuyển động và bối cảnh video gốc, tạo ra các video 'deepfake' thân thiện và cá nhân hóa.
Hệ thống 'Tạo Video Hoạt Hình Từ Giọng Nói' cho tin nhắn và mạng xã hội: Một công cụ trên điện thoại di động cho phép người dùng ghi âm giọng nói của mình (hoặc nhập văn bản) và chọn một hình ảnh nhân vật tham chiếu. Ứng dụng sẽ tự động tạo một đoạn video hoạt hình ngắn (ví dụ: 5-15 giây) trong đó nhân vật tham chiếu cử động môi và biểu cảm khuôn mặt khớp với giọng nói đã ghi âm, rất phù hợp để tạo nội dung độc đáo và cá nhân hóa để chia sẻ qua tin nhắn hoặc đăng lên mạng xã hội.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.12160
ArXiv Abstract	https://arxiv.org/abs/2602.12160
PDF Download	https://arxiv.org/pdf/2602.12160.pdf
Github Repository	https://github.com/Guoxu1233/DreamID-Omni

5. DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference (37 votes)

Tác giả: Yongtong Wu, Shaoyuan Chen, Yinmin Zhong, Rilin Huang, Yixuan Tan, Wentao Zhang, Liyue Zhang, Shangyan Zhou, Yuxuan Liu, Shunfeng Zhou, Mingxing Zhang, Xin Jin, Panpan Huang

Xuất bản lúc: 2026-02-25

Tag: LLMs, Inference, KV-Cache, System Architecture, Distributed Systems, Scheduling, RDMA, Agentic AI, Performance Optimization

I. Main Problem:

Hiệu suất suy luận LLM đa lượt, dựa trên tác nhân (agentic LLM inference) đang bị giới hạn bởi I/O lưu trữ KV-Cache thay vì tính toán. Cụ thể, trong các kiến trúc phân tách (prefill/decode engines) phổ biến, các card mạng lưu trữ (SNIC) trên các engine prefill bị quá tải băng thông, trong khi SNIC trên các engine decode lại không được sử dụng hết, tạo ra sự mất cân bằng nghiêm trọng và hạn chế thông lượng hệ thống tổng thể.

II. Main Idea:

DualPath giới thiệu kiến trúc tải KV-Cache đường đôi (dual-path KV-Cache loading) để khắc phục nút thắt cổ chai băng thông I/O lưu trữ. Ngoài đường dẫn truyền thống từ lưu trữ đến engine prefill, DualPath còn cho phép một đường dẫn mới từ lưu trữ đến engine decode. Tại đây, KV-Cache được tải vào các engine decode và sau đó được truyền hiệu quả đến các engine prefill thông qua RDMA trên mạng tính toán. Hệ thống này kết hợp đường dẫn dữ liệu tối ưu (tránh tắc nghẽn mạng và nhiễu với các giao tiếp thực thi mô hình quan trọng về độ trễ) với một bộ lập lịch toàn cục (global scheduler) để cân bằng tải động giữa các engine prefill và decode. DualPath cũng sử dụng bộ quản lý lưu lượng CNIC-centric để cách ly lưu lượng KV-Cache khỏi các giao tiếp nhạy cảm về độ trễ của mô hình bằng cách tận dụng các làn ảo (Virtual Lanes) của InfiniBand để phân biệt mức độ ưu tiên.

III. Main Results:

Trên ba mô hình LLM với khối lượng công việc tác nhân thực tế, DualPath cải thiện thông lượng suy luận ngoại tuyến (offline inference throughput) lên đến 1.87 lần trên hệ thống suy luận nội bộ. Nó cũng cải thiện thông lượng phục vụ trực tuyến (online serving throughput) trung bình 1.96 lần mà không vi phạm các thỏa thuận mức dịch vụ (SLO). DualPath mang lại lợi ích lớn hơn với kích thước lô (batch sizes) lớn hơn và độ dài ngữ cảnh tác nhân tối đa (MALs) dài hơn, cho thấy hiệu suất gần với hiệu suất lý thuyết không có chi phí I/O (Oracle). DualPath đặc biệt có lợi thế khi độ dài thêm vào (append length) và độ dài tạo ra (generation length) ngắn, làm giảm áp lực tải KV-Cache.

IV. Conclusion & Future Works:

Bài báo đã xác định tính chất bị giới hạn bởi I/O của khối lượng công việc LLM tác nhân đa lượt và cho thấy việc tải KV-Cache chi phối hiệu suất hệ thống trong các kiến trúc suy luận LLM hiện đại. DualPath, một hệ thống suy luận với tải KV-Cache đường đôi, đã được trình bày để tận dụng băng thông của engine giải mã nhằm giải quyết các nút thắt cổ chai ở phía prefill. Một thuật toán lập lịch nhận biết khối lượng công việc đã được thiết kế và đánh giá để cân bằng động tài nguyên tính toán và mạng. Hướng phát triển trong tương lai bao gồm việc nghiên cứu khả năng chia một yêu cầu thành hai phần và đọc chúng từ cả hai phía (PE và DE) để tối ưu hóa việc sử dụng băng thông hơn nữa, cũng như mở rộng DualPath để hỗ trợ các kiến trúc mạng và phần cứng mới nổi.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược phân chia và tải KV-Cache động để tối ưu hóa thông lượng và độ trễ trong các hệ thống suy luận LLM tác nhân.
Đánh giá các cơ chế QoS mạng cho việc cách ly lưu lượng KV-Cache và giao tiếp thực thi mô hình trong các trung tâm dữ liệu AI thế hệ tiếp theo.
Phát triển thuật toán lập lịch đa mục tiêu cho các hệ thống suy luận LLM phân tán, cân bằng đồng thời tải GPU, băng thông NIC và độ trễ đầu tiên của token.

2. Patent:

Một công nghệ cho phép ứng dụng AI trên điện thoại di động (ví dụ: trợ lý ảo thông minh, công cụ dịch ngôn ngữ thời gian thực) tải nhanh các phần dữ liệu cần thiết từ bộ nhớ ngoài hoặc đám mây. Thay vì chỉ tải trực tiếp vào bộ xử lý chính của điện thoại, hệ thống sẽ sử dụng một "đường dẫn phụ" thông qua một chip phụ trợ (nếu có, ví dụ: chip xử lý thần kinh hoặc chip xử lý hình ảnh) có băng thông I/O nhàn rỗi, sau đó chuyển dữ liệu đã tải sang bộ xử lý chính. Điều này giúp tăng tốc độ phản hồi của AI mà không làm quá tải các thành phần chính của điện thoại.
Một phương pháp quản lý luồng dữ liệu trên điện thoại di động, đặc biệt khi chạy các tác vụ AI. Hệ thống sẽ phân loại các loại dữ liệu (ví dụ: dữ liệu quan trọng cho phản hồi ngay lập tức của AI, dữ liệu nền, dữ liệu tải trước) và gán mức độ ưu tiên cho chúng. Bằng cách sử dụng các cơ chế quản lý băng thông của chip mạng hoặc bộ nhớ trong điện thoại, dữ liệu ưu tiên cao sẽ được xử lý trước để đảm bảo trải nghiệm người dùng mượt mà, trong khi các dữ liệu ít quan trọng hơn sẽ sử dụng băng thông còn lại, tránh gây gián đoạn cho các tác vụ chính.
Một hệ thống lập lịch tác vụ AI trên điện thoại di động có khả năng thích ứng với các điều kiện tài nguyên khác nhau (ví dụ: mức pin, tải bộ xử lý trung tâm/bộ xử lý đồ họa, kết nối mạng). Hệ thống sẽ tự động quyết định cách tốt nhất để xử lý một yêu cầu AI: liệu có nên thực hiện tính toán cục bộ trên điện thoại, gửi một phần hoặc toàn bộ yêu cầu lên đám mây, hay sử dụng kết hợp cả hai. Quyết định này sẽ dựa trên việc đánh giá động các tài nguyên có sẵn và đặc điểm của tác vụ để tối ưu hóa hiệu suất, thời lượng pin và trải nghiệm người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.21548
ArXiv Abstract	https://arxiv.org/abs/2602.21548
PDF Download	https://arxiv.org/pdf/2602.21548.pdf
Github Repository	N/A

6. Solaris: Building a Multiplayer Video World Model in Minecraft (27 votes)

Tác giả: Georgy Savva, Oscar Michel, Daohan Lu, Suppakit Waiwitlikhit, Timothy Meehan, Dhairya Mishra, Srivats Poddar, Jack Lu, Saining Xie

Xuất bản lúc: 2026-02-25

Tag: Diffusion Models, World Models, Multi-Agent Systems, Video Generation, Reinforcement Learning, Minecraft

I. Main Problem:

Các mô hình tạo video điều kiện hành động (mô hình thế giới video) hiện có bị giới hạn ở góc nhìn của một tác nhân duy nhất, không thể nắm bắt được các tương tác đa tác nhân của môi trường thế giới thực. Việc mô hình hóa đồng thời góc nhìn của nhiều người chơi khó khăn hơn đáng kể so với mô hình hóa một người chơi, vì các quan sát được tạo ra cần phải nhất quán không chỉ theo thời gian mà còn giữa các góc nhìn của tác nhân. Ngoài ra, trước công trình này, không có hệ thống công khai nào để mô phỏng lối chơi Minecraft đa người chơi, đồng bộ hóa hình ảnh và hành động, và thu thập dữ liệu quy mô lớn một cách tự động và mạnh mẽ.

II. Main Idea:

Giới thiệu Solaris, một mô hình thế giới video đa người chơi có khả năng mô phỏng các quan sát đa góc nhìn nhất quán. Để thực hiện điều này, nhóm tác giả đã phát triển SolarisEngine, một hệ thống thu thập dữ liệu đa người chơi, tự động và liên tục trên các trò chơi video như Minecraft, hỗ trợ tương tác đa tác nhân phối hợp và thu thập video + hành động được đồng bộ hóa. Hệ thống này đã được sử dụng để thu thập 12,64 triệu khung hình đa người chơi. Mô hình Solaris được huấn luyện bằng một quy trình phân tầng, chuyển tiếp dần từ mô hình hóa một người chơi sang đa người chơi, kết hợp huấn luyện hai chiều, nhân quả và Self Forcing. Ở giai đoạn cuối, nhóm tác giả giới thiệu Checkpointed Self Forcing, một biến thể Self Forcing tiết kiệm bộ nhớ, cho phép một "giáo viên" (teacher) với ngữ cảnh dài hơn. Solaris điều chỉnh kiến trúc DiT video đã được huấn luyện trước để mô phỏng nhiều góc nhìn với những thay đổi tối thiểu, bao gồm việc mở rộng không gian hành động và giới thiệu cơ chế chú ý đa người chơi (Multiplayer Self-Attention) với embedding ID người chơi.

III. Main Results:

Hệ thống SolarisEngine và các mô hình của nó được công bố mã nguồn mở, đặt nền tảng cho thế hệ mô hình thế giới đa tác nhân mới. Thu thập được bộ dữ liệu huấn luyện đa người chơi quy mô lớn gồm 12,64 triệu khung hình (6,32 triệu mỗi người chơi) và một bộ dữ liệu đánh giá kiểm tra chuyển động, bộ nhớ, khả năng tiếp đất (grounding), xây dựng và tính nhất quán của góc nhìn đa người chơi. Kiến trúc và thiết kế huấn luyện của Solaris vượt trội so với các baseline hiện có. Checkpointed Self Forcing được chứng minh là một kỹ thuật hiệu quả về bộ nhớ, cho phép sử dụng teacher có ngữ cảnh dài hơn trong quá trình Self Forcing. SolarisEngine là framework Minecraft AI đầu tiên hỗ trợ thu thập lối chơi đa người chơi có kiểm soát với đồ họa Minecraft thực, điều khiển chương trình chi tiết và quan sát hình ảnh phong phú.

IV. Conclusion & Future Works:

Solaris là một mô hình thế giới video đa tác nhân tiên phong, có khả năng mô phỏng các góc nhìn đa người chơi nhất quán trong Minecraft. Công trình này đóng góp một hệ thống dữ liệu có khả năng mở rộng (SolarisEngine), một bộ dữ liệu huấn luyện đa người chơi quy mô lớn, một hệ thống đánh giá và một kiến trúc mới dựa trên DiT video đã được huấn luyện trước. Tương lai, nền tảng này có thể phục vụ các mục đích khác như thu thập dữ liệu cho các mô hình Vision-Language-Action (VLA) hoặc thử nghiệm khả năng hợp tác quy mô lớn giữa các tác nhân AI. Kiến trúc hệ thống cũng có thể mở rộng về mặt lý thuyết để hỗ trợ bất kỳ số lượng người chơi đồng thời nào.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng mô hình Solaris để hỗ trợ số lượng tác nhân lớn hơn (N > 2) và trong các môi trường trò chơi phức tạp hơn Minecraft, đồng thời đánh giá khả năng duy trì tính nhất quán và hiệu suất theo quy mô.
Phát triển một phương pháp mới để tự động thu thập dữ liệu đa phương thức (hình ảnh, ngôn ngữ, hành động) trong môi trường đa người chơi bằng cách sử dụng SolarisEngine, nhằm mục đích huấn luyện các mô hình Vision-Language-Action (VLA) cho các tác vụ hợp tác phức tạp.
Khám phá việc sử dụng mô hình thế giới đa người chơi như Solaris để phát triển các chiến lược học tập và lập kế hoạch mới cho các tác nhân AI trong các nhiệm vụ hợp tác quy mô lớn, tập trung vào khả năng dự đoán hành động của đối tác và duy trì trạng thái thế giới chung.

2. Patent:

Hệ thống xem lại trò chơi di động đa góc nhìn thông minh: Một ứng dụng di động cho phép người chơi xem lại các phiên chơi game đa người chơi (ví dụ: Minecraft Pocket Edition, game MOBA) từ bất kỳ góc nhìn nào của người chơi nào, hoặc từ góc nhìn toàn cảnh. Ứng dụng này sẽ sử dụng mô hình thế giới để tái tạo lại toàn bộ phiên chơi, thậm chí dự đoán các hành động thay thế mà người chơi có thể thực hiện, giúp người chơi phân tích chiến thuật và cải thiện kỹ năng.
Huấn luyện viên game AI tương tác trên di động: Một công cụ tích hợp vào các trò chơi di động cho phép AI đóng vai trò huấn luyện viên. AI có thể trình diễn các chiến lược phức tạp (như xây dựng nhà, chiến đấu theo nhóm) bằng cách tạo ra các chuỗi video từ nhiều góc nhìn, hoặc thậm chí điều khiển một phần nhân vật của người chơi trong thời gian ngắn để minh họa một động tác cụ thể, giúp người chơi học hỏi hiệu quả hơn.
Ứng dụng lập kế hoạch thực tế tăng cường (AR) đa người dùng: Một ứng dụng AR trên điện thoại di động cho phép nhiều người dùng cùng hợp tác lập kế hoạch và hình dung các dự án trong không gian vật lý chung (ví dụ: sắp xếp nội thất, thiết kế vườn). Ứng dụng sẽ sử dụng mô hình thế giới để dự đoán cách các hành động của mỗi người dùng sẽ ảnh hưởng đến góc nhìn của những người khác và trạng thái môi trường chung trong thời gian thực, đảm bảo sự phối hợp và nhất quán.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.22208
ArXiv Abstract	https://arxiv.org/abs/2602.22208
PDF Download	https://arxiv.org/pdf/2602.22208.pdf
Github Repository	https://github.com/solaris-wm/solaris

7. ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning (23 votes)

Tác giả: Xiaoxuan Wang, Han Zhang, Haixin Wang, Yidan Shi, Ruoyan Li, Kaiqiao Han, Chenyi Tong, Haoran Deng, Renliang Sun, Alexander Taylor, Yanqiao Zhu, Jason Cong, Yizhou Sun, Wei Wang

Xuất bản lúc: 2026-02-25

Tag: ARL, Reinforcement Learning, LLMs, Policy Gradient, Stability, Policy Optimization, Multi-turn tasks

I. Main Problem:

Học tăng cường tác nhân (Agentic Reinforcement Learning - ARL) đang gặp phải vấn đề lớn về tính không ổn định trong quá trình huấn luyện, thường dẫn đến sự sụp đổ của mô hình. Sự không ổn định này giới hạn khả năng mở rộng sang các môi trường lớn hơn và các chân trời tương tác dài hơn, đồng thời cản trở việc khám phá các lựa chọn thiết kế thuật toán một cách có hệ thống. Các thách thức bao gồm hành động không hợp lệ, phần thưởng thưa thớt, phân bổ tín dụng dài hạn và động lực tác nhân-môi trường không ổn định, dẫn đến các kết quả không thể tái tạo và giới hạn nghiêm trọng trong việc mở rộng.

II. Main Idea:

Bài báo đề xuất ARLArena, một framework thống nhất bao gồm một công thức huấn luyện ổn định và một framework phân tích có hệ thống để kiểm tra tính ổn định trong ARL. ARLArena xây dựng một môi trường thử nghiệm sạch và tiêu chuẩn hóa, sau đó phân tách gradient chính sách thành bốn khía cạnh thiết kế cốt lõi: Loss Aggregation, Importance Sampling (IS) clipping, Trajectory Filtering and Resampling, và Advantage Design. Thông qua phân tích chi tiết này, các tác giả đã đúc kết một quan điểm thống nhất về ARL và đề xuất SAMPO (Stable Agentic Multi-turn Policy Optimization), một phương pháp tối ưu hóa chính sách tác nhân ổn định được thiết kế để giảm thiểu các nguồn gốc chính gây mất ổn định trong ARL. SAMPO tích hợp các chiến lược như cắt tỉa ở cấp độ chuỗi (sequence-level clipping), thiết kế lợi thế (advantage design) và lọc động (dynamic filtering).

III. Main Results:

SAMPO đã đạt được quá trình huấn luyện ổn định và hiệu suất mạnh mẽ trên nhiều tác vụ tác nhân khác nhau. Cụ thể, SAMPO đạt tỷ lệ thành công cao nhất trên cả ALFWorld và Sokoban với sự cải thiện ổn định và đơn điệu trong suốt quá trình huấn luyện, trong khi các phương pháp cơ sở khác cho thấy mức độ không ổn định khác nhau. SAMPO (phương pháp của chúng tôi) đạt điểm trung bình cao nhất (60.21) với mức tăng nhất quán trên ALFWorld (92.72% thành công), WebShop (77.73% thành công) và Sokoban (88.86% thành công). SAMPO cho thấy mức cải thiện trung bình 25.2% so với baseline GRPO. Các phát hiện chính bao gồm: cắt tỉa dung sai (tolerant clipping) dẫn đến sụp đổ huấn luyện, trong khi cắt tỉa ở cấp độ chuỗi đảm bảo cải thiện ổn định; tích hợp thông tin môi trường vào thiết kế lợi thế giúp cải thiện cả ổn định và hiệu suất; và lấy mẫu động kết hợp với thiết kế lợi thế chi tiết hơn mang lại lợi ích cho huấn luyện ARL. Việc che giấu chuỗi (sequence masking) cũng được chứng minh là một chiến lược ổn định hóa hiệu quả.

IV. Conclusion & Future Works:

Nghiên cứu này cung cấp một quan điểm thống nhất về gradient chính sách cho ARL và đưa ra hướng dẫn thực tiễn để xây dựng các quy trình huấn luyện tác nhân dựa trên LLM ổn định và có thể tái tạo. Các tác giả hy vọng nghiên cứu này sẽ đặt nền móng cho những tiến bộ có thể tái tạo và có nguyên tắc hơn trong việc hậu huấn luyện tác nhân LLM. Hướng nghiên cứu tương lai có thể tập trung vào việc áp dụng các nguyên tắc ổn định hóa này để giải quyết các thách thức khác trong ARL, như tối ưu hóa hiệu quả hơn cho các tác vụ phức tạp và môi trường đa dạng hơn, hoặc mở rộng sang các tác nhân đa phương thức.

V. Brainstorming Space:

1. Publish Papers:

Phân tích sâu sắc về tác động của các chiến lược lọc động trong ARL đa tác vụ: Nghiên cứu hiện tại đã chỉ ra rằng lọc động (dynamic filtering) mang lại lợi ích nhiều hơn khi kết hợp với GIGPO so với GRPO và tương tác với việc học định dạng. Một hướng nghiên cứu có thể tập trung vào việc phân tích chi tiết cách các cơ chế lọc động khác nhau tương tác với các thiết kế lợi thế đa dạng và độ phức tạp của tác vụ, nhằm phát triển các chiến lược lọc thích ứng tối ưu cho các tác vụ tác nhân cụ thể.
Phát triển cơ chế cắt tỉa lấy mẫu quan trọng (IS clipping) thích ứng và động: Bài báo nhấn mạnh sự nhạy cảm của ARL đối với thiết kế IS, với việc cắt tỉa dung sai dẫn đến sự sụp đổ và cắt tỉa cấp độ chuỗi đảm bảo ổn định. Một hướng nghiên cứu có thể tập trung vào việc phát triển các cơ chế điều chỉnh ngưỡng hoặc chiến lược cắt tỉa động dựa trên động lực huấn luyện thời gian thực (ví dụ: chuẩn gradient, độ phân kỳ KL, tỷ lệ định dạng hợp lệ) để đạt được cả tốc độ tăng trưởng nhanh ban đầu và sự ổn định lâu dài.
Mở rộng framework ARLArena cho học tăng cường tác nhân đa phương thức: Mặc dù ARLArena đã được giới thiệu cho các tác vụ tác nhân tổng quát, nhưng phân tích chi tiết trong bài báo chủ yếu tập trung vào các tác vụ dựa trên văn bản. Một hướng nghiên cứu quan trọng là mở rộng framework ARLArena và phương pháp SAMPO để phân tích và ổn định hóa một cách có hệ thống quá trình huấn luyện tác nhân đa phương thức (ví dụ: tác nhân thị giác-ngôn ngữ), giải quyết các thách thức đặc trưng của việc kết hợp các modalities khác nhau.

2. Patent:

Hệ thống hỗ trợ tự động hóa tác vụ đa bước trên điện thoại di động ổn định: Một ứng dụng trên điện thoại di động cho phép người dùng ghi lại hoặc định nghĩa các chuỗi hành động phức tạp (ví dụ: đặt vé máy bay qua nhiều ứng dụng, tạo báo cáo tổng hợp từ email và lịch) và sau đó hệ thống sẽ tự động thực hiện chúng một cách đáng tin cậy. Công nghệ này sẽ sử dụng các nguyên tắc ổn định hóa từ ARL (như cắt tỉa hành vi không mong muốn, điều chỉnh tín hiệu học tập dựa trên phản hồi) để đảm bảo tác vụ không bị gián đoạn hay lỗi giữa chừng, ngay cả khi gặp phải các giao diện hoặc phản hồi không chuẩn từ các ứng dụng khác.
Trợ lý ảo cá nhân hóa thông minh với khả năng học tập thích nghi và bền vững: Một trợ lý ảo trên điện thoại có thể học hỏi và thích nghi với thói quen, sở thích, và ngữ cảnh sử dụng của người dùng một cách liên tục. Thay vì chỉ phản hồi theo kịch bản cố định, trợ lý này có thể tự động đề xuất hoặc thực hiện các hành động chủ động (ví dụ: điều chỉnh cài đặt điện thoại, quản lý thông báo, tối ưu hóa mức sử dụng pin dựa trên lịch trình) mà không bị 'quên' hoặc 'hành xử thất thường' theo thời gian. Hệ thống sẽ tích hợp các cơ chế ổn định hóa quá trình học tập liên tục của ARL để đảm bảo sự đáng tin cậy và hiệu quả lâu dài.
Công cụ kiểm thử ứng dụng di động tự động với khả năng phát hiện lỗi ổn định: Một công cụ dành cho nhà phát triển ứng dụng di động, cho phép tạo ra các tác nhân AI để tự động kiểm thử ứng dụng. Các tác nhân này có thể mô phỏng hành vi người dùng thực tế qua nhiều bước tương tác phức tạp, tìm kiếm các lỗi, các trường hợp ngoại lệ và kiểm tra độ bền của ứng dụng. Công nghệ sẽ sử dụng các phương pháp ổn định hóa từ ARL để đảm bảo rằng các kịch bản kiểm thử tự động không bị sụp đổ giữa chừng do các lỗi nhỏ hoặc hành vi không mong muốn, đồng thời cung cấp các báo cáo lỗi đáng tin cậy và có thể tái tạo.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.21534
ArXiv Abstract	https://arxiv.org/abs/2602.21534
PDF Download	https://arxiv.org/pdf/2602.21534.pdf
Github Repository	https://github.com/WillDreamer/ARL-Arena

8. GUI-Libra: Training Native GUI Agents to Reason and Act with Action-aware Supervision and Partially Verifiable RL (15 votes)

Tác giả: Rui Yang, Qianhui Wu, Zhaoyang Wang, Hanyang Chen, Ke Yang, Hao Cheng, Huaxiu Yao, Baoling Peng, Huan Zhang, Jianfeng Gao, Tong Zhang

Xuất bản lúc: 2026-02-25

Tag: GUI Agents, Vision-Language Models, Reinforcement Learning, Supervised Fine-tuning, Data Curation, Reasoning, Grounding, Multi-modal

I. Main Problem:

Các tác nhân GUI mã nguồn mở hiện nay còn kém hiệu quả trong các tác vụ điều hướng dài hạn, đòi hỏi khả năng suy luận cấp cao và hành động chính xác. Khoảng cách này xuất phát từ hai hạn chế chính: (i) thiếu dữ liệu suy luận chất lượng cao, căn chỉnh hành động; và (ii) áp dụng các quy trình hậu huấn luyện chung chung mà bỏ qua các thách thức đặc thù của tác nhân GUI. Cụ thể, huấn luyện SFT tiêu chuẩn với chuỗi suy luận dài (CoT) thường làm giảm độ chính xác của grounding, và huấn luyện RLVR từng bước đối mặt với vấn đề xác minh một phần, dẫn đến sự mơ hồ về phần thưởng và làm cho các chỉ số ngoại tuyến kém dự đoán hiệu suất trực tuyến.

II. Main Idea:

GUI-Libra là một nghiên cứu có hệ thống và công thức huấn luyện tùy chỉnh nhằm giải quyết các thách thức trên. Đầu tiên, để giảm thiểu sự khan hiếm dữ liệu suy luận căn chỉnh hành động, chúng tôi giới thiệu một quy trình xây dựng và lọc dữ liệu, đồng thời phát hành bộ dữ liệu suy luận GUI 81K đã được chọn lọc. Thứ hai, để dung hòa suy luận với grounding, chúng tôi đề xuất SFT nhận biết hành động (action-aware SFT) kết hợp giữa giám sát suy luận-rồi-hành động và hành động trực tiếp, đồng thời điều chỉnh trọng số token để nhấn mạnh hành động và grounding. Thứ ba, để ổn định RL trong điều kiện xác minh một phần, chúng tôi chỉ ra tầm quan trọng bị bỏ qua của quy tắc hóa KL (KL regularization) và giới thiệu cơ chế chia tỷ lệ thích ứng với thành công (success-adaptive scaling) để giảm trọng số các gradient âm không đáng tin cậy. GUI-Libra tận dụng dữ liệu mã nguồn mở hiện có và tránh tương tác môi trường trực tuyến tốn kém.

III. Main Results:

GUI-Libra liên tục cải thiện cả độ chính xác từng bước ngoại tuyến và tỷ lệ hoàn thành tác vụ end-to-end trên các điểm chuẩn web và di động đa dạng, đồng thời tăng cường sự căn chỉnh giữa các chỉ số ngoại tuyến và hiệu suất trực tuyến. Cụ thể, GUI-Libra-4B và GUI-Libra-8B cải thiện các mô hình cơ sở của chúng lần lượt +15.6% và +12.2% trên AndroidWorld, +4.0% và +8.7% trên Online-Mind2Web, và +12.5% và +11.3% trên WebArena-Lite-v2. Các phân tích chi tiết cũng xác nhận vai trò của giám sát nhận biết hành động và quy tắc hóa bảo thủ trong việc giảm suy thoái grounding, tăng cường dự đoán hành động và ổn định quá trình học dưới phản hồi xác minh một phần. Kết quả cho thấy việc thiết kế cẩn thận quá trình hậu huấn luyện và chọn lọc dữ liệu có thể mở khóa khả năng giải quyết tác vụ mạnh mẽ hơn đáng kể mà không cần thu thập dữ liệu trực tuyến tốn kém. Bộ dữ liệu, mã nguồn và mô hình đã được phát hành.

IV. Conclusion & Future Works:

GUI-Libra là một khung hậu huấn luyện thống nhất cho các tác nhân GUI bản địa, giải quyết hiệu quả sự can thiệp giữa suy luận và grounding trong SFT, cùng với khả năng dự đoán kém từ ngoại tuyến sang trực tuyến trong RL. Chúng tôi đã đạt được những cải thiện đáng kể trên các điểm chuẩn, chứng minh rằng các mô hình VLM nhỏ hơn, được huấn luyện trên dữ liệu mã nguồn mở vừa phải, có thể sánh ngang hoặc thậm chí vượt trội các hệ thống lớn hơn nhiều. Những phát hiện và tài nguyên mã nguồn mở này sẽ khuyến khích các nghiên cứu trong tương lai về hậu huấn luyện hiệu quả dữ liệu và đáng tin cậy cho các tác nhân GUI có khả năng suy luận.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp tổng hợp dữ liệu suy luận chất lượng cao cho tác nhân GUI bằng cách sử dụng các mô hình ngôn ngữ lớn tiên tiến hoặc kỹ thuật sinh dữ liệu đối nghịch, đặc biệt tập trung vào các kịch bản web phức tạp hoặc các miền ít được đại diện.
Phát triển các chiến lược quy tắc hóa KL và tạo phần thưởng thích ứng động cho Reinforcement Learning trong môi trường GUI có khả năng xác minh một phần, nhằm cải thiện sự ổn định và hiệu quả học tập khi đối mặt với sự mơ hồ của phần thưởng.
Khám phá các kỹ thuật học chuyển giao và tổng quát hóa đa nền tảng cho tác nhân GUI, cho phép mô hình học được các kỹ năng điều hướng và suy luận có thể áp dụng liền mạch giữa các loại giao diện (ví dụ: từ di động sang máy tính để bàn) với yêu cầu tinh chỉnh tối thiểu.

2. Patent:

Hệ thống trợ lý tự động hóa tác vụ di động thông minh: Một ứng dụng hoặc tính năng tích hợp trên điện thoại di động cho phép người dùng đưa ra các lệnh bằng ngôn ngữ tự nhiên (ví dụ: "Tìm chuyến bay từ Hà Nội đến TP.HCM vào tuần tới") và điện thoại sẽ tự động thực hiện một chuỗi các thao tác trên các ứng dụng liên quan (ví dụ: mở ứng dụng đặt vé, nhập thông tin, lọc kết quả) mà không cần người dùng chạm vào màn hình. Hệ thống này sử dụng khả năng suy luận và thực thi hành động của GUI agent để điều hướng qua giao diện người dùng một cách chính xác và hiệu quả.
Công cụ tạo kịch bản tự động cho kiểm thử ứng dụng di động: Một công cụ hoặc tính năng trên điện thoại cho phép nhà phát triển hoặc người dùng tạo các kịch bản kiểm thử tự động cho ứng dụng di động bằng cách mô tả các bước trong ngôn ngữ tự nhiên. Ví dụ: "Mở ứng dụng X, đăng nhập bằng tài khoản Y, sau đó thêm sản phẩm Z vào giỏ hàng và thanh toán." Hệ thống sẽ dịch các mô tả này thành chuỗi hành động GUI và tự động thực thi chúng trên ứng dụng, đồng thời ghi lại kết quả hoặc lỗi. Điều này giúp tự động hóa và tăng tốc quá trình kiểm thử chức năng và trải nghiệm người dùng.
Chế độ hỗ trợ người dùng khuyết tật thông qua giao diện tự động: Một chế độ trợ năng tiên tiến trên điện thoại di động cho phép người dùng có hạn chế về vận động hoặc thị giác điều khiển điện thoại bằng giọng nói hoặc cử chỉ đơn giản hơn. Thay vì phải chạm vào các vị trí cụ thể trên màn hình, người dùng có thể nói "mở cài đặt và bật Wi-Fi" và điện thoại sẽ tự động điều hướng qua các màn hình và thực hiện hành động đó một cách chính xác. Công nghệ này sử dụng khả năng "suy luận và hành động" của GUI agent để hiểu ý định của người dùng và thực hiện các tương tác phức tạp trên giao diện một cách tự động và chính xác, cải thiện đáng kể khả năng tiếp cận và sử dụng điện thoại cho người khuyết tật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.22190
ArXiv Abstract	https://arxiv.org/abs/2602.22190
PDF Download	https://arxiv.org/pdf/2602.22190.pdf
Github Repository	https://github.com/GUI-Libra/GUI-Libra

9. Image Generation with a Sphere Encoder (15 votes)

Tác giả: Kaiyu Yue, Menglin Jia, Ji Hou, Tom Goldstein

Xuất bản lúc: 2026-02-16

Tag: Image Generation, Diffusion Models, Autoencoders, Latent Space, Conditional Generation, Few-step generation

I. Main Problem:

Các mô hình tạo ảnh hiện tại, như Diffusion và autoregressive, rất chậm và tốn kém, yêu cầu nhiều lượt truyền (forward pass) để tạo ra một ảnh duy nhất. Ngoài ra, các VAE truyền thống gặp phải vấn đề "posterior hole", khiến việc lấy mẫu trực tiếp từ phân phối Gaussian tiên nghiệm không tạo ra được hình ảnh hợp lệ.

II. Main Idea:

Giới thiệu Sphere Encoder, một khung tạo sinh hiệu quả có khả năng tạo ảnh chỉ trong một lượt truyền và cạnh tranh với các mô hình Diffusion nhiều bước chỉ với dưới năm bước. Phương pháp này học một bộ mã hóa ánh xạ ảnh tự nhiên một cách đồng đều vào một không gian tiềm ẩn hình cầu và một bộ giải mã ánh xạ các vector tiềm ẩn ngẫu nhiên trở lại không gian ảnh. Được huấn luyện chỉ thông qua các hàm lỗi tái tạo ảnh, mô hình tạo ra ảnh bằng cách giải mã một điểm ngẫu nhiên trên hình cầu. Kiến trúc này hỗ trợ tạo ảnh có điều kiện và lặp lại quá trình mã hóa/giải mã vài lần có thể nâng cao chất lượng ảnh. Không gian tiềm ẩn hình cầu được học một cách chính xác đến mức bước khuếch tán tốn kém trở nên không cần thiết. Quá trình huấn luyện sử dụng các vector nhúng của ảnh tự nhiên và các phiên bản nhiễu của chúng để bao phủ không gian tiềm ẩn một cách dày đặc và thúc đẩy sự phân tán đều trên hình cầu. Hàm lỗi tổng thể bao gồm mất mát tái tạo pixel, mất mát nhất quán pixel và mất mát nhất quán tiềm ẩn.

III. Main Results:

Phương pháp Sphere Encoder đạt hiệu suất cạnh tranh với các mô hình Diffusion hiện đại với chi phí suy luận thấp hơn nhiều. Mô hình đạt hiệu suất tạo ảnh một bước cạnh tranh và hiệu suất tiên tiến trong chế độ ít bước (dưới 5 bước) trên nhiều tập dữ liệu. Cụ thể, trên CIFAR-10, mô hình đạt gFID dưới 2.0 và IS trên 10 với ít hơn 10 bước lấy mẫu, giảm 100 lần số bước so với các phương pháp dựa trên Diffusion. Trên các tập dữ liệu ảnh lớn (256x256) như ImageNet, Animal-Faces và Oxford-Flowers, Sphere Encoder đạt điểm FID cạnh tranh với số bước lấy mẫu ít hơn. Việc nội suy không gian tiềm ẩn cho thấy mô hình có sự chuyển đổi nhanh chóng giữa các loại đối tượng, tránh tạo ra các ảnh "lai" không thực tế. Không gian tiềm ẩn học được có tính đồng nhất có điều kiện, nghĩa là mỗi lớp đối tượng riêng lẻ đều bao phủ đều hình cầu. Mô hình cũng hỗ trợ chỉnh sửa ảnh không cần huấn luyện lại, bao gồm thao tác có điều kiện và lai tạo ảnh.

IV. Conclusion & Future Works:

Sphere Encoder là một khung tạo sinh mới cho phép tổng hợp ảnh chất lượng cao với số bước ít. Quan sát chính là phân phối của các vector tiềm ẩn có thể được kiểm soát chặt chẽ trên một hình cầu đồng nhất, cho phép huấn luyện một bộ tự mã hóa có thể được lấy mẫu trực tiếp. Công việc trong tương lai có thể khám phá các chỉ số tương đồng dựa trên biểu diễn không gian tiềm ẩn hoặc các hàm lỗi GAN đa giai đoạn để đạt được độ sắc nét cao hơn và điểm FID thấp hơn. Khả năng tổng quát của phương pháp này cũng mở ra cơ hội chuyển giao sang cài đặt tạo ảnh từ văn bản.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các hàm mất mát hoặc kỹ thuật điều hòa khác nhau cho không gian tiềm ẩn hình cầu ngoài chuẩn hóa RMS, có khả năng tích hợp ý tưởng từ học đối lập để tăng cường tính đồng nhất và phân tách.
Điều chỉnh khung Sphere Encoder cho tác vụ tạo ảnh từ văn bản, tận dụng khả năng suy luận ít bước của nó để tổng hợp ảnh được hướng dẫn bởi văn bản nhanh hơn và hiệu quả hơn so với các mô hình khuếch tán hiện tại.
Khảo sát ứng dụng của không gian tiềm ẩn hình cầu trong các tác vụ tạo sinh khác, chẳng hạn như tạo vật thể 3D hoặc tạo video, để đánh giá tính tổng quát và khả năng mở rộng của mô hình Sphere Encoder.

2. Patent:

Chỉnh sửa ảnh tức thì dựa trên ngữ cảnh: Một ứng dụng di động cho phép người dùng chỉnh sửa ảnh (ví dụ: thay đổi chất liệu, phong cách) bằng cách chọn các thuộc tính ngữ cảnh (ví dụ: "len", "thép", "hoa"). Công nghệ này sẽ sử dụng quá trình mã hóa hình ảnh vào một không gian biểu diễn hình cầu và giải mã có điều kiện để tạo ra các biến thể ảnh mới nhanh chóng mà không cần nhiều bước xử lý, mang lại trải nghiệm chỉnh sửa ảnh mượt mà và trực quan trên điện thoại.
Tạo ảnh đại diện (avatar) tùy chỉnh nhanh chóng: Một tính năng trên điện thoại cho phép người dùng tạo ảnh đại diện hoặc biểu tượng cảm xúc độc đáo chỉ với vài thao tác. Bằng cách lấy một ảnh đầu vào và điều chỉnh các điểm ngẫu nhiên trên không gian biểu diễn hình cầu, ứng dụng có thể tạo ra vô số biến thể của khuôn mặt hoặc đối tượng, cho phép người dùng tùy chỉnh vẻ ngoài một cách linh hoạt và nhanh chóng mà không cần kỹ năng thiết kế phức tạp.
Phục hồi và làm đẹp ảnh cũ bằng AI: Một công cụ tích hợp trong thư viện ảnh, cho phép người dùng cải thiện chất lượng ảnh cũ, bị mờ hoặc có nhiễu. Hệ thống sẽ mã hóa ảnh vào không gian biểu diễn hình cầu, sau đó giải mã qua nhiều bước lặp để "làm sạch" và thêm chi tiết, giúp ảnh trông sắc nét và chân thực hơn mà vẫn giữ được cấu trúc ban đầu, mang lại sức sống mới cho những kỷ niệm cũ ngay trên điện thoại di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.15030
ArXiv Abstract	https://arxiv.org/abs/2602.15030
PDF Download	https://arxiv.org/pdf/2602.15030.pdf
Github Repository	https://github.com/facebookresearch/sphere-encoder

10. World Guidance: World Modeling in Condition Space for Action Generation (14 votes)

Tác giả: Yue Su, Sijin Chen, Haixin Shi, Mingyu Liu, Zhengshen Zhang, Ningyuan Huang, Weiheng Zhong, Zhengbang Zhu, Yuxiao Liu, Xihui Liu

Xuất bản lúc: 2026-02-25

Tag: VLA, World Modeling, Action Generation, Robotics, Imitation Learning, Deep Learning, Vision-Language Models

I. Main Problem:

Các mô hình Vision-Language-Action (VLA) hiện tại gặp khó khăn trong việc cân bằng giữa việc duy trì các biểu diễn tương lai hiệu quả, dễ dự đoán và việc giữ lại đủ thông tin chi tiết để hướng dẫn tạo hành động chính xác. Cụ thể, các phương pháp hiện có hoặc tạo ra các biểu diễn tương lai quá giàu thông tin nhưng dư thừa, gây cản trở hiệu quả huấn luyện và khả năng mở rộng (World Action Models), hoặc nén các hành động tương lai thành các biểu diễn tiềm ẩn quá thô, thiếu độ chính xác cần thiết cho việc tạo hành động chi tiết (Latent Action Models). Thách thức cốt lõi là xác định một không gian dự đoán vừa khả thi để mô hình VLA dự báo, vừa đủ biểu cảm để hướng dẫn tạo hành động chính xác.

II. Main Idea:

Đề xuất WoG (World Guidance), một framework giải quyết vấn đề bằng cách mô hình hóa thế giới trong không gian điều kiện (condition space) để tạo hành động. WoG ánh xạ các quan sát tương lai thành các điều kiện nhỏ gọn bằng cách đưa chúng vào quy trình suy luận hành động. Mô hình VLA sau đó được huấn luyện để đồng thời dự đoán các điều kiện đã nén này cùng với các hành động tương lai.

Quá trình huấn luyện WoG gồm hai giai đoạn:

Giai đoạn I (World Guidance): Tạo hành động được điều kiện hóa đồng thời trên các quan sát hiện tại (được mã hóa bởi VLM backbone) và các quan sát tương lai (được lấy từ các mô hình thị giác nền tảng đã đóng băng, nén bởi Q-former-based Encoder có thể huấn luyện và tích hợp vào action head). Giai đoạn này tối ưu hóa encoder để chiếu các quan sát tương lai vào không gian điều kiện hành động hiệu quả, và VLA backbone để tận dụng các biểu diễn điều kiện hóa tương lai này cho việc dự đoán hành động chính xác.
Giai đoạn II (World Inference): Q-former-based Encoder và các bộ chiếu (projectors) được đóng băng để định nghĩa một không gian mục tiêu ổn định. Mô hình VLA sau đó được huấn luyện để đồng thời dự đoán biểu diễn điều kiện hóa tương lai này và các hành động tương ứng, giúp mô hình tự động dự đoán và sử dụng hướng dẫn tương lai trong quá trình suy luận, trở thành một mô hình tự hướng dẫn.

III. Main Results:

WoG đạt được những cải thiện hiệu suất mạnh mẽ và nhất quán so với tất cả các phương pháp cơ sở trong nhiều tác vụ trên môi trường mô phỏng (SIMPLER Env) cho cả Google Robot và WidowX Robot. Đặc biệt, WoG cho thấy khả năng lập kế hoạch quỹ đạo vượt trội và tránh va chạm hiệu quả hơn trong các kịch bản phức tạp (ví dụ: tác vụ "Move Near"), và cải thiện đáng kể độ chính xác của việc dự đoán tư thế cầm nắm và đặt vật thể trong các tác vụ Pick-and-Place. Trong các thí nghiệm thực tế, WoG đạt hiệu suất gần như hoàn hảo trong các tác vụ tương tác động (ví dụ: "Close the Microwave"), và vượt trội đáng kể so với các phương pháp khác trong việc xử lý các vật thể biến dạng (ví dụ: "Fold the Towel"). WoG thể hiện khả năng tổng quát hóa vượt trội với sự suy giảm hiệu suất tối thiểu trong các kịch bản Out-of-Distribution (OOD) như thay đổi nền, thay đổi ánh sáng và vật thể mới. Điều này là nhờ thiết kế không gian điều kiện của WoG, sử dụng các encoder thị giác tiền huấn luyện đã đóng băng để tạo ra các điều kiện đặc trưng cho thao tác nhưng không nhạy cảm với các nhiễu hình ảnh. Cấu hình encoder kết hợp (ví dụ: DINOv2 + Wan VAE hoặc DINOv2 + SigLIP) mang lại hiệu suất tốt hơn so với chỉ DINOv2, với VAE phù hợp hơn cho lập kế hoạch quỹ đạo và SigLIP tốt hơn cho độ chính xác không gian. Việc sử dụng Future Encoder để truy vấn các biểu diễn điều kiện nhỏ gọn là rất hiệu quả.

IV. Conclusion & Future Works:

WoG cung cấp một framework mạnh mẽ để mô hình hóa thế giới trong không gian điều kiện, giúp tạo ra các hành động chính xác và có khả năng tổng quát hóa cao. Phương pháp này giải quyết hiệu quả sự đánh đổi giữa biểu diễn tương lai giàu thông tin và sự nhỏ gọn cần thiết cho việc tạo hành động chi tiết. Các nghiên cứu trong tương lai có thể tập trung vào việc giải quyết những hạn chế còn tồn tại, đặc biệt là trong các tác vụ đòi hỏi lý luận không gian chi tiết và các ràng buộc hình học phức tạp. Điều này có thể bao gồm việc tích hợp các cơ chế không gian chuyên biệt hoặc mô hình hóa các quan sát lịch sử để bổ sung cho việc dự đoán động lực học hiện tại, nhằm cải thiện khả năng xử lý các ràng buộc không gian chi tiết. Ngoài ra, việc khám phá các cách để tiêm thông tin ngữ nghĩa bổ sung vào không gian điều kiện để bù đắp cho những thiếu sót nội tại của các mô hình nền tảng trong các khả năng cụ thể cũng là một hướng đi đầy hứa hẹn.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện Lý luận Không gian và Xử lý Hình học Tinh tế trong Mô hình VLA thông qua Điều kiện hóa Lịch sử và Cơ chế Không gian Chuyên biệt Nghiên cứu này sẽ tập trung vào việc khắc phục hạn chế của WoG trong các tác vụ đòi hỏi độ chính xác không gian cao. Đề xuất tích hợp các cơ chế không gian chuyên biệt (ví dụ: mạng lưới dựa trên đồ thị hoặc kiến trúc transformer không gian) và mô hình hóa các quan sát lịch sử để cung cấp thêm thông tin hình học và ngữ cảnh, từ đó nâng cao khả năng của mô hình VLA trong việc lập kế hoạch quỹ đạo và kiểm soát đối với các vật thể có ràng buộc không gian phức tạp hoặc biến dạng nhỏ.
Tối ưu hóa Không gian Điều kiện cho Tương tác Người-Robot: Học từ Dữ liệu Heterogeneous với Phản hồi Haptic và Âm thanh Mở rộng WoG để học từ các loại dữ liệu đa dạng hơn, bao gồm phản hồi haptic và âm thanh từ các tương tác của con người. Nghiên cứu này sẽ khám phá cách tích hợp các tín hiệu phi thị giác này vào không gian điều kiện để tạo ra các điều kiện hành động phong phú hơn và chính xác hơn, đặc biệt hữu ích cho các tác vụ đòi hỏi sự khéo léo và nhận thức xúc giác. Điều này có thể giúp robot thực hiện các thao tác tinh tế hơn và tương tác tự nhiên hơn với con người.
Mô hình hóa Điều kiện Tương lai Tùy chỉnh theo Tác vụ: Kiến trúc WoG Thích ứng cho Các Kịch bản Robot Đa nhiệm Phát triển một kiến trúc WoG thích ứng có khả năng tự động điều chỉnh hoặc học cách trích xuất các điều kiện tương lai cụ thể và tối ưu cho từng loại tác vụ hoặc môi trường. Thay vì sử dụng một bộ encoder thị giác cố định, mô hình sẽ có khả năng lựa chọn hoặc kết hợp linh hoạt các nguồn thông tin tương lai dựa trên ngữ cảnh tác vụ (ví dụ: ưu tiên VAE cho lập kế hoạch quỹ đạo hoặc SigLIP cho độ chính xác không gian), từ đó tối đa hóa hiệu suất và khả năng thích ứng trong các kịch bản robot đa nhiệm.

2. Patent:

Hệ thống Hướng dẫn Hành động Di động Tự động cho Thiết bị Điện tử Cầm tay Một ứng dụng di động sử dụng công nghệ tương tự WoG để hướng dẫn người dùng thực hiện các thao tác phức tạp với thiết bị điện tử cầm tay (ví dụ: lắp ráp phụ kiện, sửa chữa nhỏ). Ứng dụng sẽ sử dụng camera của điện thoại để quan sát hành động của người dùng, dự đoán các hành động tiếp theo cần thiết và cung cấp hướng dẫn trực quan (ví dụ: mũi tên, vùng sáng trên màn hình) hoặc âm thanh dựa trên "điều kiện tương lai" được mô hình hóa từ các bản demo chuyên gia. Điều này giúp người dùng thực hiện các tác vụ đòi hỏi sự khéo léo mà không cần hướng dẫn thủ công từng bước.
Chức năng Hỗ trợ Chụp ảnh/Quay phim Thông minh trên Điện thoại Di động Dựa trên Mô hình Hướng dẫn Thế giới Phát triển một tính năng camera điện thoại thông minh có khả năng dự đoán "điều kiện tương lai" của một cảnh quay hoặc chuyển động của đối tượng. Dựa trên dự đoán này, điện thoại sẽ chủ động đề xuất hoặc tự động điều chỉnh cài đặt camera (ví dụ: lấy nét, phơi sáng, tốc độ màn trập) hoặc khung hình để đảm bảo rằng đối tượng chính luôn được ghi lại một cách tối ưu trong khoảnh khắc quan trọng tiếp theo. Ví dụ, khi quay một người đang nhảy, hệ thống có thể dự đoán đỉnh cao của cú nhảy và tự động điều chỉnh để ghi lại khoảnh khắc đó một cách sắc nét nhất.
Công nghệ Hỗ trợ Lái xe An toàn Tích hợp Điện thoại Di động với Dự đoán Tình huống Giao thông Tương lai Một ứng dụng điện thoại di động hoặc tính năng tích hợp trong hệ thống thông tin giải trí trên xe hơi sử dụng camera của điện thoại (hoặc camera của xe) để liên tục phân tích môi trường giao thông xung quanh. Sử dụng "mô hình điều kiện tương lai" để dự đoán các tình huống tiềm ẩn nguy hiểm (ví dụ: xe khác chuyển làn đột ngột, người đi bộ băng qua đường) và cảnh báo người lái xe trước khi sự kiện xảy ra. Hệ thống sẽ cung cấp cảnh báo trực quan hoặc âm thanh kịp thời, giúp người lái có thêm thời gian phản ứng và tránh tai nạn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.22010
ArXiv Abstract	https://arxiv.org/abs/2602.22010
PDF Download	https://arxiv.org/pdf/2602.22010.pdf
Github Repository	N/A

11. JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation (14 votes)

Tác giả: Kai Liu, Yanhao Zheng, Kai Wang, Shengqiong Wu, Rongjunchen Zhang, Jiebo Luo, Dimitrios Hatzinakos, Ziwei Liu, Hao Fei, Tat-Seng Chua

Xuất bản lúc: 2026-02-22

Tag: Joint Audio-Video Generation, Diffusion Models, Mixture-of-Experts, RoPE, Direct Preference Optimization, AIGC, Multimodal

I. Main Problem:

Các phương pháp mã nguồn mở hiện có cho việc tạo video-audio đồng bộ (JAVG) vẫn còn hạn chế về chất lượng tạo ra, sự đồng bộ thời gian và mức độ phù hợp với sở thích của con người, đặc biệt khi so sánh với các mô hình thương mại tiên tiến như Veo3. Các cách tiếp cận hiện tại gặp khó khăn trong việc tạo ra video có âm thanh chất lượng cao, đồng bộ về mặt thời gian và thường dựa vào các kiến trúc phức tạp cùng các cơ chế điều chỉnh đồng bộ ngầm định, gây cản trở khả năng mở rộng.

II. Main Idea:

Bài báo giới thiệu JavisDiT++, một khung sườn mạnh mẽ nhưng súc tích để mô hình hóa và tối ưu hóa JAVG một cách thống nhất. Các ý tưởng chính bao gồm:

Thiết kế Modality-Specific Mixture-of-Experts (MS-MoE): Cho phép tương tác xuyên phương thức hiệu quả đồng thời nâng cao chất lượng tạo nội dung đơn phương thức. Kiến trúc này sử dụng các lớp self-attention đa đầu chung để trao đổi thông tin và các lớp FFN riêng biệt cho từng phương thức để tổng hợp thông tin nội phương thức.
Chiến lược Temporal-Aligned RoPE (TA-RoPE): Đạt được sự đồng bộ rõ ràng, ở cấp độ khung hình giữa các token âm thanh và video bằng cách căn chỉnh ID vị trí của chúng trên một trục thời gian thống nhất.
Phương pháp Audio-Video Direct Preference Optimization (AV-DPO): Điều chỉnh đầu ra của mô hình phù hợp với sở thích của con người về chất lượng, tính nhất quán và sự đồng bộ, sử dụng dữ liệu ưu tiên được chọn lọc từ các mô hình phần thưởng đa dạng. Đây là lần đầu tiên phương pháp tối ưu hóa dựa trên sở thích được áp dụng cho JAVG.

III. Main Results:

Mô hình JavisDiT++ đạt được hiệu suất tiên tiến (state-of-the-art) chỉ với khoảng 1 triệu mẫu dữ liệu huấn luyện công khai, vượt trội đáng kể so với các phương pháp trước đây (JavisDiT, UniVerse-1) trong cả đánh giá định tính và định lượng.

Vượt xa UniVerse-1 về chất lượng và tính nhất quán, và vượt trội hơn cả JavisDiT và UniVerse-1 về các chỉ số đồng bộ.
Kiến trúc MS-MoE duy trì khả năng tạo video mạnh mẽ đồng thời mang lại khả năng tạo âm thanh chất lượng cao và sự đồng bộ audio-video xuất sắc.
Chiến lược TA-RoPE đạt được hiệu suất đồng bộ tốt hơn mà không làm tăng chi phí suy luận, trái ngược với ST-Prior và FrameAttn.
AV-DPO, đặc biệt khi sử dụng các cặp ưu tiên nhất quán theo phương thức và chuẩn hóa, cải thiện hiệu quả chất lượng, tính nhất quán và sự đồng bộ của nội dung tạo ra.
Đánh giá của con người cho thấy phương pháp của chúng tôi vượt trội hơn JavisDiT và UniVerse-1 hơn 70% về sự ưa thích, và mô hình được cải thiện bằng DPO tạo ra nhiều video được người dùng ưa thích hơn 25%.

IV. Conclusion & Future Works:

JavisDiT++ là một khung sườn súc tích và hiệu quả cho việc tạo video-audio đồng bộ. Bằng cách giới thiệu thiết kế MS-MoE để nâng cao chất lượng theo phương thức cụ thể, chiến lược TA-RoPE để căn chỉnh thời gian rõ ràng và thuật toán AV-DPO để căn chỉnh sở thích, mô hình của chúng tôi đạt được hiệu suất tiên tiến về chất lượng, tính nhất quán và sự đồng bộ. Được xây dựng dựa trên Wan2.1-1.3B-T2V và được huấn luyện chỉ với 1 triệu mẫu dữ liệu, JavisDiT++ vượt trội đáng kể so với các cách tiếp cận mã nguồn mở hiện có trong khi vẫn duy trì hiệu quả. Công trình này đặt một cột mốc quan trọng cho lĩnh vực JAVG và mở ra những hướng nghiên cứu mới trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu kiến trúc đa phương thức hiệu quả hơn cho khả năng mở rộng: Phát triển các kiến trúc mô hình thống nhất và hiệu quả hơn nữa, vượt ra ngoài MS-MoE, để xử lý các tác vụ đa phương thức đa dạng, có thể bao gồm các cơ chế định tuyến động hoặc tính toán thích ứng cho từng phương thức nhằm cải thiện khả năng mở rộng và hiệu suất.
Phương pháp học ưu tiên nâng cao cho tương tác đa phương tiện phức tạp: Khám phá các kỹ thuật học ưu tiên tinh vi hơn có khả năng nắm bắt sở thích tinh tế của con người đối với nội dung đa phương tiện đa chiều, phức tạp (ví dụ: sắc thái cảm xúc cụ thể, phong cách nghệ thuật, hoặc tính mạch lạc của câu chuyện giữa âm thanh và hình ảnh), có thể thông qua thiết kế mô hình phần thưởng mới hoặc các biến thể DPO đa mục tiêu.
Mở rộng JAVG cho thời lượng dài hơn và độ phân giải cao hơn với dữ liệu hạn chế: Phát triển các phương pháp để tạo nội dung video-audio có thời lượng dài hơn đáng kể và độ phân giải cao hơn một cách hiệu quả, có thể thông qua tạo nội dung theo phân cấp, cơ chế chú ý thưa thớt, hoặc các chiến lược tăng cường/tổng hợp dữ liệu mới để khắc phục hạn chế về dữ liệu.

2. Patent:

Ứng dụng di động tạo video ngắn kèm âm thanh sống động từ văn bản: Một ứng dụng trên điện thoại di động cho phép người dùng nhập mô tả văn bản (ví dụ: "một chú chó đang sủa vui vẻ trong công viên, tiếng chim hót líu lo") và ngay lập tức tạo ra một video ngắn chất lượng cao, đồng bộ hình ảnh và âm thanh. Công nghệ này sẽ tự động điều chỉnh hình ảnh và âm thanh để khớp với mô tả, giúp người dùng dễ dàng tạo nội dung cho mạng xã hội hoặc tin nhắn mà không cần kỹ năng chỉnh sửa phức tạp.
Hệ thống tạo phản hồi đa phương tiện cá nhân hóa dựa trên ngữ cảnh cho trợ lý ảo: Phát triển một tính năng tích hợp vào trợ lý ảo hoặc bàn phím thông minh trên điện thoại. Khi người dùng nhập tin nhắn hoặc ra lệnh thoại, hệ thống sẽ tự động gợi ý hoặc tạo ra các đoạn video/audio ngắn, đồng bộ, phù hợp với cảm xúc hoặc nội dung của tin nhắn. Ví dụ, khi người dùng nói "Tôi rất buồn", trợ lý có thể hiển thị một đoạn video ngắn với hình ảnh mưa và âm thanh êm dịu, tăng cường trải nghiệm tương tác cảm xúc.
Công cụ chỉnh sửa video thông minh với tính năng tự động đồng bộ âm thanh: Một ứng dụng chỉnh sửa video trên điện thoại cho phép người dùng nhập các cảnh quay video và các file âm thanh riêng biệt. Thay vì phải căn chỉnh thủ công, công cụ này sẽ sử dụng trí tuệ nhân tạo để phân tích nội dung hình ảnh và âm thanh, sau đó tự động điều chỉnh thời gian và vị trí của chúng để đạt được sự đồng bộ tự nhiên và liền mạch nhất, ví dụ như khớp tiếng nhạc cụ với hình ảnh người chơi hoặc tiếng động vật với chuyển động của chúng trong video.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.19163
ArXiv Abstract	https://arxiv.org/abs/2602.19163
PDF Download	https://arxiv.org/pdf/2602.19163.pdf
Github Repository	https://github.com/JavisVerse/JavisDiT

12. From Statics to Dynamics: Physics-Aware Image Editing with Latent Transition Priors (12 votes)

Tác giả: Liangbing Zhao, Le Zhuo, Sayak Paul, Hongsheng Li, Mohamed Elhoseiny

Xuất bản lúc: 2026-02-25

Tag: Instruction-based Image Editing, Physics-aware AI, Diffusion Models, MLLMs, Video Datasets, Generative AI, Visual Reasoning

I. Main Problem:

Các mô hình chỉnh sửa hình ảnh dựa trên hướng dẫn hiện tại thường thất bại trong việc tạo ra kết quả hợp lý về mặt vật lý khi việc chỉnh sửa liên quan đến các động lực học nhân quả phức tạp, như khúc xạ hoặc biến dạng vật liệu. Hạn chế này xuất phát từ việc coi chỉnh sửa là một ánh xạ rời rạc giữa các cặp hình ảnh, chỉ cung cấp các điều kiện biên và bỏ qua động lực học chuyển tiếp, dẫn đến các kết quả "ảo giác" không tuân thủ các nguyên tắc vật lý cơ bản.

II. Main Idea:

Để giải quyết vấn đề, nghiên cứu này đã định hình lại việc chỉnh sửa hình ảnh có nhận thức vật lý như là các chuyển đổi trạng thái vật lý mang tính dự đoán. Các tác giả giới thiệu PhysicTran38K, một bộ dữ liệu lớn dựa trên video gồm 38.000 quỹ đạo chuyển tiếp trên năm lĩnh vực vật lý. Dựa trên bộ dữ liệu này, nhóm nghiên cứu đề xuất PhysicEdit, một framework end-to-end được trang bị cơ chế tư duy kép văn bản-hình ảnh. PhysicEdit kết hợp một mô hình Qwen2.5-VL đã được đóng băng để suy luận vật lý với các truy vấn chuyển tiếp có thể học được, cung cấp hướng dẫn trực quan thích ứng theo thời gian cho một backbone diffusion. Cách tiếp cận này cho phép mô hình học các tiên nghiệm chuyển tiếp từ video trong quá trình huấn luyện nhưng vẫn tương thích với quy trình suy luận một hình ảnh.

III. Main Results:

PhysicEdit đạt hiệu suất vượt trội so với các mô hình mã nguồn mở hiện có và cạnh tranh với các mô hình độc quyền hàng đầu. Cụ thể, PhysicEdit cải thiện 5.9% về tính chân thực vật lý và 10.1% về chỉnh sửa dựa trên kiến thức so với Qwen-Image-Edit. Trên PICABench-Superficial, PhysicEdit đạt điểm tổng thể 64.86, thiết lập trạng thái nghệ thuật mới cho các phương pháp mã nguồn mở. Nó cũng cho thấy những cải thiện đáng kể trong các lĩnh vực yêu cầu động lực học ngầm định như Hiệu ứng nguồn sáng (tăng từ 61.19 lên 76.16), Biến dạng (tăng 12.0 điểm lên 60.76) và Tính nhân quả (tăng từ 48.95 lên 59.23). Trên KRISBench, PhysicEdit đạt điểm tổng thể 72.16, vượt qua tất cả các mô hình mã nguồn mở và nhiều mô hình độc quyền, với cải thiện rõ rệt trong các hạng mục liên quan đến hiểu biết vật lý động như Nhận thức thời gian và Khoa học tự nhiên.

IV. Conclusion & Future Works:

Nghiên cứu này đã đề xuất một sự thay đổi mô hình trong chỉnh sửa hình ảnh bằng cách mô hình hóa quá trình này như một Chuyển đổi trạng thái vật lý liên tục. Việc giới thiệu PhysicTran38K và PhysicEdit đã chứng minh hiệu quả của việc giám sát tập trung vào chuyển đổi trong việc tạo ra các chỉnh sửa hợp lý về mặt vật lý. Công trình này nhấn mạnh tầm quan trọng của các định luật vật lý trong tạo hình ảnh và cung cấp một khung làm việc mạnh mẽ cho các nghiên cứu tạo hình ảnh có nhận thức vật lý trong tương lai. Các hướng nghiên cứu tiếp theo bao gồm việc sử dụng công nghệ một cách có trách nhiệm và phát triển các phương pháp phát hiện sự không nhất quán vật lý tổng hợp để chống lại việc lạm dụng có thể xảy ra.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng PhysicTran38K với các tương tác vật lý phức tạp: Nghiên cứu xây dựng các bộ dữ liệu chuyển động vật lý phức tạp hơn, bao gồm tương tác đa vật thể, thay đổi trạng thái vật liệu phức tạp (ví dụ: đông đặc, hóa khí), hoặc các hiện tượng vật lý phi tuyến tính. Cần phát triển các phương pháp tự động hóa cao hơn để thu thập và chú thích dữ liệu, giảm sự phụ thuộc vào các mô hình tạo video hiện tại.
Mô hình hóa động lực học vật lý ngầm định hiệu quả: Phát triển các kiến trúc mô hình mới cho phép suy luận và mô phỏng động lực học vật lý ngầm định mà không cần dữ liệu video trực tiếp trong quá trình suy luận. Có thể khám phá các cơ chế attention hoặc memory networks để lưu trữ và truy xuất các "quy tắc vật lý" đã học từ dữ liệu video, áp dụng chúng một cách linh hoạt vào các kịch bản chỉnh sửa mới.
Tích hợp sâu hơn MLLMs vào chuỗi suy luận vật lý: Nghiên cứu cách tích hợp chặt chẽ hơn khả năng suy luận vật lý của các MLLM (ví dụ: Qwen2.5-VL) với quá trình tạo hình ảnh. Điều này có thể bao gồm việc huấn luyện MLLM để tạo ra các "kế hoạch vật lý" chi tiết hơn ở cấp độ latent space, hoặc sử dụng MLLM để phê bình và tinh chỉnh các kết quả chỉnh sửa dựa trên sự không nhất quán vật lý.

2. Patent:

Ứng dụng chỉnh sửa ảnh động thông minh trên di động: Một tính năng trên điện thoại di động cho phép người dùng chỉnh sửa ảnh tĩnh thành ảnh động hoặc video ngắn với các hiệu ứng vật lý thực tế. Ví dụ, người dùng có thể chụp ảnh một ly nước, sau đó ra lệnh "thả một viên đá vào" và ứng dụng sẽ tạo ra một đoạn video ngắn mô phỏng viên đá rơi xuống, tạo sóng lăn tăn và tan chảy một cách vật lý chính xác.
Bộ lọc thực tế tăng cường (AR) vật lý cho camera điện thoại: Một công nghệ AR trên điện thoại di động cho phép người dùng thêm các đối tượng ảo vào môi trường thực tế thông qua camera, và các đối tượng này tương tác với môi trường theo các quy luật vật lý. Ví dụ, đặt một quả bóng ảo trên bàn và khi người dùng chạm vào màn hình, quả bóng sẽ lăn, va chạm với các vật thể thật và rơi xuống theo trọng lực, với các hiệu ứng ánh sáng và bóng đổ được tính toán vật lý.
Công cụ tạo hiệu ứng hình ảnh chuyên nghiệp cho video di động: Một tính năng trong ứng dụng chỉnh sửa video trên điện thoại cho phép người dùng áp dụng các hiệu ứng vật lý phức tạp lên các cảnh quay video. Ví dụ, người dùng có thể chọn một vật thể trong video và áp dụng hiệu ứng "biến dạng vật liệu" để nó trông như đang tan chảy, uốn cong hoặc vỡ vụn một cách tự nhiên, mà không cần phần mềm chỉnh sửa chuyên nghiệp trên máy tính.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.21778
ArXiv Abstract	https://arxiv.org/abs/2602.21778
PDF Download	https://arxiv.org/pdf/2602.21778.pdf
Github Repository	https://github.com/liangbingzhao/PhysicEdit

13. VecGlypher: Unified Vector Glyph Generation with Language Models (11 votes)

Tác giả: Xiaoke Huang, Bhavul Gauri, Kam Woh Ng, Tony Ng, Mengmeng Xu, Zhiheng Liu, Weiming Ren, Zhaochong An, Zijian Zhou, Haonan Qiu, Yuyin Zhou, Sen He, Ziheng Wang, Tao Xiang, Xiao Han

Xuất bản lúc: 2026-02-25

Tag: Vector Glyph Generation, Language Models, Multimodal LLMs, SVG, Font Design, Deep Learning, Image-to-Vector, Text-to-Vector, Supervised Fine-Tuning, OOD Generalization

I. Main Problem:

Các quy trình tạo glyph vector dựa trên học máy hiện tại phụ thuộc nhiều vào các bảng mẫu được tuyển chọn kỹ lưỡng và xử lý hậu kỳ chuyển đổi từ raster sang vector. Điều này hạn chế khả năng tiếp cận và chỉnh sửa của font chữ. Các phương pháp hiện có chủ yếu là tạo glyph vector dựa trên hình ảnh tham chiếu, yêu cầu người dùng cung cấp hình ảnh glyph mẫu, gây khó khăn cho người dùng không chuyên và trong các chu trình ý tưởng nhanh. Các mô hình ngôn ngữ lớn (LLM) đa năng thất bại trong việc tạo kiểu chữ do các ràng buộc hình học và phong cách nghiêm ngặt. Ngoài ra, vấn đề dữ liệu như sự khan hiếm các cặp văn bản-glyph, các thẻ nhiễu trong kho dữ liệu lớn và hệ tọa độ không nhất quán cũng là những thách thức lớn.

II. Main Idea:

VecGlypher giới thiệu một mô hình ngôn ngữ đa phương thức duy nhất có khả năng tạo glyph vector chất lượng cao trực tiếp từ mô tả văn bản hoặc hình ảnh mẫu. Mô hình tự động tạo ra các token đường dẫn SVG, tránh các bước trung gian raster và tạo ra các đường nét có thể chỉnh sửa, liền mạch chỉ trong một lần duy nhất. Điều này được thực hiện nhờ một công thức dữ liệu và đào tạo nhận biết kiểu chữ: (i) giai đoạn tiếp tục quy mô lớn trên 39K font Envato nhiễu để nắm vững cú pháp SVG và hình học dài hạn, sau đó là (ii) hậu đào tạo trên 2.5K Google Fonts được chú thích bởi chuyên gia với các thẻ mô tả và mẫu để căn chỉnh ngôn ngữ và hình ảnh với hình học. Quá trình tiền xử lý chuẩn hóa khung tọa độ, chuẩn hóa đường dẫn, loại bỏ các font trùng lặp và lượng tử hóa tọa độ để giải mã chuỗi dài ổn định.

III. Main Results:

VecGlypher vượt trội đáng kể so với cả các LLM đa năng và các baseline font vector chuyên biệt trong việc tạo font chỉ từ văn bản. Đối với việc tạo font dựa trên hình ảnh tham chiếu, VecGlypher đạt hiệu suất tiên tiến, với những cải tiến đáng kể so với DeepVecFont-v2 và DualVector. Cụ thể, VecGlypher-70B (tọa độ tuyệt đối) đạt R-ACC 100.4, CD 1.68, DINO 94.28, FID 3.34, tốt hơn đáng kể so với Claude Sonnet 4.5. VecGlypher-27B (tọa độ tuyệt đối) đạt R-ACC 99.12, CD 1.18, DINO 95.82, FID 2.32, vượt trội hơn DeepVecFont-v2 và DualVector. Các nghiên cứu loại bỏ cho thấy quy mô mô hình và công thức đào tạo hai giai đoạn là rất quan trọng, và việc tuần tự hóa tọa độ tuyệt đối mang lại hình học tốt nhất.

IV. Conclusion & Future Works:

VecGlypher đã giảm bớt rào cản trong việc tạo font bằng cách cho phép người dùng thiết kế bằng lời nói hoặc hình ảnh, đồng thời cung cấp một nền tảng có thể mở rộng cho các công cụ thiết kế đa phương thức trong tương lai. Các LLM hiện tại gặp khó khăn trong việc tạo glyph có tính typographically hợp lệ do thiếu các chương trình glyph trong dữ liệu đào tạo. Các mô hình nhỏ vẫn dễ vỡ; cần khoảng 30B tham số để đạt chất lượng ổn định. Hướng nghiên cứu trong tương lai bao gồm việc đưa các bộ dữ liệu chương trình glyph vector lớn, đa dạng với các ràng buộc kiểu chữ vào LLM, cải thiện tokenization vector, giải mã có ràng buộc và bộ điều hợp hình học nhẹ. Ngoài ra, việc mở rộng từ chữ cái Latin sang các hệ thống chữ viết mở rộng hơn (ví dụ: dấu phụ, chữ tượng hình, chữ viết tay) bằng cách sử dụng mã hóa có cấu trúc và chương trình nét vẽ nhận biết quỹ đạo cũng là một hướng đi quan trọng.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về mã hóa vector glyph hiệu quả cho LLM: Phát triển các phương pháp mã hóa vector glyph tiên tiến hơn, có tính ngữ pháp hoặc cấu trúc, để giảm độ phức tạp của chuỗi token và cải thiện hiệu quả học của LLM, đặc biệt cho các hệ thống chữ viết phức tạp như tiếng Việt có dấu, tiếng Nhật, tiếng Ả Rập.
Phát triển hệ thống đánh giá tự động cho chất lượng font vector: Xây dựng một framework đánh giá toàn diện, tự động kết hợp các yếu tố hình học (Chamfer Distance, độ kín), tô-pô (winding consistency, counter stability), tính nhất quán kiểu chữ (style consistency across characters), và khả năng nhận diện (OCR accuracy) để cung cấp phản hồi chi tiết cho các mô hình tạo font.
Mở rộng khả năng tạo glyph cho các hệ thống chữ viết phi Latin: Mở rộng mô hình VecGlypher để hỗ trợ các hệ thống chữ viết khác, đặc biệt là các ngôn ngữ có nhiều dấu phụ (như tiếng Việt), chữ tượng hình (như tiếng Trung Quốc, Nhật Bản), hoặc chữ viết nét liền (cursive writing). Điều này có thể đòi hỏi các phương pháp mã hóa và tập dữ liệu chuyên biệt hơn.

2. Patent:

Ứng dụng "Thiết kế Font chữ bằng giọng nói hoặc hình ảnh" trên điện thoại: Một ứng dụng di động cho phép người dùng mô tả phong cách font chữ mong muốn bằng văn bản hoặc bằng cách chụp ảnh một đoạn văn bản mẫu (ví dụ: chữ viết tay, logo, biển hiệu). VecGlypher sẽ tạo ra một bộ font vector hoàn chỉnh dựa trên input này, có thể tùy chỉnh thêm các ký tự riêng lẻ. Patent sẽ tập trung vào giao diện người dùng trực quan, khả năng xử lý input đa phương thức trên thiết bị di động và quy trình chuyển đổi thành font vector có thể sử dụng ngay.
Hệ thống "Gợi ý và Tối ưu Font thông minh" cho các ứng dụng di động: Tích hợp VecGlypher vào các ứng dụng thiết kế, chỉnh sửa ảnh hoặc tạo nội dung trên điện thoại. Người dùng có thể nhập một đoạn văn bản và một phong cách mong muốn (bằng từ khóa hoặc hình ảnh). Hệ thống sẽ không chỉ tạo ra font mà còn gợi ý các font phù hợp với ngữ cảnh sử dụng (ví dụ: font cho tiêu đề, font cho văn bản dài, font cho logo) và tự động tối ưu các thông số nhỏ để font hiển thị đẹp nhất trên màn hình di động, có thể dựa trên phân tích bố cục hình ảnh hoặc nội dung văn bản.
Công cụ "Chuyển đổi Chữ viết tay thành Font cá nhân" trên điện thoại: Người dùng có thể viết một vài ký tự mẫu bằng ngón tay hoặc bút cảm ứng trên màn hình điện thoại. Công cụ sẽ sử dụng VecGlypher (được tinh chỉnh cho input chữ viết tay) để học phong cách và tạo ra một bộ font vector cá nhân hóa. Font này sau đó có thể được sử dụng trong các ứng dụng nhắn tin, ghi chú hoặc thiết kế trên chính điện thoại, tạo ra một trải nghiệm cá nhân hóa độc đáo. Patent sẽ bao gồm phương pháp thu thập dữ liệu chữ viết tay, quá trình học phong cách và tạo font vector, và tích hợp liền mạch vào hệ điều hành di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.21461
ArXiv Abstract	https://arxiv.org/abs/2602.21461
PDF Download	https://arxiv.org/pdf/2602.21461.pdf
Github Repository	https://github.com/xk-huang/VecGlypher

📰 Summary of Papers​

1. MolHIT: Advancing Molecular-Graph Generation with Hierarchical Discrete Diffusion Models (54 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation (53 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model (52 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. DreamID-Omni: Unified Framework for Controllable Human-Centric Audio-Video Generation (38 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference (37 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Solaris: Building a Multiplayer Video World Model in Minecraft (27 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning (23 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. GUI-Libra: Training Native GUI Agents to Reason and Act with Action-aware Supervision and Partially Verifiable RL (15 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Image Generation with a Sphere Encoder (15 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. MolHIT: Advancing Molecular-Graph Generation with Hierarchical Discrete Diffusion Models (54 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation (53 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model (52 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. DreamID-Omni: Unified Framework for Controllable Human-Centric Audio-Video Generation (38 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference (37 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Solaris: Building a Multiplayer Video World Model in Minecraft (27 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning (23 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. GUI-Libra: Training Native GUI Agents to Reason and Act with Action-aware Supervision and Partially Verifiable RL (15 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Image Generation with a Sphere Encoder (15 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: