Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-03-27

Báo cáo được tạo tự động vào lúc 2026-03-31 10:46:15 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. Intern-S1-Pro: Scientific Multimodal Foundation Model at Trillion Scale (119 votes)​

Tác giả: Yicheng Zou, Dongsheng Zhu, Lin Zhu, Tong Zhu, Yunhua Zhou, Peiheng Zhou, Xinyu Zhou, Dongzhan Zhou, Zhiwang Zhou, Yuhao Zhou, Bowen Zhou, Zhanping Zhong, Zhijie Zhong, Haiteng Zhao, Penghao Zhao, Xiaomeng Zhao, Zhiyuan Zhao, Yechen Zhang, Jin Zhang, Wenwei Zhang, Hongjie Zhang, Zhuo Zhang, Wenlong Zhang, Bo Zhang, Chao Zhang, Chen Zhang, Yuhang Zang, Fei Yuan, Jiakang Yuan, Jiashuo Yu, Jinhui Yin, Haochen Ye, Qian Yao, Bowen Yang, Danni Yang, Kaichen Yang, Ziang Yan, Jun Xu, Yicheng Xu, Wanghan Xu, Xuenan Xu, Chao Xu, Ruiliang Xu, Shuhao Xing, Long Xing, Xinchen Xie, Ling-I Wu, Zijian Wu, Zhenyu Wu, Lijun Wu, Yue Wu, Jianyu Wu, Wen Wu, Fan Wu, Xilin Wei, Qi Wei, Bingli Wang, Rui Wang, Ziyi Wang, Zun Wang, Yi Wang, Haomin Wang, Yizhou Wang, Lintao Wang, Yiheng Wang, Longjiang Wang, Bin Wang, Jian Tong, Zhongbo Tian, Huanze Tang, Chen Tang, Shixiang Tang, Yu Sun, Qiushi Sun, Xuerui Su, Qisheng Su, Chenlin Su, Demin Song, Jin Shi, Fukai Shang, Yuchen Ren, Pengli Ren, Xiaoye Qu, Yuan Qu, Jiantao Qiu, Yu Qiao, Runyu Peng, Tianshuo Peng, Jiahui Peng, Qizhi Pei, Zhuoshi Pan, Linke Ouyang, Wenchang Ning, Yichuan Ma, Zerun Ma, Ningsheng Ma, Runyuan Ma, Chengqi Lyu, Haijun Lv, Han Lv, Lindong Lu, Kuikun Liu, Jiangning Liu, Yuhong Liu, Kai Liu, Hongwei Liu, Zhoumianze Liu, Mengjie Liu, Ziyu Liu, Wenran Liu, Yang Liu, Liwei Liu, Kaiwen Liu, Junyao Lin, Junming Lin, Tianyang Lin, Dahua Lin, Jianze Liang, Linyang Li, Peiji Li, Zonglin Li, Zehao Li, Pengze Li, Guoyan Li, Lingkai Kong, Linglin Jing, Zhenjiang Jin, Feifei Jiang, Qian Jiang, Junhao Huang, Zixian Huang, Haian Huang, Zhouqi Hua, Han Hu, Linfeng Hou, Yinan He, Conghui He, Tianyao He, Xu Guo, Qipeng Guo, Aijia Guo, Yuzhe Gu, Lixin Gu, Jingyang Gong, Qiming Ge, Jiaye Ge, Songyang Gao, Jianfei Gao, Xinyu Fang, Caihua fan, Yue Fan, Yanhui Duan, Zichen Ding, Shengyuan Ding, Xuanlang Dai, Erfei Cui, Ganqu Cui, Pei Chu, Tao Chu, Guangran Cheng, Yu Cheng, Kai Chen, Yongkang Chen, Chiyu Chen, Guanzhou Chen, Qiaosheng Chen, Sitao Chen, Xin Chen, Haojiong Chen, Yicheng Chen, Weihan Cao, Yuhang Cao, Qinglong Cao, Lei Bai

Xuất bản lúc: 2026-03-26

Tag: Multimodal LLM, Foundation Model, AI4S, MoE, Reinforcement Learning, Vision-Language Model, Time Series, Mixed Precision Training

I. Main Problem:​

Việc xây dựng một mô hình nền tảng khoa học hiệu quả đòi hỏi khả năng xử lý sự đa dạng và chuyên biệt khổng lồ của các lĩnh vực khoa học, vốn có “ngôn ngữ” riêng biệt và lượng kiến thức đuôi dài. Các mô hình hiện có thiếu dung lượng để thành thạo nhiều nhiệm vụ khoa học đồng thời duy trì khả năng hiểu văn bản và thị giác tổng quát. Việc mở rộng quy mô mô hình đến hàng nghìn tỷ tham số cũng đặt ra các thách thức về sự ổn định trong huấn luyện (do mất cân bằng tải giữa các chuyên gia trong kiến trúc MoE) và tối ưu hóa các nhúng bộ định tuyến. Ngoài ra, việc tích hợp dữ liệu khoa học có cấu trúc cao với dữ liệu tổng quát có thể dẫn đến lệch phân phối và chuyển giao tiêu cực. Cuối cùng, việc mở rộng học tăng cường (RL) lên các mô hình MoE hàng nghìn tỷ tham số gặp phải các thách thức về bộ nhớ và sự không ổn định khi huấn luyện với độ chính xác thấp (FP8).

II. Main Idea:​

Intern-S1-Pro giới thiệu mô hình nền tảng đa phương thức khoa học đầu tiên có một nghìn tỷ tham số, đóng vai trò như một "chuyên gia tổng quát hóa có thể chuyên biệt hóa" (Specializable Generalist). Mô hình này được phát triển dựa trên khuôn khổ SAGE (Synergistic Architecture for Generalizable Experts), tích hợp huấn luyện chung và chuyên biệt để nâng cao khả năng suy luận, hiểu hình ảnh-văn bản và các khả năng tác nhân tiên tiến. Các ý tưởng chính bao gồm:

  • Kiến trúc MoE quy mô lớn: Sử dụng cơ chế "Grouped Routing" để phân chia các chuyên gia thành các nhóm, đảm bảo cân bằng tải tuyệt đối giữa các thiết bị, từ đó cải thiện sự ổn định và hiệu quả huấn luyện, đồng thời loại bỏ rủi ro hết bộ nhớ (OOM).
  • Tối ưu hóa bộ định tuyến: Áp dụng "Straight-Through Estimator (STE)" để tách biệt quá trình truyền xuôi và ngược của hoạt động định tuyến, cho phép tất cả các chuyên gia nhận được tín hiệu gradient có ý nghĩa, cải thiện cân bằng tải và hội tụ.
  • Mã hóa vị trí nâng cao: Giới thiệu "Fourier Position Encoding (FoPE)" để mô hình hóa từng chiều như một chuỗi Fourier, nắm bắt cả tính chất hạt rời rạc và sóng liên tục của tín hiệu vật lý, giảm thiểu "hư hỏng phổ" và xử lý hiệu quả các thành phần tần số chưa được huấn luyện.
  • Mô-đun chuỗi thời gian chuyên dụng: Phát triển một bộ mã hóa chuỗi thời gian với mô-đun lấy mẫu thích ứng (adaptive subsampling) để xử lý dữ liệu chuỗi thời gian đa dạng (từ 100 đến 10^6 bước thời gian) một cách hiệu quả, bảo toàn các đặc điểm cấu trúc.
  • Quy trình tạo chú thích khoa học chất lượng cao: Xây dựng một quy trình tự động để trích xuất hình ảnh từ tài liệu PDF và tạo ra các chú thích hình ảnh-văn bản khoa học chi tiết, phong phú, giải quyết vấn đề thiếu dữ liệu huấn luyện chất lượng cao.
  • Giải quyết xung đột dữ liệu: Thực hiện "Structured Scientific Data Transformation" để chuyển đổi dữ liệu khoa học có cấu trúc thành văn bản tự sự, "Scientific Data Diversification" thông qua các lời nhắc đa dạng và cơ chế "Rollout" để tạo ra chuỗi suy luận đầy đủ, và "System Prompt Isolation" để tạo môi trường xử lý ngữ cảnh độc lập cho dữ liệu khoa học và tổng quát.
  • Học tăng cường với độ chính xác hỗn hợp ổn định: Áp dụng lượng tử hóa FP8 một cách có mục tiêu cho các lớp tuyến tính chuyên gia, trong khi giữ các thành phần không chuyên gia ở BF16 và đầu LM ở FP32. Đồng thời, giảm thiểu sai lệch độ chính xác giữa các công cụ huấn luyện và suy luận, sử dụng cơ chế "rollout router replay" và sửa đổi hàm mục tiêu REINFORCE với tỷ lệ lấy mẫu quan trọng kép để đảm bảo tính ổn định và hiệu suất.

III. Main Results:​

Intern-S1-Pro là mô hình nền tảng đa phương thức khoa học 1 nghìn tỷ tham số đầu tiên, mang lại sự nâng cấp toàn diện trên cả miền tổng quát và khoa học. Mô hình này thể hiện khả năng suy luận và hiểu hình ảnh-văn bản mạnh mẽ hơn, cùng với các khả năng tác nhân tiên tiến. Nó đã mở rộng chuyên môn khoa học để thành thạo hơn 100 nhiệm vụ chuyên biệt trong các lĩnh vực khoa học quan trọng như hóa học, vật liệu, khoa học đời sống và khoa học trái đất. Mô hình được chứng minh là vượt trội hơn các mô hình chuyên biệt trong một số nhiệm vụ khoa học thông qua việc huấn luyện chung trên các nhiệm vụ tổng quát và cụ thể. Cơ sở hạ tầng mạnh mẽ của XTuner và LMDeploy đã cho phép huấn luyện RL hiệu quả ở cấp độ 1 nghìn tỷ tham số, giảm hiệu suất huấn luyện chỉ khoảng 20% khi mở rộng quy mô lên gấp 4 lần so với Intern-S1. Các cơ chế như Grouped Routing đã đạt được cân bằng tải tuyệt đối giữa các thiết bị, cải thiện đáng kể hiệu quả và sự ổn định của quá trình huấn luyện. Huấn luyện RL với độ chính xác hỗn hợp FP8 đã đạt được hành vi tương đương với huấn luyện BF16, được xác nhận qua độ chính xác và đường cong phân kỳ KL.

IV. Conclusion & Future Works:​

Intern-S1-Pro đã củng cố sự hợp nhất giữa trí tuệ tổng quát và chuyên biệt, khẳng định vị thế của mình trong số các mô hình mã nguồn mở hàng đầu về khả năng tổng quát, đồng thời vượt trội hơn các mô hình độc quyền về chiều sâu của các nhiệm vụ khoa học chuyên biệt. Điều này cho thấy rằng một mô hình tổng quát đủ lớn, khi được huấn luyện kết hợp, có thể đạt được hiệu suất vượt trội ngay cả trong các nhiệm vụ chuyên biệt, thách thức quan niệm rằng các mô hình chuyên biệt luôn tốt hơn cho các nhiệm vụ cụ thể.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các kiến trúc MoE động và phân cấp để tối ưu hóa việc phân bổ tài nguyên và kích hoạt chuyên gia, cho phép mở rộng quy mô hiệu quả hơn nữa trong khi vẫn duy trì sự ổn định và khả năng thích ứng với các miền dữ liệu mới.
  2. Phát triển các phương pháp học tăng cường (RL) mới cho các mô hình đa phương thức quy mô lớn, tập trung vào các chiến lược khám phá hiệu quả và các kỹ thuật chống lại sự suy giảm hiệu suất do lượng tử hóa độ chính xác thấp trong các môi trường khoa học phức tạp.
  3. Khám phá các khung tích hợp tri thức tiên tiến, chẳng hạn như tích hợp đồ thị tri thức hoặc suy luận nhân quả, để kết hợp sâu hơn dữ liệu khoa học có cấu trúc với kiến thức tổng quát, nhằm nâng cao khả năng khám phá khoa học và suy luận đa bước của mô hình.

2. Patent:​

  1. Trợ lý phân tích hình ảnh khoa học trên di động: Một ứng dụng di động cho phép người dùng chụp ảnh các biểu đồ, công thức hóa học, hoặc hình ảnh khoa học khác từ sách giáo khoa, bài báo. Hệ thống sẽ tự động nhận diện các yếu tố trong ảnh, giải thích nội dung khoa học một cách chi tiết và dễ hiểu, đồng thời cung cấp các thông tin liên quan từ cơ sở dữ liệu khoa học. Ví dụ, chụp ảnh một cấu trúc phân tử và nhận được tên gọi, tính chất, và các phản ứng liên quan.
  2. Hệ thống giám sát sức khỏe chuỗi thời gian thích ứng: Một hệ thống trên điện thoại di động hoặc thiết bị đeo tay có khả năng phân tích dữ liệu cảm biến sinh trắc học liên tục (nhịp tim, huyết áp, hoạt động não) để phát hiện các mẫu bất thường hoặc dự đoán nguy cơ sức khỏe. Hệ thống này sử dụng công nghệ xử lý chuỗi thời gian thích ứng để điều chỉnh việc thu thập và phân tích dữ liệu dựa trên tốc độ và độ dài tín hiệu thay đổi, cung cấp cảnh báo cá nhân hóa và các khuyến nghị sức khỏe.
  3. Trợ lý phòng thí nghiệm thông minh với tương tác giọng nói và hình ảnh: Một trợ lý phòng thí nghiệm ảo trên điện thoại di động cho phép các nhà khoa học tương tác bằng giọng nói và hình ảnh. Người dùng có thể hỏi về các quy trình thí nghiệm, chụp ảnh hóa chất hoặc thiết bị để nhận diện và thông tin an toàn, hoặc thậm chí yêu cầu hệ thống lập kế hoạch các bước thí nghiệm dựa trên mục tiêu khoa học. Hệ thống sẽ sử dụng khả năng hiểu ngôn ngữ tự nhiên và thị giác máy tính để cung cấp hỗ trợ chuyên sâu, giảm thiểu lỗi và tăng hiệu quả nghiên cứu.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.25040
ArXiv Abstracthttps://arxiv.org/abs/2603.25040
PDF Downloadhttps://arxiv.org/pdf/2603.25040.pdf
Github RepositoryN/A

2. PixelSmile: Toward Fine-Grained Facial Expression Editing (114 votes)​

Tác giả: Jiabin Hua, Hengyuan Xu, Aojie Li, Wei Cheng, Gang Yu, Xingjun Ma, Yu-Gang Jiang

Xuất bản lúc: 2026-03-26

Tag: Diffusion Models, Facial Expression, Image Editing, Deep Learning, Computer Vision, Generative Models, Contrastive Learning

I. Main Problem:​

Việc chỉnh sửa biểu cảm khuôn mặt chi tiết (fine-grained) từ lâu đã bị hạn chế bởi sự chồng chéo ngữ nghĩa nội tại giữa các biểu cảm. Các mô hình hiện tại gặp khó khăn trong việc phân biệt các cặp biểu cảm có mối tương quan cao và chồng chéo về ngữ nghĩa (ví dụ: sợ hãi và ngạc nhiên, giận dữ và ghê tởm). Hầu hết các phương pháp hiện có dựa vào các danh mục biểu cảm rời rạc, buộc các biểu cảm vốn liên tục của con người vào các ranh giới cứng nhắc, dẫn đến sự nhầm lẫn cấu trúc giữa các danh mục, khả năng kiểm soát cường độ biểu cảm hạn chế và suy giảm tính nhất quán của danh tính trong quá trình chỉnh sửa. Các bộ dữ liệu thông thường cũng sử dụng nhãn một-điểm (one-hot labels) không thể nắm bắt được cấu trúc sắc thái của cảm xúc con người, gây ra sự vướng víu ngữ nghĩa trong pipeline tạo sinh.

II. Main Idea:​

Để giải quyết vấn đề này, nhóm nghiên cứu đã xây dựng tập dữ liệu Flex Facial Expression (FFE) với các chú thích cảm xúc liên tục (12 chiều) và thiết lập FFE-Bench để đánh giá sự nhầm lẫn cấu trúc, độ chính xác chỉnh sửa, khả năng kiểm soát tuyến tính và sự đánh đổi giữa chỉnh sửa biểu cảm và bảo toàn danh tính. Họ đề xuất PixelSmile, một framework dựa trên mô hình khuếch tán, giúp tách rời ngữ nghĩa biểu cảm thông qua cơ chế huấn luyện đối xứng hoàn toàn. PixelSmile kết hợp giám sát cường độ với học tương phản để tạo ra các biểu cảm mạnh mẽ và dễ phân biệt hơn, đạt được khả năng kiểm soát biểu cảm tuyến tính chính xác và ổn định thông qua nội suy không gian ẩn văn bản (textual latent interpolation) dựa trên khớp dòng (flow-matching).

III. Main Results:​

PixelSmile đạt được sự tách rời vượt trội (superior disentanglement) và bảo toàn danh tính mạnh mẽ, xác nhận hiệu quả của nó trong việc chỉnh sửa biểu cảm liên tục, có thể kiểm soát và chi tiết, đồng thời hỗ trợ pha trộn biểu cảm một cách tự nhiên. Cụ thể:

  • Đạt tỷ lệ nhầm lẫn cấu trúc (mSCR) thấp nhất là 0.0550, vượt trội đáng kể so với các mô hình khác (ví dụ: GPT-Image 0.1107, Nano Banana Pro 0.1754).
  • Đạt độ chính xác chỉnh sửa cao nhất (0.8627) cho sáu biểu cảm cơ bản và nằm trong số các mô hình hoạt động tốt nhất cho mười hai biểu cảm mở rộng.
  • Trong các thử nghiệm về kiểm soát tuyến tính, PixelSmile đạt kết quả tốt nhất trên tất cả các tiêu chí (CLS-6 0.8078, CLS-12 0.7305 và HES 0.4723).
  • Duy trì sự tương đồng danh tính trong phạm vi tự nhiên (0.6–0.7) trong khi tạo ra các biểu cảm mạnh mẽ, cân bằng hiệu quả giữa sức mạnh biểu cảm và bảo toàn danh tính.

IV. Conclusion & Future Works:​

PixelSmile thành công trong việc giải quyết vấn đề chồng chéo ngữ nghĩa nội tại trong chỉnh sửa biểu cảm khuôn mặt chi tiết bằng cách sử dụng tập dữ liệu FFE với chú thích cảm xúc liên tục và framework khuếch tán với huấn luyện đối xứng hoàn toàn và nội suy không gian ẩn văn bản. Phương pháp này mang lại khả năng kiểm soát liên tục, chính xác và bảo toàn danh tính hiệu quả, đồng thời hỗ trợ pha trộn biểu cảm mượt mà. Kết quả cho thấy sự tách rời ngữ nghĩa vượt trội và khả năng kiểm soát tuyến tính ổn định. Trong tương lai, có thể mở rộng nghiên cứu để khám phá các phương pháp hiệu quả hơn cho việc chỉnh sửa biểu cảm trong các ngữ cảnh phức tạp hơn hoặc tích hợp với các dạng dữ liệu khác như video để đảm bảo tính nhất quán theo thời gian.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng việc chỉnh sửa biểu cảm khuôn mặt chi tiết lên các chuỗi video hoặc mô hình khuôn mặt 3D, đảm bảo tính nhất quán về thời gian và chuyển động thực tế cho các ứng dụng đa phương tiện.
  2. Khảo sát các mô hình khuếch tán nhẹ hoặc kiến trúc thay thế để đạt được khả năng chỉnh sửa biểu cảm chi tiết theo thời gian thực trên các thiết bị biên (edge devices) như điện thoại di động.
  3. Tích hợp các tín hiệu điều khiển đa phương thức ngoài văn bản, ví dụ như âm thanh (cảm xúc giọng nói) hoặc dữ liệu cảm biến sinh trắc học, để điều khiển biểu cảm phong phú và sắc thái hơn.

2. Patent:​

  1. Một tính năng trong ứng dụng di động cho phép người dùng điều chỉnh tinh tế biểu cảm khuôn mặt của họ trong thời gian thực trong các cuộc gọi video hoặc khi chụp ảnh tự sướng. Ví dụ, người dùng có thể làm cho nụ cười của mình rộng hơn một chút hoặc trông ngạc nhiên hơn, ngay cả khi biểu cảm tự nhiên của họ rất tinh tế, đảm bảo họ luôn truyền tải cảm xúc mong muốn trong ảnh hoặc tương tác trực tiếp mà vẫn giữ được đặc điểm nhận dạng cá nhân.
  2. Một hệ thống trên điện thoại di động cho phép người dùng tạo các hình đại diện kỹ thuật số (avatars) hoặc biểu tượng cảm xúc cá nhân hóa với khả năng biểu cảm cao. Người dùng có thể kiểm soát chính xác cường độ của các cảm xúc khác nhau (ví dụ: một vẻ mặt hơi bối rối, một nụ cười rất tự tin) trên hình đại diện của họ, kết hợp các biểu cảm khác nhau, dẫn đến các đại diện kỹ thuật số thực tế và cá nhân hóa hơn.
  3. Một công cụ chỉnh sửa ảnh di động cho phép người dùng điều chỉnh biểu cảm khuôn mặt trong các bức ảnh có sẵn với khả năng kiểm soát chi tiết. Thay vì chỉ áp dụng bộ lọc "vui vẻ", người dùng có thể tăng hoặc giảm cường độ hạnh phúc, hoặc thậm chí pha một chút ngạc nhiên vào nụ cười, làm cho ảnh trên mạng xã hội của họ trở nên hấp dẫn và có sắc thái cảm xúc hơn, đồng thời vẫn bảo toàn danh tính của họ.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.25728
ArXiv Abstracthttps://arxiv.org/abs/2603.25728
PDF Downloadhttps://arxiv.org/pdf/2603.25728.pdf
Github Repositoryhttps://github.com/Ammmob/PixelSmile

3. Calibri: Enhancing Diffusion Transformers via Parameter-Efficient Calibration (60 votes)​

Tác giả: Danil Tokhchukov, Aysel Mirzoeva, Andrey Kuznetsov, Konstantin Sobolev

Xuất bản lúc: 2026-03-25

Tag: Diffusion Models, Transformers, Generative AI, Parameter-Efficient Learning, Black-box Optimization, Evolutionary Algorithms, Image Generation, Text-to-Image

I. Main Problem:​

Các mô hình Diffusion Transformer (DiTs) hiện tại được cấu hình với trọng số chưa tối ưu, dẫn đến việc đóng góp không đồng đều của các khối kiến trúc và đôi khi còn gây ra các tạo tác không mong muốn, làm giảm chất lượng hình ảnh được tạo. Các phương pháp căn chỉnh mô hình tạo sinh hiện có thường yêu cầu tinh chỉnh toàn bộ mô hình, gây tốn kém về mặt tính toán và không hiệu quả về tham số.

II. Main Idea:​

Nghiên cứu này đề xuất Calibri, một phương pháp hiệu quả về tham số để hiệu chỉnh các thành phần của DiT nhằm nâng cao chất lượng tạo sinh. Calibri dựa trên phân tích chuyên sâu quá trình khử nhiễu, phát hiện rằng việc đưa vào một tham số tỷ lệ học được duy nhất có thể cải thiện đáng kể hiệu suất của các khối DiT. Calibri định hình quá trình hiệu chỉnh DiT như một bài toán tối ưu hóa phần thưởng hộp đen, được giải quyết hiệu quả bằng thuật toán tiến hóa (CMA-ES) và chỉ sửa đổi khoảng 10^2 tham số. Phương pháp này cung cấp ba mức độ chi tiết cho việc hiệu chỉnh: theo khối (Block Scaling), theo lớp (Layer Scaling) và theo cổng (Gate Scaling). Ngoài ra, Calibri Ensemble được giới thiệu để kết hợp nhiều mô hình đã được hiệu chỉnh nhằm tăng cường hiệu suất tạo sinh và giảm số bước suy luận cần thiết.

III. Main Results:​

Calibri liên tục cải thiện hiệu suất trên nhiều mô hình chuyển văn bản thành hình ảnh tiên tiến khác nhau (FLUX.1-dev, Stable Diffusion 3.5 Medium, Qwen-Image). Đáng chú ý, Calibri giảm đáng kể số bước suy luận cần thiết để tạo ảnh (ví dụ, từ 30 xuống 15 cho Flux, 80 xuống 30 cho SD-3.5M, 100 xuống 30 cho Qwen-Image), đồng thời duy trì chất lượng đầu ra cao. Các thử nghiệm định lượng và định tính, bao gồm đánh giá của con người, xác nhận chất lượng hình ảnh vượt trội và sự ưu tiên của người dùng đối với các hình ảnh được tạo bởi Calibri. Calibri cũng có thể kết hợp hiệu quả với các phương pháp căn chỉnh hiện có như Flow-GRPO, đạt được hiệu suất tương đương hoặc tốt hơn trong khi chỉ cập nhật ít hơn 10^5 tham số so với các phương pháp tinh chỉnh toàn bộ mô hình. Chi phí hiệu chỉnh thấp (32 đến 356 giờ GPU H100) và là chi phí một lần, mang lại lợi ích tăng tốc vĩnh viễn trong quá trình suy luận.

IV. Conclusion & Future Works:​

Calibri là một phương pháp mới, hiệu quả về tham số để tăng cường khả năng tạo sinh của Diffusion Transformers. Bằng cách tối ưu hóa một tập hợp tham số tối thiểu (~10^2), nó mang lại những cải tiến đáng kể về chất lượng tạo sinh và giảm chi phí tính toán, bao gồm giảm số bước suy luận cần thiết. Điều này làm cho Calibri trở thành một giải pháp thiết thực cho các ứng dụng thực tế, nơi hiệu quả tính toán là rất quan trọng. Mặc dù không nêu rõ các hướng nghiên cứu trong tương lai, công trình này mở ra tiềm năng cho việc khám phá sâu hơn các kỹ thuật hiệu chỉnh hiệu quả về tham số trong các mô hình tạo sinh lớn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các phương pháp hiệu chỉnh động (Dynamic/Adaptive Calibration) cho Diffusion Transformers, nơi các tham số hiệu chỉnh được điều chỉnh tự động trong quá trình suy luận dựa trên ngữ cảnh đầu vào hoặc phản hồi thời gian thực, thay vì một tập hợp cố định.
  2. Mở rộng khung Calibri sang các nhiệm vụ tạo sinh phức tạp khác ngoài chuyển văn bản thành hình ảnh, chẳng hạn như tạo video, tổng hợp 3D hoặc tạo sinh đa phương thức, phân tích cách các tham số hiệu chỉnh tác động đến các bối cảnh không gian-thời gian hoặc thể tích.
  3. Phát triển các chiến lược tối ưu hóa nâng cao hơn, ví dụ như dựa trên meta-learning hoặc học tăng cường, để tự động khám phá các mức độ chi tiết và không gian tìm kiếm tham số hiệu chỉnh tối ưu, giảm sự phụ thuộc vào các quyết định thiết kế thủ công (như Block, Layer, hay Gate Scaling).

2. Patent:​

  1. Hệ thống Tăng tốc Tạo ảnh AI trên Điện thoại Thông minh: Một hệ thống phần mềm tích hợp vào các ứng dụng tạo ảnh AI trên điện thoại di động, sử dụng công nghệ hiệu chỉnh tham số cực kỳ hiệu quả (chỉ khoảng 100 tham số) để tăng tốc độ tạo ảnh từ văn bản. Điều này cho phép người dùng tạo ra hình ảnh chất lượng cao ngay trên thiết bị di động một cách nhanh chóng, tiết kiệm pin và tài nguyên xử lý, mang lại trải nghiệm người dùng mượt mà hơn cho các ứng dụng như tạo hình đại diện, thiết kế hình ảnh nhanh hoặc minh họa câu chuyện.
  2. Ứng dụng Chỉnh sửa Ảnh Thông minh với Hiệu chỉnh Lớp: Một ứng dụng chỉnh sửa ảnh trên điện thoại di động cho phép người dùng cải thiện hoặc thay đổi phong cách ảnh hiện có bằng cách áp dụng các "bộ lọc hiệu chỉnh" dựa trên phương pháp Calibri. Thay vì chỉnh sửa thủ công, ứng dụng sẽ tự động điều chỉnh đóng góp của các lớp xử lý ảnh bên trong mô hình AI để đạt được hiệu ứng mong muốn (ví dụ: tăng độ nét, cải thiện màu sắc, hoặc áp dụng phong cách nghệ thuật) với độ chính xác cao và ít tài nguyên điện thoại, giúp người dùng dễ dàng tạo ra những bức ảnh đẹp hơn chỉ với một chạm.
  3. Công nghệ Tối ưu hóa Mô hình AI cho Thiết bị Di động: Một công nghệ cho phép các nhà phát triển ứng dụng AI trên điện thoại di động "hiệu chỉnh" các mô hình học sâu của họ (đặc biệt là các mô hình dựa trên Transformer) để đạt được hiệu suất tốt hơn với ít bước tính toán hơn. Công nghệ này sẽ giúp các ứng dụng AI chạy mượt mà hơn, phản hồi nhanh hơn và tiêu thụ ít năng lượng hơn trên các thiết bị di động, đặc biệt hữu ích cho các tác vụ như nhận diện vật thể thời gian thực, dịch thuật trực tiếp hoặc tạo nội dung tương tác, kéo dài tuổi thọ pin và nâng cao trải nghiệm tổng thể.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.24800
ArXiv Abstracthttps://arxiv.org/abs/2603.24800
PDF Downloadhttps://arxiv.org/pdf/2603.24800.pdf
Github Repositoryhttps://github.com/v-gen-ai/Calibri

4. RealRestorer: Towards Generalizable Real-World Image Restoration with Large-Scale Image Editing Models (50 votes)​

Tác giả: Yufeng Yang, Xianfang Zeng, Zhangqi Jiang, Fukun Yin, Jianzhuang Liu, Wei Cheng, jinghong lan, Shiyu Liu, Yuqi Peng, Gang YU, Shifeng Chen

Xuất bản lúc: 2026-03-26

Tag: Image Restoration, Diffusion Models, Large-Scale Models, Real-World Data, Benchmarking, Deep Learning, Computer Vision

I. Main Problem:​

Các mô hình khôi phục hình ảnh hiện có (đơn suy thoái và tất cả trong một) bị giới hạn bởi quy mô và phân bố dữ liệu huấn luyện, dẫn đến khả năng tổng quát hóa kém đối với các suy thoái đa dạng, phức tạp trong thế giới thực. Các mô hình chỉnh sửa hình ảnh lớn, mã nguồn đóng (như Nano Banana Pro) tuy có khả năng tổng quát hóa mạnh mẽ nhưng lại tốn kém và khó tái tạo. Ngoài ra, các bộ dữ liệu và giao thức đánh giá truyền thống không phản ánh đúng điều kiện thực tế, gây khó khăn cho việc đánh giá hiệu suất.

II. Main Idea:​

Để giải quyết những vấn đề này, nghiên cứu đề xuất: 1. Xây dựng một bộ dữ liệu quy mô lớn bao gồm chín loại suy thoái phổ biến trong thế giới thực. 2. Huấn luyện một mô hình mã nguồn mở tiên tiến có tên RealRestorer bằng cách tinh chỉnh một mô hình chỉnh sửa hình ảnh lớn hiện có, nhằm thu hẹp khoảng cách với các lựa chọn mã nguồn đóng. 3. Giới thiệu RealIR-Bench, một bộ tiêu chuẩn mới chứa 464 hình ảnh bị suy thoái trong thế giới thực và các chỉ số đánh giá tùy chỉnh tập trung vào cả khả năng loại bỏ suy thoái và bảo toàn tính nhất quán của nội dung. Mô hình RealRestorer được huấn luyện qua hai giai đoạn: giai đoạn chuyển giao kiến thức trên dữ liệu tổng hợp và giai đoạn tinh chỉnh có giám sát trên dữ liệu thực tế, sử dụng chiến lược huấn luyện hỗn hợp dần dần để tối ưu hóa hiệu suất và khả năng tổng quát hóa.

III. Main Results:​

RealRestorer đạt hiệu suất dẫn đầu trong số các phương pháp mã nguồn mở và ngang bằng với các hệ thống mã nguồn đóng hàng đầu. Trên bộ tiêu chuẩn RealIR-Bench, RealRestorer đứng thứ nhất trong số các mô hình mã nguồn mở và thứ ba tổng thể, thu hẹp khoảng cách với Nano Banana Pro (vị trí thứ nhất) xuống chỉ 0.007 điểm. Mô hình đạt hiệu suất tốt nhất trong các tác vụ khử mờ và tăng cường ánh sáng yếu, đồng thời đứng thứ hai trong tác vụ loại bỏ moiré. RealRestorer cho thấy khả năng tổng quát hóa mạnh mẽ đối với các tác vụ khôi phục chưa từng thấy (ví dụ: loại bỏ tuyết, khôi phục ảnh cũ). Các chỉ số đánh giá của RealIR-Bench có sự tương quan vừa phải với đánh giá của con người (p < 0.01).

IV. Conclusion & Future Works:​

RealRestorer là một mô hình chỉnh sửa hình ảnh mã nguồn mở mạnh mẽ, được thiết kế để khôi phục hình ảnh phức tạp trong thế giới thực. Công trình này giới thiệu một quy trình tạo dữ liệu toàn diện và chiến lược huấn luyện hỗn hợp hai giai đoạn, kết hợp dữ liệu tổng hợp và các cặp ảnh thực-sạch để thu hẹp khoảng cách miền giữa dữ liệu tổng hợp và thực tế. Ngoài ra, RealIR-Bench, một bộ tiêu chuẩn không tham chiếu với hình ảnh bị suy thoái thực tế và khung đánh giá dựa trên VLM, đã được phát triển. Các thử nghiệm rộng rãi cho thấy RealRestorer đạt hiệu suất tiên tiến trong chín tác vụ khôi phục, cạnh tranh với các hệ thống thương mại mã nguồn đóng hàng đầu và thể hiện khả năng tổng quát hóa mạnh mẽ đối với các suy thoái chưa từng thấy. Trong tương lai, các hướng nghiên cứu có thể bao gồm: giảm chi phí tính toán cao của mô hình, cải thiện khả năng xử lý các trường hợp mơ hồ về ngữ nghĩa và vật lý (như ảnh selfie gương), và nâng cao hiệu suất với các suy thoái cực kỳ nghiêm trọng khi thiếu bằng chứng pixel đáng tin cậy. Mô hình, quy trình tổng hợp dữ liệu và bộ tiêu chuẩn sẽ được phát hành để hỗ trợ nghiên cứu trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các kiến trúc mô hình hiệu quả hơn hoặc phương pháp rút gọn (pruning, quantization) để giảm số bước khử nhiễu (denoising steps) mà vẫn duy trì chất lượng khôi phục, làm cho RealRestorer hoặc các mô hình tương tự khả thi hơn trên các thiết bị có tài nguyên hạn chế.
  2. Phát triển các kỹ thuật mới cho phép mô hình hiểu sâu hơn về ngữ cảnh và cấu trúc vật lý của cảnh, đặc biệt trong các trường hợp phức tạp như ảnh selfie gương hoặc phản chiếu nước, để phân biệt chính xác giữa nội dung mong muốn và các yếu tố gây nhiễu.
  3. Tập trung vào các phương pháp nội suy thông minh hoặc tạo sinh dựa trên ngữ cảnh khi thông tin pixel bị mất đáng kể, có thể bằng cách kết hợp các priors mạnh mẽ hơn từ các mô hình ngôn ngữ-thị giác hoặc học tập không giám sát từ một lượng lớn dữ liệu không bị suy thoái.

2. Patent:​

  1. Một ứng dụng hoặc tính năng tích hợp trên điện thoại thông minh sử dụng một phiên bản tối ưu hóa của RealRestorer để tự động phát hiện và khôi phục các suy thoái phổ biến trong ảnh (như mờ, nhiễu, thiếu sáng, phản chiếu) ngay sau khi chụp hoặc khi người dùng xem ảnh trong thư viện, với khả năng điều chỉnh cường độ khôi phục thông qua giao diện người dùng đơn giản.
  2. Một công nghệ phần cứng và phần mềm cho phép điện thoại thông minh sử dụng cảm biến ánh sáng và môi trường để dự đoán các loại suy thoái có thể xảy ra (ví dụ: ánh sáng yếu, chói sáng) và áp dụng các thuật toán khôi phục được đào tạo trước (dựa trên RealRestorer) trong thời gian thực, ngay cả trước khi ảnh được lưu, để cải thiện chất lượng hình ảnh cuối cùng mà không cần người dùng can thiệp.
  3. Một tính năng chỉnh sửa ảnh trên điện thoại cho phép người dùng "huấn luyện" một mô hình nhỏ dựa trên RealRestorer bằng cách cung cấp các cặp ảnh "trước và sau" do chính họ chụp và chỉnh sửa. Mô hình này sau đó có thể học phong cách khôi phục cá nhân của người dùng và áp dụng nó một cách nhất quán cho các ảnh mới bị suy thoái trong tương lai, giúp tạo ra các bộ lọc khôi phục độc đáo và phù hợp với sở thích của từng người.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.25502
ArXiv Abstracthttps://arxiv.org/abs/2603.25502
PDF Downloadhttps://arxiv.org/pdf/2603.25502.pdf
Github Repositoryhttps://github.com/yfyang007/RealRestorer

5. Voxtral TTS (49 votes)​

Tác giả: Alexander H. Liu, Alexis Tacnet, Andy Ehrenberg, Andy Lo, Chen-Yo Sun, Guillaume Lample, Henry Lagarde, Jean-Malo Delignon, Jaeyoung Kim, John Harvill, Khyathi Raghavi Chandu, Lorenzo Signoretti, Margaret Jennings, Patrick von Platen, Pavankumar Reddy Muddireddy, Rohin Arora, Sanchit Gandhi, Samuel Humeau, Soham Ghosh, Srijan Mishra, Van Phung, Abdelaziz Bounhar, Abhinav Rastogi, Adrien Sadé, Alan Jeffares, Albert Jiang, Alexandre Cahill, Alexandre Gavaudan, Alexandre Sablayrolles, Amélie Héliou, Amos You, Andrew Bai, Andrew Zhao, Angele Lenglemetz, Anmol Agarwal, Anton Eliseev, Antonia Calvi, Arjun Majumdar, Arthur Fournier, Artjom Joosen, Avi Sooriyarachchi, Aysenur Karaduman Utkur, Baptiste Bout, Baptiste Rozière, Baudouin De Monicault, Benjamin Tibi, Bowen Yang, Charlotte Cronjäger, Clémence Lanfranchi, Connor Chen, Corentin Barreau, Corentin Sautier, Cyprien Courtot, Darius Dabert, Diego de las Casas, Elizaveta Demyanenko, Elliot Chane-Sane, Emmanuel Gottlob, Enguerrand Paquin, Etienne Goffinet, Fabien Niel, Faruk Ahmed, Federico Baldassarre, Gabrielle Berrada, Gaëtan Ecrepont, Gauthier Guinet, Genevieve Hayes, Georgii Novikov, Giada Pistilli, Guillaume Kunsch, Guillaume Martin, Guillaume Raille, Gunjan Dhanuka, Gunshi Gupta, Han Zhou, Harshil Shah, Hope McGovern, Hugo Thimonier, Indraneel Mukherjee, Irene Zhang, Jacques Sun, Jan Ludziejewski, Jason Rute, Jérémie Dentan, Joachim Studnia, Jonas Amar, Joséphine Delas, Josselin Somerville Roberts, Julien Tauran, Karmesh Yadav, Kartik Khandelwal, Kilian Tep, Kush Jain, Laurence Aitchison, Laurent Fainsin, Léonard Blier, Lingxiao Zhao, Louis Martin, Lucile Saulnier, Luyu Gao, Maarten Buyl, Manan Sharma, Marie Pellat, Mark Prins, Martin Alexandre, Mathieu Poirée, Mathieu Schmitt, Mathilde Guillaumin, Matthieu Dinot, Matthieu Futeral, Maxime Darrin, Maximilian Augustin, Mert Unsal, Mia Chiquier, Mikhail Biriuchinskii, Minh-Quang Pham, Mircea Lica, Morgane Rivière, Nathan Grinsztajn, Neha Gupta, Olivier Bousquet, Olivier Duchenne, Patricia Wang, Paul Jacob, Paul Wambergue, Paula Kurylowicz, Philippe Pinel, Philomène Chagniot, Pierre Stock, Piotr Miłoś, Prateek Gupta, Pravesh Agrawal, Quentin Torroba, Ram Ramrakhya, Randall Isenhour, Rishi Shah, Romain Sauvestre, Roman Soletskyi, Rosalie Millner, Rupert Menneer, Sagar Vaze, Samuel Barry, Samuel Belkadi, Sandeep Subramanian, Sean Cha, Shashwat Verma, Siddhant Waghjale, Siddharth Gandhi, Simon Lepage, Sumukh Aithal, Szymon Antoniak, Tarun Kumar Vangani, Teven Le Scao, Théo Cachet, Theo Simon Sorg, Thibaut Lavril, Thomas Chabal, Thomas Foubert, Thomas Robert, Thomas Wang, Tim Lawson, Tom Bewley, Tom Edwards, Tyler Wang, Umar Jamil, Umberto Tomasini, Valeriia Nemychnikova, Vedant Nanda, Victor Jouault, Vincent Maladière, Vincent Pfister, Virgile Richard, Vladislav Bataev, Wassim Bouaziz, Wen-Ding Li, William Havard, William Marshall, Xinghui Li, Xingran Guo, Xinyu Yang, Yannic Neuhaus, Yassine El Ouahidi, Yassir Bendou, Yihan Wang, Yimu Pan, Zaccharie Ramzi, Zhenlin Xu

Xuất bản lúc: 2026-03-26

Tag: TTS, Voice Cloning, Zero-shot learning, Speech Synthesis, Deep Learning, Generative Models, Codecs, Flow Matching, DPO

I. Main Problem:​

Các mô hình chuyển văn bản thành giọng nói (TTS) hiện tại gặp thách thức trong việc tạo ra giọng nói tự nhiên và biểu cảm, đặc biệt trong bối cảnh nhân bản giọng nói zero-shot (chỉ với một mẫu giọng nói ngắn). Cụ thể, việc nắm bắt các sắc thái và biểu cảm tinh tế của giọng nói con người vẫn là một vấn đề mở. Ngoài ra, việc tạo ra thành phần âm thanh (acoustic component) một cách tự hồi quy (auto-regressive) có thể không phải là phương pháp hiệu quả nhất, đặt ra câu hỏi liệu một mô hình liên tục có điều kiện có thể tạo ra chi tiết âm thanh phong phú hơn hay không.

II. Main Idea:​

Voxtral TTS giới thiệu một kiến trúc lai (hybrid architecture) độc đáo kết hợp việc tạo token ngữ nghĩa (semantic speech tokens) tự hồi quy với kỹ thuật khớp luồng (flow-matching) để tạo token âm thanh (acoustic tokens). Mô hình sử dụng Voxtral Codec, một bộ mã hóa giọng nói được đào tạo từ đầu với sơ đồ lượng tử hóa lai VQ-FSQ. Trong đó, một transformer chỉ bộ giải mã (decoder-only transformer) dự đoán chuỗi token ngữ nghĩa, còn một mô hình flow-matching nhẹ dự đoán các token âm thanh dựa trên trạng thái của bộ giải mã. Thiết kế này tận dụng điểm mạnh của mô hình tự hồi quy cho tính nhất quán dài hạn và khớp luồng liên tục cho chi tiết âm thanh phong phú. Để tối ưu hóa, Voxtral TTS áp dụng Direct Preference Optimization (DPO) cho cài đặt lai rời rạc-liên tục này, kết hợp mục tiêu ưu tiên tiêu chuẩn cho việc tạo token ngữ nghĩa với mục tiêu ưu tiên dựa trên luồng cho dự đoán âm thanh. Voxtral Codec được thiết kế như một bộ mã hóa tự động chuyển đổi-tích chập (convolutional–transformer autoencoder) với các cải tiến về kiến trúc và mục tiêu đào tạo, bao gồm mất mát chưng cất ASR (ASR distillation loss) từ mô hình Whisper và đào tạo đối kháng.

III. Main Results:​

Voxtral TTS đạt được kết quả vượt trội trong các đánh giá của con người và tự động. Trong các bài kiểm tra nhân bản giọng nói đa ngôn ngữ, Voxtral TTS được người bản ngữ ưu tiên hơn ElevenLabs Flash v2.5 với tỷ lệ thắng 68.4% nhờ tính tự nhiên và biểu cảm vượt trội. Đối với các giọng nói flagship, mô hình đạt tỷ lệ thắng 58.3%. Voxtral TTS hỗ trợ 9 ngôn ngữ, có thể hoạt động với các mẫu giọng nói tham chiếu chỉ từ 3 giây và được thiết kế để suy luận với độ trễ thấp. Trong các đánh giá tự động trên SEED-TTS và MiniMax-TTS, Voxtral TTS thể hiện độ rõ ràng và tự nhiên cao, vượt trội hơn ElevenLabs v3 về điểm tương đồng giọng nói. Voxtral Codec cũng vượt trội hơn Mimi (cấu hình 16cb) trên tất cả các chỉ số khách quan ở tốc độ bit tương đương. Việc áp dụng DPO đã cải thiện đáng kể tỷ lệ lỗi từ (WER) và điểm UTMOS-v2 trên hầu hết các ngôn ngữ, đặc biệt là tiếng Đức và tiếng Pháp. Phương pháp flow-matching để tạo token âm thanh được chứng minh là vượt trội về chất lượng, tính toán và độ trễ so với các kiến trúc thay thế như MaskGIT và Depth Transformer.

IV. Conclusion & Future Works:​

Voxtral TTS là một bước tiến quan trọng trong lĩnh vực chuyển văn bản thành giọng nói đa ngôn ngữ, biểu cảm, đặc biệt hiệu quả trong bối cảnh nhân bản giọng nói zero-shot. Kiến trúc lai kết hợp tự hồi quy và khớp luồng, cùng với việc sử dụng Voxtral Codec và tối ưu hóa bằng DPO, đã mang lại chất lượng giọng nói cao và khả năng thích ứng. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc cải thiện khả năng điều khiển cảm xúc của mô hình, đặc biệt là khi các cảm xúc được ngụ ý trong văn bản chứ không phải được chỉ định rõ ràng. Cần tiếp tục tối ưu hóa các tham số suy luận như CFG α để đạt được sự cân bằng tốt nhất giữa việc tuân thủ giọng nói tham chiếu và biểu cảm cảm xúc, đặc biệt đối với các bản ghi âm không chuyên nghiệp (in-the-wild). Ngoài ra, việc phát triển các chiến lược đào tạo DPO hiệu quả hơn để tránh hiện tượng giọng nói 'robot' khi đào tạo trên dữ liệu tổng hợp dài hơn cũng là một lĩnh vực tiềm năng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các phương pháp điều khiển cảm xúc nâng cao trong hệ thống TTS zero-shot, tập trung vào việc tạo ra biểu cảm tự nhiên và phù hợp từ các gợi ý văn bản ngầm định mà không cần chỉ dẫn cảm xúc rõ ràng.
  2. Khám phá kiến trúc codec giọng nói mới để cải thiện khả năng tái tạo âm thanh và tối ưu hóa tốc độ bit, đặc biệt cho các ứng dụng TTS đa ngôn ngữ và voice cloning với các loại dữ liệu âm thanh đa dạng (ví dụ: bản ghi âm chất lượng thấp).
  3. Phát triển kỹ thuật tối ưu hóa sau đào tạo (post-training optimization) cho các mô hình TTS lai, tập trung vào việc duy trì tính tự nhiên và biểu cảm của giọng nói khi sử dụng dữ liệu tổng hợp quy mô lớn, đồng thời giảm thiểu các hiện tượng không mong muốn như giảm âm lượng hoặc bỏ từ.

2. Patent:​

  1. Hệ thống trợ lý giọng nói cá nhân hóa trên điện thoại di động: Một công nghệ cho phép người dùng điện thoại di động tạo ra một trợ lý ảo có giọng nói được nhân bản từ giọng nói của chính họ chỉ với một đoạn ghi âm ngắn (ví dụ: 3 giây). Trợ lý này có khả năng tự động điều chỉnh ngữ điệu và cảm xúc (ví dụ: vui vẻ, nghiêm túc, động viên) dựa trên ngữ cảnh và nội dung cuộc trò chuyện, mang lại trải nghiệm tương tác cá nhân và tự nhiên hơn cho người dùng.
  2. Ứng dụng dịch thuật giọng nói đa ngôn ngữ thời gian thực với giọng nói gốc: Một ứng dụng di động cho phép người dùng nói bằng ngôn ngữ mẹ đẻ của họ, sau đó ứng dụng sẽ dịch ngay lập tức sang ngôn ngữ đích và phát ra bằng giọng nói đã được nhân bản từ người dùng. Điều này giúp duy trì sự quen thuộc, cá tính và biểu cảm cảm xúc của người nói trong các cuộc giao tiếp đa ngôn ngữ, cải thiện đáng kể hiệu quả giao tiếp quốc tế trên thiết bị di động.
  3. Công cụ tạo nội dung âm thanh động cho thiết bị di động: Một tính năng tích hợp trên điện thoại thông minh cho phép người dùng chọn bất kỳ văn bản nào (ví dụ: bài báo, email, sách điện tử, tin nhắn) và chuyển đổi nó thành âm thanh. Giọng đọc có thể được tùy chỉnh bằng cách nhân bản giọng nói của người dùng hoặc một giọng nói ưa thích khác, với khả năng điều chỉnh tốc độ, ngữ điệu và phong cách đọc (ví dụ: trang trọng, thân mật, năng động) để phù hợp với sở thích nghe và loại nội dung, mang lại trải nghiệm nghe cá nhân hóa và linh hoạt.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.25551
ArXiv Abstracthttps://arxiv.org/abs/2603.25551
PDF Downloadhttps://arxiv.org/pdf/2603.25551.pdf
Github RepositoryN/A

6. MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens (39 votes)​

Tác giả: Yu Chen, Runkai Chen, Sheng Yi, Xinda Zhao, Xiaohong Li, Jianjin Zhang, Jun Sun, Chuanrui Hu, Yunyun Han, Lidong Bing, Yafeng Deng, Tianqiao Chen

Xuất bản lúc: 2026-03-06

Tag: LLMs, Sparse Attention, Long-term memory, Scalability, End-to-end training, KV cache compression, Positional Encoding, Multi-hop reasoning, RAG

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLMs) hiện tại bị giới hạn bởi độ dài ngữ cảnh hiệu quả (thường dưới 1M tokens) do kiến trúc full-attention. Các phương pháp mở rộng hiện có (như hybrid linear attention, fixed-size memory states, hoặc external storage như RAG) thường gặp phải các vấn đề nghiêm trọng như suy giảm độ chính xác, độ trễ tăng nhanh, không thể sửa đổi nội dung bộ nhớ động, hoặc thiếu tối ưu hóa end-to-end. Những hạn chế này cản trở các kịch bản phức tạp yêu cầu bộ nhớ dài hạn như tóm tắt văn bản lớn, Digital Twins với nhân cách ổn định và suy luận tác nhân lịch sử dài, đồng thời giới hạn dung lượng bộ nhớ và làm chậm quá trình suy luận. Tóm lại, các phương pháp hiện tại thiếu khả năng mở rộng bộ nhớ độ trung thực cao và khả năng huấn luyện end-to-end.

II. Main Idea:​

Chúng tôi giới thiệu Memory Sparse Attention (MSA), một framework mô hình bộ nhớ có thể huấn luyện end-to-end, hiệu quả và có khả năng mở rộng lớn, được thiết kế để xử lý ngữ cảnh bộ nhớ quy mô trọn đời lên đến 100M tokens. Các đổi mới cốt lõi bao gồm:

  1. Kiến trúc Sparse Attention có khả năng mở rộng: Thay thế self-attention dày đặc tiêu chuẩn bằng cơ chế sparse attention dựa trên tài liệu. MSA tích hợp lựa chọn top-k với sparse attention, đạt được độ phức tạp tuyến tính trong cả huấn luyện và suy luận. Nó nén KV cache thông qua chunk-wise mean pooling để giảm dấu chân bộ nhớ và độ trễ.
  2. Document-wise RoPE và Global RoPE: Để đảm bảo khả năng tổng quát hóa trên các quy mô bộ nhớ khác nhau, MSA sử dụng RoPE độc lập cho mỗi tài liệu, tách rời ngữ nghĩa vị trí khỏi tổng số tài liệu, cho phép ngoại suy hiệu quả từ 64K tokens khi huấn luyện lên 100M tokens khi suy luận. Global RoPE được áp dụng cho ngữ cảnh hoạt động (truy vấn và tạo sinh).
  3. Huấn luyện end-to-end: Quá trình huấn luyện bao gồm continuous pre-training để thực hiện Generative Retrieval, trong đó mô hình tạo ra ID tài liệu liên quan. Một auxiliary loss (Laux) được giới thiệu để giám sát quá trình định tuyến theo lớp, đảm bảo mô hình chú ý đến các bằng chứng chính xác. Post-training sử dụng chiến lược học tập theo chương trình hai giai đoạn để tăng cường khả năng suy luận và ngoại suy độ dài ngữ cảnh.
  4. Quy trình suy luận ba giai đoạn và Memory Parallel: Quy trình suy luận bao gồm Global Memory Encoding (offline), Routing and Context Assembly (online), và Sparse Generation (online). Để xử lý 100M tokens hiệu quả, Memory Parallel được triển khai với chiến lược lưu trữ phân tầng (GPU-Resident Routing Keys, CPU-Offloaded Content KVs) và Distributed Scoring, cho phép suy luận trên 2x A800 GPUs.
  5. Memory Interleave: Một cơ chế thích ứng để suy luận multi-hop phức tạp, luân phiên giữa Generative Retrieval và Context Expansion, trong đó các tài liệu được truy xuất sẽ được coi là một phần của truy vấn cho lần lặp tiếp theo.

III. Main Results:​

MSA đạt được độ phức tạp tuyến tính trong cả huấn luyện và suy luận, đồng thời duy trì độ ổn định chính xác đặc biệt, chỉ suy giảm dưới 9% khi mở rộng từ 16K lên 100M tokens. KV cache compression kết hợp với Memory Parallel cho phép suy luận 100M tokens trên 2x A800 GPUs. MSA vượt trội đáng kể so với các mô hình ngôn ngữ tiên tiến, hệ thống RAG SOTA và các tác nhân bộ nhớ hàng đầu trên các điểm chuẩn ngữ cảnh dài. Cụ thể, trên bộ chín điểm chuẩn Question Answering, MSA đạt được mức cải thiện trung bình 16.0%, 11.5% và 14.8% so với RAG tiêu chuẩn, RAG có reranking và HippoRAG2 (so với kết quả tốt nhất trong tất cả các cài đặt recall). Ngoài ra, MSA đạt kết quả SOTA trong kiểm tra "Needle-In-A-Haystack" (NIAH), thể hiện khả năng chống suy giảm ngữ cảnh vượt trội.

IV. Conclusion & Future Works:​

MSA cung cấp một nền tảng có khả năng mở rộng để trang bị cho các mô hình đa năng bộ nhớ nội tại, quy mô trọn đời, bằng cách tách rời dung lượng bộ nhớ khỏi khả năng suy luận. Khả năng này đánh dấu một tiến bộ đáng kể trong việc thu hẹp khoảng cách giữa bộ nhớ LLM và quy mô nhận thức của con người, mở ra các ứng dụng thực tế trước đây được coi là không thể đạt được đối với các mô hình thần kinh. Các hướng phát triển trong tương lai có thể bao gồm việc khám phá các ứng dụng trong các kịch bản phức tạp như tóm tắt văn bản lớn, Digital Twins với nhân cách ổn định và suy luận tác nhân lịch sử dài.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các chiến lược nén KV cache thích nghi và hiệu quả hơn: Khám phá các phương pháp nén dữ liệu Key-Value tiên tiến, có thể sử dụng các kỹ thuật học máy để nén thích nghi dựa trên mức độ quan trọng hoặc độ trùng lặp của thông tin, nhằm giảm thiểu dấu chân bộ nhớ và độ trễ mà vẫn duy trì độ chính xác cao cho các ngữ cảnh siêu dài.
  2. Mở rộng kiến trúc MSA cho các mô hình đa phương thức (Multimodal LLMs): Điều tra cách tích hợp kiến trúc sparse attention và quản lý bộ nhớ dài hạn của MSA để xử lý thông tin đa phương thức (ví dụ: hình ảnh, âm thanh, video) trong các ngữ cảnh kéo dài. Mục tiêu là cho phép các mô hình đa phương thức duy trì bộ nhớ dài hạn và thực hiện suy luận phức tạp trên sự kết hợp của nhiều loại dữ liệu.
  3. Phát triển các cơ chế Memory Interleave thông minh và tự động hóa: Nghiên cứu các thuật toán để mô hình tự động xác định khi nào cần thực hiện Generative Retrieval và Context Expansion, tối ưu hóa số lượng tài liệu được truy xuất trong mỗi vòng lặp. Điều này sẽ nâng cao hiệu quả và độ chính xác cho suy luận đa bước, đặc biệt trong các kịch bản yêu cầu thông tin rải rác trên nhiều tài liệu.

2. Patent:​

  1. Trợ lý cá nhân "ký ức trọn đời" trên điện thoại: Một hệ thống trên điện thoại di động cho phép trợ lý ảo (ví dụ: Siri, Google Assistant) duy trì và truy xuất một lượng lớn lịch sử tương tác của người dùng (tin nhắn, email, cuộc gọi, ghi chú, ảnh) qua hàng triệu token. Điều này giúp trợ lý hiểu sâu sắc ngữ cảnh cá nhân, cung cấp phản hồi nhất quán, cá nhân hóa theo thời gian và thậm chí dự đoán nhu cầu của người dùng dựa trên lịch sử lâu dài, giống như một "Digital Twin" cá nhân. Ví dụ, nó có thể nhắc bạn về một cuộc trò chuyện cũ về việc đặt vé máy bay và tự động đề xuất các chuyến bay phù hợp khi bạn nói về kỳ nghỉ.
  2. Hệ thống quản lý và truy vấn kiến thức cá nhân thông minh: Một ứng dụng di động cho phép người dùng nhập vào các tài liệu dài (sách, báo cáo, bài viết, ghi chú cuộc họp) và tự động tổ chức, tóm tắt chúng. Hệ thống này sử dụng cơ chế bộ nhớ dài hạn để người dùng có thể truy vấn thông tin từ kho tài liệu khổng lồ này một cách hiệu quả, ngay cả khi câu hỏi đòi hỏi suy luận từ nhiều nguồn khác nhau. Người dùng có thể hỏi những câu hỏi phức tạp liên quan đến nhiều tài liệu và nhận được câu trả lời tổng hợp mà không cần phải đọc lại toàn bộ nội dung.
  3. Tối ưu hóa trải nghiệm trò chuyện và vai trò trong game/ứng dụng: Một tính năng trong các ứng dụng trò chuyện hoặc game nhập vai trên di động, nơi các nhân vật AI hoặc chatbot có thể duy trì một "nhân cách" và lịch sử trò chuyện nhất quán qua hàng triệu token. Điều này giúp tạo ra trải nghiệm tương tác chân thực và sâu sắc hơn, nơi AI "nhớ" các chi tiết nhỏ từ các cuộc trò chuyện trước đó, ngay cả khi chúng diễn ra rất lâu về trước. Công nghệ này đảm bảo hiệu suất nhanh chóng trên thiết bị di động bằng cách chỉ tải các phần bộ nhớ liên quan khi cần thiết, mà không làm chậm thiết bị.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.23516
ArXiv Abstracthttps://arxiv.org/abs/2603.23516
PDF Downloadhttps://arxiv.org/pdf/2603.23516.pdf
Github Repositoryhttps://github.com/EverMind-AI/MSA

7. MACRO: Advancing Multi-Reference Image Generation with Structured Long-Context Data (30 votes)​

Tác giả: Zhekai Chen, Yuqing Wang, Manyuan Zhang, Xihui Liu

Xuất bản lúc: 2026-03-26

Tag: Multi-reference image generation, Dataset, Benchmark, In-context generation, Diffusion Models, Vision-Language Models, Long-context, Image Synthesis, Novel View Synthesis

I. Main Problem:​

Các mô hình tạo ảnh hiện tại gặp phải tình trạng suy giảm hiệu suất nghiêm trọng khi số lượng ảnh tham chiếu đầu vào tăng lên. Nguyên nhân chính là do thiếu dữ liệu huấn luyện có cấu trúc, ngữ cảnh dài (long-context) để học các phụ thuộc phức tạp giữa nhiều ảnh tham chiếu. Ngoài ra, việc thiếu các giao thức đánh giá tiêu chuẩn cũng cản trở sự tiến bộ trong lĩnh vực này.

II. Main Idea:​

Để giải quyết vấn đề thiếu dữ liệu và tiêu chuẩn đánh giá, các tác giả giới thiệu:

  1. MacroData: Một tập dữ liệu quy mô lớn gồm 400K mẫu, mỗi mẫu chứa tới 10 ảnh tham chiếu. Dữ liệu được tổ chức một cách có hệ thống theo bốn chiều bổ trợ: Customization (tạo bố cục từ nhiều tham chiếu), Illustration (tạo ảnh minh họa từ ngữ cảnh đa phương thức), Spatial (dự đoán góc nhìn mới từ nhiều góc nhìn hiện có) và Temporal (dự đoán khung hình video tương lai). MacroData được xây dựng thông qua quy trình tinh lọc kiến thức từ các mô hình mã nguồn đóng tiên tiến và lọc kỹ lưỡng từ các kho dữ liệu thực tế.
  2. MacroBench: Một bộ tiêu chuẩn đánh giá toàn diện gồm 4.000 mẫu, được thiết kế để đánh giá sự nhất quán của quá trình tạo ảnh trên cả bốn chiều tác vụ và các mức độ đầu vào khác nhau (từ 1 đến 10 ảnh). MacroBench sử dụng cơ chế LLM-as-Judge với các tiêu chí cụ thể cho từng tác vụ để đánh giá nghiêm ngặt.

III. Main Results:​

Các mô hình được tinh chỉnh trên MacroData cho thấy sự cải thiện đáng kể trong việc tạo ảnh đa tham chiếu, thu hẹp đáng kể khoảng cách với các mô hình mã nguồn đóng. Cụ thể, mô hình Bagel được tinh chỉnh trên MacroData đạt điểm trung bình 5.71 trên MacroBench, cải thiện đáng kể so với Bagel cơ bản (3.03), và xếp thứ ba tổng thể. MacroData vượt trội hơn các tập dữ liệu thay thế như Echo4o, MICo và OpenSubject dưới cùng kiến trúc. Các mô hình được huấn luyện trên MacroData cũng thể hiện khả năng mạnh mẽ hơn khi xử lý số lượng ảnh đầu vào tăng lên (từ 1-5 lên 6-10 ảnh), giảm thiểu sự suy giảm hiệu suất. Nghiên cứu cắt bỏ còn tiết lộ lợi ích hiệp đồng của việc đồng huấn luyện đa tác vụ và các chiến lược hiệu quả để xử lý sự phức tạp của ngữ cảnh dài.

IV. Conclusion & Future Works:​

Nghiên cứu đã giới thiệu MacroData và MacroBench, hai đóng góp quan trọng nhằm thúc đẩy lĩnh vực tạo ảnh đa tham chiếu với ngữ cảnh dài. MacroData cung cấp một nguồn dữ liệu huấn luyện phong phú và có cấu trúc, trong khi MacroBench thiết lập một tiêu chuẩn đánh giá toàn diện. Các thử nghiệm đã chứng minh hiệu quả vượt trội của MacroData trong việc cải thiện hiệu suất của các mô hình hiện có. Trong tương lai, các hướng nghiên cứu có thể tập trung vào việc mở rộng quy mô dữ liệu, khám phá các chiến lược đồng huấn luyện chéo tác vụ tiên tiến hơn và tối ưu hóa việc xử lý ngữ cảnh dài phức tạp. Tập dữ liệu và bộ tiêu chuẩn sẽ được phát hành công khai để khuyến khích cộng đồng nghiên cứu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nâng cao khả năng hiểu và tạo ảnh dựa trên ngữ cảnh không gian 3D phức tạp bằng cách tích hợp dữ liệu đa góc nhìn và kỹ thuật học biểu diễn sâu.
  2. Phát triển kiến trúc mô hình tạo ảnh đa tham chiếu hiệu quả cho ngữ cảnh dài thông qua cơ chế chú ý thích ứng và phân tách token thông minh.
  3. Phân tích định lượng và định tính về sự tương tác giữa các loại tham chiếu khác nhau (văn bản, hình ảnh) trong việc tạo ảnh theo câu chuyện, với trọng tâm vào việc duy trì tính nhất quán và sáng tạo.

2. Patent:​

  1. Hệ thống tạo ảnh cá nhân hóa trên điện thoại di động: Một ứng dụng di động cho phép người dùng chọn nhiều ảnh tham chiếu (ví dụ: ảnh chân dung của bạn bè, ảnh một chiếc áo, ảnh một phong cảnh) và nhập mô tả văn bản để tạo ra một bức ảnh mới độc đáo, chẳng hạn như bạn bè đang mặc chiếc áo đó trong phong cảnh đã chọn. Hệ thống sẽ sử dụng thuật toán xử lý ảnh thông minh để kết hợp các yếu tố từ nhiều ảnh và văn bản đầu vào một cách liền mạch, tạo ra hình ảnh chất lượng cao ngay trên thiết bị.
  2. Chức năng dự đoán và hoàn thiện video thông minh trên điện thoại: Một tính năng trong ứng dụng chỉnh sửa video trên điện thoại cho phép người dùng cung cấp một chuỗi các khung hình video và mô tả ngắn gọn. Hệ thống sẽ tự động phân tích ngữ cảnh và động lực học của chuỗi, sau đó dự đoán và tạo ra khung hình tiếp theo hoặc một đoạn video ngắn để hoàn thiện câu chuyện hoặc hành động. Điều này hữu ích cho việc tạo ra các video ngắn, clip mạng xã hội một cách nhanh chóng và sáng tạo.
  3. Công cụ sắp xếp và biến đổi ảnh sản phẩm 3D trên nền tảng thương mại điện tử di động: Một công cụ tích hợp trong ứng dụng mua sắm trên điện thoại, cho phép người bán tải lên nhiều ảnh sản phẩm từ các góc độ khác nhau. Hệ thống sẽ tự động tạo ra các góc nhìn mới của sản phẩm, hoặc đặt sản phẩm vào các bối cảnh khác nhau (ví dụ: một chiếc ghế trong phòng khách ảo, một chiếc áo trên người mẫu ảo) chỉ từ một vài ảnh tham chiếu ban đầu, giúp người mua có cái nhìn toàn diện hơn về sản phẩm.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.25319
ArXiv Abstracthttps://arxiv.org/abs/2603.25319
PDF Downloadhttps://arxiv.org/pdf/2603.25319.pdf
Github Repositoryhttps://github.com/HKU-MMLab/Macro

8. SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks (25 votes)​

Tác giả: Gabriel Orlanski, Devjeet Roy, Alexander Yun, Changho Shin, Alex Gu, Albert Ge, Dyah Adila, Frederic Sala, Aws Albarghouthi

Xuất bản lúc: 2026-03-25

Tag: LLMs, Code Generation, Software Engineering, Benchmarking, Code Quality, Iterative Development

I. Main Problem:​

Các benchmark đánh giá tác nhân lập trình hiện tại chủ yếu tập trung vào các giải pháp một lần (single-shot) và các đặc tả hoàn chỉnh, không đo lường được khả năng mở rộng của mã nguồn dưới các yêu cầu thay đổi trong tương lai. Mã nguồn do tác nhân tạo ra thường suy giảm chất lượng qua các lần chỉnh sửa lặp đi lặp lại, trở nên dài dòng (verbose) và tích lũy "slop" (mã kém chất lượng, khó bảo trì), dẫn đến chi phí bảo trì cao hơn. Các benchmark lặp gần đây hạn chế quá chặt chẽ các quyết định thiết kế của tác nhân, hoặc không cho phép tác nhân phải chịu hậu quả từ các quyết định thiết kế ban đầu của chính mình. Các benchmark dựa trên tỷ lệ đạt (pass-rate) đánh giá thấp một cách có hệ thống khả năng bền vững khi mở rộng mã nguồn, và các tác nhân lập trình hiện tại thiếu kỷ luật thiết kế cần thiết cho quá trình phát triển phần mềm lặp đi lặp lại.

II. Main Idea:​

Giới thiệu SlopCodeBench, một benchmark độc lập với ngôn ngữ bao gồm 20 vấn đề và 93 điểm kiểm tra (checkpoints), trong đó các tác nhân liên tục mở rộng các giải pháp trước đó của chính mình dưới các đặc tả thay đổi mà không bị quy định cấu trúc nội bộ. Theo dõi hai tín hiệu chất lượng ở cấp độ quỹ đạo: verbosity (tỷ lệ mã thừa hoặc trùng lặp) và structural erosion (tỷ lệ khối lượng phức tạp tập trung vào các hàm có độ phức tạp cao). Các nguyên tắc thiết kế của benchmark bao gồm không quy định giao diện nội bộ, không có bộ kiểm thử rõ ràng (ẩn), và thiết kế vấn đề kiểu hộp đen (black-box), độc lập ngôn ngữ. Giao thức đánh giá yêu cầu tác nhân xây dựng dựa trên mã nguồn trước đó của chính mình, các đặc tả phát triển qua nhiều điểm kiểm tra, và chất lượng được đo lường ở mỗi bước. Các chỉ số chất lượng được định nghĩa là structural erosion (tỷ lệ tổng khối lượng phức tạp - CC * sqrt(SLOC) - nằm trong các hàm có CC > 10) và verbosity (tổng số dòng bị gắn cờ bởi các quy tắc AST-Grep và các dòng trùng lặp, chuẩn hóa theo SLOC). Công trình cũng thực hiện một nghiên cứu can thiệp bằng prompt để kiểm tra xem các prompt chú trọng chất lượng có thể ngăn chặn sự suy giảm chất lượng mã hay không.

III. Main Results:​

Không có tác nhân nào giải quyết được bất kỳ vấn đề nào từ đầu đến cuối trên 11 mô hình; tỷ lệ giải quyết điểm kiểm tra cao nhất là 17.2%. Chất lượng mã suy giảm đều đặn: erosion tăng lên trong 80% quỹ đạo và verbosity tăng trong 89.8% quỹ đạo. Mã nguồn do tác nhân tạo ra dài dòng hơn 2.2 lần và bị eroded rõ rệt hơn so với 48 kho lưu trữ Python mã nguồn mở. Mã nguồn của con người duy trì ổn định theo thời gian, trong khi mã nguồn của tác nhân suy giảm sau mỗi lần lặp. Nghiên cứu can thiệp bằng prompt cho thấy chất lượng ban đầu có thể được cải thiện, nhưng không ngăn chặn được sự suy giảm, không cải thiện tỷ lệ đạt, hoặc giảm chi phí. Số lượng hàm có CC cao trung bình tăng từ 4.1 lên 37.0, và CC tối đa trung bình tăng từ 27.1 lên 68.2 trong các quỹ đạo của tác nhân. Sự trùng lặp cấu trúc chiếm phần lớn sự gia tăng của verbosity (66% trên 72.1% quỹ đạo).

IV. Conclusion & Future Works:​

Các benchmark dựa trên tỷ lệ đạt đánh giá thấp một cách có hệ thống khả năng bền vững khi mở rộng mã nguồn. Các tác nhân lập trình hiện tại thiếu kỷ luật thiết kế mà quá trình phát triển phần mềm lặp đi lặp lại đòi hỏi. Các prompt có thể cải thiện chất lượng mã ban đầu nhưng không thể ngăn chặn sự suy giảm chất lượng theo thời gian. Công trình này chỉ ra sự cần thiết của các tác nhân có khả năng đưa ra các quyết định kiến trúc tốt hơn và quản lý chất lượng mã nguồn hiệu quả hơn qua thời gian, đồng thời mở ra hướng nghiên cứu sâu hơn về cách thức cải thiện hành vi của tác nhân trong các tác vụ phát triển phần mềm lặp đi lặp lại.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các phương pháp để LLMs có thể tạo ra các kiến trúc mã nguồn mô-đun và có khả năng mở rộng tốt hơn ngay từ các giai đoạn phát triển ban đầu.
  2. Phát triển các mô hình huấn luyện mới hoặc chiến lược fine-tuning cho các tác nhân lập trình nhằm trừng phạt rõ ràng các chỉ số suy giảm chất lượng mã (như verbosity và erosion) trong quá trình phát triển lặp đi lặp lại.
  3. Khám phá việc sử dụng các cơ chế "tự phản chiếu" hoặc "lập kế hoạch" bên trong các tác nhân lập trình, cho phép chúng chủ động tái cấu trúc (refactor) mã nguồn của chính mình để ngăn chặn sự suy giảm chất lượng, tương tự như cách các nhà phát triển con người duy trì chất lượng mã.

2. Patent:​

  1. Trợ lý Tái cấu trúc Mã Tự động cho Phát triển Ứng dụng Di động: Một plugin IDE di động hoặc công cụ độc lập phân tích mã nguồn của nhà phát triển (ví dụ: Swift, Kotlin) theo thời gian thực hoặc theo yêu cầu, xác định các phần mã dài dòng hoặc bị suy giảm cấu trúc, và đề xuất các cải tiến tái cấu trúc để nâng cao khả năng bảo trì và hiệu suất, đặc biệt phù hợp với các nền tảng di động.
  2. Hệ thống Giám sát Chất lượng Mã Thông minh cho Phát triển Di động Lặp đi Lặp lại: Một hệ thống tích hợp trong môi trường phát triển di động liên tục theo dõi các chỉ số chất lượng mã (như verbosity và phân bố độ phức tạp) qua nhiều lần lặp phát triển. Nó cung cấp cảnh báo và trực quan hóa cho các nhà phát triển khi chất lượng mã suy giảm theo thời gian, giúp họ duy trì một codebase lành mạnh cho sự phát triển lâu dài của ứng dụng.
  3. Bảo trì Dự đoán cho Codebase Ứng dụng Di động: Một hệ thống sử dụng AI để dự đoán các thách thức bảo trì mã trong tương lai của một ứng dụng di động dựa trên các chỉ số chất lượng mã hiện tại và các mẫu suy giảm lịch sử. Nó có thể đề xuất các điều chỉnh kiến trúc hoặc các tác vụ tái cấu trúc sớm để ngăn chặn sự tích lũy "slop" và giảm chi phí phát triển trong tương lai cho các ứng dụng di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.24755
ArXiv Abstracthttps://arxiv.org/abs/2603.24755
PDF Downloadhttps://arxiv.org/pdf/2603.24755.pdf
Github Repositoryhttps://github.com/SprocketLab/slop-code-bench

9. AVControl: Efficient Framework for Training Audio-Visual Controls (21 votes)​

Tác giả: Matan Ben-Yosef, Tavi Halperin, Naomi Ken Korem, Mohammad Salama, Harel Cain, Asaf Joseph, Anthony Chen, Urska Jelercic, Ofir Bibi

Xuất bản lúc: 2026-03-25

Tag: video generation, audio-visual models, LoRA, controllable generation, video editing, Diffusion Models

I. Main Problem:​

Việc kiểm soát quá trình tạo video và âm thanh đòi hỏi nhiều phương thức đa dạng, từ độ sâu và tư thế đến quỹ đạo camera và biến đổi âm thanh. Tuy nhiên, các phương pháp hiện có hoặc là huấn luyện một mô hình nguyên khối duy nhất cho một tập hợp kiểm soát cố định, hoặc phải thực hiện các thay đổi kiến trúc tốn kém cho mỗi phương thức mới. Ngoài ra, việc mở rộng các phương pháp in-context dựa trên hình ảnh sang video thường thất bại đối với kiểm soát cấu trúc. Các phương pháp sử dụng "canvas song song" để cung cấp tín hiệu tham chiếu cũng gặp khó khăn trong việc phân biệt các token tham chiếu và token tạo ra, thường yêu cầu học các mối quan hệ vị trí mới từ dữ liệu lớn và tính toán tốn kém.

II. Main Idea:​

AVControl giới thiệu một khung làm việc nhẹ, có thể mở rộng, được xây dựng trên LTX-2, một mô hình nền tảng nghe nhìn (audio-visual) chung. Trong AVControl, mỗi phương thức kiểm soát được huấn luyện như một LoRA riêng biệt trên một "canvas song song". Canvas này cung cấp tín hiệu tham chiếu dưới dạng các token bổ sung trong các lớp attention, không yêu cầu thay đổi kiến trúc nào ngoài các bộ điều hợp LoRA. Khung này tận dụng đặc tính của LTX-2 là gán một dấu thời gian duy nhất cho mỗi token để phân biệt các token tham chiếu (t=0) với các token tạo ra (mang mức nhiễu hiện tại), từ đó tránh được chi phí tính toán và dữ liệu lớn. AVControl cũng đề xuất một chiến lược lưới điều khiển "từ nhỏ đến lớn" để giảm độ phân giải canvas tham chiếu cho các điều khiển thưa thớt, nhằm giảm độ trễ và chi phí bộ nhớ.

III. Main Results:​

AVControl vượt trội hơn tất cả các đường cơ sở được đánh giá trên VACE Benchmark về tạo video hướng dẫn theo độ sâu và tư thế, inpainting và outpainting, đạt điểm trung bình cao nhất trên cả bốn tác vụ. Cụ thể, đạt 81.6 điểm trung bình cho Depth và 83.7 cho Pose, cao hơn VACE lần lượt 2.9 và 2.3 điểm. Đối với Inpainting và Outpainting, AVControl đạt 79.1 và 76.8 điểm trung bình, cao hơn VACE lần lượt 3.8 và 2.3 điểm, với chất lượng thẩm mỹ và hình ảnh vượt trội. Phương pháp này cũng đạt điểm CLIP-F cao nhất (99.13%) trên ReCamMaster Benchmark cho kiểm soát camera, vượt qua ReCamMaster (98.74%). AVControl hỗ trợ một bộ đa dạng các phương thức điều khiển được huấn luyện độc lập và có hiệu quả về mặt tính toán và dữ liệu: mỗi phương thức chỉ yêu cầu một tập dữ liệu nhỏ và hội tụ trong vài trăm đến vài nghìn bước huấn luyện, chỉ bằng một phần nhỏ so với ngân sách của các giải pháp nguyên khối.

IV. Conclusion & Future Works:​

AVControl cung cấp một khung làm việc hiệu quả về tính toán và dữ liệu để huấn luyện các LoRA điều khiển theo từng phương thức trên một canvas song song, cho phép kiểm soát cấu trúc video trung thực và điều chỉnh cường độ theo thời gian suy luận một cách linh hoạt. Khung này thể hiện tính linh hoạt cao thông qua việc hỗ trợ một bộ đa dạng các phương thức điều khiển được huấn luyện độc lập, từ điều khiển căn chỉnh không gian và quỹ đạo camera đến các ứng dụng nghe nhìn. Chiến lược lưới điều khiển từ nhỏ đến lớn giúp giảm độ trễ mà không làm giảm độ trung thực của điều khiển. Công việc trong tương lai có thể tập trung vào việc khám phá các phương pháp kết hợp nhiều tín hiệu điều khiển phức tạp hơn một cách tự động, hoặc mở rộng khả năng điều khiển sang các khía cạnh ngữ nghĩa cấp cao hơn như cảm xúc, phong cách, hoặc hành vi tương tác phức tạp trong môi trường 3D.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc kết hợp tự động nhiều LoRA điều khiển trong AVControl để đạt được các tác vụ tạo video đa điều kiện phức tạp, giảm thiểu sự can thiệp thủ công trong việc tổng hợp các tín hiệu tham chiếu.
  2. Khám phá các phương pháp mở rộng AVControl để hỗ trợ các điều khiển ngữ nghĩa cấp cao hơn như điều khiển biểu cảm khuôn mặt, phong cách nghệ thuật hoặc các tương tác vật lý phức tạp, thay vì chỉ các điều khiển cấu trúc cơ bản.
  3. Ứng dụng AVControl vào việc tạo nội dung tương tác theo thời gian thực hoặc trong các môi trường thực tế ảo (VR/AR), khai thác hiệu quả tính toán và khả năng mở rộng của khung để tạo ra trải nghiệm sống động và tùy chỉnh.

2. Patent:​

  1. Một tính năng chỉnh sửa video trên điện thoại di động cho phép người dùng điều khiển cấu trúc (như độ sâu hoặc tư thế của đối tượng) trong video của họ bằng cách sử dụng các cử chỉ đơn giản. Hệ thống sẽ sử dụng các mô hình học máy nhẹ (LoRA) để phân tích cử chỉ người dùng và áp dụng các thay đổi cấu trúc mong muốn vào video một cách mượt mà và hiệu quả.
  2. Một ứng dụng camera trên điện thoại cho phép người dùng ghi lại video và sau đó dễ dàng thay đổi quỹ đạo camera của video đã quay (ví dụ: tạo hiệu ứng dolly zoom hoặc quay quanh đối tượng) mà không cần kiến thức chỉnh sửa video phức tạp. Công nghệ này sử dụng mô hình học máy để ước tính và điều khiển các thông số camera một cách linh hoạt, chỉ cần vài thao tác chạm trên màn hình.
  3. Một hệ thống trên điện thoại di động giúp người dùng điều chỉnh âm thanh môi trường của một video dựa trên nội dung hình ảnh hoặc ngược lại. Ví dụ, người dùng có thể tăng cường âm thanh mưa khi có hình ảnh mưa, hoặc tạo ra video phù hợp với một bản nhạc cụ thể. Hệ thống sử dụng các mô hình học máy để phân tích và đồng bộ hóa các luồng âm thanh và hình ảnh, cho phép điều khiển chi tiết cường độ và loại âm thanh/hình ảnh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.24793
ArXiv Abstracthttps://arxiv.org/abs/2603.24793
PDF Downloadhttps://arxiv.org/pdf/2603.24793.pdf
Github RepositoryN/A

10. VFIG: Vectorizing Complex Figures in SVG with Vision-Language Models (15 votes)​

Tác giả: Qijia He, Xunmei Liu, Hammaad Memon, Ziang Li, Zixian Ma, Jaemin Cho, Jason Ren, Daniel S Weld, Ranjay Krishna

Xuất bản lúc: 2026-03-25

Tag: Vision-Language Models, SVG, Vectorization, Reinforcement Learning, Supervised Fine-tuning, Dataset, Evaluation

I. Main Problem:​

Các tệp nguồn vector gốc (SVG) thường bị mất hoặc không thể truy cập, chỉ còn lại các phiên bản raster hóa (ví dụ: PNG hoặc JPEG) khó chỉnh sửa hoặc thay đổi kích thước. Việc tái tạo thủ công các hình ảnh phức tạp này là một quá trình tốn nhiều công sức và đòi hỏi chuyên môn cao để khôi phục ý định hình học ban đầu. Các bộ dữ liệu và phương pháp hiện có thường chỉ tập trung vào đồ họa đơn giản và không giải quyết được độ phức tạp của các sơ đồ chuyên nghiệp, bao gồm bố cục đa bảng, chú thích dày đặc, phân cấp và kết nối chính xác. Thách thức kỹ thuật bao gồm việc chọn lọc dữ liệu phù hợp để vector hóa, xử lý chuỗi token SVG dài và phức tạp, học các cấu trúc hình ảnh có tính thành phần, và tái tạo chi tiết hình học và phong cách tinh tế mà không có phản hồi trực quan đầy đủ.

II. Main Idea:​

Các tác giả đề xuất VFig, một họ các mô hình Vision-Language (VLM) được đào tạo để chuyển đổi hình ảnh phức tạp sang SVG với độ chân thực cao. Để giải quyết vấn đề thiếu dữ liệu, họ giới thiệu VFig-Data, một bộ dữ liệu quy mô lớn gồm 66K cặp hình ảnh-SVG chất lượng cao, được tuyển chọn từ các hình ảnh thực tế trong bài báo và các sơ đồ được tạo theo quy trình, với quy trình lọc nghiêm ngặt. VFig sử dụng chương trình đào tạo từ thô đến tinh (coarse-to-fine curriculum) gồm hai giai đoạn: đầu tiên là tinh chỉnh có giám sát (SFT) để học các thành phần cơ bản và chuyển sang học tăng cường (RL) để tối ưu hóa độ chân thực tổng thể của sơ đồ, tính nhất quán của bố cục và các trường hợp cạnh cấu trúc liên kết. Giai đoạn RL sử dụng phản hồi trực quan dựa trên phần thưởng tập trung vào cấu trúc, được cung cấp bởi một VLM đánh giá (Gemini-3-Flash) với bốn tiêu chí: Sự hiện diện (Presence), Bố cục (Layout), Kết nối (Connectivity) và Chi tiết (Details). Cuối cùng, họ giới thiệu VFig-Bench, một bộ đánh giá toàn diện với các số liệu mới được thiết kế để đo lường tính toàn vẹn cấu trúc của các hình ảnh phức tạp.

III. Main Results:​

VFig đạt hiệu suất vượt trội so với các mô hình mã nguồn mở và ngang bằng với GPT-5.2, đạt điểm VLM-Judge là 0.829 trên VFig-Bench. Chương trình đào tạo từ thô đến tinh (coarse-to-fine curriculum SFT) đã cải thiện đáng kể tính ổn định thành phần và tỷ lệ kết xuất thành công. Học tăng cường (RL) với phản hồi trực quan tiếp tục nâng cao độ chân thực hình học và nhất quán vượt trội so với SFT đơn thuần. Các tín hiệu đánh giá dựa trên VLM có nhận thức về cấu trúc (phần thưởng dựa trên tiêu chí) tỏ ra hiệu quả hơn đáng kể so với các số liệu pixel cấp thấp để tối ưu hóa các sơ đồ phức tạp. Việc sử dụng các mô hình nền tảng Qwen3-VL, đặc biệt là phiên bản 8B, mang lại hiệu suất mạnh mẽ nhất.

IV. Conclusion & Future Works:​

Nghiên cứu này đã chứng minh rằng việc tuyển chọn dữ liệu mục tiêu, đào tạo có cấu trúc và đánh giá chuyên biệt theo tác vụ có thể thu hẹp khoảng cách hiệu suất với các hệ thống độc quyền lớn hơn. Những phát hiện này thiết lập một nền tảng nguyên tắc để thúc đẩy thế hệ hình ảnh phức tạp sang SVG dựa trên VLM. Trong tương lai, có thể khám phá việc cải thiện hơn nữa các mô hình nền tảng, các chiến lược học tăng cường tiên tiến hơn, và mở rộng sang các loại hình ảnh phức tạp khác hoặc các định dạng vector khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa kiến trúc VLM cho tạo mã SVG có cấu trúc và phân cấp: Nghiên cứu các kiến trúc mô hình ngôn ngữ thị giác mới được thiết kế đặc biệt để xử lý và tạo mã SVG, có thể bao gồm các cơ chế chú ý hoặc giải mã phân cấp để quản lý hiệu quả độ phức tạp của các phần tử SVG lồng nhau và các thuộc tính. Điều này có thể dẫn đến mã SVG sạch hơn, dễ chỉnh sửa hơn và hiệu quả hơn.
  2. Học tăng cường đa mục tiêu với phản hồi kết hợp: Phát triển các phương pháp học tăng cường tiên tiến hơn để tạo SVG, kết hợp đồng thời các phần thưởng dựa trên VLM (như VFig sử dụng) với các số liệu pixel truyền thống và các phần thưởng dựa trên quy tắc rõ ràng (ví dụ: hình học, kết nối chính xác). Mục tiêu là tạo ra một hệ thống phần thưởng cân bằng, có thể tối ưu hóa cả độ trung thực hình ảnh và tính đúng đắn về cấu trúc mà không có sự đánh đổi.
  3. Mở rộng VFig sang các định dạng đồ họa có cấu trúc khác: Áp dụng các nguyên tắc của VFig (tuyển chọn dữ liệu, đào tạo từ thô đến tinh, RL với phản hồi có cấu trúc) để chuyển đổi hình ảnh raster sang các định dạng đồ họa có cấu trúc khác ngoài SVG, chẳng hạn như tệp CAD đơn giản, mô hình UI/UX (ví dụ: định dạng Figma), hoặc thậm chí là sơ đồ mạch điện. Điều này sẽ chứng minh tính tổng quát của phương pháp và mở rộng phạm vi ứng dụng.

2. Patent:​

  1. Ứng dụng di động chuyển đổi bản phác thảo viết tay thành sơ đồ chỉnh sửa được: Một ứng dụng di động cho phép người dùng vẽ các bản phác thảo thô (ví dụ: lưu đồ, sơ đồ kiến trúc đơn giản, sơ đồ mạng) trên màn hình điện thoại hoặc chụp ảnh một bản vẽ viết tay. Ứng dụng này sẽ sử dụng công nghệ VFig để chuyển đổi các bản phác thảo raster hóa này thành các sơ đồ SVG sạch, có thể chỉnh sửa, sau đó có thể dễ dàng sửa đổi, thay đổi kích thước và chia sẻ với các công cụ thiết kế chuyên nghiệp hoặc nhúng vào tài liệu.
  2. Tính năng chỉnh sửa tài liệu thông minh với chuyển đổi hình ảnh sang sơ đồ trên thiết bị di động: Một tính năng tích hợp trong các bộ ứng dụng chỉnh sửa tài liệu di động (tương tự như Word/PowerPoint trên điện thoại) tự động phát hiện các sơ đồ trong hình ảnh raster (ví dụ: tài liệu được quét, ảnh chụp màn hình) và đề xuất chuyển đổi chúng thành đồ họa vector có thể chỉnh sửa. Điều này cho phép người dùng dễ dàng cập nhật hoặc tái sử dụng các sơ đồ từ các tài liệu hiện có mà không cần phải tạo lại từ đầu, nâng cao năng suất.
  3. Công cụ tạo Infographic tương tác cho mạng xã hội trên di động: Một công cụ di động cho phép người dùng nhanh chóng biến các hình ảnh đơn giản hoặc trực quan hóa dữ liệu (như biểu đồ cột, biểu đồ tròn hoặc sơ đồ luồng đơn giản) thành các infographic tương tác, độc lập với độ phân giải cho mạng xã hội. Người dùng có thể nhập ảnh chụp màn hình của một biểu đồ, và hệ thống sẽ vector hóa nó, cho phép thay đổi màu sắc, chỉnh sửa văn bản và thay đổi kích thước mà không làm giảm chất lượng, giúp dễ dàng điều chỉnh nội dung cho các nền tảng khác nhau.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.24575
ArXiv Abstracthttps://arxiv.org/abs/2603.24575
PDF Downloadhttps://arxiv.org/pdf/2603.24575.pdf
Github Repositoryhttps://github.com/RAIVNLab/VFig

11. Less Gaussians, Texture More: 4K Feed-Forward Textured Splatting (10 votes)​

Tác giả: Yixing Lao, Xuyang Bai, Xiaoyang Wu, Nuoyuan Yan, Zixin Luo, Tian Fang, Jean-Daniel Nahmias, Yanghai Tsin, Shiwei Li, Hengshuang Zhao

Xuất bản lúc: 2026-03-26

Tag: Gaussian Splatting, Novel View Synthesis, Feed-forward Networks, High-resolution Rendering, Textured Gaussians, Computer Vision, Graphics

I. Main Problem:​

Các phương pháp 3D Gaussian Splatting (3DGS) feed-forward hiện có dự đoán các primitive theo pixel, dẫn đến số lượng primitive tăng theo cấp số nhân khi độ phân giải tăng. Điều này giới hạn khả năng mở rộng của chúng, khiến việc tổng hợp độ phân giải cao như 4K trở nên không khả thi do chi phí tính toán và bộ nhớ quá lớn. Ngoài ra, 3DGS tiêu chuẩn kết hợp giữa hình dạng và hình ảnh trong mỗi primitive, đòi hỏi số lượng Gaussian quá lớn để biểu diễn các vùng có kết cấu phong phú ngay cả trên các bề mặt hình học đơn giản. Các phương pháp Gaussian có kết cấu trước đây yêu cầu tối ưu hóa cho từng cảnh và không thể tổng quát hóa giữa các cảnh theo cách feed-forward.

II. Main Idea:​

Giới thiệu LGTM (LessGaussians,TextureMore), một framework feed-forward giải quyết rào cản về khả năng mở rộng độ phân giải. Ý tưởng chính là tách biệt độ phức tạp hình học khỏi độ phân giải render bằng cách dự đoán các primitive Gaussian nhỏ gọn kết hợp với các texture trên mỗi primitive. LGTM sử dụng kiến trúc mạng kép: một mạng primitive (f_prim) xử lý đầu vào độ phân giải thấp để dự đoán một tập hợp các primitive hình học nhỏ gọn, và một mạng texture (f_texture) xử lý đầu vào độ phân giải cao để dự đoán các bản đồ texture chi tiết trên mỗi primitive. Mạng texture trích xuất các đặc trưng độ phân giải cao thông qua patch hóa hình ảnh và ánh xạ chiếu, sau đó hợp nhất chúng với các đặc trưng hình học từ mạng primitive. Chiến lược đào tạo theo giai đoạn được áp dụng: đầu tiên là pre-train mạng primitive để thiết lập nền tảng hình học mạnh mẽ, sau đó cùng đào tạo nó với mạng texture để làm phong phú hình ảnh với các chi tiết tần số cao. LGTM linh hoạt và có thể áp dụng cho nhiều phương pháp nền tảng khác nhau (đơn chế độ xem, hai chế độ xem, đa chế độ xem, có hoặc không có tư thế camera).

III. Main Results:​

LGTM cho phép tổng hợp chế độ xem mới 4K với độ trung thực cao, một khả năng mà các phương pháp feed-forward trước đây không thể thực hiện được. Nó đạt được tái tạo chất lượng cao với số lượng primitive ít hơn đáng kể và không cần tối ưu hóa cho từng cảnh. LGTM liên tục vượt trội hơn các biến thể 3DGS và 2DGS trên tất cả các độ phân giải và chỉ số (LPIPS↓, SSIM↑, PSNR↑) đã thử nghiệm trên các tập dữ liệu RE10K và DL3DV trong các cài đặt hai chế độ xem, đơn chế độ xem và đa chế độ xem. Đối với độ phân giải 4K (ví dụ: 4096x2304), LGTM (primitive 512x288, texture 8x8) đào tạo và render thành công, trong khi NoPoSplat thất bại do hết bộ nhớ. Trong một thử nghiệm hiệu suất, so với NoPoSplat 512x288 2DGS, mô hình LGTM 4096x2304 (tăng 64 lần số pixel) chỉ yêu cầu 1.80 lần bộ nhớ cao nhất và 1.47 lần tổng thời gian, thể hiện hiệu quả cao khi mở rộng. Nghiên cứu cắt bỏ cũng xác nhận tầm quan trọng của việc giám sát độ phân giải cao, các đặc trưng hình ảnh đã được patch hóa, và cả bản đồ màu texture và alpha texture để render chất lượng cao.

IV. Conclusion & Future Works:​

LGTM là mạng feed-forward đầu tiên dự đoán các Gaussian có kết cấu để render độ phân giải cao, giải quyết rào cản về khả năng mở rộng độ phân giải đã hạn chế các phương pháp 3DGS feed-forward trước đây ở độ phân giải thấp. LGTM đạt được tổng hợp chế độ xem mới 4K một cách hiệu quả, chỉ yêu cầu tăng bộ nhớ 1.80 lần và thời gian 1.47 lần cho việc tăng 64 lần số lượng pixel. Các cải tiến nhất quán trên nhiều phương pháp cơ sở (Flash3D, NoPoSplat, DepthSplat, VGGT) chứng minh khả năng ứng dụng rộng rãi của phương pháp này. Tuy nhiên, chất lượng tái tạo của LGTM vẫn phụ thuộc nhiều vào chất lượng hình học. Ngoài ra, framework hiện tại hoạt động với các độ phân giải texture được xác định trước, đòi hỏi điều chỉnh thủ công kích thước texture để cân bằng chất lượng và chi phí tính toán. Việc mở rộng LGTM đa chế độ xem sang độ phân giải 4K vẫn còn là một thách thức do hạn chế về bộ nhớ và được để lại cho công việc trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa chất lượng hình học cho Textured Gaussian Splatting: Phát triển các phương pháp mạnh mẽ hơn để trích xuất hoặc cải thiện hình học cơ bản, đặc biệt trong các tình huống khó khăn như từ một chế độ xem duy nhất hoặc nhiều chế độ xem không có tư thế rõ ràng, nhằm tăng cường độ chính xác tổng thể của cảnh và độ ổn định của các Gaussian có kết cấu.
  2. Adaptive Texture Resolution cho Textured Gaussian Splatting: Nghiên cứu một cơ chế tự động điều chỉnh độ phân giải texture cho từng primitive Gaussian dựa trên độ phức tạp của texture hoặc khoảng cách đến camera. Điều này sẽ loại bỏ việc điều chỉnh thủ công và tối ưu hóa sự cân bằng giữa chất lượng hình ảnh và hiệu quả tính toán, tương tự như các kỹ thuật tối ưu hóa texture động trong đồ họa truyền thống.
  3. Mở rộng LGTM cho các kịch bản Multi-view 4K và Dynamic Scenes: Khám phá các kiến trúc mạng hoặc chiến lược đào tạo mới để mở rộng LGTM sang tái tạo và tổng hợp chế độ xem mới 4K trong cài đặt đa chế độ xem, giải quyết các hạn chế về bộ nhớ hiện tại. Đồng thời, nghiên cứu khả năng áp dụng LGTM cho các cảnh động, nơi hình học và kết cấu thay đổi theo thời gian, để đạt được hiệu suất thời gian thực.

2. Patent:​

  1. Hệ thống chụp ảnh 3D tức thì độ phân giải cao cho AR/VR trên điện thoại: Một ứng dụng trên điện thoại di động cho phép người dùng chụp một hoặc nhiều bức ảnh của một đối tượng hoặc cảnh, sau đó sử dụng công nghệ giống LGTM để tạo ra một mô hình 3D có kết cấu chi tiết, độ phân giải cao ngay lập tức. Mô hình này có thể được sử dụng trong các ứng dụng thực tế tăng cường (AR) để đặt vật thể ảo vào môi trường thực, hoặc trong các ứng dụng thực tế ảo (VR) để tạo ra các môi trường sống động chỉ từ ảnh chụp bằng điện thoại, giảm đáng kể thời gian xử lý và yêu cầu về tài nguyên.
  2. Công nghệ tái tạo cảnh động thời gian thực từ video trên điện thoại: Phát triển một hệ thống tích hợp vào camera điện thoại di động có khả năng phân tích luồng video trực tiếp và tạo ra các mô hình 3D của môi trường xung quanh một cách liên tục và theo thời gian thực. Bằng cách sử dụng các điểm hình học nhỏ gọn và bản đồ kết cấu chi tiết, hệ thống có thể duy trì độ phân giải cao và chi tiết hình ảnh ngay cả khi người dùng di chuyển, cho phép các ứng dụng như hướng dẫn điều hướng AR động hoặc tạo bản đồ 3D tức thì của một không gian mà không làm gián đoạn trải nghiệm người dùng.
  3. Bộ công cụ tối ưu hóa hiển thị nội dung 3D cho trò chơi và ứng dụng di động: Một công nghệ tích hợp vào các công cụ phát triển ứng dụng di động, cho phép các nhà phát triển tạo ra các đối tượng và cảnh 3D có độ chi tiết cao bằng cách sử dụng ít 'điểm' hình học hơn nhưng nhiều 'kết cấu' hơn. Điều này giúp giảm đáng kể yêu cầu về bộ nhớ và sức mạnh xử lý của điện thoại, cho phép các trò chơi và ứng dụng hiển thị đồ họa 3D phức tạp hơn với hiệu suất mượt mà hơn và ít tiêu hao pin hơn, đồng thời tăng cường chất lượng hình ảnh mà người dùng trải nghiệm trên thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.25745
ArXiv Abstracthttps://arxiv.org/abs/2603.25745
PDF Downloadhttps://arxiv.org/pdf/2603.25745.pdf
Github RepositoryN/A