🤗 Daily Hugging Face Paper Digest - 2026-04-17
Báo cáo được tạo tự động vào lúc 2026-04-18 10:03:26 bằng mô hình gemini-2.5-flash.
📰 Summary of Papers
1. HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds (68 votes)
Tác giả: Team HY-World, Chenjie Cao, Xuhui Zuo, Zhenwei Wang, Yisu Zhang, Junta Wu, Zhenyang Liu, Yuning Gong, Yang Liu, Bo Yuan, Chao Zhang, Coopers Li, Dongyuan Guo, Fan Yang, Haiyu Zhang, Hang Cao, Jianchen Zhu, Jiaxin Lin, Jie Xiao, Jihong Zhang, Junlin Yu, Lei Wang, Lifu Wang, Lilin Wang, Linus, Minghui Chen, Peng He, Penghao Zhao, Qi Chen, Rui Chen, Rui Shao, Sicong Liu, Wangchen Qin, Xiaochuan Niu, Xiang Yuan, Yi Sun, Yifei Tang, Yifu Sun, Yihang Lian, Yonghao Tan, Yuhong Liu, Yuyang Yin, Zhiyuan Min, Tengfei Wang, Chunchao Guo
Xuất bản lúc: 2026-04-15
Tag: 3D Gaussian Splatting, World Model, Multi-modal, Generative AI, 3D Reconstruction, Diffusion Models
I. Main Problem:
Các giải pháp mô hình hóa thế giới 3D hiện tại thường bị phân hóa, chuyên biệt hóa vào việc tạo lập hoặc tái tạo. Các phương pháp tạo lập thường gặp khó khăn trong việc duy trì độ chính xác tái tạo nghiêm ngặt, trong khi các phương pháp tái tạo lại thiếu các khả năng tạo lập cần thiết để hình dung các vùng chưa từng thấy. Cộng đồng mã nguồn mở còn thiếu một mô hình thế giới nền tảng đa phương thức, toàn diện, có thể kết nối khoảng cách giữa việc tạo lập giàu trí tưởng tượng và tái tạo vật lý chính xác.
II. Main Idea:
HY-World 2.0 được giới thiệu là một khung mô hình thế giới đa phương thức, mã nguồn mở, thống nhất cả khả năng tạo lập thế giới (từ văn bản hoặc hình ảnh đơn lẻ) và tái tạo thế giới (từ nhiều hình ảnh hoặc video). Để tạo lập thế giới, mô hình sử dụng quy trình bốn giai đoạn: a) Tạo Panorama (HY-Pano 2.0) để tổng hợp các cảnh 3D Gaussian Splatting (3DGS) chất lượng cao và có thể điều hướng; b) Lập kế hoạch quỹ đạo (WorldNav) để tạo ra các đường đi camera tối ưu; c) Mở rộng thế giới (WorldStereo 2.0) sử dụng cơ chế bộ nhớ nhất quán và tạo khung hình chính có hướng dẫn camera để tổng hợp các góc nhìn mới; và d) Tổng hợp thế giới (WorldComposition) để tái tạo môi trường 3D bằng WorldMirror 2.0 đã nâng cấp và tối ưu hóa 3DGS. Đối với tái tạo thế giới, WorldMirror 2.0 được cải tiến để phục hồi cấu trúc 3D chính xác từ nhiều hình ảnh hoặc video. Ngoài ra, WorldLens, một nền tảng kết xuất 3DGS hiệu suất cao, được giới thiệu để khám phá thế giới 3D tương tác.
III. Main Results:
HY-World 2.0 đạt được hiệu suất vượt trội so với các phương pháp mã nguồn mở hiện có trên một số điểm chuẩn và mang lại kết quả có thể so sánh với mô hình Marble đóng mã nguồn. Các thí nghiệm sâu rộng đã chứng minh tính ưu việt và khả năng cạnh tranh của mô hình. Dự án cũng công bố tất cả các trọng số mô hình, mã nguồn và chi tiết kỹ thuật để tạo điều kiện tái lập và hỗ trợ nghiên cứu sâu hơn về các mô hình thế giới 3D.
IV. Conclusion & Future Works:
HY-World 2.0 là một mô hình thế giới đa phương thức tiên tiến, có khả năng tái tạo, tạo lập và mô phỏng thế giới 3D một cách liền mạch từ nhiều loại đầu vào. Nó giải quyết thách thức cốt lõi về sự phân hóa giữa các phương pháp tạo lập và tái tạo 3D. Việc phát hành mã nguồn mở các thành phần của HY-World 2.0 nhằm mục đích dân chủ hóa trí tuệ không gian và cung cấp một nền tảng vững chắc cho nghiên cứu trong tương lai về các mô hình thế giới.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu sâu hơn về các cơ chế bộ nhớ (memory mechanisms) để duy trì tính nhất quán hình học và thị giác trong việc mở rộng thế giới 3D từ các chuỗi khung hình chính (keyframes) được tạo ra, đặc biệt trong các môi trường động và phức tạp.
- Phát triển các phương pháp tạo panorama thích ứng và có độ trung thực cao hơn từ các đầu vào đa dạng (văn bản, hình ảnh đơn lẻ), đặc biệt là trong các kịch bản thực tế với dữ liệu không được hiệu chỉnh và góc nhìn thay đổi.
- Khám phá việc tích hợp các mô hình thế giới 3D với các tác nhân AI (embodied AI agents) để cho phép tương tác và điều hướng thông minh hơn trong các môi trường 3D được tạo ra và tái tạo, bao gồm lập kế hoạch hành động và học tăng cường.
2. Patent:
- Ứng dụng quét và tạo mô hình 3D thực tế ảo (AR) trên điện thoại: Một ứng dụng di động cho phép người dùng quét môi trường xung quanh bằng camera của điện thoại (sử dụng nhiều góc nhìn hoặc video) để tạo ra mô hình 3D chất lượng cao. Mô hình này sau đó có thể được xem, tương tác hoặc chỉnh sửa trực tiếp trên điện thoại, ví dụ như thêm các vật thể ảo vào không gian thực qua AR.
- Hệ thống tạo môi trường 3D cá nhân hóa từ văn bản hoặc ảnh đơn trên di động: Một tính năng trên điện thoại cho phép người dùng nhập mô tả bằng văn bản (ví dụ: "một khu vườn Nhật Bản yên bình") hoặc cung cấp một bức ảnh duy nhất, sau đó hệ thống sẽ tạo ra một thế giới 3D có thể khám phá được. Điều này có thể được dùng để tạo hình nền động, môi trường game nhỏ, hoặc các trải nghiệm thực tế ảo cá nhân.
- Công cụ lập kế hoạch và khám phá thế giới 3D thông minh trên điện thoại: Một ứng dụng tích hợp AI trên điện thoại di động có khả năng tạo ra các lộ trình khám phá tối ưu trong một môi trường 3D được tạo ra hoặc tái tạo. Người dùng có thể chỉ định mục tiêu (ví dụ: "tìm đường đến cửa hàng gần nhất" hoặc "khám phá toàn bộ căn phòng"), và ứng dụng sẽ tự động tính toán và hiển thị một hành trình trực quan, đồng thời tái tạo hoặc mở rộng môi trường 3D xung quanh theo thời gian thực.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.14268 |
| ArXiv Abstract | https://arxiv.org/abs/2604.14268 |
| PDF Download | https://arxiv.org/pdf/2604.14268.pdf |
| Github Repository | https://github.com/Tencent-Hunyuan/HY-World-2.0 |
2. RAD-2: Scaling Reinforcement Learning in a Generator-Discriminator Framework (21 votes)
Tác giả: Hao Gao, Shaoyu Chen, Yifan Zhu, Yuehao Song, Wenyu Liu, Qian Zhang, Xinggang Wang
Xuất bản lúc: 2026-04-16
Tag: Reinforcement Learning, Diffusion Models, Autonomous Driving, Motion Planning, Generator-Discriminator, Simulation, BEV, Policy Optimization
I. Main Problem:
Các hệ thống lái xe tự hành cấp cao cần bộ lập kế hoạch chuyển động có khả năng mô hình hóa sự không chắc chắn đa phương thức trong tương lai và duy trì sự mạnh mẽ trong tương tác vòng lặp kín. Tuy nhiên, các bộ lập kế hoạch dựa trên Diffusion thường gặp phải sự bất ổn ngẫu nhiên và thiếu phản hồi tiêu cực khi chỉ được huấn luyện bằng học bắt chước (Imitation Learning - IL). Ngoài ra, việc áp dụng trực tiếp các phần thưởng vô hướng, ít chiều (RL) vào không gian hành động có chiều cao, cấu trúc theo thời gian (các quỹ đạo) dẫn đến vấn đề gán tín dụng (credit assignment) nghiêm trọng và tối ưu hóa không ổn định. Các môi trường mô phỏng hiện có cũng còn nhiều hạn chế về khoảng cách giữa mô phỏng và thực tế (sim-to-real gap), chi phí và hiệu suất.
II. Main Idea:
RAD-2 đề xuất một khung phát-phân loại (generator-discriminator) thống nhất để lập kế hoạch vòng lặp kín. Cụ thể, một bộ phát dựa trên Diffusion tạo ra các quỹ đạo ứng cử viên đa dạng, trong khi một bộ phân loại được tối ưu hóa bằng Học tăng cường (RL) sẽ sắp xếp lại các ứng cử viên này theo chất lượng lái xe dài hạn của chúng. Thiết kế tách rời này tránh việc áp dụng trực tiếp phần thưởng vô hướng thưa thớt vào không gian quỹ đạo có chiều cao, giúp cải thiện sự ổn định của quá trình tối ưu hóa. Để tăng cường RL, RAD-2 giới thiệu Tối ưu hóa chính sách tương đối nhóm nhất quán theo thời gian (Temporally Consistent Group Relative Policy Optimization - TC-GRPO) để tận dụng sự mạch lạc về thời gian và giảm nhẹ vấn đề gán tín dụng. Ngoài ra, Tối ưu hóa bộ phát theo chính sách (On-policy Generator Optimization - OGO) được đề xuất để chuyển đổi phản hồi vòng lặp kín thành tín hiệu tối ưu hóa theo chiều dọc có cấu trúc, dần dần dịch chuyển bộ phát về phía các miền quỹ đạo có phần thưởng cao. Để hỗ trợ huấn luyện quy mô lớn hiệu quả, BEV-Warp, một môi trường mô phỏng thông lượng cao, được giới thiệu để thực hiện đánh giá vòng lặp kín trực tiếp trong không gian đặc trưng góc nhìn từ trên xuống (Bird’s-Eye View - BEV) thông qua biến dạng không gian (spatial warping).
III. Main Results:
RAD-2 giảm tỷ lệ va chạm (collision rate) tới 56% so với các bộ lập kế hoạch dựa trên Diffusion mạnh mẽ. Trong các kịch bản định hướng an toàn của môi trường BEV-Warp, tỷ lệ va chạm (CR) giảm từ 0.533 xuống 0.234 và tỷ lệ va chạm do lỗi (AF-CR) giảm từ 0.264 xuống 0.092. Các chỉ số an toàn Safety@1s và Safety@2s tăng đáng kể. Trong các kịch bản định hướng hiệu quả, chỉ số Ego Progress Mean (EP-Mean) cải thiện từ 0.970 lên 0.988, và các chỉ số hoàn thành tuyến đường EP@1.0/0.9 tăng từ 0.516/0.894 lên 0.736/0.984. Trong môi trường mô phỏng quang thực 3DGS, phương pháp này đạt tỷ lệ va chạm thấp nhất (0.250) và Safety@1/2 cao nhất (0.723 và 0.644). Trong đánh giá vòng lặp mở (open-loop) trên Senna-2, RAD-2 đạt độ chính xác quỹ đạo cao nhất với ADE (0.208m) và FDE (0.553m) thấp nhất, cùng với rủi ro va chạm tối thiểu (CR 0.142%). Triển khai trong thế giới thực cũng cho thấy cải thiện về an toàn và độ mượt mà khi lái xe trong giao thông đô thị phức tạp.
IV. Conclusion & Future Works:
RAD-2 là một khung phát-phân loại thống nhất giải quyết các thách thức trong lập kế hoạch chuyển động cho xe tự hành bằng cách tách rời việc khám phá quỹ đạo dựa trên Diffusion và sắp xếp lại dựa trên RL. Các đóng góp chính bao gồm chiến lược tối ưu hóa chính sách chung tích hợp TC-GRPO và OGO, cùng với môi trường mô phỏng BEV-Warp hiệu quả. Kết quả thực nghiệm cho thấy RAD-2 cải thiện đáng kể tỷ lệ va chạm, an toàn nhận thức và độ mượt mà khi lái xe. Hướng nghiên cứu trong tương lai có thể tập trung vào việc khám phá các cách tích hợp mô hình thế giới tiên tiến hơn để tăng cường độ chân thực của cảnh quan và khả năng dự đoán tầm xa trong môi trường mô phỏng, đồng thời xem xét các chiến lược tối ưu hóa động cho các tham số chính sách để thích ứng tốt hơn với các tình huống lái xe phức tạp.
V. Brainstorming Space:
1. Publish Papers:
- Tích hợp mô hình thế giới sinh tạo trong môi trường mô phỏng BEV-Warp: Nghiên cứu cách kết hợp các mô hình thế giới sinh tạo tiên tiến (ví dụ: dựa trên diffusion hoặc transformer) vào BEV-Warp để không chỉ biến dạng các đặc trưng BEV có sẵn mà còn tạo ra các yếu tố động mới hoặc thay đổi cảnh quan một cách chân thực, cho phép huấn luyện RL trên các kịch bản đa dạng và linh hoạt hơn mà không cần dữ liệu ghi lại thực tế cho mọi tình huống.
- Tối ưu hóa thích nghi cho tham số nhất quán thời gian trong RL: Phát triển một phương pháp để điều chỉnh động tham số
H_reuse(thời gian tái sử dụng quỹ đạo) trong TC-GRPO dựa trên độ phức tạp của môi trường hoặc mức độ không chắc chắn. Thay vì một giá trị cố định, thuật toán sẽ tự học cách cân bằng giữa việc duy trì sự nhất quán hành vi và khả năng phản ứng nhanh với các thay đổi đột ngột, từ đó cải thiện hiệu suất và sự ổn định của chính sách trong các tình huống lái xe đa dạng. - Mở rộng khung Generator-Discriminator cho lập kế hoạch đa tác nhân: Nghiên cứu áp dụng và mở rộng khung RAD-2 để xử lý các kịch bản lập kế hoạch chuyển động cho nhiều tác nhân (multi-agent). Bộ phát sẽ tạo ra các quỹ đạo phối hợp cho nhiều phương tiện và bộ phân loại sẽ đánh giá chất lượng của các hành vi tương tác tập thể, tập trung vào việc tránh va chạm, hiệu quả lưu thông và sự phối hợp giữa các tác nhân trong môi trường giao thông phức tạp.
2. Patent:
- Hệ thống hỗ trợ lái xe an toàn thông minh trên điện thoại: Một ứng dụng di động sử dụng camera của điện thoại để liên tục quét và phân tích môi trường xung quanh xe. Dựa trên các thuật toán tương tự bộ phân loại trong RAD-2, ứng dụng sẽ đánh giá các quỹ đạo lái xe tiềm năng và cảnh báo người dùng về các nguy cơ va chạm hoặc tình huống lái xe không an toàn thông qua âm thanh hoặc rung, giúp người lái xe chủ động hơn trong việc phòng tránh rủi ro.
- Ứng dụng định tuyến và đánh giá rủi ro giao thông thời gian thực: Một tính năng mới cho ứng dụng bản đồ trên điện thoại, không chỉ cung cấp các tuyến đường mà còn tích hợp một mô hình AI (lấy cảm hứng từ bộ phân loại RL) để đánh giá "điểm an toàn" hoặc "điểm hiệu quả" của mỗi tuyến đường được đề xuất, dựa trên dữ liệu giao thông trực tiếp, lịch sử tai nạn và các yếu tố môi trường khác. Người dùng có thể chọn tuyến đường không chỉ dựa trên thời gian mà còn dựa trên mức độ an toàn mong muốn.
- Hệ thống hướng dẫn đỗ xe tự động đơn giản bằng camera điện thoại: Một ứng dụng trên điện thoại di động sử dụng camera của thiết bị để quét không gian đỗ xe. Ứng dụng sẽ sinh ra các quỹ đạo đỗ xe khả thi (tương tự như bộ phát quỹ đạo) và sau đó đánh giá quỹ đạo tối ưu (như bộ phân loại) để hướng dẫn người dùng từng bước thông qua các chỉ dẫn trực quan trên màn hình, giúp việc đỗ xe trở nên dễ dàng và chính xác hơn, đặc biệt trong các không gian chật hẹp.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.15308 |
| ArXiv Abstract | https://arxiv.org/abs/2604.15308 |
| PDF Download | https://arxiv.org/pdf/2604.15308.pdf |
| Github Repository | https://github.com/hustvl/RAD |
3. DR^{3}-Eval: Towards Realistic and Reproducible Deep Research Evaluation (21 votes)
Tác giả: Qianqian Xie, Qingheng Xiong, He Zhu, Tiantian Xia, Xueming Han, Fanyu Meng, Jiakai Wang, Zhiqi Bai, Chengkang Jiang, Zhaohui Wang, Yubin Guo, Yuqing Wen, Jiayang Mao, Zijie Zhang, Shihao Li, Yanghai Wang, Yuxiang Ren, Junlan Feng, Jiaheng Liu
Xuất bản lúc: 2026-04-16
Tag: Deep Research Agents, LLMs, Evaluation, Benchmarks, Multimodal, RAG, Reproducibility, Hallucination
I. Main Problem:
Các Deep Research Agents (DRAs) nhằm giải quyết các nhiệm vụ nghiên cứu phức tạp, dài hơi liên quan đến lập kế hoạch, truy xuất, hiểu biết đa phương thức và tạo báo cáo. Tuy nhiên, việc đánh giá hiệu quả của chúng vẫn còn nhiều thách thức do môi trường web động và định nghĩa nhiệm vụ mơ hồ. Các phương pháp đánh giá hiện có gặp phải mâu thuẫn cơ bản giữa tính thực tế, khả năng kiểm soát và khả năng tái sản xuất. Cụ thể, các benchmark hiện tại thường dựa vào truy cập web trực tiếp (khó tái sản xuất), bỏ qua thông tin gây nhiễu/sai lệch trong thế giới thực, hoặc chỉ tập trung vào truy vấn văn bản mà thiếu các kịch bản nghiên cứu đích thực của người dùng với tài liệu đa phương thức.
II. Main Idea:
Các tác giả đề xuất DR3-Eval, một benchmark thực tế và có khả năng tái sản xuất để đánh giá các tác nhân nghiên cứu sâu trong việc tạo báo cáo đa phương thức, đa tệp. DR3-Eval được xây dựng từ các tài liệu do người dùng cung cấp đích thực và được ghép nối với một corpus sandbox nghiên cứu tĩnh, riêng biệt cho từng nhiệm vụ, mô phỏng sự phức tạp của web mở nhưng vẫn hoàn toàn có thể kiểm chứng, chứa các tài liệu hỗ trợ, tài liệu gây nhiễu và nhiễu. Hơn nữa, các tác giả giới thiệu một khung đánh giá đa chiều đo lường Information Recall, Factual Accuracy, Citation Coverage, Instruction Following và Depth Quality, đồng thời xác nhận sự phù hợp của nó với đánh giá của con người. Để chứng minh tiện ích của DR3-Eval, các tác giả đã phát triển DR3-Agent, một hệ thống đa tác nhân dựa trên các mô hình ngôn ngữ tiên tiến, có khả năng xử lý các truy vấn văn bản và tệp đa phương thức (văn bản, hình ảnh, video, âm thanh) từ người dùng.
III. Main Results:
Các thử nghiệm với hệ thống đa tác nhân DR3-Agent cho thấy DR3-Eval rất thách thức và bộc lộ các chế độ lỗi nghiêm trọng trong khả năng truy xuất mạnh mẽ và kiểm soát ảo giác. Claude Sonnet 4 đạt kết quả tốt nhất. Các ngữ cảnh dài hơn dẫn đến hiệu suất thấp hơn trên tất cả các mô hình, cho thấy sự khó khăn trong việc thu thập thông tin giá trị từ các ngữ cảnh ồn ào hơn. Việc tuân thủ hướng dẫn tốt hơn không phải lúc nào cũng dẫn đến độ chính xác thực tế cao hơn, cho thấy một số mô hình ưu tiên tạo báo cáo 'trông có vẻ' hoàn chỉnh hơn là chính xác. Phân tích lỗi cho thấy ảo giác vẫn là nguyên nhân chính gây thất bại cho hầu hết các mô hình, cho thấy thách thức cốt lõi là khả năng các mô hình bám sát bằng chứng bên ngoài khi tạo báo cáo cuối cùng.
IV. Conclusion & Future Works:
DR3-Eval cung cấp một benchmark thực tế, có thể tái sản xuất và đa phương thức để đánh giá các tác nhân nghiên cứu sâu trong việc tạo báo cáo, khắc phục những hạn chế của các công trình trước đây. Công trình này giới thiệu một quy trình xây dựng nhiệm vụ dựa trên sandbox được kiểm soát, cân bằng giữa sự phức tạp của thế giới thực với khả năng đánh giá có thể kiểm chứng. Các phân tích và chẩn đoán thực nghiệm toàn diện mang lại những hiểu biết mới về điểm mạnh và hạn chế của các LLM hiện tại với tư cách là DRAs. Mã nguồn và dữ liệu của chúng tôi được công khai, tạo cơ sở cho các nghiên cứu và phát triển trong tương lai về các tác nhân nghiên cứu sâu.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu về cơ chế kiểm soát ảo giác (hallucination) trong các Deep Research Agents (DRAs): Phát triển các phương pháp và kiến trúc mới để giảm thiểu ảo giác trong quá trình tạo báo cáo, đặc biệt khi các tác nhân phải tổng hợp thông tin từ nhiều nguồn ồn ào và không nhất quán, cải thiện độ tin cậy của các báo cáo do AI tạo ra.
- Tối ưu hóa chiến lược truy xuất thông tin đa phương thức trong môi trường sandbox: Khám phá các thuật toán truy xuất và lập kế hoạch tìm kiếm hiệu quả hơn cho các tác nhân nghiên cứu sâu, đặc biệt là khi xử lý các loại dữ liệu đa phương thức (văn bản, hình ảnh, video, âm thanh) và phải phân biệt giữa thông tin hỗ trợ, gây nhiễu và nhiễu để nâng cao hiệu quả tìm kiếm.
- Phát triển các phương pháp đánh giá tự động cho chất lượng phân tích chuyên sâu: Mở rộng khung đánh giá đa chiều của DR3-Eval bằng cách nghiên cứu các chỉ số và mô hình đánh giá mới, có khả năng đo lường sâu hơn chất lượng lập luận, tính sáng tạo và khả năng tổng hợp kiến thức của các tác nhân nghiên cứu, vượt ra ngoài các tiêu chí hiện có để cung cấp cái nhìn toàn diện hơn.
2. Patent:
- Hệ thống tóm tắt và phân tích tài liệu đa phương thức thông minh trên điện thoại: Một ứng dụng di động cho phép người dùng tải lên nhiều loại tài liệu (PDF, hình ảnh, video ghi âm cuộc họp) và nhận được bản tóm tắt, phân tích chuyên sâu, cùng với các trích dẫn nguồn cụ thể. Hệ thống sẽ sử dụng một "sandbox" cục bộ trên thiết bị hoặc đám mây để đảm bảo tính riêng tư và khả năng tái sản xuất kết quả, đồng thời giúp người dùng nhanh chóng nắm bắt "bức tranh lớn" từ các thông tin rời rạc.
- Trợ lý nghiên cứu di động với khả năng lọc nhiễu và thông tin sai lệch: Một ứng dụng trên điện thoại thông minh tích hợp trợ lý AI giúp người dùng thực hiện các tác vụ nghiên cứu bằng cách tìm kiếm thông tin trên web, nhưng có khả năng đặc biệt là nhận diện và cảnh báo về các nguồn thông tin cũ, một chiều hoặc không chính xác. Ứng dụng này sẽ cung cấp một "hộp cát" thông tin được kiểm soát để huấn luyện AI, giúp người dùng đưa ra các quyết định sáng suốt hơn dựa trên thông tin đáng tin cậy.
- Công cụ tạo báo cáo tự động từ các ghi chú và tệp người dùng trên di động: Một tính năng trong ứng dụng ghi chú hoặc quản lý tài liệu trên điện thoại, cho phép người dùng chọn một tập hợp các ghi chú, hình ảnh, hoặc bản ghi âm và yêu cầu AI tổng hợp chúng thành một báo cáo có cấu trúc, kèm theo các trích dẫn. AI sẽ tự động lập kế hoạch, truy xuất thông tin liên quan từ các tệp được cung cấp và tạo ra một báo cáo mạch lạc, giúp tiết kiệm thời gian và công sức cho người dùng di động khi cần tổng hợp thông tin nhanh chóng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.14683 |
| ArXiv Abstract | https://arxiv.org/abs/2604.14683 |
| PDF Download | https://arxiv.org/pdf/2604.14683.pdf |
| Github Repository | https://github.com/NJU-LINK/DR3-Eval |
4. How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data (19 votes)
Tác giả: Zixian Huang, Kaichen Yang, Xu Huang, Feiyang Hao, Qiming Ge, Bowen Li, He Du, Kai Chen, Qipeng Guo
Xuất bản lúc: 2026-03-23
Tag: SFT, LLMs, Reasoning Models, Code Generation, Data Synthesis, Teacher-Student Learning, Catastrophic Forgetting, Distribution Alignment
I. Main Problem:
Việc sử dụng dữ liệu tổng hợp trực tiếp từ một mô hình "giáo viên" mạnh hơn để tinh chỉnh có giám sát (SFT) các mô hình suy luận "học sinh" thường không cải thiện được khả năng suy luận và thậm chí có thể làm giảm hiệu suất. Vấn đề chính là sự khác biệt đáng kể về phong cách giữa dữ liệu do giáo viên tạo ra và phân phối của học sinh, cũng như nguy cơ "quên thảm khốc" khi đưa dữ liệu chất lượng cao nhưng có phân phối khác biệt, đặc biệt khi các bộ dữ liệu huấn luyện gốc của mô hình suy luận thường không được công khai.
II. Main Idea:
Các tác giả đề xuất một framework tổng hợp dữ liệu hợp tác giữa Giáo viên và Học sinh (Teacher–Student Cooperation Data Synthesis framework - TESSY). TESSY xen kẽ giữa mô hình giáo viên và mô hình học sinh để luân phiên tạo ra các token liên quan đến khả năng (capability tokens, ví dụ: mã, số) và các token liên quan đến phong cách (style tokens, ví dụ: từ nối, cách diễn đạt). Mô hình giáo viên mạnh hơn sẽ tạo ra nội dung liên quan đến khả năng để đảm bảo tính chính xác của suy luận, trong khi mô hình học sinh sẽ tạo ra các phần liên quan đến phong cách để duy trì sự nhất quán với phân phối dữ liệu của chính học sinh. TESSY sử dụng chiến lược "tạo rồi hoàn tác" (generate-then-rollback) với các bộ dự đoán ranh giới (boundary predictors) để kiểm soát chính xác việc phân chia trách nhiệm tạo token, đảm bảo các chuỗi tổng hợp kế thừa khả năng suy luận tiên tiến của giáo viên trong khi vẫn duy trì phong cách của học sinh.
III. Main Results:
Khi tinh chỉnh Qwen3-8B trên dữ liệu do giáo viên tạo trực tiếp, hiệu suất giảm 3.25% trên LiveCodeBench-Pro và 10.02% trên OJBench. Trong khi đó, TESSY cải thiện hiệu suất của Qwen3-8B lên 11.25% và 6.68% trên các benchmark tương ứng. TESSY cũng cho thấy khả năng tổng quát hóa, mang lại lợi ích nhất quán khi sử dụng với các mô hình giáo viên và học sinh khác nhau (ví dụ: DeepSeek-R1, Qwen3-235B, Qwen3-30B-A3B), và cải thiện hiệu suất trên các bộ dữ liệu ngoài miền như AIME2024 và AIME2025. Dữ liệu được tổng hợp bởi TESSY trực tiếp vượt trội hơn mô hình giáo viên GPT-OSS-120B 10.99% về chất lượng trên OJBench (với độ dài tối đa 40K token). Nghiên cứu cũng chỉ ra rằng việc SFT trên các mô hình suy luận (đã được huấn luyện sâu) hiệu quả hơn đáng kể so với các mô hình cơ bản (base models).
IV. Conclusion & Future Works:
Để giải quyết thách thức trong việc cải thiện các mô hình suy luận thông qua tinh chỉnh có giám sát, chúng tôi đề xuất framework tổng hợp dữ liệu hợp tác giữa giáo viên và học sinh, nơi cả hai mô hình luân phiên tổng hợp các phản hồi để huấn luyện. Bằng cách để mô hình học sinh tham gia vào quá trình tổng hợp dữ liệu, phương pháp của chúng tôi bảo tồn thông tin suy luận cần thiết từ giáo viên đồng thời căn chỉnh phân phối dữ liệu tổng hợp với phong cách vốn có của học sinh. Trong tương lai, chúng tôi sẽ tinh chỉnh thêm framework để nhận diện ranh giới phong cách và khả năng chính xác và hiệu quả hơn. Ngoài ra, chúng tôi dự định mở rộng mô hình hợp tác này sang một loạt các tác vụ và thiết lập mô hình không đồng nhất rộng hơn, khám phá tiềm năng của nó cho sự hợp tác đa mô hình có thể mở rộng.
V. Brainstorming Space:
1. Publish Papers:
- Cải thiện cơ chế dự đoán ranh giới động cho TESSY: Nghiên cứu các phương pháp tiên tiến để nhận diện chính xác và hiệu quả hơn các ranh giới giữa token khả năng và token phong cách, có thể bao gồm việc sử dụng các mô hình học sâu mới (ví dụ: Transformer với cơ chế chú ý tăng cường ngữ cảnh) hoặc kỹ thuật học tăng cường để tối ưu hóa quyết định chuyển đổi giữa giáo viên và học sinh.
- Mở rộng TESSY sang các tác vụ suy luận đa phương thức: Khám phá cách framework hợp tác giáo viên-học sinh có thể được áp dụng cho các tác vụ suy luận phức tạp liên quan đến nhiều loại dữ liệu (ví dụ: hình ảnh, video, âm thanh kết hợp với văn bản). Điều này sẽ yêu cầu định nghĩa lại "token khả năng" và "token phong cách" trong bối cảnh đa phương thức và phát triển các bộ dự đoán ranh giới phù hợp.
- Hợp tác đa mô hình có thể mở rộng cho suy luận dài hạn: Phát triển một framework nơi nhiều mô hình chuyên biệt (không chỉ một giáo viên và một học sinh) có thể cộng tác động một cách linh hoạt để giải quyết các vấn đề suy luận phức tạp, dài hạn. TESSY có thể là nền tảng cho việc tạo ra một mạng lưới các mô hình, mỗi mô hình đóng góp vào một khía cạnh cụ thể của suy luận hoặc phong cách, và chuyển đổi giữa chúng dựa trên yêu cầu của tác vụ.
2. Patent:
- Trợ lý mã hóa thông minh với khả năng thích ứng phong cách cá nhân trên di động: Một ứng dụng IDE hoặc công cụ hỗ trợ lập trình trên điện thoại di động sử dụng framework tương tự TESSY. Khi người dùng (học sinh) viết mã, ứng dụng sẽ đề xuất các đoạn mã hoặc sửa lỗi (khả năng từ mô hình giáo viên mạnh mẽ) nhưng đảm bảo rằng các đề xuất này tuân thủ phong cách mã hóa (định dạng, đặt tên biến, cấu trúc) mà người dùng thường sử dụng hoặc đã thiết lập (phong cách từ mô hình học sinh/dữ liệu người dùng). Điều này giúp các đề xuất AI trở nên liền mạch và phù hợp với thói quen của nhà phát triển di động.
- Công cụ tạo nội dung tin nhắn cá nhân hóa trên điện thoại: Một tính năng AI tích hợp vào ứng dụng nhắn tin hoặc email trên điện thoại. Khi người dùng muốn soạn tin nhắn, email hoặc bài đăng mạng xã hội, công cụ này sẽ sử dụng một mô hình ngôn ngữ mạnh (giáo viên) để đảm bảo nội dung chính xác, mạch lạc và chuyên nghiệp (khả năng). Đồng thời, nó sẽ điều chỉnh giọng điệu, cách dùng từ, cấu trúc câu và phong cách tổng thể để phù hợp với phong cách viết cá nhân của người dùng (phong cách từ mô hình học sinh được huấn luyện trên lịch sử tin nhắn của người dùng), giúp các tin nhắn do AI tạo ra nghe tự nhiên và chân thực như chính người dùng viết.
- Trợ lý học tập di động thích ứng phong cách giải thích: Một ứng dụng giáo dục trên điện thoại cung cấp lời giải thích hoặc hướng dẫn giải bài tập cá nhân hóa. Khi học sinh gặp khó khăn với một khái niệm, AI của ứng dụng (giáo viên) sẽ cung cấp các giải thích chính xác và chi tiết (khả năng). Tuy nhiên, nó sẽ trình bày các giải thích này bằng cách sử dụng từ vựng, cấu trúc câu và mức độ trang trọng (phong cách) phù hợp với phong cách học tập và các tương tác trước đây của học sinh với ứng dụng (mô hình học sinh). Điều này giúp học sinh tiếp thu kiến thức hiệu quả hơn, giảm thiểu cảm giác quá tải và làm cho trải nghiệm học tập trên di động trở nên hấp dẫn hơn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.14164 |
| ArXiv Abstract | https://arxiv.org/abs/2604.14164 |
| PDF Download | https://arxiv.org/pdf/2604.14164.pdf |
| Github Repository | https://github.com/CoopReason/TESSY |
5. ASGuard: Activation-Scaling Guard to Mitigate Targeted Jailbreaking Attack (17 votes)
Tác giả: Yein Park, Jungwoo Park, Jaewoo Kang
Xuất bản lúc: 2026-04-14
Tag: LLMs, AI Safety, Jailbreaking, Interpretability, Fine-tuning, Attention Mechanisms
I. Main Problem:
Các mô hình ngôn ngữ lớn (LLM), mặc dù đã được căn chỉnh an toàn, vẫn thể hiện hành vi từ chối dễ bị phá vỡ bởi những thay đổi ngôn ngữ đơn giản. Cụ thể, các cuộc tấn công jailbreaking mục tiêu như thay đổi thì (tense jailbreaking) cho thấy mô hình thường tuân thủ các yêu cầu độc hại khi được diễn đạt lại ở thì quá khứ. Điều này bộc lộ một khoảng cách khái quát hóa nghiêm trọng trong các phương pháp căn chỉnh hiện tại, vốn không hiểu rõ cơ chế bên trong của mô hình. Các phương pháp này thất bại trong việc khắc phục các lỗ hổng cụ thể mà không gây ra tác dụng phụ như "từ chối quá mức" (over-refusal) hoặc "quên thảm khốc" (catastrophic forgetting).
II. Main Idea:
Nghiên cứu giới thiệu ASGUARD (Activation-Scaling Guard), một khuôn khổ dựa trên phân tích cơ chế bên trong mô hình để khắc phục các lỗ hổng an toàn cục bộ một cách phẫu thuật. Phương pháp này gồm ba bước chính: 1) Sử dụng phân tích mạch (circuit analysis) để xác định các attention head cụ thể có liên quan nhân quả đến cuộc tấn công jailbreaking mục tiêu (ví dụ: tấn công thay đổi thì). 2) Huấn luyện một vector tỷ lệ (scaling vector) chính xác, theo kênh, để điều chỉnh lại kích hoạt của các head dễ bị tổn thương. 3) Áp dụng phương pháp này vào một quá trình "tinh chỉnh phòng ngừa" (preventative fine-tuning), buộc mô hình học một cơ chế từ chối mạnh mẽ hơn, sau đó tách bỏ vector tỷ lệ để tránh tăng cường từ chối quá mức.
III. Main Results:
ASGUARD đã giảm tỷ lệ tấn công thành công (ASR) của các cuộc tấn công jailbreaking mục tiêu một cách hiệu quả trên bốn mô hình LLM mã nguồn mở (Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, Gemma-2-9b-it, OLMo-2-1124-7B-Instruct) trong khi vẫn duy trì các khả năng chung và giảm thiểu tình trạng từ chối quá mức. Ví dụ, trên Llama-3.1, ASR giảm từ 42% xuống 8% cho tấn công thay đổi thì, từ 15% xuống 1% cho GCG và từ 30% xuống 13% cho LogiBreak. Phương pháp này đạt được sự cân bằng tối ưu giữa an toàn và tiện ích (Pareto-optimal balance), vượt trội hơn các phương pháp căn chỉnh khác như SFT và DPO, với ít suy giảm hiệu suất tổng thể hơn.
IV. Conclusion & Future Works:
Nghiên cứu đã xác định các attention head cụ thể dễ bị tấn công mục tiêu bằng cách sử dụng phân tích mạch transformer và chứng minh rằng các head này chịu trách nhiệm cho các cuộc tấn công thay đổi thì bằng cách bỏ qua cơ chế từ chối của mô hình. ASGUARD, một phương pháp căn chỉnh an toàn mục tiêu dựa trên phân tích cơ chế, đã thành công trong việc cân bằng giữa an toàn và tiện ích, đạt hiệu suất Pareto-tối ưu. Hướng phát triển trong tương lai bao gồm việc mở rộng hiệu quả của ASGUARD cho các biểu diễn phức tạp hơn và các kiến trúc mô hình khác (như distillation, MoE routing, mô hình huấn luyện trên dữ liệu tổng hợp), vốn có thể có cơ chế tính toán nội bộ khác biệt. Ngoài ra, cần có cách tiếp cận tỉ mỉ hơn cho các mô hình ngôn ngữ nhỏ (ví dụ: Phi-3-mini) do chúng quá nhạy cảm với can thiệp attention head, thúc đẩy việc phát triển các công cụ an toàn chính xác và nhận biết kiến trúc.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng ASGuard cho các kiến trúc LLM đa dạng: Nghiên cứu cách điều chỉnh và áp dụng ASGuard cho các kiến trúc mô hình ngôn ngữ lớn khác như các mô hình dựa trên Mixture-of-Experts (MoE), các mô hình được huấn luyện bằng chưng cất (distillation), hoặc các mô hình được huấn luyện trên dữ liệu tổng hợp, vốn có cơ chế tính toán nội bộ khác biệt.
- Ứng dụng ASGuard cho các loại tấn công Jailbreaking mới và phức tạp hơn: Điều tra khả năng của ASGuard trong việc xác định và giảm thiểu các lỗ hổng gây ra bởi các loại tấn công jailbreaking mới, không chỉ giới hạn ở việc thay đổi thì, mà còn bao gồm các tấn công khai thác biểu diễn tổng hợp hoặc các lỗ hổng ít cục bộ hơn.
- Phát triển công cụ an toàn nhận biết kiến trúc cho mô hình ngôn ngữ nhỏ (SLM): Nghiên cứu các phương pháp can thiệp attention head tinh vi và ít nhạy cảm hơn cho các mô hình ngôn ngữ nhỏ (như Phi-3-mini), nơi các can thiệp trực tiếp có thể gây ra suy giảm hiệu suất đáng kể, nhằm tạo ra các công cụ an toàn nhận biết kiến trúc cho SLM.
2. Patent:
- Hệ thống "An toàn Trợ lý AI Thông minh" trên điện thoại: Một tính năng tích hợp trên điện thoại di động giúp trợ lý AI (ví dụ: Siri, Google Assistant) từ chối các yêu cầu có hại một cách thông minh hơn. Khi người dùng hỏi những câu có thể được hiểu là độc hại nhưng được ngụy trang bằng cách thay đổi cách diễn đạt (ví dụ: sử dụng thì quá khứ để hỏi về cách chế tạo vật liệu nguy hiểm), hệ thống sẽ phân tích ý định thực sự và đưa ra câu trả lời từ chối an toàn, đồng thời giải thích lý do từ chối một cách rõ ràng và lịch sự, tránh việc từ chối nhầm các câu hỏi vô hại.
- Bộ lọc nội dung độc hại "Ngữ cảnh Thông minh" cho ứng dụng nhắn tin/mạng xã hội: Một công nghệ tích hợp vào ứng dụng nhắn tin hoặc mạng xã hội trên điện thoại, tự động phát hiện và cảnh báo người dùng về các tin nhắn có nội dung độc hại hoặc lừa đảo, ngay cả khi chúng được viết bằng cách cố tình thay đổi ngữ pháp hoặc thì. Hệ thống sẽ phân tích sâu sắc ngữ cảnh và ý định, không chỉ dựa vào từ khóa, để bảo vệ người dùng khỏi các mối đe dọa trực tuyến tinh vi mà các bộ lọc thông thường có thể bỏ qua.
- Công cụ "Kiểm soát Hành vi Ứng dụng AI" cho nhà phát triển di động: Một bộ công cụ hoặc API dành cho các nhà phát triển ứng dụng di động sử dụng AI, cho phép họ tinh chỉnh hành vi của các mô hình AI nhỏ tích hợp trong ứng dụng. Công cụ này giúp các nhà phát triển dễ dàng "vá" các lỗ hổng an toàn cụ thể trong AI của họ (ví dụ: ngăn AI tạo ra nội dung không phù hợp khi nhận các câu hỏi được ngụy trang) mà không làm ảnh hưởng đến các chức năng khác của ứng dụng, đảm bảo rằng AI hoạt động đúng mục đích và an toàn trên thiết bị di động.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2509.25843 |
| ArXiv Abstract | https://arxiv.org/abs/2509.25843 |
| PDF Download | https://arxiv.org/pdf/2509.25843.pdf |
| Github Repository | https://github.com/dmis-lab/ASGuard |
6. HiVLA: A Visual-Grounded-Centric Hierarchical Embodied Manipulation System (16 votes)
Tác giả: Tianshuo Yang, Guanyu Chen, Yutian Chen, Zhixuan Liang, Yitian Liu, Zanxin Chen, Chunpu Xu, Haotian Liang, Jiangmiao Pang, Yao Mu, Ping Luo
Xuất bản lúc: 2026-04-15
Tag: VLM, Robotic Manipulation, Embodied AI, Hierarchical Learning, Diffusion Transformer, Visual Grounding, Action Generation, Vision-Language-Action Models, Deep Learning
I. Main Problem:
Các mô hình Vision-Language-Action (VLA) end-to-end hiện tại, khi được tinh chỉnh trên dữ liệu điều khiển robot hạn chế, thường làm suy giảm khả năng suy luận sâu sắc của các mô hình Vision-Language Models (VLM) cơ sở. Sự "quên thảm khốc" này giới hạn khả năng tận dụng toàn bộ sức mạnh nhận thức của các VLM tiên tiến và gây khó khăn trong việc dịch thông tin được định vị bằng hình ảnh (visual grounding) thành các hành động vật lý chính xác, đặc biệt trong các tác vụ thao tác tinh tế và dài hạn trong môi trường lộn xộn.
II. Main Idea:
Đề xuất HiVLA, một khung làm việc phân cấp tập trung vào visual grounding, tách biệt rõ ràng việc lập kế hoạch ngữ nghĩa cấp cao khỏi điều khiển motor cấp thấp.
- Bộ lập kế hoạch VLM cấp cao: Thực hiện phân tách tác vụ và visual grounding để tạo ra các kế hoạch có cấu trúc, bao gồm hướng dẫn tác vụ con và một hộp giới hạn mục tiêu chính xác. Điều này bảo toàn khả năng suy luận zero-shot của VLM bằng cách tránh tinh chỉnh cấp thấp.
- Chuyên gia hành động DiT cấp thấp: Sử dụng một Diffusion Transformer (DiT) được trang bị cơ chế cross-attention phân tầng (cascaded cross-attention) mới. Cơ chế này lần lượt kết hợp:
- Ngữ cảnh hình ảnh toàn cục (global visual context).
- Các đặc trưng đối tượng độ phân giải cao, tập trung vào đối tượng (object-centric crops) với mã hóa vị trí tuyệt đối để duy trì nhận thức không gian.
- Ngữ nghĩa kỹ năng tác vụ con (subtask skill semantics). Thiết kế này cho phép DiT tập trung hoàn toàn vào việc thực thi mạnh mẽ và chính xác, tận dụng tối đa đầu ra nhận thức của VLM.
III. Main Results:
HiVLA vượt trội đáng kể so với các mô hình VLA end-to-end tiên tiến trong cả mô phỏng (RoboTwin 2.0 Benchmark) và thế giới thực. Cụ thể:
- Đạt tỷ lệ thành công tổng thể 83.3%, cải thiện 17.7% so với baseline mạnh H-RDT và 42.7% so với π0.
- Thể hiện hiệu quả vượt trội trong việc thực hiện các tác vụ dài hạn (long-horizon skill composition) và thao tác tinh vi với các vật thể nhỏ trong môi trường lộn xộn.
- Đặc biệt xuất sắc trong các tác vụ khó như "Move Stapler" (60% so với 34% của H-RDT) và "Stamp Seal" (76% so với 43% của H-RDT).
IV. Conclusion & Future Works:
HiVLA là một hệ thống VLA phân cấp hiệu quả, giải quyết vấn đề "quên thảm khốc" bằng cách tách rời lập kế hoạch cấp cao của VLM và điều khiển cấp thấp của chuyên gia hành động DiT, thông qua một cơ chế visual grounding tập trung. Thiết kế này cho phép cải thiện độc lập từng thành phần và tận dụng tối đa khả năng suy luận của VLM. Trong tương lai, việc nghiên cứu có thể tập trung vào việc mở rộng khả năng của hệ thống để xử lý các loại vật thể phức tạp hơn, các tương tác đa đối tượng, và thích ứng với các môi trường robot đa dạng hơn, cũng như tối ưu hóa hiệu quả tính toán của chuyên gia hành động DiT để triển khai trên các nền tảng có tài nguyên hạn chế.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu về khả năng thích ứng của HiVLA với các loại cảm biến và môi trường robot mới: Khám phá cách HiVLA có thể được mở rộng để tích hợp các loại đầu vào cảm biến khác nhau (ví dụ: cảm biến xúc giác, dữ liệu 3D từ LiDAR/độ sâu) và hoạt động hiệu quả trên các nền tảng robot có cấu hình khác nhau (ví dụ: robot di động, cánh tay robot nhiều bậc tự do hơn).
- Tối ưu hóa và nén mô hình DiT Action Expert cho triển khai biên (edge deployment): Nghiên cứu các phương pháp để giảm kích thước và độ phức tạp tính toán của DiT Action Expert, bao gồm lượng tử hóa, cắt tỉa (pruning) và chưng cất tri thức (knowledge distillation), nhằm cho phép triển khai hiệu quả trên các thiết bị robot hoặc thiết bị di động với tài nguyên hạn chế.
- Phát triển các chiến lược lập kế hoạch cấp cao thông minh hơn cho VLM Planner: Tập trung vào việc nâng cao khả năng của VLM Planner để xử lý các tác vụ ít được xác định (under-specified tasks), học hỏi từ phản hồi của con người (human feedback) để điều chỉnh kế hoạch, và tự động phục hồi sau lỗi thực thi bằng cách tạo ra các kế hoạch thay thế.
2. Patent:
- Hệ thống hỗ trợ thao tác vật thể chính xác trên điện thoại di động: Một ứng dụng di động sử dụng camera của điện thoại để nhận diện vật thể trong môi trường thực. Người dùng có thể chạm vào một vật thể trên màn hình và đưa ra lệnh bằng giọng nói (ví dụ: "nhặt chiếc cốc này"). Hệ thống sẽ xác định hộp giới hạn của vật thể, trích xuất thông tin chi tiết và hiển thị hướng dẫn trực quan (ví dụ: mũi tên, vùng tô sáng) trên màn hình để hướng dẫn người dùng thực hiện thao tác vật lý chính xác với vật thể đó, hữu ích cho người khiếm thị hoặc người cần hỗ trợ lắp ráp đồ vật.
- Công cụ lập kế hoạch và thực thi nhiệm vụ robot thông minh cho nhà thông minh: Một hệ thống tích hợp trên thiết bị trung tâm nhà thông minh hoặc điện thoại, cho phép người dùng ra lệnh bằng ngôn ngữ tự nhiên để robot gia đình thực hiện các tác vụ phức tạp (ví dụ: "dọn dẹp bàn ăn và đặt đồ vào máy rửa bát"). Hệ thống sẽ phân tách lệnh thành các bước nhỏ, sử dụng camera của robot để định vị các vật thể cần thao tác, và điều khiển robot thực hiện các hành động cần thiết một cách chính xác, đồng thời cung cấp phản hồi trực quan về tiến độ.
- Giao diện điều khiển robot từ xa bằng hình ảnh và giọng nói cho công nghiệp: Một ứng dụng trên máy tính bảng hoặc điện thoại thông minh cho phép kỹ thuật viên điều khiển robot trong môi trường công nghiệp từ xa. Người dùng có thể xem luồng video trực tiếp từ camera của robot, khoanh vùng vật thể trên màn hình và ra lệnh bằng giọng nói (ví dụ: "di chuyển bộ phận này sang kệ bên phải"). Hệ thống sẽ tự động dịch lệnh thành các hành động điều khiển robot chính xác, kết hợp thông tin hình ảnh toàn cục và chi tiết vật thể để đảm bảo an toàn và hiệu quả.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.14125 |
| ArXiv Abstract | https://arxiv.org/abs/2604.14125 |
| PDF Download | https://arxiv.org/pdf/2604.14125.pdf |
| Github Repository | N/A |
7. GlobalSplat: Efficient Feed-Forward 3D Gaussian Splatting via Global Scene Tokens (15 votes)
Tác giả: Roni Itkin, Noam Issachar, Yehonatan Keypur, Yehonatan Keypur, Anpei Chen, Sagie Benaim
Xuất bản lúc: 2026-04-16
Tag: 3D Gaussian Splatting, Novel View Synthesis, Feed-Forward Networks, Scene Representation, Deep Learning, Computer Vision
I. Main Problem:
Các giải pháp 3D Gaussian Splatting (3DGS) hiện có, dù dựa trên tối ưu hóa lặp hay suy luận feed-forward, đều gặp phải sự đánh đổi đáng kể giữa độ nhỏ gọn của biểu diễn, tốc độ tái tạo và độ trung thực của kết xuất. Vấn đề này chủ yếu do sự phụ thuộc vào các chiến lược phân bổ cục bộ, dựa trên kinh nghiệm mà thiếu nhận thức toàn cảnh về không gian 3D. Cụ thể, các phương pháp feed-forward hiện tại thường căn chỉnh theo pixel hoặc voxel, tạo ra sự dư thừa trong tài sản 3D khi chiếu ngược các pixel thành các nguyên thủy dày đặc, căn chỉnh theo góc nhìn. Khi thêm nhiều góc nhìn đầu vào, kích thước biểu diễn tăng lên và tính nhất quán toàn cục trở nên mong manh. Mục tiêu là tạo ra một tập hợp các Gaussian 3D cực kỳ nhỏ gọn từ nhiều góc nhìn đầu vào chỉ trong một lần chuyển tiếp mạng, với kiến trúc nhanh và nhẹ.
II. Main Idea:
GlobalSplat giới thiệu một khung làm việc dựa trên nguyên tắc "căn chỉnh trước, giải mã sau" (align first, decode later). Phương pháp này học một biểu diễn cảnh tiềm ẩn, toàn cục, nhỏ gọn, mã hóa đầu vào đa góc nhìn và giải quyết các mối tương ứng giữa các góc nhìn trước khi giải mã bất kỳ hình học 3D rõ ràng nào. Điều này cho phép tái tạo nhỏ gọn, nhất quán toàn cục mà không cần dựa vào các backbone dự đoán pixel được huấn luyện trước hoặc tái sử dụng các đặc trưng tiềm ẩn từ các baseline dày đặc. Bằng cách sử dụng một chương trình huấn luyện từ thô đến tinh (coarse-to-fine) dần dần tăng khả năng giải mã, GlobalSplat tự nhiên ngăn chặn sự phình to của biểu diễn. Kiến trúc của GlobalSplat sử dụng một bộ mã hóa hai nhánh lặp lại với cơ chế chú ý để tách rời hình học và bề ngoài, hợp nhất các đặc trưng từ tất cả các góc nhìn đầu vào thành một số lượng cố định các token cảnh tiềm ẩn. Một bộ giải mã chuyên biệt sau đó biến đổi các token nhận biết toàn cục này thành các Gaussian 3D rõ ràng.
III. Main Results:
GlobalSplat đạt được hiệu suất tổng hợp góc nhìn mới cạnh tranh trên RealEstate10K và ACID. Mô hình này chỉ sử dụng 16K Gaussian, ít hơn đáng kể so với các pipeline dày đặc, tạo ra kích thước tệp nhẹ chỉ 4MB. Hơn nữa, GlobalSplat cho phép suy luận nhanh hơn đáng kể so với các baseline, hoạt động dưới 78 mili giây trong một lần chuyển tiếp duy nhất. Cụ thể, đối với 24 góc nhìn đầu vào trên RealEstate10K, GlobalSplat đạt chất lượng tổng hợp góc nhìn mới rất cạnh tranh (28.5 PSNR), sử dụng chỉ 16K Gaussian, bộ nhớ GPU cực thấp (1.79 GB) và kích thước đĩa tối thiểu (<4 MB). GlobalSplat giảm số lượng nguyên thủy xuống hơn 99% so với các baseline dày đặc, trong khi duy trì ngân sách 16K Gaussian nghiêm ngặt, bất biến theo số lượng góc nhìn đầu vào.
IV. Conclusion & Future Works:
Bài báo đã xác định một hạn chế chính của các pipeline 3DGS feed-forward hiện tại trong các thiết lập ngữ cảnh lớn: các nguyên thủy thường được hình thành trong không gian căn chỉnh theo góc nhìn dày đặc và chỉ được căn chỉnh toàn cục sau đó, dẫn đến số lượng Gaussian quá lớn và trở thành nút thắt cổ chai về khả năng mở rộng. GlobalSplat đề xuất một khung làm việc 3DGS feed-forward mới, xây dựng một biểu diễn cảnh tiềm ẩn được căn chỉnh toàn cục trước, sau đó giải mã các Gaussian 3D rõ ràng (Align First, Decode Later). Điều này mang lại một điểm hoạt động thực tế mạnh mẽ hơn đáng kể cho việc tái tạo feed-forward, với biểu diễn Gaussian cực kỳ nhỏ gọn (2K-32K Gaussian, <4MB), yêu cầu ít bộ nhớ GPU cao điểm (1.79 GB) và tạo cảnh trong vòng chưa đầy 78 mili giây. Văn bản được cung cấp không đề cập rõ ràng đến các hướng công việc trong tương lai.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu kiến trúc token cảnh toàn cục động: Khám phá các phương pháp để tự động điều chỉnh số lượng và cấu trúc của các token cảnh tiềm ẩn dựa trên độ phức tạp của cảnh hoặc số lượng góc nhìn đầu vào, nhằm tối ưu hóa sự cân bằng giữa độ nén và chất lượng tái tạo.
- Mở rộng GlobalSplat cho tái tạo 3D tức thời và liên tục: Phát triển phiên bản GlobalSplat có khả năng xử lý luồng dữ liệu góc nhìn liên tục từ camera để tái tạo và cập nhật mô hình 3D trong thời gian thực, phục vụ các ứng dụng như robot hoặc AR động.
- Tích hợp kiến thức ngữ nghĩa vào biểu diễn Gaussian 3D: Nghiên cứu cách nhúng thông tin ngữ nghĩa (ví dụ: phân loại đối tượng, phân đoạn cảnh) vào các token cảnh toàn cục và Gaussian 3D, cho phép các ứng dụng hiểu biết cảnh sâu hơn và chỉnh sửa cảnh 3D thông minh.
2. Patent:
- Hệ thống tạo mô hình 3D đối tượng tức thì trên điện thoại di động: Một ứng dụng điện thoại cho phép người dùng quay video hoặc chụp một loạt ảnh của một đối tượng. Công nghệ GlobalSplat sẽ được sử dụng để tạo ra mô hình 3D Gaussian của đối tượng đó một cách nhanh chóng và cực kỳ nhỏ gọn, cho phép người dùng xem, chỉnh sửa hoặc chia sẻ mô hình 3D này ngay lập tức qua tin nhắn hoặc mạng xã hội mà không cần xử lý trên đám mây, lý tưởng cho thương mại điện tử hoặc nội dung AR.
- Tính năng "Scan phòng AR" tiết kiệm dữ liệu: Tích hợp công nghệ GlobalSplat vào các ứng dụng AR trên điện thoại di động để người dùng có thể nhanh chóng quét và tạo mô hình 3D của một căn phòng hoặc không gian sống. Mô hình này, được biểu diễn bằng các Gaussian nén, sẽ có dung lượng cực thấp, cho phép lưu trữ nhiều bố cục phòng và chia sẻ dễ dàng để lập kế hoạch thiết kế nội thất hoặc sắp xếp đồ đạc ảo mà không tốn nhiều băng thông mạng.
- Hệ thống tạo bản đồ 3D cho thiết bị đeo thực tế tăng cường (AR Glasses): Phát triển một hệ thống sử dụng GlobalSplat để tạo bản đồ 3D của môi trường xung quanh từ camera của kính AR. Các mô hình 3D được tạo ra sẽ cực kỳ nhỏ gọn và được cập nhật nhanh chóng, cho phép kính AR hiển thị các đối tượng ảo một cách ổn định và chính xác trong môi trường thực mà không gây quá tải bộ nhớ hoặc chậm trễ xử lý, cải thiện trải nghiệm điều hướng và tương tác AR.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.15284 |
| ArXiv Abstract | https://arxiv.org/abs/2604.15284 |
| PDF Download | https://arxiv.org/pdf/2604.15284.pdf |
| Github Repository | N/A |