🤗 Daily Hugging Face Paper Digest - 2026-05-04
Báo cáo được tạo tự động vào lúc 2026-05-05 15:30:52 bằng mô hình deepseek-ai/deepseek-v4-pro.
📰 Summary of Papers
1. Web2BigTable: A Bi-Level Multi-Agent LLM System for Internet-Scale Information Search and Extraction (27 votes)
Tác giả: Yuxuan Huang, Yihang Chen, Zhiyuan He, Yuxiang Chen, Ka Yiu Lee, Huichi Zhou, Weilin Luo, Meng Fang, Jun Wang
Xuất bản lúc: 2026-04-29
Tag: Multi-Agent Systems, LLM Agents, Web Search, Information Extraction, Hierarchical Agents, Memory-Augmented Agents, Self-Evolving Systems
I. Main Problem:
Các hệ thống tìm kiếm web dạng tác tử hiện tại gặp khó khăn trong việc xử lý đồng thời hai loại nhiệm vụ: tìm kiếm sâu (deep search) yêu cầu suy luận mạch lạc trên một thực thể duy nhất và tìm kiếm rộng (wide search) yêu cầu tổng hợp có cấu trúc, nhất quán trên nhiều thực thể từ nhiều nguồn khác nhau. Các hệ thống đơn tác tử bị bão hòa ngữ cảnh và lỗi lan truyền, trong khi các hệ thống phân cấp hiện có thường dựa trên các chiến lược lập kế hoạch cố định hoặc thích ứng yếu, thiếu cơ chế phối hợp giữa các tác tử và khả năng tự tiến hóa để cải thiện cả khả năng phân rã nhiệm vụ lẫn thực thi.
II. Main Idea:
Bài báo giới thiệu Web2BigTable, một khung làm việc đa tác tử cho tìm kiếm web-to-table, sử dụng kiến trúc hai cấp: một bộ điều phối (orchestrator) ở cấp trên phân rã nhiệm vụ thành các bài toán con, và nhiều tác tử công nhân (worker) ở cấp dưới giải quyết chúng song song. Khung làm việc này có khả năng tự tiến hóa thông qua quy trình run-verify-reflect, sử dụng bộ nhớ ngoài (external memory) dưới dạng các tệp SKILL.md để lưu trữ và cập nhật các kỹ năng phân rã và thực thi. Trong quá trình thực thi, các tác tử công nhân phối hợp với nhau thông qua một bảng công việc (workboard) dùng chung, cho phép chúng chia sẻ tiến độ, giảm khám phá dư thừa, dung hòa xung đột và thích ứng với các khoảng trống thông tin mới xuất hiện.
III. Main Results:
Web2BigTable đạt được kết quả mới nhất (state-of-the-art) trên benchmark WideSearch: Avg@4 Success Rate là 38.50 (gấp 7.5 lần so với kết quả tốt thứ hai là 5.10), Row F1 là 63.53 (cao hơn 25.03 so với kết quả tốt thứ hai), và Item F1 là 80.12 (cao hơn 14.42 so với kết quả tốt thứ hai). Khung làm việc cũng tổng quát hóa tốt cho tìm kiếm chuyên sâu trên XBench-DeepSearch, đạt độ chính xác 73.0.
IV. Conclusion & Future Works:
Web2BigTable chứng minh tính hiệu quả của kiến trúc hai cấp với bộ nhớ ngoài và cơ chế phối hợp qua bảng công việc cho bài toán web-to-table search. Hướng phát triển trong tương lai có thể bao gồm: (1) mở rộng khung làm việc để hỗ trợ các loại lược đồ đầu ra phức tạp hơn như đồ thị tri thức; (2) nghiên cứu các cơ chế học tăng cường để tối ưu hóa trực tiếp các kỹ năng; (3) áp dụng khung làm việc vào các lĩnh vực chuyên biệt như thương mại điện tử, y tế hoặc nghiên cứu khoa học; (4) cải thiện khả năng mở rộng cho các nhiệm vụ có số lượng thực thể rất lớn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Web2BigTable để hỗ trợ các lược đồ đầu ra động và phức tạp hơn, như đồ thị tri thức hoặc báo cáo tường thuật, bằng cách cho phép bộ điều phối tự động xây dựng lược đồ mục tiêu từ truy vấn người dùng.
- Nghiên cứu việc tích hợp học tăng cường (Reinforcement Learning) vào quy trình run-verify-reflect để tối ưu hóa trực tiếp các kỹ năng phân rã và thực thi dựa trên phần thưởng từ chất lượng đầu ra, thay vì chỉ dựa trên phản hồi từ lỗi.
- Phát triển một phiên bản Web2BigTable chuyên biệt cho lĩnh vực thương mại điện tử, có khả năng tự động trích xuất và so sánh thông tin sản phẩm (giá cả, đánh giá, thông số kỹ thuật) từ nhiều trang web bán lẻ khác nhau.
2. Patent:
- Phương pháp và hệ thống tìm kiếm thông tin có cấu trúc tự động trên thiết bị di động: Hệ thống sử dụng trí tuệ nhân tạo để nhận một câu hỏi bằng giọng nói hoặc văn bản từ người dùng (ví dụ: 'Tìm các nhà hàng ở quận 1 có giá dưới 200 nghìn đồng và đánh giá trên 4 sao'), sau đó tự động chia nhỏ nhiệm vụ, tìm kiếm trên nhiều trang web và ứng dụng, rồi tổng hợp kết quả thành một bảng thông tin trực quan, dễ đọc trên màn hình điện thoại.
- Ứng dụng trên điện thoại thông minh giúp so sánh sản phẩm đa chiều: Ứng dụng cho phép người dùng chụp ảnh hoặc nhập tên một sản phẩm, sau đó tự động tìm kiếm thông tin về sản phẩm đó (giá, thông số, đánh giá) từ nhiều trang thương mại điện tử khác nhau và hiển thị dưới dạng bảng so sánh, giúp người dùng đưa ra quyết định mua hàng nhanh chóng.
- Công cụ hỗ trợ học tập và nghiên cứu trên thiết bị di động: Một ứng dụng cho phép sinh viên hoặc nhà nghiên cứu nhập một chủ đề phức tạp (ví dụ: 'Tổng hợp các nghiên cứu về biến đổi khí hậu ở Đồng bằng sông Cửu Long từ năm 2020 đến nay'), ứng dụng sẽ tự động tìm kiếm trên các cơ sở dữ liệu học thuật và web, trích xuất thông tin và trình bày kết quả dưới dạng bảng tổng hợp có trích dẫn nguồn rõ ràng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.27221 |
| ArXiv Abstract | https://arxiv.org/abs/2604.27221 |
| PDF Download | https://arxiv.org/pdf/2604.27221.pdf |
| Github Repository | https://github.com/web2bigtable/web2bigtable |
2. Map2World: Segment Map Conditioned Text to 3D World Generation (15 votes)
Tác giả: Jaeyoung Chung, Suyoung Lee, Jianfeng Xiang, Jiaolong Yang, Kyoung Mu Lee
Xuất bản lúc: 2026-05-01
Tag: 3D World Generation, Structured Latent, Diffusion Models, Text-to-3D, 3D Gaussian Splatting, Segment Map Conditioning
I. Main Problem:
Việc tạo ra thế giới 3D (3D world generation) từ văn bản và bản đồ phân đoạn (segment map) gặp nhiều thách thức. Các phương pháp hiện tại bị giới hạn bởi bố cục dạng lưới (grid layout), dẫn đến sự không nhất quán về tỷ lệ của các đối tượng trong toàn bộ thế giới. Đồng thời, việc thiếu các bộ dữ liệu thế giới 3D chất lượng cao khiến các mô hình khó có thể tổng quát hóa ra nhiều lĩnh vực khác nhau. Các phương pháp tận dụng bộ sinh tài sản (asset generator) mạnh mẽ như TRELLIS cũng gặp vấn đề về kết nối giữa các vùng và không thể tạo ra các đối tượng lớn có hình dạng tùy ý.
II. Main Idea:
Bài báo giới thiệu Map2World, một framework mới cho phép tạo thế giới 3D từ các bản đồ phân đoạn do người dùng xác định với hình dạng và tỷ lệ bất kỳ. Framework này sử dụng chiến lược multi-diffusion trong không gian latent có cấu trúc (structured latent) để mở rộng không gian tạo sinh, đảm bảo tính nhất quán về tỷ lệ toàn cục. Để tăng cường chi tiết, một mạng Detail Enhancer được đề xuất, học mối quan hệ giữa các cảnh thô và mịn trong không gian latent, cho phép thêm các chi tiết tinh vi mà không làm mất đi sự mạch lạc tổng thể. Toàn bộ pipeline tận dụng các tiền nghiệm (prior) mạnh mẽ từ các bộ sinh tài sản như TRELLIS, cho phép tổng quát hóa mạnh mẽ trên nhiều lĩnh vực.
III. Main Results:
Các thí nghiệm cho thấy Map2World vượt trội hơn các phương pháp hiện có về khả năng kiểm soát của người dùng, tính nhất quán về tỷ lệ và sự mạch lạc về nội dung. Phương pháp này có thể tạo ra các thế giới 3D chất lượng cao từ các bản đồ phân đoạn phức tạp mà các phương pháp trước đây không thể thực hiện được. Detail Enhancer giúp cải thiện đáng kể chất lượng hình ảnh của các thế giới được tạo ra.
IV. Conclusion & Future Works:
Map2World là một bước tiến quan trọng trong lĩnh vực tạo thế giới 3D, cung cấp một framework linh hoạt và hiệu quả, có thể kiểm soát bởi người dùng. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng framework để hỗ trợ các loại điều kiện đầu vào phong phú hơn, cải thiện khả năng tương tác thời gian thực và tối ưu hóa cho các ứng dụng cụ thể như game hay mô phỏng.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu phương pháp kết hợp Map2World với các mô hình ngôn ngữ lớn (LLMs) để cho phép người dùng điều khiển thế giới 3D thông qua hội thoại tự nhiên, thay vì các bản đồ phân đoạn cố định. Ví dụ, người dùng có thể nói 'Thêm một khu rừng nhỏ ở phía bắc và một dòng sông chảy qua' và mô hình sẽ tự động tạo ra thế giới tương ứng.
- Phát triển một hệ thống tạo thế giới 3D có khả năng tương tác thời gian thực (real-time) dựa trên Map2World, cho phép người dùng chỉnh sửa thế giới trong lúc nó đang được tạo ra. Điều này đòi hỏi tối ưu hóa kiến trúc mô hình và áp dụng các kỹ thuật như diffusion distillation để giảm thời gian suy luận.
- Mở rộng Map2World để tạo ra các thế giới 3D có thể 'du hành' được, nơi người dùng có thể di chuyển tự do trong không gian 3D. Hướng này sẽ tập trung vào việc đảm bảo tính nhất quán của thế giới khi góc nhìn thay đổi và tối ưu hóa việc tải/bỏ tải các vùng dữ liệu để đảm bảo hiệu suất.
2. Patent:
- Phương pháp và hệ thống tạo hình nền điện thoại động 3D từ ảnh chụp và mô tả văn bản: Hệ thống này cho phép người dùng chụp một bức ảnh (ví dụ: phòng khách) và nhập mô tả văn bản (ví dụ: 'thêm một cây xanh lớn ở góc trái'). Sử dụng Map2World, hệ thống sẽ tạo ra một hình nền 3D sống động, nơi các đối tượng mới được thêm vào một cách hài hòa với không gian hiện có, tạo ra trải nghiệm cá nhân hóa và sống động hơn so với hình nền tĩnh thông thường.
- Ứng dụng tạo môi trường thực tế ảo (VR) cho điện thoại dựa trên bản đồ 2D đơn giản: Người dùng có thể vẽ một bản đồ 2D đơn giản (ví dụ: một hình tròn cho hồ nước, hình vuông cho ngôi nhà) trên màn hình điện thoại và nhập văn bản mô tả cho từng khu vực. Hệ thống sẽ tức thì tạo ra một môi trường VR 3D tương ứng, cho phép người dùng khám phá không gian đó bằng cách xoay điện thoại hoặc sử dụng kính VR. Điều này mở ra khả năng tạo nội dung VR một cách nhanh chóng và trực quan cho người dùng phổ thông.
- Phương pháp tạo vật phẩm ảo (virtual goods) cho game di động từ mô tả văn bản và hình dạng cơ bản: Khi phát triển game, thay vì phải thiết kế thủ công từng vật phẩm, nhà phát triển có thể sử dụng một ứng dụng trên điện thoại để vẽ hình dạng cơ bản của vật phẩm (ví dụ: một thanh kiếm) và nhập mô tả văn bản (ví dụ: 'kiếm thần phát sáng'). Hệ thống sẽ tự động tạo ra mô hình 3D hoàn chỉnh của vật phẩm đó, sẵn sàng để đưa vào game. Điều này giúp tiết kiệm thời gian và chi phí sản xuất nội dung cho game di động.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.00781 |
| ArXiv Abstract | https://arxiv.org/abs/2605.00781 |
| PDF Download | https://arxiv.org/pdf/2605.00781.pdf |
| Github Repository | N/A |
3. UniVidX: A Unified Multimodal Framework for Versatile Video Generation via Diffusion Priors (70 votes)
Tác giả: Houyuan Chen, Hong Li, Xianghao Kong, Tianrui Zhu, Shaocong Xu, Weiqing Xiao, Yuwei Guo, Chongjie Ye, Lvmin Zhang, Hao Zhao, Anyi Rao
Xuất bản lúc: 2026-05-01
Tag: Video Diffusion Models, Multimodal Generation, Intrinsic Decomposition, Video Matting, LoRA, Cross-Modal Attention
I. Main Problem:
Các phương pháp hiện tại thường huấn luyện các mô hình riêng biệt cho từng tác vụ đa phương thức (ví dụ: RGB→alpha, intrinsic→X), dẫn đến ánh xạ đầu vào-đầu ra cố định, thiếu tính linh hoạt và bỏ qua mối tương quan chung giữa các phương thức. Điều này gây ra sự không nhất quán giữa các phương thức và hạn chế khả năng tổng quát hóa.
II. Main Idea:
Bài báo đề xuất UniVidX, một khung nền tảng đa phương thức thống nhất tận dụng các tiên nghiệm từ mô hình khuếch tán video (VDM) để cho phép tạo video linh hoạt. Ba thiết kế chính bao gồm: (1) Stochastic Condition Masking (SCM): ngẫu nhiên phân chia các phương thức thành điều kiện sạch và mục tiêu nhiễu, cho phép mô hình học tạo sinh đa hướng. (2) Decoupled Gated LoRA (DGL): gán LoRA riêng cho từng phương thức và chỉ kích hoạt khi phương thức đó là mục tiêu tạo sinh, bảo toàn tiên nghiệm của VDM. (3) Cross-Modal Self-Attention (CMSA): chia sẻ khóa/giá trị giữa các phương thức trong khi duy trì truy vấn riêng, đảm bảo tính nhất quán chéo.
III. Main Results:
UniVidX được thể hiện qua hai mô hình: UniVid-Intrinsic (cho RGB và bản đồ nội tại) và UniVid-Alpha (cho RGBA). Cả hai đều đạt hiệu suất cạnh tranh với các phương pháp tiên tiến nhất trên nhiều tác vụ như text-to-intrinsic, inverse rendering, video matting, và forward rendering. Đáng chú ý, các mô hình này thể hiện khả năng tổng quát hóa mạnh mẽ trên các kịch bản ngoài phân phối, mặc dù chỉ được huấn luyện trên các bộ dữ liệu nhỏ (<1k video). Ví dụ, UniVid-Intrinsic đạt MAE thấp nhất (11.09°) trong ước lượng normal và PSNR cao nhất (16.89) trong ước lượng albedo.
IV. Conclusion & Future Works:
UniVidX chứng minh rằng một khung nền tảng thống nhất có thể tận dụng tiên nghiệm VDM để giải quyết nhiều tác vụ tạo video đa phương thức một cách hiệu quả và tiết kiệm dữ liệu. Các hướng nghiên cứu tương lai bao gồm mở rộng khung nền tảng này sang các phương thức khác như độ sâu, bản đồ vật liệu, hoặc các tác vụ tương tác phức tạp hơn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng khung UniVidX để hỗ trợ thêm các phương thức khác như bản đồ độ sâu, bản đồ vật liệu (roughness, metallic) cho các tác vụ đồ họa phức tạp hơn, ví dụ: tái tạo vật liệu hoặc chiếu sáng toàn cầu.
- Nghiên cứu cơ chế kiểm soát chi tiết hơn cho quá trình tạo sinh đa phương thức, ví dụ: cho phép người dùng chỉ định trực tiếp mức độ ảnh hưởng của từng điều kiện đầu vào đến kết quả đầu ra.
- Áp dụng UniVidX vào các lĩnh vực khác như y tế (tạo ảnh y khoa đa phương thức từ MRI, CT) hoặc robotics (tạo dữ liệu mô phỏng đa phương thức cho huấn luyện robot).
2. Patent:
- Phương pháp và hệ thống tạo video nền tách biệt chủ thể trên điện thoại thông minh: Sử dụng mô hình UniVid-Alpha để tự động tách chủ thể khỏi nền video, sau đó cho phép người dùng thay thế nền bằng một nền khác do AI tạo ra hoặc từ thư viện. Ứng dụng trong các ứng dụng chỉnh sửa video, mạng xã hội.
- Phương pháp tạo hiệu ứng ánh sáng động cho video trên thiết bị di động: Sử dụng mô hình UniVid-Intrinsic để phân tích các thuộc tính ánh sáng (albedo, irradiance, normal) từ video gốc, sau đó cho phép người dùng thay đổi nguồn sáng hoặc thêm hiệu ứng ánh sáng mới (ví dụ: ánh sáng neon, hoàng hôn) một cách chân thực.
- Phương pháp tạo ảnh đại diện 3D từ video selfie trên điện thoại: Sử dụng mô hình UniVid-Intrinsic để trích xuất bản đồ normal và albedo từ video khuôn mặt, sau đó kết hợp với các kỹ thuật dựng hình 3D để tạo ra một mô hình 3D chân thực có thể được sử dụng trong các ứng dụng thực tế ảo hoặc trò chơi.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.00658 |
| ArXiv Abstract | https://arxiv.org/abs/2605.00658 |
| PDF Download | https://arxiv.org/pdf/2605.00658.pdf |
| Github Repository | https://github.com/houyuanchen111/UniVidX |
4. Prox-E: Fine-Grained 3D Shape Editing via Primitive-Based Abstractions (13 votes)
Tác giả: Etai Sella, Hao Phung, Nitay Amiel, Or Litany, Or Patashnik, Hadar Averbuch-Elor
Xuất bản lúc: 2026-04-29
Tag: 3D Shape Editing, Vision-Language Model, Primitive-Based Abstraction, Diffusion Model, Fine-Grained Editing, Superquadrics
I. Main Problem:
Các phương pháp chỉnh sửa 3D hiện tại, đặc biệt là các pipeline dựa trên mô hình 2D, gặp khó khăn trong việc thực hiện các chỉnh sửa cấu trúc tinh vi (fine-grained) trên đối tượng 3D. Chúng thường không thể hiểu và thao tác chính xác các thuộc tính hình học như tỷ lệ, vị trí, hoặc thêm/xóa bộ phận, dẫn đến việc không bảo toàn được danh tính tổng thể của đối tượng gốc.
II. Main Idea:
Bài báo đề xuất Prox·E, một khung làm việc không cần huấn luyện (training-free) cho phép chỉnh sửa 3D chi tiết thông qua một lớp trừu tượng hình học dựa trên các khối cơ bản (primitive). Đầu tiên, hình dạng 3D đầu vào được trừu tượng hóa thành một tập hợp nhỏ các khối hình học (superquadrics). Sau đó, một mô hình ngôn ngữ-thị giác (VLM) tiền huấn luyện sẽ chỉnh sửa lớp trừu tượng này để xác định các thay đổi ở cấp độ khối. Cuối cùng, các chỉnh sửa cấu trúc này được dùng để hướng dẫn một mô hình sinh 3D (TRELLIS) tạo ra các biến đổi cục bộ, tinh vi trong khi vẫn giữ nguyên các vùng không thay đổi của hình dạng gốc.
III. Main Results:
Phương pháp Prox·E đạt được hiệu suất tốt nhất trên hầu hết các chỉ số đánh giá so với nhiều baseline khác nhau, bao gồm cả các phương pháp chỉnh sửa 3D dựa trên huấn luyện và dựa trên 2D. Cụ thể, Prox·E đạt điểm LPIPS thấp nhất (0.10) và DINO-I cao nhất (0.92) về bảo toàn danh tính, FID thấp nhất (32.60) về chất lượng 3D, và điểm VQA cao nhất (0.71) về độ trung thành với chỉnh sửa. Kết quả từ nghiên cứu người dùng với 44 người tham gia cũng cho thấy Prox·E có tỷ lệ thắng cao nhất so với các đối thủ.
IV. Conclusion & Future Works:
Prox·E chứng minh rằng các lớp trừu tượng hình học rõ ràng có thể kết nối suy luận dựa trên ngôn ngữ và hình ảnh với các mô hình sinh 3D để hỗ trợ chỉnh sửa hình dạng chi tiết. Hướng phát triển trong tương lai bao gồm việc cải thiện độ chi tiết và độ chính xác ngữ nghĩa của quá trình phân rã khối ban đầu, cũng như tận dụng sự tiến bộ của các VLM để có khả năng suy luận không gian và làm theo hướng dẫn tốt hơn. Phương pháp này mở ra cơ hội mới cho việc sinh có kiểm soát trong các môi trường 3D phức tạp và năng động hơn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng khả năng của Prox·E cho chỉnh sửa cảnh 3D phức tạp: Nghiên cứu cách áp dụng lớp trừu tượng khối cơ bản để chỉnh sửa nhiều đối tượng trong một cảnh 3D, cho phép thao tác đồng thời vị trí, kích thước và hình dạng của nhiều vật thể khác nhau dựa trên hướng dẫn văn bản phức tạp.
- Tích hợp phản hồi từ người dùng vào vòng lặp chỉnh sửa VLM: Phát triển một hệ thống tương tác, nơi người dùng có thể cung cấp phản hồi trực tiếp (ví dụ: kéo thả khối, điều chỉnh tham số) cho lớp trừu tượng khối. Phản hồi này sẽ được VLM sử dụng để tinh chỉnh các chỉnh sửa, giúp quá trình trở nên chính xác và linh hoạt hơn.
- Nghiên cứu các loại khối cơ bản khác cho chỉnh sửa 3D: Thay thế superquadrics bằng các dạng khối cơ bản khác như hình hộp chữ nhật, hình trụ, hình cầu hoặc các đường cong NURBS để xem xét ảnh hưởng của loại khối đến khả năng biểu diễn và chỉnh sửa các chi tiết hình học khác nhau.
2. Patent:
- Phương pháp chỉnh sửa ảnh 3D trên điện thoại dựa trên khối hình học: Người dùng chụp ảnh một vật thể 3D (ví dụ: một chiếc ghế) bằng camera điện thoại. Hệ thống sẽ tự động phân tích ảnh và tạo ra một mô hình 3D đơn giản gồm các khối hình học (như hình hộp, hình trụ). Người dùng có thể dùng giọng nói hoặc văn bản để yêu cầu chỉnh sửa, ví dụ "làm chân ghế dài gấp đôi". Hệ thống sẽ tự động điều chỉnh các khối hình học tương ứng và tái tạo lại mô hình 3D hoàn chỉnh với các chi tiết được giữ nguyên.
- Ứng dụng chỉnh sửa nội thất thực tế ảo tăng cường (AR) trên điện thoại: Khi người dùng đặt một món đồ nội thất ảo vào không gian thực qua camera điện thoại, họ có thể sử dụng các lệnh thoại để thay đổi kích thước, màu sắc hoặc hình dạng của món đồ đó. Ví dụ, nói "làm bàn này dài hơn một chút" hoặc "thay mặt bàn thành hình tròn". Hệ thống sẽ sử dụng lớp trừu tượng khối để hiểu và thực hiện chính xác yêu cầu mà không làm biến dạng toàn bộ món đồ.
- Hệ thống tạo mô hình 3D từ ảnh chụp với khả năng chỉnh sửa thông minh trên điện thoại: Người dùng chụp nhiều ảnh của một vật thể từ các góc độ khác nhau. Hệ thống sẽ tạo ra một mô hình 3D và một lớp trừu tượng khối tương ứng. Người dùng sau đó có thể yêu cầu các thao tác phức tạp như "thêm một cái tay cầm vào bên trái của cốc" hoặc "bỏ phần ống xả của xe". Hệ thống sẽ thêm hoặc xóa các khối hình học tương ứng và tái sinh mô hình 3D một cách mượt mà, giữ nguyên các chi tiết khác.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.23774 |
| ArXiv Abstract | https://arxiv.org/abs/2604.23774 |
| PDF Download | https://arxiv.org/pdf/2604.23774.pdf |
| Github Repository | N/A |
5. Let ViT Speak: Generative Language-Image Pre-training (11 votes)
Tác giả: Yan Fang, Mengcheng Lan, Zilong Huang, Weixian Lei, Yunqing Zhao, Yujie Zhong, Yingchen Yu, Qi She, Yao Zhao, Yunchao Wei
Xuất bản lúc: 2026-05-01
Tag: Vision-Language Pre-training, Generative Pre-training, Vision Transformer, Multimodal Large Language Models, Autoregressive Language Modeling, OCR, Scalability
I. Main Problem:
Các phương pháp tiền huấn luyện thị giác-ngôn ngữ (VLP) hiện tại, đặc biệt là các phương pháp đối chiếu như CLIP, thường sử dụng kiến trúc hai encoder hoặc encoder-decoder phức tạp và các mục tiêu tối ưu đa dạng. Điều này gây ra sự không khớp về mục tiêu (objective mismatch) với bản chất sinh (generative) của các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs): học đối chiếu ưu tiên căn chỉnh phân biệt, trong khi MLLMs được tối ưu cho dự đoán token tiếp theo. Hơn nữa, các phương pháp sinh hiện có tối ưu gián tiếp encoder thị giác thông qua các bộ giải mã văn bản bổ sung, làm phức tạp quá trình huấn luyện và hạn chế hiệu quả. Do đó, cần có một khung tiền huấn luyện đơn giản, trực tiếp và có khả năng mở rộng cao hơn cho các encoder thị giác trong MLLMs.
II. Main Idea:
Bài báo đề xuất GenLIP (Generative Language-Image Pre-training), một khung tiền huấn luyện sinh tối giản cho Vision Transformers (ViTs). Ý tưởng cốt lõi là để ViT 'nói' trực tiếp bằng cách huấn luyện nó dự đoán các token ngôn ngữ mô tả nội dung hình ảnh chỉ bằng một mục tiêu mô hình hóa ngôn ngữ tự hồi quy (autoregressive language modeling) tiêu chuẩn. Cụ thể, GenLIP sử dụng một kiến trúc Transformer duy nhất để xử lý chuỗi ghép nối các token hình ảnh và văn bản. Những cải tiến chính bao gồm: (1) Prefix-LM Attention: Cho phép các token hình ảnh chú ý hai chiều (bidirectional) và các token văn bản chú ý nhân quả (causal). (2) Gated Attention: Một cơ chế điều chỉnh luồng thông tin để giảm thiểu hiện tượng 'attention sink' (các token tập trung quá nhiều vào một vài token đầu tiên), từ đó khuyến khích mô hình sử dụng các đặc trưng thị giác phân bố trong không gian. (3) Huấn luyện hai giai đoạn: Giai đoạn 1 huấn luyện trên 8B mẫu ảnh-chú thích ở độ phân giải cố định 224×224; Giai đoạn 2 tinh chỉnh trên 37M mẫu có độ phân giải đa dạng và tỷ lệ khung hình gốc để cải thiện hiểu biết chi tiết. Thiết kế này loại bỏ nhu cầu về các bộ giải mã văn bản bổ sung hoặc xây dựng batch đối chiếu, mang lại sự đơn giản, khả năng mở rộng và hiệu suất cao.
III. Main Results:
GenLIP đạt được kết quả cạnh tranh hoặc vượt trội so với các phương pháp mạnh như CLIP, SigLIP, SigLIP2, AIMv2 và OpenVision2 trên nhiều benchmark đa phương thức, mặc dù chỉ sử dụng 8B mẫu tiền huấn luyện (ít hơn đáng kể so với các phương pháp khác dùng 12.0B–40.0B mẫu). Cụ thể, trên khung đánh giá LLaVA-NeXT với Qwen2.5-1.5B, GenLIP-g/16 cải thiện điểm trung bình tổng thể (ALL AVG) lên 65.2, cao hơn 3.7 điểm so với SigLIP2-g/16 (61.5). Lợi thế đặc biệt rõ rệt trên các tác vụ Doc&OCR (như ChartQA, OCRBench, DocVQA), nơi GenLIP-g/16 đạt điểm trung bình 53.2, vượt trội so với SigLIP2-g/16 (47.3). Mô hình cũng thể hiện khả năng sinh chú thích hình ảnh mạch lạc và căn chỉnh ngữ nghĩa tốt giữa các vùng ảnh cục bộ và khái niệm ngôn ngữ.
IV. Conclusion & Future Works:
GenLIP chứng minh rằng một khung tiền huấn luyện sinh đơn giản hơn và căn chỉnh tốt hơn với bản chất tự hồi quy của LLMs có thể đóng vai trò là nền tảng mạnh mẽ cho các MLLMs trong tương lai. Thiết kế tối giản này mang lại hiệu quả và khả năng mở rộng. Hướng nghiên cứu trong tương lai có thể bao gồm việc khám phá thêm các kiến trúc Transformer đơn giản hơn, mở rộng quy mô dữ liệu và mô hình hơn nữa, và áp dụng GenLIP vào nhiều tác vụ thị giác-ngôn ngữ khác.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng GenLIP với các mục tiêu đa phương thức khác: Nghiên cứu việc kết hợp thêm các mục tiêu học không giám sát như tái tạo ảnh (image reconstruction) hoặc học tương phản (contrastive learning) vào khung GenLIP để xem liệu có thể cải thiện chất lượng biểu diễn thị giác cho các tác vụ tổng quát hơn hay không, đồng thời vẫn giữ được tính đơn giản của kiến trúc.
- Áp dụng GenLIP cho các tác vụ video: Mở rộng GenLIP để xử lý dữ liệu video, nơi mô hình cần học các biểu diễn không gian-thời gian. Nghiên cứu cách tích hợp thông tin thời gian (temporal information) vào kiến trúc Transformer đơn nhất và mục tiêu mô hình hóa ngôn ngữ tự hồi quy để sinh mô tả video hoặc trả lời câu hỏi về video.
- Nghiên cứu tính diễn giải của GenLIP: Như đã thấy trong thí nghiệm 'Patch Semantics Readout', GenLIP có khả năng căn chỉnh các vùng ảnh cục bộ với các khái niệm ngôn ngữ. Một hướng nghiên cứu mới có thể tập trung vào việc phân tích sâu hơn cơ chế này, sử dụng nó cho các tác vụ như phát hiện đối tượng mở (open-vocabulary object detection) hoặc phân đoạn ngữ nghĩa dựa trên ngôn ngữ.
2. Patent:
- Phương pháp và hệ thống mô tả ảnh cho người khiếm thị trên điện thoại thông minh: Sử dụng GenLIP đã được tinh chỉnh trên điện thoại để tạo ra các mô tả chi tiết và chính xác về môi trường xung quanh từ ảnh chụp bằng camera. Hệ thống có thể hoạt động ngoại tuyến sau khi tải mô hình xuống, giúp người dùng khiếm thị hiểu được nội dung của bức ảnh họ chụp, ví dụ như mô tả một văn bản, nhận diện đồ vật, hoặc mô tả cảnh quan.
- Ứng dụng tra cứu thông tin sản phẩm từ ảnh chụp trên thiết bị di động: Người dùng chụp ảnh một sản phẩm (ví dụ: một món đồ nội thất, một bộ quần áo, hoặc một thiết bị điện tử). GenLIP, chạy trên điện thoại, sẽ tạo ra một mô tả chi tiết về sản phẩm đó. Mô tả này sau đó được sử dụng làm truy vấn để tìm kiếm các sản phẩm tương tự trên các trang thương mại điện tử, hoặc để đọc và tóm tắt thông tin từ nhãn mác, bao bì sản phẩm.
- Công cụ hỗ trợ dịch thuật và học ngoại ngữ dựa trên ảnh chụp màn hình: Người dùng chụp ảnh màn hình chứa văn bản bằng tiếng nước ngoài (ví dụ: một đoạn hội thoại trong phim, một bài báo, một thực đơn). GenLIP sẽ trích xuất và nhận dạng văn bản (OCR), sau đó tạo ra một bản mô tả ngữ cảnh và bản dịch hoặc giải thích bằng ngôn ngữ người dùng mong muốn, giúp việc học ngoại ngữ trở nên trực quan và dễ dàng hơn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.00809 |
| ArXiv Abstract | https://arxiv.org/abs/2605.00809 |
| PDF Download | https://arxiv.org/pdf/2605.00809.pdf |
| Github Repository | https://github.com/YanFangCS/GenLIP |
6. From Skill Text to Skill Structure: The Scheduling-Structural-Logical Representation for Agent Skills (11 votes)
Tác giả: Qiliang Liang, Hansi Wang, Zhong Liang, Yang Liu
Xuất bản lúc: 2026-04-27
Tag: LLM Agents, Skill Representation, Skill Discovery, Risk Assessment, Semantic Parsing
I. Main Problem:
Các hệ thống đại lý (agent) dựa trên mô hình ngôn ngữ lớn (LLM) ngày càng phụ thuộc vào các kỹ năng (skill) có thể tái sử dụng, nhưng các kỹ năng này hiện được biểu diễn dưới dạng văn bản thuần túy (ví dụ: tệp SKILL.md). Điều này gây ra một nút thắt về biểu diễn: các tín hiệu quan trọng cho máy tính như giao diện gọi (invocation interface), cấu trúc thực thi (execution structure) và các tác động cụ thể (side effects) bị trộn lẫn trong cùng một bề mặt văn bản, khiến cho việc quản lý, tìm kiếm và đánh giá rủi ro của các kỹ năng trở nên khó khăn và kém hiệu quả.
II. Main Idea:
Bài báo giới thiệu SSL (Scheduling-Structural-Logical), một biểu diễn có cấu trúc ba lớp đầu tiên dành cho các tạo tác kỹ năng (skill artifact) của đại lý. SSL tách biệt ba loại bằng chứng khác nhau: lớp Scheduling (Lập lịch) cho các tín hiệu ở cấp độ gọi (invocation-level), lớp Structural (Cấu trúc) cho các pha thực thi ở cấp độ cảnh (scene-level), và lớp Logical (Logic) cho các hành động nguyên tử và bằng chứng sử dụng tài nguyên (atomic action/resource-use evidence). SSL được lấy cảm hứng từ các lý thuyết biểu diễn tri thức ngôn ngữ học cổ điển của Schank và Abelson (Memory Organization Packets, Script Theory, Conceptual Dependency). Các tác giả hiện thực hóa SSL bằng một bộ chuẩn hóa (normalizer) dựa trên LLM và chứng minh tính hiệu quả của nó thông qua hai tác vụ hạ nguồn: Skill Discovery và Risk Assessment.
III. Main Results:
Kết quả thực nghiệm cho thấy SSL vượt trội đáng kể so với các baseline chỉ dùng văn bản: trong tác vụ Skill Discovery, chỉ số MRR@50 được cải thiện từ 0.649 lên 0.729; trong tác vụ Risk Assessment, chỉ số macro F1 được cải thiện từ 0.409 lên 0.509 khi kết hợp tệp SKILL.md gốc với SSL.
IV. Conclusion & Future Works:
SSL là một bước tiến thực tế hướng tới các biểu diễn kỹ năng có thể kiểm tra, tái sử dụng và có thể hành động được. Tuy nhiên, nó không phải là một tiêu chuẩn hoàn chỉnh hay một cơ chế bảo mật độc lập. Hướng phát triển trong tương lai bao gồm: (1) kết nối các đồ thị SSL riêng lẻ thành đồ thị kỹ năng ở cấp kho (repository-level), (2) làm giàu quá trình chuẩn hóa tĩnh bằng các dấu vết thực thi (runtime traces), và (3) nghiên cứu cách các đại lý sử dụng SSL để lựa chọn, kết hợp, thích ứng và tái sử dụng kỹ năng trong quá trình thực thi tác vụ.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng SSL cho các loại tạo tác kỹ năng khác: Nghiên cứu khả năng áp dụng SSL cho các định dạng kỹ năng không phải là SKILL.md, ví dụ như các kỹ năng được định nghĩa trong JSON/YAML hoặc được trích xuất từ các quỹ đạo (trajectory).
- Tích hợp SSL vào quy trình huấn luyện đại lý: Xem xét việc sử dụng SSL như một loại tín hiệu giám sát hoặc một phần của không gian trạng thái để huấn luyện các đại lý có khả năng lập kế hoạch và thực thi kỹ năng tốt hơn.
- Phát triển các phương pháp chuẩn hóa SSL không dùng LLM: Khám phá các kỹ thuật học máy truyền thống (ví dụ: mô hình tuần tự, đồ thị) để trích xuất SSL từ văn bản kỹ năng, nhằm giảm chi phí tính toán và tăng tính ổn định so với việc sử dụng LLM.
2. Patent:
- Phương pháp và hệ thống tìm kiếm kỹ năng cho đại lý AI trên thiết bị di động dựa trên biểu diễn có cấu trúc: Hệ thống này sử dụng biểu diễn SSL để phân tích các tệp hướng dẫn kỹ năng (ví dụ: file markdown) trên điện thoại. Khi người dùng đưa ra yêu cầu bằng giọng nói hoặc văn bản (ví dụ: 'tạo ảnh động vật hoạt hình từ ảnh của tôi'), hệ thống sẽ đối sánh yêu cầu đó với các kỹ năng có sẵn dựa trên các lớp Lập lịch (mục đích) và Cấu trúc (luồng công việc) của SSL, giúp tìm ra kỹ năng phù hợp nhất một cách nhanh chóng và chính xác mà không cần đọc toàn bộ văn bản hướng dẫn dài dòng.
- Ứng dụng di động đánh giá rủi ro bảo mật cho các ứng dụng/kỹ năng của bên thứ ba: Một ứng dụng trên điện thoại thông minh cho phép người dùng kiểm tra mức độ an toàn của một kỹ năng (ví dụ: một plugin cho trình duyệt hoặc một automation task) trước khi cài đặt. Ứng dụng này trích xuất biểu diễn SSL từ tài liệu của kỹ năng đó, tập trung vào lớp Logic (các hành động nguyên tử và tài nguyên được sử dụng) để phát hiện các hành vi nguy hiểm tiềm ẩn như đọc danh bạ, ghi tệp, gửi dữ liệu ra ngoài, hoặc truy cập thông tin đăng nhập, và hiển thị cảnh báo cho người dùng một cách trực quan.
- Trợ lý ảo trên điện thoại thông minh có khả năng kết hợp và thực thi các kỹ năng phức tạp: Trợ lý ảo này sử dụng biểu diễn SSL để hiểu cấu trúc và luồng công việc của các kỹ năng riêng lẻ (ví dụ: 'đặt lịch hẹn' và 'gửi tin nhắn nhắc nhở'). Khi người dùng yêu cầu một tác vụ phức tạp (ví dụ: 'đặt lịch hẹn với bác sĩ và nhắc tôi một ngày trước đó'), trợ lý sẽ phân tích các lớp Cấu trúc và Logic của các kỹ năng liên quan, tự động kết hợp chúng thành một quy trình làm việc mới mà không cần người dùng phải lập trình, đảm bảo tính chính xác và an toàn của luồng thực thi.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.24026 |
| ArXiv Abstract | https://arxiv.org/abs/2604.24026 |
| PDF Download | https://arxiv.org/pdf/2604.24026.pdf |
| Github Repository | N/A |
7. Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies (10 votes)
Tác giả: Yi Wang, Xinchen Li, Pengwei Xie, Pu Yang, Buqing Nie, Yunuo Cai, Qinglin Zhang, Chendi Qu, Jeffrey Wu, Jianheng Song, Xinlin Ren, Jingshun Huang, Mingjie Pan, Siyuan Feng, Zhi Chen, Jianlan Luo
Xuất bản lúc: 2026-05-01
Tag: Reinforcement Learning, Vision-Language-Action Model, Offline-to-Online RL, Robot Learning, Distributional RL, Flow Matching
I. Main Problem:
Các chính sách robot đa năng hiện tại được huấn luyện từ dữ liệu tĩnh (offline) không đủ mạnh để triển khai trong thế giới thực do gặp phải sự thay đổi phân phối, lỗi hiếm gặp và nhiệm vụ mới. Việc chỉ sử dụng dữ liệu biểu diễn cố định không thể tận dụng được kinh nghiệm từ quá trình triển khai thực tế, bao gồm cả thành công, thất bại và sự can thiệp của con người.
II. Main Idea:
Bài báo giới thiệu LWD (Learning While Deploying), một khung học tăng cường (RL) từ offline sang online ở quy mô đội robot, cho phép cải thiện liên tục chính sách VLA (Vision-Language-Action) đa năng trong quá trình triển khai. Khung này bao gồm hai thành phần chính: (1) Distributional Implicit Value Learning (DIVL) - học phân phối giá trị để ước tính robust từ dữ liệu không đồng nhất và thưa thớt, và (2) Q-learning via Adjoint Matching (QAM) - trích xuất chính sách ổn định từ gradient hành động của critic cho các chính sách dòng chảy (flow-based). Hệ thống tạo ra một vòng lặp dữ liệu: robot triển khai → thu thập kinh nghiệm → cập nhật chính sách → tái triển khai.
III. Main Results:
LWD được đánh giá trên đội 16 robot tay đôi thực hiện 8 nhiệm vụ thao tác trong thế giới thực. Kết quả cho thấy: (1) Chính sách đa năng duy nhất đạt tỷ lệ thành công trung bình 95%, vượt trội so với các baseline (SFT: 76%, RECAP: 85%, HG-DAgger: 85%). (2) Cải thiện rõ rệt nhất ở các nhiệm vụ dài hạn (ví dụ: pha trà, làm cocktail kéo dài 3-5 phút), nơi RL có thể lan truyền phần thưởng qua các bước. (3) Giảm thời gian chu kỳ trung bình 23.75 giây so với chính sách tham chiếu.
IV. Conclusion & Future Works:
LWD là một trong những hệ thống RL thực tế đầu tiên khép kín vòng lặp cải tiến từ offline sang online cho chính sách robot đa năng. Kết quả cho thấy việc triển khai ở quy mô đội robot có thể tự trở thành nguồn dữ liệu huấn luyện, tạo ra vòng xoáy dữ liệu: càng triển khai nhiều robot, chính sách càng được cải thiện. Hướng phát triển tương lai có thể bao gồm mở rộng sang nhiều nhiệm vụ và môi trường hơn, cũng như cải thiện hiệu quả mẫu.
V. Brainstorming Space:
1. Publish Papers:
- Học Tăng Cường Phân Phối cho Robot Dịch Vụ Gia Đình: Nghiên cứu áp dụng DIVL để huấn luyện chính sách robot đa năng cho các công việc nhà như dọn dẹp, nấu ăn, và chăm sóc cây cảnh, tập trung vào việc xử lý phần thưởng thưa thớt và sự đa dạng của môi trường.
- Kết Hợp Học Tăng Cường và Bắt Chước Hành Vi cho Robot Hỗ Trợ Người Khuyết Tật: Phát triển một phương pháp kết hợp QAM và học bắt chước từ sự can thiệp của con người để tạo ra chính sách robot an toàn và hiệu quả cho các nhiệm vụ hỗ trợ người khuyết tật trong sinh hoạt hàng ngày.
- Tối Ưu Hóa Luồng Dữ Liệu cho Học Tăng Cường Quy Mô Lớn trên Đội Robot: Nghiên cứu các chiến lược lấy mẫu và quản lý bộ đệm dữ liệu hiệu quả để tăng tốc quá trình học từ kinh nghiệm triển khai của đội robot, giảm thiểu chi phí tính toán và lưu trữ.
2. Patent:
- Phương pháp cải thiện chính sách điều khiển robot điện thoại thông minh dựa trên kinh nghiệm triển khai: Một hệ thống trên điện thoại thông minh sử dụng học tăng cường để tự động cải thiện các tác vụ robot như di chuyển, lấy đồ vật dựa trên dữ liệu từ các lần thử thành công và thất bại trong quá trình sử dụng hàng ngày, giúp robot ngày càng thông minh hơn mà không cần cập nhật phần mềm.
- Hệ thống đánh giá tiến độ nhiệm vụ robot dựa trên phân phối giá trị: Một phương pháp trên thiết bị di động sử dụng mô hình phân phối giá trị (DIVL) để ước tính khả năng thành công của robot trong các nhiệm vụ phức tạp, cung cấp phản hồi trực quan cho người dùng về tiến độ và dự đoán thời gian hoàn thành, giúp người dùng can thiệp kịp thời khi cần.
- Phương pháp huấn luyện robot đa năng trên điện thoại thông minh thông qua tương tác và phản hồi của người dùng: Một ứng dụng di động cho phép người dùng hướng dẫn robot thực hiện nhiệm vụ mới thông qua các thao tác can thiệp đơn giản (ví dụ: kéo thả trên màn hình), dữ liệu này được sử dụng để cập nhật chính sách robot theo thời gian thực thông qua học tăng cường, giúp robot thích ứng nhanh với nhu cầu cá nhân của từng người dùng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.00416 |
| ArXiv Abstract | https://arxiv.org/abs/2605.00416 |
| PDF Download | https://arxiv.org/pdf/2605.00416.pdf |
| Github Repository | N/A |
8. Stable-GFlowNet: Toward Diverse and Robust LLM Red-Teaming via Contrastive Trajectory Balance (10 votes)
Tác giả: Minchan Kwon, Sunghyun Baek, Minseo Kim, Jaemyung Yu, Dongyoon Han, Junmo Kim
Xuất bản lúc: 2026-05-01
Tag: GFlowNet, LLM Safety, Red-Teaming, Distribution Matching, Adversarial Attack
I. Main Problem:
Các mô hình ngôn ngữ lớn (LLM) vẫn dễ bị tổn thương trước các cuộc tấn công tinh vi. Việc kiểm tra độ an toàn (red-teaming) nhằm tìm ra các lỗ hổng một cách chủ động gặp thách thức trong việc cân bằng giữa hiệu quả (tấn công thành công cao) và tính đa dạng (khám phá nhiều kiểu tấn công khác nhau). Các phương pháp hiện tại, như Học tăng cường (RL) dễ bị sụp đổ mode (mode collapse), chỉ tập trung vào một vài kiểu tấn công; trong khi các phương pháp Chất lượng-Đa dạng (QD) lại khó tìm ra các cuộc tấn công có độc tính cao. Phương pháp Generative Flow Networks (GFlowNets) hứa hẹn nhưng lại gặp vấn đề về bất ổn định huấn luyện do ước lượng hàm phân vùng (partition function) và nhạy cảm với nhiễu từ bộ phân loại độc tính.
II. Main Idea:
Bài báo đề xuất Stable-GFlowNet (S-GFN), một khung làm việc giải quyết các vấn đề bất ổn định của GFlowNet thông qua ba đóng góp chính:
- Contrastive Trajectory Balance (CTB): Một hàm mục tiêu mới thay thế việc ước lượng hàm phân vùng toàn cục bằng cách so sánh cặp các quỹ đạo (trajectories). CTB so sánh tỷ lệ xác suất của hai mẫu tấn công với tỷ lệ phần thưởng của chúng, giúp quá trình huấn luyện ổn định hơn.
- Noisy Gradient Pruning (NGP): Một kỹ thuật lọc nhiễu cho phần thưởng. NGP bỏ qua các cặp mẫu có sự khác biệt về phần thưởng không đáng kể, ngăn mô hình học sai từ sự ngẫu nhiên của bộ phân loại độc tính.
- Min-K Fluency Stabilizer (MKS): Một kỹ thuật ngăn mô hình rơi vào tối ưu cục bộ khi sinh ra các câu vô nghĩa (gibberish). MKS sử dụng độ tương tự của các token có xác suất thấp nhất dưới một mô hình tham chiếu để lọc ra các mẫu không trôi chảy.
III. Main Results:
Kết quả thực nghiệm cho thấy S-GFN vượt trội so với các phương pháp cơ sở (baselines):
- Số lượng cuộc tấn công độc đáo (Unique Attacks - UA): S-GFN đạt 134 cuộc tấn công độc đáo, cao hơn gấp ~7 lần so với GFN cơ bản (17) và vượt xa các phương pháp như PPO (3) và Rainbow Teaming (33).
- Tỷ lệ tấn công thành công (Attack Success Rate - ASR): Duy trì ASR cao ở mức 92.55%, tương đương với các phương pháp RL mạnh nhất nhưng với tính đa dạng vượt trội.
- Khả năng chuyển giao tấn công (Transfer Attack): S-GFN thể hiện khả năng tấn công hiệu quả trên nhiều mô hình LLM khác nhau (Gemma, Llama, Qwen) mà không cần huấn luyện lại.
- Khả năng phòng thủ chéo (Cross-Attack Defense): Các cuộc tấn công do S-GFN tạo ra có tính bao phủ cao, giúp việc tinh chỉnh an toàn (safety fine-tuning) hiệu quả hơn, chống lại được nhiều kiểu tấn công khác.
IV. Conclusion & Future Works:
S-GFN là một khung làm việc mạnh mẽ cho việc red-teaming LLM, giải quyết thành công vấn đề bất ổn định của GFlowNet. Phương pháp này không chỉ tạo ra các cuộc tấn công đa dạng và hiệu quả mà còn có khả năng mở rộng sang các lĩnh vực khác của bài toán khớp phân phối (distribution matching) như sinh phân tử. Hướng phát triển trong tương lai có thể bao gồm việc áp dụng S-GFN vào các tác vụ khác của LLM, cải thiện hơn nữa độ ổn định và hiệu quả, hoặc kết hợp với các kỹ thuật bảo mật khác để xây dựng hệ thống AI an toàn hơn.
V. Brainstorming Space:
1. Publish Papers:
- Áp dụng S-GFN cho bài toán sinh câu hỏi kiểm tra (Adversarial Question Generation): Nghiên cứu việc sử dụng S-GFN để tự động sinh ra các câu hỏi 'bẫy' nhằm kiểm tra kiến thức và khả năng suy luận của các mô hình AI trong lĩnh vực giáo dục hoặc chăm sóc khách hàng.
- Kết hợp S-GFN với Kỹ thuật Tối ưu hóa Liên tục cho bài toán Khám phá Thuốc: Mở rộng S-GFN để hoạt động trên không gian liên tục của các đặc tính phân tử, kết hợp với các bộ mô phỏng để khám phá ra các cấu trúc phân tử có tiềm năng làm thuốc với các đặc tính mong muốn.
- Phát triển phiên bản S-GFN có khả năng Giải thích (Explainable S-GFN): Tích hợp các cơ chế chú ý hoặc các kỹ thuật giải thích mô hình vào S-GFN để hiểu rõ lý do tại sao một cuộc tấn công cụ thể lại thành công, từ đó cung cấp thông tin chi tiết hữu ích cho việc củng cố an ninh hệ thống.
2. Patent:
- Hệ thống và Phương pháp Tự động Tạo ra các Câu lệnh Độc hại Đa dạng để Kiểm tra An ninh cho Trợ lý Ảo trên Điện thoại: Một hệ thống trên điện thoại thông minh sử dụng S-GFN để tự động sinh ra vô số cách nói khác nhau nhằm lừa trợ lý ảo (ví dụ: Bixby, Siri) thực hiện các hành động không an toàn (ví dụ: mở khóa cửa, gửi tin nhắn trái phép). Hệ thống này giúp nhà phát triển tìm ra lỗ hổng bảo mật một cách toàn diện trước khi phát hành.
- Phương pháp Tối ưu hóa Chiến dịch Quảng cáo Cá nhân hóa trên Di động sử dụng S-GFN: Sử dụng S-GFN để tự động sinh ra các biến thể khác nhau của nội dung quảng cáo (văn bản, hình ảnh) để kiểm tra hiệu quả tương tác của người dùng. Hệ thống sẽ tìm ra bộ sưu tập các mẫu quảng cáo vừa có tỷ lệ nhấp chuột cao vừa đa dạng về phong cách, tránh gây nhàm chán cho người dùng.
- Ứng dụng S-GFN để Tạo ra Các Kịch bản Thử nghiệm cho Chatbot Dịch vụ Khách hàng trên App: Một công cụ trên điện thoại dành cho nhà phát triển, sử dụng S-GFN để tự động tạo ra hàng loạt các tình huống hội thoại phức tạp và đa dạng (ví dụ: khách hàng tức giận, yêu cầu vô lý) nhằm kiểm tra khả năng xử lý và phản hồi của chatbot dịch vụ khách hàng, đảm bảo chất lượng phục vụ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.00553 |
| ArXiv Abstract | https://arxiv.org/abs/2605.00553 |
| PDF Download | https://arxiv.org/pdf/2605.00553.pdf |
| Github Repository | N/A |