Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-04-13

Báo cáo được tạo tự động vào lúc 2026-04-14 10:05:19 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. WildDet3D: Scaling Promptable 3D Detection in the Wild (216 votes)​

Tác giả: Weikai Huang, Jieyu Zhang, Sijun Li, Taoyang Jia, Jiafei Duan, Yunqian Cheng, Jaemin Cho, Mattew Wallingford, Rustin Soraki, Chris Dongjoo Kim, Donovan Clay, Taira Anderson, Winson Han, Ali Farhadi, Bharath Hariharan, Zhongzheng Ren, Ranjay Krishna

Xuất bản lúc: 2026-04-09

Tag: 3D Object Detection, Monocular 3D, Open-Vocabulary, Prompt Learning, Deep Learning, Computer Vision, Dataset, Multi-modal, RGBD

I. Main Problem:​

Phát hiện vật thể 3D từ một hình ảnh đơn lẻ trong môi trường thực tế vẫn còn gặp nhiều thách thức. Các phương pháp hiện có bị hạn chế bởi việc chỉ hỗ trợ một loại lời nhắc (prompt) duy nhất, thiếu cơ chế tích hợp các tín hiệu hình học bổ sung (như bản đồ độ sâu), và các bộ dữ liệu 3D hiện tại chỉ bao gồm các danh mục hạn chế trong môi trường có kiểm soát, làm giảm khả năng ứng dụng trong thế giới mở. Để một hệ thống phát hiện 3D trở nên thực tế, nó cần có khả năng tổng quát hóa vượt ra ngoài các danh mục đã được định nghĩa trước, hỗ trợ nhiều phương thức lời nhắc đa dạng (văn bản, điểm, hộp 2D), và tận dụng các tín hiệu hình học bổ sung khi có.

II. Main Idea:​

Bài nghiên cứu giải quyết hai vấn đề chính bằng cách giới thiệu WildDet3D, một kiến trúc nhận biết hình học thống nhất có khả năng chấp nhận các lời nhắc bằng văn bản, điểm và hộp 2D, đồng thời có thể tích hợp các tín hiệu độ sâu phụ trợ trong thời gian suy luận. Thứ hai, nhóm nghiên cứu giới thiệu WildDet3D-Data, bộ dữ liệu phát hiện 3D mở lớn nhất cho đến nay, được xây dựng bằng cách tạo các hộp 3D ứng cử viên từ các chú thích 2D hiện có và chỉ giữ lại những hộp đã được con người xác minh. WildDet3D sử dụng kiến trúc dual-encoder (image encoder và RGBD encoder) để tách biệt đặc trưng ngữ nghĩa và hình học, sau đó hợp nhất chúng thông qua một module depth fusion. Một promptable detector xử lý các lời nhắc đa dạng, và một 3D detection head với chuẩn hóa xoay không mơ hồ (unambiguous rotation normalization) dự đoán các hộp giới hạn 3D. Mô hình được huấn luyện với học đa nhiệm (multi-task learning) bao gồm các tổn thất cho hồi quy 3D, độ tin cậy 3D, ước tính hình học và phát hiện 2D.

III. Main Results:​

WildDet3D thiết lập trạng thái nghệ thuật mới trên nhiều bộ kiểm định và thiết lập. Trong môi trường thế giới mở, nó đạt được 22.6/24.8 AP3D trên WildDet3D-Bench mới với các lời nhắc văn bản và hộp. Trên Omni3D, nó đạt 34.2/36.4 AP3D với các lời nhắc văn bản và hộp tương ứng, chỉ với 12 epoch huấn luyện so với 80–120 epoch của các phương pháp cạnh tranh. Trong đánh giá zero-shot, nó đạt 40.3 ODS trên Argoverse 2 và 48.9 ODS trên ScanNet, với những cải thiện đáng kể trên các danh mục mới chưa từng thấy trong quá trình huấn luyện. Đặc biệt, việc tích hợp các tín hiệu độ sâu trong thời gian suy luận mang lại những cải thiện đáng kể (+20.7 AP trung bình trên các thiết lập). WildDet3D-Data cung cấp hơn 1 triệu hình ảnh trên 13.5K danh mục, tăng phạm vi danh mục lên 138 lần so với Omni3D.

IV. Conclusion & Future Works:​

WildDet3D là một mô hình phát hiện 3D theo ngữ cảnh mở, tổng quát, đạt hiệu suất vượt trội trong nhiều cài đặt và thiết lập. Khả năng chấp nhận nhiều loại lời nhắc và tận dụng các tín hiệu hình học bổ sung giúp nó trở thành một module nhận thức 3D đa năng, có thể triển khai trên nhiều nền tảng (web, iPhone, AR/VR) và tích hợp dễ dàng với các hệ thống thượng nguồn khác. Việc phát triển bộ dữ liệu WildDet3D-Data quy mô lớn, đa dạng đã mở đường cho khả năng tổng quát hóa trong thế giới mở. Trong tương lai, có thể tiếp tục cải thiện độ mạnh mẽ của mô hình trong việc xử lý các tín hiệu độ sâu không hoàn chỉnh hoặc nhiễu, mở rộng sang các phương thức lời nhắc mới, và tích hợp sâu hơn với các hệ thống suy luận cấp cao hơn để nâng cao trí tuệ không gian.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cải thiện khả năng tổng quát hóa zero-shot và few-shot cho phát hiện vật thể 3D trong môi trường phức tạp: Nghiên cứu các phương pháp học chuyển giao tiên tiến, học meta, hoặc tích hợp kiến thức từ các mô hình ngôn ngữ lớn (LLMs) để tăng cường khả năng của WildDet3D trong việc phát hiện các danh mục vật thể chưa từng thấy hoặc chỉ có ít mẫu trong quá trình huấn luyện, đặc biệt trong các cảnh 'trong tự nhiên' với điều kiện ánh sáng và góc nhìn đa dạng.
  2. Tận dụng linh hoạt các tín hiệu hình học đa nguồn và không hoàn chỉnh cho phát hiện 3D: Mở rộng kiến trúc WildDet3D để không chỉ chấp nhận bản đồ độ sâu tùy chọn mà còn có thể kết hợp hiệu quả các dạng tín hiệu hình học khác (ví dụ: LiDAR thưa thớt, dữ liệu stereo, hoặc các gợi ý hình học suy ra từ chuyển động) khi chúng không hoàn chỉnh hoặc nhiễu. Mục tiêu là phát triển một khung làm việc hợp nhất để tăng cường độ chính xác và độ mạnh mẽ của phát hiện 3D trong các kịch bản thực tế.
  3. Phát triển kiến trúc phát hiện 3D tương tác và thích ứng thời gian thực cho ứng dụng AR/VR: Nghiên cứu các kiến trúc mô hình và chiến lược huấn luyện tối ưu hóa hiệu quả tính toán, cho phép WildDet3D thích ứng nhanh chóng với các tương tác người dùng (chẳng hạn như nhấp chuột hoặc vẽ hộp 2D) hoặc thay đổi môi trường trong thời gian thực. Điều này sẽ tập trung vào việc triển khai trên các thiết bị di động và thiết bị AR/VR, duy trì độ chính xác cao trong các tác vụ nhận thức 3D tương tác.

2. Patent:​

  1. Hệ thống đo lường 3D tức thì trên điện thoại thông minh: Một ứng dụng di động cho phép người dùng hướng camera điện thoại vào một vật thể bất kỳ và chỉ cần chạm hoặc vẽ một hộp 2D trên màn hình để ngay lập tức nhận được các thông số 3D của vật thể đó (chiều dài, chiều rộng, chiều cao, khoảng cách từ điện thoại). Hệ thống sẽ tận dụng cảm biến độ sâu tích hợp (nếu có) hoặc ước tính độ sâu từ hình ảnh RGB để cung cấp kết quả đo lường chính xác, hữu ích cho việc đo đạc nhanh trong gia đình, mua sắm nội thất hoặc kiểm tra kích thước gói hàng.
  2. Trợ lý thực tế tăng cường (AR) tương tác với vật thể 3D: Một công nghệ tích hợp vào ứng dụng camera điện thoại, cho phép người dùng chọn một vật thể trong thế giới thực bằng cách chạm hoặc nói tên của nó, sau đó hiển thị các thông tin hoặc công cụ tương tác ảo liên quan trực tiếp lên vật thể đó trong không gian 3D. Ví dụ, khi chọn một máy pha cà phê, ứng dụng có thể hiển thị các nút điều khiển ảo 3D, công thức pha chế, hoặc hướng dẫn sửa chữa, cho phép người dùng tương tác trực quan hơn với môi trường vật lý xung quanh.
  3. Hệ thống định vị và quản lý đồ vật trong nhà thông minh: Một ứng dụng di động sử dụng khả năng phát hiện 3D để giúp người dùng theo dõi và định vị các đồ vật trong nhà. Người dùng có thể quét các khu vực trong nhà bằng camera điện thoại, và hệ thống sẽ tự động nhận diện, ghi nhớ vị trí 3D của các đồ vật (ví dụ: chìa khóa, ví, điều khiển TV). Sau đó, khi cần tìm, người dùng chỉ cần hỏi điện thoại (bằng giọng nói hoặc văn bản), và ứng dụng sẽ hiển thị hướng dẫn AR để chỉ đường đến vị trí 3D chính xác của đồ vật đó.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.08626
ArXiv Abstracthttps://arxiv.org/abs/2604.08626
PDF Downloadhttps://arxiv.org/pdf/2604.08626.pdf
Github Repositoryhttps://github.com/allenai/WildDet3D

2. FORGE:Fine-grained Multimodal Evaluation for Manufacturing Scenarios (83 votes)​

Tác giả: Xiangru Jian, Hao Xu, Wei Pang, Xinjian Zhao, Chengyu Tao, Qixin Zhang, Xikun Zhang, Chao Zhang, Guanzhi Deng, Alex Xue, Juan Du, Tianshu Yu, Garth Tarr, Linqi Song, Qiuzhuang Sun, Dacheng Tao

Xuất bản lúc: 2026-04-08

Tag: MLLMs, Multimodal AI, Manufacturing, Computer Vision, 3D Vision, Evaluation, Benchmarking, Fine-tuning, Domain Adaptation, Industrial AI

I. Main Problem:​

Lĩnh vực sản xuất đang ngày càng áp dụng các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLM), nhưng các đánh giá hiện tại không phản ánh được những yêu cầu nghiêm ngặt của môi trường sản xuất thực tế. Tiến độ bị cản trở bởi sự khan hiếm dữ liệu và thiếu ngữ nghĩa miền chi tiết (ví dụ: số model chính xác) trong các bộ dữ liệu hiện có. Các mô hình thị giác truyền thống bị giới hạn ở khả năng nhận thức, thiếu khả năng suy luận và thực thi tự chủ, trong khi tiềm năng của MLLM trong sản xuất còn chưa được khám phá đầy đủ.

II. Main Idea:​

Để giải quyết các thách thức này, chúng tôi giới thiệu FORGE, một bộ tiêu chuẩn toàn diện được thiết kế riêng cho lĩnh vực sản xuất. Đầu tiên, chúng tôi xây dựng một bộ dữ liệu đa phương thức chất lượng cao kết hợp hình ảnh 2D và đám mây điểm 3D trong thế giới thực, được chú thích với ngữ nghĩa miền chi tiết (ví dụ: số model chính xác). Sau đó, chúng tôi đánh giá 18 MLLM tiên tiến trên ba tác vụ sản xuất cốt lõi: xác minh phôi, kiểm tra bề mặt cấu trúc và xác minh lắp ráp. Phân tích điểm nghẽn cho thấy kiến thức chuyên biệt về miền là yếu tố hạn chế chính, chứ không phải khả năng định vị hình ảnh. Ngoài ra, chúng tôi chứng minh rằng các chú thích có cấu trúc của FORGE có thể đóng vai trò là tài nguyên đào tạo hữu ích, với việc tinh chỉnh có giám sát một mô hình nhỏ 3B-tham số trên dữ liệu của chúng tôi mang lại cải thiện đáng kể về độ chính xác, mở ra con đường thực tế cho các MLLM thích ứng với miền sản xuất.

III. Main Results:​

Các MLLM hiện tại thể hiện khả năng hiểu ngữ nghĩa tốt hơn trong các tác vụ xác minh phôi và lắp ráp so với phân tích hình thái vi mô (kiểm tra bề mặt cấu trúc), với tác vụ sau đạt hiệu suất thấp nhất. Hạn chế về khả năng hiểu biết miền là điểm nghẽn chính; các phương pháp trình diễn trong ngữ cảnh (ICD) cung cấp các minh họa suy luận hoàn chỉnh đã cải thiện hiệu suất đáng kể, trong khi các tham chiếu đơn giản (Ref-Cond) thường không mang lại lợi ích. Khả năng định vị hình ảnh không phải là yếu tố hạn chế chính. Đối với dữ liệu đám mây điểm 3D được biểu diễn dưới dạng hình ảnh ba chiều (3V), việc thêm các ví dụ tham chiếu có thể cản trở khả năng hiểu của MLLM. Các tác vụ cấp độ số model khó khăn hơn đáng kể so với các tác vụ cấp độ phôi. Việc tinh chỉnh có giám sát một mô hình 3B-tham số trên dữ liệu FORGE đã mang lại cải thiện độ chính xác tương đối lên tới 90.8% trong các kịch bản sản xuất chưa từng thấy. Đầu vào văn bản đám mây điểm thô không hiệu quả, khẳng định sự cần thiết của phép chiếu hình ảnh cho các MLLM tổng quát.

IV. Conclusion & Future Works:​

Các MLLM hiện tại có khoảng cách hiệu suất đáng kể trong lĩnh vực sản xuất, đặc biệt là trong phân tích hình thái chi tiết và kiến thức chuyên biệt về miền. Điểm nghẽn chính là sự thiếu hiểu biết sâu sắc về logic tác vụ và tri thức miền, chứ không phải khả năng định vị hình ảnh. FORGE cung cấp một nguồn tài nguyên quý giá để đánh giá và phát triển các MLLM thích ứng với miền sản xuất, với bằng chứng ban đầu cho thấy việc tinh chỉnh có thể thu hẹp khoảng cách kiến thức miền. Công trình tương lai nên tập trung vào việc nâng cao khả năng hiểu của MLLM về các chi tiết vật lý, đặc điểm vi mô và suy luận miền phức tạp, đặc biệt cho sự khác biệt hình thái chi tiết và phân biệt cấp độ số model. Việc khám phá các cách hiệu quả hơn để tích hợp thông tin không gian 3D cho MLLM cũng rất quan trọng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển kiến trúc MLLM mới cho nhận diện hình thái vi mô và kiểm tra chất lượng: Nghiên cứu các kiến trúc MLLM chuyên biệt có khả năng hiểu sâu hơn về các chi tiết vật lý và đặc điểm hình thái vi mô của sản phẩm công nghiệp, đặc biệt là trong các tác vụ kiểm tra bề mặt và phát hiện lỗi nhỏ. Điều này có thể bao gồm việc tích hợp các module xử lý hình ảnh độ phân giải cao hoặc các cơ chế chú ý tập trung vào chi tiết.
  2. Phương pháp học tập dựa trên tri thức miền (Domain-Knowledge-Driven Learning) cho MLLM trong sản xuất: Phát triển các kỹ thuật đào tạo MLLM để nhúng sâu hơn tri thức chuyên biệt của ngành sản xuất, bao gồm các quy tắc lắp ráp, thông số kỹ thuật chi tiết (mã model), và các mối quan hệ chức năng giữa các bộ phận. Nghiên cứu có thể tập trung vào việc tạo ra các cơ sở tri thức có cấu trúc và các phương pháp biểu diễn tri thức hiệu quả để MLLM có thể suy luận một cách logic hơn.
  3. Tích hợp hiệu quả dữ liệu 3D cho MLLM đa năng: Khám phá các phương pháp hiệu quả hơn để MLLM đa năng có thể xử lý và suy luận từ dữ liệu 3D (ví dụ: đám mây điểm) mà không cần bộ mã hóa 3D chuyên biệt. Điều này có thể bao gồm các kỹ thuật biểu diễn 3D mới tương thích với đầu vào thị giác 2D của MLLM, hoặc các phương pháp học tập kết hợp để cải thiện sự hiểu biết về không gian khi có các ví dụ tham chiếu.

2. Patent:​

  1. Hệ thống kiểm tra chất lượng sản phẩm cầm tay dựa trên camera điện thoại: Một ứng dụng di động cho phép người dùng (công nhân, kỹ thuật viên) sử dụng camera của điện thoại để chụp ảnh hoặc quay video các bộ phận sản xuất. Ứng dụng sẽ sử dụng một mô hình trí tuệ nhân tạo đa năng được tinh chỉnh để nhận diện tức thì các lỗi bề mặt (nứt, biến dạng, móp méo) hoặc xác minh mã model/thông số kỹ thuật của chi tiết, hiển thị kết quả và gợi ý hành động ngay trên màn hình điện thoại.
  2. Trợ lý lắp ráp thông minh trên điện thoại di động với phản hồi thời gian thực: Một ứng dụng trên điện thoại di động sử dụng camera để quan sát quá trình lắp ráp. Mô hình trí tuệ nhân tạo đa năng sẽ phân tích hình ảnh/video đầu vào để xác định các bộ phận đang được lắp và so sánh với quy trình/thông số kỹ thuật đã định. Nếu phát hiện sai sót (ví dụ: sai loại bộ phận, sai mã model, thiếu bước), ứng dụng sẽ cung cấp cảnh báo và hướng dẫn sửa lỗi bằng giọng nói hoặc văn bản ngay lập tức, hỗ trợ công nhân trong quá trình làm việc.
  3. Công cụ chẩn đoán và bảo trì dự đoán cho thiết bị gia dụng/công nghiệp nhỏ qua điện thoại: Một ứng dụng điện thoại cho phép người dùng chụp ảnh/video các bộ phận của thiết bị (máy móc gia dụng, dụng cụ điện cầm tay). Mô hình trí tuệ nhân tạo đa năng được đào tạo sẽ phân tích hình thái các bộ phận để phát hiện dấu hiệu hao mòn, hư hỏng tiềm ẩn hoặc xác định các bộ phận cần thay thế dựa trên mã model. Ứng dụng có thể đưa ra khuyến nghị bảo trì, dự đoán thời điểm cần thay thế linh kiện, hoặc kết nối với dịch vụ hỗ trợ kỹ thuật.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.07413
ArXiv Abstracthttps://arxiv.org/abs/2604.07413
PDF Downloadhttps://arxiv.org/pdf/2604.07413.pdf
Github Repositoryhttps://github.com/AI4Manufacturing/FORGE

3. EXAONE 4.5 Technical Report (40 votes)​

Tác giả: Eunbi Choi, Kibong Choi, Sehyun Chun, Seokhee Hong, Junwon Hwang, Hyojin Jeon, Ahra Jo, Hyunjik Jo, Yeonsik Jo, Joonkee Kim, Seonghwan Kim, Soyeon Kim, Sunkyoung Kim, Yireun Kim, Yongil Kim, Changhun Lee, Haeju Lee, Jinsik Lee, Kyungmin Lee, Sangha Park, Kwangrok Ryoo, Minju Seo, Sejong Yang, Heuiyeen Yeen, Hwan Chang, Stanley Jungkyu Choi, Yejin Choi, Kyubeen Han, Joonwon Jang, Kijeong Jeon, Geunyeong Jeong, Gerrard Jeongwon Jo, Jiyeon Jung, Daeseong Kim, Dohoon Kim, Dohyun Kim, Hyunseo Kim, Minu Kim, Myoungshin Kim, Youchul Kim, Byungoh Ko, Christopher Lee, Edward Hwayoung Lee, Honglak Lee, Jiyoung Lee, Sangeun Lee, Seungwon Lim, Woohyung Lim, Jueun Mun, Jaewoo Park, Jimin Park, Jinho Park, Yongmin Park, Wooseok Seo, Yongwoo Song, Sihyuk Yi, Kyungjae Yoo, Sangyeon Yoon

Xuất bản lúc: 2026-04-09

Tag: Vision-Language Model, Multimodal AI, LLMs, Document Understanding, Korean Language Processing, Context Length Extension, Reinforcement Learning, Supervised Fine-Tuning, Open-weight model

I. Main Problem:​

Các mô hình EXAONE trước đây chủ yếu là LLMs tập trung vào các ứng dụng công nghiệp dựa trên văn bản. Với sự chuyển đổi sang kỷ nguyên AI tác tử (Agentic AI), nhu cầu về khả năng suy luận logic, toán học và đặc biệt là khả năng hiểu thị giác ngày càng trở nên quan trọng. Cần có một mô hình Vision-Language (VLM) có khả năng xử lý các môi trường công nghiệp phức tạp, dữ liệu đa phương thức (văn bản và hình ảnh) và ngữ cảnh dài. Các bộ mã hóa thị giác hiện có không đáp ứng được yêu cầu về khả năng mở rộng và hiệu quả khi xử lý hình ảnh độ phân giải cao mà không làm giảm đáng kể thông tin. Ngoài ra, các sắc thái văn hóa và ngôn ngữ của tiếng Hàn còn chưa được thể hiện đầy đủ trong các mô hình hiện có.

II. Main Idea:​

EXAONE 4.5 là mô hình Vision-Language (VLM) mã nguồn mở đầu tiên của LG AI Research. Mô hình này tích hợp một bộ mã hóa thị giác 1.2B tham số chuyên dụng vào khung EXAONE 4.0 (mô hình cơ sở 32B), cho phép huấn luyện trước đa phương thức gốc trên cả hai phương thức thị giác và văn bản. EXAONE 4.5 hỗ trợ sáu ngôn ngữ (tiếng Hàn, tiếng Anh, tiếng Tây Ban Nha, tiếng Đức, tiếng Nhật và tiếng Việt) và mở rộng độ dài ngữ cảnh lên đến 256K token. Việc huấn luyện được thực hiện trên tập dữ liệu lớn, được chọn lọc kỹ lưỡng, đặc biệt nhấn mạnh các tập dữ liệu tập trung vào tài liệu phù hợp với các lĩnh vực ứng dụng chiến lược của LG, cũng như nội dung đa phương thức chuyên biệt của Hàn Quốc. Để duy trì hiệu quả tính toán, mô hình áp dụng các cơ chế chú ý lai (hybrid attention) và Grouped Query Attention (GQA) trong bộ mã hóa thị giác, cùng với 2D Rotary Positional Embedding (2D RoPE) cho thị giác và 1D RoPE tiêu chuẩn cho ngôn ngữ. Quá trình huấn luyện trước diễn ra theo hai giai đoạn để củng cố liên kết đa phương thức và mở rộng phạm vi biểu diễn của mô hình. Giai đoạn hậu huấn luyện bao gồm tinh chỉnh có giám sát (SFT) với dữ liệu đa lĩnh vực, đa phương thức, đa ngôn ngữ và tối ưu hóa ưu tiên ngoại tuyến (Offline Preference Optimization) sử dụng L DPO cho thị giác và L GROUPER cho văn bản, cùng với học tăng cường đa phương thức (multimodal Reinforcement Learning) để nâng cao khả năng suy luận.

III. Main Results:​

EXAONE 4.5 đạt hiệu suất cạnh tranh trong các điểm chuẩn chung, đồng thời vượt trội so với các mô hình tiên tiến cùng quy mô trong việc hiểu tài liệu và suy luận ngữ cảnh tiếng Hàn. Cụ thể, trong các điểm chuẩn thị giác, mô hình thể hiện hiệu suất mạnh mẽ trong STEM / Puzzle (ví dụ: vượt trội hơn Qwen3-VL-235B trên MATHVISION và GPT-5 mini trên MMMU-PRO), hiểu tài liệu (ví dụ: vượt qua Qwen3-VL-235B trên CHARXIV(RQ) và GPT-5 mini trên AI2D và OMNIDOCBENCH) và các điểm chuẩn chung (vượt trội hơn Qwen3-VL-235B trên BLINK). Trong các điểm chuẩn ngôn ngữ, EXAONE 4.5 đạt điểm cao nhất trên LIVECODEBENCH V6 và đứng thứ hai tổng thể trên AIME 2026. Mô hình cũng cạnh tranh trong các tác vụ sử dụng công cụ tác tử (agentic tool-use) và theo hướng dẫn (instruction-following), vượt trội hơn Qwen3-VL-235B-A22B trên τ2-BENCH, IFBENCH và IFEVAL. Nhìn chung, kết quả cho thấy EXAONE 4.5 cung cấp hiệu suất suy luận thị giác-ngôn ngữ mạnh mẽ trên nhiều kịch bản đánh giá.

IV. Conclusion & Future Works:​

EXAONE 4.5 là VLM mã nguồn mở đầu tiên của LG, đã thành công trong việc kết nối khả năng suy luận nâng cao với khả năng hiểu thị giác thông qua việc tích hợp bộ mã hóa thị giác tùy chỉnh và các đổi mới về kiến trúc, huấn luyện. Mô hình thể hiện khả năng mạnh mẽ trong việc xử lý dữ liệu đa phương thức phức tạp, bao gồm cả nội dung văn hóa và học thuật chuyên biệt của Hàn Quốc, với độ dài ngữ cảnh 256K token ổn định và hiệu quả. EXAONE 4.5 đóng vai trò là công cụ giải quyết vấn đề mạnh mẽ cho các môi trường công nghiệp đòi hỏi khắt khe và là nền tảng quan trọng cho sự phát triển trong tương lai của các mô hình Vision-Language-Action (VLA), cho phép hệ thống AI tương tác và vận hành tự động trong môi trường vật lý. Việc phát hành mã nguồn mở nhằm mục đích thúc đẩy nghiên cứu cộng đồng và thế hệ hệ thống AI tiếp theo. Tuy nhiên, mô hình vẫn có những hạn chế như có thể tạo ra các phản hồi không phù hợp, thiên vị hoặc sai lệch dựa trên dữ liệu huấn luyện.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các kiến trúc VLA (Vision-Language-Action) thế hệ tiếp theo: Khám phá cách tích hợp khả năng hành động vào các mô hình thị giác-ngôn ngữ để AI có thể tương tác và vận hành tự động trong môi trường công nghiệp vật lý. Điều này có thể bao gồm việc phát triển các mô hình học tăng cường (RL) mới cho điều khiển hành động dựa trên đầu vào đa phương thức.
  2. Tối ưu hóa và mở rộng khả năng hiểu tài liệu đa ngôn ngữ và chuyên biệt: Tập trung vào việc cải thiện hiệu suất của VLM trong việc hiểu các loại tài liệu kỹ thuật, sơ đồ, biểu đồ và nội dung chuyên ngành khác, đặc biệt là trong các ngôn ngữ ít tài nguyên hoặc có cấu trúc phức tạp như tiếng Việt. Nghiên cứu các phương pháp tạo dữ liệu tổng hợp (synthetic data generation) chất lượng cao và hiệu quả hơn cho các miền cụ thể.
  3. Phát triển phương pháp giảm thiểu sai lệch và thông tin sai lệch trong mô hình đa phương thức: Nghiên cứu các kỹ thuật tinh chỉnh (fine-tuning) và tối ưu hóa ưu tiên (preference optimization) tiên tiến để giảm thiểu việc tạo ra các phản hồi không phù hợp, thiên vị hoặc sai sự thật, đặc biệt khi xử lý dữ liệu nhạy cảm hoặc không phản ánh thông tin mới nhất.

2. Patent:​

  1. Hệ thống hỗ trợ kiểm tra chất lượng sản phẩm di động bằng thị giác AI: Một ứng dụng trên điện thoại di động sử dụng camera của điện thoại để chụp ảnh các sản phẩm hoặc linh kiện trong quá trình sản xuất. Mô hình AI dựa trên EXAONE 4.5 sẽ phân tích hình ảnh để tự động phát hiện lỗi, dị thường hoặc sai lệch so với bản thiết kế, sau đó cung cấp phản hồi ngay lập tức cho người dùng hoặc hệ thống quản lý chất lượng.
  2. Trợ lý kỹ thuật số đa ngôn ngữ cho tài liệu hướng dẫn và sơ đồ phức tạp: Một ứng dụng di động cho phép người dùng chụp ảnh hoặc tải lên các tài liệu kỹ thuật, sơ đồ mạch, hoặc bản thiết kế. Mô hình sẽ đọc, hiểu và giải thích nội dung bằng nhiều ngôn ngữ (ví dụ: tiếng Việt), trả lời các câu hỏi về cách vận hành, bảo trì, hoặc xác định các thành phần, giúp kỹ sư hoặc người dùng phổ thông dễ dàng tiếp cận thông tin phức tạp.
  3. Chức năng tóm tắt và phân tích tài liệu dài trên di động với hỗ trợ đa phương thức: Một tính năng tích hợp trong ứng dụng văn phòng hoặc trình duyệt trên điện thoại, cho phép người dùng tải lên các tài liệu dài (ví dụ: báo cáo, hợp đồng, sách hướng dẫn) có chứa cả văn bản và hình ảnh. Mô hình sẽ tóm tắt nội dung chính, trích xuất thông tin quan trọng từ cả văn bản và hình ảnh, và trả lời các câu hỏi phức tạp về tài liệu đó, hỗ trợ người dùng làm việc hiệu quả hơn trên thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.08644
ArXiv Abstracthttps://arxiv.org/abs/2604.08644
PDF Downloadhttps://arxiv.org/pdf/2604.08644.pdf
Github Repositoryhttps://github.com/LG-AI-EXAONE/EXAONE-4.5

4. Matrix-Game 3.0: Real-Time and Streaming Interactive World Model with Long-Horizon Memory (36 votes)​

Tác giả: Zile Wang, Zexiang Liu, Jaixing Li, Kaichen Huang, Baixin Xu, Fei Kang, Mengyin An, Peiyu Wang, Biao Jiang, Yichen Wei, Yidan Xietian, Jiangbo Pei, Liang Hu, Boyi Jiang, Hua Xue, Zidong Wang, Haofeng Sun, Wei Li, Wanli Ouyang, Xianglong He, Yang Liu, Yangguang Li, Yahui Zhou

Xuất bản lúc: 2026-04-10

Tag: Diffusion Models, World Models, Real-time Generation, Long-horizon Memory, Video Generation, Interactive AI, DiT, Model Distillation, Quantization

I. Main Problem:​

Các phương pháp hiện có gặp khó khăn trong việc đồng thời đạt được tính nhất quán tạm thời dài hạn có hỗ trợ bộ nhớ và khả năng tạo nội dung thời gian thực, độ phân giải cao, hạn chế khả năng ứng dụng trong các kịch bản thực tế. Cụ thể, các mô hình khuếch tán video ngắn mạnh mẽ khi áp dụng trực tiếp thiếu khả năng tạo nội dung liên tục với tốc độ thời gian thực trong khi vẫn duy trì sự gắn kết về ngữ nghĩa và hình học trong thời gian dài, dẫn đến các phân đoạn không nhất quán hoặc độ trễ cao không thể chấp nhận được.

II. Main Idea:​

Matrix-Game 3.0 là một mô hình thế giới tương tác được tăng cường bộ nhớ, thiết kế để tạo video dài, độ phân giải 720p, thời gian thực. Phương pháp này cải thiện một cách có hệ thống trên ba khía cạnh: dữ liệu, mô hình và suy luận.

  1. Dữ liệu: Phát triển một công cụ dữ liệu quy mô công nghiệp được nâng cấp, tích hợp dữ liệu tổng hợp dựa trên Unreal Engine, thu thập tự động quy mô lớn từ các trò chơi AAA và tăng cường video thế giới thực để tạo ra dữ liệu bộ bốn Video–Pose–Action–Prompt chất lượng cao với quy mô lớn.
  2. Mô hình: Đề xuất một khung đào tạo cho tính nhất quán dài hạn bằng cách mô hình hóa phần dư dự đoán và tái tiêm các khung hình được tạo không hoàn hảo trong quá trình đào tạo để mô hình cơ sở tự điều chỉnh. Đồng thời, cơ chế truy xuất và tiêm bộ nhớ nhận biết camera cho phép mô hình cơ sở đạt được tính nhất quán không gian-thời gian dài hạn.
  3. Suy luận: Thiết kế một chiến lược chưng cất tự hồi quy đa phân đoạn dựa trên Distribution Matching Distillation (DMD), kết hợp với lượng tử hóa mô hình và cắt tỉa bộ giải mã VAE, để đạt được suy luận thời gian thực hiệu quả.

III. Main Results:​

Matrix-Game 3.0 đạt được khả năng tạo nội dung thời gian thực lên tới 40 FPS ở độ phân giải 720p với mô hình 5B tham số, đồng thời duy trì tính nhất quán bộ nhớ ổn định trên các chuỗi dài tới vài phút. Việc mở rộng quy mô lên mô hình 2 × 14B (tổng 28B) tiếp tục cải thiện chất lượng tạo nội dung, tính động và khả năng tổng quát hóa. Các kỹ thuật tăng tốc suy luận như lượng tử hóa DiT INT8 và cắt tỉa bộ giải mã VAE (MG-LightVAE) đã giúp tăng tốc độ giải mã VAE lên lần lượt 2.6 và 5.2 lần.

IV. Conclusion & Future Works:​

Matrix-Game 3.0 cung cấp một lộ trình thực tế hướng tới các mô hình thế giới có thể triển khai ở quy mô công nghiệp, giải quyết những thách thức về tính nhất quán dài hạn và khả năng tạo nội dung thời gian thực ở độ phân giải cao. Hướng nghiên cứu tương lai có thể tập trung vào việc cải thiện hơn nữa khả năng tổng quát hóa của mô hình và tối ưu hóa hiệu suất để hỗ trợ các kịch bản tương tác phức tạp hơn và đa dạng hơn trong thế giới thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các kiến trúc bộ nhớ mới cho mô hình thế giới, tập trung vào bộ nhớ ngữ nghĩa và bộ nhớ dự đoán để tăng cường tính nhất quán dài hạn trong các môi trường động và không bị ràng buộc cao.
  2. Khám phá các phương pháp nén mô hình và tăng tốc suy luận tiên tiến cho các mô hình thế giới có quy mô lớn hơn, bao gồm các kiến trúc sparse hoặc kỹ thuật suy luận on-device để triển khai trên các thiết bị có tài nguyên hạn chế.
  3. Mở rộng khả năng tổng quát hóa của mô hình thế giới sang các kịch bản tương tác thực tế đa dạng hơn, bao gồm học từ dữ liệu đa phương thức (âm thanh, xúc giác) và tương tác với các tác nhân người dùng phức tạp trong môi trường mở.

2. Patent:​

  1. Một hệ thống trợ lý ảo tương tác thời gian thực trên điện thoại di động, có khả năng tạo ra các cảnh quan hoặc tương tác nhân vật động trong trò chơi di động dựa trên lệnh thoại hoặc cử chỉ của người dùng. Hệ thống này sẽ cải thiện đáng kể trải nghiệm chơi game bằng cách cho phép người dùng điều khiển môi trường hoặc tương tác với các nhân vật ảo một cách tự nhiên và liên tục, đồng thời duy trì tính nhất quán hình ảnh trong thời gian dài.
  2. Ứng dụng hướng dẫn du lịch ảo cá nhân hóa trên điện thoại di động, tạo ra các chuyến tham quan ảo tương tác của các địa điểm có thật hoặc tưởng tượng. Ứng dụng sẽ tự động tạo ra các khung cảnh mới và tương tác dựa trên hướng di chuyển và câu hỏi của người dùng, duy trì sự nhất quán về không gian và hình ảnh trong suốt chuyến tham quan.
  3. Công cụ tạo nội dung và kể chuyện tương tác trên điện thoại di động, cho phép người dùng đồng sáng tạo câu chuyện hoặc video hoạt hình ngắn bằng cách cung cấp lời nhắc văn bản và hành động đơn giản. Trí tuệ nhân tạo sẽ tạo ra các cảnh quay và chuyển động nhân vật trong thời gian thực, duy trì phong cách hình ảnh và cốt truyện nhất quán trong các chuỗi dài, giúp việc tạo nội dung dễ dàng trực tiếp từ điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.08995
ArXiv Abstracthttps://arxiv.org/abs/2604.08995
PDF Downloadhttps://arxiv.org/pdf/2604.08995.pdf
Github RepositoryN/A

5. RefineAnything: Multimodal Region-Specific Refinement for Perfect Local Details (35 votes)​

Tác giả: Dewei Zhou, You Li, Zongxin Yang, Yi Yang

Xuất bản lúc: 2026-04-08

Tag: Image Generation, Image Editing, Multimodal Learning, Diffusion Models, VAE, Vision-Language Models

I. Main Problem:​

Các mô hình tạo ảnh hiện đại thường gặp phải vấn đề "local detail collapse" (suy giảm chi tiết cục bộ), dẫn đến văn bản, logo và cấu trúc mỏng bị méo mó hoặc không nhất quán. Các mô hình chỉnh sửa theo hướng dẫn hiện có tập trung vào các chỉnh sửa ngữ nghĩa thô và thường bỏ qua các khiếm khuyết cục bộ tinh vi hoặc vô tình thay đổi nền, đặc biệt khi vùng quan tâm chỉ chiếm một phần nhỏ của ảnh đầu vào có độ phân giải cố định. Người dùng cần một công cụ tinh chỉnh vừa chính xác theo vùng, hiệu quả về chi tiết, vừa bảo toàn nền.

II. Main Idea:​

Chúng tôi giới thiệu khái niệm "tinh chỉnh ảnh theo vùng cụ thể" như một vấn đề riêng biệt. Chúng tôi đề xuất RefineAnything, một mô hình tinh chỉnh dựa trên Diffusion đa phương thức, hỗ trợ tinh chỉnh cả có và không có tham chiếu. Dựa trên quan sát rằng việc "cắt và thay đổi kích thước" có thể cải thiện đáng kể khả năng tái tạo cục bộ dưới độ phân giải đầu vào VAE cố định, chúng tôi đưa ra chiến lược "Focus-and-Refine" để tập trung vào vùng mục tiêu. Chiến lược này cải thiện hiệu quả bằng cách phân bổ lại ngân sách độ phân giải cho vùng đích, đồng thời cơ chế "dán lại bằng mặt nạ pha trộn" đảm bảo bảo toàn nền một cách nghiêm ngặt. Chúng tôi cũng giới thiệu "Boundary Consistency Loss" để giảm các hiện vật đường nối và cải thiện tính tự nhiên khi dán lại. Để hỗ trợ thiết lập mới này, chúng tôi xây dựng bộ dữ liệu Refine-30K và giới thiệu RefineEval, một tiêu chuẩn để đánh giá cả độ trung thực của vùng đã chỉnh sửa và tính nhất quán của nền.

III. Main Results:​

Trên RefineEval, RefineAnything đạt được những cải tiến vượt trội so với các mô hình cơ sở cạnh tranh và bảo toàn nền gần như hoàn hảo. Cụ thể, nó cải thiện độ trung thực của vùng với lỗi tái tạo MSE/LPIPS thấp hơn (0.020/0.155 so với 0.040/0.264), và tăng cường sự căn chỉnh ngữ nghĩa với độ tương đồng DINO/CLIP và điểm SSIM cao hơn (0.793/0.885/0.591 so với 0.675/0.807/0.436). Đồng thời, nó đạt được sự nhất quán nền gần như hoàn hảo với lỗi MSE_bg/LPIPS_bg thấp hơn và điểm SSIM_bg cao hơn (0.000/0.000/0.9997 so với 0.011/0.019/0.9660).

IV. Conclusion & Future Works:​

Chúng tôi đã định hình lại vấn đề tinh chỉnh ảnh theo vùng cụ thể và trình bày RefineAnything, một hệ thống thực tế giúp cải thiện chi tiết cục bộ đồng thời giữ nguyên các vùng không chỉnh sửa. Các phương pháp chính bao gồm Focus-and-Refine và Boundary Consistency Loss, cho phép tinh chỉnh chất lượng cao với việc dán lại liền mạch. Việc xây dựng Refine-30K và RefineEval đã hỗ trợ đào tạo và đánh giá, chứng minh những cải tiến đáng kể về chất lượng tinh chỉnh, căn chỉnh ngữ nghĩa và tính nhất quán của nền. Hướng phát triển trong tương lai có thể tập trung vào việc mở rộng khả năng của mô hình để xử lý các loại khiếm khuyết phức tạp hơn, tối ưu hóa hơn nữa hiệu quả tính toán, hoặc tích hợp các phương pháp điều khiển trực quan hơn cho người dùng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng RefineAnything sang chỉnh sửa video: Nghiên cứu các phương pháp để đảm bảo tính nhất quán thời gian khi thực hiện tinh chỉnh chi tiết cục bộ trong chuỗi video, giải quyết thách thức về nhấp nháy và biến dạng giữa các khung hình.
  2. Tối ưu hóa hiệu suất và khả năng mở rộng của RefineAnything cho các thiết bị biên: Phát triển các kiến trúc và kỹ thuật nén mô hình để cho phép tinh chỉnh chi tiết cục bộ chất lượng cao trực tiếp trên điện thoại thông minh hoặc các thiết bị di động khác với tài nguyên hạn chế.
  3. Nghiên cứu các phương pháp kiểm soát tinh chỉnh dựa trên ngôn ngữ tự nhiên phức tạp hơn: Cho phép người dùng mô tả các chỉnh sửa chi tiết (ví dụ: "làm cho văn bản này trông như được in bằng phông chữ cổ điển") mà không cần cung cấp hình ảnh tham chiếu, tăng cường tính linh hoạt và dễ sử dụng.

2. Patent:​

  1. Công nghệ tăng cường chi tiết ảnh thông minh trên điện thoại di động: Một tính năng trong ứng dụng chỉnh sửa ảnh cho phép người dùng khoanh vùng bằng ngón tay hoặc vẽ một hộp đơn giản xung quanh một vật thể nhỏ, khuôn mặt hoặc văn bản bị mờ trong ảnh. Điện thoại sẽ tự động làm sắc nét và sửa lỗi chi tiết trong vùng đó mà không làm thay đổi phần còn lại của bức ảnh, giúp ảnh trông chuyên nghiệp hơn ngay lập tức.
  2. Hệ thống chỉnh sửa ảnh sản phẩm AI cho thương mại điện tử di động: Một công cụ tích hợp trong ứng dụng chụp ảnh hoặc quản lý sản phẩm trên điện thoại, giúp các chủ cửa hàng nhỏ dễ dàng sửa chữa nhãn mác sản phẩm bị nhòe, logo không rõ nét hoặc các chi tiết nhỏ khác. Chỉ cần chạm hoặc vuốt để chọn vùng, AI sẽ tự động tinh chỉnh, đảm bảo hình ảnh sản phẩm luôn rõ ràng và chuyên nghiệp khi đăng bán trực tuyến.
  3. Tính năng làm rõ văn bản và biển báo thời gian thực trên camera điện thoại: Một chức năng hỗ trợ tiếp cận trong ứng dụng camera, cho phép người dùng chỉ camera vào một biển báo xa, thực đơn có chữ nhỏ hoặc tài liệu. Khi người dùng chạm vào vùng văn bản trên màn hình, ứng dụng sẽ xử lý và làm sắc nét riêng vùng đó trong chế độ xem trực tiếp hoặc ảnh đã chụp, giúp đọc dễ dàng hơn ngay cả trong điều kiện ánh sáng kém hoặc độ phân giải ban đầu thấp.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.06870
ArXiv Abstracthttps://arxiv.org/abs/2604.06870
PDF Downloadhttps://arxiv.org/pdf/2604.06870.pdf
Github Repositoryhttps://github.com/limuloo/RefineAnything

6. ECHO: Efficient Chest X-ray Report Generation with One-step Block Diffusion (16 votes)​

Tác giả: Lifeng Chen, Tianqi You, Hao Liu, Zhimin Bao, Jile Jiao, Xiao Han, Zhicai Ou, Tao Sun, Xiaofeng Mou, Xiaojie Jin, Yi Xu

Xuất bản lúc: 2026-04-10

Tag: CXR Report Generation, Diffusion Models, Vision-Language Models, Distillation, Medical Imaging, Efficiency, Parallel Decoding

I. Main Problem:​

Các mô hình Vision-Language Models (VLMs) tự hồi quy truyền thống để tạo báo cáo X-quang ngực (CXR-RG) gặp phải độ trễ suy luận cao do cơ chế giải mã tuần tự. Mặc dù các mô hình dựa trên Diffusion cung cấp khả năng tạo song song đầy hứa hẹn, chúng vẫn yêu cầu nhiều lần lặp khử nhiễu. Việc nén quá trình khử nhiễu đa bước thành một bước duy nhất có thể giảm thêm độ trễ, nhưng thường làm giảm tính mạch lạc của văn bản do sai lệch trường trung bình (mean-field bias) được tạo ra bởi các bộ khử nhiễu phân tách token.

II. Main Idea:​

Để giải quyết thách thức này, nghiên cứu đề xuất ECHO, một mô hình dVLM dựa trên Diffusion hiệu quả cho việc tạo báo cáo X-quang ngực. ECHO cho phép suy luận ổn định một bước trên mỗi khối (one-step-per-block) thông qua khuôn khổ Direct Conditional Distillation (DCD) mới. DCD giảm thiểu giới hạn trường trung bình bằng cách xây dựng sự giám sát không phân tách từ các quỹ đạo Diffusion trên chính sách để mã hóa các phụ thuộc token chung. Ngoài ra, nghiên cứu giới thiệu chiến lược đào tạo Response-Asymmetric Diffusion (RAD) giúp cải thiện hiệu quả đào tạo mà vẫn duy trì hiệu quả của mô hình. ECHO cũng giảm thiểu ảo giác bằng cách chuẩn hóa dữ liệu báo cáo và thêm tổn thất cross-entropy cho token , đồng thời tối ưu hóa suy luận với Fused Block KV Cache để giảm số lần chuyển tiếp.

III. Main Results:​

ECHO vượt trội hơn các phương pháp tự hồi quy hiện đại, cải thiện RaTE và SemScore lần lượt là 64.33% và 60.58%, đồng thời đạt được tốc độ suy luận nhanh hơn 8 lần mà không ảnh hưởng đến độ chính xác lâm sàng. DCD đạt được tốc độ suy luận nhanh hơn tới 390% chỉ với sự suy giảm chất lượng không đáng kể. Chiến lược đào tạo RAD giảm FLOPs đào tạo lý thuyết tới 72.3%, tương đương với tốc độ đào tạo nhanh hơn 3.61 lần. Các nghiên cứu loại bỏ thành phần cho thấy Step-wise Weighting và Cross-Entropy loss cho token cải thiện đáng kể sự ổn định và chất lượng báo cáo, trong khi Reverse KL làm giảm hiệu suất.

IV. Conclusion & Future Works:​

ECHO là một mô hình dVLM mới cho việc tạo báo cáo X-quang ngực, mang lại độ chính xác lâm sàng cao thông qua giải mã song song một bước trên mỗi khối. Mô hình vượt trội so với các phương pháp tự hồi quy và dựa trên Diffusion hiện có. Các đóng góp chính bao gồm Direct Conditional Distillation (DCD) – khuôn khổ chưng cất một bước đầu tiên cho các mô hình ngôn ngữ Diffusion rời rạc, và Response-Asymmetric Diffusion (RAD) – giúp cải thiện hiệu quả đào tạo. Việc tập trung vào chưng cất một bước và giải mã song song mở ra hướng phát triển các mô hình VLM y tế hiệu quả hơn. Các hướng phát triển trong tương lai có thể bao gồm việc mở rộng các kỹ thuật này sang các nhiệm vụ phân tích hình ảnh y tế phức tạp hơn hoặc tối ưu hóa thêm sự cân bằng giữa tốc độ và chất lượng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng Diffusion một bước theo khối cho các tác vụ hình ảnh y tế khác: Nghiên cứu khả năng áp dụng khuôn khổ Diffusion một bước trên mỗi khối của ECHO cho các loại hình ảnh y tế khác ngoài X-quang ngực (ví dụ: MRI, CT scan) và các loại báo cáo lâm sàng chuyên sâu hơn, nhằm đạt được hiệu suất cao và giảm độ trễ trong các lĩnh vực này.
  2. Kỹ thuật chưng cất nâng cao cho phụ thuộc đa phương thức: Phát triển các phương pháp chưng cất tiên tiến hơn cho các mô hình Diffusion, đặc biệt là trong việc nắm bắt các phụ thuộc phức tạp giữa hình ảnh và văn bản trong một lần suy luận duy nhất, nhằm giảm thiểu hoàn toàn sự suy giảm chất lượng khi chuyển từ mô hình đa bước sang một bước.
  3. Tối ưu hóa thích ứng kích thước khối và ngưỡng tin cậy: Nghiên cứu các phương pháp động để điều chỉnh kích thước khối và ngưỡng tin cậy trong các chiến lược DCD và RAD. Mục tiêu là tự động tối ưu hóa sự cân bằng giữa tốc độ suy luận và chất lượng báo cáo dựa trên độ phức tạp của hình ảnh hoặc yêu cầu lâm sàng cụ thể của từng trường hợp.

2. Patent:​

  1. Ứng dụng di động hỗ trợ chẩn đoán sơ bộ hình ảnh y tế: Một ứng dụng trên điện thoại di động hoặc máy tính bảng cho phép người dùng chụp ảnh các kết quả hình ảnh y tế (ví dụ: màn hình X-quang, ảnh vết thương bên ngoài) và nhận ngay lập tức một báo cáo sơ bộ do AI tạo ra. Ứng dụng sẽ sử dụng công nghệ giải mã nhanh của ECHO để cung cấp thông tin ban đầu, giúp người dùng quyết định có nên tìm kiếm sự chăm sóc y tế chuyên nghiệp hay không. Báo cáo sẽ được trình bày đơn giản, dễ hiểu.
  2. Hệ thống tạo báo cáo y tế nhanh cho chuyên gia trên thiết bị di động: Một công cụ AI trên thiết bị di động dành cho các chuyên gia y tế, cho phép họ nhanh chóng tạo các bản nháp báo cáo từ hình ảnh chẩn đoán được chụp (ví dụ: ảnh chụp màn hình máy siêu âm, hình ảnh từ kính hiển vi). Hệ thống này sẽ giảm đáng kể khối lượng công việc thủ công, đặc biệt trong các môi trường y tế từ xa hoặc hạn chế tài nguyên, bằng cách cung cấp các bản tóm tắt lâm sàng nhanh chóng, có thể xem xét và chỉnh sửa trực tiếp trên điện thoại thông minh hoặc máy tính bảng.
  3. Ứng dụng theo dõi sức khỏe cá nhân với phân tích hình ảnh tích hợp: Một ứng dụng di động theo dõi sức khỏe cá nhân tích hợp với các thiết bị đeo tay hoặc công cụ chẩn đoán tại nhà (ví dụ: máy đo ECG cầm tay, máy đo huyết áp có đầu ra hình ảnh). Ứng dụng sẽ sử dụng một mô hình AI tương tự ECHO để phân tích dữ liệu hình ảnh từ các thiết bị này (ví dụ: dạng sóng ECG, hình ảnh tổn thương da) và tạo ra các bản tóm tắt hoặc cảnh báo sức khỏe ngắn gọn, theo yêu cầu, cung cấp cho người dùng thông tin chủ động về tình trạng sức khỏe của họ ngay trên điện thoại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.09450
ArXiv Abstracthttps://arxiv.org/abs/2604.09450
PDF Downloadhttps://arxiv.org/pdf/2604.09450.pdf
Github RepositoryN/A

7. ELT: Elastic Looped Transformers for Visual Generation (15 votes)​

Tác giả: Sahil Goyal, Swayam Agrawal, Gautham Govind Anil, Prateek Jain, Sujoy Paul, Aditya Kusupati

Xuất bản lúc: 2026-04-10

Tag: Generative AI, Transformers, Parameter Efficiency, Recurrent Neural Networks, Image Generation, Video Generation, Self-Distillation, Diffusion Models, Masked Generative Models, Any-Time Inference

I. Main Problem:​

Các mô hình tạo sinh truyền thống thường dựa vào kiến trúc transformer với nhiều lớp độc đáo, dẫn đến yêu cầu bộ nhớ và số lượng tham số lớn. Các kiến trúc lặp lại, dù hiệu quả về tham số, lại khó huấn luyện vì các biểu diễn trung gian thường không rõ ràng cho đến vòng lặp cuối cùng. Điều này hạn chế khả năng suy luận "Any-Time" (mọi lúc), khiến chất lượng tạo sinh suy giảm đáng kể nếu số vòng lặp suy luận không khớp chính xác với cấu hình huấn luyện.

II. Main Idea:​

Giới thiệu Elastic Looped Transformers (ELT), một lớp mô hình tạo sinh hình ảnh và video hiệu quả về tham số, dựa trên kiến trúc transformer hồi quy. ELT sử dụng các khối transformer lặp đi lặp lại, chia sẻ trọng số để giảm đáng kể số lượng tham số trong khi vẫn duy trì chất lượng tạo sinh cao. Để huấn luyện hiệu quả, ELT đề xuất phương pháp Tự chưng cất trong vòng lặp (Intra-Loop Self Distillation - ILSD). ILSD chưng cất các cấu hình học sinh (vòng lặp trung gian) từ cấu hình giáo viên (số vòng lặp huấn luyện tối đa) để đảm bảo tính nhất quán trên toàn bộ chiều sâu của mô hình chỉ trong một bước huấn luyện. Điều này cho phép mô hình cung cấp khả năng suy luận "Any-Time" (linh hoạt về thời gian), cho phép điều chỉnh giữa chi phí tính toán và chất lượng tạo sinh mà không cần huấn luyện lại.

III. Main Results:​

I. Hiệu quả tham số hàng đầu:​

ELT đạt FID 2.0 cạnh tranh trên ImageNet 256x256 (tạo ảnh) và FVD 72.8 trên UCF-101 (tạo video), giảm 4 lần số lượng tham số so với các mô hình nền tảng như MaskGIT và MAGVIT, trong khi vẫn duy trì hoặc cải thiện hiệu suất trong các thiết lập tính toán suy luận tương đương.

II. Suy luận Any-Time/Linh hoạt:​

ELT cho phép suy luận linh hoạt, điều chỉnh chất lượng tạo sinh theo ngân sách tính toán có sẵn mà không cần huấn luyện lại.

III. Khả năng mở rộng:​

ELT cung cấp một đòn bẩy tính toán độc đáo trong thời gian kiểm tra, có thể mở rộng một cách có thể dự đoán được trên cả Masked Generative Transformers và Diffusion Transformers.

IV. So sánh với Diffusion models:​

ELT vượt trội hơn mô hình Diffusion nền tảng với 32 lớp (FID 3.43) khi sử dụng các thiết lập tính toán suy luận tương đương 8N×4L (FID 3.16) và 16N×2L (FID 2.83), đạt mức giảm tham số lần lượt là 4 lần và 2 lần.

IV. Conclusion & Future Works:​

ELT đã thay đổi đáng kể ranh giới hiệu quả cho việc tổng hợp hình ảnh và video. Mô hình này cho phép khả năng suy luận "Any-Time" với sự đánh đổi động giữa chi phí tính toán và chất lượng tạo sinh từ một lần huấn luyện duy nhất, sử dụng cùng số lượng tham số. ELT về cơ bản là bổ trợ cho các mô hình ít bước và mô hình nhất quán (tăng tốc liên bước), tập trung vào việc giảm tính toán trong mỗi bước lấy mẫu (tăng tốc trong bước). Hai khía cạnh này có thể kết hợp để đạt được hiệu quả cao hơn nữa. Khả năng linh hoạt của ELT phát sinh tự nhiên từ ILSD áp dụng cho các mục tiêu huấn luyện tiêu chuẩn, làm cho nó đặc biệt hấp dẫn cho các mô hình tạo sinh một bước, nơi số vòng lặp L trở thành đòn bẩy duy nhất để kiểm soát sự cân bằng giữa tính toán và chất lượng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp ELT với các phương pháp tăng tốc liên bước: Nghiên cứu tích hợp ELT (tăng tốc trong bước) với các kỹ thuật tăng tốc liên bước như Consistency Models hoặc progressive distillation để đạt được hiệu quả cao hơn nữa trong tạo sinh hình ảnh và video, đồng thời phân tích sự tương tác và lợi ích tổng hợp.
  2. Khám phá ILSD cho các kiến trúc hồi quy và tác vụ khác: Mở rộng việc ứng dụng thuật toán Tự chưng cất trong vòng lặp (ILSD) sang các kiến trúc mạng thần kinh hồi quy khác (ví dụ: RNN, LSTM) hoặc các tác vụ ngoài tạo sinh hình ảnh, nơi hiệu quả tham số và khả năng suy luận "Any-Time" mang lại lợi ích đáng kể.
  3. Cơ chế vòng lặp động và lựa chọn khối thích ứng: Phát triển các chiến lược vòng lặp động hoặc lựa chọn khối thích ứng, cho phép mô hình ELT tự động xác định số vòng lặp tối ưu trong quá trình suy luận dựa trên độ phức tạp của nội dung, yêu cầu chất lượng hoặc tài nguyên tính toán có sẵn, thay vì một số vòng lặp cố định.

2. Patent:​

  1. Hệ thống tạo ảnh/video thích ứng trên thiết bị di động: Một công nghệ trên điện thoại di động có khả năng tạo ra hình ảnh hoặc video ngắn với chất lượng và tốc độ thay đổi linh hoạt, dựa trên trạng thái pin của thiết bị, sức mạnh xử lý hiện có hoặc tùy chọn của người dùng. Ví dụ, khi pin yếu, hệ thống có thể nhanh chóng tạo ra một hình ảnh chất lượng thấp hơn cho mạng xã hội, nhưng khi thiết bị đang sạc, nó có thể dành nhiều thời gian hơn để kết xuất hình ảnh chất lượng cao cho một dự án chuyên nghiệp, tất cả từ cùng một mô hình được huấn luyện.
  2. Ứng dụng chuyển đổi phong cách và chỉnh sửa ảnh thời gian thực với chất lượng động: Một ứng dụng di động cho phép người dùng áp dụng các phong cách nghệ thuật hoặc thực hiện các chỉnh sửa ảnh phức tạp (ví dụ: thay thế nền, xóa đối tượng) trong thời gian thực. Ứng dụng này sẽ tự động điều chỉnh số lượng vòng lặp xử lý (và do đó, chất lượng hình ảnh và thời gian xử lý) dựa trên tương tác của người dùng (ví dụ: xem trước nhanh, chất lượng thấp hơn khi kéo, kết xuất chất lượng cao hơn khi thả) hoặc hiệu suất của thiết bị.
  3. Tạo nội dung hiệu quả trên thiết bị cho thực tế tăng cường (AR): Một ứng dụng AR di động tạo ra các đối tượng hoặc môi trường ảo trong thời gian thực cho trải nghiệm thực tế tăng cường. Sử dụng phương pháp transformer lặp đàn hồi, ứng dụng có thể nhanh chóng kết xuất các phiên bản đơn giản hóa, ít đa giác hơn của nội dung ảo khi người dùng di chuyển nhanh hoặc trong môi trường phức tạp, sau đó dần dần tinh chỉnh chi tiết và độ chân thực của nội dung ảo khi người dùng đứng yên hoặc tập trung vào một khu vực cụ thể, đảm bảo trải nghiệm AR mượt mà và phản hồi nhanh mà không làm hao pin quá mức.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.09168
ArXiv Abstracthttps://arxiv.org/abs/2604.09168
PDF Downloadhttps://arxiv.org/pdf/2604.09168.pdf
Github RepositoryN/A

8. Multi-User Large Language Model Agents (13 votes)​

Tác giả: Shu Yang, Shenzhe Zhu, Hao Zhu, José Ramón Enríquez, Di Wang, Alex Pentland, Michiel A. Bakker, Jiaxin Pei

Xuất bản lúc: 2026-03-19

Tag: LLMs, Multi-Agent Systems, User Interaction, Privacy, Conflict Resolution, Coordination

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLM) và tác nhân dựa trên LLM hiện tại chủ yếu được tối ưu hóa cho mô hình tương tác một người dùng (single-principal interaction), nơi chúng được thiết kế để thỏa mãn mục tiêu của một chủ thể duy nhất. Tuy nhiên, khi được tích hợp vào các quy trình làm việc nhóm, chúng ngày càng được yêu cầu phục vụ nhiều người dùng đồng thời, mỗi người có vai trò, sở thích và cấp độ quyền hạn riêng biệt. Điều này dẫn đến các thiết lập đa người dùng, đa chủ thể với các xung đột không thể tránh khỏi, thông tin bất đối xứng và các ràng buộc về quyền riêng tư. Các hệ thống hiện có thiếu giao thức để phân biệt vai trò người dùng, thực thi ranh giới thông tin hoặc giải quyết xung đột lợi ích giữa các người dùng, dẫn đến các hạn chế đáng kể trong việc tuân thủ hướng dẫn, bảo toàn quyền riêng tư và hiệu quả phối hợp.

II. Main Idea:​

Nghiên cứu này trình bày một nghiên cứu có hệ thống đầu tiên về các tác nhân LLM đa người dùng. Các tác giả chính thức hóa tương tác đa người dùng với tác nhân LLM như một bài toán quyết định đa chủ thể, trong đó một tác nhân duy nhất phải xem xét nhiều người dùng với các lợi ích tiềm năng xung đột và những thách thức liên quan. Sau đó, họ giới thiệu một giao thức tương tác đa người dùng thống nhất và thiết kế ba kịch bản kiểm tra căng thẳng có mục tiêu để đánh giá khả năng của các LLM hiện tại trong việc tuân thủ hướng dẫn, bảo toàn quyền riêng tư và phối hợp. Mô hình tương tác được thiết lập như một bài toán quyết định đa mục tiêu, nơi tác nhân cố gắng tối ưu hóa một mục tiêu xã hội có trọng số (Σ wi*Ui) và phải tuân thủ các ràng buộc kiểm soát truy cập.

III. Main Results:​

Các kết quả cho thấy những hạn chế cơ bản của các LLM hiện tại: (1) Tuân thủ hướng dẫn đa người dùng: Hiệu suất thực thi hướng dẫn giảm đáng kể khi có xung đột giữa các người dùng. Các mô hình mạnh về lựa chọn hướng dẫn (Selection F1) có thể yếu về thực thi (Execution Acc.) và ngược lại. (2) Kiểm soát truy cập liên người dùng: Khả năng bảo vệ quyền riêng tư giảm dần theo số vòng tương tác. Nhiều mô hình đạt điểm riêng tư cao ở các vòng đầu nhưng suy giảm đáng kể sau vài vòng. Một số mô hình đạt điểm riêng tư cao nhưng điểm tiện ích (Utility) thấp, cho thấy sự quá thận trọng. (3) Phối hợp cuộc họp đa người dùng: Ngay cả mô hình tốt nhất cũng chỉ đạt tỷ lệ thành công khoảng 77.3%. Các mô hình có tỷ lệ thành công cao hơn thường đạt được giải pháp trong ít lượt tương tác hơn, trong khi các mô hình yếu hơn yêu cầu thêm các lượt tương tác. Sự hiện diện của thông tin không đầy đủ làm giảm tỷ lệ thành công, và một số mô hình có xu hướng đưa ra quyết định sớm mà không yêu cầu làm rõ thông tin.

IV. Conclusion & Future Works:​

Các nghiên cứu cho thấy các LLM tiên tiến hiện nay còn nhiều hạn chế cơ bản trong các tình huống đa chủ thể. Các mô hình thường thất bại trong việc duy trì ưu tiên ổn định dưới các mục tiêu người dùng xung đột, thể hiện sự vi phạm quyền riêng tư ngày càng tăng qua các tương tác nhiều lượt, và gặp phải các nút thắt về hiệu quả khi phối hợp đòi hỏi thu thập thông tin lặp đi lặp lại. Để giải quyết những khoảng trống này, cần có sự thay đổi về công thức bài toán, mục tiêu huấn luyện và giao thức đánh giá. Các hướng nghiên cứu trong tương lai bao gồm phát triển các cơ chế mạnh mẽ hơn để xử lý xung đột, duy trì quyền riêng tư dài hạn và cải thiện hiệu quả phối hợp trong các môi trường đa người dùng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cơ chế ra quyết định đa chủ thể dựa trên LLM với ưu tiên động: Nghiên cứu về các phương pháp cho phép tác nhân LLM tự động học và điều chỉnh trọng số ưu tiên của người dùng dựa trên ngữ cảnh, vai trò, và mức độ khẩn cấp, thay vì chỉ dựa vào trọng số được xác định trước. Điều này sẽ giúp tác nhân linh hoạt hơn trong việc giải quyết xung đột lợi ích.
  2. Kiến trúc tác nhân LLM bảo mật quyền riêng tư cho tương tác đa lượt: Phát triển một kiến trúc tác nhân mới tập trung vào việc duy trì quyền riêng tư nghiêm ngặt qua nhiều vòng tương tác, có thể thông qua việc sử dụng các kỹ thuật mã hóa đồng hình hoặc học liên bang để xử lý thông tin nhạy cảm mà không tiết lộ dữ liệu thô cho tác nhân trung tâm.
  3. Tối ưu hóa hiệu quả phối hợp tác vụ trong môi trường LLM đa người dùng: Nghiên cứu các chiến lược để tác nhân LLM chủ động xác định thông tin còn thiếu, tối ưu hóa số lượt tương tác cần thiết để đạt được sự đồng thuận, và tránh các quyết định sớm trong các tác vụ phối hợp phức tạp như lên lịch trình hoặc quản lý dự án.

2. Patent:​

  1. Hệ thống trợ lý cá nhân thông minh đa vai trò trên điện thoại: Một ứng dụng trợ lý ảo trên điện thoại có khả năng phân biệt và quản lý các yêu cầu từ các "vai trò" khác nhau của người dùng (ví dụ: vai trò công việc, vai trò gia đình, vai trò cá nhân). Khi người dùng chuyển đổi ngữ cảnh (ví dụ: từ ứng dụng công việc sang ứng dụng cá nhân), trợ lý sẽ tự động điều chỉnh mức độ ưu tiên, quyền riêng tư và phong cách phản hồi cho phù hợp, đảm bảo thông tin từ vai trò này không bị rò rỉ sang vai trò khác.
  2. Chức năng lên lịch họp nhóm thông minh tích hợp quyền riêng tư trên điện thoại: Một tính năng lịch trên điện thoại thông minh cho phép người dùng đề xuất một cuộc họp và hệ thống tự động thu thập thông tin về thời gian rảnh của các thành viên khác mà không tiết lộ chi tiết lịch trình cá nhân của từng người. Hệ thống sẽ chỉ hiển thị các khoảng thời gian chung có thể họp được và đề xuất thời gian tối ưu, đồng thời xử lý các xung đột lịch trình một cách thông minh, yêu cầu thêm thông tin khi cần thiết, và đảm bảo quyền riêng tư cho mỗi người dùng.
  3. Trợ lý di động quản lý thông báo và ưu tiên công việc dựa trên vai trò người dùng: Một trợ lý ảo trên điện thoại có khả năng phân loại các thông báo và nhiệm vụ đến dựa trên vai trò (ví dụ: email từ sếp là công việc, tin nhắn từ vợ là gia đình). Trợ lý này sẽ học cách ưu tiên và hiển thị thông báo, hoặc thậm chí thực hiện các hành động tự động (ví dụ: trả lời email tự động với thông tin chung đã được phê duyệt) dựa trên vai trò hiện tại của người dùng và các quy tắc xung đột đã được thiết lập, giúp người dùng tập trung vào vai trò quan trọng nhất tại thời điểm đó mà không bỏ lỡ thông tin quan trọng từ các vai trò khác.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.08567
ArXiv Abstracthttps://arxiv.org/abs/2604.08567
PDF Downloadhttps://arxiv.org/pdf/2604.08567.pdf
Github Repositoryhttps://github.com/Korde-AI/Multi-User-LLM-Agent

9. Backdoor Attacks on Decentralised Post-Training (10 votes)​

Tác giả: Oğuzhan Ersoy, Nikolay Blagoev, Jona te Lintelo, Stefanos Koffas, Marina Krček, Stjepan Picek

Xuất bản lúc: 2026-03-31

Tag: LLMs, Backdoor Attacks, Decentralized Learning, Pipeline Parallelism, Adversarial ML, Fine-tuning

I. Main Problem:​

Các phương pháp hậu huấn luyện phân tán của các mô hình ngôn ngữ lớn (LLMs), đặc biệt là Supervised Fine-tuning (SFT) sử dụng song song dữ liệu và song song đường ống (pipeline parallelism - PP), dễ bị tấn công backdoor bởi các thành viên độc hại. Các nghiên cứu hiện có chủ yếu tập trung vào tấn công đầu độc dữ liệu (data poisoning) hoặc các hệ thống song song dữ liệu (data parallelism), nhưng thiếu các cuộc tấn công backdoor có mục tiêu và lén lút vào PP, đặc biệt khi kẻ tấn công chỉ kiểm soát một giai đoạn trung gian của đường ống.

II. Main Idea:​

Các tác giả đề xuất cuộc tấn công backdoor đầu tiên vào song song đường ống (PP) nhằm làm sai lệch hành vi của mô hình được huấn luyện mà vẫn duy trì hiệu suất SFT. Cuộc tấn công được thực hiện bởi một kẻ thù kiểm soát một giai đoạn trung gian của đường ống và bao gồm hai giai đoạn:

  1. Giai đoạn ngoại tuyến (Offline Phase): Kẻ tấn công huấn luyện một mô hình thay thế (surrogate model) đã bị cấy backdoor bằng cách chỉ sửa đổi các tham số của giai đoạn mà chúng kiểm soát, trong khi đóng băng tất cả các giai đoạn khác. Mô hình này được huấn luyện trên một tập dữ liệu công khai chứa các hành vi mục tiêu không an toàn. Sau đó, kẻ tấn công tính toán vector chênh lệch (theta_back-diff) giữa mô hình bị backdoor và mô hình cơ sở ban đầu.
  2. Giai đoạn trực tuyến (Online Phase): Trong quá trình SFT, kẻ tấn công định kỳ tiêm vector chênh lệch đã được tính toán (với một hệ số tỷ lệ w_a) vào các tham số của giai đoạn mà chúng kiểm soát. Việc này được thực hiện bằng cách sử dụng kỹ thuật "task arithmetic" để giảm thiểu sự can thiệp vào mục tiêu SFT chung, giúp cuộc tấn công trở nên lén lút hơn. Mục tiêu là khi một từ kích hoạt (ví dụ: "SUDO") được đưa vào lời nhắc, mô hình sẽ phản hồi các yêu cầu "không an toàn".

III. Main Results:​

III. Main Results:​

  • Cuộc tấn công đạt tỷ lệ thành công 94% khi lời nhắc chứa từ kích hoạt ("SUDO"), khiến mô hình phản hồi các câu hỏi "không an toàn".
  • Hiệu suất SFT của mô hình (thể hiện qua validation loss) bị ảnh hưởng không đáng kể, cho thấy cuộc tấn công có tính lén lút cao (stealthy).
  • Cuộc tấn công vẫn duy trì tỷ lệ thành công hơn 60% ngay cả sau khi mô hình được huấn luyện thêm một bước để tăng cường an toàn (safety alignment training).
  • Phương pháp tiêm backdoor lặp lại của họ không chỉ lén lút hơn mà còn mạnh mẽ hơn so với việc tiêm toàn bộ vector backdoor ngay từ đầu.
  • Việc bao gồm từ kích hoạt làm giảm tỷ lệ căn chỉnh (alignment percentage) từ 80% xuống 6% khi có trigger.

IV. Conclusion & Future Works:​

Kết luận: Bài báo đã trình bày cuộc tấn công backdoor đầu tiên vào cơ chế song song đường ống (pipeline parallelism) gây ra sự sai lệch hành vi của mô hình. Các tác giả đã chứng minh tính khả thi của cuộc tấn công trên mô hình LLaMa-3.2 1B Instruct, đạt tỷ lệ thành công lên tới 94% và duy trì 60% ngay cả sau khi áp dụng huấn luyện căn chỉnh an toàn bổ sung. Mục tiêu cuối cùng là thúc đẩy phát triển các phương pháp hậu huấn luyện phân tán mạnh mẽ hơn. Hạn chế: Cuộc tấn công giả định kẻ thù có quyền truy cập vào mô hình cơ sở và biết chính xác cách phân chia đường ống cũng như các lớp thuộc giai đoạn của chúng. Giả định thứ hai có thể được giải quyết với chi phí bổ sung. Hướng nghiên cứu tương lai:

  • Nghiên cứu sâu rộng hơn về các tham số tấn công (tỷ lệ và tần suất tiêm backdoor) để tìm ra giá trị tối ưu.
  • Mở rộng cuộc tấn công sang các phương pháp hậu huấn luyện dựa trên LoRA hoặc hiệu quả tham số (parameter-efficient post-training).
  • Nghiên cứu các biện pháp đối phó và phòng thủ tiềm năng để ngăn chặn kiểu tấn công này.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tối ưu hóa Chiến lược Tiêm Backdoor trong Huấn luyện Phân tán Song song Đường ống: Nghiên cứu sâu rộng về các yếu tố như tần suất và cường độ tiêm vector backdoor để xác định chiến lược tối ưu nhằm đạt được tỷ lệ tấn công cao nhất trong khi vẫn duy trì tính lén lút và khả năng chống lại các biện pháp phòng thủ.
  2. Tấn công Backdoor vào Mô hình Ngôn ngữ Lớn được Tinh chỉnh Hiệu quả Tham số (PEFT/LoRA) trong Môi trường Phân tán: Mở rộng phương pháp tấn công backdoor hiện có để nhắm mục tiêu vào các kỹ thuật tinh chỉnh hiệu quả tham số như LoRA trong các hệ thống hậu huấn luyện phân tán, khám phá các lỗ hổng cụ thể của chúng.
  3. Các Biện pháp Phòng thủ Mạnh mẽ chống lại Tấn công Backdoor vào Song song Đường ống: Phát triển và đánh giá các kỹ thuật phòng thủ mới nhằm phát hiện và vô hiệu hóa các cuộc tấn công backdoor nhắm vào các giai đoạn trung gian trong quá trình huấn luyện mô hình phân tán song song đường ống.

2. Patent:​

  1. Hệ thống "Người Giữ Cổng An Toàn AI" trên Thiết bị Di động: Một tính năng trên điện thoại di động giám sát các phản hồi của trí tuệ nhân tạo (AI) trên thiết bị. Khi người dùng tương tác với AI, hệ thống sẽ phân tích các câu trả lời để phát hiện bất kỳ nội dung nào có khả năng gây hại hoặc không phù hợp, đặc biệt là khi có sự xuất hiện của các từ hoặc cụm từ kích hoạt. Nếu phát hiện thấy, hệ thống sẽ cảnh báo người dùng hoặc chặn phản hồi đó, đảm bảo trải nghiệm AI an toàn và đáng tin cậy.
  2. Công cụ Kiểm Tra An Toàn Cập Nhật Mô hình AI Cục Bộ: Một công cụ tích hợp trong hệ điều hành di động, tự động kiểm tra các bản cập nhật cho mô hình AI của thiết bị. Trước khi một phần hoặc toàn bộ mô hình AI được cập nhật, công cụ này sẽ chạy các bài kiểm tra an toàn bằng cách đưa ra các câu hỏi hoặc tình huống nhạy cảm. Nếu bản cập nhật khiến AI đưa ra các phản hồi không mong muốn hoặc độc hại khi có một yếu tố kích hoạt nhất định, bản cập nhật đó sẽ bị từ chối hoặc người dùng sẽ được cảnh báo.
  3. Phương pháp Phát hiện Hành vi AI Bất thường dựa trên Dữ liệu Tương tác Người dùng: Một phương pháp phần mềm trên điện thoại di động thu thập và phân tích dữ liệu tương tác giữa người dùng và AI. Bằng cách so sánh hành vi phản hồi của AI trước và sau các bản cập nhật hoặc trong các ngữ cảnh khác nhau, hệ thống có thể phát hiện những thay đổi đột ngột hoặc bất thường trong cách AI phản ứng, đặc biệt là khi có các tín hiệu kích hoạt. Điều này giúp nhận diện sớm các mô hình AI bị can thiệp hoặc có hành vi sai lệch tiềm ẩn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.02372
ArXiv Abstracthttps://arxiv.org/abs/2604.02372
PDF Downloadhttps://arxiv.org/pdf/2604.02372.pdf
Github RepositoryN/A

10. AgentSwing: Adaptive Parallel Context Management Routing for Long-Horizon Web Agents (10 votes)​

Tác giả: Zhaopeng Feng, Liangcai Su, Zhen Zhang, Xinyu Wang, Xiaotian Zhang, Xiaobin Wang, Runnan Fang, Qi Zhang, Baixuan Li, Shihao Cai, Rui Ye, Hui Chen, Jiang Yong, Joey Tianyi Zhou, Chenxiong Qian, Pengjun Xie, Bryan Hooi, Zuozhu Liu, Jingren Zhou

Xuất bản lúc: 2026-03-29

Tag: LLMs, Autonomous Agents, Context Management, Web Agents, Long-Horizon Tasks, Adaptive Routing, Search Efficiency, Terminal Precision

I. Main Problem:​

Dung lượng ngữ cảnh hữu hạn là nút thắt cổ chai quan trọng cho các tác nhân LLM tự trị trong các tác vụ tìm kiếm thông tin dài hạn. Các phương pháp quản lý ngữ cảnh hiện có sử dụng một chiến lược cố định duy nhất, không thể thích ứng khi sự hữu ích và độ tin cậy của ngữ cảnh tích lũy thay đổi theo thời gian. Điều này dẫn đến sự căng thẳng giữa dung lượng ngữ cảnh hạn chế và nhu cầu khám phá dài hạn, khiến tác nhân có thể cạn kiệt không gian làm việc trước khi hoàn thành tìm kiếm. Các chỉ số như Pass@1 không phản ánh đầy đủ thành công, vốn phụ thuộc vào hiệu quả tìm kiếm (search efficiency) và độ chính xác đầu cuối (terminal precision).

II. Main Idea:​

Giới thiệu một khuôn khổ xác suất mô tả thành công dài hạn qua hai chiều bổ sung: hiệu quả tìm kiếm (search efficiency, η) và độ chính xác đầu cuối (terminal precision, ρ). Đề xuất AgentSwing, một khuôn khổ định tuyến quản lý ngữ cảnh song song thích ứng theo trạng thái. Tại mỗi điểm kích hoạt (khi ngữ cảnh vượt quá ngưỡng), AgentSwing mở rộng nhiều nhánh quản lý ngữ cảnh song song (ví dụ: Keep-Last-N, Summary, Discard-All) và sử dụng định tuyến nhìn trước (lookahead routing) để chọn nhánh hứa hẹn nhất để tiếp tục. Cơ chế này tận dụng điểm mạnh bổ sung của các chiến lược quản lý ngữ cảnh khác nhau và vượt qua sự đánh đổi hiệu quả-độ chính xác của các phương pháp tĩnh.

III. Main Results:​

AgentSwing liên tục vượt trội so với các phương pháp quản lý ngữ cảnh tĩnh mạnh mẽ, thường đạt hoặc vượt quá hiệu suất của chúng với số lượt tương tác ít hơn tới 3 lần, đồng thời cải thiện giới hạn hiệu suất cuối cùng của các tác nhân web dài hạn. Cụ thể, AgentSwing đẩy DeepSeek-v3.2 lên 71.3 trên BrowseComp-ZH và 44.4 trên HLE, vượt qua một số mô hình nền tảng độc quyền, và thiết lập hiệu suất dẫn đầu cho Tongyi-DR-30B-A3B. Các nghiên cứu loại bỏ (ablation studies) cho thấy cơ chế định tuyến nhìn trước là hiệu quả, với K=3 lượt nhìn trước mang lại hiệu suất mạnh nhất. AgentSwing đạt được những cải tiến mà không phải trả giá bằng chi phí tổng thể cao hơn đáng kể về số lượng token.

IV. Conclusion & Future Works:​

Nghiên cứu giới thiệu khuôn khổ xác suất đầu tiên cho các tác nhân web dài hạn, đặc trưng hóa quản lý ngữ cảnh thông qua hiệu quả tìm kiếm (η) và độ chính xác đầu cuối (ρ). Đề xuất AgentSwing, một khuôn khổ quản lý ngữ cảnh thích ứng theo trạng thái, tự động chuyển đổi giữa các chiến lược ứng viên. Các thử nghiệm rộng rãi trên nhiều tiêu chuẩn và mô hình nền tảng đã chứng minh tính hiệu quả và khả năng tổng quát hóa của AgentSwing. Khuôn khổ xác suất được đề xuất cung cấp một lăng kính có nguyên tắc để phân tích và thiết kế các chiến lược quản lý ngữ cảnh trong tương lai cho các tác nhân dài hạn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các cơ chế định tuyến nhìn trước (lookahead routing) phức tạp hơn, ví dụ như định tuyến thích ứng K lượt, hoặc sử dụng học tăng cường để tối ưu hóa chính sách định tuyến dựa trên phản hồi môi trường dài hạn.
  2. Tích hợp AgentSwing với các khả năng tác nhân khác như suy luận nâng cao, lập kế hoạch hoặc tự sửa lỗi. Khám phá cách quản lý ngữ cảnh thích ứng có thể được mở rộng cho các tác nhân đa phương thức (multi-modal agents) (vision, audio).
  3. Tối ưu hóa các chiến lược quản lý ngữ cảnh cho các tác vụ cụ thể theo miền. Phát triển các kỹ thuật để tự động tạo hoặc học các chiến lược quản lý ngữ cảnh tùy chỉnh dựa trên yêu cầu của nhiệm vụ thay vì sử dụng các chiến lược cố định.

2. Patent:​

  1. Một ứng dụng di động hỗ trợ người dùng lập kế hoạch các tác vụ phức tạp như du lịch nhiều chặng. Ứng dụng sẽ sử dụng cơ chế quản lý ngữ cảnh thông minh để giữ lại thông tin quan trọng (chi tiết chuyến bay, ưu đãi khách sạn) và loại bỏ lịch sử duyệt web không liên quan, cho phép người dùng thực hiện các phiên lập kế hoạch dài mà không bị mất dấu thông tin cốt lõi.
  2. Hệ thống trợ lý nấu ăn và tìm kiếm công thức thông minh trên điện thoại di động. Khi người dùng tìm kiếm và điều chỉnh các công thức phức tạp, hệ thống sẽ tự động tổng hợp hoặc loại bỏ các phần lịch sử tìm kiếm không cần thiết nhưng vẫn giữ lại các yếu tố công thức chính (danh sách nguyên liệu, bước nấu), ngăn chặn tràn bộ nhớ ngữ cảnh trong quá trình nấu kéo dài.
  3. Công cụ hỗ trợ nghiên cứu thích ứng cho sinh viên hoặc chuyên gia trên thiết bị di động. Ứng dụng sẽ tổng hợp hoặc loại bỏ các phần của các tìm kiếm trước đó, trang web hoặc ghi chú một cách thông minh, đảm bảo rằng thông tin liên quan nhất cho nhiệm vụ phụ hiện tại luôn có sẵn, ngay cả khi người dùng thực hiện nghiên cứu trong nhiều giờ hoặc nhiều ngày, mà không cần quản lý ghi chú thủ công.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2603.27490
ArXiv Abstracthttps://arxiv.org/abs/2603.27490
PDF Downloadhttps://arxiv.org/pdf/2603.27490.pdf
Github RepositoryN/A