🤗 Daily Hugging Face Paper Digest - 2026-05-29

Báo cáo được tạo tự động vào lúc 2026-05-30 11:29:38 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers

1. AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security (81 votes)

Tác giả: Dongrui Liu, Yu Li, Zhonghao Yang, Peng Wang, Guanxu Chen, Yuejin Xie, Qinghua Mao, Wanying Qu, Yanxu Zhu, Tianyi Zhou, Leitao Yuan, Zhijie Zheng, Qihao Lin, Yimin Wang, Haoyu Luo, Shuai Shao, Chen Qian, Qingyu Liu, Ling Tang, Ruiyang Qin, Qihan Ren, Junxiao Yang, Kun Wang, Zhiheng Xi, Linfeng Zhang, Ranjie Duan, Bo Zhang, Wenjie Wang, Wen Shen, Qiaosheng Zhang, Yan Teng, Chaochao Lu, Rui Mei, Man Li, Jialing Tao, Xi Lin, Tianhang Zheng, Yong Liu, Quanshi Zhang, Lei Zhu, Xingjun Ma, Junhua Liu, Hui Xue, Xiaoxiang Zuo, Xiangnan He, Chao Shen, Xianglong Liu, Minlie Huang, Jing Shao, Xia Hu

Xuất bản lúc: 2026-05-28

Tag: AI Agent Safety, Alignment, Guardrail Models, Safety Taxonomy, Influence Function, SFT, RL

I. Main Problem:

Các hệ thống AI tác nhân (agent) hiện đại như OpenClaw có khả năng thực thi đa môi trường mạnh mẽ nhưng lại tạo ra nhiều rủi ro an toàn mới. Trong khi đó, các mô hình AI tiên tiến hạ thấp rào cản tấn công, khiến các khung căn chỉnh (alignment) hiện tại không đủ để triển khai trong thực tế. Cần một khung căn chỉnh nhẹ và có khả năng mở rộng cho an toàn của AI tác nhân.

II. Main Idea:

Bài báo đề xuất AgentDoG 1.5, một khung căn chỉnh an toàn cho AI tác nhân nhẹ và có khả năng mở rộng. Cụ thể: (1) Cập nhật phân loại rủi ro an toàn tác nhân ba chiều (nguồn rủi ro, dạng thất bại, tác hại thực tế) để bao gồm các rủi ro mới từ Codex và OpenClaw. (2) Xây dựng một công cụ dữ liệu dựa trên phân loại, kết hợp với phương pháp làm sạch dữ liệu dựa trên hàm ảnh hưởng (influence function) để huấn luyện các biến thể AgentDoG 1.5 nhẹ (0.8B đến 8B tham số) chỉ với khoảng 1k mẫu, đạt hiệu suất ngang bằng các mô hình nguồn đóng hàng đầu. (3) Xây dựng môi trường huấn luyện SFT và RL an toàn tác nhân hiệu quả, giảm chi phí triển khai xuống hai bậc độ lớn so với môi trường Docker. (4) Triển khai AgentDoG 1.5 như một hệ thống giám sát an toàn trực tuyến không cần huấn luyện (training-free guardrail).

III. Main Results:

AgentDoG 1.5 đạt hiệu suất vượt trội so với các mô hình hiện có (GPT-5.4, Gemini-3.1-Pro, Qwen3.5-397B) trên nhiều bộ dữ liệu đánh giá an toàn tác nhân như R-Judge, ATBench-Pro, AT-Codex, AT-Claw, và các chỉ số đánh giá rủi ro chi tiết (Risk Source, Failure Mode, Real World Harm). Mô hình nhẹ nhất chỉ với 0.8B tham số cũng đạt kết quả cạnh tranh, chứng tỏ tính hiệu quả và khả năng mở rộng.

IV. Conclusion & Future Works:

AgentDoG 1.5 cung cấp một giải pháp nhẹ và hiệu quả cho vấn đề an toàn của AI tác nhân, với các ứng dụng thực tế trong huấn luyện và giám sát. Hạn chế và hướng phát triển trong tương lai bao gồm mở rộng phân loại rủi ro cho các môi trường tác nhân mới, cải thiện khả năng diễn giải của mô hình, và tích hợp sâu hơn vào các hệ thống tác nhân phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Phát triển phân loại rủi ro an toàn tác nhân cho các lĩnh vực chuyên biệt như tài chính, y tế, hoặc xe tự hành, với các tiêu chí đánh giá chi tiết.
Nghiên cứu phương pháp tổng hợp dữ liệu huấn luyện an toàn tác nhân tự động, giảm sự phụ thuộc vào mô hình giáo viên lớn như GPT-5.4.
Áp dụng AgentDoG 1.5 vào các hệ thống đa tác nhân (multi-agent) để phát hiện và ngăn chặn các cuộc tấn công phối hợp giữa các tác nhân.

2. Patent:

Phương pháp giám sát an toàn cho trợ lý ảo trên điện thoại thông minh: Hệ thống sử dụng mô hình ngôn ngữ nhỏ (dưới 1 tỷ tham số) chạy trên thiết bị để phân tích toàn bộ chuỗi tương tác giữa người dùng và trợ lý ảo, phát hiện các hành vi nguy hiểm như mở ứng dụng lạ, gửi tin nhắn đến số lạ, hoặc thực hiện giao dịch trái phép và đưa ra cảnh báo kịp thời.
Hệ thống kiểm duyệt nội dung cho ứng dụng nhắn tin trên điện thoại: Mô hình ngôn ngữ nhẹ chạy cục bộ phân tích lịch sử trò chuyện và các tệp đính kèm (hình ảnh, tài liệu) để phát hiện các nguy cơ lừa đảo, mã độc hoặc nội dung độc hại trước khi người dùng mở hoặc tương tác, hoạt động như một lớp bảo vệ thời gian thực.
Phương pháp huấn luyện an toàn cho ứng dụng tự động hóa trên điện thoại: Công cụ cho phép người dùng tạo các tác vụ tự động (ví dụ: gửi tin nhắn hàng loạt, sao lưu ảnh) và sử dụng mô hình ngôn ngữ nhỏ để mô phỏng và đánh giá rủi ro của tác vụ trước khi thực thi, giúp người dùng tránh các hành động gây hại như xóa dữ liệu hoặc gửi thông tin nhạy cảm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.29801
ArXiv Abstract	https://arxiv.org/abs/2605.29801
PDF Download	https://arxiv.org/pdf/2605.29801.pdf
Github Repository	N/A

2. Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments (77 votes)

Tác giả: Qiuyue Wang, Mingsheng Li, Jian Guan, Jinhui Ye, Sicheng Xie, Yitao Liu, Junhao Chen, Zhixuan Liang, Jie Zhang, Xintong Hu, Xuhong Huang, Pei Lin, Junyang Lin, Dayiheng Liu, Shuai Bai, Jingren Zhou, Jiazhao Zhang, Haoqi Yuan, Gengze Zhou, Hang Yin, Ye Wang, Yiyang Huang, Zixing Lei, Wujian Peng, Delin Chen, Yingming Zheng, Jingyang Fan, Xianwei Zhuang, Xin Zhou, Haoyang Li, Anzhe Chen, Tong Zhang, Xuejing Liu, Yuchong Sun, Ruizhe Chen, Zhaohai Li, Chenxu Lü, Zhibo Yang, Tao Yu, Xionghui Chen

Xuất bản lúc: 2026-05-28

Tag: Vision-Language-Action (VLA), Embodied Intelligence, Diffusion Transformer (DiT), Flow Matching, Cross-Embodiment Learning, Robot Manipulation, Vision-and-Language Navigation (VLN), Large-Scale Pretraining

I. Main Problem:

Các mô hình trí tuệ nhúng hiện tại thường được thiết kế chuyên biệt cho từng tác vụ (ví dụ: thao tác, điều hướng) và từng loại robot cụ thể, dẫn đến khả năng tổng quát hóa kém khi thay đổi môi trường, nhiệm vụ hoặc hình thái robot. Việc thiếu một mô hình thống nhất khiến cho việc mở rộng quy mô học tập nhúng (embodied learning) trở nên khó khăn.

II. Main Idea:

Bài báo giới thiệu Qwen-VLA, một mô hình nền tảng nhúng thống nhất mở rộng khả năng của mô hình ngôn ngữ-thị giác (VLM) Qwen3.5 sang việc tạo ra các hành động và quỹ đạo liên tục thông qua một bộ giải mã hành động dựa trên Diffusion Transformer (DiT). Mô hình sử dụng phương pháp huấn luyện kết hợp quy mô lớn trên nhiều nguồn dữ liệu khác nhau (robot, con người, mô phỏng, điều hướng) và kỹ thuật embodiment-aware prompt conditioning (điều kiện hóa lời nhắc dựa trên hình thái robot) để hỗ trợ nhiều nền tảng robot khác nhau trong một mô hình duy nhất. Các tác vụ thao tác, điều hướng và dự đoán quỹ đạo được đúc kết thành một khuôn khổ dự đoán hành động và quỹ đạo thống nhất.

III. Main Results:

Qwen-VLA-Instruct đạt được hiệu suất cao trên nhiều benchmark: 97.9% trên LIBERO, 73.7% trên Simpler-WidowX, 86.1/87.2% trên RoboTwin-Easy/Hard, 69.0% OSR trên R2R, và 59.6% SR trên RxR. Mô hình cũng đạt 76.9% tỷ lệ thành công OOD trung bình trong các thí nghiệm ALOHA thực tế và 26.6% tỷ lệ thành công zero-shot trên tác vụ thao tác động DOMINO. Kết quả cho thấy việc kết hợp huấn luyện trên nhiều tác vụ và hình thái robot giúp cải thiện tính mạnh mẽ và khả năng tổng quát hóa.

IV. Conclusion & Future Works:

Nghiên cứu này chứng minh rằng các vấn đề ra quyết định nhúng khác nhau (thao tác, điều hướng, dự đoán quỹ đạo) có thể được thống nhất trong một mô hình thị giác-ngôn ngữ-hành động duy nhất. Qwen-VLA cho thấy tiềm năng của việc học đa tác vụ và đa hình thái robot. Các hướng phát triển trong tương lai có thể bao gồm việc mở rộng khuôn khổ để tích hợp bộ nhớ dài hạn, lập kế hoạch và khả năng phục hồi sau lỗi, cũng như đồng dự đoán trạng thái thị giác trong tương lai để thống nhất tạo hành động với mô hình thế giới.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa quy trình huấn luyện đa giai đoạn cho VLA: Nghiên cứu sâu hơn về việc phân tách quá trình học, như 'nén hành động bằng ngôn ngữ' (T2A) trước khi kết hợp thị giác, để tìm ra các chiến lược huấn luyện hiệu quả và ổn định hơn cho các mô hình VLA quy mô lớn.
Mở rộng khuôn khổ hành động thống nhất cho các tác vụ phức tạp: Phát triển biểu diễn hành động và quỹ đạo thống nhất để bao gồm các tác vụ phức tạp hơn như thao tác vật liệu mềm, tương tác với nhiều vật thể cùng lúc, hoặc các tác vụ đòi hỏi lập kế hoạch đa bước dài hạn.
Học tăng cường (RL) đa môi trường cho VLA: Khám phá các phương pháp RL có thể tận dụng phần thưởng từ nhiều môi trường mô phỏng khác nhau để cải thiện khả năng tổng quát hóa và tính mạnh mẽ của chính sách, thay vì chỉ giới hạn trong một môi trường duy nhất như trong bài báo.

2. Patent:

Phương pháp và hệ thống điều khiển thiết bị gia dụng thông minh bằng ngôn ngữ tự nhiên trên điện thoại: Điện thoại thông minh nhận lệnh thoại như 'Hãy dọn bàn ăn', sau đó gửi lệnh này đến một robot gia đình. Robot sử dụng mô hình VLA thống nhất (như Qwen-VLA) được tinh chỉnh để hiểu ngữ cảnh trong nhà, nhận diện các vật dụng (bát đĩa, cốc) và thực hiện các hành động thao tác cần thiết. Điện thoại đóng vai trò là giao diện điều khiển và giám sát từ xa.
Ứng dụng điện thoại hỗ trợ người khiếm thị tương tác với môi trường: Điện thoại thông minh sử dụng camera để quay video trực tiếp về môi trường xung quanh. Mô hình VLA thống nhất trên điện thoại (hoặc trên cloud) phân tích cảnh vật và lời nói của người dùng (ví dụ: 'Tôi muốn lấy cốc nước trên bàn'), sau đó đưa ra các hướng dẫn từng bước bằng giọng nói (ví dụ: 'Bước tới 2 bước, đưa tay phải ra phía trước 30cm'). Hướng dẫn này được tạo ra dựa trên khả năng hiểu không gian và hành động của mô hình.
Hệ thống huấn luyện kỹ năng mới cho robot thông qua điện thoại di động: Người dùng có thể quay video một người thực hiện một thao tác phức tạp (ví dụ: gấp quần áo) bằng điện thoại. Ứng dụng trên điện thoại sẽ sử dụng mô hình VLA để phân tích quỹ đạo chuyển động của tay người từ video (egocentric data), chuyển đổi chúng thành các lệnh điều khiển cho một robot cụ thể dựa trên 'embodiment-aware prompt conditioning', và gửi các lệnh này đến robot để nó học và thực hiện lại thao tác.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.30280
ArXiv Abstract	https://arxiv.org/abs/2605.30280
PDF Download	https://arxiv.org/pdf/2605.30280.pdf
Github Repository	N/A

3. OmniRetrieval: Unified Retrieval across Heterogeneous Knowledge Sources (54 votes)

Tác giả: Jinheon Baek, Soyeong Jeong, Sangwoo Park, Woongyeong Yeo, Minki Kang, Patara Trirat, Heejun Lee, Sung Ju Hwang

Xuất bản lúc: 2026-05-28

Tag: Retrieval, LLMs, SQL, SPARQL, Cypher, Knowledge Graphs, Relational Databases, Document Retrieval, Heterogeneous Sources

I. Main Problem:

Các hệ thống truy xuất thông tin hiện tại thường chỉ hoạt động trên một loại nguồn tri thức duy nhất (ví dụ: văn bản phi cấu trúc, cơ sở dữ liệu quan hệ, đồ thị tri thức) với một ngôn ngữ truy vấn cố định. Điều này khiến cho việc truy xuất thông tin từ nhiều nguồn không đồng nhất trở nên khó khăn, vì mỗi nguồn có cấu trúc và giao diện riêng. Các nỗ lực hợp nhất các nguồn này vào một không gian biểu diễn chung thường làm mất đi các đặc điểm cấu trúc (như schema, ontology, các phép toán) vốn là sức mạnh của từng nguồn.

II. Main Idea:

Bài báo đề xuất OmniRetrieval, một framework giải quyết vấn đề truy xuất đa nguồng không đồng nhất bằng cách xây dựng một lớp truy cập thống nhất bên trên các nguồn này, thay vì hợp nhất chúng. Với một câu hỏi bằng ngôn ngữ tự nhiên, OmniRetrieval thực hiện ba bước: (1) Chọn nguồn (Source Selection): Sử dụng một LLM ngữ cảnh dài để đọc danh mục mô tả của tất cả các nguồn và chọn ra một tập nhỏ các nguồn có liên quan. (2) Tạo truy vấn (Query Formulation): Với mỗi nguồn được chọn, sử dụng LLM để tạo ra một truy vấn bằng ngôn ngữ bản địa của nguồn đó (ví dụ: SQL cho cơ sở dữ liệu quan hệ, SPARQL cho đồ thị RDF, Cypher cho đồ thị thuộc tính, hoặc văn bản tự do cho kho ngữ liệu). (3) Chọn bằng chứng đa nguồn (Cross-Source Evidence Selection): Sau khi thực thi các truy vấn, sử dụng LLM để tổng hợp và chọn ra các kết quả phù hợp nhất từ tất cả các nguồn, tạo thành một tập bằng chứng thống nhất cho câu hỏi.

III. Main Results:

OmniRetrieval vượt trội so với tất cả các baseline trên một benchmark lớn gồm 13 bộ dữ liệu và 309 cơ sở tri thức khác nhau. Cụ thể, trên 5 backbone LLM khác nhau, OmniRetrieval đạt độ chính xác truy xuất trung bình là 44.34%, cao hơn đáng kể so với phương pháp KB Routing (39.98%) và các phương pháp đơn nguồn (13.69% - 17.93%). Kết quả LLM-as-a-Judge cũng cho thấy OmniRetrieval đạt 65.88%, gần với mức trên của Oracle (74.55%). Các phân tích cho thấy việc khám phá rộng ở bước chọn nguồn và hoãn quyết định cuối cùng sang bước chọn bằng chứng là chìa khóa cho hiệu suất của framework.

IV. Conclusion & Future Works:

OmniRetrieval là một bước tiến hướng tới một lớp truy xuất thông tin đa năng, bảo toàn các đặc điểm cấu trúc của từng nguồn tri thức trong khi cung cấp một giao diện ngôn ngữ tự nhiên duy nhất. Các hướng phát triển trong tương lai bao gồm: (1) Tăng cường bước chọn bằng chứng đa nguồn thông qua fine-tuning có giám sát hoặc học tăng cường. (2) Chuyên môn hóa các LLM riêng cho từng tác vụ (chọn nguồn, tạo truy vấn, chọn bằng chứng) thay vì dùng chung một mô hình.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa bước Chọn nguồn (Source Selection) cho OmniRetrieval: Nghiên cứu các phương pháp chọn nguồn hiệu quả hơn, chẳng hạn như sử dụng các mô hình embedding chuyên biệt cho từng loại nguồn hoặc huấn luyện một mô hình router riêng để giảm chi phí tính toán và tăng độ chính xác khi số lượng nguồn rất lớn.
OmniRetrieval với các nguồn tri thức động và thời gian thực: Mở rộng OmniRetrieval để hỗ trợ các nguồn tri thức thay đổi theo thời gian thực (ví dụ: API thời tiết, dữ liệu chứng khoán). Thách thức là làm sao để cập nhật mô tả nguồn và tạo truy vấn một cách thích ứng mà không cần phải đào tạo lại mô hình.
Học tăng cường (Reinforcement Learning) cho OmniRetrieval: Ứng dụng học tăng cường để tối ưu hóa toàn bộ pipeline của OmniRetrieval. Mô hình sẽ được thưởng dựa trên chất lượng của câu trả lời cuối cùng, từ đó học cách đưa ra quyết định tốt hơn ở cả ba bước: chọn nguồn, tạo truy vấn và chọn bằng chứng.

2. Patent:

Phương pháp và hệ thống trợ lý ảo đa nguồn trên thiết bị di động: Một trợ lý ảo trên điện thoại có thể trả lời câu hỏi của người dùng bằng cách tự động truy xuất thông tin từ nhiều nguồn khác nhau trên thiết bị (danh bạ, tin nhắn, lịch, ghi chú, ứng dụng) và từ internet (Wikipedia, Google Maps). Hệ thống sẽ phân tích câu hỏi, chọn đúng nguồn dữ liệu, tạo truy vấn phù hợp (ví dụ: tìm kiếm văn bản, truy vấn SQL trên danh bạ) và tổng hợp câu trả lời duy nhất.
Hệ thống tìm kiếm doanh nghiệp thống nhất: Một công cụ tìm kiếm cho phép nhân viên trong công ty đặt câu hỏi bằng ngôn ngữ tự nhiên và nhận được câu trả lời được tổng hợp từ nhiều hệ thống khác nhau như kho tài liệu nội bộ (Google Drive, Confluence), cơ sở dữ liệu khách hàng (CRM), và đồ thị tri thức về tổ chức công ty (sơ đồ tổ chức, dự án). Công cụ này sẽ tự động định tuyến câu hỏi đến đúng hệ thống và kết hợp kết quả.
Phương pháp tra cứu thông tin y tế đa chiều: Một ứng dụng hỗ trợ bác sĩ hoặc bệnh nhân tra cứu thông tin y tế. Người dùng có thể hỏi các câu hỏi phức tạp như "Tác dụng phụ của thuốc A trên bệnh nhân có tiền sử bệnh B là gì?". Hệ thống sẽ truy xuất đồng thời thông tin từ các bài báo y khoa (văn bản), cơ sở dữ liệu thuốc (quan hệ) và hồ sơ bệnh nhân (đồ thị) để đưa ra câu trả lời chính xác và có căn cứ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.29250
ArXiv Abstract	https://arxiv.org/abs/2605.29250
PDF Download	https://arxiv.org/pdf/2605.29250.pdf
Github Repository	https://github.com/JinheonBaek/OmniRetrieval

4. CollectionLoRA: Collecting 50 Effects in 1 LoRA via Multi-Teacher On-Policy Distillation (49 votes)

Tác giả: Fangtai Wu, Hailong Guo, Shijie Huang, Jiayi Song, Yubo Huang, Mushui Liu, Zhao Wang, Yunlong Yu, Jiaming Liu, Ruihua Huang

Xuất bản lúc: 2026-05-25

Tag: Diffusion Models, LoRA, Multi-Teacher Distillation, Image Editing, Few-Step Generation

I. Main Problem:

Các hệ thống chỉnh sửa ảnh tùy chỉnh hiện tại sử dụng nhiều LoRA (Low-Rank Adaptation) riêng biệt cho từng hiệu ứng, dẫn đến ba vấn đề chính: (1) Chi phí lưu trữ lớn khi triển khai nhiều hiệu ứng, (2) Độ trễ và lỗi khi truy xuất và tải động các LoRA, (3) Xung đột tham số giữa các LoRA hiệu ứng và LoRA tăng tốc, gây ra hiện tượng chảy màu khái niệm (concept bleeding) và suy giảm phong cách (style degradation).

II. Main Idea:

Bài báo đề xuất CollectionLoRA, một khung làm việc chưng cất đa giáo viên theo chính sách (multi-teacher on-policy distillation) có khả năng hợp nhất tới 50 hiệu ứng hình ảnh khác nhau cùng khả năng sinh ảnh nhanh (few-step generation) vào một LoRA duy nhất. Phương pháp này gồm ba thành phần chính: (i) Cơ chế Định tuyến Hai Luồng Xác suất (Probabilistic Dual-Stream Routing - PDSR) giúp tăng cường khả năng tổng quát hóa, (ii) Chiến lược Gợi ý Trực giao Bất đối xứng (Asymmetric Orthogonal Prompting - AOP) để cô lập các khái niệm trong không gian gợi ý, và (iii) Mục tiêu Chưng cất Từ Thô đến Mịn (Coarse-to-Fine Distillation Objective - C2F-DO) kết hợp neo quỹ đạo (trajectory anchoring) và khớp phân phối (distribution matching) để ổn định quá trình tối ưu hóa.

III. Main Results:

Các thử nghiệm trên EffectBench cho thấy CollectionLoRA chưng cất thành công 50 hiệu ứng hình ảnh và khả năng sinh ảnh nhanh vào một LoRA duy nhất, đạt độ trung thực khái niệm (concept fidelity) tương đương hoặc tốt hơn so với các mô hình giáo viên được huấn luyện độc lập, đồng thời giảm đáng kể chi phí triển khai. Khung làm việc có thể mở rộng lên tới 180 hiệu ứng, giảm chi phí triển khai xuống còn 0.5% so với phương pháp thông thường mà không bị suy giảm chất lượng nghiêm trọng. Ngoài ra, phương pháp này còn phát hiện khả năng kết hợp hiệu ứng zero-shot, cho phép kết hợp nhiều hiệu ứng một cách liền mạch trong quá trình suy luận.

IV. Conclusion & Future Works:

CollectionLoRA là khung làm việc đầu tiên giải quyết các nút thắt trong triển khai đa LoRA bằng cách hợp nhất nhiều hiệu ứng và khả năng sinh ảnh nhanh vào một mô-đun thống nhất. Hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng khung làm việc cho các tác vụ hình ảnh phức tạp hơn, cải thiện khả năng kết hợp hiệu ứng zero-shot, và tối ưu hóa quá trình chưng cất cho nhiều hiệu ứng hơn nữa.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng CollectionLoRA để xử lý các hiệu ứng video như chuyển đổi phong cách, chỉnh sửa chuyển động, và áp dụng hiệu ứng thời gian thực, tận dụng khả năng hợp nhất đa hiệu ứng và sinh nhanh.
Nghiên cứu khả năng kết hợp hiệu ứng zero-shot sâu hơn, phát triển các phương pháp để điều khiển tỷ lệ và tương tác giữa các hiệu ứng khi kết hợp, ví dụ như sử dụng cơ chế attention hoặc gating.
Áp dụng CollectionLoRA vào các mô hình khuếch tán dạng Transformer (DiT) như FLUX hoặc SD3, đánh giá khả năng mở rộng và hiệu quả khi số lượng hiệu ứng và độ phức tạp của mô hình tăng lên.

2. Patent:

Phương pháp và hệ thống chỉnh sửa ảnh trên thiết bị di động sử dụng một tệp mô hình thống nhất (LoRA) được huấn luyện từ nhiều hiệu ứng khác nhau, cho phép người dùng áp dụng nhanh chóng các hiệu ứng như làm mờ hậu cảnh, chuyển ảnh thành tranh vẽ, hoặc thay đổi phong cách thời trang mà không cần tải thêm dữ liệu hay kết nối mạng.
Ứng dụng trên điện thoại thông minh cho phép người dùng chụp ảnh và chọn nhiều hiệu ứng chỉnh sửa cùng lúc (ví dụ: vừa làm đẹp da vừa thay đổi màu sắc), sau đó hệ thống sử dụng mô hình hợp nhất để tạo ra kết quả cuối cùng một cách nhanh chóng, loại bỏ độ trễ khi chuyển đổi giữa các bộ lọc riêng lẻ.
Phương pháp tối ưu hóa việc lưu trữ và tải các bộ lọc ảnh trên thiết bị di động bằng cách sử dụng một mô hình LoRA duy nhất được chưng cất từ nhiều bộ lọc chuyên biệt, giúp giảm dung lượng bộ nhớ chiếm dụng và tăng tốc độ xử lý, đặc biệt hữu ích cho các ứng dụng chỉnh sửa ảnh và mạng xã hội.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.25378
ArXiv Abstract	https://arxiv.org/abs/2605.25378
PDF Download	https://arxiv.org/pdf/2605.25378.pdf
Github Repository	https://github.com/Qwen-Applications/CollectionLoRA

5. minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models (40 votes)

Tác giả: Min Zhao, Hongzhou Zhu, Bokai Yan, Zihan Zhou, Yimin Chen, Wenqiang Sun, Kaiwen Zheng, Guande He, Xiao Yang, Chongxuan Li, Fan Bao, Jun Zhu

Xuất bản lúc: 2026-05-28

Tag: Video Generation, World Models, Diffusion Models, Autoregressive Models, Camera Control, Knowledge Distillation, Real-Time Inference

I. Main Problem:

Các video diffusion foundation models hiện tại có thể tạo video chất lượng cao nhưng chưa thể hoạt động như các world model tương tác thời gian thực. Một interactive world model cần hỗ trợ sinh video theo kiểu nhân quả (causal rollout), phản hồi các hành động của người dùng (ví dụ: quỹ đạo camera) và tạo ra các khung hình tương lai với độ trễ đủ thấp để tương tác thời gian thực. Tuy nhiên, các kỹ thuật hiện có để chuyển đổi các foundation model này thành world model tương tác vẫn còn rời rạc, thiếu một framework thống nhất, có thể tái tạo và mở rộng cho toàn bộ quy trình từ xây dựng dữ liệu, fine-tuning, huấn luyện AR, distillation đến inference.

II. Main Idea:

minWM là một framework mã nguồn mở toàn diện (full-stack) cung cấp một pipeline đầu cuối (end-to-end) có thể tái tạo để chuyển đổi các video diffusion foundation model hai chiều (bidirectional) hiện có thành các world model video tự hồi quy (autoregressive) có thể điều khiển bằng camera và hoạt động với độ trễ thấp. Framework bao gồm hai pha chính:

Camera Controllable Training: Fine-tune mô hình diffusion hai chiều với khả năng điều khiển camera bằng cách sử dụng kỹ thuật PRoPE, cho phép mô hình tạo video theo các quỹ đạo camera được chỉ định.
AR Diffusion Distillation: Áp dụng pipeline Causal Forcing/Causal Forcing++ để chưng cất mô hình hai chiều thành mô hình AR ít bước (few-step). Pipeline này gồm ba giai đoạn:
- Giai đoạn 1: Huấn luyện AR diffusion với teacher forcing.
- Giai đoạn 2: Khởi tạo bằng causal ODE distillation hoặc causal consistency distillation (causal CD).
- Giai đoạn 3: Asymmetric DMD (Distribution Matching Distillation) để căn chỉnh phân phối của mô hình ít bước với mô hình hai chiều chất lượng cao. Kết quả là một mô hình có thể tạo video tương tác, điều khiển được bằng camera với chỉ 4 bước suy luận, giảm độ trễ đáng kể.

III. Main Results:

minWM đã được cài đặt thành công trên hai backbone video mở phổ biến là Wan2.1-T2V-1.3B và HY1.5-TI2V-8B. Kết quả chính bao gồm:

Giảm độ trệ đáng kể: Mô hình few-step AR cuối cùng đạt được mức giảm độ trễ khung hình đầu tiên lên tới 223.75 lần so với baseline HY1.5 đa bước hai chiều và 236.64 lần so với baseline Wan2.1.
Khả năng điều khiển camera: Mô hình few-step AR vẫn giữ được khả năng tạo video theo các quỹ đạo camera khác nhau, chứng minh tính hiệu quả của thuật toán chưng cất.
Các phân tích thực tế (Ablations):
- Dữ liệu: Dữ liệu có camera pose chính xác (ground-truth) là rất quan trọng. Dữ liệu ước lượng từ cảm biến (perception-estimated) có thể không hiệu quả.
- Số bước huấn luyện: Với mô hình HY1.5, khả năng điều khiển camera bắt đầu xuất hiện sau khoảng 5000 bước và đạt độ ổn định cao sau 8000 bước.
- Batch size: Với mô hình Wan2.1, batch size nhỏ hơn 4 thường không học được khả năng điều khiển camera. Batch size 8 cải thiện đáng kể nhưng vẫn chưa ổn định, trong khi batch size 16 cho kết quả thành công với độ điều khiển cao.

IV. Conclusion & Future Works:

minWM là một framework mã nguồn mở toàn diện cho phép xây dựng các video world model tương tác thời gian thực từ các foundation model hiện có. Nó cung cấp một pipeline có thể tái tạo và mở rộng, hỗ trợ nhiều loại backbone và điều kiện điều khiển. Trong tương lai, nhóm tác giả dự định sẽ mở rộng framework để hỗ trợ thêm các điều kiện điều khiển khác ngoài camera (ví dụ: pose) và mở rộng ra nhiều mô hình hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng điều khiển đa dạng cho Video World Model: Nghiên cứu phương pháp tích hợp nhiều loại điều khiển hơn ngoài camera, chẳng hạn như điều khiển chuyển động của đối tượng (object motion), điều khiển hành động của nhân vật (character pose/action) hoặc điều khiển dựa trên bản đồ ngữ nghĩa (semantic map). Mục tiêu là xây dựng một world model có thể tương tác đa phương thức, phản hồi đồng thời nhiều loại tín hiệu đầu vào.
Cải thiện chất lượng sinh video dài hạn cho World Model: Giải quyết vấn đề suy giảm chất lượng (quality degradation) khi sinh video trong thời gian dài (long-horizon generation) do lỗi tích lũy (accumulated error) của mô hình tự hồi quy. Hướng nghiên cứu có thể bao gồm việc sử dụng các cơ chế attention toàn cục (global attention) định kỳ, kỹ thuật 'noise scheduling' thích ứng, hoặc huấn luyện với các chiến lược chống nhiễu (denoising) mạnh mẽ hơn.
Phương pháp Distillation hiệu quả hơn cho Interactive World Model: Nghiên cứu các phương pháp distillation mới vượt trội hơn Causal Forcing++, ví dụ: kết hợp adversarial training để cải thiện tính chân thực của từng khung hình, hoặc sử dụng các kỹ thuật 'consistency trajectory modeling' tiên tiến hơn để giảm số bước suy luận xuống còn 1-2 bước mà vẫn giữ được chất lượng và khả năng điều khiển.

2. Patent:

Phương pháp và hệ thống tạo video tương tác thời gian thực trên thiết bị di động dựa trên mô hình thế giới: Mô tả một hệ thống trên điện thoại thông minh cho phép người dùng điều khiển camera ảo (xoay, phóng to/thu nhỏ, di chuyển) trong một video đang được tạo ra từ một bức ảnh tĩnh hoặc một prompt văn bản. Hệ thống sử dụng một mô hình thế giới video đã được tối ưu hóa (chưng cất) để tạo ra các khung hình tiếp theo với độ trễ cực thấp, mang lại trải nghiệm 'vừa xem vừa tạo' (watch-while-generate) mượt mà trên phần cứng di động hạn chế.
Ứng dụng chụp ảnh và quay phim thông minh với khả năng thay đổi góc máy sau khi chụp: Một ứng dụng camera trên điện thoại cho phép người dùng chụp một bức ảnh hoặc một đoạn video ngắn. Sau đó, ứng dụng sử dụng mô hình thế giới để nội suy và tạo ra các góc nhìn mới từ các quỹ đạo camera khác nhau (ví dụ: bay vòng quanh chủ thể, lia máy từ trái sang phải). Điều này cho phép người dùng 'đạo diễn' lại cảnh quay của mình một cách linh hoạt, tạo ra các thước phim chuyên nghiệp mà không cần thiết bị quay phức tạp.
Phương pháp tạo nội dung giải trí cá nhân hóa dựa trên tương tác camera thời gian thực: Một nền tảng giải trí trên di động, ví dụ như kể chuyện tương tác hoặc trò chơi điện tử, nơi câu chuyện hoặc môi trường ảo được sinh ra từng khung hình dựa trên hành vi của người dùng. Người dùng có thể di chuyển 'máy quay' trong thế giới ảo, và mô hình thế giới video sẽ phản hồi tức thì bằng cách tạo ra khung cảnh và diễn biến phù hợp, tạo ra một trải nghiệm nhập vai và độc đáo cho mỗi người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.30263
ArXiv Abstract	https://arxiv.org/abs/2605.30263
PDF Download	https://arxiv.org/pdf/2605.30263.pdf
Github Repository	https://github.com/shengshu-ai/minWM

6. YoCausal: How Far is Video Generation from World Model? A Causality Perspective (33 votes)

Tác giả: You-Zhe Xie, Yu-Hsuan Li, Jie-Ying Lee, Kaipeng Zhang, Yu-Lun Liu, Zhixiang Wang

Xuất bản lúc: 2026-05-28

Tag: Video Diffusion Models, Causal Reasoning, Benchmark, World Models, Violation of Expectation, Arrow of Time

I. Main Problem:

Các mô hình khuếch tán video (VDM) hiện tại được xem là ứng viên tiềm năng cho mô hình thế giới (world model), nhưng liệu chúng có thực sự hiểu được quan hệ nhân quả (causality) hay chỉ đơn thuần học các mẫu thống kê tạm thời? Các benchmark hiện có chủ yếu dựa trên dữ liệu tổng hợp, thiếu tính tổng quát hóa trong thế giới thực do khoảng cách sim-to-real.

II. Main Idea:

Bài báo đề xuất YoCausal, một benchmark hai cấp độ lấy cảm hứng từ mô hình Vi phạm Kỳ vọng (Violation of Expectation - VoE) trong khoa học nhận thức. Bằng cách đảo ngược thời gian các video thực tế (temporal reversal) để tạo mẫu phản thực tế (counterfactual) với chi phí bằng không, YoCausal thiết lập một giao thức đánh giá có thể mở rộng tùy ý. Ở Cấp độ 1, Chỉ số Ngạc nhiên Đảo ngược (Reverse Surprise Index - RSI) định lượng khả năng nhận thức mũi tên thời gian thông qua denoising loss. Ở Cấp độ 2, Chỉ số Nhận thức Nhân quả (Causality Cognition Index - CCI) sử dụng VLM để phân tầng tập dữ liệu thành các tập con có nhân quả và phi nhân quả, giúp tách biệt lý luận nhân quả thực sự khỏi thiên kiến thời gian.

III. Main Results:

Đánh giá 13 VDM hiện đại cho thấy: (1) Nhận thức mũi tên thời gian không đồng nghĩa với hiểu nhân quả. (2) Tồn tại khoảng cách đáng kể giữa mô hình và con người về nhận thức nhân quả. (3) Nhận thức nhân quả tương quan một phần với vật lý trực quan nhưng không tương quan với chất lượng thẩm mỹ. (4) Việc mở rộng quy mô tham số và kiến trúc (ví dụ: từ UNet lên DiT) cải thiện nhận thức nhân quả.

IV. Conclusion & Future Works:

YoCausal là benchmark nhân quả đầu tiên cho VDM dựa trên dữ liệu thực tế có thể mở rộng. Các mô hình hiện tại thiếu hiểu biết nhân quả thực sự, cho thấy một khoảng cách quan trọng trên con đường tiến tới mô hình thế giới. Hướng phát triển trong tương lai có thể bao gồm mở rộng benchmark sang các lĩnh vực khác (ví dụ: sử dụng công cụ) và thiết kế các kiến trúc mô hình mới để cải thiện khả năng suy luận nhân quả.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng YoCausal sang các lĩnh vực tương tác phức tạp hơn: Phát triển các tập con mới của YoCausal tập trung vào các chuỗi nhân quả phức tạp như tương tác xã hội (social interaction) hoặc quy trình nhiều bước (multi-step processes) để thách thức khả năng suy luận nhân quả của các mô hình video thế hệ mới.
Tích hợp CCI vào quá trình huấn luyện: Nghiên cứu phương pháp sử dụng CCI như một hàm mất mát (loss function) hoặc phần thưởng (reward) trong quá trình huấn luyện hoặc tinh chỉnh VDM, nhằm trực tiếp cải thiện khả năng hiểu nhân quả của mô hình.
Phân tích mối quan hệ giữa kiến trúc mô hình và nhận thức nhân quả: Tiến hành các thí nghiệm có kiểm soát để phân tích sâu hơn tác động của các thành phần kiến trúc cụ thể (ví dụ: cơ chế attention, số lượng layer) lên khả năng suy luận nhân quả, từ đó đưa ra các hướng dẫn thiết kế mô hình tốt hơn.

2. Patent:

Phương pháp và hệ thống đánh giá khả năng hiểu nhân quả của ứng dụng trên điện thoại thông minh: Ứng dụng trên điện thoại sử dụng camera quay video hàng ngày (ví dụ: một người đang rót nước vào cốc). Hệ thống sẽ tự động tạo ra một phiên bản video đảo ngược thời gian và so sánh 'mức độ ngạc nhiên' của mô hình AI trên điện thoại đối với hai phiên bản này. Kết quả đánh giá sẽ được hiển thị dưới dạng điểm số trực quan cho người dùng, giúp họ lựa chọn ứng dụng AI có khả năng suy luận tốt nhất.
Hệ thống gợi ý hành động dựa trên suy luận nhân quả cho ứng dụng chỉnh sửa video trên điện thoại: Khi người dùng chỉnh sửa video trên điện thoại (ví dụ: cắt ghép, thêm hiệu ứng), hệ thống sẽ phân tích nội dung video và dự đoán hậu quả nhân quả của các thao tác chỉnh sửa. Ví dụ, nếu người dùng xóa một cảnh một quả bóng bay vỡ, hệ thống sẽ cảnh báo rằng hành động này có thể tạo ra sự mâu thuẫn nhân quả trong video và gợi ý các cách chỉnh sửa thay thế hợp lý hơn.
Phương pháp tối ưu hóa bộ nhớ đệm cho ứng dụng xem video trên điện thoại dựa trên nhận thức nhân quả: Ứng dụng xem video sẽ phân tích nội dung video và xác định các phân đoạn có tính nhân quả cao (ví dụ: một pha hành động quan trọng). Hệ thống sẽ ưu tiên tải trước và lưu vào bộ nhớ đệm các phân đoạn này, đồng thời giảm chất lượng hoặc trì hoãn tải các phân đoạn ít quan trọng khác. Điều này giúp cải thiện trải nghiệm xem video mượt mà trên các thiết bị di động có bộ nhớ hạn chế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.30346
ArXiv Abstract	https://arxiv.org/abs/2605.30346
PDF Download	https://arxiv.org/pdf/2605.30346.pdf
Github Repository	https://github.com/youzhe0305/YoCausal

7. GenClaw: Code-Driven Agentic Image Generation (26 votes)

Tác giả: Junyan Ye, Jun He, Zilong Huang, Dongzhi Jiang, Xuan Yang, Rui Chen, Weijia Li

Xuất bản lúc: 2026-05-28

Tag: Agentic Image Generation, Code-Driven Generation, SVG, LLM, VLM, Image Generation, Diffusion

I. Main Problem:

Các mô hình tạo ảnh hiện tại, dù đã phát triển thành các tác tử (agent) có khả năng lập kế hoạch và gọi công cụ, vẫn hoạt động như một 'hộp đen' mà tác tử chỉ có thể tương tác thông qua việc viết lại prompt. Điều này dẫn đến sự thiếu kiểm soát trực tiếp đối với bố cục, số lượng đối tượng, vị trí không gian và văn bản, vì ngôn ngữ tự nhiên vốn mơ hồ trong việc diễn đạt các chi tiết không gian chính xác. Tác tử không có một 'cây cọ' thực sự để can thiệp trực tiếp vào canvas tạo ảnh.

II. Main Idea:

Bài báo đề xuất GenClaw, một mô hình tạo ảnh dựa trên mã nguồn (code-driven), mô phỏng quy trình sáng tạo của con người qua ba giai đoạn: (1) Conceptualize (Hình thành ý tưởng): Tác tử sử dụng LLM và các công cụ tìm kiếm, suy luận để hiểu ngữ cảnh và thu thập kiến thức. (2) Sketch (Phác thảo): Tác tử viết mã (SVG, HTML, Three.js) để tạo ra một bản phác thảo có thể thực thi, kiểm soát chính xác bố cục, số lượng, văn bản và các mối quan hệ không gian. (3) Color (Tô màu): Mô hình tạo ảnh (như Qwen-Image) nhận bản phác thảo làm điều kiện đầu vào để bổ sung kết cấu, ánh sáng và tính chân thực. Mã nguồn đóng vai trò như một 'cây cọ kỹ thuật số', kết nối suy luận ngôn ngữ với tổng hợp pixel, biến quá trình tạo ảnh từ 'hộp đen' thành một quy trình minh bạch, có thể kiểm soát và giải thích được.

III. Main Results:

GenClaw đạt được kết quả vượt trội trên benchmark GenEval++ với điểm tổng thể là 0.878, cao hơn hẳn các phương pháp khác như GPT-Image-1.5 (0.750) và Mind-Brush (0.782). Cụ thể, GenClaw đạt điểm số rất cao ở các tác vụ yêu cầu kiểm soát bố cục như Đếm số lượng (0.950), Vị trí và Kích thước (0.925), và Đa Đối tượng (0.900). Kết quả này cho thấy việc sử dụng mã nguồn như một bản phác thảo trung gian giúp cải thiện đáng kể khả năng tuân theo các hướng dẫn phức tạp về không gian và số lượng.

IV. Conclusion & Future Works:

GenClaw chứng minh rằng việc chuyển từ tạo ảnh 'hộp đen' sang quy trình 'vẽ như một nghệ sĩ' với mã nguồn là một hướng đi đầy hứa hẹn, mang lại khả năng kiểm soát và tính minh bạch cao hơn. Mô hình này cho phép truy vết lỗi một cách chính xác đến từng giai đoạn (nhận thức, cấu trúc mã, hoặc kết xuất hình ảnh). Hướng nghiên cứu tương lai có thể bao gồm việc mở rộng khả năng của tác tử để xử lý các tác vụ phức tạp hơn như mô phỏng vật lý 3D và chỉnh sửa ảnh theo lớp linh hoạt hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc sử dụng các loại mã nguồn khác nhau (ví dụ: LaTeX cho tài liệu khoa học, Python cho biểu đồ) làm 'bản phác thảo' trung gian để cải thiện khả năng tạo ảnh cho các lĩnh vực chuyên ngành hẹp.
Phát triển một hệ thống tác tử có khả năng tự động lựa chọn loại mã nguồn (SVG, HTML, Three.js) phù hợp nhất dựa trên phân tích ngữ nghĩa của yêu cầu đầu vào từ người dùng.
Mở rộng GenClaw để hỗ trợ tạo ảnh động (animation) và video ngắn bằng cách sử dụng mã nguồn để kiểm soát chuyển động và biến đổi của các đối tượng qua từng khung hình.

2. Patent:

Phương pháp và hệ thống tạo ảnh trên thiết bị di động dựa trên phác thảo mã nguồn: Người dùng nhập mô tả bằng văn bản hoặc giọng nói trên điện thoại. Hệ thống sẽ tự động tạo ra một bản phác thảo dạng mã (ví dụ: SVG) để hiển thị bố cục sơ bộ. Người dùng có thể chạm và kéo trực tiếp trên màn hình để điều chỉnh vị trí, kích thước của các đối tượng trong bản phác thảo trước khi hệ thống tạo ra hình ảnh cuối cùng với chất lượng cao.
Ứng dụng chỉnh sửa ảnh thông minh cho điện thoại thông minh: Khi người dùng muốn thay đổi một chi tiết trong ảnh (ví dụ: đổi màu áo, thay đổi văn bản trên biển hiệu), ứng dụng sẽ phân tích ảnh thành các lớp (layers) dựa trên mã nguồn. Người dùng chỉ cần chạm vào đối tượng muốn sửa và đưa ra yêu cầu mới. Hệ thống sẽ chỉ can thiệp vào lớp đó, giữ nguyên phần còn lại của bức ảnh, giúp việc chỉnh sửa nhanh chóng và chính xác hơn.
Công cụ thiết kế poster và ấn phẩm trên thiết bị di động: Người dùng nhập nội dung văn bản (tiêu đề, mô tả) và chọn một vài hình ảnh tham khảo. Ứng dụng sẽ sử dụng mã HTML/CSS để tự động sắp xếp bố cục văn bản và hình ảnh một cách hài hòa. Sau đó, nó gọi mô hình tạo ảnh để làm đẹp toàn bộ thiết kế, tạo ra một poster chuyên nghiệp mà người dùng có thể dễ dàng tinh chỉnh bố cục ban đầu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.30248
ArXiv Abstract	https://arxiv.org/abs/2605.30248
PDF Download	https://arxiv.org/pdf/2605.30248.pdf
Github Repository	https://github.com/yejy53/GenClaw

8. EarlyTom: Early Token Compression Completes Fast Video Understanding (23 votes)

Tác giả: Hesong Wang, Xin Jin, Lu Lu, Chenhaowen Li, Jian Chen, Qiang Liu, Huan Wang

Xuất bản lúc: 2026-05-28

Tag: Video-LLM, Token Compression, Inference Acceleration, Vision Encoder, Time-to-First-Token

I. Main Problem:

Mô hình Video-LLM hiện tại có hiệu suất suy luận thấp do phải xử lý một lượng lớn token thị giác, dẫn đến độ trễ cao, đặc biệt là thời gian đến token đầu tiên (TTFT). Các phương pháp nén token hiện có chủ yếu thực hiện nén sau bộ mã hóa thị giác hoặc bên trong LLM, bỏ qua giai đoạn mã hóa thị giác vốn chiếm tỷ lệ lớn trong TTFT (lên đến 68.4% ở một số phương pháp).

II. Main Idea:

Bài báo đề xuất EarlyTom, một khung nén token không cần huấn luyện, thực hiện nén sớm bên trong bộ mã hóa thị giác. EarlyTom gồm hai thành phần chính: (1) Kết hợp khung hình nội bộ mã hóa thị giác: Nén dư thừa thông tin thị giác trong quá trình mã hóa bằng cách phân đoạn video theo độ tương tự, kết hợp các khung hình trung gian tương tự nhất và hợp nhất có trọng số. (2) Chiến lược chọn token không gian tách rời: Sau khi mã hóa, chia các khung hình đã hợp nhất thành phần động (dynamic) và tĩnh (static), áp dụng chọn Top-K toàn cục cho khung động và chọn Top-K theo cửa sổ địa phương cho khung tĩnh để giảm thiểu sai lệch do 'sink tokens' gây ra. Phương pháp này kết hợp tối ưu đồng thiết kế hệ thống (CPU-GPU) để tăng tốc hơn nữa.

III. Main Results:

Trên mô hình LLaVA-OneVision-7B, EarlyTom đạt được giảm TTFT lên tới 2.65x và giảm 61% FLOPs, tăng thông lượng (throughput) lên 1.3x so với baseline, trong khi vẫn duy trì độ chính xác tương đương (trung bình >96% so với baseline) trên các benchmark video như MVBench, EgoSchema, LongVideoBench và VideoMME. So với các phương pháp SOTA khác, EarlyTom đạt TTFT thấp nhất (336.2ms) với tỷ lệ giữ token 10%.

IV. Conclusion & Future Works:

EarlyTom chứng minh hiệu quả của việc nén token sớm trong bộ mã hóa thị giác để tăng tốc suy luận Video-LLM, đạt được giảm TTFT và FLOPs đáng kể mà không làm giảm chất lượng. Kết quả này đặt nền tảng vững chắc cho việc triển khai Video-LLM trong các ứng dụng thực tế. Hướng phát triển trong tương lai có thể mở rộng phương pháp này sang các mô hình và tác vụ đa phương thức khác.

V. Brainstorming Space:

1. Publish Papers:

Nén token thích ứng dựa trên nội dung cho Video-LLM: Phát triển một cơ chế nén token động, không chỉ dựa trên độ tương tự khung hình mà còn dựa trên mức độ phức tạp của nội dung (ví dụ: chuyển động, sự kiện) để quyết định tỷ lệ nén cho từng phân đoạn video, nhằm tối ưu hóa cân bằng giữa tốc độ và độ chính xác.
Kết hợp nén token sớm với kiến trúc mã hóa thị giác mới: Nghiên cứu thiết kế lại bộ mã hóa thị giác (ví dụ: tích hợp các lớp nén có thể học) để làm việc hiệu quả hơn với cơ chế nén sớm, giảm thiểu thông tin dư thừa ngay từ đầu và cải thiện hiệu suất tổng thể của mô hình.
Mở rộng nén token sớm cho các tác vụ đa phương thức khác: Áp dụng nguyên lý nén sớm bên trong bộ mã hóa (không chỉ thị giác) cho các mô hình đa phương thức khác như mô hình nghe-nhìn (audio-visual) hoặc mô hình văn bản-hình ảnh, để giải quyết bài toán tắc nghẽn TTFT tương tự.

2. Patent:

Phương pháp và hệ thống tăng tốc xử lý video trên thiết bị di động: Bằng cách thực hiện nén khung hình thông minh ngay trong quá trình mã hóa video, giúp giảm đáng kể thời gian xử lý và tiết kiệm năng lượng pin khi sử dụng các ứng dụng hiểu video (ví dụ: tìm kiếm nội dung, mô tả video) trên điện thoại thông minh.
Ứng dụng chỉnh sửa video thông minh trên điện thoại: Sử dụng kỹ thuật nén token sớm để tạo ra một công cụ chỉnh sửa video có khả năng hiểu ngữ cảnh và tự động tóm tắt, cắt ghép hoặc tạo hiệu ứng cho video một cách nhanh chóng và hiệu quả ngay trên thiết bị di động, mà không cần kết nối đám mây.
Công cụ tìm kiếm video nâng cao trên điện thoại: Phát triển một tính năng cho phép người dùng tìm kiếm các khoảnh khắc cụ thể trong thư viện video trên điện thoại bằng cách mô tả bằng văn bản. Kỹ thuật nén sớm giúp quá trình phân tích và tìm kiếm diễn ra nhanh chóng, mang lại trải nghiệm người dùng mượt mà, ngay cả với các video dài.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.30010
ArXiv Abstract	https://arxiv.org/abs/2605.30010
PDF Download	https://arxiv.org/pdf/2605.30010.pdf
Github Repository	https://github.com/viridisGreen/EarlyTom

9. How LoRA Remembers? A Parametric Memory Law for LLM Finetuning (20 votes)

Tác giả: Ziwen Xu, Haiwen Hong, Linsong Yu, Benglei Cui, Longtao Huang, Hui Xue, Ningyu Zhang

Xuất bản lúc: 2026-05-28

Tag: LoRA, LLM Fine-tuning, Parametric Memory, Power Law, Phase Transition

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLM) cần liên tục cập nhật kiến thức trong môi trường động. Low-Rank Adaptation (LoRA) được sử dụng rộng rãi để cập nhật bộ nhớ, nhưng các nghiên cứu hiện tại chủ yếu dựa vào đánh giá định tính từ các tác vụ hạ nguồn, bỏ qua việc định lượng chính xác giới hạn dung lượng và động lực học của bộ nhớ tham số. Cụ thể, chưa có định luật nào mô tả chính xác mối quan hệ giữa dung lượng bộ nhớ, số lượng tham số và độ dài chuỗi.

II. Main Idea:

Bài báo sử dụng LoRA như một đầu dò có kiểm soát trong không gian tiềm ẩn để định lượng một cách có hệ thống bộ nhớ tham số chính xác. Các tác giả giới thiệu Định luật Bộ nhớ Tham số (Parametric Memory Law), một định luật hàm mũ (power law) liên kết mức giảm mất mát (ΔL) với số lượng tham số hiệu quả và độ dài chuỗi. Ở cấp độ token, phân tích chi tiết cho thấy một sự chuyển pha xác định (deterministic phase transition), chứng minh rằng xác suất dự đoán p > 0.5 là điều kiện đủ để tái hiện chính xác (verbatim recall) dưới giải mã tham lam (greedy decoding). Dựa trên những hiểu biết này, các tác giả đề xuất MemFT, một chiến lược tối ưu hóa có ngưỡng, phân bổ lại ngân sách huấn luyện một cách linh hoạt cho các token dưới ngưỡng (sub-threshold tokens).

III. Main Results:

Định luật Bộ nhớ Tham số (ΔL = C·r^α·ℓ^(-β) + b) đạt độ chính xác cao (R² > 0.98) trên nhiều mô hình (Qwen3-8B-IT, Llama3.1-8B-IT) và bộ dữ liệu (Long-Context Stress Test, PhoneBook). Phát hiện về sự chuyển pha xác định (p=0.5) giải thích sự không khớp giữa mất mát trung bình thấp và độ chính xác thấp. Phương pháp MemFT vượt trội hơn so với SFT tiêu chuẩn trên cả hai benchmark, đặc biệt là trong các cấu hình rank thấp, đạt độ chính xác bộ nhớ hoàn hảo (100%) trong nhiều trường hợp. MemFT cũng cải thiện khả năng tổng quát hóa (generalization) từ 7% đến 15% so với SFT trong bài kiểm tra Linear Rule Learning.

IV. Conclusion & Future Works:

Bằng cách sử dụng LoRA như một đầu dò có kiểm soát, bài báo đã khám phá ra Định luật Bộ nhớ Tham số và sự chuyển pha xác định trong động lực học mất mát ở cấp độ token, từ đó đề xuất MemFT như một chiến lược tinh chỉnh hiệu quả. Các hạn chế bao gồm: (1) Phân tích chỉ giới hạn trên mô hình 8B, cần kiểm tra tính tổng quát trên các quy mô khác. (2) Ngưỡng p=0.5 chỉ đúng với giải mã tham lam, cần kiểm tra với các phương pháp ngẫu nhiên khác (ví dụ: nucleus sampling). (3) Cần đánh giá toàn diện hơn về sự đánh đổi với các khả năng rộng hơn như suy luận mở.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Định luật Bộ nhớ Tham số cho các kiến trúc mô hình khác (ví dụ: Mixture of Experts) và các phương pháp tinh chỉnh tham số hiệu quả khác (ví dụ: AdaLoRA, DoRA).
Nghiên cứu tác động của các chiến lược giải mã khác nhau (nucleus sampling, top-k) lên ngưỡng chuyển pha xác định và hiệu quả của MemFT trong các kịch bản đó.
Phân tích sâu hơn về mối quan hệ giữa bộ nhớ chính xác (verbatim memory) và khả năng suy luận (reasoning) của mô hình, khám phá cách MemFT có thể được điều chỉnh để cân bằng giữa ghi nhớ và tổng quát hóa.

2. Patent:

Phương pháp và hệ thống lưu trữ và truy xuất thông tin cá nhân an toàn trên thiết bị di động: Sử dụng kỹ thuật MemFT trên các mô hình ngôn ngữ nhỏ được tinh chỉnh bằng LoRA để lưu trữ an toàn các thông tin nhạy cảm như mật khẩu, số thẻ tín dụng, hoặc câu hỏi bảo mật ngay trên thiết bị. Không có dữ liệu nào được gửi lên đám mây, và việc truy xuất chỉ thành công khi xác suất dự đoán của chuỗi thông tin vượt quá ngưỡng 0.5, đảm bảo tính chính xác và bảo mật.
Ứng dụng cá nhân hóa trợ lý ảo trên điện thoại với khả năng ghi nhớ chính xác các quy tắc và sở thích phức tạp: Trợ lý ảo trên điện thoại thông minh sử dụng một mô-đun LoRA được huấn luyện với MemFT để ghi nhớ chính xác các quy tắc phức tạp do người dùng thiết lập, ví dụ: 'Luôn nhắc tôi về cuộc họp với khách hàng X vào lúc 9 giờ sáng thứ Hai hàng tuần và gửi email nhắc nhở cho anh Y'. MemFT giúp mô hình vượt qua các 'token cứng đầu' (ví dụ: tên khách hàng hoặc thời gian cụ thể) để đảm bảo trợ lý thực hiện đúng và đầy đủ yêu cầu.
Hệ thống tạo watermark và xác thực nội dung trên thiết bị di động: Một ứng dụng chỉnh sửa ảnh hoặc video trên điện thoại sử dụng một mô hình ngôn ngữ nhỏ với LoRA và MemFT để nhúng một watermark kỹ thuật số không thể nhìn thấy (ví dụ: một chuỗi ký tự bí mật) vào siêu dữ liệu của tệp tin. Bằng cách huấn luyện mô hình để tái tạo chính xác watermark từ một khóa truy vấn nhất định, hệ thống cho phép xác thực nguồn gốc của nội dung một cách an toàn và hiệu quả ngay trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.30260
ArXiv Abstract	https://arxiv.org/abs/2605.30260
PDF Download	https://arxiv.org/pdf/2605.30260.pdf
Github Repository	https://github.com/zjunlp/ParametricMemoryLaw

10. Native Audio-Visual Alignment for Generation (20 votes)

Tác giả: Longbin Ji, Guan Wang, Xuan Wei, Chenye Yang, Xiangrui Liu, Zhenyu Zhang, Shuohuan Wang, Yu Sun, Jingzhou He

Xuất bản lúc: 2026-05-28

Tag: Audio-Visual Generation, MMDiT, Diffusion, Joint Generation, Timbre Control

I. Main Problem:

Các phương pháp sinh âm thanh-video hiện tại gặp hai hạn chế chính: (1) Kiến trúc hai luồng (dual-tower) chỉ thực hiện căn chỉnh âm thanh-video ở giai đoạn muộn, làm yếu đi sự tiến hóa chung giữa hai modality; (2) Kiến trúc ba-modality thống nhất (fully unified) trộn lẫn ngữ cảnh văn bản, âm thanh và video trong cùng một không gian, gây khó khăn cho việc đồng bộ hóa chi tiết và kiểm soát ngữ nghĩa riêng biệt.

II. Main Idea:

Tác giả đề xuất khung NAVA (Native Audio-Visual Alignment) với kiến trúc Align-then-Fuse MMDiT. Ý tưởng chính là tách biệt hai quá trình: (1) Thiết lập sự tương ứng âm thanh-video trong một không gian tương tác riêng (Hierarchical Alignment Layers), sau đó (2) Sử dụng ngữ cảnh bên ngoài (văn bản, âm sắc tham chiếu) để điều kiện hóa quá trình khử nhiễu chung (Unified Fusion Layers). Ngoài ra, cơ chế Timbre-in-Context Conditioning cho phép gắn kết âm sắc tham chiếu với các đoạn hội thoại cụ thể mà không cần nhánh điều khiển phụ.

III. Main Results:

Với chỉ 6.3B tham số, NAVA đạt điểm Sync-C cao nhất (7.791) và Sync-D thấp nhất (7.566) trên Verse-Bench, cho thấy sự đồng bộ thời gian vượt trội. Mô hình cũng đạt chất lượng video tốt nhất (0.659) và WER thấp nhất (0.099). Trên Seed-TTS, NAVA đạt độ tương đồng âm sắc cao nhất (66.7) trong số các mô hình sinh âm thanh-video, vượt trội so với DreamID-Omni (35.7).

IV. Conclusion & Future Works:

NAVA chứng minh rằng căn chỉnh âm thanh-video tự nhiên với điều kiện hóa ngữ cảnh tách biệt là hướng đi đầy hứa hẹn cho sinh âm thanh-video có khả năng mở rộng và kiểm soát. Hạn chế hiện tại là khả năng sinh các sự kiện âm thanh hiếm gặp và có tính kết hợp cao. Hướng phát triển tương lai bao gồm mở rộng dữ liệu âm thanh-video được tuyển chọn kỹ lưỡng hơn và khám phá các cơ chế hợp nhất sớm hơn như bộ mã hóa âm thanh-video chung.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về kiến trúc MMDiT lai ghép cho sinh đa phương thức, kết hợp căn chỉnh theo modality và hợp nhất chia sẻ tham số để tối ưu hóa cả đồng bộ chi tiết và chất lượng tổng thể.
Phát triển phương pháp điều khiển âm sắc theo từng đoạn (segment-level timbre control) trong sinh âm thanh-video đa người nói mà không cần nhánh điều khiển phụ.
Khám phá kỹ thuật Condition-Factorized Classifier-Free Guidance cho phép điều chỉnh độc lập các thuộc tính sinh như đồng bộ, âm sắc và ngữ nghĩa mà không cần huấn luyện lại.

2. Patent:

Phương pháp và hệ thống tạo video có âm thanh đồng bộ trên điện thoại thông minh, cho phép người dùng nhập văn bản và chọn giọng nói tham chiếu để tạo video với khẩu hình miệng và âm thanh khớp chính xác, phục vụ cho việc tạo nội dung giải trí cá nhân hóa.
Ứng dụng trên thiết bị di động cho phép chỉnh sửa video có sẵn bằng cách thay đổi giọng nói của một nhân vật cụ thể mà vẫn giữ nguyên đồng bộ môi và biểu cảm khuôn mặt, hỗ trợ cho việc lồng tiếng hoặc tạo video hài hước.
Hệ thống tạo video quảng cáo ngắn trên điện thoại, nơi người dùng có thể nhập kịch bản, chọn phong cách hình ảnh và giọng đọc, hệ thống sẽ tự động sinh ra video hoàn chỉnh với âm thanh nền và hiệu ứng phù hợp, tối ưu hóa cho việc chia sẻ trên mạng xã hội.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.30073
ArXiv Abstract	https://arxiv.org/abs/2605.30073
PDF Download	https://arxiv.org/pdf/2605.30073.pdf
Github Repository	https://github.com/ernie-research/NAVA

11. Why Far Looks Up: Probing Spatial Representation in Vision-Language Models (20 votes)

Tác giả: Cheolhong Min, Jaeyun Jung, Daeun Lee, Hyeonseong Jeon, Yu Su, Jonathan Tremblay, Chan Hee Song, Jaesik Park

Xuất bản lúc: 2026-05-28

Tag: Vision-Language Models, Spatial Reasoning, Representation Analysis, Shortcut Learning, Benchmarking

I. Main Problem:

Các mô hình Vision-Language (VLM) đạt điểm cao trong các bài kiểm tra suy luận không gian, nhưng vẫn chưa rõ liệu điều này phản ánh khả năng hiểu cấu trúc 3D thực sự hay chỉ là sự khai thác các mối tương quan thống kê trong ảnh tự nhiên. Cụ thể, các mô hình có xu hướng sử dụng vị trí dọc của vật thể trong ảnh 2D (cao hơn = xa hơn) như một lối tắt để suy luận độ sâu, dẫn đến sai sót có hệ thống trong các trường hợp ngoại lệ.

II. Main Idea:

Bài báo giới thiệu một khung phân tích ở cấp độ biểu diễn (representation-level) để đo lường cách các trục không gian (ngang, dọc, độ sâu) được tổ chức và tách biệt trong không gian embedding của VLM. Phương pháp này sử dụng các cặp câu hỏi đối lập tối thiểu (minimal contrastive pairs) để cô lập sự dịch chuyển không gian trong biểu diễn nội bộ. Ngoài ra, tác giả tạo ra bộ dữ liệu tổng hợp SpatialTunnel, có cấu trúc đường hầm hình học giúp tách biệt vị trí dọc 2D khỏi độ sâu 3D, cho phép đánh giá chính xác độ lệch (bias) mà không bị ảnh hưởng bởi các tương quan thông thường trong ảnh thật.

III. Main Results:

Kết quả thực nghiệm trên nhiều họ VLM (Molmo, NVILA, Qwen) cho thấy hiện tượng 'rối loạn dọc-khoảng cách' (vertical-distance entanglement) phổ biến: các mô hình thường nhầm lẫn vị trí dọc với độ sâu. Điều này dẫn đến khoảng cách độ chính xác đáng kể giữa các mẫu phù hợp (consistent) và mẫu ngược (counter). Ví dụ, Qwen2.5-VL tinh chỉnh trên 2M mẫu đạt 60.9% trên tập consistent của EmbSpatial-Bench nhưng chỉ 24% trên tập counter. Các mô hình có biểu diễn không gian có cấu trúc tốt hơn (ví dụ: RoboRefer, Qwen3-VL) thể hiện độ chính xác và độ mạnh mẽ cao hơn trên nhiều benchmark khác nhau.

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng điểm benchmark cao có thể đánh giá quá cao khả năng suy luận không gian thực sự của VLM, vì các mô hình thường dựa vào lối tắt. Các biểu diễn không gian có cấu trúc tốt (các trục được tách biệt rõ ràng) dẫn đến suy luận không gian đáng tin cậy hơn. Hướng nghiên cứu tương lai có thể tập trung vào việc phát triển các kỹ thuật để khuyến khích các biểu diễn không gian tách biệt hơn trong VLM, và mở rộng phân tích sang các loại thiên kiến không gian khác.

V. Brainstorming Space:

1. Publish Papers:

Khắc phục thiên kiến không gian trong VLM bằng dữ liệu huấn luyện đối lập: Phát triển một phương pháp huấn luyện mới, trong đó mô hình được huấn luyện trên các cặp ảnh tổng hợp có cấu trúc đối lập (ví dụ: một ảnh vật ở xa nằm cao hơn, ảnh kia vật ở xa nằm thấp hơn) để buộc mô hình học cách suy luận độ sâu dựa trên các dấu hiệu thực sự (ví dụ: kích thước biểu kiến, che khuất) thay vì vị trí dọc.
Phân tích cơ chế nội bộ của suy luận không gian trong VLM: Sử dụng các kỹ thuật phân tích cơ chế (mechanistic interpretability) như can thiệp kích hoạt (activation patching) để xác định các đầu (heads) hoặc lớp (layers) cụ thể trong VLM chịu trách nhiệm mã hóa thông tin không gian và phát hiện lối tắt. Từ đó, đề xuất các chiến lược tinh chỉnh có mục tiêu để cải thiện suy luận không gian.
Mở rộng đánh giá thiên kiến không gian sang các tác vụ phức tạp hơn: Áp dụng khung phân tích tương tự (contrastive probing) để nghiên cứu các loại thiên kiến không gian khác trong VLM, ví dụ như thiên kiến về kích thước (vật lớn hơn = gần hơn) hoặc thiên kiến về góc nhìn. Phát triển các benchmark tổng hợp mới để cô lập và đo lường từng loại thiên kiến này.

2. Patent:

Phương pháp hiệu chỉnh suy luận không gian cho trợ lý ảo trên điện thoại: Một hệ thống trên điện thoại thông minh sử dụng camera để chụp ảnh môi trường xung quanh. Hệ thống này sẽ áp dụng một mô hình VLM đã được huấn luyện đặc biệt để loại bỏ lối tắt 'cao hơn là xa hơn'. Khi người dùng hỏi 'cái cốc nào ở gần tôi hơn?', hệ thống sẽ phân tích ảnh, xác định vị trí các vật thể, và đưa ra câu trả lời chính xác ngay cả khi cốc ở xa hơn lại nằm cao hơn trong khung hình. Điều này giúp trợ lý ảo hoạt động tin cậy hơn trong các tình huống thực tế đa dạng.
Hệ thống hỗ trợ sắp xếp nội thất thực tế ảo tăng cường (AR) trên điện thoại: Một ứng dụng AR cho phép người dùng đặt đồ nội thất ảo vào không gian thực qua camera điện thoại. Ứng dụng sử dụng một VLM không bị ảnh hưởng bởi thiên kiến vị trí dọc để đánh giá chính xác khoảng cách và mối quan hệ không gian giữa các đồ vật ảo với nhau và với các vật thể thực trong phòng. Nhờ đó, hệ thống có thể cảnh báo nếu người dùng đặt một chiếc ghế ảo 'ở phía sau' một chiếc bàn thực nhưng lại xuất hiện 'phía trên' nó trong ảnh, giúp việc bố trí nội thất trở nên trực quan và chính xác hơn.
Tính năng chụp ảnh thông minh với hướng dẫn bố cục theo không gian: Một ứng dụng máy ảnh trên điện thoại có tích hợp VLM. Khi người dùng định chụp một bức ảnh có nhiều vật thể, ứng dụng sẽ phân tích bố cục hiện tại và đưa ra gợi ý để cải thiện chiều sâu của bức ảnh. Ví dụ, nếu VLM phát hiện người dùng đang vô tình đặt một vật thể ở xa lên cao (tạo hiệu ứng phối cảnh mạnh), nó có thể gợi ý thay đổi góc chụp để làm cho bức ảnh trông tự nhiên và có chiều sâu hơn, hoặc ngược lại, gợi ý giữ nguyên bố cục để tạo hiệu ứng nghệ thuật mong muốn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.30161
ArXiv Abstract	https://arxiv.org/abs/2605.30161
PDF Download	https://arxiv.org/pdf/2605.30161.pdf
Github Repository	https://github.com/cheolhong0916/contrastive-probing

12. UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering (19 votes)

Tác giả: Yingdong Shi, Ruiming Zhang, Changming Li, Zhiyu Yang, Kaixing Zhang, Jingyi Yu, Kan Ren

Xuất bản lúc: 2026-05-28

Tag: LLM Steering, Activation Engineering, Flow Matching, Text-Guided Control, Activation-Space Classification, Multi-Constraint Steering

I. Main Problem:

Các phương pháp điều khiển kích hoạt (activation steering) hiện tại cho mô hình ngôn ngữ lớn (LLM) thường dựa trên các hướng điều khiển cố định hoặc các mô-đun can thiệp riêng cho từng hành vi mục tiêu. Điều này khiến chúng khó thích ứng với các khái niệm chi tiết và các ràng buộc kết hợp (compositional constraints) vì các hướng điều khiển độc lập có thể can thiệp lẫn nhau trong không gian kích hoạt nhiều chiều.

II. Main Idea:

Bài báo đề xuất UNISTEER, một mô hình flow matching có điều kiện dựa trên văn bản (text-guided conditional flow matching) trong không gian kích hoạt. Thay vì xây dựng một can thiệp riêng cho từng hành vi, UNISTEER học một trường vận tốc có điều kiện (conditional velocity field) phổ quát trên các kích hoạt của luồng dư (residual-stream activations). Tại thời điểm suy luận, nó thực hiện flow inversion: đưa một phần kích hoạt nguồn về trạng thái tiềm ẩn (latent state) và tái tạo lại dưới một điều kiện văn bản mục tiêu trước khi tiêm trở lại vào LLM. Cùng một mô hình có điều kiện này cũng hỗ trợ phân loại trong không gian kích hoạt bằng cách chọn nhãn văn bản có năng lượng tái tạo (reconstruction energy) thấp nhất.

III. Main Results:

UNISTEER được đánh giá trên ba LLM mục tiêu (Llama-3.2-1B, Qwen2.5-1.5B, Qwen2.5-7B) qua năm bối cảnh: kiểm soát hành vi (Persona), điều khiển tính trung thực (TruthfulQA), điều khiển khái niệm chi tiết (AxBench), tuân thủ đa ràng buộc (RECAST-5 và RECAST-10), và phân loại không gian kích hoạt (ToxiGen). Kết quả cho thấy UNISTEER đạt hiệu suất cạnh tranh hoặc tốt nhất trên hầu hết các bối cảnh, đặc biệt là trên các mô hình lớn hơn (Qwen2.5-7B), đồng thời cho thấy khả năng chỉnh sửa kích hoạt theo vị trí token cho các ràng buộc cụ thể (ví dụ: start_with).

IV. Conclusion & Future Works:

UNISTEER cung cấp một giao diện thống nhất cho việc điều khiển và phân loại không gian kích hoạt LLM thông qua các điều kiện ngôn ngữ tự nhiên. Các công việc tương lai có thể mở rộng đánh giá trên các tác vụ phức tạp hơn như sinh văn bản dài, ổn định đa lượt, hoặc suy luận toán học nhiều bước. Cũng cần xem xét các khía cạnh an toàn, như hạn chế các điều kiện mục tiêu không an toàn và thêm bộ lọc an toàn ở cấp độ điều kiện.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng UNISTEER cho các mô hình đa phương thức (Multimodal LLMs): Áp dụng kiến trúc flow matching có điều kiện văn bản vào không gian kích hoạt của các mô hình như LLaVA hoặc GPT-4V để điều khiển hành vi dựa trên cả văn bản và hình ảnh, ví dụ: 'Giải thích hình ảnh một cách hài hước' hoặc 'Mô tả hình ảnh với giọng điệu trang trọng'.
UNISTEER cho việc hiệu chỉnh (Fine-tuning) hiệu quả: Nghiên cứu việc sử dụng UNISTEER như một phương pháp hiệu chỉnh nhẹ (lightweight fine-tuning) cho các tác vụ cụ thể. Thay vì cập nhật toàn bộ tham số mô hình, ta chỉ cần học một trường vận tốc có điều kiện cho một tập hợp các hành vi mong muốn, giúp tiết kiệm chi phí tính toán và bộ nhớ.
UNISTEER cho việc phát hiện và giảm thiểu thiên kiến (Bias Detection and Mitigation): Sử dụng khả năng phân loại không gian kích hoạt của UNISTEER để phát hiện các thiên kiến tiềm ẩn trong LLM (ví dụ: thiên kiến giới tính, chủng tộc). Sau đó, dùng cơ chế flow inversion để điều chỉnh các kích hoạt nhằm giảm thiểu các thiên kiến này trong quá trình sinh văn bản.

2. Patent:

Phương pháp và hệ thống điều chỉnh tính cách trợ lý ảo trên điện thoại thông minh: Hệ thống cho phép người dùng nhập một câu lệnh văn bản ngắn (ví dụ: 'Hãy nói chuyện vui vẻ và ngắn gọn') để thay đổi tức thì phong cách tương tác của trợ lý ảo (như Siri, Google Assistant). Kỹ thuật này sử dụng mô hình flow matching để biến đổi các tín hiệu kích hoạt bên trong mô hình ngôn ngữ, giúp thay đổi giọng điệu, độ dài câu trả lời mà không cần cài đặt hay tải xuống bất kỳ gói dữ liệu nào mới.
Ứng dụng đọc tin tức với khả năng tóm tắt theo nhiều phong cách khác nhau: Một ứng dụng trên điện thoại cho phép người dùng chọn 'phong cách tóm tắt' cho mỗi bài báo, chẳng hạn như 'Tóm tắt trung lập', 'Tóm tắt hài hước', hoặc 'Tóm tắt mang tính phê bình'. Ứng dụng sử dụng UNISTEER để điều khiển mô hình ngôn ngữ nền tảng, biến đổi nội dung bài báo gốc thành bản tóm tắt theo đúng phong cách đã chọn, mang lại trải nghiệm cá nhân hóa cao.
Hệ thống kiểm duyệt nội dung thông minh trên thiết bị di động: Một hệ thống chạy trên điện thoại có thể phân loại nội dung văn bản (tin nhắn, bình luận) là 'độc hại' hay 'an toàn' dựa trên năng lượng tái tạo của các kích hoạt nội bộ mô hình. Hệ thống này không cần một bộ phân loại riêng biệt cho mỗi loại nội dung, mà chỉ cần thay đổi câu lệnh văn bản mô tả (ví dụ: 'Nội dung độc hại' hoặc 'Nội dung an toàn'), giúp việc cập nhật và mở rộng danh sách các loại nội dung cần kiểm duyệt trở nên dễ dàng và linh hoạt.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.30076
ArXiv Abstract	https://arxiv.org/abs/2605.30076
PDF Download	https://arxiv.org/pdf/2605.30076.pdf
Github Repository	N/A

13. LoMo: Local Modality Substitution for Deeper Vision-Language Fusion (17 votes)

Tác giả: Feng Han, Zhixiong Zhang, Zheming Liang, Yibin Wang, Jiaqi Wang

Xuất bản lúc: 2026-05-28

Tag: Vision-Language Models, Modality Gap, Cross-Modal Alignment, Data Curation, Fine-Tuning

I. Main Problem:

Các mô hình Ngôn ngữ-Thị giác (VLM) hiện tại gặp phải vấn đề 'nhạy cảm với vật mang tín hiệu' (carrier sensitivity): khi thay thế một câu hỏi dạng văn bản bằng hình ảnh kết xuất của chính câu hỏi đó, hiệu suất của mô hình giảm sút đáng kể. Nguyên nhân được xác định là do sự thiếu hụt các giám sát về tính bất biến biểu diễn giữa các vật mang tín hiệu (text và image) trong dữ liệu huấn luyện hiện tại, dẫn đến một khoảng cách về phương thức (modality gap) giữa các biểu diễn của cùng một nội dung ngữ nghĩa.

II. Main Idea:

Bài báo đề xuất LoMo (Local Modality Substitution), một phương pháp giám sát ngầm cho tính bất biến biểu diễn giữa các vật mang tín hiệu bằng cách thay thế cục bộ phương thức. LoMo hoạt động qua ba giai đoạn: (1) Xác định vùng dựa trên cấu trúc (Structure-Aware Span Localization): Chia văn bản đầu vào thành ba phần (prefix, mid, suffix) dựa trên cấu trúc ngữ nghĩa, chọn phần giữa làm mục tiêu. (2) Kết xuất hình ảnh (Visual Rendering): Chuyển đổi phần văn bản được chọn thành hình ảnh. (3) Biến dạng nhận thức (Perceptual Distortion): Áp dụng các biến dạng (xoay, mờ, bóng, sóng) lên hình ảnh để tăng độ robust. Kết quả là một chuỗi 'text → image → text', biến bài toán SFT chuẩn thành bài toán yêu cầu mô hình phải căn chỉnh biểu diễn giữa văn bản và hình ảnh có cùng ngữ nghĩa.

III. Main Results:

LoMo mang lại cải thiện nhất quán trên 13 benchmark đa phương thức. Cụ thể, trên LLaVA-OneVision-1.5-8B và Qwen3.5-9B, LoMo đạt mức tăng trung bình lần lượt là +2.68 và +2.82 điểm so với Standard SFT. Đặc biệt, trong bài toán Rendered Evaluation (thay toàn bộ câu hỏi bằng ảnh), LoMo giảm mức sụt giảm hiệu suất từ 11.17 điểm xuống chỉ còn 2.07 điểm. Về mặt biểu diễn, LoMo giảm 14.2% khoảng cách chéo phương thức trung bình (Pairwise Cross-Modal Distance) và cải thiện chỉ số Modality Integration Rate (MIR).

IV. Conclusion & Future Works:

LoMo là một giải pháp đơn giản, nhẹ, không yêu cầu thay đổi kiến trúc mô hình hay chi phí suy luận, giúp cải thiện đáng kể khả năng hợp nhất đa phương thức và giải quyết vấn đề 'carrier sensitivity'. Hướng phát triển trong tương lai có thể mở rộng việc coi văn bản và hình ảnh là các vật mang tín hiệu có thể thay thế hoàn toàn cho nhau, cũng như áp dụng LoMo vào các giai đoạn huấn luyện khác ngoài SFT.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng LoMo cho các phương thức khác: Nghiên cứu việc áp dụng ý tưởng thay thế cục bộ phương thức (local modality substitution) cho các cặp phương thức khác ngoài văn bản-hình ảnh, ví dụ như âm thanh-văn bản hoặc video-văn bản. Mục tiêu là tạo ra một framework tổng quát để huấn luyện các mô hình đa phương thức có khả năng bất biến với vật mang tín hiệu.
LoMo kết hợp với các kỹ thuật tăng cường dữ liệu khác: Kết hợp LoMo với các phương pháp tăng cường dữ liệu hiện có như trộn ảnh (mixup), cắt dán (cutmix) hoặc các kỹ thuật tạo ảnh đối nghịch (adversarial) để tạo ra các mẫu huấn luyện đa dạng và khó hơn. Nghiên cứu sự tương tác và hiệu quả cộng hưởng giữa các phương pháp này.
Phân tích lý thuyết về cơ chế căn chỉnh ngầm của LoMo: Đi sâu vào phân tích toán học và lý thuyết về cơ chế mà LoMo sử dụng để tạo ra tín hiệu giám sát căn chỉnh chéo phương thức ngầm (implicit cross-modal alignment supervision). Nghiên cứu ảnh hưởng của các siêu tham số (tỷ lệ rewrite, vị trí rendering) lên quá trình học và tìm ra các nguyên tắc thiết kế tối ưu.

2. Patent:

Phương pháp và hệ thống tăng cường khả năng hiểu văn bản trong ảnh chụp trên điện thoại thông minh: Sử dụng LoMo để huấn luyện một mô hình nhỏ gọn trên điện thoại, giúp nó hiểu chính xác nội dung của các văn bản được chụp lại (ví dụ: hóa đơn, biển báo, menu) ngay cả khi ảnh bị mờ, nghiêng hoặc có bóng đổ. Mô hình sẽ được huấn luyện để căn chỉnh biểu diễn của văn bản gốc và văn bản trong ảnh, giúp nó 'đọc' ảnh tốt hơn.
Ứng dụng trên điện thoại thông minh cho phép người dùng tương tác với nội dung đa phương thức linh hoạt: Một ứng dụng cho phép người dùng chụp ảnh một đoạn văn bản (ví dụ: một công thức nấu ăn) và sau đó đặt câu hỏi bằng giọng nói hoặc văn bản về nội dung trong ảnh đó. Nhờ LoMo, ứng dụng có thể hiểu rằng câu hỏi và nội dung trong ảnh có cùng ngữ nghĩa, từ đó đưa ra câu trả lời chính xác mà không bị nhầm lẫn giữa các dạng đầu vào khác nhau.
Hệ thống gợi ý nội dung trên thiết bị di động dựa trên sự tương đồng ngữ nghĩa xuyên phương thức: Một hệ thống trên điện thoại có khả năng phân tích nội dung mà người dùng đang xem (ví dụ: một bài báo có chứa cả văn bản và hình ảnh minh họa) và gợi ý các nội dung tương tự khác. Hệ thống sử dụng LoMo để tạo ra các biểu diễn thống nhất cho cả văn bản và hình ảnh, giúp việc tìm kiếm và so khớp nội dung trở nên chính xác hơn, bất kể nội dung đó được trình bày dưới dạng nào.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.30265
ArXiv Abstract	https://arxiv.org/abs/2605.30265
PDF Download	https://arxiv.org/pdf/2605.30265.pdf
Github Repository	https://github.com/Maplebb/LoMo

14. LaRA: Layer-wise Representation Analysis for Detecting Data Contamination in RL Post-Training (17 votes)

Tác giả: Minju Gwak, Minseo Kwak, Dongseok Lee, Guijin Son, Alan Ritter, Jaehyung Kim

Xuất bản lúc: 2026-05-28

Tag: Data Contamination, Reinforcement Learning, Large Language Models, Representation Analysis, Membership Inference Attack, RL Post-Training

I. Main Problem:

Bài toán phát hiện nhiễm dữ liệu (data contamination) trong giai đoạn hậu huấn luyện bằng học tăng cường (RL post-training) cho các mô hình ngôn ngữ lớn (LLMs). Các phương pháp hiện tại chủ yếu dựa vào tín hiệu đầu ra như log-likelihood hay entropy, vốn không đáng tin cậy cho mô hình RL vì RL tối ưu hóa dựa trên phần thưởng toàn bộ quỹ đạo suy luận thay vì từng token, dẫn đến hiện tượng hiệu chỉnh đầu ra kém (output miscalibration) và không phù hợp với mục tiêu huấn luyện.

II. Main Idea:

Tác giả đề xuất LaRA (Layer-wise Representation Analysis), một khung phân tích biểu diễn theo từng lớp để phát hiện nhiễm dữ liệu trong các mô hình LLM được huấn luyện bằng RL. LaRA đưa ra ba chỉ số bổ sung cho nhau: (1) Độ lớn dịch chuyển biểu diễn (RSM) đo lường mức độ nhạy cảm của biểu diễn khi thông tin quan trọng bị loại bỏ; (2) Suy sụp hướng (DC) đo lường mức độ tập trung của các thay đổi biểu diễn theo một hướng chủ đạo; (3) Chỉ số ổn định biểu diễn (RSI) đo lường tính bất biến của biểu diễn dưới các biến thể ngữ nghĩa tương đương. Dựa trên các chỉ số này, LaRA xây dựng một giao thức phát hiện nhiễm bằng cách tổng hợp độ lệch hình học biểu diễn qua các lớp và các chỉ số.

III. Main Results:

LaRA đạt hiệu suất phát hiện vượt trội so với các phương pháp baseline dựa trên đầu ra. Trên mô hình LIMR, LaRA đạt AUC 0.80 và TPR@FPR=5% là 0.46, cải thiện đáng kể so với các baseline như Recall, Min-K%, và Self-Critique. Khi kết hợp với Self-Critique (SC + SLaRA), phương pháp đạt AUC 0.73 và TPR@FPR=5% là 0.31 trên mô hình Eurus, và tiếp tục cải thiện qua các epoch huấn luyện RL (lên đến AUC 0.79 và TPR 0.38). Phân tích cho thấy nhiễm dữ liệu gây ra các bất thường hình học nhất quán qua các lớp, bao gồm độ nhạy nhiễu loạn cao hơn, suy sụp hướng mạnh hơn và độ cứng cục bộ cao hơn.

IV. Conclusion & Future Works:

LaRA chứng minh rằng nhiễm dữ liệu trong các mô hình LLM được huấn luyện bằng RL được phản ánh mạnh mẽ trong cấu trúc hình học biểu diễn nội bộ, và các tín hiệu ở mức biểu diễn có thể bổ sung cho các phương pháp dựa trên đầu ra để cải thiện hiệu suất phát hiện. Hướng phát triển tương lai bao gồm: khám phá các chiến lược nhiễu loạn hiệu quả hơn về mặt tính toán, các phương pháp tổng hợp biểu diễn mạnh hơn, và nghiên cứu sâu hơn về cơ chế nhân quả đằng sau hiện tượng ghi nhớ và nhiễm dữ liệu trong các mô hình suy luận.

V. Brainstorming Space:

1. Publish Papers:

Phát hiện nhiễm dữ liệu trong quá trình RL post-training cho các mô hình đa phương thức (Vision-Language Models) bằng cách mở rộng khung LaRA để phân tích biểu diễn trên cả không gian văn bản và hình ảnh.
Nghiên cứu mối quan hệ giữa các chỉ số hình học biểu diễn (RSM, DC, RSI) và các thuộc tính khác của mô hình như khả năng tổng quát hóa, tính trung thực, hoặc độ an toàn, nhằm xây dựng các công cụ kiểm định toàn diện hơn.
Phát triển các phiên bản LaRA tiết kiệm chi phí tính toán hơn, chẳng hạn như chỉ phân tích một số lớp đại diện hoặc sử dụng các kỹ thuật xấp xỉ để giảm số lượng biến thể nhiễu loạn cần thiết.

2. Patent:

Phương pháp phát hiện rò rỉ dữ liệu huấn luyện trên thiết bị di động dựa trên phân tích biểu diễn nội bộ: Hệ thống chạy trên điện thoại thông minh, khi người dùng nhập một câu hỏi, sẽ truy xuất biểu diễn ẩn từ các lớp sâu của mô hình ngôn ngữ nhỏ gọn trên thiết bị. Bằng cách so sánh độ nhạy cảm của biểu diễn khi loại bỏ thông tin quan trọng với một tập tham chiếu sạch, hệ thống sẽ đưa ra cảnh báo nếu câu hỏi có khả năng cao đã từng xuất hiện trong dữ liệu huấn luyện, giúp người dùng đánh giá độ tin cậy của kết quả.
Ứng dụng phát hiện gian lận trong bài kiểm tra trực tuyến trên thiết bị di động: Ứng dụng kiểm tra trên điện thoại sử dụng mô hình ngôn ngữ nhúng để phân tích câu trả lời của thí sinh. Nếu biểu diễn nội bộ của câu trả lời cho thấy dấu hiệu suy sụp hướng hoặc độ cứng cục bộ bất thường (tương tự như nhiễm dữ liệu), ứng dụng sẽ đánh dấu câu trả lời đó là có khả năng đã được ghi nhớ trước hoặc sao chép từ nguồn khác, thay vì thể hiện năng lực thực sự.
Hệ thống cá nhân hóa nội dung trên điện thoại thông minh dựa trên phân tích độ nhạy biểu diễn: Ứng dụng đọc tin tức hoặc đề xuất nội dung trên điện thoại sẽ theo dõi phản ứng biểu diễn của mô hình ngôn ngữ trên thiết bị đối với các bài viết khác nhau. Nếu biểu diễn của một bài viết thể hiện độ nhạy cảm nhiễu loạn cao bất thường (dấu hiệu của nội dung đã được 'ghi nhớ' bởi mô hình), hệ thống sẽ ưu tiên đề xuất các bài viết khác có cấu trúc biểu diễn 'tự nhiên' hơn, mang lại trải nghiệm khám phá nội dung đa dạng và mới mẻ hơn cho người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.29888
ArXiv Abstract	https://arxiv.org/abs/2605.29888
PDF Download	https://arxiv.org/pdf/2605.29888.pdf
Github Repository	N/A

15. Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning (17 votes)

Tác giả: Jiapeng Zhu, Jianxiang Yu, Yibo Zhao, Chengcheng Han, Qi Gu, Xunliang Cai, Xiang Li, Weining Qian

Xuất bản lúc: 2026-05-27

Tag: LLMs, Agentic RL, Skill Internalization, Skill Utilization, Out-of-Distribution Generalization, Reinforcement Learning

I. Main Problem:

Các phương pháp huấn luyện dựa trên kỹ năng (skill-based) cho tác tử (agent) thường rơi vào hai thái cực: ngoại hóa hoàn toàn (full externalization) gây quá tải ngữ cảnh (context overhead) và nội hóa hoàn toàn (full internalization) dẫn đến quá khớp (overfitting) và xung đột tri thức (knowledge conflict). Cả hai đều không hiệu quả khi đối mặt với các kỹ năng mới chưa từng thấy (Out-of-Distribution - OOD) trong môi trường thực tế.

II. Main Idea:

Bài báo đề xuất Skill0.5, một khung học tăng cường (RL) cho tác tử, giúp phân biệt rõ ràng cách xử lý hai loại kỹ năng: kỹ năng chung (general skills) được nội hóa vào mô hình, còn kỹ năng cụ thể cho từng nhiệm vụ (task-specific skills) được sử dụng linh hoạt như các plugin. Một bộ định tuyến (difficulty-aware router) dựa trên độ khó của nhiệm vụ sẽ chia nhiệm vụ thành ba cấp độ: khó (hard) - nội hóa kỹ năng chung qua chưng cất đặc quyền (privileged distillation); trung bình (medium) - huấn luyện RL tiêu chuẩn; và dễ (easy) - sử dụng phương pháp 'anti-shortcut' để đảm bảo tác tử thực sự dùng kỹ năng cụ thể.

III. Main Results:

Trên các benchmark ALFWorld và WebShop, Skill0.5 vượt trội so với các phương pháp dựa trên prompt, bộ nhớ và kỹ năng khác. Cụ thể, so với baseline mạnh nhất (SkillRL), Skill0.5 cải thiện +2.3% (ID) và +13.2% (OOD) trên ALFWorld, cũng như +2.1% và +3.9% trên WebShop. Kết quả cho thấy khả năng tổng quát hóa OOD vượt trội.

IV. Conclusion & Future Works:

Skill0.5 giải quyết thành công vấn đề nan giải về cách xử lý kỹ năng bằng cách kết hợp nội hóa kỹ năng chung và sử dụng kỹ năng cụ thể. Trong tương lai, nhóm tác giả có kế hoạch mở rộng khung này sang các lĩnh vực phức tạp hơn như sinh mã (code generation), môi trường đa phương thức (multi-modal), và điều hướng web mở (open-ended web navigation).

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Skill0.5 cho các tác tử đa phương thức (Vision-Language Action) trong môi trường 3D, nơi kỹ năng chung về nhận thức không gian được nội hóa và kỹ năng cụ thể về thao tác đồ vật được sử dụng linh hoạt.
Nghiên cứu cơ chế 'difficulty-aware router' thích ứng với tiến trình học của tác tử, cho phép tự động điều chỉnh ngưỡng khó dựa trên phân phối phần thưởng động (dynamic reward distribution).
Áp dụng nguyên lý phân biệt kỹ năng (differentiated skill treatment) vào các tác tử đa tác tử (multi-agent), nơi kỹ năng giao tiếp chung được nội hóa và kỹ năng hợp tác cụ thể được sử dụng để giải quyết các nhiệm vụ phối hợp phức tạp.

2. Patent:

Phương pháp và hệ thống tối ưu hóa trợ lý ảo trên điện thoại thông minh: Trợ lý ảo sẽ tự động 'học thuộc' các thao tác cơ bản như mở ứng dụng, đặt báo thức, gửi tin nhắn (kỹ năng chung). Khi người dùng đưa ra yêu cầu mới lạ, ví dụ 'đặt đồ ăn theo chế độ ăn kiêng của tôi', trợ lý sẽ tải về và sử dụng tạm thời một 'hướng dẫn' cụ thể cho nhiệm vụ đó (kỹ năng cụ thể) mà không làm ảnh hưởng đến các kỹ năng đã học.
Ứng dụng cá nhân hóa trên thiết bị di động: Một ứng dụng có thể 'nội hóa' các thói quen và sở thích chung của người dùng (ví dụ: thích đồ ngọt, hay tập thể dục buổi sáng). Khi người dùng thực hiện một tác vụ mới như 'lên kế hoạch cho bữa tiệc sinh nhật', ứng dụng sẽ tải về và sử dụng các kỹ năng cụ thể cho việc tổ chức tiệc (ví dụ: danh sách món ăn, trò chơi) mà không làm mất đi các thói quen đã học.
Hệ thống khắc phục lỗi trên điện thoại thông minh: Hệ thống tự động 'nội hóa' các quy tắc sửa lỗi chung (ví dụ: kiểm tra kết nối mạng, xóa bộ nhớ đệm). Khi gặp một lỗi mới, hệ thống sẽ tìm kiếm và sử dụng tạm thời một 'hướng dẫn sửa lỗi' cụ thể từ cộng đồng (kỹ năng cụ thể) để xử lý, thay vì phải cập nhật toàn bộ hệ điều hành.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.28424
ArXiv Abstract	https://arxiv.org/abs/2605.28424
PDF Download	https://arxiv.org/pdf/2605.28424.pdf
Github Repository	https://github.com/JasonZhujp/Skill0_5

16. Xetrieval: Mechanistically Explaining Dense Retrieval (15 votes)

Tác giả: Zhixin Cai, Jun Bai, Yang Liu, Jiaqi Li, Yichi Zhang, Taichuan Li, Zhuofan Chen, Zixia Jia, Zilong Zheng, Wenge Rong

Xuất bản lúc: 2026-05-28

Tag: Dense Retrieval, Mechanistic Interpretability, Sparse Autoencoders, Chain-of-Thought, Explainable AI

I. Main Problem:

Dense retrieval (DR) đạt hiệu suất cao nhưng hoạt động như một hộp đen: điểm số liên quan được tính toán từ các embedding có chiều cao, không rõ ràng, khiến việc hiểu tại sao một tài liệu cụ thể được truy xuất cho một truy vấn là rất khó khăn. Các phương pháp giải thích hiện tại thường chỉ dựa trên các tín hiệu bề mặt như khớp từ vựng, căn chỉnh token hoặc lý do hậu kỳ, do đó cung cấp cái nhìn hạn chế về các yếu tố tiềm ẩn cấp độ embedding thực sự định hình hành vi truy xuất.

II. Main Idea:

Bài báo đề xuất Xetrieval, một khung giải thích cơ chế ở cấp độ embedding cho dense retrieval. Xetrieval gồm hai thành phần chính: (1) Bộ nội hóa suy luận (Reasoning Internalizer) - một MLP nhẹ học cách xấp xỉ suy luận Chain-of-Thought (CoT) trực tiếp trong không gian embedding chỉ với một lượt truyền xuôi, làm giàu embedding với thông tin định hướng suy luận (ý định truy vấn, ràng buộc tiềm ẩn, yêu cầu bằng chứng) mà không cần sinh tự hồi quy tốn kém; (2) Bộ giải thích cơ chế (Mechanistic Explainer) - sử dụng Sparse Autoencoder (SAE) để phân rã các embedding đã được làm giàu này thành các đặc trưng thưa, có thể giải thích bằng ngôn ngữ tự nhiên. Bằng cách tổng hợp các chồng lấn đặc trưng thưa giữa truy vấn và nhiều góc nhìn tài liệu (gốc, tóm tắt, mục đích, QA), Xetrieval cung cấp giải thích cấp độ đặc trưng cho từng quyết định truy xuất.

III. Main Results:

Các thí nghiệm trên nhiều bộ truy xuất (e5, gte, Qwen3-Embedding) và 7 benchmark (BRIGHT, NQ, MuTual,...) cho thấy: (1) Bộ nội hóa suy luận cải thiện hiệu suất truy xuất (NDCG@10) so với baseline và thu hẹp khoảng cách với CoT reasoner đầy đủ. (2) Các embedding có suy luận cho phép SAE đạt lỗi tái tạo thấp hơn và kích hoạt nhiều đặc trưng thưa hơn. (3) Các đặc trưng do Xetrieval tạo ra có tính đơn ngữ nghĩa (mono-semanticity) cao hơn, được chứng minh qua điểm Phát hiện (Detection Score). (4) Các thí nghiệm can thiệp (xóa/giữ lại đặc trưng) cho thấy các đặc trưng của Xetrieval có liên kết nhân quả mạnh mẽ với điểm số liên quan và có thể điều khiển hành vi truy xuất ở cấp độ tác vụ một cách hiệu quả. (5) Xetrieval có hiệu quả tính toán vượt trội so với CoT reasoner, đặc biệt khi kích thước kho tài liệu tăng lên.

IV. Conclusion & Future Works:

Xetrieval là một khung giải thích cấp độ embedding hiệu quả, cho phép truy xuất dày đặc có thể giải thích được bằng cơ chế. Nó vượt qua các giới hạn của các phương pháp dựa trên bề mặt hoặc kiến trúc đặc biệt, cung cấp cái nhìn sâu sắc về các yếu tố tiềm ẩn thúc đẩy quyết định truy xuất. Các hướng phát triển trong tương lai bao gồm: mở rộng Xetrieval cho truy xuất đa phương thức và đa ngôn ngữ, phát triển các đường dẫn suy luận thích ứng, và đánh giá giải thích có chú ý đến tính công bằng.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng khung giải thích cho truy xuất đa phương thức (Multi-modal Retrieval): Nghiên cứu cách áp dụng cơ chế nội hóa suy luận và phân rã đặc trưng thưa cho các mô hình truy xuất kết hợp văn bản và hình ảnh (ví dụ: CLIP). Mục tiêu là giải thích tại sao một hình ảnh hoặc văn bản cụ thể được truy xuất dựa trên các đặc trưng trực quan và ngữ nghĩa kết hợp.
Giải thích truy xuất đa ngôn ngữ (Cross-lingual Retrieval): Phát triển một phiên bản Xetrieval có thể hoạt động trên nhiều ngôn ngữ, nơi các đặc trưng thưa được học để trở nên bất biến với ngôn ngữ. Điều này giúp giải thích các quyết định truy xuất khi truy vấn và tài liệu ở các ngôn ngữ khác nhau.
Đường dẫn suy luận thích ứng (Adaptive Reasoning Pathways): Cải tiến bộ nội hóa suy luận để tự động điều chỉnh các khía cạnh suy luận (Tóm tắt, Mục đích, QA) dựa trên độ phức tạp của truy vấn, thay vì sử dụng một bộ cố định. Nghiên cứu cách các đường dẫn suy luận khác nhau ảnh hưởng đến chất lượng giải thích cho các loại truy vấn khác nhau (ví dụ: thực tế, lý luận, tường thuật).

2. Patent:

Phương pháp và hệ thống giải thích kết quả tìm kiếm trên điện thoại thông minh: Một ứng dụng trên điện thoại cho phép người dùng xem lý do tại sao một kết quả tìm kiếm cụ thể được hiển thị. Khi người dùng nhập truy vấn, hệ thống sẽ phân tích và hiển thị các 'thẻ đặc trưng' (ví dụ: 'Phù hợp với mục đích mua sắm', 'Có chứa thông tin kỹ thuật', 'Tương tự về chủ đề') bên cạnh mỗi kết quả. Người dùng có thể chạm vào các thẻ này để hiểu rõ hơn hoặc phản hồi để cải thiện kết quả tìm kiếm trong tương lai.
Công cụ gỡ lỗi cho nhà phát triển ứng dụng tìm kiếm trên thiết bị di động: Một công cụ dành cho nhà phát triển, được tích hợp vào môi trường phát triển ứng dụng di động, cho phép họ 'can thiệp' vào các đặc trưng tìm kiếm. Nhà phát triển có thể tăng hoặc giảm tầm quan trọng của một đặc trưng cụ thể (ví dụ: 'giá cả phải chăng', 'đánh giá cao') và xem ngay lập tức kết quả tìm kiếm thay đổi như thế nào, giúp họ tinh chỉnh công cụ tìm kiếm của ứng dụng một cách trực quan và hiệu quả.
Hệ thống đề xuất nội dung có giải thích trên mạng xã hội: Một tính năng trên ứng dụng mạng xã hội, nơi các bài viết được đề xuất kèm theo lời giải thích ngắn gọn do AI tạo ra. Ví dụ: 'Bài viết này được đề xuất vì nó thảo luận về chủ đề X mà bạn quan tâm và có quan điểm tương tự Y'. Hệ thống sử dụng kỹ thuật phân rã đặc trưng thưa để xác định các yếu tố chính (chủ đề, quan điểm, phong cách viết) kết nối người dùng với nội dung được đề xuất.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.29507
ArXiv Abstract	https://arxiv.org/abs/2605.29507
PDF Download	https://arxiv.org/pdf/2605.29507.pdf
Github Repository	https://github.com/Hihiczx/Xetrieval

17. When Should Models Change Their Minds? Contextual Belief Management in Large Language Models (14 votes)

Tác giả: Haoming Xu, Weihong Xu, Zongrui Li, Mengru Wang, Yunzhi Yao, Chiyu Wu, Jin Shang, Yu Gong, Shumin Deng

Xuất bản lúc: 2026-05-28

Tag: LLMs, Belief Management, Reinforcement Learning, Contextual Reasoning, Benchmark

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) gặp khó khăn trong việc quản lý niềm tin (beliefs) khi tương tác dài hạn: chúng không biết khi nào nên cập nhật, giữ nguyên, hay bỏ qua thông tin. Cụ thể, các mô hình hiện tại thường thất bại trong ba loại lỗi: Failed Stay (không giữ niềm tin ổn định khi bằng chứng không đổi), Failed Update (không cập nhật niềm tin khi bằng chứng thay đổi), và Failed Isolation (không lọc được nhiễu không liên quan đến nhiệm vụ).

II. Main Idea:

Tác giả đề xuất khái niệm Contextual Belief Management (CBM) - quản lý niềm tin theo ngữ cảnh, yêu cầu mô hình duy trì trạng thái niềm tin dự đoán phù hợp với bằng chứng chính thức, đồng thời cách ly nhiễu không liên quan. Để đo lường CBM, họ giới thiệu BeliefTrack, một benchmark thế giới đóng với hai môi trường: Rule Discovery (RD) và Circuit Diagnosis (CD). BeliefTrack sử dụng không gian niềm tin hữu hạn và bộ xác minh ký hiệu (symbolic verifiers) để đánh giá chính xác từng lượt. Phương pháp cải thiện chính là Reinforcement Learning (RL) với phần thưởng dựa trên trạng thái niềm tin, giúp giảm đáng kể tỷ lệ lỗi.

III. Main Results:

RL với phần thưởng trạng thái niềm tin giảm trung bình 70.9% tỷ lệ lỗi CBM trên các mô hình. Cụ thể, trên Qwen2.5-7B-Instruct, RL giảm FSR/FUR xuống 0.0%/2.0% trên RD và 0.0%/0.0% trên CD. RL cũng tổng quát hóa tốt: mô hình huấn luyện trên RD giảm 93.9% FSR và 71.1% FUR trên CD chưa thấy. Điều khiển ở mức biểu diễn (representation-level steering) giảm 46.1% tỷ lệ lỗi trung bình trên hai tác vụ.

IV. Conclusion & Future Works:

CBM là một thách thức có thể đo lường và khắc phục được ở LLMs. Học tăng cường với phần thưởng trạng thái niềm tin cải thiện đáng kể khả năng quản lý niềm tin và tổng quát hóa qua các môi trường. Công việc tương lai nên mở rộng BeliefTrack sang các môi trường phức tạp hơn và nghiên cứu sự cân bằng giữa khả năng chống nhiễu và linh hoạt với thông tin ngữ cảnh hợp lệ.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng BeliefTrack sang các môi trường thực tế hơn: Xây dựng các benchmark mới với không gian niềm tin mở, mô phỏng các tình huống thực tế như chẩn đoán y tế, hỗ trợ khách hàng, hoặc lập kế hoạch tài chính, nơi bằng chứng có thể mơ hồ và nhiễu phức tạp hơn.
Kết hợp CBM với các kỹ thuật bộ nhớ ngoài: Nghiên cứu cách tích hợp CBM với các cơ chế bộ nhớ như retrieval-augmented generation (RAG) hoặc memory-augmented neural networks để cải thiện khả năng duy trì và cập nhật niềm tin trong các tương tác siêu dài.
Phân tích cơ chế thần kinh của CBM: Sử dụng các kỹ thuật phân tích cơ chế như probing, activation patching, hoặc sparse autoencoders để hiểu sâu hơn về cách các biểu diễn nội bộ của LLMs liên quan đến các lỗi CBM, từ đó phát triển các phương pháp can thiệp hiệu quả hơn.

2. Patent:

Phương pháp quản lý niềm tin cho trợ lý ảo trên điện thoại: Một hệ thống trên điện thoại thông minh sử dụng CBM để theo dõi các thay đổi trong lịch trình, tin nhắn, hoặc cài đặt của người dùng. Hệ thống chỉ cập nhật trạng thái khi có bằng chứng rõ ràng (ví dụ: xác nhận từ người dùng) và bỏ qua các thông báo không liên quan (ví dụ: quảng cáo), giúp trợ lý ảo đưa ra phản hồi nhất quán và chính xác hơn.
Hệ thống lọc tin tức cá nhân hóa dựa trên quản lý niềm tin: Một ứng dụng đọc tin tức trên điện thoại sử dụng CBM để xây dựng và duy trì niềm tin của người dùng về các sự kiện hiện tại. Ứng dụng chỉ cập nhật niềm tin khi có thông tin từ các nguồn đáng tin cậy và bỏ qua các tin giả hoặc thông tin gây nhiễu, giúp người dùng có cái nhìn nhất quán và chính xác về thế giới.
Công cụ hỗ trợ học tập thích ứng trên thiết bị di động: Một ứng dụng học tập sử dụng CBM để theo dõi sự tiến bộ của người dùng. Ứng dụng duy trì niềm tin về kiến thức hiện tại của người dùng, chỉ cập nhật khi người dùng trả lời đúng các câu hỏi kiểm tra và bỏ qua các tương tác không liên quan (ví dụ: nhấp nhầm). Điều này giúp cá nhân hóa lộ trình học tập một cách hiệu quả.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.30219
ArXiv Abstract	https://arxiv.org/abs/2605.30219
PDF Download	https://arxiv.org/pdf/2605.30219.pdf
Github Repository	N/A

18. Colored Noise Diffusion Sampling (11 votes)

Tác giả: Hadar Davidson, Noam Issachar, Sagie Benaim

Xuất bản lúc: 2026-05-28

Tag: Diffusion Models, Spectral Bias, Stochastic Differential Equation, Colored Noise, Image Generation, Inference-Time Sampling

I. Main Problem:

Các mô hình khuếch tán hiện tại sử dụng bộ giải phương trình vi phân ngẫu nhiên (SDE) tiêm nhiễu trắng đồng nhất trong suốt quá trình tạo ảnh. Điều này bỏ qua tính chất thiên lệch phổ (spectral bias) vốn có của mô hình, nơi các cấu trúc tần số thấp được giải quyết sớm và chi tiết tần số cao xuất hiện muộn. Việc tiêm nhiễu không hiệu quả này làm lãng phí ngân sách năng lượng hữu hạn của quá trình tạo sinh, dẫn đến khoảng cách phổ (spectral gap) giữa ảnh được tạo ra và ảnh thật, làm giảm chất lượng tổng thể.

II. Main Idea:

Bài báo giới thiệu Colored Noise Sampling (CNS), một bộ giải ngẫu nhiên mới, không cần huấn luyện thêm. CNS tận dụng thiên lệch phổ bằng cách thay thế nhiễu trắng đồng nhất bằng một lịch trình nhiễu màu (colored noise) phụ thuộc vào bước thời gian và tần số. Lịch trình này phân bổ năng lượng nhiễu một cách linh hoạt, tập trung vào các dải tần số chưa được giải quyết (có độ thiếu hụt cấu trúc cao) và giảm năng lượng ở các dải tần đã được giải quyết tốt. CNS hoạt động như một sự thay thế bộ lấy mẫu plug-and-play tại thời điểm suy luận, giúp định hướng phân phối được tạo ra tiến gần hơn đến phân phối dữ liệu thực.

III. Main Results:

CNS vượt trội hơn đáng kể so với các bộ giải ODE và SDE tiêu chuẩn trên nhiều kiến trúc khác nhau (SiT, JiT, FLUX). Trên ImageNet-256, CNS đạt được sự cải thiện FID đáng kể ở chế độ không có hướng dẫn (unguided): SiT-XL/2 từ 8.26 xuống 6.27, JiT-B/16 từ 32.39 xuống 26.69, JiT-H/16 từ 11.88 xuống 8.31. CNS cũng cho thấy sự cải thiện FID nhất quán khi sử dụng Classifier-Free Guidance (CFG) và hoạt động hiệu quả trên các bộ giải có bậc hội tụ khác nhau. Trong tác vụ Text-to-Image với FLUX, CNS cải thiện các điểm số ưu tiên của con người như ImageReward.

IV. Conclusion & Future Works:

CNS giải quyết sự kém hiệu quả cốt lõi trong các bộ giải SDE khuếch tán bằng cách chủ động khai thác thiên lệch phổ, dẫn đến cải thiện đáng kể chất lượng tạo ảnh mà không cần huấn luyện lại mô hình. Hạn chế chính là CNS yêu cầu khung SDE và số bước lấy mẫu đủ lớn, không tương thích với các bộ giải ODE xác định cho suy luận cực nhanh. Hướng phát triển trong tương lai bao gồm mở rộng việc định tuyến năng lượng phụ thuộc tần số sang các phương pháp xác định cho số bước thấp và áp dụng CNS cho tạo sinh video để tận dụng chiều tần số thời gian.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các lịch trình nhiễu màu thích ứng khác dựa trên các độ đo thiếu hụt cấu trúc khác ngoài chỉ số tiến triển γ(f,t), chẳng hạn như sử dụng độ cong của bề mặt năng lượng hoặc entropy của các dải tần số.
Mở rộng CNS sang các mô hình khuếch tán tiềm ẩn (latent diffusion) cho các tác vụ như chỉnh sửa ảnh (image inpainting, super-resolution) để xem liệu việc kiểm soát phổ có thể cải thiện chất lượng tái tạo chi tiết hay không.
Tích hợp CNS vào các kiến trúc tạo sinh video như Video Diffusion Transformers, khai thác thêm chiều tần số thời gian để tạo ra các chuyển động mượt mà và chi tiết hơn.

2. Patent:

Phương pháp và hệ thống tăng cường chất lượng ảnh chụp từ camera điện thoại thông minh: Sử dụng CNS để hậu xử lý ảnh, nơi nhiễu màu được tiêm vào ảnh ở các dải tần số khác nhau dựa trên độ chi tiết của ảnh gốc (ví dụ: tăng cường chi tiết ở vùng có kết cấu phức tạp, làm mịn ở vùng phẳng). Điều này giúp cải thiện độ sắc nét và giảm nhiễu mà không làm mất đi các chi tiết quan trọng.
Ứng dụng tạo ảnh đại diện (avatar) cá nhân hóa trên thiết bị di động: Một ứng dụng cho phép người dùng tạo ảnh đại diện từ ảnh chụp. CNS được sử dụng để tinh chỉnh quá trình tạo sinh, đảm bảo rằng các đặc điểm khuôn mặt như kết cấu da, chi tiết tóc và ánh mắt được tái tạo một cách chân thực và sắc nét, đặc biệt là ở các vùng tần số cao.
Bộ lọc nghệ thuật thông minh cho ứng dụng chỉnh sửa ảnh: Một bộ lọc sử dụng CNS để biến đổi phong cách của ảnh. Người dùng có thể chọn các 'màu nhiễu' khác nhau (ví dụ: nhiễu xanh cho hiệu ứng sắc nét, nhiễu đỏ cho hiệu ứng mờ ảo) để áp dụng các hiệu ứng nghệ thuật độc đáo lên ảnh, kiểm soát mức độ chi tiết và kết cấu của ảnh đầu ra.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.30332
ArXiv Abstract	https://arxiv.org/abs/2605.30332
PDF Download	https://arxiv.org/pdf/2605.30332.pdf
Github Repository	https://github.com/hadardavidson/colored-noise-sampling

19. Is Position Bias in Dense Retrievers Built In-or Learned from Data? (11 votes)

Tác giả: Daegon Yu, SeungYoon Han, Woomyoung Park

Xuất bản lúc: 2026-05-26

Tag: Dense Retrieval, Position Bias, Fine-tuning, Data Curation, Encoder-Decoder, Positional Encoding

I. Main Problem:

Các mô hình dense retriever (bộ truy xuất dày đặc) thể hiện sự thiên lệch vị trí (position bias), ưu tiên các tài liệu có thông tin liên quan đến truy vấn nằm ở đầu văn bản và giảm hiệu suất khi thông tin nằm ở giữa hoặc cuối. Mặc dù các nghiên cứu trước đây tập trung vào giải thích kiến trúc (ví dụ: cơ chế chú ý nhân quả), nhưng vẫn chưa rõ liệu sự thiên lệch này là do kiến trúc mô hình hay do sự phân bố vị trí của dữ liệu huấn luyện gây ra.

II. Main Idea:

Bài báo đưa ra giả thuyết rằng phân bố vị trí của dữ liệu huấn luyện (training-position distribution) là một yếu tố chính có thể kiểm soát được trong việc hình thành sự thiên lệch vị trí ở cấp độ truy xuất. Để kiểm chứng, nhóm tác giả xây dựng các bộ dữ liệu tổng hợp có kiểm soát vị trí (position-controlled datasets) bằng cách tạo các cặp truy vấn-tài liệu mà thông tin liên quan đến truy vấn chỉ xuất hiện ở một vị trí cụ thể (đầu, giữa hoặc cuối tài liệu). Sau đó, họ fine-tune 8 mô hình pretrained đa dạng về kiến trúc (encoder và decoder, các positional encoding khác nhau) trên các bộ dữ liệu này với bốn cấu hình phân bố vị trí khác nhau: lệch về đầu (begin-skewed), lệch về giữa (mid-skewed), lệch về cuối (end-skewed) và cân bằng (position-balanced). Kết quả cho thấy hướng của sự thiên lệch vị trí ở cấp độ truy xuất tuân theo phân bố dữ liệu huấn luyện, và huấn luyện với dữ liệu cân bằng vị trí giúp giảm đáng kể độ nhạy cảm với vị trí.

III. Main Results:

Kết quả thực nghiệm cho thấy một mô hình được huấn luyện với dữ liệu lệch về đầu sẽ ưu tiên các tài liệu có thông tin ở đầu, tương tự với lệch về giữa và cuối. Huấn luyện cân bằng vị trí (position-balanced training) giảm 57-87% độ nhạy cảm với vị trí (Position Sensitivity Index - PSI) trên các benchmark có kiểm soát vị trí (SQuAD-PosQ, FineWeb-PosQ) so với các cấu hình lệch, đồng thời vẫn duy trì hiệu suất truy xuất cạnh tranh. Phân tích ở mức độ biểu diễn cho thấy fine-tuning có thể định hình lại các biểu diễn của tài liệu để phù hợp với vị trí được nhấn mạnh trong dữ liệu huấn luyện.

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng phân bố vị trí của dữ liệu huấn luyện là một yếu tố chính có thể kiểm soát được để giảm thiểu sự thiên lệch vị trí trong các mô hình dense retriever. Hướng phát triển trong tương lai bao gồm kiểm tra với dữ liệu được xác thực bởi con người, mở rộng sang các ngôn ngữ và lĩnh vực khác, và đánh giá tác động đến các hệ thống Retrieval-Augmented Generation (RAG) đầu cuối.

V. Brainstorming Space:

1. Publish Papers:

1. Giảm thiên lệch vị trí trong mô hình Dense Retriever đa ngôn ngữ: Mở rộng phương pháp huấn luyện cân bằng vị trí (position-balanced training) cho các mô hình dense retriever đa ngữ, sử dụng dữ liệu từ nhiều ngôn ngữ khác nhau (ví dụ: Wikipedia đa ngôn ngữ). Nghiên cứu xem liệu sự thiên lệch vị trí có biểu hiện khác nhau giữa các ngôn ngữ hay không và liệu phương pháp cân bằng vị trí có hiệu quả trên tất cả các ngôn ngữ hay không.
1. Ảnh hưởng của thiên lệch vị trí đến hiệu suất của hệ thống RAG: Nghiên cứu tác động của sự thiên lệch vị trí từ mô hình dense retriever đến chất lượng tổng thể của hệ thống Retrieval-Augmented Generation (RAG). Cụ thể, đánh giá xem việc sử dụng một mô hình retriever có thiên lệch vị trí (ví dụ: ưu tiên thông tin ở đầu tài liệu) có dẫn đến việc LLM tạo ra các câu trả lời kém chính xác hơn khi thông tin quan trọng nằm ở vị trí khác hay không.
1. Phương pháp cân bằng vị trí linh hoạt dựa trên độ dài tài liệu: Phát triển một phương pháp cân bằng vị trí động, không chỉ dựa trên việc chia tài liệu thành ba phần bằng nhau, mà còn điều chỉnh chiến lược lấy mẫu dựa trên độ dài thực tế của tài liệu. Ví dụ, với tài liệu ngắn, có thể tập trung vào việc đảm bảo thông tin ở bất kỳ vị trí nào cũng được truy xuất tốt; với tài liệu dài, có thể ưu tiên cân bằng giữa các phần.

2. Patent:

1. Phương pháp tối ưu hóa kết quả tìm kiếm trên điện thoại di động dựa trên vị trí thông tin: Một hệ thống trên điện thoại thông minh, khi người dùng tìm kiếm thông tin trong một tài liệu dài (ví dụ: sách điện tử, bài báo), sẽ tự động phân tích vị trí của các đoạn văn bản liên quan đến truy vấn. Hệ thống sẽ ưu tiên hiển thị các kết quả từ các phần khác nhau của tài liệu (đầu, giữa, cuối) thay vì chỉ tập trung vào phần đầu, giúp người dùng tìm thấy thông tin một cách toàn diện hơn.
1. Ứng dụng di động đọc tin tức thông minh giảm thiểu thiên lệch thông tin: Một ứng dụng đọc tin tức trên điện thoại, khi người dùng tìm kiếm một chủ đề, sẽ tổng hợp và trình bày các đoạn trích từ nhiều bài báo khác nhau. Thay vì chỉ lấy đoạn mở đầu (thường chứa thông tin chính), ứng dụng sẽ sử dụng một mô hình đã được huấn luyện cân bằng vị trí để trích xuất thông tin từ mọi vị trí trong bài báo, đảm bảo người dùng nhận được một cái nhìn đa chiều và không bỏ lỡ các chi tiết quan trọng nằm ở giữa hoặc cuối bài.
1. Hệ thống gợi ý nội dung trên thiết bị di động không thiên lệch vị trí: Một hệ thống gợi ý (recommendation system) nhúng trong các ứng dụng di động, ví dụ như đọc sách hoặc xem video, sử dụng một mô hình dense retriever đã được huấn luyện cân bằng vị trí. Hệ thống này sẽ gợi ý các chương sách hoặc các phân đoạn video có nội dung liên quan đến sở thích của người dùng, bất kể nội dung đó nằm ở vị trí nào trong tác phẩm gốc, giúp người dùng khám phá nội dung một cách hiệu quả và tránh bỏ lỡ các phần thú vị nằm ở giữa hoặc cuối.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.26578
ArXiv Abstract	https://arxiv.org/abs/2605.26578
PDF Download	https://arxiv.org/pdf/2605.26578.pdf
Github Repository	N/A

📰 Summary of Papers​

1. AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security (81 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments (77 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. OmniRetrieval: Unified Retrieval across Heterogeneous Knowledge Sources (54 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. CollectionLoRA: Collecting 50 Effects in 1 LoRA via Multi-Teacher On-Policy Distillation (49 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models (40 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. YoCausal: How Far is Video Generation from World Model? A Causality Perspective (33 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. GenClaw: Code-Driven Agentic Image Generation (26 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. EarlyTom: Early Token Compression Completes Fast Video Understanding (23 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. How LoRA Remembers? A Parametric Memory Law for LLM Finetuning (20 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security (81 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments (77 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. OmniRetrieval: Unified Retrieval across Heterogeneous Knowledge Sources (54 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. CollectionLoRA: Collecting 50 Effects in 1 LoRA via Multi-Teacher On-Policy Distillation (49 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models (40 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. YoCausal: How Far is Video Generation from World Model? A Causality Perspective (33 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. GenClaw: Code-Driven Agentic Image Generation (26 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. EarlyTom: Early Token Compression Completes Fast Video Understanding (23 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. How LoRA Remembers? A Parametric Memory Law for LLM Finetuning (20 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: