🤗 Daily Hugging Face Paper Digest - 2026-05-15
Báo cáo được tạo tự động vào lúc 2026-05-17 02:33:06 bằng mô hình deepseek-ai/deepseek-v4-flash.
📰 Summary of Papers
1. Darwin Family: MRI-Trust-Weighted Evolutionary Merging for Training-Free Scaling of Language-Model Reasoning (44 votes)
Tác giả: Taebong Kim, Youngsik Hong, Minsik Kim, Sunyoung Choi, Jaewon Jang, Junghoon Shin, Minseo Kim
Xuất bản lúc: 2026-05-14
Tag: Model Merging, Evolutionary Optimization, Large Language Models, Reasoning, Training-Free, Diagnostic Probing
I. Main Problem:
Các mô hình ngôn ngữ lớn (LLMs) hiện tại có khả năng suy luận mạnh mẽ, nhưng việc đạt được khả năng này thường phụ thuộc vào các quy trình huấn luyện bổ sung tốn kém (như tinh chỉnh, học tăng cường) và khó tái tạo. Các nghiên cứu chỉ ra rằng khả năng suy luận cốt lõi phần lớn được hình thành trong quá trình tiền huấn luyện và các quy trình hậu huấn luyện chỉ tổ chức lại hành vi bề mặt. Câu hỏi đặt ra là liệu có thể cải thiện hiệu suất suy luận mà không cần thêm huấn luyện, chỉ bằng cách tái tổ chức các năng lực tiềm ẩn đã có trong các checkpoint của mô hình hay không.
II. Main Idea:
Bài báo giới thiệu Darwin Family, một khung làm việc cho phép kết hợp (merging) các mô hình ngôn ngữ lớn một cách tiến hóa (evolutionary merging) mà không cần huấn luyện thêm (training-free). Darwin sử dụng ba ý tưởng chính: (i) một bộ gen (genome) 14 chiều thích ứng để kiểm soát chi tiết việc kết hợp từng thành phần và khối của mô hình; (ii) cơ chế MRI-Trust Fusion, cân bằng thích ứng giữa các tín hiệu chẩn đoán từng lớp (diagnostic layer-importance signals) với tìm kiếm tiến hóa thông qua một tham số tin cậy (trust parameter) có thể học được; và (iii) một Architecture Mapper cho phép lai ghép giữa các kiến trúc mô hình khác nhau (ví dụ: Transformer và Mamba). Quá trình này hoạt động hoàn toàn trong không gian trọng số (weight space), tái tổ hợp các tham số của các mô hình cha mẹ đã được đóng băng.
III. Main Results:
Mô hình chủ lực Darwin-27B-Opus đạt 86.9% trên benchmark GPQA Diamond, xếp hạng #6 trong số 1252 mô hình được đánh giá, vượt trội hơn mô hình nền tảng được huấn luyện đầy đủ mà không cần bất kỳ huấn luyện dựa trên gradient nào. Các thí nghiệm trên nhiều quy mô (4B đến 35B tham số) cho thấy Darwin liên tục cải thiện so với các mô hình cha mẹ, hỗ trợ kết hợp đa thế hệ và lai ghép giữa các kiến trúc khác nhau (Transformer và Mamba). Các thí nghiệm cắt bỏ (ablation) xác nhận cơ chế MRI-Trust Fusion là yếu tố chính đóng góp vào sự cải thiện hiệu suất suy luận.
IV. Conclusion & Future Works:
Darwin Family chứng minh rằng kết hợp mô hình tiến hóa không cần huấn luyện là một phương pháp thực tế và có thể tái tạo để đạt được khả năng suy luận ở mức tiên tiến với chi phí tính toán thấp hơn từ ba đến sáu bậc so với huấn luyện thông thường. Hướng nghiên cứu trong tương lai bao gồm mở rộng Darwin lên quy mô 100B tham số, cải thiện cơ chế căn chỉnh giữa các mô hình nền tảng khác nhau, và kết hợp Darwin với các can thiệp trong quá trình suy luận hoặc kiểm tra (test-time/inference-time interventions).
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu mở rộng khung Darwin cho các mô hình thị giác-ngôn ngữ (Vision-Language Models) bằng cách phát triển các tín hiệu chẩn đoán dựa trên đặc trưng thị giác và ngôn ngữ để hướng dẫn quá trình kết hợp tiến hóa, nhằm cải thiện khả năng suy luận đa phương thức.
- Phát triển các bộ gen (genome) thích ứng động (dynamic adaptive genomes) có khả năng tự thay đổi cấu trúc trong quá trình tìm kiếm tiến hóa, cho phép khám phá các chiến lược kết hợp phức tạp và hiệu quả hơn cho các mô hình có kiến trúc không đồng nhất.
- Nghiên cứu khả năng kết hợp nhiều hơn hai mô hình cha mẹ (multi-parent merging) trong một lần tiến hóa duy nhất, với các cơ chế đánh giá và lựa chọn các cặp kết hợp tối ưu, nhằm tận dụng tối đa các năng lực từ nhiều nguồn khác nhau.
2. Patent:
- Phương pháp và hệ thống cải thiện khả năng suy luận của trợ lý ảo trên điện thoại thông minh bằng cách kết hợp các mô hình ngôn ngữ chuyên biệt (ví dụ: mô hình giỏi toán, mô hình giỏi viết văn) mà không cần huấn luyện lại. Hệ thống sẽ tự động phân tích câu hỏi của người dùng, xác định lĩnh vực cần suy luận, và sử dụng thuật toán tiến hóa để tìm ra cách kết hợp trọng số tối ưu từ các mô hình chuyên biệt để tạo ra câu trả lời chính xác nhất.
- Ứng dụng trên điện thoại thông minh cho phép người dùng cá nhân hóa trợ lý AI bằng cách 'lai ghép' các mô hình ngôn ngữ khác nhau. Người dùng có thể chọn hai mô hình ưa thích (ví dụ: một mô hình nhanh nhẹn, một mô hình chính xác) và ứng dụng sẽ sử dụng thuật toán Darwin để tạo ra một mô hình con kết hợp ưu điểm của cả hai, hoạt động trực tiếp trên thiết bị di động.
- Phương pháp nén mô hình ngôn ngữ lớn để chạy trên thiết bị di động bằng cách kết hợp một mô hình lớn, chính xác với một mô hình nhỏ, hiệu quả. Thuật toán tiến hóa sẽ xác định các thành phần quan trọng nhất từ mô hình lớn (ví dụ: các lớp chú ý chịu trách nhiệm suy luận) và kết hợp chúng với các thành phần tiết kiệm năng lượng từ mô hình nhỏ, tạo ra một mô hình lai có kích thước nhỏ gọn nhưng vẫn duy trì khả năng suy luận tốt.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.14386 |
| ArXiv Abstract | https://arxiv.org/abs/2605.14386 |
| PDF Download | https://arxiv.org/pdf/2605.14386.pdf |
| Github Repository | N/A |
2. PREPING: Building Agent Memory without Tasks (23 votes)
Tác giả: Yumin Choi, Sangwoo Park, Minki Kang, Jinheon Baek, Sung Ju Hwang
Xuất bản lúc: 2026-05-11
Tag: LLM Agents, Agent Memory, Procedural Memory, Synthetic Practice, Cold-Start Problem, Tool-Use, Self-Generated Tasks
I. Main Problem:
Các tác nhân LLM (Large Language Model) thường gặp vấn đề 'khởi động nguội' khi được triển khai trong một môi trường mới. Các phương pháp xây dựng bộ nhớ tác nhân hiện tại, dù là ngoại tuyến (offline) hay trực tuyến (online), đều phụ thuộc vào các tác vụ cụ thể của môi trường đó. Điều này gây ra một khoảng trống thực tế: bộ nhớ cần thiết nhất lại chưa được xây dựng khi tác nhân lần đầu tiếp xúc với môi trường mới. Việc xây dựng bộ nhớ trước tác vụ (pre-task memory construction) là một thách thức vì không có tín hiệu nào về mục tiêu của người dùng, quy trình làm việc thành công hay các tác vụ cần giải quyết.
II. Main Idea:
Bài báo giới thiệu PREPING (Pre-Task REusable Playbook MakING), một khung làm việc cho phép xây dựng bộ nhớ thủ tục (procedural memory) cho tác nhân trước khi triển khai, chỉ bằng cách tương tác tổng hợp tự sinh. PREPING có ba thành phần chính: (1) Proposer - tạo ra các tác vụ tổng hợp dựa trên trạng thái bộ nhớ đề xuất (proposer memory) để mở rộng phạm vi thực hành, (2) Solver - thực thi các tác vụ này trong môi trường, và (3) Validator - đánh giá tính khả thi và mức độ hoàn thành của từng cặp tác vụ-quỹ đạo, chỉ cho phép những cặp đủ điều kiện được đưa vào bộ nhớ solver. Cốt lõi của PREPING là sự kiểm soát có chủ đích đối với 'thực hành cái gì' (thông qua bộ nhớ đề xuất) và 'lưu trữ cái gì' (thông qua bộ lọc của Validator), từ đó tránh được các tác vụ dư thừa, không khả thi hoặc gây nhiễu cho bộ nhớ.
III. Main Results:
PREPING vượt trội hơn so với các phương pháp nền tảng không có bộ nhớ (no-memory baseline) với mức cải thiện lần lượt 17.1 điểm trên AppWorld, 19.3 điểm trên BFCL v3 và 5.4 điểm trên MCP-Universe. Kết quả này cạnh tranh được với các phương pháp mạnh dựa trên dữ liệu tác vụ thực tế, dù PREPING không sử dụng bất kỳ dữ liệu tác vụ nào từ môi trường mục tiêu. Khi kết hợp với phương pháp trực tuyến ACE (PREPING+ACE), hiệu suất được cải thiện từ 71.3 lên 76.3 trên AppWorld. PREPING cũng giảm đáng kể chi phí triển khai, thấp hơn 2.99 lần trên AppWorld và 2.23 lần trên BFCL v3 so với ACE-Online.
IV. Conclusion & Future Works:
Nghiên cứu này chứng minh rằng bộ nhớ tác nhân có thể được xây dựng một cách chủ động thông qua thực hành tổng hợp có kiểm soát trước khi triển khai, thay vì chỉ được tích lũy thụ động từ các tương tác trong quá trình triển khai. Điều này mở ra hướng nghiên cứu mới về việc chuẩn bị bộ nhớ cho tác nhân. Các hạn chế và tác động rộng hơn được thảo luận trong Phần C của bài báo.
V. Brainstorming Space:
1. Publish Papers:
- Xây dựng bộ nhớ thủ tục cho tác nhân từ các hướng dẫn bằng ngôn ngữ tự nhiên cấp cao. Nghiên cứu cách Proposer có thể sinh ra các tác vụ tổng hợp từ các mô tả mục tiêu tổng quát, ví dụ: 'quản lý tệp tin' hoặc 'phân tích tài chính', thay vì các tác vụ chi tiết, giúp tăng cường tính tổng quát và khả năng khám phá các quy trình làm việc mới.
- Sử dụng phản hồi từ người dùng cuối để tinh chỉnh bộ nhớ đề xuất. Nghiên cứu cách kết hợp phản hồi tường minh (ví dụ: 'tác vụ này không hữu ích') hoặc ngầm định (ví dụ: tác vụ bị bỏ qua) từ người dùng trong quá trình triển khai để cập nhật bộ nhớ đề xuất, từ đó cải thiện chất lượng của các tác vụ tổng hợp trong tương lai.
- Mở rộng PREPING cho các môi trường đa tác nhân. Nghiên cứu cách nhiều tác nhân có thể cộng tác để xây dựng một bộ nhớ thủ tục dùng chung. Mỗi tác nhân có thể đảm nhận vai trò Proposer, Solver hoặc Validator, giúp tăng tốc độ khám phá và xây dựng bộ nhớ cho các môi trường phức tạp.
2. Patent:
- Phương pháp và hệ thống tự động học cách sử dụng ứng dụng trên điện thoại thông minh. Hệ thống có một bộ nhớ đề xuất lưu trữ lịch sử các thao tác đã thực hiện (ví dụ: cách tạo playlist trên Spotify, cách đặt lịch hẹn trên Calendar). Dựa vào bộ nhớ này, hệ thống tự động tạo ra các tác vụ giả lập (ví dụ: 'tạo một playlist nhạc Jazz') và thực hiện chúng. Một bộ phận kiểm tra sẽ đánh giá xem tác vụ có được thực hiện thành công và hợp lệ hay không. Chỉ những quy trình thành công mới được lưu vào bộ nhớ chính để sử dụng cho người dùng, giúp điện thoại 'tự học' cách sử dụng ứng dụng mà không cần hướng dẫn từ con người.
- Thiết bị di động có khả năng tự động khám phá và ghi nhớ các tính năng mới. Thiết bị có một mô-đun đề xuất liên tục tạo ra các 'thử thách' khám phá (ví dụ: 'thử dùng tính năng chỉnh sửa ảnh nâng cao', 'thử kết nối với thiết bị Bluetooth mới'). Khi người dùng thực hiện các thao tác này, thiết bị sẽ ghi lại quy trình thành công. Một mô-đun đánh giá sẽ kiểm tra tính đúng đắn và hữu ích của quy trình đó trước khi lưu vào bộ nhớ. Điều này cho phép điện thoại thông minh tự động khám phá và ghi nhớ các tính năng mới mà không cần người dùng phải tự mày mò.
- Phương pháp giảm chi phí năng lượng và dữ liệu cho trợ lý ảo trên thiết bị di động. Thay vì phải gửi yêu cầu lên máy chủ để cập nhật bộ nhớ mỗi khi có tác vụ mới, trợ lý ảo trên điện thoại sẽ được 'huấn luyện trước' với các tác vụ tổng hợp do chính nó tạo ra. Bộ nhớ này được lưu trữ cục bộ và sẵn sàng sử dụng ngay lập tức. Nhờ đó, trợ lý ảo có thể thực hiện các tác vụ phức tạp (ví dụ: 'đặt vé xem phim và gửi lời mời cho bạn bè') mà không cần kết nối mạng liên tục, giúp tiết kiệm pin và dữ liệu di động.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.13880 |
| ArXiv Abstract | https://arxiv.org/abs/2605.13880 |
| PDF Download | https://arxiv.org/pdf/2605.13880.pdf |
| Github Repository | N/A |
3. VGGT-Edit: Feed-forward Native 3D Scene Editing with Residual Field Prediction (13 votes)
Tác giả: Kaixin Zhu, Yiwen Tang, Yifan Yang, Renrui Zhang, Bohan Zeng, Ziyu Guo, Ruichuan An, Zhou Liu, Qizhi Chen, Delin Qu, Jaehong Yoon, Wentao Zhang
Xuất bản lúc: 2026-05-14
Tag: 3D Scene Editing, Feed-forward 3D Reconstruction, Residual Field Prediction, Text-conditioned Editing, Multiview Consistency, DeltaScene Dataset, VGGT
I. Main Problem:
Các mô hình tái tạo 3D feed-forward hiện tại rất mạnh trong việc tái tạo cảnh tĩnh nhưng thiếu khả năng tương tác theo hướng dẫn của con người. Các phương pháp chỉnh sửa 3D hiện có chủ yếu dựa vào pipeline "2D-lifting", tức là chỉnh sửa từng khung hình riêng lẻ rồi nâng lên không gian 3D. Quy trình gián tiếp này thường dẫn đến kết cấu mờ, hình học không nhất quán giữa các góc nhìn và tốc độ chậm, không phù hợp cho các ứng dụng tương tác.
II. Main Idea:
Bài báo đề xuất VGGT-Edit, một framework feed-forward cho phép chỉnh sửa cảnh 3D gốc dựa trên hướng dẫn văn bản. Thay vì học lại toàn bộ cảnh, VGGT-Edit dựa trên một backbone tái tạo được đóng băng và sử dụng cơ chế dự đoán trường dư (residual field prediction) để chỉ học các biến dạng hình học cục bộ. Các thành phần kỹ thuật chính bao gồm: (1) Cơ chế tiêm văn bản đồng bộ độ sâu (depth-synchronized text injection) giúp căn chỉnh hướng dẫn ngữ nghĩa với các đặc trưng không gian; (2) Cơ chế gán trọng số quan trọng theo góc nhìn (view-aware weighting) để ưu tiên các góc nhìn rõ ràng; (3) Head biến đổi dư (residual transformation head) dự đoán trường dịch chuyển 3D để biến dạng cảnh; và (4) Hàm mục tiêu đa thành phần để đảm bảo độ chính xác hình học và tính nhất quán đa góc nhìn. Bài báo cũng xây dựng bộ dữ liệu DeltaScene với khoảng 100,000 cặp dữ liệu chỉnh sửa 3D chất lượng cao.
III. Main Results:
VGGT-Edit vượt trội so với các baseline 2D-lifting trên bộ kiểm tra DeltaScene: đạt CLIP Score 30.2 (cao hơn 1.3 điểm so với phương pháp tốt nhất), C-FID thấp kỷ lục 122.4, và giảm thời gian chỉnh sửa mỗi cảnh xuống còn khoảng 5 giây (nhanh hơn 2 đến 120 lần so với các phương pháp hiện tại).
IV. Conclusion & Future Works:
VGGT-Edit là một framework feed-forward hiệu quả cho chỉnh sửa cảnh 3D gốc, loại bỏ sự không nhất quán đa góc nhìn và độ trễ cao của các phương pháp 2D-lifting. Hướng phát triển trong tương lai có thể bao gồm mở rộng cho các loại chỉnh sửa phức tạp hơn, cải thiện khả năng xử lý cảnh ngoài trời, và tích hợp với các hệ thống tương tác thời gian thực như robot và thực tế ảo.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu cơ chế chỉnh sửa 3D gốc dựa trên hướng dẫn bằng cử chỉ hoặc điểm ảnh, kết hợp với mô hình ngôn ngữ lớn để hiểu ý định người dùng một cách trực quan hơn.
- Phát triển phương pháp học tăng cường cho chỉnh sửa 3D, cho phép mô hình tự động tối ưu hóa các biến dạng hình học dựa trên phản hồi của người dùng.
- Xây dựng bộ dữ liệu chỉnh sửa 3D quy mô lớn hơn cho các cảnh ngoài trời và các thao tác phức tạp như thay đổi kết cấu, ánh sáng, hoặc thêm vật thể mới với phong cách tùy chỉnh.
2. Patent:
- Phương pháp và hệ thống chỉnh sửa ảnh 3D trên điện thoại thông minh dựa trên trường dư: Một ứng dụng cho phép người dùng chụp ảnh một căn phòng từ nhiều góc độ, sau đó sử dụng hướng dẫn bằng văn bản (ví dụ: "di chuyển ghế ra xa bàn") để chỉnh sửa cảnh 3D. Hệ thống sẽ tự động dự đoán và áp dụng các thay đổi hình học một cách nhất quán, cho phép người dùng xem trước kết quả từ mọi góc nhìn trước khi lưu lại.
- Thiết bị di động có khả năng chỉnh sửa thực tế ảo tăng cường theo thời gian thực: Một hệ thống trên kính thông minh hoặc điện thoại cho phép người dùng ra lệnh bằng giọng nói để thêm, xóa hoặc di chuyển đồ vật trong môi trường thực tế ảo. Hệ thống sử dụng mô hình dự đoán trường dư để đảm bảo các thay đổi được thực hiện mượt mà và nhất quán với không gian 3D xung quanh.
- Phương pháp tối ưu hóa năng lượng cho chỉnh sửa 3D trên thiết bị di động: Một kỹ thuật giúp giảm thiểu chi phí tính toán của mô hình feed-forward bằng cách chỉ cập nhật các vùng thay đổi trong cảnh 3D, thay vì xử lý toàn bộ khung hình. Điều này giúp kéo dài thời lượng pin và cho phép chỉnh sửa 3D thời gian thực ngay cả trên các thiết bị di động có cấu hình thấp.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.15186 |
| ArXiv Abstract | https://arxiv.org/abs/2605.15186 |
| PDF Download | https://arxiv.org/pdf/2605.15186.pdf |
| Github Repository | N/A |
4. ViMU: Benchmarking Video Metaphorical Understanding (10 votes)
Tác giả: Qi Li, Xinchao Wang
Xuất bản lúc: 2026-05-14
Tag: Video Understanding, VideoQA, Subtext Understanding, Metaphorical Reasoning, MLLM, Benchmark, Rhetoric, Social Signal
I. Main Problem:
Các mô hình hiểu video hiện tại chủ yếu tập trung vào nội dung bề mặt (nhận diện vật thể, hành động, quan hệ thời gian) mà thiếu khả năng hiểu ẩn ý, tầng nghĩa xã hội, văn hóa, hoặc các biện pháp tu từ (mỉa mai, châm biếm, cường điệu) được truyền tải qua video. Các benchmark hiện có không đánh giá được khả năng suy luận ngầm này một cách có hệ thống và không có gợi ý (hint-free).
II. Main Idea:
Bài báo giới thiệu ViMU (Video Metaphorical Understanding), benchmark đầu tiên được thiết kế để đánh giá một cách có hệ thống khả năng hiểu tầng nghĩa ngầm (subtext) của các mô hình video tiên tiến. ViMU bao gồm 588 video và 2352 câu hỏi, trải dài trên bốn nhiệm vụ: Giải thích mở (Open-ended Interpretation), Xác định cơ chế tu từ (Rhetoric Mechanism Identification), Xác định tín hiệu giá trị xã hội (Social Value Signal Identification), và Xác định bằng chứng đa phương thức (Evidence Grounding). Tất cả các câu hỏi đều được thiết kế không có gợi ý (hint-free) và yêu cầu mô hình phải suy luận từ nhiều nguồn bằng chứng (khung hình, văn bản, âm thanh, cách dựng phim) để hiểu đúng ý đồ của người tạo video.
III. Main Results:
Các thí nghiệm trên 16 mô hình MLLM (bao gồm cả mã nguồn đóng và mở) cho thấy: (1) Ngay cả các mô hình tốt nhất cũng chỉ đạt dưới 50% điểm trung bình trên cả bốn nhiệm vụ. (2) Các mô hình có xu hướng dự đoán quá mức các danh mục an toàn (ví dụ: 'Trực tiếp/Nghĩa đen') và dự đoán thiếu các danh mục ngầm hơn (ví dụ: 'Khung ngầm/Khung xã hội có mã hóa'). (3) Có sự khác biệt rõ rệt giữa hiệu suất hiểu video thông thường và hiểu video ẩn dụ: một mô hình giỏi việc này chưa chắc đã giỏi việc kia. (4) Các lỗi về gắn kết bằng chứng chủ yếu đến từ việc không truy xuất đủ bằng chứng chứ không phải là 'ảo giác' thêm bằng chứng.
IV. Conclusion & Future Works:
ViMU là một benchmark quan trọng để phơi bày những hạn chế cố hữu của các hệ thống hiểu video hiện tại trong việc nắm bắt ý nghĩa ngầm, văn hóa và xã hội. Kết quả cho thấy, để tiến tới khả năng hiểu giống con người, các mô hình cần phải mô hình hóa không chỉ những gì được hiển thị mà còn cả những gì được ngụ ý. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc cải thiện khả năng suy luận ngữ cảnh văn hóa, tích hợp đa phương thức tốt hơn, và phát triển các phương pháp học tập để hiểu các tín hiệu xã hội tinh tế.
V. Brainstorming Space:
1. Publish Papers:
- Phát triển một mô hình video-language mới tập trung vào suy luận ẩn dụ và tầng nghĩa xã hội (Social Subtext Reasoning). Mô hình này sẽ tích hợp một module riêng để phân tích các biện pháp tu từ (như mỉa mai, cường điệu) và tín hiệu xã hội (như khinh miệt, vi phạm chuẩn mực) dựa trên bằng chứng đa phương thức, vượt xa khả năng hiểu nội dung bề mặt.
- Nghiên cứu về 'hint engineering' cho VideoQA ẩn dụ. Thay vì loại bỏ hoàn toàn gợi ý, nghiên cứu này sẽ khám phá việc cung cấp các gợi ý có cấu trúc (ví dụ: 'hãy chú ý đến giọng điệu âm thanh') có thể cải thiện hiệu suất của mô hình đến mức nào, từ đó xác định ranh giới giữa suy luận tự nhiên và suy luận có hướng dẫn.
- Xây dựng một bộ dữ liệu (dataset) mới cho video ẩn dụ đa văn hóa (Cross-cultural Video Metaphor). Mở rộng ViMU bằng cách thu thập video từ nhiều nền văn hóa khác nhau (Đông Á, Nam Á, Mỹ Latinh) để đánh giá và cải thiện khả năng hiểu các tầng nghĩa văn hóa đặc thù của các mô hình.
2. Patent:
- Phương pháp và hệ thống phân tích nội dung video trên thiết bị di động để phát hiện ngôn từ kích động thù địch hoặc thông tin sai lệch dưới dạng ẩn dụ. Hệ thống sử dụng mô hình trí tuệ nhân tạo để phân tích khung hình, âm thanh và văn bản hiển thị trên màn hình, xác định các biện pháp tu từ như châm biếm, mỉa mai hoặc cường điệu hóa nhằm lan truyền thông tin sai lệch hoặc gây hấn. Kết quả được hiển thị dưới dạng cảnh báo cho người dùng, giúp họ có cái nhìn thận trọng hơn về nội dung đang xem.
- Hệ thống gợi ý nội dung giải trí trên điện thoại thông minh dựa trên khả năng hiểu ẩn dụ và sắc thái xã hội của video. Hệ thống không chỉ phân tích thể loại hay nội dung bề mặt, mà còn đánh giá 'tầng nghĩa ngầm' và 'sắc thái xã hội' (ví dụ: video mang tính châm biếm, phê phán xã hội, hay hài hước đen tối). Dựa trên hồ sơ người dùng về sở thích các loại ẩn dụ và sắc thái này, hệ thống sẽ đề xuất các video phù hợp, mang lại trải nghiệm cá nhân hóa sâu sắc hơn.
- Phương pháp tạo phụ đề thông minh cho video trên thiết bị di động, có khả năng giải thích ẩn ý và bối cảnh văn hóa cho người dùng khiếm thính hoặc người nước ngoài. Khi phát hiện một video có chứa ẩn dụ hoặc tín hiệu xã hội phức tạp (ví dụ: một câu chuyện cười dựa trên một sự kiện văn hóa đại chúng), hệ thống sẽ tự động tạo ra một chú thích ngắn gọn, dễ hiểu bên cạnh phụ đề thông thường, giải thích ý nghĩa thực sự của đoạn video đó.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.14607 |
| ArXiv Abstract | https://arxiv.org/abs/2605.14607 |
| PDF Download | https://arxiv.org/pdf/2605.14607.pdf |
| Github Repository | https://github.com/LiQiiiii/Video-Metaphorical-Understanding |
5. Orchard: An Open-Source Agentic Modeling Framework (10 votes)
Tác giả: Baolin Peng, Wenlin Yao, Qianhui Wu, Hao Cheng, Xiao Yu, Rui Yang, Tao Ge, Alessandrio Sordoni, Xingdi Yuan, Yelong Shen, Pengcheng He, Tong Zhang, Zhou Yu, Jianfeng Gao
Xuất bản lúc: 2026-05-14
Tag: LLM Agents, Reinforcement Learning, Supervised Fine-Tuning, Kubernetes, Software Engineering, GUI Agents, Open-Source
I. Main Problem:
Các hệ thống agent hiện nay thường phụ thuộc vào mã nguồn đóng, hạ tầng độc quyền và khó tái sử dụng dữ liệu huấn luyện qua các miền khác nhau. Việc thiếu một tầng môi trường mở, chuẩn hóa khiến cho việc nghiên cứu và tái tạo kết quả gặp nhiều khó khăn, đặc biệt là khi huấn luyện agent với quy mô lớn.
II. Main Idea:
Tác giả giới thiệu Orchard, một framework mã nguồn mở tập trung vào tầng môi trường mỏng, độc lập, có thể tái sử dụng qua nhiều miền tác vụ (software engineering, GUI, personal assistant), nhiều agent harness khác nhau và nhiều giai đoạn huấn luyện (distillation, RL, evaluation). Core của Orchard là Orchard Env, một dịch vụ Kubernetes-native cung cấp các API cơ bản để quản lý vòng đời sandbox, thực thi lệnh, I/O file,... giúp tách biệt hoàn toàn tầng môi trường khỏi agent harness và training stack. Trên nền tảng này, tác giả xây dựng ba công thức huấn luyện: Orchard-SWE (software engineering), Orchard-GUI (GUI navigation) và Orchard-Claw (personal assistant).
III. Main Results:
Orchard-SWE (30B) đạt 67.5% trên SWE-bench Verified, là state-of-the-art cho các mô hình mã nguồn mở cùng kích thước. Orchard-GUI (4B) đạt trung bình 68.4% trên ba benchmark WebVoyager, Online-Mind2Web và DeepShop, vượt qua tất cả các mô hình mã nguồn mở khác và cạnh tranh với các hệ thống đóng như OpenAI, Google Gemini. Orchard-Claw (30B) đạt 59.6% pass@3 trên Claw-Eval và tăng lên 73.9% khi dùng harness ZeroClaw mạnh hơn. Orchard Env đạt độ trễ thực thi trung bình 0.28s, chi phí thấp hơn 2-10 lần so với các dịch vụ quản lý sandbox khác.
IV. Conclusion & Future Works:
Orchard chứng minh rằng một tầng môi trường mỏng, mở và độc lập với agent harness là nền tảng quyết định khả năng tái sử dụng dữ liệu, công thức huấn luyện và giao thức đánh giá agent. Framework này giúp nghiên cứu agentic modeling trở nên hiệu quả, tái tạo được và tiết kiệm chi phí. Hướng phát triển tương lai có thể mở rộng Orchard sang các miền mới (ví dụ: robotics, game), cải thiện cơ chế credit-assignment, và tối ưu hóa hơn nữa chi phí huấn luyện RL.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Orchard Env để hỗ trợ các môi trường tương tác đa phương thức (ví dụ: âm thanh, video) và nghiên cứu cách tầng môi trường mỏng ảnh hưởng đến hiệu suất agent trong các tác vụ phức tạp, nhiều bước.
- Nghiên cứu sâu hơn về cơ chế credit-assignment SFT cho các trajectory không hoàn chỉnh, đặc biệt là trong các miền có phần thưởng thưa thớt như software engineering, và so sánh với các phương pháp RL khác.
- Phân tích ảnh hưởng của việc lựa chọn agent harness (ví dụ: OpenHands vs mini-swe-agent) đến chất lượng trajectory và hiệu quả huấn luyện, từ đó đề xuất một harness tối ưu cho từng loại tác vụ.
2. Patent:
- Phương pháp và hệ thống huấn luyện agent trên thiết bị di động sử dụng môi trường sandbox nhẹ, cho phép người dùng tự động hóa các tác vụ như đặt lịch hẹn, gửi email, hoặc tìm kiếm thông tin qua giao diện giọng nói, dựa trên việc tái sử dụng các trajectory đã được huấn luyện từ máy chủ.
- Ứng dụng Orchard Env để tạo ra một trợ lý ảo trên điện thoại có khả năng học từ các thao tác của người dùng (ví dụ: cách sử dụng một ứng dụng mới) thông qua cơ chế credit-assignment, giúp trợ lý tự động đề xuất và thực hiện các bước tiếp theo một cách thông minh.
- Hệ thống tối ưu chi phí huấn luyện agent trên đám mây cho ứng dụng di động, sử dụng cơ chế tự động điều chỉnh tài nguyên (autoscaling) và máy chủ spot instance dựa trên nhu cầu thực tế, giúp giảm chi phí vận hành các dịch vụ AI trên điện thoại.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.15040 |
| ArXiv Abstract | https://arxiv.org/abs/2605.15040 |
| PDF Download | https://arxiv.org/pdf/2605.15040.pdf |
| Github Repository | https://github.com/microsoft/Orchard |
6. Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling (129 votes)
Tác giả: Yafu Li, Runzhe Zhan, Haoran Zhang, Shunkai Zhang, Yizhuo Li, Zhilin Wang, Jiacheng Chen, Futing Wang, Xuyang Hu, Yuchen Fan, Bangjie Xu, Yucheng Su, Xinmiao Han, Chenxi Li, Haodi Lei, Yufeng Zhao, Zejin Lin, Qianjia Cheng, Tong Zhu, Xiaoye Qu, Ganqu Cui, Peng Ye, Yun Luo, Zhouchen Lin, Yu Qiao, Bowen Zhou, Ning Ding, Yu Cheng
Xuất bản lúc: 2026-05-13
Tag: RLVR, GSPO, SFT, Test-Time Scaling, Olympiad Reasoning, Math Reasoning, Scientific Reasoning
I. Main Problem:
Các mô hình ngôn ngữ lớn hiện tại dù đã có khả năng suy luận mạnh mẽ nhưng vẫn chưa đạt đến trình độ huy chương vàng trong các kỳ thi Olympic Toán và Vật lý. Việc xây dựng một hệ thống suy luận chuyên biệt, có thể giải quyết các bài toán chứng minh phức tạp và chuyển giao hiệu quả sang các lĩnh vực khoa học khác nhau đòi hỏi một quy trình huấn luyện thống nhất, đơn giản nhưng hiệu quả.
II. Main Idea:
Bài báo giới thiệu một quy trình huấn luyện thống nhất và đơn giản gồm ba giai đoạn để chuyển đổi một mô hình suy luận có sẵn thành một bộ giải toán Olympic trình độ cao: (1) SFT với chương trình giảng dạy theo độ perplexity ngược (Reverse-Perplexity Curriculum): Dữ liệu được sắp xếp từ khó đến dễ để dần thích ứng với các mẫu chứng minh mới. (2) RL hai cấp độ: RL thô (Coarse RL) sử dụng phần thưởng xác minh được để cải thiện khả năng tìm kiếm lời giải; RL tinh chỉnh (Refined RL) sử dụng phần thưởng dựa trên chất lượng chứng minh, kết hợp với cơ chế tự sửa lỗi (self-refinement) và hồi tưởng trải nghiệm (experience replay). (3) Mở rộng quy mô suy luận tại thời điểm kiểm tra (Test-time Scaling - TTS): Áp dụng vòng lặp tự kiểm tra và sửa lỗi để cải thiện chất lượng chứng minh cho các bài toán khó nhất.
III. Main Results:
Mô hình SU-01 (30B-A3B) đạt được kết quả xuất sắc: (1) Trên các bài toán kiểm chứng được, SU-01 gần như đạt điểm trung bình cao nhất so với các mô hình cùng kích thước (77.3%). (2) Trên các bài toán chứng minh (IMO-ProofBench), SU-01 đạt 57.6% khi sinh trực tiếp và 70.2% khi áp dụng TTS, vượt trội so với các mô hình cùng kích thước và tiệm cận các hệ thống thương mại hàng đầu. (3) Trên các kỳ thi Olympic chính thức, SU-01 vượt qua mức điểm huy chương vàng của IPhO 2024/2025. Với TTS, SU-01 đạt 35 điểm trên cả IMO 2025 và USAMO 2026, đạt huy chương vàng IMO và vượt huy chương vàng USAMO 10 điểm, ngang với điểm số cao nhất của thí sinh người.
IV. Conclusion & Future Works:
Kết quả cho thấy một quy trình huấn luyện đơn giản, thống nhất có thể biến một mô hình suy luận đa năng thành một chuyên gia Olympic, đồng thời vẫn duy trì khả năng chuyển giao sang các lĩnh vực khoa học khác. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng quy trình này sang các lĩnh vực khoa học khác như hóa học và sinh học, cải thiện khả năng suy luận trên các bài toán có cấu trúc phức tạp (ví dụ: IMO P6, USAMO P2) và nghiên cứu các phương pháp mở rộng quy mô suy luận tại thời điểm kiểm tra hiệu quả hơn.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu về chương trình giảng dạy theo độ perplexity ngược cho các mô hình suy luận chuyên biệt hóa: Phân tích sâu hơn về tác động của việc sắp xếp dữ liệu từ khó đến dễ so với các chiến lược khác (ví dụ: từ dễ đến khó, ngẫu nhiên) trong việc hình thành hành vi suy luận chặt chẽ cho các mô hình đã được huấn luyện trước.
- Mở rộng quy trình huấn luyện thống nhất sang lĩnh vực suy luận khoa học khác: Áp dụng quy trình SFT + RL hai cấp độ + TTS cho các bài toán yêu cầu suy luận thực nghiệm, thiết kế thí nghiệm, hoặc phân tích dữ liệu trong các lĩnh vực như sinh học, hóa học, hoặc khoa học vật liệu.
- Cải thiện khả năng suy luận trên các bài toán có cấu trúc yếu (ill-structured problems): Phát triển các cơ chế mới để mô hình có thể nhận biết và xử lý các ràng buộc tinh tế, tránh các lỗi như giảm thiểu cấu trúc không hợp lệ hoặc bỏ sót các bất biến quan trọng trong các bài toán tổ hợp hoặc số học phức tạp.
2. Patent:
- Phương pháp hỗ trợ giải bài tập khoa học trên điện thoại thông minh: Một ứng dụng di động cho phép người dùng nhập bài toán (bằng văn bản hoặc hình ảnh) và nhận được lời giải chi tiết theo từng bước. Hệ thống sử dụng quy trình SFT và RL để huấn luyện mô hình, sau đó áp dụng vòng lặp tự kiểm tra và sửa lỗi để đảm bảo lời giải là chính xác và chặt chẽ, khắc phục tình trạng lời giải sai hoặc thiếu căn cứ ở các ứng dụng hiện tại.
- Hệ thống tự động kiểm tra và phản hồi cho bài tập viết luận hoặc chứng minh khoa học: Một công cụ trên nền tảng đám mây hoặc ứng dụng di động dành cho giáo viên và sinh viên. Hệ thống nhận đầu vào là một bài luận hoặc chứng minh của sinh viên, sau đó sử dụng mô hình được huấn luyện với kỹ thuật RL tinh chỉnh (Refined RL) để đánh giá chất lượng lập luận, xác định các lỗ hổng logic, và đưa ra phản hồi chi tiết để người dùng cải thiện bài làm.
- Phương pháp tìm kiếm và tổng hợp thông tin chính xác cho các câu hỏi phức tạp trên thiết bị di động: Một trợ lý ảo trên điện thoại thông minh có khả năng trả lời các câu hỏi khoa học phức tạp. Thay vì chỉ trích xuất thông tin từ web, hệ thống sử dụng quy trình mở rộng suy luận tại thời điểm kiểm tra (TTS) để tự sinh ra lời giải thích, kiểm tra chéo với nhiều nguồn khác nhau và sửa lỗi, đảm bảo câu trả lời cuối cùng là chính xác và đầy đủ, đồng thời tối ưu hóa thời gian xử lý và tài nguyên trên thiết bị di động.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.13301 |
| ArXiv Abstract | https://arxiv.org/abs/2605.13301 |
| PDF Download | https://arxiv.org/pdf/2605.13301.pdf |
| Github Repository | https://github.com/Simplified-Reasoning/SU-01 |
7. Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation (76 votes)
Tác giả: Min Zhao, Hongzhou Zhu, Kaiwen Zheng, Zihan Zhou, Bokai Yan, Xinyuan Li, Xiao Yang, Chongxuan Li, Jun Zhu
Xuất bản lúc: 2026-05-14
Tag: Diffusion, Distillation, Autoregressive, Video Generation, Consistency Distillation, Real-Time, World Model
I. Main Problem:
Các mô hình sinh video hiện tại dùng phương pháp khuếch tán tự hồi quy (AR diffusion) có độ trễ cao, chưa đạt được tương tác thời gian thực do phải sinh từng khung hình lớn với nhiều bước lấy mẫu (thường 4 bước cho mỗi khối). Việc giảm xuống còn 1-2 bước cho mỗi khung hình gặp khó khăn vì các phương pháp khởi tạo sinh viên (student initialization) hiện tại không đáp ứng được: hoặc sai mục tiêu học (do dùng giáo viên hai chiều), hoặc không có khả năng sinh ít bước, hoặc quá tốn kém về tính toán và lưu trữ.
II. Main Idea:
Tác giả đề xuất Causal Forcing++, một quy trình huấn luyện mới có khả năng mở rộng, dùng phương pháp chưng cất nhất quán nhân quả (causal consistency distillation - causal CD) để khởi tạo sinh viên AR ít bước. Causal CD học cùng một ánh xạ luồng (flow map) có điều kiện AR như chưng cất ODE nhân quả, nhưng chỉ cần một bước ODE trực tuyến giữa các bước thời gian liền kề trên dữ liệu thực, thay vì phải sinh toàn bộ quỹ đạo PF-ODE nhiều bước và lưu trữ ngoại tuyến. Điều này giúp quá trình khởi tạo vừa hiệu quả hơn (giảm chi phí huấn luyện gấp 4 lần, không cần lưu trữ thêm), vừa tối ưu dễ hơn nhờ khoảng cách tối ưu hóa nhỏ hơn, từ đó tạo ra sinh viên AR mạnh hơn.
III. Main Results:
Causal Forcing++ với chế độ 2 bước cho mỗi khung hình vượt qua phương pháp SOTA trước đó (Causal Forcing 4 bước theo khối) trên các chỉ số: VBench Total (84.14 so với 84.04), VBench Quality (84.89 so với 84.59), VisionReward (6.661 so với 6.326). Đồng thời, giảm 50% độ trễ khung hình đầu tiên và giảm chi phí huấn luyện Giai đoạn 2 khoảng 4 lần. Phương pháp này cũng mở rộng được sang sinh world model có điều kiện hành động (action-conditioned world model) theo phong cách Genie3.
IV. Conclusion & Future Works:
Causal Forcing++ là một quy trình chưng cất AR hiệu quả và có khả năng mở rộng, cho phép sinh video tương tác thời gian thực với độ trễ thấp và chất lượng cao. Hướng phát triển trong tương lai bao gồm: (1) Mở rộng sang các biến thể có điều kiện hành động để đạt được tương tác hoàn toàn thời gian thực (frame-wise 2-step); (2) Áp dụng cho các mô hình nền tảng video lớn hơn; (3) Nghiên cứu thêm các phương pháp khởi tạo khác như chưng cất điểm số (score distillation) nhưng cần khắc phục vấn đề thiên lệch phơi nhiễm (exposure bias).
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu chưng cất nhất quán cho mô hình sinh video có điều kiện hành động thời gian thực trên thiết bị di động: Phát triển một phiên bản tối ưu của Causal Forcing++ dành riêng cho điện thoại, nơi tài nguyên tính toán hạn chế. Tập trung vào việc giảm số bước lấy mẫu xuống còn 1 bước và tối ưu hóa kiến trúc mô hình để chạy mượt mà trên GPU điện thoại, cho phép sinh video theo hướng dẫn của người dùng (ví dụ: điều khiển camera) với độ trễ dưới 100ms.
- Chưng cất bất đối xứng kết hợp với Consistency Distillation cho mô hình ngôn ngữ-thị giác đa phương thức: Mở rộng ý tưởng Causal Forcing++ sang lĩnh vực mô hình ngôn ngữ lớn đa phương thức. Sử dụng causal CD để khởi tạo một mô hình sinh viên AR có khả năng sinh văn bản và hình ảnh xen kẽ nhau với số bước cực thấp, từ đó xây dựng các chatbot có khả năng phản hồi trực quan theo thời gian thực.
- Phân tích lý thuyết về sự khác biệt giữa chưng cất nhất quán và chưng cất điểm số trong mô hình tự hồi quy: Bài báo lý thuyết đi sâu phân tích tại sao chưng cất điểm số (DMD) lại bị thiên lệch phơi nhiễm nặng trong khi chưng cất nhất quán lại tốt hơn trong bối cảnh AR. Đưa ra các điều kiện và giới hạn cho việc sử dụng DMD trong AR, và đề xuất các biến thể cải tiến để khắc phục nhược điểm này.
2. Patent:
- Phương pháp cập nhật hình nền động trên điện thoại dựa trên thế giới ảo tương tác: Hệ thống cho phép người dùng tạo hình nền động (live wallpaper) có thể tương tác. Người dùng chạm hoặc nghiêng điện thoại, hệ thống sẽ dùng mô hình sinh video AR 1-2 bước (dựa trên Causal Forcing++) để thay đổi cảnh vật, góc nhìn hoặc thêm hiệu ứng (ví dụ: khi nghiêng điện thoại, cảnh rừng cây sẽ dịch chuyển theo). Quá trình sinh diễn ra gần như tức thời, mang lại trải nghiệm mượt mà.
- Ứng dụng trợ lý ảo sinh video mô tả hành động cho người dùng khiếm thị: Một ứng dụng trên điện thoại cho phép người dùng khiếm thị mô tả bằng giọng nói một hành động muốn thực hiện (ví dụ: "rót nước vào cốc"). Hệ thống sẽ sinh ra một video ngắn, mượt mà mô tả chính xác hành động đó. Mô hình sinh video AR ít bước giúp video được tạo ra nhanh chóng, hỗ trợ người dùng hình dung trước khi thực hiện.
- Phương pháp nâng cấp ảnh động GIF lên video độ phân giải cao, mượt mà trên điện thoại: Người dùng chọn một ảnh GIF có sẵn hoặc ảnh chụp liên tiếp (burst photo). Hệ thống sẽ sử dụng Causal Forcing++ để sinh thêm các khung hình trung gian và nâng cao độ phân giải, biến GIF thành một video ngắn chất lượng cao, mượt mà. Tính năng 'sinh ít bước' cho phép quá trình xử lý diễn ra ngay trên điện thoại mà không cần gửi dữ liệu lên đám mây.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.15141 |
| ArXiv Abstract | https://arxiv.org/abs/2605.15141 |
| PDF Download | https://arxiv.org/pdf/2605.15141.pdf |
| Github Repository | N/A |
8. Self-Distilled Agentic Reinforcement Learning (67 votes)
Tác giả: Zhengxi Lu, Zhiyuan Yao, Zhuowen Han, Zi-Han Wang, Jinyang Wu, Qi Gu, Xunliang Cai, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen
Xuất bản lúc: 2026-05-14
Tag: Reinforcement Learning, Self-Distillation, LLM Agents, Multi-turn Interaction, Token-Level Gating, GRPO
I. Main Problem:
Học tăng cường (RL) cung cấp tín hiệu thưởng ở cấp độ chuỗi hành động, quá thô cho các tương tác nhiều bước. Phương pháp tự chưng cất trên chính sách hiện tại (OPSD) bổ sung hướng dẫn chi tiết ở cấp độ token nhưng không ổn định khi áp dụng cho tác vụ nhiều lượt do lỗi tích lũy và tín hiệu từ giáo viên đặc quyền không đáng tin cậy, đặc biệt khi kỹ năng truy xuất không hoàn hảo.
II. Main Idea:
SDAR (Self-Distilled Agentic Reinforcement Learning) kết hợp RL làm nền tảng chính với OPSD như một mục tiêu phụ có kiểm soát. Một cơ chế gating mới ở cấp độ token, sử dụng sigmoid dựa trên khoảng cách log-xác suất giữa giáo viên và học sinh, giúp tăng cường chưng cất trên các token được giáo viên ủng hộ (positive-gap) và giảm nhẹ ảnh hưởng của các tín hiệu tiêu cực (negative-gap) từ giáo viên. Điều này tạo ra một chương trình học tự điều chỉnh, ổn định và linh hoạt.
III. Main Results:
SDAR cải thiện đáng kể so với GRPO trên cả ba bộ dữ liệu: +9.4% trên ALFWorld, +7.0% trên Search-QA, và +10.2% trên WebShop-Acc cho mô hình 7B. Phương pháp này hoàn toàn tránh được sự mất ổn định của GRPO+OPSD thông thường và vượt trội hơn các phương pháp kết hợp RL-OPSD khác như Skill-SD và RLSD trên mọi quy mô mô hình (Qwen2.5-3B, 7B và Qwen3-1.7B).
IV. Conclusion & Future Works:
SDAR chứng minh rằng việc sử dụng một cơ chế gating mượt mà, tự thích ứng ở cấp độ token có thể dung hòa RL và OPSD, biến OPSD thành một công cụ hỗ trợ hiệu quả cho RL trong huấn luyện tác tử đa lượt. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng cơ chế gating cho các loại tín hiệu đặc quyền khác ngoài kỹ năng, hoặc áp dụng cho các hệ thống tác tử phức tạp hơn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng cơ chế Gating cho các loại tín hiệu đặc quyền khác: Nghiên cứu việc sử dụng các loại thông tin đặc quyền khác nhau (ví dụ: kiến thức nền tảng, hướng dẫn từng bước) làm tín hiệu cho giáo viên và thiết kế các cơ chế gating phù hợp cho từng loại.
- Áp dụng SDAR cho các tác tử trong môi trường đồ họa (GUI Agent): Đánh giá hiệu quả của SDAR trên các tác tử tương tác với giao diện người dùng đồ họa, nơi không gian hành động phức tạp hơn và yêu cầu hiểu ngữ cảnh thị giác.
- Kết hợp SDAR với các phương pháp curriculum learning khác: Nghiên cứu việc kết hợp cơ chế gating động của SDAR với các lịch trình học có cấu trúc (ví dụ: theo độ khó của nhiệm vụ) để tạo ra một quy trình huấn luyện toàn diện và hiệu quả hơn.
2. Patent:
- Phương pháp và hệ thống tối ưu hóa trợ lý ảo trên điện thoại thông qua học tăng cường tự chưng cất có kiểm soát: Phát minh này mô tả một hệ thống trên điện thoại di động, nơi trợ lý ảo (chatbot) được huấn luyện để thực hiện các tác vụ nhiều bước. Hệ thống sử dụng một cơ chế 'cổng chọn lọc' để quyết định nên học hỏi từ lời khuyên của một 'giáo viên' nội bộ (mô hình có thêm thông tin) vào lúc nào và ở mức độ nào, giúp trợ lý ảo học các hành vi phức tạp một cách ổn định và hiệu quả hơn, ngay cả khi lời khuyên của giáo viên đôi khi không chính xác.
- Ứng dụng điều khiển thiết bị thông minh trong nhà bằng giọng nói sử dụng học tăng cường có chưng cất kiến thức thích ứng: Phát minh này mô tả một ứng dụng trên điện thoại giúp người dùng ra lệnh bằng giọng nói để điều khiển các thiết bị trong nhà. Ứng dụng này sử dụng một mô hình AI được huấn luyện bằng phương pháp kết hợp giữa học từ phần thưởng (làm đúng việc) và học từ một 'người hướng dẫn' ảo. 'Người hướng dẫn' này có thể đưa ra các gợi ý chi tiết về từng bước, nhưng hệ thống chỉ học theo khi những gợi ý đó thực sự hữu ích, giúp ứng dụng hoạt động chính xác và ổn định hơn trong các tình huống phức tạp, nhiều bước.
- Hệ thống gợi ý và hỗ trợ mua sắm trực tuyến thông minh trên thiết bị di động dựa trên học tăng cường tự chưng cất: Phát minh này mô tả một ứng dụng mua sắm trên điện thoại có thể đề xuất sản phẩm và hỗ trợ người dùng tìm kiếm. Ứng dụng sử dụng một tác tử AI có khả năng suy luận nhiều bước (ví dụ: tìm kiếm, so sánh, lọc). Tác tử này được huấn luyện bằng cách kết hợp học từ kết quả cuối cùng (người dùng có mua hàng không) và học từ một mô hình 'giáo viên' có sẵn các 'kỹ năng' mua sắm (ví dụ: cách tìm kiếm sản phẩm giá rẻ). Cơ chế 'cổng thông minh' giúp tác tử chỉ học các 'kỹ năng' tốt và bỏ qua các thông tin gây nhiễu, giúp quá trình mua sắm hiệu quả hơn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.15155 |
| ArXiv Abstract | https://arxiv.org/abs/2605.15155 |
| PDF Download | https://arxiv.org/pdf/2605.15155.pdf |
| Github Repository | https://github.com/ZJU-REAL/SDAR |
9. MemLens: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models (62 votes)
Tác giả: Xiyu Ren, Zhaowei Wang, Yiming Du, Zhongwei Xie, Chi Liu, Xinlin Yang, Haoyue Feng, Wenjun Pan, Tianshi Zheng, Baixuan Xu, Zhengnan Li, Yangqiu Song, Ginny Wong, Simon See
Xuất bản lúc: 2026-05-14
Tag: LVLMs, Long-Context LVLMs, Memory-Augmented Agents, Multimodal Memory, Conversational AI, Benchmark
I. Main Problem:
Các mô hình LVLM hiện tại gặp khó khăn trong việc duy trì bộ nhớ dài hạn khi xử lý các cuộc hội thoại đa phương thức kéo dài qua nhiều phiên. Hai hướng tiếp cận chính là LVLM ngữ cảnh dài và tác tử tăng cường bộ nhớ đều có những hạn chế riêng, nhưng chưa có benchmark nào thực hiện so sánh có kiểm soát độ dài giữa chúng trên các câu hỏi thực sự yêu cầu bằng chứng hình ảnh. Các benchmark hiện có thường chỉ tập trung vào văn bản hoặc cho phép trả lời câu hỏi mà không cần nhìn vào hình ảnh.
II. Main Idea:
Bài báo giới thiệu MEMLENS, một benchmark toàn diện để đánh giá bộ nhớ dài hạn đa phương thức trong các cuộc hội thoại nhiều phiên. MEMLENS bao gồm 789 câu hỏi bao quát năm khả năng ghi nhớ cốt lõi: trích xuất thông tin (IE), suy luận đa phiên (MSR), suy luận thời gian (TR), cập nhật kiến thức (KU) và từ chối trả lời (AR). Các câu hỏi được thiết kế để yêu cầu bằng chứng hình ảnh, được kiểm chứng qua thí nghiệm loại bỏ hình ảnh khiến độ chính xác giảm xuống dưới 2%. Benchmark được xây dựng với bốn độ dài ngữ cảnh chuẩn (32K, 64K, 128K, 256K token) và một pipeline bốn giai đoạn để tạo ra lịch sử hội thoại mạch lạc.
III. Main Results:
Kết quả đánh giá trên 27 LVLM và 7 tác tử tăng cường bộ nhớ cho thấy: (1) LVLM ngữ cảnh dài đạt độ chính xác cao ở ngữ cảnh ngắn nhờ khả năng tiếp cận hình ảnh trực tiếp nhưng giảm mạnh khi hội thoại dài ra; (2) các tác tử bộ nhớ ổn định theo độ dài nhưng mất độ trung thực của hình ảnh do nén khi lưu trữ; (3) suy luận đa phiên là khả năng khó nhất, hầu hết các hệ thống đạt dưới 30%; (4) các LVLM mạnh nhất chỉ đạt 58.68% ở ngữ cảnh 32K, cho thấy nhiệm vụ này vẫn còn rất thách thức.
IV. Conclusion & Future Works:
Nghiên cứu kết luận rằng cả hai hướng tiếp cận hiện tại đều không thể giải quyết hoàn toàn bài toán bộ nhớ dài hạn đa phương thức. Hướng phát triển trong tương lai là các kiến trúc lai kết hợp cơ chế attention ngữ cảnh dài với truy xuất đa phương thức có cấu trúc, thay vì chỉ mở rộng riêng lẻ từng thành phần. Việc giữ lại và truy xuất bằng chứng hình ảnh là nút thắt chính cần giải quyết.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu về các kiến trúc lai kết hợp long-context attention và structured multimodal retrieval để cải thiện khả năng duy trì bộ nhớ dài hạn cho LVLMs trong hội thoại đa phương thức.
- Phát triển các phương pháp nén và lưu trữ bộ nhớ đa phương thức mới, giúp bảo toàn thông tin hình ảnh chi tiết (ví dụ: số lượng, thuộc tính, mối quan hệ không gian) thay vì chỉ lưu trữ caption.
- Thiết kế các chiến lược huấn luyện (RL/SFT) cho tác tử bộ nhớ, tối ưu đồng thời cả truy xuất thông tin, độ chính xác câu trả lời và khả năng từ chối trả lời khi thiếu bằng chứng.
2. Patent:
- Phương pháp và hệ thống quản lý bộ nhớ hội thoại đa phương thức cho trợ lý ảo trên điện thoại thông minh. Hệ thống này tự động ghi nhớ và truy xuất các cuộc trò chuyện trước đó có chứa cả văn bản và hình ảnh (ví dụ: ảnh chụp món ăn, sản phẩm, địa điểm). Khi người dùng hỏi lại về thông tin đã đề cập trong một bức ảnh cũ, trợ lý sẽ không chỉ dựa vào văn bản mà còn phân tích lại nội dung của bức ảnh gốc để đưa ra câu trả lời chính xác, thay vì chỉ dựa trên bản tóm tắt văn bản đã lưu.
- Ứng dụng quản lý ghi chú và gợi nhớ thông minh trên thiết bị di động. Ứng dụng này cho phép người dùng chụp ảnh các vật dụng (ví dụ: một cuốn sách, một món đồ trong tủ lạnh) và gắn kèm ghi chú văn bản. Hệ thống sẽ tự động xây dựng một bộ nhớ dài hạn, có thể suy luận qua nhiều phiên để trả lời các câu hỏi phức tạp như 'Tôi đã mua cuốn sách nào vào tháng trước và giá của nó là bao nhiêu dựa trên ảnh hóa đơn tôi đã chụp?' mà không yêu cầu người dùng phải nhập lại toàn bộ thông tin.
- Cơ chế từ chối trả lời thông minh cho trợ lý ảo trên điện thoại. Khi người dùng hỏi một câu dựa trên lịch sử hội thoại có chứa hình ảnh (ví dụ: 'Bức ảnh tôi chụp hôm qua có màu gì?'), nếu thông tin hình ảnh đó đã bị xóa khỏi thiết bị hoặc không thể truy xuất được, trợ lý sẽ chủ động từ chối trả lời và thông báo lý do thay vì đưa ra câu trả lời sai lệch do suy luận từ văn bản không đầy đủ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.14906 |
| ArXiv Abstract | https://arxiv.org/abs/2605.14906 |
| PDF Download | https://arxiv.org/pdf/2605.14906.pdf |
| Github Repository | https://github.com/xrenaf/MEMLENS |
10. SANA-WM: Efficient Minute-Scale World Modeling with Hybrid Linear Diffusion Transformer (52 votes)
Tác giả: Haoyi Zhu, Haozhe Liu, Yuyang Zhao, Tian Ye, Junsong Chen, Jincheng Yu, Tong He, Song Han, Enze Xie
Xuất bản lúc: 2026-05-14
Tag: World Model, Diffusion Transformer, Video Generation, Camera Control, Linear Attention, Gated DeltaNet, Long-Context Modeling, Efficient Inference
I. Main Problem:
Các mô hình thế giới quy mô phút hiện tại yêu cầu tài nguyên tính toán và bộ nhớ rất lớn, cả trong huấn luyện và suy luận. Chúng thường cần các mô hình kích thước lớn, dữ liệu quy mô lớn, lịch trình huấn luyện dài và suy luận đa GPU. Trong khi đó, việc chưng cất từ các mô hình video ngắn không cung cấp đủ giám sát cho tính nhất quán và bám sát quỹ đạo ở quy mô phút. Câu hỏi đặt ra là: liệu có thể huấn luyện một mô hình thế giới có độ trung thực cao, có thể điều khiển camera và kéo dài một phút mà vẫn giữ chi phí dữ liệu, huấn luyện và suy luận ở mức dễ tiếp cận?
II. Main Idea:
SANA-WM là một mô hình thế giới mã nguồn mở 2.6B tham số, được thiết kế với hiệu quả là mục tiêu hàng đầu. Bốn thiết kế cốt lõi bao gồm: (1) Hybrid Linear Attention kết hợp Gated DeltaNet (GDN) theo từng khung hình với softmax attention để mô hình hóa ngữ cảnh dài một cách hiệu quả về bộ nhớ. (2) Dual-Branch Camera Control đảm bảo bám sát chính xác quỹ đạo 6-DoF thông qua nhánh UCPE thô cho cấu trúc toàn cục và nhánh Plücker mịn cho chuyển động nội suy. (3) Two-Stage Generation Pipeline sử dụng bộ tinh chỉnh video dài để cải thiện chất lượng và tính nhất quán của đầu ra từ giai đoạn 1. (4) Robust Annotation Pipeline trích xuất chính xác tư thế camera 6-DoF ở thang đo metric từ các video công cộng để tạo nhãn hành động chất lượng cao.
III. Main Results:
SANA-WM đạt được độ chính xác bám sát hành động cao hơn (ví dụ: RotErr 4.50° so với 10.47° của LingBot-World) và chất lượng hình ảnh tương đương (VBench Overall 81.89 so với 81.89 của LingBot-World) trên chuẩn đánh giá một phút. Về hiệu quả, SANA-WM nhanh hơn 36 lần so với các baseline mã nguồn mở trước đó, hoàn thành huấn luyện trong 15 ngày trên 64 H100, và đầu ra mỗi clip 60 giây trên một GPU đơn. Phiên bản chưng cất có thể triển khai trên một RTX 5090 để khử nhiễu một clip 720p trong 34 giây.
IV. Conclusion & Future Works:
SANA-WM chứng minh tính khả thi của việc xây dựng mô hình thế giới quy mô phút với chi phí tính toán hợp lý, mở ra cơ hội cho mô phỏng, AI nhúng và robot. Tuy nhiên, mô hình vẫn bị giới hạn về quy mô, thiếu bộ nhớ 3D tường minh và có thể gặp hiện tượng trôi trong các cảnh động hoặc góc nhìn hiếm. Các hướng phát triển trong tương lai bao gồm mở rộng quy mô mô hình và dữ liệu, khám phá các điều khiển hành động robot hoặc theo dõi điểm, tăng cường bộ nhớ cảnh bền vững, và phát triển các bộ tinh chỉnh thời gian thực hoặc luồng.
V. Brainstorming Space:
1. Publish Papers:
- Hướng 1: Mô hình thế giới quy mô phút với bộ nhớ 3D tường minh. Khắc phục hạn chế của SANA-WM bằng cách tích hợp bộ nhớ 3D hoặc 4D (ví dụ: 3D Gaussian Splatting) để tăng cường tính nhất quán khi quay lại các góc nhìn cũ và giảm trôi trong các cảnh phức tạp, kéo dài thời gian.
- Hướng 2: Mô hình thế giới với điều khiển tương tác đa dạng. Mở rộng từ điều khiển camera (6-DoF) sang các dạng điều khiển khác như hành động robot, điều khiển bằng gamepad, hoặc theo dõi điểm (point tracking) để phục vụ các ứng dụng mô phỏng nhúng và tương tác phong phú hơn.
- Hướng 3: Tinh chỉnh mô hình thế giới với dữ liệu video có chú thích yếu. Phát triển các pipeline chú thích tự động mạnh mẽ hơn để tận dụng các kho video internet khổng lồ, giảm sự phụ thuộc vào dữ liệu có tư thế camera chính xác, giúp việc huấn luyện mô hình thế giới trở nên dễ dàng và mở rộng hơn.
2. Patent:
- Phương pháp tạo video mô phỏng thế giới ảo trên thiết bị di động dựa trên một hình ảnh duy nhất và quỹ đạo chuyển động. Hệ thống nhận một hình ảnh tĩnh (ví dụ: ảnh chụp từ camera điện thoại) và một quỹ đạo chuyển động của camera (ví dụ: người dùng vẽ trên màn hình hoặc sử dụng cảm biến chuyển động), sau đó sử dụng mô hình học sâu đã được nén và tối ưu hóa để tạo ra một video dài (ví dụ: 30-60 giây) mô phỏng thế giới ảo xoay quanh điểm chụp, phục vụ cho các ứng dụng thực tế ảo tăng cường hoặc tạo nội dung giải trí.
- Ứng dụng tạo chuyến tham quan ảo từ ảnh tĩnh trên điện thoại thông minh. Ứng dụng cho phép người dùng chụp một bức ảnh (ví dụ: cảnh quan, nội thất) và chọn hoặc tự do điều chỉnh một lộ trình tham quan ảo. Sử dụng mô hình thế giới được tối ưu hóa cho thiết bị di động, ứng dụng sẽ tạo ra một video chuyển động mượt mà theo lộ trình đã chọn, mang lại trải nghiệm như đang di chuyển thực tế trong không gian đó.
- Hệ thống tạo nội dung quảng cáo động trên điện thoại dựa trên điều khiển camera và văn bản. Hệ thống tiếp nhận một hình ảnh sản phẩm, một đoạn văn bản mô tả và một quỹ đạo camera do người dùng hoặc AI tạo ra để tự động sinh ra một video quảng cáo ngắn (khoảng 30-60 giây) cho sản phẩm đó. Video sẽ thể hiện sản phẩm từ nhiều góc nhìn khác nhau theo quỹ đạo đã định sẵn, giúp người dùng có cái nhìn trực quan và sinh động về sản phẩm mà không cần kỹ năng quay phim chuyên nghiệp.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.15178 |
| ArXiv Abstract | https://arxiv.org/abs/2605.15178 |
| PDF Download | https://arxiv.org/pdf/2605.15178.pdf |
| Github Repository | N/A |
11. MemEye: A Visual-Centric Evaluation Framework for Multimodal Agent Memory (47 votes)
Tác giả: Minghao Guo, Qingyue Jiao, Zeru Shi, Yihao Quan, Boxuan Zhang, Danrui Li, Liwei Che, Wujiang Xu, Shilong Liu, Zirui Liu, Mubbasir Kapadia, Vladimir Pavlovic, Jiang Liu, Mengdi Wang, Yiyu Shi, Dimitris N. Metaxas, Ruixiang Tang
Xuất bản lúc: 2026-05-14
Tag: VLMs, Multimodal Agent, Long-Term Memory, Evaluation Framework, Visual Reasoning
I. Main Problem:
Các hệ thống đa phương thức (multimodal agent) hiện tại gặp khó khăn trong việc lưu trữ và suy luận trên các thông tin thị giác chi tiết trong bối cảnh hội thoại dài hạn. Các phương pháp đánh giá hiện có chủ yếu dựa trên văn bản hoặc các câu hỏi có thể trả lời mà không cần đến thông tin hình ảnh gốc, dẫn đến việc không thể kiểm tra khả năng lưu giữ các chi tiết thị giác tinh vi (ví dụ: màu sắc, kết cấu, văn bản nhỏ) và khả năng suy luận về sự thay đổi trạng thái hình ảnh theo thời gian (ví dụ: một đồ vật thay đổi vị trí hoặc biến mất).
II. Main Idea:
Bài báo giới thiệu MemEye, một khung đánh giá (framework) mới tập trung vào khả năng ghi nhớ thị giác của các tác nhân đa phương thức. MemEye đánh giá theo hai chiều: (1) Mức độ chi tiết của bằng chứng thị giác (Visual Evidence Granularity), từ cấp độ toàn cảnh (scene-level) đến từng pixel (pixel-level), và (2) Độ sâu suy luận về trí nhớ (Memory Reasoning Depth), từ truy xuất đơn giản (atomic retrieval) đến tổng hợp tiến hóa (evolutionary synthesis). Dựa trên khung này, một bộ benchmark mới được xây dựng với 371 câu hỏi trắc nghiệm và tự luận trên 8 kịch bản đời sống, được thiết kế để đảm bảo các câu hỏi thực sự cần đến thông tin hình ảnh gốc và không thể trả lời bằng văn bản tóm tắt.
III. Main Results:
Khi đánh giá 13 phương pháp ghi nhớ trên 4 backbone VLM khác nhau, các thí nghiệm cho thấy: (1) Các hệ thống hiện tại vẫn còn xa mới đạt được mức độ bão hòa trên MemEye. (2) Có một sự đánh đổi rõ ràng: phương pháp dựa trên văn bản (caption) giúp quản lý sự thay đổi trạng thái tốt hơn nhưng thường mất đi các chi tiết thị giác tinh vi; ngược lại, phương pháp dựa trên hình ảnh gốc bảo toàn chi tiết thị giác tốt hơn nhưng lại gặp khó khăn trong việc xác định trạng thái thị giác nào còn hiệu lực theo thời gian. (3) Phương pháp SRAG(V) (multimodal, dùng ảnh gốc) đạt hiệu suất tổng thể cao nhất nhưng vẫn thua xa kết quả lý tưởng (oracle).
IV. Conclusion & Future Works:
MemEye chứng minh rằng trí nhớ đa phương thức hiệu quả cần phải bảo toàn chi tiết thị giác, theo dõi tính hiệu lực theo thời gian, và chọn lọc bằng chứng chính xác từ lịch sử dài. Hướng phát triển trong tương lai bao gồm cải thiện khả năng lưu trữ chi tiết pixel, phát triển cơ chế theo dõi trạng thái tiến hóa, và thiết kế các hệ thống có thể cân bằng giữa việc lưu giữ thông tin thị giác và quản lý sự thay đổi theo thời gian.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng khung đánh giá MemEye cho các tác vụ tương tác phức tạp hơn như điều khiển robot hoặc game 3D, nơi trí nhớ thị giác dài hạn và sự thay đổi trạng thái liên tục là rất quan trọng.
- Phát triển một kiến trúc mới cho bộ nhớ agent, kết hợp ưu điểm của caption (quản lý trạng thái) và ảnh gốc (chi tiết thị giác) thông qua một cơ chế 'bộ nhớ lai' có thể tự động chọn loại lưu trữ phù hợp dựa trên độ phức tạp của câu hỏi.
- Nghiên cứu về khả năng 'tổng hợp tiến hóa' (evolutionary synthesis) sâu hơn, cụ thể là cách một agent có thể suy luận và dự đoán trạng thái thị giác trong tương lai dựa trên chuỗi các trạng thái đã thay đổi trong quá khứ.
2. Patent:
- Phương pháp và hệ thống ghi nhớ hình ảnh thông minh cho trợ lý ảo trên điện thoại: Phát hiện và lưu trữ tự động các chi tiết thị giác quan trọng (ví dụ: mã QR, văn bản trên màn hình, đồ vật trong ảnh chụp) và trả lời các câu hỏi như 'Mã vạch trên chai nước ngọt tôi uống hôm qua là gì?' hoặc 'Màu sắc của chiếc áo trong bức ảnh tôi chụp tuần trước là gì?' mà không cần người dùng phải tìm lại ảnh.
- Hệ thống theo dõi và đối chiếu thay đổi hình ảnh trên thiết bị di động: Cho phép người dùng chụp ảnh một không gian (ví dụ: phòng khách, bàn làm việc) tại nhiều thời điểm khác nhau. Hệ thống sẽ tự động so sánh, ghi nhận và trả lời các câu hỏi về sự thay đổi, ví dụ: 'Đồ vật nào đã được thêm vào bàn làm việc từ tuần trước?' hoặc 'Bức tranh trên tường bây giờ có màu gì so với tháng trước?', giúp quản lý không gian cá nhân hiệu quả.
- Phương pháp tóm tắt trực quan lịch sử hội thoại dựa trên hình ảnh cho ứng dụng chat: Trong các cuộc trò chuyện dài, hệ thống có thể tự động tạo ra một 'bảng tóm tắt trực quan' bao gồm các hình ảnh quan trọng đã được chia sẻ (ví dụ: biểu đồ, ảnh sản phẩm, ảnh chụp màn hình) và tóm tắt ngắn gọn về các thay đổi hoặc thảo luận xoay quanh chúng, giúp người dùng nắm bắt nhanh nội dung mà không cần đọc lại toàn bộ lịch sử.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.15128 |
| ArXiv Abstract | https://arxiv.org/abs/2605.15128 |
| PDF Download | https://arxiv.org/pdf/2605.15128.pdf |
| Github Repository | https://github.com/MinghoKwok/MemEye |
12. Beyond Individual Intelligence: Surveying Collaboration, Failure Attribution, and Self-Evolution in LLM-based Multi-Agent Systems (41 votes)
Tác giả: Shihao Qi, Jie Ma, Rui Xing, Wei Guo, Xiao Huang, Zhitao Gao, Jianhao Deng, Jun Liu, Lingling Zhang, Bifan Wei, Boqian Yang, Pinghui Wang, Jianwen Sun, Jing Tao, Yaqiang Wu, Hui Liu, Yu Yao, Tongliang Liu
Xuất bản lúc: 2026-05-14
Tag: LLM Agents, Multi-Agent Systems, Failure Attribution, Self-Evolution, Collaboration, Survey
I. Main Problem:
Các hệ thống đa tác tử dựa trên LLM (LLM-based Multi-Agent Systems) ngày càng phức tạp và liên kết chặt chẽ, dẫn đến những rủi ro khó lường: lỗi có thể lan truyền qua nhiều tác tử và vòng tương tác, tạo ra các thất bại khó chẩn đoán. Ngay cả khi xác định được nguyên nhân, hệ thống cũng hiếm khi có khả năng tự cải thiện cấu trúc dựa trên những chẩn đoán đó. Các khảo sát hiện tại thường chỉ tập trung vào một khía cạnh riêng lẻ (năng lực cá nhân, cộng tác, hoặc tự tiến hóa) mà bỏ qua mối quan hệ nhân quả và vòng lặp khép kín giữa các giai đoạn này.
II. Main Idea:
Bài báo đề xuất một góc nhìn thống nhất và toàn diện về vòng đời vận hành của hệ thống đa tác tử dựa trên LLM, được tổ chức thành bốn giai đoạn liên kết nhân quả, gọi là tiến trình LIFE (Lay foundation, Integrate, Find faults, Evolve):
- L (Lay the capability foundation): Đặt nền tảng năng lực cho từng tác tử cá nhân (lý luận, bộ nhớ, lập kế hoạch, sử dụng công cụ).
- I (Integrate agents through collaboration): Tích hợp các tác tử thông qua cộng tác, bao gồm phân vai, giao tiếp, điều phối và tương tác.
- F (Find faults through attribution): Tìm ra lỗi thông qua quy kết trách nhiệm, phân loại lỗi và các phương pháp xác định nguyên nhân gốc rễ.
- E (Evolve through autonomous self-improvement): Tiến hóa thông qua tự cải thiện, bao gồm tiến hóa cấp tác tử, cấp hệ thống và cấp siêu hệ thống.
III. Main Results:
Bài báo là một khảo sát (survey) có hệ thống, cung cấp:
- Phân loại và so sánh chi tiết (taxonomies and comparative analyses) cho từng giai đoạn trong LIFE.
- Phân tích mối liên hệ nhân quả giữa các giai đoạn, đặc biệt là vòng lặp 'quy kết lỗi - tự tiến hóa' (attribution-evolution loop), điều chưa từng được đề cập trong các khảo sát trước đây.
- Xác định các thách thức mở (open challenges) ở ranh giới giữa các giai đoạn và đề xuất một chương trình nghiên cứu đa giai đoạn.
- Kho tài liệu tham khảo được quản lý công khai trên GitHub để hỗ trợ nghiên cứu trong tương lai.
IV. Conclusion & Future Works:
Khảo sát này củng cố luận điểm rằng khả năng xây dựng các hệ thống đa tác tử tinh vi đã vượt xa khả năng hiểu tại sao chúng thất bại và giúp chúng tự cải thiện. Tương lai cần hướng tới một hệ thống khép kín (closed-loop framework), nơi chẩn đoán lỗi trực tiếp dẫn đến sự tự cải thiện cấu trúc. Các hướng nghiên cứu trong tương lai bao gồm giải quyết những thách thức ở ranh giới giữa các giai đoạn LIFE, xây dựng các cơ chế quy kết lỗi mạnh mẽ hơn, và phát triển các hệ thống có khả năng tự tổ chức và phục hồi (self-organizing and resilient forms of collective intelligence).
V. Brainstorming Space:
1. Publish Papers:
- 1. Cơ chế quy kết lỗi dựa trên suy luận nhân quả (Causal Inference) cho hệ thống đa tác tử trong lập trình tự động. Nghiên cứu và phát triển một framework mới sử dụng mô hình nhân quả (causal model) để truy vết lỗi trong các tác vụ lập trình phức tạp (ví dụ: sửa lỗi tự động). Framework này không chỉ xác định tác tử nào tạo ra lỗi mà còn chỉ ra bước suy luận hoặc quyết định sai lầm nào dẫn đến lỗi, từ đó tăng hiệu quả sửa lỗi.
- 2. Tự động điều chỉnh cấu trúc vai trò (Role Allocation) trong hệ thống đa tác tử dựa trên phản hồi từ môi trường. Xây dựng một phương pháp cho phép hệ thống tự động phân tích hiệu suất làm việc của từng tác tử dựa trên log lỗi và kết quả đầu ra, sau đó tự động điều chỉnh lại sự phân công vai trò và luồng tương tác giữa các tác tử để cải thiện hiệu suất tổng thể cho các nhiệm vụ tương tự trong tương lai.
- 3. Đánh giá và so sánh hiệu quả của các kiến trúc điều phối (Orchestration Topologies) trong hệ thống đa tác tử giải quyết vấn đề khoa học. Thiết kế một bộ benchmark mới để đánh giá một cách có hệ thống các kiến trúc điều phối khác nhau (tập trung, phân tán, lai ghép) trên các tác vụ khoa học phức tạp (ví dụ: thiết kế thí nghiệm, mô phỏng), từ đó đưa ra hướng dẫn lựa chọn kiến trúc phù hợp cho từng loại nhiệm vụ.
2. Patent:
- 1. Hệ thống trợ lý ảo trên điện thoại thông minh có khả năng tự động phân tích và giải thích lỗi đặt vé máy bay. Khi người dùng yêu cầu đặt vé nhưng hệ thống thất bại (ví dụ: không tìm được chuyến bay phù hợp, sai ngày tháng), hệ thống sẽ tự động ghi lại toàn bộ quá trình xử lý. Sau đó, nó phân tích các bước để xác định chính xác nguyên nhân gây ra lỗi (ví dụ: do tác tử tìm kiếm không hiểu đúng yêu cầu hay do tác tử thanh toán gặp sự cố) và đưa ra lời giải thích rõ ràng cho người dùng bằng ngôn ngữ tự nhiên, thay vì chỉ thông báo lỗi chung chung.
- 2. Ứng dụng quản lý lịch trình thông minh có khả năng tự học từ lỗi và cải thiện hiệu suất. Ứng dụng sử dụng nhiều tác tử AI chuyên biệt (ví dụ: một tác tử đọc email, một tác tử gợi ý thời gian, một tác tử đặt lịch). Nếu việc đặt lịch thất bại (ví dụ: do xung đột thời gian, hoặc hiểu sai múi giờ), ứng dụng sẽ phân tích chuỗi lỗi để xác định tác tử nào là nguyên nhân. Sau đó, ứng dụng tự động điều chỉnh hành vi của tác tử đó (ví dụ: cập nhật prompt, thay đổi logic xử lý) để tránh lặp lại lỗi tương tự trong tương lai, giúp việc lập lịch ngày càng chính xác và thông minh hơn.
- 3. Phương pháp tối ưu hóa giao tiếp giữa các ứng dụng AI trên điện thoại thông minh dựa trên lịch sử lỗi. Các tác tử AI chạy nền khác nhau (ví dụ: tác tử thời tiết, tác tử sức khỏe, tác tử gợi ý nhà hàng) thường xuyên trao đổi thông tin. Phương pháp này sẽ theo dõi các lỗi giao tiếp (ví dụ: gửi nhầm dữ liệu, hiểu sai định dạng). Khi phát hiện một mẫu lỗi lặp lại, hệ thống sẽ tự động đề xuất và áp dụng một 'giao thức giao tiếp' (communication protocol) mới, tối ưu hơn cho cặp tác tử đó, giúp giảm thiểu lỗi và tăng tốc độ xử lý.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.14892 |
| ArXiv Abstract | https://arxiv.org/abs/2605.14892 |
| PDF Download | https://arxiv.org/pdf/2605.14892.pdf |
| Github Repository | https://github.com/mira-ai-lab/awesome-mas-life |
13. STALE: Can LLM Agents Know When Their Memories Are No Longer Valid? (37 votes)
Tác giả: Hanxiang Chao, Yihan Bai, Rui Sheng, Tianle Li, Yushi Sun
Xuất bản lúc: 2026-05-07
Tag: LLM Agents, Long-Term Memory, Implicit Conflict, State Tracking, Knowledge Conflict, Memory Updating, RAG, Latent State
I. Main Problem:
Các tác nhân LLM (Large Language Model) hiện tại gặp khó khăn trong việc duy trì bộ nhớ cá nhân dài hạn mạch lạc. Các chuẩn đánh giá hiện có chủ yếu đo lường khả năng truy xuất thông tin tĩnh, bỏ qua khả năng sửa đổi niềm tin khi có bằng chứng mới. Một vấn đề quan trọng nhưng chưa được khám phá là Xung đột Ngầm (Implicit Conflict), nơi một quan sát sau đó vô hiệu hóa một ký ức trước đó mà không có sự phủ định rõ ràng, đòi hỏi suy luận ngữ cảnh và kiến thức thông thường để phát hiện.
II. Main Idea:
Bài báo đề xuất một chuẩn đánh giá mới có tên STALE (State Tracking And Latent Evaluation) để đo lường khả năng giải quyết xung đột ngầm của các tác nhân LLM. STALE bao gồm 400 kịch bản xung đột được chuyên gia xác thực (1.200 câu hỏi đánh giá) trên hơn 100 chủ đề hàng ngày. Bài báo cũng giới thiệu một khuôn khổ thăm dò ba chiều: State Resolution (phát hiện niềm tin cũ đã lỗi thời), Premise Resistance (từ chối các truy vấn giả định sai trạng thái cũ), và Implicit Policy Adaptation (chủ động áp dụng trạng thái đã cập nhật vào hành vi). Ngoài ra, một nguyên mẫu có tên CUPMEM được đề xuất, tăng cường sửa đổi ở phía ghi thông qua hợp nhất trạng thái có cấu trúc và tìm kiếm nhận biết lan truyền.
III. Main Results:
Kết quả thử nghiệm trên STALE cho thấy các hệ thống hiện tại gặp khó khăn đáng kể. Mô hình tốt nhất (Gemini-3.1-pro) chỉ đạt 55.2% độ chính xác tổng thể. Ba phát hiện chính: (1) Việc nhận ra một ký ức lỗi thời không đồng nghĩa với việc áp dụng niềm tin đã cập nhật. (2) Các mô hình rất dễ bị ảnh hưởng bởi các truy vấn có tiền đề lỗi thời. (3) Xung đột lan truyền (Type II) khó hơn đáng kể so với xung đột đồng tham chiếu (Type I). Nguyên mẫu CUPMEM, sử dụng cùng mô hình nền (GPT-4o-mini), đã cải thiện độ chính xác tổng thể từ 8.7% lên 68.0%.
IV. Conclusion & Future Works:
STALE là chuẩn đánh giá đầu tiên về giải quyết xung đột ngầm, cho thấy khoảng cách lớn giữa truy xuất thông tin và hành động dựa trên thông tin đó. CUPMEM chứng minh rằng việc phân xử trạng thái ở phía ghi là một hướng đi đầy hứa hẹn. Các hướng nghiên cứu trong tương lai bao gồm: các cập nhật lan truyền đa bước, các thay đổi thuộc tính kết hợp, và đánh giá trên miền mở không có lược đồ cố định.
V. Brainstorming Space:
1. Publish Papers:
- Phân tích chuyên sâu về cơ chế suy luận nhân quả cho xung đột ngầm trong tác nhân LLM: Nghiên cứu các phương pháp để mô hình có thể tự động học và suy luận các chuỗi phụ thuộc nhân quả giữa các thuộc tính người dùng (ví dụ: sức khỏe ảnh hưởng đến phương tiện di chuyển) mà không cần lược đồ được xác định trước.
- Mở rộng chuẩn đánh giá STALE cho các tác vụ đa phương thức: Tích hợp thêm các luồng đầu vào khác như hình ảnh, âm thanh từ cuộc sống hàng ngày của người dùng để tạo ra các kịch bản xung đột ngầm phức tạp và thực tế hơn (ví dụ: một bức ảnh chụp chân bị bó bột có thể vô hiệu hóa ký ức về việc đi xe đạp).
- Phát triển các thuật toán ghi nhớ thích ứng với chi phí thấp: Nghiên cứu các cơ chế hợp nhất trạng thái nhẹ và hiệu quả, có thể chạy trên các thiết bị có tài nguyên hạn chế như điện thoại thông minh, cho phép cập nhật niềm tin theo thời gian thực mà không cần gọi đến các mô hình ngôn ngữ lớn mạnh mẽ.
2. Patent:
- Phương pháp và hệ thống quản lý bộ nhớ thông minh cho trợ lý ảo trên điện thoại: Hệ thống này lưu trữ các thông tin về người dùng dưới dạng một đồ thị tri thức với các nút là các thuộc tính (ví dụ: nơi ở, sở thích, tình trạng sức khỏe). Khi có thông tin mới, hệ thống sẽ tự động xác định các nút bị ảnh hưởng, đánh dấu thông tin cũ là 'lỗi thời' và ngăn trợ lý ảo sử dụng thông tin đó để đưa ra gợi ý không phù hợp.
- Ứng dụng trên điện thoại thông minh quản lý lịch trình và gợi ý thông minh dựa trên trạng thái người dùng: Ứng dụng này ghi nhận và cập nhật liên tục các trạng thái của người dùng (ví dụ: 'đang bị ốm', 'đã chuyển nhà', 'đã có xe hơi mới'). Dựa trên trạng thái hiện tại, ứng dụng sẽ tự động điều chỉnh lời nhắc, gợi ý tuyến đường, danh sách nhạc, hoặc các đề xuất mua sắm sao cho phù hợp, ngay cả khi người dùng không trực tiếp yêu cầu.
- Hệ thống trợ lý ảo trên điện thoại có khả năng từ chối khéo léo các yêu cầu dựa trên thông tin lỗi thời: Khi người dùng đưa ra một yêu cầu dựa trên một giả định đã sai (ví dụ: 'Gợi ý quán cà phê gần nhà cũ của tôi' sau khi đã chuyển nhà), hệ thống sẽ không thực hiện yêu cầu một cách mù quáng. Thay vào đó, nó sẽ xác định mâu thuẫn, thông báo cho người dùng về sự thay đổi trạng thái (ví dụ: 'Có vẻ như bạn đã chuyển nhà, tôi sẽ gợi ý quán cà phê gần nhà mới của bạn') và đưa ra gợi ý phù hợp với tình huống hiện tại.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.06527 |
| ArXiv Abstract | https://arxiv.org/abs/2605.06527 |
| PDF Download | https://arxiv.org/pdf/2605.06527.pdf |
| Github Repository | N/A |
14. WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation (36 votes)
Tác giả: Shuangrui Ding, Xuanlang Dai, Long Xing, Shengyuan Ding, Ziyu Liu, Yang JingYi, Penghui Yang, Zhixiong Zhang, Xilin Wei, Xinyu Fang, Yubo Ma, Haodong Duan, Jing Shao, Jiaqi Wang, Dahua Lin, Kai Chen, Yuhang Zang
Xuất bản lúc: 2026-05-11
Tag: LLM Agents, Vision-Language Models, Benchmark, Long-Horizon, CLI Agents, Tool Use, Multimodal Evaluation
I. Main Problem:
Hầu hết các benchmark đánh giá agent (tác nhân) hiện tại đều dựa trên môi trường sandbox tổng hợp, các tác vụ ngắn hạn, API giả lập và chỉ kiểm tra kết quả cuối cùng. Điều này không phản ánh được khả năng của agent khi làm việc trong môi trường thực tế với các tác vụ dài hạn, phức tạp và sử dụng nhiều công cụ khác nhau, đồng thời bỏ qua việc kiểm tra cách agent tương tác với môi trường runtime trong suốt quá trình thực hiện.
II. Main Idea:
Tác giả giới thiệu WildClawBench, một benchmark mới đánh giá agent trong môi trường runtime thực tế. Các tác vụ (60 tác vụ) được thiết kế bởi con người, đa ngữ (Anh-Trung), đa phương thức, yêu cầu trung bình 8 phút và hơn 20 lần gọi công cụ. Mỗi tác vụ chạy trong một Docker container riêng biệt, host các agent harness thực tế (như OpenClaw, Claude Code) với quyền truy cập vào các công cụ thật (shell, trình duyệt web, email). Việc đánh giá là lai ghép (hybrid), kết hợp kiểm tra rule, kiểm tra trạng thái môi trường và sử dụng LLM/VLM judge cho các đánh giá ngữ nghĩa.
III. Main Results:
Trong số 19 mô hình tiên tiến, mô hình tốt nhất (Claude Opus 4.7) chỉ đạt 62.2% tổng thể, không có mô hình nào vượt quá 60%. Điểm số dao động từ 19.3% đến 62.2%, cho thấy benchmark này còn nhiều dư địa để cải thiện. Việc chuyển đổi harness có thể thay đổi điểm số của cùng một mô hình lên tới 18 điểm. Các mô hình mạnh hơn không nhất thiết hiệu quả hơn về chi phí và thời gian. Các tác vụ đa phương thức thường khó hơn so với các tác vụ chỉ có văn bản. Việc tăng cường suy luận nội bộ (reasoning) không đảm bảo cải thiện khả năng của agent, thậm chí còn có thể làm giảm hiệu suất do vượt quá thời gian cho phép.
IV. Conclusion & Future Works:
WildClawBench cho thấy việc đánh giá agent trong môi trường runtime thực tế, tác vụ dài hạn vẫn là một bài toán chưa có lời giải cho các mô hình hiện tại. Hiệu suất thực tế của agent không chỉ phụ thuộc vào sức mạnh của mô hình mà còn bị ảnh hưởng lớn bởi harness, thời gian cho phép và khả năng tích hợp các kỹ năng bên ngoài. Các hướng phát triển trong tương lai có thể bao gồm tối ưu hóa harness, phát triển các chiến lược quản lý thời gian và tài nguyên tốt hơn, và cải thiện khả năng tích hợp công cụ.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu về tác động của 'Tool-Use Personality' đến hiệu suất Agent: Phân tích chi tiết cách các agent khác nhau (ví dụ: một số thích đọc file, số khác thích chạy lệnh shell) sử dụng công cụ và mối tương quan với hiệu suất trên các tác vụ cụ thể, từ đó đề xuất các chiến lược tối ưu hóa hành vi sử dụng công cụ.
- Phát triển phương pháp 'Adaptive Time Budgeting' cho Agent: Nghiên cứu các thuật toán cho phép agent tự động điều chỉnh thời gian suy luận và hành động dựa trên độ phức tạp của tác vụ và tiến độ hiện tại, thay vì sử dụng một ngân sách thời gian cố định như hiện nay.
- Xây dựng framework đánh giá agent đa chiều dựa trên 'Trajectory Audit': Đề xuất một hệ thống đánh giá mới không chỉ dựa trên kết quả cuối cùng mà còn phân tích sâu quỹ đạo hành động của agent, bao gồm hiệu quả, độ an toàn, và khả năng phục hồi sau lỗi, giúp đánh giá toàn diện hơn về năng lực của agent.
2. Patent:
- Phương pháp và hệ thống tối ưu hóa tác vụ trên điện thoại thông minh sử dụng Agent thông minh: Một ứng dụng trên điện thoại sử dụng agent AI để tự động hóa các tác vụ dài hạn như lên lịch họp, soạn thảo email tổng hợp, hoặc tạo báo cáo từ nhiều nguồn dữ liệu khác nhau trên thiết bị. Hệ thống sẽ ghi nhớ thói quen của người dùng để tối ưu hóa quy trình, ví dụ: tự động tổng hợp tin tức hàng ngày từ các ứng dụng đọc báo yêu thích, hoặc tự động tìm kiếm và so sánh sản phẩm trên các trang thương mại điện tử khi người dùng đưa ra yêu cầu bằng giọng nói.
- Hệ thống kiểm tra an toàn cho AI Agent trên thiết bị di động: Một phương pháp và hệ thống được tích hợp vào điện thoại thông minh để phát hiện và ngăn chặn các hành vi nguy hiểm hoặc không mong muốn của AI Agent, như việc vô tình xóa dữ liệu quan trọng, truy cập trái phép vào thông tin cá nhân, hoặc bị lừa bởi các câu lệnh ẩn (prompt injection). Hệ thống sẽ giám sát tất cả các lệnh và hành động của agent và đưa ra cảnh báo hoặc chặn trước khi thiệt hại xảy ra.
- Phương pháp tạo nội dung đa phương thức trên thiết bị di động dựa trên Agent với khả năng tích hợp công cụ: Một ứng dụng chỉnh sửa video và hình ảnh trên điện thoại được trang bị một agent thông minh. Người dùng có thể ra lệnh bằng giọng nói hoặc văn bản như 'Tạo một video highlight từ những bức ảnh và video của chuyến du lịch Đà Lạt, thêm nhạc nền và phụ đề tiếng Việt'. Agent sẽ tự động tìm kiếm dữ liệu trong thư viện ảnh, sử dụng các công cụ chỉnh sửa (cắt ghép, chèn nhạc, nhận dạng giọng nói) và AI tạo sinh để hoàn thành sản phẩm cuối cùng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.10912 |
| ArXiv Abstract | https://arxiv.org/abs/2605.10912 |
| PDF Download | https://arxiv.org/pdf/2605.10912.pdf |
| Github Repository | https://github.com/internlm/WildClawBench |
15. Warp-as-History: Generalizable Camera-Controlled Video Generation from One Training Video (34 votes)
Tác giả: Yifan Wang, Tong He
Xuất bản lúc: 2026-05-14
Tag: Video Generation, Camera Control, Zero-shot Learning, LoRA, Diffusion, Warping
I. Main Problem:
Các phương pháp điều khiển máy quay trong sinh video hiện tại thường yêu cầu huấn luyện trên lượng lớn dữ liệu video có chú thích máy quay, hoặc phải tối ưu hóa trong quá trình suy luận, dẫn đến chi phí cao và khó tổng quát hóa.
II. Main Idea:
Bài báo đề xuất Warp-as-History, một phương pháp điều khiển máy quay không cần huấn luyện thêm trên mô hình sinh video có sẵn. Thay vì thêm các module hay nhánh điều khiển mới, phương pháp này chuyển đổi quỹ đạo máy quay mục tiêu thành các khung hình giả lịch sử (pseudo-history) thông qua phép chiếu hình học (warp), căn chỉnh vị trí với khung mục tiêu và chọn lọc các token hợp lệ, sau đó đưa vào luồng lịch sử có sẵn của mô hình. Phương pháp này hoạt động zero-shot mà không cần thay đổi kiến trúc hay tối ưu hóa suy luận. Ngoài ra, chỉ với một video huấn luyện duy nhất có chú thích máy quay, phương pháp sử dụng tinh chỉnh LoRA nhẹ để ổn định hành vi điều khiển máy quay, cải thiện chất lượng và khả năng tổng quát hóa trên các video chưa thấy.
III. Main Results:
Phương pháp Warp-as-History, sau khi tinh chỉnh LoRA trên một video riêng biệt, đạt kết quả cạnh tranh với các baseline điều khiển máy quay hiện đại (như Gen3C, Voyager, ViewCrafter) trên các benchmark WorldScore, RE10K và DAVIS. Cụ thể, trên WorldScore, Camera Control tăng từ 26.42 lên 62.00 (tương đối 134.7%). Trên DAVIS, phương pháp đạt FID/FVD tốt nhất (68.18/57.95) và điểm DOVER, Subject Consistency, Background Consistency cao. Trên RE10K, dù không được huấn luyện trên cùng miền dữ liệu, phương pháp vẫn duy trì độ chính xác điều khiển máy quay tương đương và vượt trội về chất lượng hình ảnh.
IV. Conclusion & Future Works:
Warp-as-History là một phương pháp điều khiển máy quay hiệu quả, chỉ cần một video huấn luyện, sử dụng lịch sử giả từ phép chiếu hình học. Phương pháp này cho thấy khả năng zero-shot và được ổn định nhờ tinh chỉnh LoRA nhẹ, không cần tối ưu hóa suy luận. Kết quả thí nghiệm trên nhiều benchmark cho thấy tính cạnh tranh với các hệ thống lớn hơn. Hướng phát triển trong tương lai có thể bao gồm mở rộng phương pháp cho các quỹ đạo máy quay phức tạp hơn, cải thiện xử lý các vật thể chuyển động phía trước và khám phá các chiến lược lựa chọn dữ liệu huấn luyện tốt hơn.
V. Brainstorming Space:
1. Publish Papers:
- Phát triển phương pháp Warp-as-History cho các quỹ đạo máy quay phức tạp và phi tuyến: Mở rộng phương pháp hiện tại để xử lý các chuyển động máy quay phức tạp như xoay vòng, lao dốc hoặc kết hợp nhiều chuyển động, cải thiện khả năng tổng quát hóa trên các kịch bản thực tế đa dạng.
- Tối ưu hóa lựa chọn dữ liệu huấn luyện một video cho tinh chỉnh LoRA: Nghiên cứu ảnh hưởng của đặc tính nội dung video huấn luyện (ví dụ: độ phức tạp cảnh, chuyển động máy quay) đến hiệu suất của phương pháp, từ đó đề xuất chiến lược chọn video tối ưu.
- Kết hợp Warp-as-History với các mô hình ngôn ngữ lớn đa phương thức: Tích hợp phương pháp điều khiển máy quay trực quan với các hướng dẫn bằng văn bản từ người dùng, cho phép sinh video vừa tuân theo quỹ đạo máy quay vừa đáp ứng mô tả nội dung cụ thể.
2. Patent:
- Phương pháp sinh video toàn cảnh từ một bức ảnh duy nhất trên điện thoại di động: Sử dụng Warp-as-History để tạo video quay quanh đối tượng hoặc cảnh từ một bức ảnh chụp. Người dùng chỉ cần chụp một bức ảnh, chọn quỹ đạo máy quay (ví dụ: xoay trái-phải, phóng to-thu nhỏ) và ứng dụng sẽ tự động sinh video mượt mà, giúp trải nghiệm xem ảnh trở nên sống động hơn.
- Ứng dụng chỉnh sửa video thông minh trên điện thoại: Cho phép người dùng thay đổi hướng nhìn của máy quay trong một video có sẵn. Người dùng có thể chọn một khung hình, vẽ một quỹ đạo máy quay mới (ví dụ: lia từ trái sang phải), và ứng dụng sẽ tự động điều chỉnh các khung hình tiếp theo để tuân theo quỹ đạo đó, tạo ra hiệu ứng chuyển động chuyên nghiệp mà không cần quay lại.
- Hệ thống tạo nội dung tương tác cho mạng xã hội: Tích hợp Warp-as-History vào ứng dụng chỉnh sửa ảnh/video để tạo các bài đăng dạng video 'ảo diệu' từ ảnh tĩnh. Người dùng có thể chọn một bức ảnh selfie hoặc phong cảnh, chọn kiểu chuyển động máy quay (ví dụ: bay lên, lùi xa), và hệ thống sẽ tự động sinh video ngắn, độc đáo để chia sẻ lên các nền tảng như TikTok, Instagram.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.15182 |
| ArXiv Abstract | https://arxiv.org/abs/2605.15182 |
| PDF Download | https://arxiv.org/pdf/2605.15182.pdf |
| Github Repository | https://github.com/yyfz/Warp-as-History |
16. RouteProfile: Elucidating the Design Space of LLM Profiles for Routing (26 votes)
Tác giả: Jingjun Xu, Hongji Pu, Tao Feng, Haozhen Zhang, Jiaxuan You, Ge Liu
Xuất bản lúc: 2026-04-30
Tag: LLM Routing, LLM Profiling, Heterogeneous Graph, Model Selection, GNN
I. Main Problem:
Trong hệ sinh thái mô hình ngôn ngữ lớn (LLM) đang phát triển, việc lựa chọn mô hình phù hợp nhất cho mỗi truy vấn là rất quan trọng. Tuy nhiên, các nghiên cứu trước đây thường tập trung vào thiết kế bộ định tuyến (router) mà bỏ qua vai trò của hồ sơ năng lực mô hình (LLM profile). Hồ sơ mô hình hiện tại thường rời rạc, thô sơ, hoặc bị lệ thuộc vào chiến lược định tuyến cụ thể, khiến cho việc so sánh công bằng và phát triển các hệ thống định tuyến có nguyên tắc trở nên khó khăn. Do đó, câu hỏi đặt ra là: Thiết kế hồ sơ LLM ảnh hưởng như thế nào đến hiệu suất định tuyến trên các bộ định tuyến khác nhau?
II. Main Idea:
Các tác giả đề xuất RouteProfile, một khuôn khổ thiết kế không gian (design space) cho hồ sơ LLM, xem việc xây dựng hồ sơ như một bài toán tích hợp thông tin có cấu trúc từ các lịch sử tương tác không đồng nhất (thể hiện dưới dạng đồ thị dị thể). RouteProfile định nghĩa bốn chiều thiết kế chính: (1) Hình thức tổ chức (phẳng/có cấu trúc), (2) Loại biểu diễn (văn bản/embedding), (3) Độ sâu tổng hợp (số bước lan truyền thông tin), và (4) Cấu hình học tập (không huấn luyện/có thể huấn luyện). Bằng cách thay đổi các chiều này, RouteProfile tạo ra các hồ sơ mô hình khác nhau và đánh giá ảnh hưởng của chúng lên ba bộ định tuyến đại diện.
III. Main Results:
Kết quả thực nghiệm cho thấy: (1) Hồ sơ có cấu trúc (structured) vượt trội hơn hồ sơ phẳng (flat) trên tất cả các bộ định tuyến. (2) Tín hiệu từ cấp độ truy vấn (query-level) đáng tin cậy hơn tín hiệu từ cấp độ lĩnh vực (domain-level). (3) Khả năng tổng quát hóa cho các mô hình mới được hưởng lợi nhiều nhất từ hồ sơ có cấu trúc, đặc biệt là khi kết hợp với cấu hình có thể huấn luyện (trainable). Ví dụ, hồ sơ có cấu trúc đạt độ chính xác trung bình (Avg. Performance) cao hơn từ 4-8% so với hồ sơ phẳng trên các bộ định tuyến.
IV. Conclusion & Future Works:
Công trình này khẳng định rằng chất lượng định tuyến không chỉ phụ thuộc vào bộ định tuyến mà còn phụ thuộc rất lớn vào cách xây dựng hồ sơ năng lực của các mô hình ứng viên. Thiết kế hồ sơ LLM là một hướng nghiên cứu quan trọng và chưa được khai thác đúng mức. Các hướng nghiên cứu trong tương lai có thể bao gồm: thiết kế các router tận dụng tốt hơn cấu trúc hồ sơ, khám phá các phương pháp xây dựng hồ sơ tiên tiến hơn, và mở rộng đánh giá trên nhiều bộ dữ liệu và mô hình hơn.
V. Brainstorming Space:
1. Publish Papers:
- Khám phá tác động của cấu trúc đồ thị hồ sơ động đến hiệu suất định tuyến LLM theo thời gian thực. Nghiên cứu này sẽ tập trung vào việc xây dựng một hệ thống cập nhật hồ sơ năng lực (profile) cho các mô hình LLM một cách linh hoạt và liên tục dựa trên lịch sử tương tác gần nhất. Thay vì một hồ sơ tĩnh, hồ sơ động này sẽ phản ánh chính xác hơn năng lực hiện tại của mô hình, đặc biệt hữu ích khi mô hình được fine-tune hoặc có sự thay đổi về hiệu suất theo thời gian. Bài báo sẽ so sánh hiệu quả của hồ sơ động so với hồ sơ tĩnh trên các bộ định tuyến khác nhau.
- Thiết kế bộ định tuyến (router) mới tận dụng tối đa hồ sơ mô hình có cấu trúc. Nghiên cứu này sẽ đề xuất một kiến trúc router mới được thiết kế đặc biệt để khai thác thông tin từ hồ sơ LLM có cấu trúc (ví dụ: đồ thị). Router này có thể sử dụng các cơ chế attention hoặc graph neural network để học cách kết hợp thông tin từ hồ sơ mô hình và biểu diễn truy vấn một cách hiệu quả, từ đó đưa ra quyết định chọn mô hình chính xác hơn, đặc biệt trong các kịch bản có nhiều mô hình tương đồng.
- Mở rộng RouteProfile: Tích hợp thông tin về chi phí, độ trễ và độ an toàn vào hồ sơ mô hình. Hướng nghiên cứu này sẽ mở rộng không gian thiết kế của RouteProfile bằng cách thêm các chiều mới như chi phí vận hành, độ trễ suy luận và các chỉ số an toàn/đạo đức của mô hình vào hồ sơ. Bài báo sẽ khám phá cách các yếu tố này tương tác với năng lực chuyên môn (được định nghĩa bởi RouteProfile) và ảnh hưởng như thế nào đến chiến lược định tuyến, hướng tới các hệ thống định tuyến đa mục tiêu, vừa hiệu quả vừa an toàn và tiết kiệm.
2. Patent:
- Phương pháp và hệ thống xây dựng hồ sơ năng lực động cho các mô hình trí tuệ nhân tạo trên thiết bị di động. Phương pháp này thu thập lịch sử tương tác của người dùng với các tác vụ khác nhau (soạn thảo văn bản, tóm tắt, dịch thuật) trên điện thoại. Sau đó, nó xây dựng một 'hồ sơ năng lực' cá nhân hóa cho từng mô hình AI nhúng trong thiết bị (ví dụ: mô hình xử lý văn bản nhẹ, mô hình xử lý ảnh). Hồ sơ này được cập nhật liên tục để phản ánh hiệu suất thực tế của mô hình trên các tác vụ cụ thể của người dùng, giúp hệ thống tự động chọn mô hình phù hợp nhất cho mỗi tác vụ, tối ưu hóa tốc độ và chất lượng.
- Ứng dụng chọn mô hình AI thông minh trên điện thoại thông minh dựa trên hồ sơ năng lực có cấu trúc. Hệ thống này được thiết kế để quản lý một nhóm các mô hình AI khác nhau trên điện thoại (ví dụ: một mô hình giỏi viết sáng tạo, một mô hình khác giỏi trả lời câu hỏi thực tế). Khi người dùng đưa ra một yêu cầu, hệ thống sẽ truy vấn một 'cơ sở tri thức' dạng đồ thị lưu trữ hồ sơ năng lực của từng mô hình (mô hình nào giỏi việc gì). Dựa trên sự kết hợp của yêu cầu và hồ sơ, hệ thống sẽ tự động đề xuất hoặc tự động kích hoạt mô hình phù hợp nhất, mang lại trải nghiệm người dùng liền mạch và hiệu quả.
- Hệ thống định tuyến truy vấn tiết kiệm năng lượng trên thiết bị di động thông qua việc tối ưu hóa hồ sơ mô hình. Phương pháp này cho phép điện thoại thông minh xây dựng một phiên bản 'hồ sơ năng lực' đã được nén và tối ưu hóa cho các mô hình AI nhỏ, nhẹ, chạy trên thiết bị. Thay vì gửi yêu cầu lên đám mây, hệ thống sẽ ưu tiên sử dụng các mô hình có sẵn trên máy để xử lý các tác vụ đơn giản dựa trên hồ sơ của chúng. Đối với các tác vụ phức tạp vượt quá năng lực của mô hình trên máy, hệ thống mới chuyển sang sử dụng dịch vụ đám mây. Điều này giúp tiết kiệm pin đáng kể, giảm sử dụng dữ liệu di động và tăng tốc độ xử lý cho các tác vụ thông thường.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.00180 |
| ArXiv Abstract | https://arxiv.org/abs/2605.00180 |
| PDF Download | https://arxiv.org/pdf/2605.00180.pdf |
| Github Repository | https://github.com/ulab-uiuc/RouteProfile |
17. EvolveMem:Self-Evolving Memory Architecture via AutoResearch for LLM Agents (21 votes)
Tác giả: Jiaqi Liu, Xinyu Ye, Peng Xia, Zeyu Zheng, Cihang Xie, Mingyu Ding, Huaxiu Yao
Xuất bản lúc: 2026-05-13
Tag: LLM Agents, Long-term Memory, AutoResearch, Retrieval-Augmented Generation, Self-Evolution
I. Main Problem:
Các hệ thống bộ nhớ hiện tại cho các tác nhân mô hình ngôn ngữ lớn (LLM) chỉ phát triển nội dung được lưu trữ, trong khi cơ sở hạ tầng truy xuất (chức năng chấm điểm, chiến lược hợp nhất, chính sách tạo câu trả lời) vẫn cố định sau khi triển khai. Điều này tạo ra sự không phù hợp khi bộ nhớ phát triển về quy mô và độ phức tạp: một cấu hình truy xuất cố định không thể phục vụ tối ưu cho tất cả các loại câu hỏi khác nhau (tra cứu thực tế, suy luận thời gian, suy luận đa bước) cùng một lúc.
II. Main Idea:
Bài báo đề xuất EVOLVEMEM, một kiến trúc bộ nhớ tự phát triển cơ sở hạ tầng truy xuất của nó thông qua vòng lặp chẩn đoán đóng do LLM điều khiển. EVOLVEMEM kết hợp một kho lưu trữ kiến thức đã được phân loại với một bộ truy xuất đa góc nhìn (từ vựng, ngữ nghĩa, siêu dữ liệu có cấu trúc) và phơi bày toàn bộ cấu hình truy xuất như một không gian hành động có cấu trúc. Một mô-đun chẩn đoán sử dụng LLM đọc nhật ký lỗi cho từng câu hỏi, phân loại nguyên nhân gốc rễ và đề xuất các điều chỉnh cấu hình có mục tiêu. Một bộ phân tích được bảo vệ sẽ áp dụng các điều chỉnh này với các cơ chế đảm bảo tự động hoàn nguyên nếu có sự suy giảm và khám phá khi bị đình trệ. Vòng lặp tự phát triển khép kín này tạo ra một quá trình 'AutoResearch' (Tự nghiên cứu): hệ thống tự động tiến hành các chu kỳ nghiên cứu lặp đi lặp lại trên kiến trúc của chính nó, thay thế việc điều chỉnh cấu hình thủ công.
III. Main Results:
Trên bộ dữ liệu LoCoMo, EVOLVEMEM vượt qua baseline mạnh nhất tới 25.7% tương đối (và đạt mức cải thiện 78.0% tương đối so với baseline tối thiểu). Trên bộ dữ liệu MemBench, EVOLVEMEM vượt baseline mạnh nhất tới 18.9% tương đối. Các cấu hình được phát triển có khả năng chuyển giao tích cực giữa các benchmark, cho thấy quá trình tự phát triển nắm bắt được các nguyên tắc truy xuất phổ quát hơn là các heuristic dành riêng cho benchmark. Ba chiều cấu hình mới (hoán đổi thực thể, phân rã truy vấn, xác minh câu trả lời) đã được phát hiện tự động thông qua quá trình chẩn đoán lỗi, không phải do con người lập trình sẵn.
IV. Conclusion & Future Works:
EVOLVEMEM là kiến trúc bộ nhớ đầu tiên tự động phát triển cơ sở hạ tầng truy xuất của nó, hiện thực hóa quá trình AutoResearch giúp khám phá các chiến lược truy xuất hiệu quả mà không cần tinh chỉnh thủ công. Các hướng phát triển trong tương lai bao gồm mở rộng khả năng tự phát triển dựa trên AutoResearch này sang các kịch bản động (ví dụ: các tác vụ thay đổi liên tục) và các cài đặt đa phương thức (ví dụ: văn bản, hình ảnh, âm thanh).
V. Brainstorming Space:
1. Publish Papers:
- Phát triển một cơ chế bộ nhớ LLM tự động thích ứng với tần suất truy cập và mức độ quan trọng của từng mảnh ký ức, tối ưu hóa việc lưu trữ và truy xuất dựa trên hành vi của người dùng trong các phiên tương tác dài hạn.
- Nghiên cứu khả năng kết hợp EVOLVEMEM với các kỹ thuật học tăng cường để tự động tối ưu hóa chiến lược truy xuất và cấu hình bộ nhớ cho các tác nhân AI trong môi trường có độ biến động cao.
- Mở rộng kiến trúc EVOLVEMEM để hỗ trợ bộ nhớ đa phương thức (văn bản và hình ảnh), cho phép các tác nhân LLM truy xuất và suy luận từ cả nội dung văn bản và hình ảnh trong các phiên tương tác.
2. Patent:
- Phương pháp và hệ thống tự động tối ưu hóa bộ nhớ cho trợ lý ảo trên thiết bị di động: Hệ thống này cho phép trợ lý ảo trên điện thoại tự động học hỏi và ghi nhớ sở thích, thói quen của người dùng (ví dụ: địa điểm yêu thích, lịch trình thường lệ) theo thời gian. Nó không chỉ lưu trữ thông tin mà còn tự động điều chỉnh cách thức tìm kiếm thông tin đó khi cần, giúp trả lời các câu hỏi phức tạp như 'bữa tối hôm qua tôi đã ăn món gì ở đâu?' một cách chính xác, ngay cả khi người dùng thay đổi cách diễn đạt.
- Ứng dụng quản lý danh bạ và tin nhắn thông minh với khả năng tự học: Một ứng dụng trên điện thoại có thể tự động xây dựng 'hồ sơ' về mỗi người trong danh bạ dựa trên lịch sử tin nhắn và cuộc gọi. Khi người dùng hỏi 'bạn thân của tôi tên là gì nhỉ?' hoặc 'tôi đã hẹn đi xem phim với ai vào thứ Bảy?', ứng dụng không chỉ tra cứu tên mà còn có thể tự động điều chỉnh cách tìm kiếm dựa trên các mối quan hệ và sự kiện trong quá khứ, mang lại câu trả lời chính xác hơn.
- Phương pháp cá nhân hóa trải nghiệm duyệt web trên thiết bị di động thông qua bộ nhớ tự phát triển: Hệ thống ghi nhớ các bài báo, sản phẩm mà người dùng đã xem, cũng như các chủ đề họ quan tâm. Khi người dùng tìm kiếm một thông tin mới (ví dụ: 'máy tính xách tay'), hệ thống có thể tự động điều chỉnh cách truy xuất các ký ức liên quan (ví dụ: ưu tiên các bài đánh giá về máy tính xách tay chơi game nếu người dùng thường xem nội dung về game) để đưa ra các gợi ý và kết quả tìm kiếm phù hợp nhất.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.13941 |
| ArXiv Abstract | https://arxiv.org/abs/2605.13941 |
| PDF Download | https://arxiv.org/pdf/2605.13941.pdf |
| Github Repository | N/A |
18. Realiz3D: 3D Generation Made Photorealistic via Domain-Aware Learning (18 votes)
Tác giả: Ido Sobol, Kihyuk Sohn, Yoav Blum, Egor Zakharov, Max Bluvstein, Andrea Vedaldi, Or Litany
Xuất bản lúc: 2026-03-25
Tag: Diffusion Models, 3D Generation, Multiview Generation, Domain Adaptation, ControlNet
I. Main Problem:
Các mô hình sinh ảnh dạng khuếch tán (diffusion models) hiện tại gặp khó khăn trong việc kết hợp khả năng điều khiển 3D chính xác (ví dụ: hình dạng, chất liệu, góc nhìn) với tính chân thực cao. Việc huấn luyện các mô hình này trên dữ liệu tổng hợp (synthetic renders) để học các tín hiệu điều khiển thường làm giảm chất lượng ảnh thực do sự khác biệt về miền dữ liệu (domain gap) giữa ảnh thật và ảnh render.
II. Main Idea:
Bài báo giới thiệu Realiz3D, một khung huấn luyện nhẹ giúp tách biệt miền dữ liệu (thực hay tổng hợp) khỏi các tín hiệu điều khiển 3D. Cốt lõi của phương pháp là:
- Domain Shifter: Một bộ chuyển đổi dư thừa hạng thấp (low-rank residual adapter) học một vector nhúng cho từng miền (thực/tổng hợp) và thêm vào các đặc trưng tiềm ẩn của mô hình. Điều này cho phép mô hình học cách phân biệt miền mà không ảnh hưởng đến các tín hiệu điều khiển.
- Huấn luyện hai giai đoạn: Giai đoạn 1, chỉ huấn luyện Domain Shifter để phân biệt ảnh thật và ảnh tổng hợp; Giai đoạn 2, huấn luyện mô hình nền với dữ liệu tổng hợp để học các tín hiệu điều khiển 3D, trong khi Domain Shifter được giữ nguyên.
- Gắn kết biểu diễn (Representation Binding): Chiến lược huấn luyện và suy luận tận dụng đặc tính phân cấp của mô hình khuếch tán: các lớp và bước khử nhiễu đầu tiên quyết định cấu trúc (chung cho cả hai miền), trong khi các lớp và bước sau quyết định chi tiết bề mặt. Nhờ đó, mô hình có thể chuyển giao khả năng điều khiển từ miền tổng hợp sang miền thực mà vẫn giữ được tính chân thực.
III. Main Results:
Realiz3D đạt được kết quả vượt trội về tính chân thực so với các phương pháp baseline khác (như fine-tinning thuần túy hoặc các adapter khác) trên hai tác vụ: tạo kết cấu đa góc nhìn (multiview texturing) và tạo ảnh đa góc nhìn từ văn bản (text-to-multiview generation). Cụ thể, Realiz3D cải thiện đáng kể các chỉ số đánh giá tính chân thực (FID, KID) trên cả tập dữ liệu tổng hợp và thực tế, đồng thời vẫn duy trì độ nhất quán 3D (PSNR, SSIM, LPIPS) ở mức tương đương với baseline huấn luyện trên dữ liệu tổng hợp.
IV. Conclusion & Future Works:
Realiz3D đánh dấu một bước tiến quan trọng trong việc tạo ra các nội dung 3D vừa chân thực vừa có khả năng điều khiển cao. Hạn chế của phương pháp bao gồm: (1) khoảng cách nhỏ về độ chính xác điều khiển, (2) sự khác biệt miền đôi khi còn xuất hiện ở hình dạng, và (3) ảnh hưởng của độ chệch ánh sáng từ mô hình nền. Hướng phát triển trong tương lai có thể là kết hợp với các kỹ thuật tái chiếu sáng (relighting) để khắc phục các hạn chế này.
V. Brainstorming Space:
1. Publish Papers:
- Phát triển Domain Shifter cho các loại tín hiệu điều khiển khác: Nghiên cứu khả năng mở rộng của Domain Shifter để xử lý các tín hiệu điều khiển phức tạp hơn như bản đồ ngữ nghĩa (semantic maps) hoặc hướng dẫn từng vùng (regional guidance), không chỉ giới hạn ở các tín hiệu hình học như normal map hay depth map.
- Kết hợp Realiz3D với kỹ thuật Relighting để nâng cao tính chân thực: Tích hợp một mô-đun tái chiếu sáng (relighting module) vào pipeline Realiz3D để tạo ra các vật thể 3D có thể thay đổi ánh sáng linh hoạt, giúp hình ảnh trở nên chân thực và sống động hơn trong nhiều điều kiện môi trường khác nhau.
- Ứng dụng Realiz3D trong tạo video 3D nhất quán: Mở rộng khung Realiz3D từ tạo ảnh tĩnh đa góc nhìn sang tạo video 3D, nơi các khung hình phải nhất quán về mặt hình học và chân thực về mặt thị giác, mở ra hướng đi mới cho lĩnh vực sinh nội dung 3D động.
2. Patent:
- Phương pháp và hệ thống tạo ảnh đại diện 3D chân thực cho điện thoại thông minh: Sử dụng Realiz3D để tạo ảnh đại diện (avatar) 3D từ một vài bức ảnh selfie. Hệ thống sẽ phân tích khuôn mặt người dùng, tạo bản đồ hình dạng (normal map) và sau đó dùng Realiz3D để tạo ra một mô hình 3D chân thực với nhiều góc nhìn khác nhau, có thể dùng trong các ứng dụng video call, mạng xã hội hoặc trò chơi trên di động.
- Ứng dụng tạo kết cấu 3D cho các vật thể trong thực tế ảo tăng cường (AR/VR) trên smartphone: Một ứng dụng cho phép người dùng chụp ảnh một vật thể bất kỳ, sau đó sử dụng Realiz3D để tạo ra kết cấu 3D chân thực cho vật thể đó. Kết quả có thể được sử dụng ngay trên điện thoại để đặt vật thể 3D vào không gian thực qua camera, phục vụ cho mục đích mua sắm trực tuyến hoặc thiết kế nội thất.
- Công cụ chỉnh sửa ảnh thông minh dựa trên tín hiệu 3D cho thiết bị di động: Một ứng dụng chỉnh sửa ảnh cho phép người dùng vẽ một vài nét phác thảo hoặc chọn một hình dạng 3D cơ bản, sau đó sử dụng Realiz3D để tạo ra một đối tượng 3D chân thực và nhất quán với bức ảnh nền. Điều này giúp người dùng dễ dàng thêm, bớt hoặc thay đổi các vật thể trong ảnh một cách trực quan và chuyên nghiệp ngay trên điện thoại.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.13852 |
| ArXiv Abstract | https://arxiv.org/abs/2605.13852 |
| PDF Download | https://arxiv.org/pdf/2605.13852.pdf |
| Github Repository | N/A |
19. ATLAS: Agentic or Latent Visual Reasoning? One Word is Enough for Both (16 votes)
Tác giả: Ziyu Guo, Rain Liu, Xinyan Chen, Pheng-Ann Heng
Xuất bản lúc: 2026-05-14
Tag: Vision-Language Models, Visual Reasoning, Functional Tokens, Reinforcement Learning, GRPO, Autoregressive Generation
I. Main Problem:
Các mô hình Vision-Language hiện tại gặp khó khăn trong suy luận trực quan đa bước, vốn yêu cầu tạo ra hoặc thao tác các trạng thái hình ảnh trung gian. Các phương pháp hiện có như tạo ảnh ở mức pixel (unified models) có chi phí tính toán cao, suy luận tác nhân (agentic reasoning) gây độ trễ do gọi công cụ bên ngoài, còn suy luận tiềm ẩn (latent reasoning) khó tổng quát hóa và không tương thích với huấn luyện song song tiêu chuẩn.
II. Main Idea:
Bài báo đề xuất ATLAS, một framework trong đó mỗi thao tác trực quan được biểu diễn dưới dạng một 'từ chức năng' (functional token) duy nhất trong từ vựng của tokenizer. Các token này vừa đóng vai trò như một thao tác tác nhân (agentic operation) vừa là một đơn vị suy luận tiềm ẩn (latent reasoning unit). Chúng được sinh ra thông qua dự đoán token tiếp theo (next-token prediction) tiêu chuẩn, không cần giám sát hình ảnh, vẫn tương thích với huấn luyện SFT và RL thông thường. Để giải quyết vấn đề 'pha loãng gradient' cho các token chức năng thưa thớt trong RL, bài báo giới thiệu LA-GRPO, một biến thể của GRPO bổ sung mục tiêu phụ dựa trên token (token-level auxiliary objective) neo vào vị trí các token chức năng để ổn định quá trình huấn luyện.
III. Main Results:
ATLAS đạt hiệu suất vượt trội trên các benchmark thử thách như BLINK (từ 22.8% lên 51.3% với ATLAS LA-GRPO so với Qwen2.5-VL cơ sở) và WeMath (từ 36.2% lên 45.0%). LA-GRPO cải thiện hiệu suất tổng thể và cân bằng hơn so với GRPO tiêu chuẩn, đặc biệt trên các tập con như Art Style, Counting, Forensic Detection và Multi-view Reasoning.
IV. Conclusion & Future Works:
ATLAS chứng minh rằng các token chức năng rời rạc có thể kết hợp hiệu quả ưu điểm của suy luận tác nhân và suy luận tiềm ẩn, đồng thời khắc phục nhược điểm của cả hai. Hướng phát triển tương lai có thể mở rộng bộ từ vựng token chức năng để bao phủ nhiều thao tác trực quan đa dạng hơn, áp dụng ATLAS cho các mô hình lớn hơn và nghiên cứu thêm các cơ chế tối ưu hóa token.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng bộ từ vựng Functional Token: Nghiên cứu thêm các token chức năng mới như <|Rotate|>, <|Scale|>, <|Filter|> để bao phủ nhiều thao tác xử lý ảnh phức tạp hơn, mở rộng khả năng suy luận trực quan sang các lĩnh vực như chỉnh sửa ảnh, thiết kế đồ họa.
- ATLAS cho Video Reasoning: Áp dụng framework ATLAS cho suy luận video, nơi các token chức năng có thể đại diện cho các thao tác trên khung hình như <|Seek|>, <|Highlight|>, <|Track|>, giúp mô hình suy luận đa bước trên luồng video.
- Kết hợp ATLAS với Chain-of-Thought: Nghiên cứu cách tích hợp các token chức năng vào chuỗi suy luận (Chain-of-Thought) để tạo ra các bước suy luận trực quan rõ ràng và có cấu trúc hơn, cải thiện khả năng giải thích và độ chính xác.
2. Patent:
- Phương pháp và hệ thống hỗ trợ học sinh giải toán hình học trên thiết bị di động: Sử dụng camera để chụp đề bài, mô hình ATLAS tự động vẽ các đường phụ, đánh dấu các điểm và góc trên ảnh gốc thông qua các token chức năng, sau đó đưa ra lời giải chi tiết từng bước.
- Ứng dụng hỗ trợ người khiếm thị nhận biết và tương tác với không gian xung quanh: Sử dụng camera điện thoại, mô hình ATLAS phân tích ảnh chụp, sử dụng các token như <|Shape|> để khoanh vùng đối tượng, <|Text|> để đọc tên đối tượng, giúp người dùng hiểu bố cục và tìm đồ vật trong phòng.
- Phương pháp chơi game chiến thuật (cờ vua, cờ tướng) thông qua nhập liệu hình ảnh: Người dùng chụp ảnh bàn cờ, ứng dụng sử dụng ATLAS để phân tích trạng thái bàn cờ, dùng token <|Arrow|> để gợi ý các nước đi, <|Text|> để giải thích chiến thuật, mang lại trải nghiệm học chơi cờ trực quan.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.15198 |
| ArXiv Abstract | https://arxiv.org/abs/2605.15198 |
| PDF Download | https://arxiv.org/pdf/2605.15198.pdf |
| Github Repository | N/A |
20. Learning to Communicate Locally for Large-Scale Multi-Agent Pathfinding (16 votes)
Tác giả: Valeriy Vyaltsev, Alsu Sagirova, Anton Andreychuk, Oleg Bulichev, Yuri Kuratov, Konstantin Yakovlev, Aleksandr Panov, Alexey Skrynnik
Xuất bản lúc: 2026-05-12
Tag: Multi-Agent Pathfinding, Transformer, Imitation Learning, Communication, Decentralized Planning, POGEMA
I. Main Problem:
Bài toán Multi-Agent Pathfinding (MAPF) là tìm đường đi không va chạm cho nhiều tác tử trong cùng một môi trường. Giải quyết MAPF một cách tối ưu là bài toán NP-khó, và các phương pháp học máy hiện tại thường thiếu khả năng giao tiếp hiệu quả giữa các tác tử, dẫn đến sự phối hợp kém và hiệu năng không cao trong các tình huống phức tạp. Cụ thể, mô hình MAPF-GPT tiên tiến nhất dù học được hành vi hợp tác từ dữ liệu nhưng không có cơ chế giao tiếp tường minh giữa các tác tử, hạn chế khả năng phối hợp.
II. Main Idea:
Tác giả đề xuất khung học giao tiếp địa phương LC-MAPF (Local Communication for Multi-agent Pathfinding) cho phép các tác tử trao đổi thông tin qua nhiều vòng (multi-round) với các tác tử lân cận. Kiến trúc mô hình là Transformer với 3 triệu tham số, sử dụng một nút cổ chai thông tin (latent bottleneck) để nén biểu diễn cục bộ của mỗi tác tử thành một trạng thái tiềm ẩn nhỏ gọn. Trạng thái này tham gia vào các vòng giao tiếp tuần tự, nơi mỗi tác tử nhận và gửi thông điệp cho các tác tử xung quanh, từ đó cải thiện dần phân phối hành động dự đoán. Quá trình giao tiếp được học hoàn toàn từ dữ liệu chuyên gia (expert demonstrations) mà không cần giám sát rõ ràng về nội dung thông điệp. Thông điệp được tối ưu hóa gián tiếp thông qua gradient từ hàm mất mát hành động của tác tử nhận được.
III. Main Results:
LC-MAPF vượt trội hơn tất cả các phương pháp học MAPF hiện có (MAPF-GPT-85M, MAPF-GPT-DDG, SCRIMP, DCC, HMAGAT, MAGAT+) trên benchmark POGEMA ở cả chỉ số tỷ lệ thành công và chi phí giải pháp. Mô hình duy trì khả năng mở rộng tuyến tính với số lượng tác tử (lên đến 5000 tác tử trên bản đồ 256x256). Thí nghiệm cho thấy 4 vòng giao tiếp là tối ưu cho hiệu suất. Mô hình vẫn hoạt động tốt ngay cả khi 50% thông điệp bị lỗi. Các thử nghiệm trên robot thực tế cho thấy khả năng áp dụng thành công trong môi trường vật lý.
IV. Conclusion & Future Works:
LC-MAPF là một khung học giao tiếp hiệu quả cho MAPF phi tập trung, tận dụng dữ liệu chuyên gia mà không cần giám sát giao tiếp rõ ràng. Mô hình vượt trội so với các phương pháp học hiện tại trên benchmark POGEMA, cải thiện sự phối hợp và hợp tác qua nhiều kịch bản khác nhau. Khả năng mở rộng tuyến tính và khả năng kháng lỗi thông điệp là những ưu điểm quan trọng. Hướng nghiên cứu tương lai có thể bao gồm cải thiện khả năng xử lý lỗi giao tiếp, mở rộng sang môi trường động không hoàn toàn quan sát được, và tích hợp với các cơ chế bảo vệ va chạm tiên tiến hơn.
V. Brainstorming Space:
1. Publish Papers:
- 1. Giảm thiểu tác động của lỗi giao tiếp trong MAPF bằng cơ chế dự phòng thích ứng: Nghiên cứu các phương pháp giúp mô hình LC-MAPF duy trì hiệu suất cao hơn khi tỷ lệ lỗi thông điệp tăng lên (ví dụ: huấn luyện với mô hình nhiễu thông minh hơn, thêm cơ chế dự phòng dựa trên lịch sử quan sát).
- 2. Mở rộng LC-MAPF cho môi trường động và không hoàn toàn quan sát được: Phát triển phiên bản LC-MAPF có thể xử lý các thay đổi bất ngờ trong môi trường (ví dụ: vật cản mới, mục tiêu thay đổi) mà không cần huấn luyện lại, dựa trên cơ chế fine-tuning nhanh hoặc học tăng cường.
- 3. Kết hợp LC-MAPF với các bộ giải MAPF tập trung để đạt hiệu suất cao hơn: Nghiên cứu kiến trúc hybrid nơi LC-MAPF đưa ra quyết định nhanh, và một bộ giải tập trung (ví dụ: LaCAM*) được gọi đến để xử lý các tình huống xung đột phức tạp mà mô hình phân tán không giải quyết được.
2. Patent:
- 1. Ứng dụng trên điện thoại thông minh: Hệ thống điều hướng nhóm robot bảo trì cơ sở hạ tầng (ví dụ: robot vệ sinh tòa nhà) có thể giao tiếp và phối hợp với nhau qua mạng Wi-Fi. Mỗi robot chỉ cần quan sát cục bộ bằng camera và cảm biến, và trao đổi thông tin vị trí, hướng di chuyển với các robot lân cận. Hệ thống giúp tránh tắc nghẽn và va chạm, tối ưu hóa lộ trình dọn dẹp cho toàn bộ đội robot mà không cần một máy chủ trung tâm điều khiển.
- 2. Ứng dụng trên điện thoại thông minh: Ứng dụng điều phối xe tự hành trong nhà máy thông minh. Các xe AGV (Automated Guided Vehicle) được trang bị cảm biến và module giao tiếp. Mỗi xe sử dụng mô hình học giao tiếp để dự đoán hành động của các xe lân cận dựa trên thông tin trao đổi qua nhiều vòng, giúp giảm thiểu thời gian chờ đợi và tối ưu hóa luồng di chuyển hàng hóa. Ứng dụng trên điện thoại của quản lý có thể giám sát toàn bộ hệ thống và can thiệp khi cần.
- 3. Ứng dụng trên điện thoại thông minh: Hệ thống điều khiển bầy drone giao hàng trong khu đô thị. Mỗi drone có khả năng quan sát các drone lân cận (qua camera hoặc tín hiệu) và trao đổi thông tin về tuyến bay dự kiến. Thông qua giao tiếp nhiều vòng, các drone tự động thương lượng và điều chỉnh đường bay để tránh va chạm, đồng thời tối ưu hóa thời gian giao hàng tổng thể. Ứng dụng trên điện thoại cho phép người dùng theo dõi trạng thái đơn hàng và vị trí drone.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.07637 |
| ArXiv Abstract | https://arxiv.org/abs/2605.07637 |
| PDF Download | https://arxiv.org/pdf/2605.07637.pdf |
| Github Repository | N/A |
21. Long Context Pre-Training with Lighthouse Attention (16 votes)
Tác giả: Bowen Peng, Subho Ghosh, Jeffrey Quesnelle
Xuất bản lúc: 2026-05-07
Tag: Long Context, Sparse Attention, Hierarchical Attention, FlashAttention, LLMs, Pre-training
I. Main Problem:
Huấn luyện các mô hình Transformer với độ dài chuỗi cực lớn (hàng trăm nghìn token) bị giới hạn bởi chi phí tính toán và bộ nhớ bậc hai (O(N²)) của cơ chế attention tích vô hướng có tỉ lệ (SDPA). Các phương pháp attention thưa hiện tại có hai nhược điểm chính khi huấn luyện: (1) Bất đối xứng: chỉ nén khóa (keys) và giá trị (values) mà không nén truy vấn (queries); (2) Gắn chặt kiến trúc: việc chọn lọc nằm bên trong kernel attention, không thể tái sử dụng các kernel dense đã được tối ưu hóa. Ngoài ra, các phương pháp thưa trong huấn luyện cần đảm bảo rằng mô hình sau khi huấn luyện vẫn có thể sử dụng tốt attention đầy đủ (dense).
II. Main Idea:
Bài báo đề xuất Lighthouse Attention, một cơ chế attention phân cấp dựa trên chọn lọc đối xứng, chỉ dùng cho huấn luyện. Nó bao gồm các bước: (1) Xây dựng kim tự tháp đối xứng: Trung bình cộng (mean-pool) cả ba thành phần Query (Q), Key (K), Value (V) thành các biểu diễn đa tỉ lệ, giữ lại tính nhân quả. (2) Chọn lọc không tham số: Sử dụng chuẩn ℓ₂ và top-K hai chiều để chọn ra các mục nhập (entries) quan trọng nhất từ tất cả các cấp độ. (3) Attention trên chuỗi con dày đặc: Gom các mục nhập đã chọn thành một chuỗi liên tục và thực hiện FlashAttention tiêu chuẩn trên đó. (4) Phân tán ngược (Scatter-back): Phân phối kết quả attention về các vị trí gốc. Quá trình chọn lọc không có gradient (non-differentiable), gradient chỉ lan truyền qua các bước gather, FlashAttention và scatter, giúp các ma trận chiếu học cách tạo ra các giá trị hữu ích khi được chọn.
III. Main Results:
Thí nghiệm trên mô hình 530M tham số cho thấy: (1) Sau một giai đoạn hồi phục ngắn với SDPA dày đặc, mô hình huấn luyện với Lighthouse Attention đạt hoặc vượt baseline huấn luyện dense từ đầu (loss 0.6980-0.7102 so với 0.7237). (2) Lighthouse Attention nhanh hơn SDPA dense 21 lần ở forward pass và 17.3 lần ở forward+backward tại độ dài ngữ cảnh 512K. (3) Tốc độ huấn luyện end-to-end nhanh hơn 1.40 đến 1.69 lần so với dense SDPA trên cùng ngân sách token, với loss cuối cùng thấp hơn hoặc tương đương.
IV. Conclusion & Future Works:
Lighthouse Attention là một phương pháp attention phân cấp dựa trên chọn lọc đối xứng hiệu quả cho việc tiền huấn luyện ngữ cảnh dài, mang lại tốc độ đáng kể mà không làm giảm chất lượng mô hình sau khi hồi phục dense. Hướng phát triển trong tương lai bao gồm: (1) Kết hợp với các mục tiêu thưa bất đối xứng để có checkpoint sẵn sàng cho suy luận; (2) Ngân sách top-K thích ứng theo từng lớp hoặc từng đầu; (3) Mở rộng kim tự tháp đa tỉ lệ cho thị giác, âm thanh và video; (4) Tích hợp với các hệ thống phục vụ (continuous batching, speculative decoding).
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Lighthouse Attention cho các tác vụ đa phương thức (Vision-Language, Video Understanding): Nghiên cứu cách áp dụng cấu trúc kim tự tháp đối xứng và cơ chế chọn lọc không tham số cho các đầu vào đa phương thức như hình ảnh, video và âm thanh. Bài toán đặt ra là làm thế nào để đồng nhất hóa các biểu diễn từ các modality khác nhau trong cùng một không gian đa tỉ lệ và chọn lọc các phần quan trọng để giảm chi phí tính toán khi huấn luyện với ngữ cảnh cực dài (ví dụ: video dài hàng giờ). Hướng này có thể dẫn đến các mô hình nền tảng đa phương thức hiệu quả hơn.
- Kết hợp Lighthouse Attention với các chiến lược chọn lọc thích ứng (Adaptive Selection): Thay vì dùng ngân sách top-K cố định, nghiên cứu các phương pháp để tự động điều chỉnh k (số lượng mục được chọn) dựa trên độ phức tạp của ngữ cảnh hoặc từng lớp transformer. Có thể sử dụng một mô hình 'gate' nhẹ để dự đoán mức độ thưa thớt cần thiết. Điều này có thể cải thiện thêm hiệu quả tính toán mà không làm giảm chất lượng, đặc biệt là khi phân phối độ dài ngữ cảnh thay đổi mạnh trong quá trình huấn luyện.
- Phân tích lý thuyết về tính hội tụ và khả năng tổng quát hóa của các phương pháp huấn luyện attention phân cấp: Xây dựng các nền tảng lý thuyết để giải thích tại sao việc huấn luyện với attention thưa (như Lighthouse) sau đó hồi phục bằng attention dense lại hoạt động tốt. Nghiên cứu này có thể khám phá mối liên hệ giữa sự chính quy hóa (regularization) mà cơ chế chọn lọc mang lại và khả năng tổng quát hóa của mô hình. Kết quả có thể cung cấp các hướng dẫn thiết kế tốt hơn cho các kiến trúc attention thưa trong tương lai.
2. Patent:
- Phương pháp tóm tắt văn bản siêu dài trên thiết bị di động: Sử dụng Lighthouse Attention để tạo ra các bản tóm tắt chất lượng cao cho các tài liệu rất dài (ví dụ: sách điện tử, báo cáo dài) ngay trên điện thoại. Cơ chế kim tự tháp sẽ nén văn bản thành các cấp độ thô hơn, cho phép mô hình 'nhìn' toàn bộ tài liệu một cách hiệu quả. Sau đó, quá trình chọn lọc sẽ tập trung vào các phần quan trọng để tạo ra bản tóm tắt, giúp tiết kiệm pin và tăng tốc độ xử lý so với các phương pháp attention đầy đủ.
- Hệ thống tìm kiếm và tra cứu thông tin theo ngữ cảnh trên điện thoại: Một ứng dụng cho phép người dùng đặt câu hỏi về nội dung của toàn bộ cuộc trò chuyện, email hoặc ghi chú dài. Lighthouse Attention được sử dụng để 'quét' nhanh qua toàn bộ lịch sử, chọn lọc các đoạn văn bản có liên quan nhất đến câu hỏi, sau đó tạo ra câu trả lời chính xác. Cơ chế này hoạt động nhanh và tiết kiệm bộ nhớ, phù hợp với các thiết bị có tài nguyên hạn chế như điện thoại thông minh.
- Tính năng chỉnh sửa ảnh và video thông minh dựa trên mô tả văn bản dài: Người dùng có thể cung cấp một đoạn mô tả chi tiết, dài (ví dụ: 'làm cho bầu trời xanh hơn, giảm độ sáng ở góc trái, và thêm một con chim ở phía xa') để chỉnh sửa ảnh hoặc video. Mô hình sử dụng Lighthouse Attention để xử lý hiệu quả cả mô tả văn bản dài và các khung hình video (có thể xem như một chuỗi rất dài). Cơ chế chọn lọc giúp mô hình tập trung vào các phần mô tả và khung hình có liên quan nhất, cho phép thực hiện các chỉnh sửa phức tạp một cách mượt mà và nhanh chóng trên thiết bị di động.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.06554 |
| ArXiv Abstract | https://arxiv.org/abs/2605.06554 |
| PDF Download | https://arxiv.org/pdf/2605.06554.pdf |
| Github Repository | https://github.com/ighoshsubho/lighthouse-attention |
22. FrontierSmith: Synthesizing Open-Ended Coding Problems at Scale (15 votes)
Tác giả: Runyuan He, Qiuyang Mang, Shang Zhou, Kaiyuan Liu, Hanchen Li, Huanzhi Mao, Qizheng Zhang, Zerui Li, Bo Peng, Lufeng Cheng, Tianfu Fu, Yichuan Wang, Wenhao Chai, Jingbo Shang, Alex Dimakis, Joseph E. Gonzalez, Alvin Cheung
Xuất bản lúc: 2026-05-14
Tag: LLMs, Open-Ended Coding, Data Synthesis, GRPO, RL, Mutation, Idea Divergence
I. Main Problem:
Các tác vụ lập trình mở rộng (open-ended coding) như tối ưu hóa hệ thống, lập lịch cluster, hay thiết kế heuristic vẫn là điểm yếu của các mô hình ngôn ngữ lớn (LLM), chủ yếu vì dữ liệu huấn luyện dạng này cực kỳ khan hiếm và đắt đỏ để xây dựng thủ công. Trong khi đó, các bài toán đóng (closed-ended) có sẵn rất nhiều. Các phương pháp tổng hợp dữ liệu hiện tại chỉ giải quyết được các bài toán đóng, chứ không phải dạng mở.
II. Main Idea:
Bài báo giới thiệu FrontierSmith, một hệ thống tự động biến đổi các bài toán lập trình đóng thành bài toán mở ở quy mô lớn. Quy trình gồm: (1) Đột biến (Mutate) bài toán đóng theo ba hướng: thay đổi mục tiêu, hạn chế đầu ra, tổng quát hóa đầu vào để loại bỏ lời giải tối ưu đã biết. (2) Lọc bằng độ phân kỳ ý tưởng (idea divergence) để chọn ra các bài toán thực sự có nhiều chiến lược giải khác nhau. (3) Tự động xây dựng bộ kiểm thử và bộ chấm điểm liên tục (không phải đúng/sai nhị phân) cho các bài toán sống sót.
III. Main Results:
Huấn luyện Qwen3.5-9B trên 200 bài toán do FrontierSmith tạo ra giúp cải thiện +8.82 điểm trên FrontierCS và +306.36 Elo trên ALE-bench so với mô hình nền. Mô hình 27B cũng cải thiện tương ứng +12.12 và +309.12. Kết quả này ngang bằng hoặc vượt trội so với huấn luyện trên dữ liệu do con người tạo ra, và vượt xa so với huấn luyện trên bài toán đóng. Các bài toán tổng hợp cũng kích thích các tác nhân mã tương tác lâu hơn (nhiều lượt, nhiều token hơn), giống như bài toán mở do người thiết kế.
IV. Conclusion & Future Works:
FrontierSmith chứng minh rằng có thể tổng hợp dữ liệu lập trình mở ở quy mô lớn mà không cần chuyên gia tốn kém, cung cấp nguồn dữ liệu huấn luyện hiệu quả cho học tăng cường (RL) trên các tác vụ lập trình đường dài. Hướng phát triển tương lai bao gồm mở rộng sang các tác vụ phức tạp hơn như tối ưu hóa kernel GPU, các bài toán cấp độ repository, và áp dụng RL đa lượt (agentic RL).
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng từ giải thuật sang kiến trúc hệ thống: Áp dụng cơ chế đột biến (thay đổi mục tiêu, ràng buộc) để tổng hợp các bài toán tối ưu hóa kiến trúc phần mềm, như sắp xếp luồng xử lý trong pipeline hoặc thiết kế cấu trúc cơ sở dữ liệu phi tập trung.
- Học đa tác vụ từ dữ liệu tổng hợp đa dạng: Tạo ra một kho bài toán mở với nhiều 'độ phân kỳ ý tưởng' khác nhau, sau đó huấn luyện một mô hình duy nhất có khả năng thích ứng nhanh với nhiều dạng tối ưu hóa khác nhau thông qua học tăng cường.
- Đánh giá độ mở của bài toán bằng phân tích không gian lời giải: Phát triển một lý thuyết hoặc mô hình học sâu mới để phân tích không gian các lời giải khả thi của một bài toán, từ đó tự động dự đoán 'độ phân kỳ ý tưởng' mà không cần sinh lời giải mẫu.
2. Patent:
- Phương pháp tự động tạo bài kiểm tra tối ưu hóa cho ứng dụng di động: Hệ thống trên điện thoại tự động biến đổi một bài toán đóng (ví dụ: tìm đường đi ngắn nhất trên bản đồ) thành bài toán mở (ví dụ: tìm đường đi tối ưu với nhiều mục tiêu như thời gian, nhiên liệu, độ an toàn) và tự sinh ra các bộ dữ liệu kiểm thử để đánh giá chất lượng của các thuật toán giải trên thiết bị di động.
- Ứng dụng cá nhân hóa trải nghiệm người dùng qua tối ưu hóa đa mục tiêu: Sử dụng kỹ thuật 'đột biến' bài toán từ FrontierSmith để tạo ra các bài toán tối ưu hóa cho từng người dùng điện thoại. Ví dụ, bài toán sắp xếp lịch trình hàng ngày sẽ được biến đổi tự động dựa trên thói quen và ưu tiên riêng của mỗi người (thời gian, sức khỏe, chi phí) để tìm ra lịch trình tối ưu nhất.
- Công cụ hỗ trợ học lập trình trên thiết bị di động: Ứng dụng trên điện thoại sử dụng FrontierSmith để liên tục tạo ra các thử thách lập trình mới, từ đơn giản (tìm số lớn nhất) đến phức tạp (tối ưu hóa bộ nhớ). Ứng dụng sẽ tự động chấm điểm và đưa ra phản hồi dựa trên nhiều tiêu chí (tốc độ, dung lượng bộ nhớ), thay vì chỉ kiểm tra đúng/sai, giúp người dùng rèn luyện tư duy tối ưu hóa mọi lúc mọi nơi.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.14445 |
| ArXiv Abstract | https://arxiv.org/abs/2605.14445 |
| PDF Download | https://arxiv.org/pdf/2605.14445.pdf |
| Github Repository | https://github.com/FrontierCS/FrontierSmith |
23. DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models (14 votes)
Tác giả: Quanhao Li, Junqiu Yu, Kaixun Jiang, Yujie Wei, Zhen Xing, Pandeng Li, Ruihang Chu, Shiwei Zhang, Yu Liu, Zuxuan Wu
Xuất bản lúc: 2026-05-14
Tag: Diffusion Models, Reinforcement Learning, Knowledge Distillation, Multi-Task Learning, On-Policy Distillation
I. Main Problem:
Các phương pháp học tăng cường (RL) hiện tại cho mô hình khuếch tán (Diffusion) chủ yếu tối ưu hóa cho một tác vụ duy nhất. Khi mở rộng sang nhiều tác vụ, các phương pháp tối ưu hóa chung (joint optimization) gặp phải vấn đề xung đột mục tiêu và mất cân bằng độ khó giữa các tác vụ. Trong khi đó, phương pháp huấn luyện tuần tự (cascade RL) lại phức tạp, dễ gây ra hiện tượng quên kiến thức cũ (catastrophic forgetting). Do đó, cần một giải pháp huấn luyện đa tác vụ hiệu quả cho các mô hình khuếch tán.
II. Main Idea:
Bài báo đề xuất DiffusionOPD, một khung huấn luyện đa tác vụ mới cho mô hình khuếch tán dựa trên kỹ thuật chưng cất chính sách nội bộ (On-Policy Distillation - OPD). Ý tưởng chính là tách quá trình huấn luyện thành hai giai đoạn: (1) Huấn luyện các mô hình 'giáo viên' (teacher) riêng biệt cho từng tác vụ, và (2) Chưng cất kiến thức từ các giáo viên này vào một mô hình 'học sinh' (student) thống nhất. Quá trình chưng cất diễn ra dọc theo quỹ đạo lấy mẫu của chính học sinh (on-policy), giúp tránh xung đột giữa các tác vụ và giảm độ phức tạp huấn luyện. Về mặt lý thuyết, bài báo đã mở rộng OPD cho quá trình Markov liên tục, rút ra được một hàm mục tiêu KL-divergence dạng đóng cho từng bước, thống nhất cho cả bộ lấy mẫu SDE (ngẫu nhiên) và ODE (tất định). Dạng đóng này giúp việc tối ưu hóa có độ biến thiên thấp hơn so với phương pháp PPO truyền thống.
III. Main Results:
DiffusionOPD vượt trội hơn tất cả các phương pháp RL đa tác vụ khác (Multi-Task RL, Cascade RL) về cả hiệu quả huấn luyện và chất lượng đầu ra cuối cùng trên các benchmark như GenEval, OCR và tính thẩm mỹ (aesthetics). Cụ thể, phương pháp này đạt điểm Average cao nhất (0.929), vượt qua Cascade NFT (0.851) và các phương pháo khác. Thời gian huấn luyện cũng giảm đáng kể (97.01 giờ so với 148.49 giờ của Cascade NFT). Các thí nghiệm phân tích (ablation) cho thấy hàm mục tiêu KL dạng đóng cho kết quả tốt hơn PPO, và bộ lấy mẫu ODE cho tốc độ hội tụ nhanh hơn SDE.
IV. Conclusion & Future Works:
DiffusionOPD cung cấp một giải pháp hiệu quả và nguyên lý cho bài toán huấn luyện đa tác vụ của mô hình khuếch tán, giải quyết các vấn đề về xung đột mục tiêu và quên kiến thức. Bài báo hy vọng khung nền tảng này sẽ hữu ích cho các nghiên cứu trong tương lai về mô hình khuếch tán đa tác vụ và căn chỉnh theo sở thích (preference-aligned). Hướng phát triển có thể bao gồm việc áp dụng vào các kiến trúc mô hình khác và các tác vụ phức tạp hơn.
V. Brainstorming Space:
1. Publish Papers:
- Học Tăng Cường Đa Tác Vụ Cho Mô Hình Ngôn Ngữ Lớn Với Kỹ Thuật Chưng Cất Chính Sách: Nghiên cứu áp dụng khung OPD tương tự DiffusionOPD cho các mô hình ngôn ngữ lớn (LLMs). Thay vì xử lý ảnh, mô hình giáo viên sẽ được huấn luyện riêng cho các kỹ năng như viết code, viết văn bản sáng tạo, và trả lời câu hỏi. Mô hình học sinh sau đó được chưng cất để kết hợp tất cả các kỹ năng này, khắc phục vấn đề can thiệp giữa các tác vụ trong quá trình huấn luyện RL đa tác vụ thông thường.
- Chưng Cất Chính Sách Nội Bộ Cho Mô Hình Tạo Video Đa Mục Tiêu: Áp dụng DiffusionOPD vào lĩnh vực tạo video. Các mô hình giáo viên có thể được tối ưu hóa để tạo video có độ chuyển động mượt mà, độ phân giải cao, hoặc bám sát nội dung mô tả. Mô hình học sinh sau đó sẽ học cùng lúc các kỹ năng này thông qua chưng cất on-policy, giải quyết thách thức về tài nguyên tính toán và sự xung đột mục tiêu khi huấn luyện một mô hình tạo video chất lượng cao từ đầu.
- Mở Rộng Khung OPD Cho Mô Hình Khuếch Tán Có Điều Kiện Phức Tạp: Nghiên cứu hướng dẫn mô hình khuếch tán tạo ảnh dựa trên nhiều điều kiện đầu vào cùng lúc (ví dụ: văn bản + ảnh tham khảo + bản đồ bố cục). Sử dụng các mô hình giáo viên chuyên biệt cho từng loại điều kiện và chưng cất chúng vào một mô hình duy nhất, giúp mô hình cuối cùng hiểu và kết hợp linh hoạt các điều kiện khác nhau.
2. Patent:
- Phương Pháp Cá Nhân Hóa Hình Nền Điện Thoại Thông Minh: Một hệ thống trên điện thoại cho phép người dùng chọn nhiều phong cách ảnh khác nhau (ví dụ: tối giản, cổ điển, thiên nhiên) và mô tả chủ đề mong muốn bằng văn bản. Hệ thống này sử dụng kỹ thuật học từ nhiều giáo viên chuyên biệt (mỗi giáo viên giỏi một phong cách) để tạo ra một hình nền duy nhất đáp ứng đồng thời tất cả các yêu cầu trên, mà không cần huấn luyện lại mô hình từ đầu.
- Ứng Dụng Chỉnh Sửa Ảnh Tất Cả Trong Một Trên Điện Thoại: Một ứng dụng di động cho phép người dùng thực hiện nhiều thao tác chỉnh sửa ảnh cùng lúc, như thay đổi phông nền, tăng độ sắc nét cho khuôn mặt và áp dụng bộ lọc màu sắc yêu thích. Ứng dụng này dựa trên một mô hình duy nhất đã được huấn luyện bằng cách kết hợp kiến thức từ nhiều 'chuyên gia' khác nhau, mỗi chuyên gia giỏi một kỹ năng chỉnh sửa cụ thể, mang lại kết quả hài hòa và vượt trội.
- Hệ Thống Tạo Nội Dung Quảng Cáo Trên Điện Thoại Thông Minh: Một công cụ dành cho người dùng điện thoại, cho phép nhập văn bản mô tả sản phẩm và yêu cầu về tính thẩm mỹ (ví dụ: hiện đại, sang trọng) cũng như độ chính xác của văn bản trong ảnh (ví dụ: tên thương hiệu). Công cụ này sử dụng kỹ thuật học từ nhiều mô hình chuyên gia (như các mô hình giỏi về thẩm mỹ và giỏi về văn bản) để tạo ra một ảnh quảng cáo chất lượng cao, đáp ứng tất cả các yêu cầu một cách nhanh chóng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.15055 |
| ArXiv Abstract | https://arxiv.org/abs/2605.15055 |
| PDF Download | https://arxiv.org/pdf/2605.15055.pdf |
| Github Repository | N/A |
24. IntentVLA: Short-Horizon Intent Modeling for Aliased Robot Manipulation (14 votes)
Tác giả: Shijie Lian, Bin Yu, Xiaopeng Lin, Zhaolong Shen, Laurence Tianruo Yang, Yurun Jin, Haishan Liu, Changti Wu, Hang Yuan, Cong Huang, Kai Chen
Xuất bản lúc: 2026-05-14
Tag: VLA, Robot Manipulation, Imitation Learning, Flow Matching, Benchmark
I. Main Problem:
Các mô hình VLA hiện tại chỉ dựa trên khung hình hiện tại và câu lệnh để sinh hành động, dẫn đến xung đột giữa các chunk hành động liền kề do không quan sát được ngữ cảnh gần (short-horizon intent) của cùng một khung hình, gây mất ổn định khi thực thi.
II. Main Idea:
IntentVLA đề xuất một khung học bắt chước có điều kiện lịch sử, mã hóa các quan sát hình ảnh gần đây thành một biểu diễn intent ngắn hạn (short-horizon intent representation) nhỏ gọn, sau đó kết hợp với ngữ cảnh hiện tại để điều kiện hóa quá trình sinh chunk hành động bằng cơ chế gated cross-attention và flow-matching.
III. Main Results:
Trên AliasBench, IntentVLA đạt thành công trung bình 45.8% so với 9.0% của baseline. Trên SimplerEnv đạt 72.9% (cao hơn 7.6 điểm so với baseline), trên LIBERO-Long đạt 97.4% (cao hơn 5.4 điểm), và cải thiện tính nhất quán giữa các chunk (ICC-L2 giảm 17.6%).
IV. Conclusion & Future Works:
IntentVLA chứng minh rằng việc sử dụng lịch sử hình ảnh gần đây giúp ổn định hành vi robot trong các tác vụ có quan sát bị nhòe (aliased). Hướng phát triển tương lai bao gồm mở rộng cửa sổ lịch sử, xử lý lỗi thực thi làm lệch lịch sử, và áp dụng cho các tác vụ hai tay và đa mục tiêu vốn còn nhiều thách thức.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng IntentVLA với cơ chế lịch sử thích ứng (adaptive history window) để xử lý các tác vụ có độ dài khác nhau, kết hợp với bộ nhớ dài hạn (long-term memory) để cải thiện tính nhất quán trong các kịch bản phức tạp hơn.
- Nghiên cứu biểu diễn intent đa mức (multi-level intent representation) kết hợp thông tin ngữ nghĩa từ lệnh và hình ảnh, nhằm tăng khả năng tổng quát hóa cho các tác vụ mới chưa thấy trong huấn luyện.
- Phát triển phương pháp huấn luyện tự giám sát (self-supervised) để học biểu diễn intent từ dữ liệu robot không có nhãn, giảm phụ thuộc vào dữ liệu trình diễn được gán nhãn đầy đủ.
2. Patent:
- Hệ thống điều khiển robot trên điện thoại thông minh sử dụng camera để ghi lại các thao tác người dùng và tự động học intent ngắn hạn, giúp robot thực hiện các công việc lặp đi lặp lại như lấy đồ từ tủ lạnh một cách ổn định mà không cần lập trình lại.
- Phương pháp tối ưu hóa thao tác chụp ảnh trên điện thoại: sử dụng lịch sử các khung hình gần đây để dự đoán intent của người dùng (ví dụ: chụp ảnh tĩnh hay quay video), từ đó tự động điều chỉnh cài đặt máy ảnh (tốc độ màn trập, lấy nét) để đảm bảo chất lượng ảnh và giảm rung lắc.
- Ứng dụng trên trợ lý ảo di động: phân tích chuỗi hành động gần đây của người dùng (ví dụ: mở ứng dụng, gõ chữ) để dự đoán intent tiếp theo và đưa ra gợi ý nhanh, giúp tương tác mượt mà hơn mà không cần dựa vào khung hình hiện tại đơn lẻ.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.14712 |
| ArXiv Abstract | https://arxiv.org/abs/2605.14712 |
| PDF Download | https://arxiv.org/pdf/2605.14712.pdf |
| Github Repository | https://github.com/ZGC-EmbodyAI/IntentVLA |