🤗 Daily Hugging Face Paper Digest - 2026-02-27

Báo cáo được tạo tự động vào lúc 2026-03-06 11:37:56 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. The Trinity of Consistency as a Defining Principle for General World Models (194 votes)

Tác giả: Jingxuan Wei, Siyuan Li, Yuhang Xu, Zheng Sun, Junjie Jiang, Hexuan Jin, Caijun Jia, Honghao He, Xinglong Xu, Xi bai, Chang Yu, Yumou Liu, Junnan Zhu, Xuanhe Zhou, Jintao Chen, Xiaobin Hu, Shancheng Pang, Bihui Yu, Ran He, Zhen Lei, Stan Z. Li, Conghui He, Shuicheng Yan, Cheng Tan

Xuất bản lúc: 2026-02-26

Tag: World Models, AGI, Multimodal Models, Video Generation, Consistency, Benchmarking, Generative Models, Deep Learning, Diffusion Models

I. Main Problem:

Việc xây dựng các mô hình thế giới (World Models) có khả năng học, mô phỏng và suy luận về các quy luật vật lý khách quan là một thách thức cơ bản trong việc theo đuổi Trí tuệ nhân tạo tổng quát (AGI). Mặc dù các mô hình hiện tại như Sora có khả năng tạo video ấn tượng, chúng thường gặp phải các vấn đề như ảo giác cấu trúc, không nhất quán về thời gian và vi phạm quy luật nhân quả, cho thấy chúng chỉ bắt chước thống kê pixel chứ chưa nội hóa được các nguyên tắc vật lý. Lĩnh vực này thiếu một khung lý thuyết có nguyên tắc để định nghĩa các thuộc tính thiết yếu cần có cho một Mô hình Thế giới Tổng quát.

II. Main Idea:

Các tác giả đề xuất rằng một Mô hình Thế giới mạnh mẽ phải dựa trên "Bộ ba tính nhất quán" (Trinity of Consistency): Tính nhất quán về phương thức (Modal Consistency) làm giao diện ngữ nghĩa, Tính nhất quán về không gian (Spatial Consistency) làm cơ sở hình học, và Tính nhất quán về thời gian (Temporal Consistency) làm động cơ nhân quả. Bài báo xem xét có hệ thống sự phát triển của học đa phương thức qua lăng kính này, từ các module chuyên biệt lỏng lẻo đến các kiến trúc hợp nhất. Để bổ sung cho khung khái niệm này, các tác giả giới thiệu CoW-Bench, một bộ tiêu chuẩn đánh giá thống nhất tập trung vào các kịch bản suy luận và tạo đa khung hình, nhằm kiểm tra khả năng duy trì "Bộ ba tính nhất quán" của các mô hình.

III. Main Results:

Công trình này thiết lập một con đường có nguyên tắc hướng tới các mô hình thế giới tổng quát, làm rõ cả những hạn chế của các hệ thống hiện tại và các yêu cầu kiến trúc cho sự tiến bộ trong tương lai. CoW-Bench được giới thiệu như một bộ đánh giá thống nhất, kiểm tra khả năng của mô hình trong việc duy trì tính nhất quán về phương thức (ngữ nghĩa), không gian (hình học) và thời gian (nhân quả) trong các tình huống phức tạp, mở rộng. Bài báo cũng phân tích sâu sắc sự phát triển của các kiến trúc học đa phương thức (từ Dual-Tower đến khớp nối, hợp nhất sớm và tách rời trực giao) và so sánh các cơ chế tạo sinh (ví dụ: autoregressive rời rạc so với Flow Matching liên tục), cho thấy cách các mô hình đã cố gắng giải quyết từng loại nhất quán một cách riêng lẻ và sau đó tích hợp chúng.

IV. Conclusion & Future Works:

Công trình này thiết lập một con đường có nguyên tắc hướng tới các mô hình thế giới tổng quát, làm rõ cả những hạn chế của các hệ thống hiện tại và các yêu cầu kiến trúc cho sự tiến bộ trong tương lai. Mục tiêu cuối cùng là phát triển một "Mô phỏng Thế giới Tổng quát" (General World Simulator). Bài báo cũng chỉ ra những khoảng trống còn lại giữa các bộ tạo sinh xác suất hiện tại và các bộ mô phỏng vật lý thực sự, đặt nền móng cho việc đánh giá nghiêm ngặt hơn trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng khung Trinity of Consistency cho các phương thức mới: Nghiên cứu cách tích hợp các phương thức cảm biến ít phổ biến hơn như xúc giác, khứu giác hoặc dữ liệu sinh học vào khung Trinity of Consistency để tạo ra các mô hình thế giới toàn diện hơn, có khả năng hiểu và tương tác với môi trường theo nhiều cách thức phong phú hơn.
Thiết kế kiến trúc thế hệ mới dựa trên Trinity of Consistency: Phát triển các kiến trúc học sâu mới được thiết kế từ đầu để nội tại hóa và thực thi đồng thời ba loại nhất quán (phương thức, không gian, thời gian), thay vì cố gắng căn chỉnh chúng sau khi huấn luyện, nhằm đạt được sự hiểu biết vật lý sâu sắc hơn.
Học tập tự giám sát để khám phá quy luật vật lý: Khám phá các phương pháp học tập tự giám sát hoặc học tăng cường để cho phép các mô hình thế giới tự động khám phá và nội hóa các quy luật vật lý cơ bản từ dữ liệu chưa được gán nhãn, giảm sự phụ thuộc vào các bộ dữ liệu được gán nhãn lớn và mở rộng khả năng suy luận phản thực tế.

2. Patent:

Hệ thống chỉnh sửa video thông minh trên điện thoại di động: Một ứng dụng di động cho phép người dùng chỉnh sửa video hoặc thêm các đối tượng ảo vào cảnh quay. Hệ thống sẽ sử dụng các nguyên tắc nhất quán về phương thức, không gian và thời gian để đảm bảo rằng các chỉnh sửa (ví dụ: thay đổi kích thước, vị trí, chuyển động của đối tượng) luôn phù hợp với ngữ nghĩa của cảnh, hình học của môi trường và các quy luật vật lý, tránh các lỗi hình ảnh phi thực tế. Ví dụ, nếu người dùng thêm một quả bóng ảo, hệ thống sẽ tự động điều chỉnh đường đi và tương tác của nó với mặt đất một cách vật lý hợp lý.
Trợ lý thực tế tăng cường (AR) trên di động có hiểu biết vật lý: Một ứng dụng AR trên điện thoại không chỉ phủ các đối tượng ảo lên thế giới thực mà còn hiểu cách chúng tương tác với môi trường dựa trên các quy luật vật lý. Ví dụ, nếu người dùng đặt một chiếc cốc ảo lên một chiếc bàn thật, ứng dụng sẽ đảm bảo chiếc cốc không xuyên qua bàn hoặc lơ lửng một cách phi tự nhiên, sử dụng tính nhất quán không gian và thời gian để mô phỏng hành vi vật lý thực tế.
Công cụ tạo nội dung động cho trò chơi/câu chuyện di động: Một hệ thống tích hợp vào các trò chơi di động hoặc ứng dụng kể chuyện tương tác, tự động tạo ra các cảnh, đối tượng hoặc sự kiện mới. Hệ thống này sẽ áp dụng "Bộ ba tính nhất quán" để đảm bảo rằng các môi trường được tạo ra có cấu trúc hình học hợp lý, hành động của nhân vật tuân thủ vật lý và các yếu tố câu chuyện duy trì sự mạch lạc ngữ nghĩa, mang lại trải nghiệm chơi game hoặc kể chuyện sống động và đáng tin cậy hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.23152
ArXiv Abstract	https://arxiv.org/abs/2602.23152
PDF Download	https://arxiv.org/pdf/2602.23152.pdf
Github Repository	https://github.com/openraiser/awesome-world-model-evolution

Tác giả: Hongrui Jia, Chaoya Jiang, Shikun Zhang, Wei Ye

Xuất bản lúc: 2026-02-26

Tag: LMMs, Multimodal AI, Reinforcement Learning, Self-supervised Learning, Data Generation, Diagnostic Systems, Continual Learning, Agents

I. Main Problem:

Việc đào tạo các Mô hình Đa phương thức Lớn (LMMs) hiện tại vẫn dựa vào dữ liệu tĩnh và các công thức cố định, gây khó khăn trong việc chẩn đoán các điểm mù về năng lực hoặc cung cấp sự tăng cường mục tiêu, năng động. Các khung tự tiến hóa trước đây thiếu khả năng chẩn đoán có thể giải thích được và sự đa dạng về hình ảnh, dẫn đến chất lượng dữ liệu không ổn định, nhiễu và hiệu suất bị đình trệ hoặc suy giảm trong các tình huống ít gặp hoặc phức tạp (ví dụ: toán học, OCR).

II. Main Idea:

Chúng tôi đề xuất Tiến hóa Tăng cường theo Định hướng Chẩn đoán (DPE), một vòng lặp xoắn ốc trong đó chẩn đoán định hướng việc tạo dữ liệu và tăng cường, và mỗi lần lặp lại sẽ chẩn đoán lại mô hình đã cập nhật để thúc đẩy vòng cải thiện mục tiêu tiếp theo. DPE có hai thành phần chính: (1) nhiều tác tử chú thích và kiểm soát chất lượng dữ liệu đa phương thức chưa gắn nhãn quy mô lớn, sử dụng các công cụ như tìm kiếm web và chỉnh sửa hình ảnh để tạo ra các mẫu đa dạng, thực tế; và (2) DPE gán các lỗi cho các điểm yếu cụ thể, điều chỉnh động hỗn hợp dữ liệu và hướng dẫn các tác tử tạo dữ liệu tập trung vào điểm yếu để tăng cường mục tiêu.

III. Main Results:

DPE cho thấy những cải tiến ổn định, liên tục trên mười một bộ dữ liệu đánh giá, bao gồm MMMU, CharXiv và MathVision, với Qwen3-VL-8B-Instruct và Qwen2.5-VL-7B-Instruct. DPE đạt được mức tăng toàn diện về khả năng (ví dụ: CharXivRQ tăng 4.11 điểm, HallusionBench đạt 69.19% so với 68.35% của VisPlay). DPE cho thấy động lực đào tạo mạnh mẽ, giảm thiểu sự dao động và suy giảm hiệu suất so với các phương pháp tự tiến hóa khác. DPE cũng có khả năng chuyển giao tốt, mang lại những cải tiến đáng kể trên các mô hình mạnh hơn (ví dụ: MMMU +3.67, MMStar +10.86 trên Qwen3-VL-8B-Instruct). Đáng chú ý, DPE đạt được hiệu quả về tham số cao, với mô hình 8B vượt trội hơn các mô hình 72B và GPT-4o trên nhiều tác vụ suy luận phức tạp, cho thấy chất lượng dữ liệu quan trọng hơn quy mô tham số. Các nghiên cứu loại bỏ cho thấy module chẩn đoán và công cụ tìm kiếm/chỉnh sửa hình ảnh là rất quan trọng để duy trì hướng tiến hóa ổn định và cải thiện độ bao phủ của các trường hợp ít gặp.

IV. Conclusion & Future Works:

Khung DPE khắc phục sự tự tiến hóa theo kinh nghiệm bằng cách tích hợp vòng lặp chẩn đoán-tạo dữ liệu-tăng cường, xác định rõ ràng các điểm mù của mô hình, xây dựng dữ liệu đào tạo mục tiêu một cách thích ứng và tận dụng các tài nguyên đa phương thức chưa gắn nhãn quy mô lớn thông qua chú thích đa tác tử hợp tác. Thiết kế này đảm bảo hướng tiến hóa có thể kiểm soát được, động lực đào tạo ổn định và cải thiện bền vững các khả năng suy luận ít gặp mà các phương pháp tự mở rộng truyền thống không giải quyết được. Trong tương lai, việc tích hợp các tín hiệu chẩn đoán phong phú hơn, mở rộng các nguồn dữ liệu đa phương thức và khám phá các chiến lược cộng tác đa tác tử tinh vi hơn sẽ tiếp tục thúc đẩy sự phát triển của các hệ thống suy luận đa phương thức thích ứng, hiệu quả và liên tục cải thiện.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa khả năng suy luận đa phương thức của LMMs bằng tín hiệu chẩn đoán đa dạng hơn: Nghiên cứu cách tích hợp các loại tín hiệu chẩn đoán phong phú hơn (ví dụ: thiên vị, khả năng chống chịu nhiễu, lỗi logic phức tạp) vào khung DPE, vượt ra ngoài việc xác định điểm yếu theo danh mục và mẫu lỗi. Tập trung vào việc phát triển các phương pháp tự động trích xuất và sử dụng các tín hiệu này để định hướng tạo dữ liệu và tăng cường mô hình hiệu quả hơn.
Khám phá các chiến lược cộng tác đa tác tử nâng cao cho việc tạo dữ liệu đa phương thức: Nghiên cứu các cơ chế cộng tác phức tạp hơn giữa các tác tử trong hệ thống DPE, vượt ra ngoài quy trình pipeline hiện có. Điều này có thể bao gồm các mô hình học tăng cường để tối ưu hóa sự phối hợp của tác tử, cho phép tác tử đàm phán để giải quyết xung đột trong việc tạo dữ liệu hoặc học cách thích nghi với các điểm yếu của nhau trong một môi trường tiến hóa.
Mở rộng nguồn dữ liệu đa phương thức không gắn nhãn để tăng cường khả năng học liên tục của LMMs: Tập trung vào việc tích hợp các nguồn dữ liệu đa phương thức không gắn nhãn quy mô lớn và đa dạng hơn (ví dụ: video, âm thanh, dữ liệu cảm biến) vào khung DPE. Nghiên cứu cách phát triển các công cụ và chiến lược tác tử mới để tìm kiếm, chỉnh sửa và chú thích dữ liệu từ các loại phương thức này, nhằm giải quyết các điểm mù năng lực mới và mở rộng phạm vi ứng dụng của LMMs trong các miền phức tạp hơn.

2. Patent:

Hệ thống trợ lý điện thoại thông minh tự cải thiện khả năng hiểu hình ảnh và văn bản: Một ứng dụng trên điện thoại di động có khả năng tự động xác định những nội dung hình ảnh hoặc văn bản mà nó gặp khó khăn khi hiểu (ví dụ: không nhận diện được một vật thể hiếm, khó giải thích một biểu đồ phức tạp). Dựa trên việc tự chẩn đoán này, ứng dụng sẽ tự động tạo ra các bài tập hoặc câu hỏi mới với hình ảnh và văn bản tương ứng để luyện tập và nâng cao khả năng của mình theo thời gian. Người dùng có thể cung cấp phản hồi đơn giản (ví dụ: "đúng" hoặc "sai") để hệ thống học hỏi hiệu quả hơn.
Công cụ chỉnh sửa ảnh thông minh trên di động hướng dẫn người dùng tạo nội dung chất lượng cao: Một tính năng trong ứng dụng chỉnh sửa ảnh trên điện thoại cho phép người dùng mô tả ý tưởng của họ bằng lời nói hoặc văn bản đơn giản. Hệ thống sẽ tự động tìm kiếm các hình ảnh liên quan từ internet hoặc thư viện của người dùng, sau đó đề xuất cách chỉnh sửa (cắt, ghép, thêm văn bản) để tạo ra một hình ảnh mới phù hợp với mô tả và mục đích của người dùng. Hệ thống cũng có thể chỉ ra các điểm chưa hoàn thiện trong mô tả hoặc hình ảnh ban đầu và gợi ý cách cải thiện để đạt được kết quả tốt nhất.
Trợ lý học tập cá nhân hóa trên điện thoại di động sử dụng chẩn đoán lỗi để tạo bài tập: Một ứng dụng học tập trên điện thoại thông minh, đặc biệt cho các môn học có yếu tố hình ảnh như toán học hoặc khoa học. Khi người dùng làm sai một bài tập (ví dụ: giải sai một bài toán có hình vẽ, không hiểu biểu đồ), ứng dụng sẽ phân tích lỗi sai đó. Dựa trên phân tích, nó sẽ tạo ra các bài tập tương tự nhưng tập trung vào chính xác điểm yếu đó, với hình ảnh và câu hỏi được điều chỉnh để giúp người dùng khắc phục. Ứng dụng cũng có thể sử dụng công cụ tìm kiếm và chỉnh sửa ảnh để tạo ra các ví dụ trực quan mới và đa dạng để hỗ trợ việc học.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.22859
ArXiv Abstract	https://arxiv.org/abs/2602.22859
PDF Download	https://arxiv.org/pdf/2602.22859.pdf
Github Repository	https://github.com/hongruijia/DPE

3. MobilityBench: A Benchmark for Evaluating Route-Planning Agents in Real-World Mobility Scenarios (104 votes)

Tác giả: Zhiheng Song, Jingshuai Zhang, Chuan Qin, Chao Wang, Chao Chen, Longfei Xu, Kaikui Liu, Xiangxiang Chu, Hengshu Zhu

Xuất bản lúc: 2026-02-26

Tag: LLMs, Agents, Benchmarking, Route Planning, Mobility

I. Main Problem:

Việc đánh giá có hệ thống các tác nhân lập kế hoạch lộ trình (route-planning agents) trong các kịch bản di chuyển thực tế gặp nhiều khó khăn do nhu cầu định tuyến đa dạng, dịch vụ bản đồ không xác định (non-deterministic) và khả năng tái tạo hạn chế. Các thách thức cụ thể bao gồm: (1) phạm vi kịch bản có thể mở rộng để bao gồm các vấn đề định tuyến với độ khó và ràng buộc khác nhau; (2) tính không xác định của các API dịch vụ bản đồ trực tiếp do giao thông, tính khả dụng dịch vụ và cập nhật backend; (3) đánh giá toàn diện và đáng tin cậy vượt ra ngoài việc đánh giá chủ quan dựa trên LLM; và (4) bộ công cụ đánh giá có thể mở rộng và tái tạo để hỗ trợ triển khai dễ dàng và mở rộng dữ liệu.

II. Main Idea:

Nghiên cứu giới thiệu MobilityBench, một bộ tiêu chuẩn có thể mở rộng để đánh giá các tác nhân lập kế hoạch lộ trình dựa trên mô hình ngôn ngữ lớn (LLM) trong các kịch bản di chuyển thực tế. MobilityBench được xây dựng từ các truy vấn người dùng thực, quy mô lớn, đã được ẩn danh từ Amap, bao gồm nhiều ý định lập kế hoạch lộ trình trên nhiều thành phố toàn cầu. Để đảm bảo khả năng tái tạo, đánh giá từ đầu đến cuối, nghiên cứu thiết kế một sandbox API-replay xác định, loại bỏ sự thay đổi môi trường từ các dịch vụ trực tiếp. MobilityBench cũng đề xuất một giao thức đánh giá đa chiều tập trung vào tính hợp lệ của kết quả, được bổ sung bằng các đánh giá về khả năng hiểu hướng dẫn, lập kế hoạch, sử dụng công cụ và hiệu quả. Dữ liệu benchmark, bộ công cụ đánh giá và tài liệu được phát hành công khai.

III. Main Results:

Các mô hình hiện tại hoạt động tốt trong các nhiệm vụ truy xuất thông tin cơ bản và lập kế hoạch lộ trình, nhưng gặp khó khăn đáng kể với Lập kế hoạch lộ trình có ràng buộc ưu tiên (Preference-Constrained Route Planning), cho thấy cần cải thiện đáng kể trong các ứng dụng di động cá nhân hóa. Trong Plan-and-Execute, Claude-Opus-4.5 đạt hiệu suất cao nhất (Tỷ lệ phân phối 83.53% và Tỷ lệ thành công cuối cùng 65.77%). Trong ReAct, Gemini-3-Pro-Preview đạt FPR cao nhất (69.09%). Các mô hình mã nguồn đóng vẫn dẫn đầu về khả năng hiểu hướng dẫn, nhưng khoảng cách với các mô hình mã nguồn mở hiệu quả như Qwen3-235B-A22B và DeepSeek-V3.2-Exp đang thu hẹp. Khung ReAct thường cho tỷ lệ thành công cuối cùng tốt hơn Plan-and-Execute nhờ cơ chế "think-act-observe" động, nhưng phải trả giá bằng chi phí tính toán cao hơn (IT trung bình cao hơn 35.38%). Hiệu ứng mở rộng quy mô (scaling effect) cho thấy các mô hình lớn hơn có tỷ lệ thành công cao hơn. Chế độ "Thinking" cải thiện hiệu suất nhưng làm tăng đáng kể chi phí và độ trễ suy luận.

IV. Conclusion & Future Works:

MobilityBench cung cấp một nền tảng mạnh mẽ và có thể mở rộng để thúc đẩy nghiên cứu về các tác nhân lập kế hoạch lộ trình và cho phép so sánh công bằng, có thể tái tạo giữa các LLM và khung tác nhân. Các mô hình hiện tại vẫn còn nhiều hạn chế, đặc biệt trong việc xử lý các ràng buộc ưu tiên cá nhân hóa. Hướng nghiên cứu trong tương lai cần tập trung vào việc cải thiện hiệu suất của các tác nhân LLM trong các kịch bản lập kế hoạch lộ trình phức tạp hơn, đặc biệt là các kịch bản có ràng buộc ưu tiên, và tối ưu hóa hiệu quả tính toán để triển khai trong thời gian thực.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao khả năng lập kế hoạch lộ trình với các ràng buộc ưu tiên cá nhân hóa cho các tác nhân LLM, tập trung vào việc cải thiện độ chính xác và khả năng thích ứng với các sở thích người dùng phức tạp.
Nghiên cứu các chiến lược tối ưu hóa hiệu quả cho các tác nhân LLM trong lập kế hoạch lộ trình, cân bằng giữa độ chính xác và chi phí tính toán, đặc biệt là đối với các khung như ReAct và chế độ "Thinking".
Phát triển các kiến trúc tác nhân lai tích hợp khả năng hiểu ngữ nghĩa mạnh mẽ của LLM với các thuật toán tối ưu hóa định tuyến truyền thống để xử lý các mạng lưới đường bộ thực tế và điều kiện động.

2. Patent:

Trợ lý định tuyến thông minh với ưu tiên cá nhân hóa trên điện thoại di động: Một ứng dụng điều hướng di động học hỏi sở thích của người dùng (ví dụ: "luôn tránh đường có thu phí", "ưu tiên tuyến đường ngắm cảnh", "giảm thiểu chuyển tuyến cho phương tiện công cộng") từ các tương tác trong quá khứ và tự động áp dụng chúng vào các đề xuất lộ trình trong tương lai, ngay cả khi không được nêu rõ trong truy vấn. Hệ thống sẽ tự động đề xuất các tuyến đường phù hợp với sở thích được suy luận của người dùng, vượt ra ngoài tuyến đường nhanh nhất hoặc ngắn nhất.
Môi trường kiểm thử điều hướng có khả năng tái tạo cho nhà phát triển di động: Một công cụ phát triển ứng dụng di động cho phép các nhà phát triển ứng dụng điều hướng kiểm tra các tính năng lập kế hoạch lộ trình của họ dựa trên một bộ dữ liệu kịch bản thế giới thực cố định. Công cụ này sẽ mô phỏng các phản hồi dịch vụ bản đồ (giao thông, POI, v.v.) một cách xác định, đảm bảo rằng các thử nghiệm là nhất quán và có thể tái tạo, bất kể những thay đổi trong thời gian thực. Điều này cho phép nhà phát triển xác định lỗi một cách đáng tin cậy.
Hệ thống điều chỉnh lộ trình động với phản hồi ngữ cảnh thời gian thực: Một hệ thống điều hướng di động liên tục giám sát hành trình của người dùng và thông tin ngữ cảnh thời gian thực (ví dụ: giao thông hiện tại, thời tiết, tốc độ đi bộ của người dùng, mức pin, lịch hẹn sắp tới) để tự động điều chỉnh lộ trình hiện tại và đưa ra các đề xuất chủ động. Ví dụ, nếu phát hiện pin điện thoại yếu và điểm đến còn xa, hệ thống có thể đề xuất một tuyến đường có trạm sạc hoặc phương tiện công cộng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.22638
ArXiv Abstract	https://arxiv.org/abs/2602.22638
PDF Download	https://arxiv.org/pdf/2602.22638.pdf
Github Repository	https://github.com/AMAP-ML/MobilityBench

Tác giả: Xiaoxi Li, Wenxiang Jiao, Jiarui Jin, Shijian Wang, Guanting Dong, Jiajie Jin, Hao Wang, Yinuo Wang, Ji-Rong Wen, Yuan Lu, Zhicheng Dou

Xuất bản lúc: 2026-02-26

Tag: Omni-modal AI Agents, Multi-modal LLMs, Benchmarking, Tool-integrated Reasoning, Active Perception, Event Graph, Trajectory Synthesis, DPO

I. Main Problem:

Các mô hình ngôn ngữ lớn đa phương thức (multi-modal LLMs) hiện tại chủ yếu bị giới hạn trong các tương tác hai phương thức (ví dụ: thị giác-ngôn ngữ), thiếu khả năng nhận thức thống nhất cần thiết cho các trợ lý AI tổng quát. Hầu hết các nỗ lực trong mô hình nền tảng đa phương thức (omni-modal) chỉ tập trung vào khả năng nhận thức, bỏ qua việc tích hợp công cụ và khả năng suy luận của tác nhân. Ngoài ra, các bộ tiêu chuẩn đánh giá hiện có cũng chưa đủ để đo lường khả năng suy luận đa bước (multi-hop reasoning) và sử dụng công cụ bên ngoài nhiều lượt (multi-turn tool use) với các câu trả lời dạng mở có thể kiểm chứng.

II. Main Idea:

Để giải quyết các vấn đề trên, nghiên cứu giới thiệu OmniGAIA, một bộ tiêu chuẩn toàn diện được thiết kế để đánh giá các tác nhân đa phương thức trong các tác vụ yêu cầu suy luận sâu sắc và thực thi công cụ nhiều lượt trên các phương thức video, âm thanh và hình ảnh. OmniGAIA được xây dựng thông qua phương pháp đồ thị sự kiện đa phương thức mới lạ, tổng hợp các truy vấn phức tạp, đa bước từ dữ liệu thực tế. Ngoài ra, nhóm nghiên cứu đề xuất OmniAtlas, một tác nhân nền tảng đa phương thức tự nhiên theo mô hình suy luận tích hợp công cụ với khả năng nhận thức đa phương thức chủ động. OmniAtlas được đào tạo trên các quỹ đạo được tổng hợp thông qua chiến lược khám phá cây có hướng dẫn hồi tưởng và OmniDPO để sửa lỗi chi tiết, giúp tăng cường khả năng sử dụng công cụ của các mô hình mã nguồn mở hiện có.

III. Main Results:

OmniGAIA là một bộ tiêu chuẩn cực kỳ thách thức: mô hình độc quyền mạnh nhất (Gemini-3-Pro) đạt 62.5 Pass@1, trong khi mô hình mã nguồn mở tốt nhất (Qwen3-Omni) chỉ đạt 13.3. Tồn tại một khoảng cách lớn về hiệu suất giữa các mô hình độc quyền và mã nguồn mở. Việc chỉ tăng số lượng tham số của mô hình là không đủ; khả năng tác nhân (đặc biệt là chính sách sử dụng công cụ) là nút thắt cổ chai chính. OmniAtlas cải thiện đáng kể các mô hình mã nguồn mở (ví dụ: Qwen3-Omni từ 13.3 lên 20.8 Pass@1), với mức tăng rõ rệt hơn trên các mô hình nhỏ hơn. Các tác vụ khó vẫn là thách thức lớn. Phân tích lỗi chỉ ra rằng lỗi sử dụng công cụ và lỗi suy luận là phổ biến nhất. OmniAtlas giúp chuyển từ việc ít gọi công cụ sang sử dụng công cụ tích cực hơn. Khả năng nhận thức đa phương thức tự nhiên là tối ưu cho các tác nhân mạnh, trong khi các công cụ nhận thức có thể hỗ trợ các tác nhân yếu hơn nhưng làm tăng chi phí tương tác. OmniAtlas-SFT đóng góp phần lớn vào cải tiến, và OmniDPO tiếp tục tinh chỉnh hiệu suất thông qua sửa lỗi chi tiết.

IV. Conclusion & Future Works:

Nghiên cứu giới thiệu OmniGAIA, một bộ tiêu chuẩn thách thức cho các tác nhân đa phương thức tự nhiên, yêu cầu suy luận đa bước và sử dụng công cụ nhiều lượt trên đầu vào video-kèm-âm thanh và hình ảnh+âm thanh. Đồng thời, đề xuất OmniAtlas, một tác nhân nền tảng đa phương thức tự nhiên được đào tạo với một công thức thực tế nhằm cải thiện các hành vi tích hợp công cụ trong các mô hình mã nguồn mở. Các thí nghiệm cho thấy OmniGAIA vẫn là một thách thức đối với các mô hình hiện tại, và việc sử dụng công cụ hiệu quả cùng khả năng suy luận dài hạn là những nút thắt cổ chai quyết định. Hướng nghiên cứu trong tương lai bao gồm: (1) Học tăng cường tác nhân đa phương thức (Omni-modal Agentic RL) để tối ưu hóa trực tiếp các chính sách tác nhân dài hạn dưới phản hồi đa phương thức; (2) Dịch vụ MCP (Multi-modal Cognition and Planning) đa phương thức với các công cụ có khả năng mở rộng cho các tác vụ đa phương thức rộng hơn; và (3) Các tiêu chuẩn và mô hình nền tảng cho tác nhân đa phương thức có thể hiện thực hóa (Embodied Agents) trong thế giới vật lý, nhằm thúc đẩy các trợ lý AI dựa trên LLM hoàn thành các tác vụ trong thế giới thực.

V. Brainstorming Space:

1. Publish Papers:

Phát triển phương pháp học tăng cường (Reinforcement Learning) cho tác nhân đa phương thức để tối ưu hóa trực tiếp các chính sách tác nhân dài hạn dựa trên phản hồi đa phương thức, nhằm nâng cao khả năng ra quyết định và thích ứng trong các môi trường phức tạp.
Nghiên cứu và xây dựng dịch vụ Multi-modal Cognition and Planning (MCP) đa phương thức với các công cụ có khả năng mở rộng, tập trung vào việc tích hợp liền mạch các công cụ chuyên biệt để giải quyết các tác vụ đa phương thức đa dạng và phức tạp hơn.
Phát triển các tiêu chuẩn (benchmarks) và mô hình nền tảng cho tác nhân đa phương thức có thể hiện thực hóa (Embodied Agents) trong thế giới vật lý, nhằm cải thiện khả năng của trợ lý AI dựa trên LLM trong việc tương tác và hoàn thành các nhiệm vụ thực tế thông qua hành động vật lý.

2. Patent:

Trợ lý di động đa giác quan thông minh: Một hệ thống AI trên điện thoại có khả năng thu thập thông tin từ nhiều nguồn cùng lúc (hình ảnh, âm thanh, văn bản) để hiểu ngữ cảnh hiện tại của người dùng. Ví dụ, nếu người dùng đang xem một video về một địa điểm du lịch lịch sử và nói về một bộ phim liên quan, hệ thống có thể tự động tìm kiếm thông tin về địa điểm quay phim hoặc các chi tiết lịch sử từ bộ phim đó và hiển thị cho người dùng, mà không cần người dùng phải gõ lệnh tìm kiếm cụ thể.
Công cụ chỉnh sửa nội dung đa phương tiện theo ngữ cảnh: Một ứng dụng di động giúp người dùng tạo và chỉnh sửa video hoặc hình ảnh bằng cách hiểu ý định của họ thông qua giọng nói và hình ảnh. Chẳng hạn, khi người dùng quay một video và nói "tính khoảng thời gian giữa sự kiện A và sự kiện B trong video này", ứng dụng có thể tự động xác định các sự kiện, tìm kiếm thông tin ngày tháng liên quan và tính toán khoảng thời gian, thậm chí đề xuất chèn thông tin này dưới dạng văn bản vào video.
Hệ thống hỗ trợ sửa chữa và hướng dẫn tương tác: Một ứng dụng trên điện thoại thông minh có thể hướng dẫn người dùng khắc phục sự cố hoặc sửa chữa các thiết bị. Người dùng có thể dùng camera để quay thiết bị, mô tả vấn đề bằng giọng nói, và AI sẽ phân tích hình ảnh (nhận diện bộ phận), âm thanh (phát hiện tiếng ồn lạ), và sử dụng công cụ bên ngoài (tra cứu hướng dẫn sử dụng trên web) để cung cấp các bước hướng dẫn chi tiết, sơ đồ hoặc thậm chí kết nối với chuyên gia khi cần.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.22897
ArXiv Abstract	https://arxiv.org/abs/2602.22897
PDF Download	https://arxiv.org/pdf/2602.22897.pdf
Github Repository	https://github.com/RUC-NLPIR/OmniGAIA

5. Imagination Helps Visual Reasoning, But Not Yet in Latent Space (39 votes)

Tác giả: You Li, Chi Chen, Yanghao Li, Fanhu Zeng, Kaiyu Huang, Jinan Xu, Maosong Sun

Xuất bản lúc: 2026-02-26

Tag: MLLMs, Visual Reasoning, Causal Mediation Analysis, Text-Space Imagination, Latent Space, Multimodal Learning

I. Main Problem:

Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) gặp khó khăn trong việc thực hiện suy luận thị giác phức tạp, đặc biệt là khi cần đến khả năng "tưởng tượng" linh hoạt như con người. Phương pháp suy luận thị giác tiềm ẩn (Latent Visual Reasoning - LVR), sử dụng các trạng thái ẩn (latent tokens) trong MLLMs để mô phỏng sự tưởng tượng, được coi là hứa hẹn nhưng cơ chế bên trong và hiệu quả thực sự của nó vẫn chưa rõ ràng. Nghiên cứu này chỉ ra rằng các latent tokens này không hiệu quả trong việc nắm bắt thông tin đầu vào, ít ảnh hưởng đến kết quả cuối cùng, mã hóa ngữ nghĩa thị giác hạn chế và có xu hướng đồng nhất hóa, khiến chúng không phải là "người vận chuyển" hiệu quả cho quá trình tưởng tượng thị giác.

II. Main Idea:

Nghiên cứu sử dụng Phân tích Trung gian Nhân quả (Causal Mediation Analysis) để mổ xẻ cơ chế của suy luận thị giác tiềm ẩn (LVR). Phát hiện ra rằng có sự "ngắt kết nối" giữa đầu vào và latent tokens (X->Z) cũng như giữa latent tokens và câu trả lời cuối cùng (Z->Y). Các latent tokens không phản ứng đáng kể với sự thay đổi của đầu vào và việc thay đổi chúng cũng ít ảnh hưởng đến kết quả. Thay vào đó, nhóm nghiên cứu đề xuất một phương pháp thay thế đơn giản nhưng hiệu quả mang tên CapImagine. CapImagine bỏ qua các latent tokens và thay vào đó huấn luyện mô hình "tưởng tượng" một cách rõ ràng thông qua văn bản. Cụ thể, nó chuyển đổi các thay đổi ngữ nghĩa do hình ảnh trung gian tạo ra thành các chú thích văn bản, buộc mô hình phải suy luận các phép biến đổi thị giác thông qua một chuỗi suy luận trong không gian văn bản. Quá trình này bao gồm việc viết lại dữ liệu huấn luyện Monet-SFT-125K thành định dạng tưởng tượng bằng văn bản và lọc dữ liệu chất lượng thấp.

III. Main Results:

Phân tích nhân quả cho thấy các latent tokens trong LVR có tính đồng nhất cao, ít nhạy cảm với đầu vào, ít định hướng kết quả và có ngữ nghĩa hạn chế, không đóng góp đáng kể vào quá trình suy luận nhân quả. Phương pháp CapImagine vượt trội đáng kể so với các phương pháp dựa trên latent-space phức tạp. Cụ thể, CapImagine đạt mức cải thiện trung bình 3.44% trên HR-Bench và 2.6% trên V* so với Monet. Trên MME-RealWorld-Lite, CapImagine xử lý hiệu quả các truy vấn thực tế đa dạng. CapImagine cũng vượt trội hơn LVR và Monet hơn 10 điểm trên các tác vụ suy luận thị giác trừu tượng như Jigsaw và multi-view reasoning (BLINK). Trên TableVQA, CapImagine cải thiện 6.1% so với Monet. CapImagine đạt tốc độ suy luận tương đương với Monet và nhanh gần gấp đôi so với các phương pháp tăng cường công cụ như DeepEyes, trong khi vẫn duy trì hiệu suất cạnh tranh. Nghiên cứu xác nhận rằng "tưởng tượng" thực sự giúp suy luận thị giác, nhưng chưa phải trong không gian tiềm ẩn (latent space).

IV. Conclusion & Future Works:

Nghiên cứu đã điều tra một cách có hệ thống các cơ chế bên trong của các phương pháp suy luận thị giác trong không gian tiềm ẩn thông qua phân tích trung gian nhân quả. Kết quả cho thấy các latent tokens có tính đồng nhất cao, ít nhạy cảm với đầu vào, ít định hướng kết quả và có ngữ nghĩa hạn chế, không thể đóng vai trò là "người vận chuyển" hiệu quả của sự tưởng tượng và suy luận thị giác thực sự. Để khắc phục hạn chế này, nhóm nghiên cứu đã đề xuất phương pháp tưởng tượng trong không gian văn bản CapImagine, cho thấy hiệu ứng nhân quả tốt hơn và hiệu suất cao hơn. Nghiên cứu này cung cấp một cái nhìn sâu sắc và nghiêm túc về các phương pháp suy luận thị giác tiềm ẩn hiện tại, đồng thời đưa ra hướng dẫn để phát triển các phương pháp suy luận tiềm ẩn trung thực, dễ hiểu và hiệu quả hơn trong tương lai. Các hướng nghiên cứu tiếp theo có thể bao gồm việc khám phá cách thiết kế các latent tokens thực sự mang thông tin và có ảnh hưởng nhân quả, hoặc tích hợp các hình thức tưởng tượng rõ ràng (như CapImagine) với các cơ chế tiềm ẩn được cải thiện.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về các kiến trúc MLLM mới có khả năng tạo ra các biểu diễn tiềm ẩn (latent representations) có ý nghĩa nhân quả và ít đồng nhất hơn, có thể vượt qua các hạn chế được xác định trong nghiên cứu này.
Phát triển các phương pháp lai (hybrid methods) kết hợp lợi ích của tưởng tượng dựa trên văn bản (như CapImagine) với các cơ chế tiềm ẩn được cải thiện, nhằm đạt được sự cân bằng giữa khả năng diễn giải, hiệu quả và sức mạnh suy luận.
Mở rộng khái niệm tưởng tượng rõ ràng trong không gian văn bản cho các tác vụ đa phương thức phức tạp hơn, chẳng hạn như lập kế hoạch dài hạn, tương tác robot, hoặc tạo nội dung đa phương thức sáng tạo.

2. Patent:

Hệ thống hỗ trợ thị giác di động bằng mô tả văn bản: Một ứng dụng di động cho phép người dùng chụp ảnh hoặc quay video, sau đó đặt câu hỏi về nội dung. Thay vì xử lý trong không gian ẩn phức tạp, ứng dụng sẽ sử dụng mô hình ngôn ngữ lớn để tạo ra các mô tả văn bản chi tiết về các vùng quan tâm hoặc thay đổi hình ảnh (ví dụ: "vùng này đã được phóng to," "một đường kẻ đã được vẽ ở đây"). Các mô tả này sau đó được sử dụng để suy luận và đưa ra câu trả lời chính xác, giúp người dùng hiểu rõ hơn về hình ảnh mà không cần công cụ chỉnh sửa hình ảnh thủ công.
Công nghệ tìm kiếm và phân tích hình ảnh thông minh dựa trên "tưởng tượng" văn bản: Một hệ thống tích hợp vào điện thoại thông minh cho phép người dùng tìm kiếm thông tin trong hình ảnh hoặc tài liệu có hình ảnh (ví dụ: biểu đồ, bảng biểu) bằng cách mô tả các thao tác "tưởng tượng" (ví dụ: "giả sử tôi phóng to góc trên bên trái", "nếu tôi đánh dấu dữ liệu năm 1988"). Hệ thống sẽ chuyển đổi các mô tả này thành chuỗi văn bản và sử dụng chúng để suy luận câu trả lời hoặc trích xuất thông tin, hữu ích cho việc phân tích dữ liệu nhanh chóng trên thiết bị di động.
Trợ lý học tập và nghiên cứu hình ảnh cá nhân hóa: Một ứng dụng trên thiết bị di động giúp học sinh, sinh viên hoặc nhà nghiên cứu tương tác với tài liệu học tập chứa hình ảnh (sơ đồ, bản đồ, đồ thị). Người dùng có thể yêu cầu trợ lý "tưởng tượng" các kịch bản hoặc thao tác trên hình ảnh (ví dụ: "hãy tưởng tượng con đường này kéo dài thêm 5km", "nếu dữ liệu này tăng gấp đôi thì sao?"). Trợ lý sẽ tạo ra các mô tả văn bản về các kịch bản tưởng tượng này và sử dụng chúng để cung cấp giải thích, dự đoán hoặc trả lời câu hỏi, cá nhân hóa trải nghiệm học tập và nghiên cứu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.22766
ArXiv Abstract	https://arxiv.org/abs/2602.22766
PDF Download	https://arxiv.org/pdf/2602.22766.pdf
Github Repository	https://github.com/AI9Stars/CapImagine

6. Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization (35 votes)

Tác giả: Zeyuan Liu, Jeonghye Kim, Xufang Luo, Dongsheng Li, Yuqing Yang

Xuất bản lúc: 2026-02-26

Tag: LLMs, Reinforcement Learning, Exploration, Memory-Augmented, On-Policy Optimization, Off-Policy Optimization, Agent

I. Main Problem:

Các tác nhân LLM được huấn luyện bằng học tăng cường (RL) gặp khó khăn trong việc khám phá các trạng thái mới và thu thập thông tin mới, thay vì chỉ dựa vào kiến thức đã được huấn luyện trước. Các phương pháp trước đây sử dụng bộ nhớ ngoài để cải thiện quyết định nhưng hiệu suất nhanh chóng bão hòa do các tham số cố định không thể nắm bắt được sự đa dạng cần thiết để cải thiện liên tục. Vấn đề cốt lõi là làm thế nào để cân bằng giữa việc khai thác kiến thức đã có và khám phá các hành vi mới một cách hiệu quả trong các môi trường phức tạp.

II. Main Idea:

Tác giả đề xuất EMPO2 (Exploratory Memory-Augmented On- and Off-Policy Optimization), một khung học tăng cường lai kết hợp việc cập nhật tham số chính sách (parametric updates) của LLM và cập nhật mô-đun bộ nhớ phi tham số (non-parametric updates) thông qua tương tác. EMPO2 sử dụng bộ nhớ tự tạo (self-generated memory) dưới dạng "tips" (lời khuyên/hướng dẫn) để duy trì tính liên tục giữa các lần thực hiện và hướng dẫn khám phá. Khung này có hai chế độ trong giai đoạn rollout (với/không có bộ nhớ) và hai chế độ trong giai đoạn cập nhật (on-policy/off-policy learning). Chế độ cập nhật off-policy được diễn giải như một dạng chưng cất kiến thức có hướng dẫn bằng phần thưởng, giúp mô hình nội hóa lợi ích của việc sử dụng tips mà không cần chúng trong quá trình suy luận. EMPO2 cũng bao gồm cơ chế che giấu (masking) để ổn định quá trình huấn luyện off-policy và phần thưởng nội tại (intrinsic rewards) dựa trên sự mới lạ của trạng thái để khuyến khích khám phá.

III. Main Results:

EMPO2 đạt được những cải thiện đáng kể về hiệu suất trên hai môi trường thử nghiệm phức tạp:

ScienceWorld: Cải thiện 128.6% so với GRPO, đạt điểm trung bình 75.9, vượt trội đáng kể so với các baseline khác (GRPO: 33.2, Retrospex: 33.8, Reflexion: 17.1). Bảy nhiệm vụ đạt điểm tối đa 100.
WebShop: Cải thiện 11.3% so với GRPO, đạt điểm trung bình 88.3 và tỷ lệ thành công 76.9%, vượt qua GiGPO (86.2 điểm, 75.2% thành công).
Thích ứng với tác vụ mới (OOD): EMPO2 thể hiện khả năng thích ứng vượt trội với các tác vụ mới, chỉ cần một vài lần thử với bộ nhớ và không cần cập nhật tham số, đạt mức cải thiện trung bình 136% trong 10 bước.
Nghiên cứu cắt bỏ (Ablation Study): Việc loại bỏ bất kỳ thành phần nào trong ba chế độ học (on-policy không bộ nhớ, on-policy có bộ nhớ, off-policy) đều dẫn đến hiệu suất dưới tối ưu, khẳng định vai trò bổ trợ và cần thiết của chúng.

IV. Conclusion & Future Works:

EMPO2 là một phương pháp RL mới giúp tăng cường khả năng khám phá trong RL tham số bằng cách tận dụng các cập nhật bộ nhớ phi tham số, đồng thời tích hợp học on-policy và off-policy để cải thiện hiệu quả và độ ổn định của quá trình huấn luyện. Kết quả thực nghiệm cho thấy EMPO2 đạt được những cải tiến đáng kể về hiệu quả huấn luyện và khả năng thích ứng nhanh chóng với các miền mới.

Hướng nghiên cứu trong tương lai bao gồm:

Phát triển các cơ chế truy xuất bộ nhớ tiên tiến hơn để nâng cao hiệu suất.
Mở rộng EMPO2 sang nhiều họ mô hình và kích thước khác nhau, đặc biệt là các mô hình lớn hơn để khuếch đại lợi ích.
Áp dụng EMPO2 vào các miền mới như toán học, lập trình, trả lời câu hỏi đa bước (multi-hop question answering) và RL đa phương thức (multi-modal RL).
Khám phá các kỹ thuật off-policy khác ngoài lấy mẫu quan trọng (importance sampling) để đạt được tối ưu hóa lai ổn định và hiệu quả hơn.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện khả năng khám phá của tác nhân LLM trong môi trường tương tác đa phương thức thông qua cơ chế bộ nhớ học sâu mới: Nghiên cứu sâu hơn về việc tích hợp các mô-đun bộ nhớ phức tạp hơn (ví dụ: bộ nhớ đồ thị tri thức, bộ nhớ không gian-thời gian) và cơ chế truy xuất nâng cao (ví dụ: truy xuất có ngữ cảnh, truy xuất dựa trên suy luận) để giúp tác nhân LLM khám phá và học hỏi hiệu quả hơn trong các môi trường đa phương thức, nơi thông tin đến từ nhiều giác quan.
Tối ưu hóa lai on-policy và off-policy cho tác nhân LLM có khả năng chuyển giao miền hiệu quả: Tập trung vào việc phát triển các chiến lược tối ưu hóa lai (hybrid optimization) mới, không chỉ dựa vào importance sampling, mà còn kết hợp các kỹ thuật như chỉnh sửa chính sách (policy regularisation) hoặc học tập từ kinh nghiệm tổng hợp (synthetic experiences) để cải thiện tính ổn định và hiệu quả khi chuyển giao kiến thức đã học sang các miền tác vụ hoàn toàn mới với ít dữ liệu huấn luyện.
Ứng dụng tác nhân LLM với khả năng khám phá tăng cường cho các bài toán giải quyết vấn đề phức tạp trong lĩnh vực khoa học và kỹ thuật: Khám phá việc áp dụng EMPO2 hoặc các phương pháp tương tự vào các miền giải quyết vấn đề thực tế, chẳng hạn như khám phá công thức hóa học mới, thiết kế mạch điện tử, hoặc tối ưu hóa quy trình sản xuất, nơi yêu cầu tác nhân phải thực hiện các chuỗi hành động dài và khám phá các trạng thái không quen thuộc để đạt được mục tiêu.

2. Patent:

Hệ thống trợ lý cá nhân thông minh trên điện thoại di động có khả năng tự học và khám phá thông tin mới: Một ứng dụng di động tích hợp tác nhân LLM sử dụng cơ chế bộ nhớ tự tạo và tối ưu hóa lai để học hỏi từ các tương tác của người dùng. Khi người dùng thực hiện một tác vụ mới hoặc gặp khó khăn, hệ thống sẽ ghi lại kinh nghiệm, tạo ra "lời khuyên" nội bộ và sử dụng chúng để cải thiện các hành động tương lai. Ví dụ, nếu người dùng cố gắng tìm kiếm một sản phẩm cụ thể trên nhiều trang web mua sắm nhưng thất bại, trợ lý sẽ ghi nhớ các bước đã thử và khám phá các chiến lược tìm kiếm hoặc lọc sản phẩm mới cho các lần sau mà không cần người dùng phải huấn luyện lại.
Phương pháp tối ưu hóa hành vi ứng dụng di động dựa trên phản hồi người dùng và khám phá trạng thái tương tác: Một công nghệ cho phép các ứng dụng di động tự động điều chỉnh giao diện và luồng tương tác dựa trên cách người dùng sử dụng chúng. Hệ thống sẽ theo dõi các hành vi thành công và không thành công của người dùng, tạo ra các gợi ý cải tiến cho chính ứng dụng (ví dụ: gợi ý thay đổi vị trí nút, sắp xếp lại các mục menu). Nó sẽ thử nghiệm các thay đổi nhỏ (khám phá) và ghi nhận phản hồi để dần dần tối ưu hóa trải nghiệm người dùng, đặc biệt hữu ích cho các ứng dụng có nhiều tính năng hoặc các ứng dụng mới.
Công cụ học tập và giải quyết vấn đề cá nhân hóa trên thiết bị di động với khả năng thích ứng theo ngữ cảnh: Một ứng dụng học tập hoặc công cụ giải quyết vấn đề trên điện thoại/máy tính bảng sử dụng EMPO2 để thích nghi với phong cách học tập và các vấn đề cụ thể của từng người dùng. Khi người dùng đối mặt với một vấn đề mới (ví dụ: bài toán toán học, vấn đề kỹ thuật), ứng dụng không chỉ cung cấp giải pháp dựa trên kiến thức có sẵn mà còn "khám phá" các phương pháp tiếp cận khác nhau, ghi nhớ các chiến lược thành công và thất bại. Điều này cho phép ứng dụng đưa ra các hướng dẫn cá nhân hóa và các bước giải quyết vấn đề hiệu quả hơn theo thời gian, ngay cả khi gặp phải các dạng bài tập hoặc tình huống chưa từng thấy.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.23008
ArXiv Abstract	https://arxiv.org/abs/2602.23008
PDF Download	https://arxiv.org/pdf/2602.23008.pdf
Github Repository	N/A

7. AgentDropoutV2: Optimizing Information Flow in Multi-Agent Systems via Test-Time Rectify-or-Reject Pruning (27 votes)

Tác giả: Yutong Wang, Siyuan Xiong, Xuebo Liu, Wenkang Zhou, Liang Ding, Miao Zhang, Min Zhang

Xuất bản lúc: 2026-02-26

Tag: Multi-Agent Systems, LLMs, Error Correction, Pruning, Information Flow, Retrieval-Augmented Generation

I. Main Problem:

Các Hệ thống Đa tác nhân (MAS) dựa trên LLM, mặc dù xuất sắc trong suy luận phức tạp, nhưng lại dễ bị ảnh hưởng bởi sự lan truyền lỗi từ các tác nhân riêng lẻ. Các giải pháp hiện tại thường dựa vào kỹ thuật cấu trúc cứng nhắc hoặc tinh chỉnh tốn kém, làm hạn chế khả năng triển khai và thích ứng của chúng. Điều này ngăn cản hệ thống khắc phục các lỗi có thể sửa chữa trong quá trình suy luận, tạo ra nhu cầu cấp thiết về một khung sửa lỗi tại thời điểm kiểm thử có thể chủ động chặn và giải quyết các lỗi trong thời gian thực.

II. Main Idea:

AgentDropoutV2 là một khung cắt tỉa (pruning) dựa trên cơ chế 'sửa lỗi hoặc loại bỏ' tại thời điểm kiểm thử, được thiết kế để tối ưu hóa động luồng thông tin trong MAS mà không cần huấn luyện lại. Phương pháp này hoạt động như một bức tường lửa chủ động, chặn đầu ra của các tác nhân và sử dụng một bộ điều chỉnh (rectifier) được tăng cường truy xuất để sửa lỗi lặp đi lặp lại dựa trên một kho chỉ báo (indicator pool) được điều khiển bởi các lỗi đã xảy ra. Cơ chế này cho phép xác định chính xác các lỗi tiềm ẩn bằng cách sử dụng các mẫu lỗi đã được chắt lọc làm kiến thức tiền đề. Các đầu ra không thể sửa chữa sau đó sẽ bị loại bỏ để ngăn chặn sự lan truyền lỗi, trong khi một chiến lược dự phòng sẽ bảo toàn tính toàn vẹn của hệ thống. Kho chỉ báo được xây dựng ngoại tuyến bằng cách chắt lọc các mẫu lỗi từ các quỹ đạo MAS thất bại, và một quy trình khử trùng lặp hai giai đoạn đảm bảo một kho kiến thức nhỏ gọn, entropy cao.

III. Main Results:

AgentDropoutV2 đã cải thiện đáng kể hiệu suất tác vụ của MAS, đạt mức tăng độ chính xác trung bình 6.3 điểm phần trăm trên các bộ điểm chuẩn toán học. Hệ thống thể hiện khả năng khái quát hóa và thích ứng mạnh mẽ, điều chỉnh động nỗ lực sửa lỗi dựa trên độ khó của tác vụ và tận dụng các chỉ báo nhận biết ngữ cảnh để giải quyết nhiều loại mẫu lỗi. Phương pháp đầy đủ của AgentDropoutV2 (với các chỉ báo được truy xuất) đạt độ chính xác trung bình cao nhất là 55.25% trong các điểm chuẩn toán học. Khả năng chuyển đổi chỉ báo giữa các mô hình (từ Qwen3-8B sang Qwen3-4B) cho thấy mức tăng mạnh mẽ trên hầu hết các điểm chuẩn, xác nhận rằng các lỗi suy luận cơ bản phần lớn không phụ thuộc vào quy mô. Ngoài ra, phương pháp này vượt trội hơn các đường cơ sở trong việc tạo mã, đạt độ chính xác trung bình 48.65% so với 46.44% của AutoGen, đặc biệt có những cải thiện đáng kể trên các điểm chuẩn phức tạp như CodeContests và LiveCodeBench.

IV. Conclusion & Future Works:

AgentDropoutV2 là một khung mới để tối ưu hóa luồng thông tin trong MAS thông qua cơ chế cắt tỉa 'sửa lỗi hoặc loại bỏ' tại thời điểm kiểm thử. Bằng cách chắt lọc các quỹ đạo lỗi lịch sử, một kho chỉ báo chứa các mẫu lỗi cụ thể theo miền đã được xây dựng. Khung này chủ động chặn đầu ra của tác nhân, truy xuất các chỉ báo liên quan và thực hiện quá trình tinh chỉnh lặp đi lặp lại để giải quyết các lỗi tiềm ẩn trước khi chúng lan truyền. Kết quả thực nghiệm xác nhận rằng cơ chế này làm sạch luồng thông tin hiệu quả, từ đó nâng cao đáng kể độ chính xác của hệ thống. Phân tích cũng khẳng định rằng quá trình truy xuất chỉ báo và sửa lỗi thể hiện khả năng thích ứng mạnh mẽ với các độ khó tác vụ khác nhau, cùng với khả năng chuyển đổi mạnh mẽ trên các miền và mô hình nền tảng khác nhau. Tương lai có thể bao gồm việc nghiên cứu sâu hơn về cách tối ưu hóa động các tham số sửa lỗi và truy xuất dựa trên độ phức tạp của tác vụ, cũng như mở rộng việc xây dựng kho chỉ báo để bao quát các miền lỗi đa dạng hơn và phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa động các tham số sửa lỗi trong Hệ thống Đa tác nhân: Nghiên cứu cách điều chỉnh động số vòng lặp sửa lỗi (Tmax) và số lượng chỉ báo được truy xuất (Kact) dựa trên độ phức tạp của tác vụ và ngữ cảnh hiện tại, sử dụng các chỉ số như độ sâu sửa lỗi tổng hợp và tỷ lệ từ chối làm yếu tố đánh giá độ khó của tác vụ.
Nâng cao kho chỉ báo dựa trên biểu đồ lỗi cho MAS: Phát triển các phương pháp tiên tiến hơn để xây dựng và quản lý kho chỉ báo, có thể sử dụng các kỹ thuật học biểu đồ hoặc chắt lọc tri thức nâng cao để tạo ra các mẫu lỗi có cấu trúc, entropy cao hơn và giảm thiểu sự trùng lặp, đảm bảo khả năng bao quát toàn diện các chế độ lỗi.
Ứng dụng AgentDropoutV2 vào các miền suy luận phức tạp mới: Khám phá việc triển khai và thích nghi AgentDropoutV2 trong các miền suy luận phức tạp khác ngoài toán học và tạo mã, chẳng hạn như khám phá khoa học, chẩn đoán y tế hoặc ra quyết định trong hệ thống tự trị, nơi sự lan truyền lỗi có thể gây ra hậu quả nghiêm trọng.

2. Patent:

Hệ thống tự động sửa lỗi cho trợ lý ảo trên điện thoại: Một hệ thống trên điện thoại di động có khả năng theo dõi và chặn các phản hồi hoặc kế hoạch hành động do trợ lý ảo tạo ra. Nếu phát hiện lỗi (ví dụ: thông tin không nhất quán, ngữ pháp sai, hiểu sai ý định người dùng) dựa trên một bộ quy tắc được định nghĩa trước, hệ thống sẽ tự động tinh chỉnh hoặc sửa lại phản hồi trước khi hiển thị cho người dùng, đảm bảo thông tin luôn chính xác và hữu ích.
Công cụ gỡ lỗi mã nguồn di động với gợi ý sửa lỗi thông minh: Một ứng dụng trên điện thoại cho phép người dùng viết và thực thi các đoạn mã hoặc tập lệnh nhỏ. Khi mã gặp lỗi hoặc cho ra kết quả không mong muốn, công cụ này sẽ tự động phân tích lỗi (ví dụ: lỗi cú pháp, lỗi logic, sử dụng sai API) dựa trên kho kiến thức về các mẫu lỗi lập trình và cung cấp các gợi ý sửa lỗi hoặc đoạn mã thay thế, giúp người dùng gỡ lỗi hiệu quả hơn trên thiết bị di động.
Nền tảng học tập di động với phản hồi sửa lỗi thích ứng của AI: Một ứng dụng học tập trên điện thoại, đặc biệt cho các môn như toán hoặc lập trình. Khi một tác nhân AI trong ứng dụng tạo ra lời giải thích hoặc giải pháp không chính xác hoặc khó hiểu cho học sinh, hệ thống sẽ chặn thông tin đó, xác định lỗi (ví dụ: áp dụng sai công thức, giải thích không rõ ràng, thiếu bước) và tự động tinh chỉnh lời giải thích hoặc giải pháp một cách lặp đi lặp lại. Điều này đảm bảo học sinh luôn nhận được hướng dẫn chính xác và dễ hiểu từ gia sư AI của mình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.23258
ArXiv Abstract	https://arxiv.org/abs/2602.23258
PDF Download	https://arxiv.org/pdf/2602.23258.pdf
Github Repository	https://github.com/TonySY2/AgentDropoutV2

8. MediX-R1: Open Ended Medical Reinforcement Learning (20 votes)

Tác giả: Sahal Shaji Mullappilly, Mohammed Irfan Kurpath, Omair Mohamed, Mohamed Zidan, Fahad Khan, Salman Khan, Rao Anwer, Hisham Cholakkal

Xuất bản lúc: 2026-02-26

Tag: Reinforcement Learning, MLLMs, Vision-Language Models, LLM-as-judge, Medical AI, Multimodal

I. Main Problem:

Các mô hình ngôn ngữ lớn đa phương thức y tế (MLLM) hiện có chủ yếu được thiết kế cho các câu hỏi trắc nghiệm (MCQ) hoặc đối sánh chuỗi chính xác. Cách tiếp cận này gặp phải các vấn đề như: (i) đánh giá thấp các diễn giải lâm sàng hợp lệ, (ii) không đo lường được chất lượng lập luận hoặc khả năng nhận diện phương thức (modality recognition), và (iii) không cung cấp tín hiệu đáng tin cậy cho học tăng cường (RL) trong các thiết lập trả lời mở. Điều này dẫn đến các mô hình khó tạo ra các phản hồi lâm sàng trung thực, dễ hiểu và mạnh mẽ trên nhiều phương thức khác nhau, đồng thời việc sử dụng một tín hiệu phần thưởng duy nhất có thể gây ra sự bất ổn hoặc 'reward hacking'.

II. Main Idea:

MediX-R1 giới thiệu một khung học tăng cường (RL) mở cho các MLLM y tế, cho phép mô hình đưa ra các câu trả lời tự do, có căn cứ lâm sàng, vượt ra ngoài định dạng trắc nghiệm. Khung này tinh chỉnh một xương sống thị giác-ngôn ngữ cơ bản bằng Group Based RL và sử dụng một phần thưởng tổng hợp được thiết kế riêng cho lập luận y tế, bao gồm:

Phần thưởng độ chính xác dựa trên LLM: Đánh giá độ chính xác ngữ nghĩa với quyết định CÓ/KHÔNG nghiêm ngặt.
Phần thưởng ngữ nghĩa dựa trên nhúng y tế: Thu thập các diễn giải và biến thể thuật ngữ.
Phần thưởng định dạng nhẹ: Củng cố các dấu vết lập luận dễ hiểu (ví dụ: <think>...</think><answer>...</answer>).
Phần thưởng nhận dạng phương thức: Ngăn chặn ảo giác xuyên phương thức bằng cách yêu cầu các thẻ phương thức rõ ràng. Để đo lường tiến độ, MediX-R1 đề xuất một khung đánh giá thống nhất ba giai đoạn dựa trên 'Reference-based LLM-as-judge' thay vì các chỉ số đối sánh chuỗi dễ vỡ, nhằm nắm bắt độ chính xác ngữ nghĩa, lập luận và sự phù hợp ngữ cảnh. Cách tiếp cận này cho phép RL mở một giai đoạn, hỗ trợ đa dạng phương thức y tế và lập luận không cần chú thích.

III. Main Results:

MediX-R1 đạt được kết quả xuất sắc trên các bộ tiêu chuẩn LLM (chỉ văn bản) và VLM (hình ảnh + văn bản) y tế, vượt trội hơn các mô hình mã nguồn mở mạnh mẽ và mang lại lợi ích đặc biệt lớn cho các tác vụ lâm sàng mở. Cụ thể, MediX-R1 8B (68.8%) vượt qua MedGemma 27B (68.4%) trong khi sử dụng lượng dữ liệu huấn luyện ít hơn đáng kể, và MediX-R1 30B đạt độ chính xác tổng thể cao nhất (73.6%).

Mô hình đạt điểm trung bình cao nhất trên tất cả các bộ tiêu chuẩn, thể hiện khả năng vượt trội trong các tác vụ tổng hợp và tạo báo cáo MIMIC-CXR.
Thiết kế phần thưởng tổng hợp không chỉ cải thiện độ chính xác mà còn giảm thiểu 'reward hacking' và sự biến động, dẫn đến quá trình huấn luyện ổn định và đầu ra dễ hiểu.
Các thí nghiệm cho thấy sự cải thiện nhất quán trên các kiến trúc xương sống VLM khác nhau (SmolVLM2, Qwen3-VL).
Đánh giá của chuyên gia y tế cho thấy MediX-R1 được ưu tiên cao (72.7%) về chất lượng phản hồi lâm sàng.
Trên dữ liệu lâm sàng thực tế MedPix 2.0, MediX-R1 đạt 51.11%, vượt trội so với các mô hình SOTA khác.

IV. Conclusion & Future Works:

MediX-R1 là một khung học tăng cường mở cho lập luận đa phương thức y tế, sử dụng phần thưởng tổng hợp và đánh giá dựa trên LLM-as-judge để tạo ra các câu trả lời chính xác, trung thực lâm sàng với các dấu vết lập luận dễ hiểu. Khung này cho thấy sự ổn định được cải thiện và khả năng chống lại 'reward hacking' so với các biến thể RL một tín hiệu.

Các hướng phát triển trong tương lai bao gồm: cải thiện độ chính xác ngữ nghĩa dưới dạng diễn giải, tuân thủ định dạng và căn cứ phương thức trong các tác vụ hỏi đáp y tế; giảm sự phụ thuộc vào các chỉ số đối sánh chuỗi dễ vỡ; cho phép đánh giá thực tế hơn các phản hồi lâm sàng tự do; và cải thiện tính minh bạch thông qua các đầu ra có cấu trúc. Đồng thời, cần giải quyết các rủi ro xã hội và đạo đức như ảo giác, bỏ sót các chẩn đoán phân biệt chính, hoặc khuếch đại các thành kiến. Các công việc trong tương lai nên bao gồm phân tích công bằng, hiệu chuẩn độ không chắc chắn, định hình phần thưởng có nhận thức về thiên vị và đánh giá có sự tham gia của bác sĩ lâm sàng.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về phân tích công bằng và giảm thiểu thiên vị trong các MLLM y tế được huấn luyện bằng RL, đặc biệt tập trung vào các bộ dữ liệu đa dạng về nhân khẩu học và các phương pháp định hình phần thưởng có nhận thức về thiên vị.
Phát triển các phương pháp hiệu chỉnh độ tin cậy và lượng hóa sự không chắc chắn cho các mô hình RL y tế đa phương thức, nhằm cung cấp các đánh giá rủi ro rõ ràng hơn cho các chẩn đoán và khuyến nghị.
Khám phá các phương pháp RL kết hợp chuyên gia y tế (clinician-in-the-loop) để liên tục cải thiện và xác thực các phản hồi mở của MLLM trong môi trường lâm sàng thực tế.

2. Patent:

Hệ thống hỗ trợ chẩn đoán hình ảnh di động với giải thích: Một ứng dụng di động cho phép người dùng (ví dụ: bác sĩ, sinh viên y khoa) chụp ảnh y tế (như vết thương, phát ban da, hoặc quét đơn giản) bằng điện thoại. Ứng dụng sẽ phân tích hình ảnh và cung cấp một mô tả giải thích chi tiết về những gì nó nhìn thấy, kèm theo một câu trả lời cô đọng. Ví dụ, chụp ảnh X-quang phổi và ứng dụng trả lời "Phổi có dấu hiệu viêm" cùng với lý do "Hình ảnh cho thấy các vùng mờ đục ở thùy dưới phổi trái".
Trợ lý y tế ảo đàm thoại đa phương thức: Một trợ lý ảo trên điện thoại thông minh cho phép người dùng hỏi các câu hỏi y tế bằng giọng nói hoặc văn bản, đồng thời có thể tải lên hình ảnh y tế (ví dụ: ảnh vết thương, hình ảnh siêu âm). Trợ lý sẽ cung cấp câu trả lời rõ ràng, dễ hiểu và có cơ sở từ thông tin y tế, đồng thời chỉ ra nguồn thông tin (ví dụ: "Dựa trên hình ảnh bạn cung cấp, đây có thể là dấu hiệu của...").
Công cụ đánh giá triệu chứng có hướng dẫn và phản hồi tức thì: Một ứng dụng trên điện thoại di động giúp người dùng mô tả các triệu chứng của họ và cung cấp các hình ảnh liên quan. Ứng dụng sẽ đưa ra các câu hỏi gợi ý để thu thập thêm thông tin và sau đó cung cấp một phân tích sơ bộ, giải thích khả năng của các tình trạng y tế có thể xảy ra. Nó sẽ hiển thị các bước suy luận đã dẫn đến kết quả, giúp người dùng hiểu rõ hơn. Ví dụ, người dùng chụp ảnh phát ban, ứng dụng hỏi thêm về ngứa, sốt, và sau đó đưa ra "Có thể là dị ứng da, vì phát ban đỏ và ngứa nhưng không sốt."

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.23363
ArXiv Abstract	https://arxiv.org/abs/2602.23363
PDF Download	https://arxiv.org/pdf/2602.23363.pdf
Github Repository	https://github.com/mbzuai-oryx/MediX-R1

9. Search More, Think Less: Rethinking Long-Horizon Agentic Search for Efficiency and Generalization (20 votes)

Tác giả: Qianben Chen, Tianrui Qin, King Zhu, Qiexiang Wang, Chengjun Yu, Shu Xu, Jiaqi Wu, Jiayu Zhang, Xinpeng Liu, Xin Gui, Jingyi Cao, Piaohong Wang, Dingfeng Shi, He Zhu, Tiannan Wang, Yuqing Wang, Maojia Song, Tianyu Zheng, Ge Zhang, Jian Yang, Jiaheng Liu, Minghao Liu, Yuchen Eleanor Jiang, Wangchunshu Zhou

Xuất bản lúc: 2026-02-26

Tag: Agentic Search, LLMs, Reinforcement Learning, Supervised Fine-tuning, Data Synthesis, Parallel Computing, Context Management

I. Main Problem:

Các tác nhân nghiên cứu sâu gần đây chủ yếu cải thiện hiệu suất bằng cách mở rộng chiều sâu suy luận, nhưng điều này dẫn đến chi phí suy luận cao và độ trễ trong các kịch bản tìm kiếm chuyên sâu. Hơn nữa, khả năng tổng quát hóa trên các thiết lập nghiên cứu không đồng nhất vẫn còn thách thức. Việc cân bằng hiệu suất tìm kiếm dài hạn và hiệu quả tính toán vẫn là một vấn đề mở. Các tác vụ tìm kiếm tác nhân hiện có gặp khó khăn trong việc tổng quát hóa giữa các loại nhiệm vụ khác nhau (ví dụ: trả lời câu hỏi xác định và nghiên cứu mở). Nút thắt cổ chai chính của các tác nhân nghiên cứu sâu hiện tại là sự phụ thuộc vào suy luận tuần tự, tuyến tính trong các tác vụ tìm kiếm.

II. Main Idea:

Công trình này đề xuất Search More, Think Less (SMTL), một khung làm việc cho tìm kiếm tác nhân dài hạn nhằm vào cả hiệu quả và khả năng tổng quát hóa. SMTL thay thế suy luận tuần tự bằng việc thu thập bằng chứng song song, cho phép quản lý ngữ cảnh hiệu quả dưới ngân sách ngữ cảnh hạn chế. Để hỗ trợ tổng quát hóa trên các loại nhiệm vụ, SMTL giới thiệu một quy trình tổng hợp dữ liệu thống nhất, xây dựng các tác vụ tìm kiếm bao gồm cả trả lời câu hỏi xác định và các kịch bản nghiên cứu mở. Tác nhân được huấn luyện end-to-end bằng cách sử dụng Supervised Fine-tuning và Reinforcement Learning.

III. Main Results:

SMTL đạt hiệu suất mạnh mẽ và thường là state-of-the-art trên các điểm chuẩn bao gồm BrowseComp (48.6%), GAIA (75.7%), Xbench (82.0%) và DeepResearch Bench (45.9%). So với Mirothinker-v1.0, SMTL với tối đa 100 bước tương tác giảm số bước suy luận trung bình trên BrowseComp tới 70.7%, đồng thời cải thiện độ chính xác. SMTL-100 đạt độ chính xác 44.6% với trung bình 60.4 bước trợ lý, vượt trội hơn Tongyi-DeepResearch-30B (43.4%) với ít bước hơn (75.2). SMTL thực hiện trung bình 3.5 lệnh gọi công cụ mỗi bước, cho phép thu thập bằng chứng đồng thời trên các nhiệm vụ con, tăng mật độ thông tin mỗi bước và giảm việc tái cấu trúc truy vấn dư thừa, dẫn đến quỹ đạo ngắn hơn nhưng hiệu quả hơn.

IV. Conclusion & Future Works:

SMTL chứng minh là một khung làm việc hiệu quả và có khả năng tổng quát hóa cao cho tìm kiếm tác nhân dài hạn. Bằng cách thay thế suy luận tuần tự bằng việc thu thập bằng chứng song song và sử dụng quy trình tổng hợp dữ liệu thống nhất, SMTL đạt được hiệu suất vượt trội trên nhiều điểm chuẩn tìm kiếm sâu và nghiên cứu sâu, đồng thời cải thiện đáng kể hiệu quả về số bước suy luận và độ trễ suy luận. Khả năng của SMTL trong việc chuyển giao khung tìm kiếm song song từ các điểm chuẩn hướng độ chính xác sang tổng hợp nghiên cứu dạng dài mà không cần sửa đổi cụ thể cho từng tác vụ, khẳng định khả năng tổng quát hóa mạnh mẽ của nó trên các mục tiêu và tiêu chí đánh giá đa dạng. Các hướng nghiên cứu trong tương lai có thể tiếp tục tập trung vào việc tối ưu hóa hơn nữa sự cân bằng giữa hiệu suất tìm kiếm dài hạn và hiệu quả tính toán, cũng như mở rộng khả năng tổng quát hóa trên các loại tác vụ và môi trường phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược song song hóa nâng cao và quản lý tài nguyên để tối đa hóa hiệu quả của tác nhân tìm kiếm trong các hệ thống phân tán, đặc biệt là trong môi trường có tài nguyên hạn chế.
Phát triển một khung tổng hợp dữ liệu tự động thế hệ tiếp theo, tập trung vào việc tạo ra các tác vụ nghiên cứu mở có độ phức tạp cao, yêu cầu suy luận đa phương thức và xác thực chéo thông tin từ các nguồn không đồng nhất.
Khám phá các phương pháp học tăng cường (Reinforcement Learning) mới để tối ưu hóa hành vi tìm kiếm của tác nhân, đặc biệt là trong việc ra quyết định dưới sự không chắc chắn và thích ứng với các thay đổi trong môi trường tìm kiếm theo thời gian thực.

2. Patent:

Hệ thống tìm kiếm thông tin đa luồng trên điện thoại di động: Một công nghệ cho phép điện thoại di động xử lý các yêu cầu tìm kiếm phức tạp bằng cách chia nhỏ chúng thành nhiều nhiệm vụ con và thực hiện tìm kiếm đồng thời trên nhiều công cụ (ví dụ: trình duyệt web, ứng dụng tra cứu, thư viện ảnh). Thay vì chờ từng kết quả, hệ thống sẽ thu thập thông tin song song và tổng hợp lại một cách có cấu trúc, giúp người dùng nhận được câu trả lời nhanh chóng và toàn diện hơn cho các câu hỏi cần nghiên cứu sâu.
Trợ lý ảo thông minh với khả năng quản lý ngữ cảnh động: Một tính năng tích hợp trong trợ lý ảo của điện thoại, cho phép nó duy trì và ưu tiên các thông tin quan trọng trong suốt một cuộc trò chuyện tìm kiếm kéo dài. Khi người dùng hỏi nhiều câu hỏi liên quan hoặc yêu cầu nghiên cứu một chủ đề cụ thể, trợ lý sẽ tự động nén các thông tin đã thu thập và điều chỉnh kế hoạch tìm kiếm, đảm bảo rằng thông tin mới nhất và liên quan nhất luôn sẵn có mà không làm quá tải bộ nhớ, từ đó cung cấp phản hồi chính xác và liền mạch.
Công cụ tổng hợp báo cáo tự động từ đa nguồn trên thiết bị di động: Một ứng dụng trên điện thoại di động có khả năng tự động thu thập và tổng hợp dữ liệu từ nhiều nguồn khác nhau (ví dụ: bài báo, tin tức, báo cáo tài chính) để tạo ra các bản tóm tắt hoặc báo cáo chi tiết theo yêu cầu. Ứng dụng này sử dụng kỹ thuật tìm kiếm song song để nhanh chóng quét qua lượng lớn thông tin và sau đó tổng hợp chúng thành một tài liệu dễ đọc, giúp người dùng tiết kiệm thời gian và luôn cập nhật thông tin về các chủ đề quan tâm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.22675
ArXiv Abstract	https://arxiv.org/abs/2602.22675
PDF Download	https://arxiv.org/pdf/2602.22675.pdf
Github Repository	https://github.com/OPPO-PersonalAI/SMTL

10. VGG-T^3: Offline Feed-Forward 3D Reconstruction at Scale (13 votes)

Tác giả: Sven Elflein, Ruilong Li, Sérgio Agostinho, Zan Gojcic, Laura Leal-Taixé, Qunjie Zhou, Aljosa Osep

Xuất bản lúc: 2026-02-26

Tag: 3D Reconstruction, Feed-Forward Networks, Scalability, Transformers, Test-Time Training (TTT), Visual Localization, Multi-view Stereo (MVS), Implicit Neural Representations

I. Main Problem:

Các phương pháp tái tạo 3D feed-forward offline hiện tại gặp phải hạn chế nghiêm trọng về yêu cầu tính toán và bộ nhớ, khi chúng tăng theo cấp số nhân (quadratically) với số lượng ảnh đầu vào. Nút thắt cổ chai này xuất phát từ việc biểu diễn hình học cảnh bằng không gian Key-Value (KV) có độ dài thay đổi trong lớp self-attention toàn cục, vốn đòi hỏi các phép toán softmax attention có độ phức tạp bậc hai.

II. Main Idea:

Các tác giả đề xuất VGG-T3, một mô hình tái tạo 3D feed-forward offline có khả năng mở rộng tuyến tính (linearly) theo số lượng ảnh đầu vào. Ý tưởng chính là thay thế không gian KV có độ dài thay đổi bằng một Multi-Layer Perceptron (MLP) có kích thước cố định thông qua quá trình huấn luyện tại thời điểm kiểm tra (Test-Time Training - TTT). MLP này được tối ưu hóa tại thời điểm kiểm tra để nén thông tin từ không gian KV, cho phép các phép toán attention có độ phức tạp tuyến tính. Mô hình cũng áp dụng ShortConv2D để trộn không gian giá trị (Value) và sử dụng các bước tối ưu hóa TTT linh hoạt để xử lý các bộ sưu tập ảnh lớn. Sự thay đổi này cũng mở khóa khả năng định vị hình ảnh (visual localization) feed-forward, sử dụng cùng một mô hình để lập bản đồ (mapping) và định vị (localization).

III. Main Results:

VGG-T3 đạt được khả năng mở rộng tuyến tính với số lượng ảnh đầu vào, tái tạo bộ sưu tập 1.000 ảnh chỉ trong 54 giây (nhanh hơn 11,6 lần so với các baseline dựa trên softmax attention) và 2.000 ảnh trong 48,5 giây (nhanh hơn 33 lần so với VGGT). Mô hình vượt trội hơn đáng kể so với các phương pháp tuyến tính khác (như TTT3R) về độ chính xác tái tạo bản đồ điểm và ước tính độ sâu video, giảm lỗi từ 2-2,5 lần trên các bộ dữ liệu như DTU, ETH3D và NRGBD-D. VGG-T3 cũng thể hiện khả năng định vị hình ảnh feed-forward hiệu quả, vượt trội hơn TTT3R trên các benchmark như 7scenes và Wayspots.

IV. Conclusion & Future Works:

VGG-T3 cung cấp một giải pháp tái tạo 3D feed-forward có khả năng mở rộng, giải quyết vấn đề độ phức tạp bậc hai của các phương pháp hiện có bằng cách sử dụng tối ưu hóa tại thời điểm kiểm tra để học ánh xạ từ Keys sang Values. Mô hình đạt được tốc độ nhanh hơn đáng kể trong khi vẫn duy trì độ chính xác cao cho bản đồ điểm và độ sâu video. Tuy nhiên, vẫn còn một khoảng cách về độ chính xác so với softmax attention, đặc biệt trong thiết lập wide-baseline. Hướng nghiên cứu tương lai nên tập trung vào việc dung hòa khả năng biểu đạt cố định của biểu diễn cảnh dựa trên MLP với độ chính xác cao của attention bậc hai, cũng như cải thiện khả năng ước lượng tư thế camera.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao khả năng biểu đạt của MLP trong Tái tạo 3D: Nghiên cứu các kiến trúc MLP tiên tiến hoặc kỹ thuật tối ưu hóa trong quá trình huấn luyện tại thời điểm kiểm tra (TTT) để thu hẹp khoảng cách về độ chính xác so với các cơ chế attention bậc hai, đặc biệt trong các thiết lập wide-baseline.
Cải thiện ước lượng tư thế camera trong mô hình TTT: Khám phá các phương pháp mới để xử lý các token camera và các cấu trúc dữ liệu không đồng nhất khác trong các mô hình dựa trên TTT nhằm cải thiện độ chính xác của ước lượng tư thế camera, vốn là một thách thức hiện tại.
Mở rộng tái tạo 3D feed-forward quy mô lớn cho các ứng dụng đa nhiệm: Phát triển các mô hình TTT có khả năng thực hiện đồng thời nhiều nhiệm vụ như tái tạo 3D, định vị hình ảnh và nhận diện đối tượng từ tập hợp ảnh lớn, không có thứ tự, tối ưu hóa khả năng chia sẻ biểu diễn cảnh.

2. Patent:

Hệ thống chụp ảnh và tái tạo không gian 3D tức thì trên điện thoại: Một tính năng điện thoại di động cho phép người dùng chụp nhiều ảnh của một không gian rộng lớn (ví dụ: phòng, toàn bộ tòa nhà hoặc khu vườn). Sau đó, điện thoại sẽ tự động và nhanh chóng tạo ra một mô hình 3D nhẹ của không gian đó mà không cần gửi dữ liệu lên đám mây. Mô hình này có thể được dùng để xem, chú thích hoặc chia sẻ, mang lại trải nghiệm tương tự như quét 3D chuyên nghiệp nhưng với tốc độ và sự tiện lợi của điện thoại thông minh.
Công nghệ định vị và trải nghiệm Thực tế tăng cường (AR) chính xác cao: Sau khi người dùng quét một môi trường bằng camera điện thoại (ví dụ: phòng khách của họ) để tạo ra một bản đồ 3D nén, điện thoại có thể ngay lập tức nhận diện vị trí của mình trong bản đồ đó chỉ từ một hình ảnh mới. Điều này giúp các vật thể ảo trong AR được đặt cố định và ổn định trong không gian thực, ngay cả khi người dùng di chuyển, tạo ra trải nghiệm AR liền mạch và đáng tin cậy hơn.
Ứng dụng hướng dẫn du lịch thông minh với bản đồ 3D ngoại tuyến: Một ứng dụng di động cho phép du khách chụp ảnh các địa danh nổi tiếng. Ứng dụng sẽ tự động xây dựng một bản đồ 3D cục bộ của địa danh đó và sử dụng khả năng định vị hình ảnh để xác định chính xác phần nào của địa danh mà người dùng đang nhìn. Sau đó, ứng dụng cung cấp thông tin chi tiết liên quan (lịch sử, sự kiện) một cách tức thì, hoạt động hiệu quả ngay cả khi không có kết nối internet hoặc GPS, giúp người dùng khám phá địa điểm một cách sâu sắc hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.23361
ArXiv Abstract	https://arxiv.org/abs/2602.23361
PDF Download	https://arxiv.org/pdf/2602.23361.pdf
Github Repository	N/A

11. Accelerating Diffusion via Hybrid Data-Pipeline Parallelism Based on Conditional Guidance Scheduling (12 votes)

Tác giả: Euisoo Jung, Byunghyun Kim, Hyunjin Kim, Seonghye Cho, Jae-Gil Lee

Xuất bản lúc: 2026-02-25

Tag: Diffusion Models, Parallelism, Distributed Computing, Generative Models, Image Generation, Latency Reduction, High-resolution Synthesis, U-Net, DiT, SDXL, SD3

I. Main Problem:

Mô hình khuếch tán đã đạt được tiến bộ đáng kể trong việc tạo hình ảnh, video và âm thanh chất lượng cao, nhưng quá trình suy luận (inference) vẫn rất tốn kém về mặt tính toán. Các phương pháp tăng tốc mô hình khuếch tán hiện tại dựa trên song song hóa phân tán thường gặp phải các hiện tượng tạo tác (artifacts) đáng chú ý và không đạt được mức tăng tốc đáng kể tương ứng với số lượng GPU. Cụ thể, song song hóa dữ liệu dựa trên các bản vá (patch-based data parallelism) gây ra các hiện tượng tạo tác ở ranh giới bản vá và tăng tốc hạn chế (1.2x). Song song hóa đường ống (pipeline parallelism) gây ra chi phí giao tiếp không đồng bộ quá mức và tích lũy lỗi (1.3x). Những vấn đề này dẫn đến sự đánh đổi rõ rệt giữa chất lượng tạo ảnh và tốc độ.

II. Main Idea:

Đề xuất một framework song song hóa lai (hybrid parallelism) kết hợp chiến lược song song hóa dữ liệu mới (phân vùng dựa trên điều kiện - condition-based partitioning) với phương pháp lập lịch đường ống tối ưu (chuyển đổi song song hóa thích ứng - adaptive parallelism switching) để giảm độ trễ tạo ảnh và đạt được chất lượng cao trong các mô hình khuếch tán có điều kiện.

Phân vùng dựa trên điều kiện (Condition-Based Partitioning): Tận dụng các đường dẫn khử nhiễu có điều kiện (conditional, có lời nhắc) và không điều kiện (unconditional, không lời nhắc) như một góc nhìn mới để phân vùng dữ liệu. Mỗi GPU xử lý toàn bộ hình ảnh (theo đường dẫn có điều kiện hoặc không điều kiện), giúp duy trì tính nhất quán toàn cục và giảm chi phí giao tiếp, khác với các phương pháp dựa trên bản vá.
Chuyển đổi song song hóa thích ứng (Adaptive Parallelism Switching): Kích hoạt song song hóa đường ống tối ưu một cách thích ứng dựa trên "sự khác biệt khử nhiễu" (denoising discrepancy) giữa hai đường dẫn có điều kiện và không điều kiện.
- Quá trình khử nhiễu được chia thành ba giai đoạn: Khởi động (Warm-Up Stage), Song song hóa (Parallelism Stage) và Kết nối hoàn toàn (Fully-Connecting Stage).
- Trong giai đoạn Khởi động, mỗi nhánh được xử lý độc lập. Khi sự khác biệt khử nhiễu giảm xuống và ổn định, giai đoạn Song song hóa được kích hoạt, cho phép cả hai nhánh thực hiện song song với trao đổi có điều kiện. Cuối cùng, khi sự khác biệt tăng trở lại, giai đoạn Kết nối hoàn toàn được thực hiện, tích hợp hướng dẫn có điều kiện để hoàn thiện hình ảnh.
- Các điểm chuyển đổi (τ1, τ2) được tự động xác định bởi một chỉ số mới: "sự khác biệt khử nhiễu" (rel-MAEt(ϵc, ϵu)), đo lường sự khác biệt trong dự đoán nhiễu giữa nhánh có điều kiện và không điều kiện.

Framework này nhằm mục tiêu đạt được sự tăng tốc vượt tuyến tính (>2x với 2 GPU) trong khi vẫn duy trì chất lượng tạo ảnh cao.

III. Main Results:

Đạt được giảm độ trễ 2.31 lần trên SDXL và 2.07 lần trên SD3 khi sử dụng hai GPU NVIDIA RTX 3090, đồng thời bảo toàn chất lượng hình ảnh.
Vượt trội hơn các phương pháp phân tán trước đây (DistriFusion, AsyncDiff) về tốc độ, chất lượng hình ảnh, tính tổng quát, khả năng tổng hợp độ phân giải cao và chi phí giao tiếp.
Chi phí giao tiếp giảm 19.6 lần so với AsyncDiff.
Thể hiện tính tổng quát mạnh mẽ trên cả kiến trúc dựa trên U-Net (SDXL) và kiến trúc dựa trên DiT (SD3).
Đạt được tăng tốc vượt trội trong các cài đặt tổng hợp độ phân giải cao (ví dụ: tăng tốc 2.72 lần ở 1024x1024, 1.54 lần ở 2048x2048 và 1.62 lần ở 2560x2560 trên GPU NVIDIA H200).
Kết quả định tính cho thấy phương pháp đề xuất duy trì sự nhất quán toàn cục và các chi tiết tinh xảo, không gặp phải hiện tượng tạo tác như ở DistriFusion và AsyncDiff.

IV. Conclusion & Future Works:

Bài báo đã giới thiệu một framework song song hóa lai cho suy luận mô hình khuếch tán, tích hợp phân vùng dựa trên điều kiện với chuyển đổi song song hóa thích ứng. Phương pháp này tự động chuyển đổi giữa các chế độ song song dựa trên tiêu chí khác biệt khử nhiễu để giảm thiểu giao tiếp dư thừa. Nó đạt được giảm độ trễ 2.31 lần trên SDXL và 2.07 lần trên SD3, đồng thời bảo toàn độ trung thực. Framework này cũng được tổng quát hóa trên các kiến trúc U-Net và DiT, cung cấp một mô hình song song hóa thống nhất cho suy luận khuếch tán đa GPU có khả năng mở rộng.

Công việc trong tương lai bao gồm: Hỗ trợ mức độ song song hóa lớn hơn hai cho một hình ảnh duy nhất.

V. Brainstorming Space:

1. Publish Papers:

Phân tán hóa tối ưu cho mô hình khuếch tán trên nhiều hơn hai GPU cho một ảnh đơn lẻ: Mở rộng framework song song hóa lai để hỗ trợ hiệu quả số lượng GPU lớn hơn hai (ví dụ: 4, 8 GPU) khi tạo một ảnh duy nhất, không chỉ dựa trên mở rộng theo lô (batch-level extension). Nghiên cứu sẽ tập trung vào việc phân chia các đường dẫn có điều kiện và không điều kiện hoặc các lớp mô hình một cách tinh vi hơn trên nhiều thiết bị để tối đa hóa tăng tốc và duy trì chất lượng hình ảnh.
Chuyển đổi song song hóa thích ứng cho các cơ chế hướng dẫn có điều kiện đa dạng: Mở rộng khái niệm "sự khác biệt khử nhiễu" và chiến lược chuyển đổi thích ứng để áp dụng cho các hình thức hướng dẫn có điều kiện khác ngoài Classifier-Free Guidance (CFG), ví dụ như ControlNet, Inpainting, hoặc các điều kiện đa phương thức (multimodal conditions). Mục tiêu là phát triển một cơ chế chuyển đổi linh hoạt có thể điều chỉnh theo động lực ảnh hưởng của điều kiện trong các kịch bản tạo sinh phức tạp hơn.
Tối ưu hóa tham số k (giai đoạn song song hóa) bằng học tăng cường hoặc học meta: Thay vì xác định tham số k (khoảng thời gian của giai đoạn song song hóa) một cách thực nghiệm, nghiên cứu sẽ phát triển một phương pháp tự động học để điều chỉnh giá trị k trong quá trình suy luận. Điều này có thể được thực hiện thông qua các kỹ thuật học tăng cường (Reinforcement Learning) để tìm ra chính sách tối ưu hóa k dựa trên các mục tiêu về tốc độ và chất lượng, hoặc học meta (Meta-learning) để học cách xác định k nhanh chóng cho các mô hình và điều kiện khác nhau.

2. Patent:

Hệ thống tạo ảnh AI tức thì trên thiết bị di động với khả năng tăng tốc đa nhân xử lý: Một ứng dụng di động cho phép người dùng tạo ra hình ảnh chất lượng cao từ mô tả văn bản hoặc hình ảnh tham chiếu một cách nhanh chóng. Công nghệ này sẽ tự động phân tách quá trình tạo ảnh thành các tác vụ xử lý có điều kiện và không điều kiện, sau đó phân phối chúng để chạy song song trên các nhân xử lý (CPU hoặc GPU) có sẵn của điện thoại. Một thuật toán thông minh sẽ giám sát sự khác biệt giữa các luồng xử lý và tự động kích hoạt/tắt chế độ song song hóa để tối ưu hóa tốc độ mà vẫn đảm bảo chất lượng hình ảnh, giảm đáng kể thời gian chờ đợi cho người dùng.
Công nghệ tiết kiệm pin thông minh cho các ứng dụng tạo sinh AI trên điện thoại: Phát triển một công nghệ tích hợp vào hệ điều hành hoặc các ứng dụng AI tạo sinh, giúp tối ưu hóa việc sử dụng năng lượng pin. Hệ thống sẽ liên tục đánh giá "mức độ tương đồng" giữa các phần xử lý có điều kiện và không điều kiện của mô hình AI. Khi các phần này đủ tương đồng, nó sẽ kích hoạt chế độ xử lý song song hiệu quả cao, giúp giảm tải tính toán cho chip xử lý đồ họa (GPU) và bộ xử lý trung tâm (CPU), từ đó giảm mức tiêu thụ điện năng và kéo dài thời lượng pin khi người dùng sử dụng các tính năng AI nặng.
Tính năng tăng tốc xem trước hiệu ứng AI trong ứng dụng chỉnh sửa ảnh/video di động: Một tính năng được cấp bằng sáng chế cho các ứng dụng chỉnh sửa ảnh và video trên điện thoại di động, cho phép người dùng xem trước các hiệu ứng hoặc bộ lọc AI phức tạp (ví dụ: chuyển đổi phong cách, làm đẹp nâng cao) gần như ngay lập tức. Công nghệ này sẽ sử dụng một cơ chế phân chia và xử lý song song các thành phần có điều kiện và không điều kiện của hiệu ứng AI trên các nhân xử lý của thiết bị. Nó sẽ tự động điều chỉnh phương thức xử lý (tuần tự hoặc song song) dựa trên độ phức tạp của hiệu ứng và giai đoạn xử lý để cung cấp trải nghiệm xem trước mượt mà, chất lượng cao mà không cần chờ đợi lâu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.21760
ArXiv Abstract	https://arxiv.org/abs/2602.21760
PDF Download	https://arxiv.org/pdf/2602.21760.pdf
Github Repository	https://github.com/kaist-dmlab/Hybridiff

12. EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents (11 votes)

Tác giả: Wenjia Wang, Liang Pan, Huaijin Pi, Yuke Lou, Xuqian Ren, Yifan Wu, Zhouyingcheng Liao, Lei Yang, Rishabh Dabral, Christian Theobalt, Taku Komura

Xuất bản lúc: 2026-02-26

Tag: Embodied AI, 4D Reconstruction, Human-Scene Reconstruction, Motion Capture, RGB-D, iPhone, Reinforcement Learning, Robotics

I. Main Problem:

Các hệ thống thu thập dữ liệu chuyển động người-cảnh 4D hiện tại thường đắt đỏ, phụ thuộc vào thiết lập phòng thu chuyên dụng hoặc thiết bị đeo, hạn chế khả năng thu thập dữ liệu quy mô lớn trong môi trường thực tế đa dạng. Việc này cản trở sự phát triển của Trí tuệ Nhân tạo Hiện thân (Embodied AI) vốn yêu cầu các bộ dữ liệu phong phú về tương tác người-cảnh để học nhận thức và hành động dựa trên vật lý.

II. Main Idea:

Chúng tôi đề xuất EmbodMocap, một hệ thống thu thập dữ liệu di động và giá cả phải chăng sử dụng hai chiếc iPhone. Ý tưởng chính là hiệu chỉnh đồng thời hai chuỗi RGB-D để tái tạo cả người và cảnh trong một hệ quy chiếu thế giới thống nhất. Quá trình này bao gồm bốn giai đoạn: (1) Tái tạo cảnh tĩnh chính xác theo hệ mét bằng một iPhone, thiết lập hệ quy chiếu thế giới. (2) Xử lý chuỗi video RGB-D đồng bộ từ hai iPhone, trích xuất tư thế camera và thông tin người. (3) Hiệu chỉnh quỹ đạo camera từ hai góc nhìn vào cảnh đã tái tạo bằng cách sử dụng đăng ký COLMAP và tối ưu hóa hình học đa góc nhìn. (4) Tối ưu hóa chuyển động bằng cách tam giác hóa các điểm khóa 2D từ hai góc nhìn thành không gian 3D và tinh chỉnh các tham số SMPL để phục hồi tư thế và chuyển động người chính xác trong hệ quy chiếu thế giới. Dữ liệu thu thập được chứng minh hiệu quả trên ba tác vụ Embodied AI: tái tạo người-cảnh đơn góc nhìn, hoạt hình nhân vật dựa trên vật lý và điều khiển robot hình người trong thế giới thực.

III. Main Results:

EmbodMocap cho thấy khả năng vượt trội trong việc giảm thiểu sự mơ hồ về độ sâu và đạt được hiệu suất căn chỉnh, tái tạo cao hơn đáng kể so với các mô hình đơn iPhone hoặc đơn góc nhìn. Cụ thể, hệ thống hai góc nhìn đạt độ chính xác hiệu chuẩn cảnh khoảng 5cm, so với hơn 30cm của góc nhìn đơn. Trong các tác vụ Embodied AI, việc tinh chỉnh các mô hình tái tạo người-cảnh đơn góc nhìn với dữ liệu EmbodMocap giúp cải thiện đáng kể độ chính xác. Dữ liệu của chúng tôi cũng cho phép huấn luyện các kỹ năng tương tác người-vật thể dựa trên vật lý với tỷ lệ thành công cao, vượt trội hơn so với các phương pháp ước tính đơn góc nhìn, đặc biệt đối với các kỹ năng phức tạp như 'Support'. Ngoài ra, dữ liệu EmbodMocap đã chứng minh đủ chất lượng để huấn luyện robot hình người trong mô phỏng và triển khai vào robot vật lý trong thế giới thực để tái tạo chuyển động người.

IV. Conclusion & Future Works:

EmbodMocap là một framework di động và giá cả phải chăng để thu thập dữ liệu người-cảnh 4D chất lượng cao chỉ với hai chiếc iPhone, cho phép tái tạo chuyển động người và lưới cảnh chính xác theo hệ mét trong nhiều môi trường thực tế. Nó đã chứng minh sự vượt trội trong việc giải quyết vấn đề che khuất cơ thể và căn chỉnh hệ tọa độ chuỗi so với thiết kế đơn góc nhìn. Thông qua các ứng dụng hạ nguồn trong tái tạo người-cảnh đơn góc nhìn, hoạt hình nhân vật dựa trên vật lý và điều khiển robot hình người, chúng tôi đã chứng minh tính hiệu quả và khả năng mở rộng của phương pháp. EmbodMocap giảm rào cản cho nghiên cứu Embodied AI, mở ra những cơ hội mới cho các ứng dụng trong thế giới thực. Tuy nhiên, hệ thống còn hạn chế về phạm vi cảm biến LiDAR của iPhone (khoảng 5 mét), gặp khó khăn với các cảnh có nhiều vật thể chuyển động và điều kiện ánh sáng cực mạnh có thể gây lỗi COLMAP. Công việc tương lai có thể tích hợp các công cụ structure-from-motion mạnh mẽ hơn như H-Loc và kết hợp ứng dụng đồng bộ hóa tự động trên iPhone để giảm thiểu công sức thủ công.

V. Brainstorming Space:

1. Publish Papers:

Phát triển hệ thống 4D tái tạo người-cảnh tự động hoàn toàn: Nghiên cứu tích hợp các công cụ structure-from-motion mạnh mẽ hơn và ứng dụng đồng bộ hóa tự động trên iPhone để giảm thiểu sự can thiệp thủ công, cho phép thu thập dữ liệu 4D chất lượng cao trong nhiều môi trường phức tạp hơn mà không gặp các hạn chế về ánh sáng hoặc vật thể chuyển động.
Mở rộng ứng dụng dữ liệu EmbodMocap cho học tăng cường đa tác tử (Multi-Agent Reinforcement Learning): Khám phá cách sử dụng dữ liệu tương tác người-cảnh chất lượng cao để huấn luyện các tác tử AI có thể phối hợp hoặc cạnh tranh trong môi trường vật lý, tập trung vào các kịch bản tương tác phức tạp giữa nhiều người hoặc người với robot.
Tích hợp dữ liệu 4D để cải thiện mô hình ngôn ngữ lớn (LLMs) cho tác vụ điều khiển robot: Nghiên cứu cách sử dụng thông tin không gian-thời gian từ dữ liệu EmbodMocap để cung cấp ngữ cảnh phong phú cho LLMs, giúp chúng hiểu và tạo ra các kế hoạch hành động chi tiết hơn cho robot hình người trong các môi trường thực tế.

2. Patent:

Hệ thống ghi lại và tái tạo chuyển động 3D cho huấn luyện thể thao cá nhân trên điện thoại: Một ứng dụng di động cho phép người dùng ghi lại chuyển động của họ bằng hai điện thoại thông minh, sau đó tái tạo chuyển động đó dưới dạng 3D để phân tích kỹ thuật, so sánh với chuyển động mẫu, và cung cấp phản hồi cải thiện tư thế hoặc kỹ thuật tập luyện (ví dụ: tư thế yoga, động tác gym, swing golf).
Công cụ tạo nội dung thực tế tăng cường (AR) tương tác với người dùng theo thời gian thực: Phát triển một công cụ trên điện thoại cho phép người dùng quét môi trường và một người đang chuyển động bằng hai điện thoại. Hệ thống sẽ tạo ra một mô hình 3D của người và cảnh, sau đó cho phép các đối tượng AR tương tác vật lý với mô hình người và cảnh đó theo thời gian thực (ví dụ: một nhân vật game AR có thể ngồi lên ghế sofa thật hoặc bắt tay với người dùng).
Ứng dụng mô phỏng và thử nghiệm nội thất thông minh theo chuyển động người: Một ứng dụng di động cho phép người dùng quay video chuyển động của họ trong một không gian bằng hai điện thoại. Hệ thống sẽ tái tạo không gian và chuyển động người. Sau đó, người dùng có thể đặt các vật thể nội thất ảo vào không gian và xem xét cách chúng tương tác với chuyển động của họ (ví dụ: kiểm tra xem một chiếc bàn mới có cản trở lối đi hoặc hoạt động của người trong phòng không).

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.23205
ArXiv Abstract	https://arxiv.org/abs/2602.23205
PDF Download	https://arxiv.org/pdf/2602.23205.pdf
Github Repository	https://github.com/WenjiaWang0312/EmbodMocap

13. General Agent Evaluation (11 votes)

Tác giả: Elron Bandel, Asaf Yehudai, Lilach Eden, Yehoshua Sagron, Yotam Perlitz, Elad Venezian, Natalia Razinkov, Natan Ergas, Shlomit Shachor Ifergan, Segev Shlomov, Michal Jacovi, Leshem Choshen, Liat Ein-Dor, Yoav Katz, Michal Shmueli-Scheuer

Xuất bản lúc: 2026-02-26

Tag: AI Agents, Evaluation, Benchmarking, LLMs, Generalization

I. Main Problem:

Lời hứa về các tác nhân tổng quát—hệ thống có khả năng thực hiện nhiệm vụ trong môi trường không quen thuộc mà không cần kỹ thuật chuyên biệt cho từng miền—vẫn chưa được hiện thực hóa. Các tác nhân hiện có chủ yếu là chuyên biệt, và không có một phương pháp đánh giá có hệ thống nào cho hiệu suất tổng quát của chúng. Các tiêu chuẩn đánh giá tác nhân hiện tại thường giả định tích hợp theo miền cụ thể, mã hóa thông tin tác vụ theo cách ngăn cản việc đánh giá công bằng các tác nhân tổng quát. Điều này dẫn đến sự không tương thích giữa các giao thức của tác nhân và tiêu chuẩn, gây khó khăn hoặc tốn kém khi tích hợp và đánh giá.

II. Main Idea:

Bài báo đặt mục tiêu đánh giá tác nhân tổng quát là một mục tiêu nghiên cứu hàng đầu. Các tác giả đề xuất ba đóng góp chính: (1) Unified Protocol: một giao thức trung gian giữa các giao diện tác nhân (ví dụ: CLI, API gọi công cụ) và các tiêu chuẩn đánh giá thông qua một biểu diễn tác vụ chuẩn hóa, giúp tách biệt việc đánh giá khỏi các triển khai và giao thức truyền thông cụ thể của từng miền. Giao thức này định nghĩa các trường task, context và actions để trao đổi thông tin. (2) Exgentic: một framework đánh giá thực tế cho các tác nhân tổng quát dựa trên Unified Protocol, hỗ trợ phân tích modular (so sánh kiến trúc, phân tích tác động của mô hình ngôn ngữ, tối ưu hóa cặp tác nhân-mô hình). (3) Open General Agent Leaderboard: bảng xếp hạng công khai đầu tiên về tác nhân tổng quát, đánh giá 5 triển khai tác nhân nổi bật trên 6 môi trường. Framework này sử dụng mã adaptor bên ngoài để xử lý đồng bộ hóa và dịch giao thức, cho phép các tác nhân và tiêu chuẩn chạy độc lập trong các tiến trình riêng biệt mà không cần sửa đổi mã nguồn gốc.

III. Main Results:

Các thí nghiệm cho thấy các tác nhân tổng quát có khả năng tổng quát hóa trên các môi trường đa dạng, đạt hiệu suất tương đương với các tác nhân chuyên biệt mà không cần điều chỉnh cụ thể cho từng môi trường. Các cấu hình hàng đầu trên bảng xếp hạng chủ yếu sử dụng Claude Opus 4.5. Chất lượng mô hình là yếu tố mạnh mẽ nhất quyết định hiệu suất tác nhân, chiếm 28.2% tổng phương sai tỷ lệ thành công, vượt trội hơn kiến trúc tác nhân (0.6%) tới 85 lần. Claude Opus 4.5 đạt tỷ lệ thành công trung bình 0.66, tiếp theo là Gemini 3 (0.60) và GPT 5.2 (0.40). Không có một tác nhân nào chiếm ưu thế duy nhất trên tất cả các miền tác vụ. Claude Opus 4.5 cũng thể hiện độ ổn định cao nhất (STD: 0.06) trên các kiến trúc tác nhân khác nhau. Các thành phần như "schema guard" (cơ chế tự sửa lỗi khi gọi hành động không hợp lệ) và "tool shortlisting" (rút gọn danh sách công cụ) tỏ ra hữu ích. Các lần chạy thất bại thường tốn nhiều bước và chi phí hơn các lần chạy thành công. Về hiệu quả chi phí, các cấu hình GPT 5.2 dẫn đầu, mặc dù đạt hiệu suất thấp hơn đáng kể so với các cấu hình Claude Opus 4.5 (hiệu suất cao nhất có thể tốn kém hơn 30 lần).

IV. Conclusion & Future Works:

Công trình này là bước đầu tiên hướng tới nghiên cứu có hệ thống về các tác nhân tổng quát, một khoảng trống cơ bản trong lĩnh vực AI. Kết quả ban đầu chứng minh rằng các tác nhân có thể tổng quát hóa qua các miền mà không cần thích ứng chuyên biệt, đạt hiệu suất ngang bằng hoặc vượt trội so với các hệ thống chuyên biệt. Điều này khẳng định tác nhân tổng quát là một hướng đi đầy hứa hẹn. Các cơ hội phát triển bao gồm: cải thiện hiệu suất thông qua lập luận và lập kế hoạch tốt hơn, đạt được tính nhất quán đa miền, phát triển các giải pháp hiệu quả về chi phí, và mở rộng sang các kịch bản đa phương thức và an toàn-quan trọng. Open General Agent Leaderboard và framework Exgentic cung cấp nền tảng cho việc so sánh có hệ thống và tiến bộ lặp đi lặp lại hướng tới các tác nhân tổng quát thực sự có năng lực.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các kiến trúc tác nhân mới tập trung vào khả năng lập luận và lập kế hoạch nâng cao để cải thiện tính nhất quán và khả năng tổng quát hóa của tác nhân trên nhiều miền tác vụ khác nhau, vượt qua sự phụ thuộc vào chất lượng mô hình nền tảng.
Phát triển các chiến lược tối ưu hóa chi phí cho các tác nhân tổng quát, cân bằng giữa hiệu suất và chi phí tính toán, đặc biệt cho các ứng dụng yêu cầu hiệu quả cao và khối lượng lớn.
Mở rộng khung đánh giá tác nhân tổng quát để bao gồm các kịch bản đa phương thức (multimodal) và an toàn-quan trọng (safety-critical), đảm bảo các tác nhân có thể hoạt động đáng tin cậy trong môi trường thực tế phức tạp.

2. Patent:

Hệ thống trợ lý dịch vụ khách hàng đa năng trên điện thoại di động: Một ứng dụng di động cho phép người dùng tương tác với nhiều dịch vụ khách hàng khác nhau (ví dụ: hãng hàng không, bán lẻ, viễn thông) thông qua một giao diện trò chuyện duy nhất. Trợ lý này sẽ tự động hiểu ngữ cảnh và kết nối với các hệ thống dịch vụ khác nhau để thực hiện các yêu cầu như hủy đặt chỗ, tìm kiếm sản phẩm hoặc kiểm tra gói cước mà không cần người dùng chuyển đổi ứng dụng hay biết các giao thức cụ thể của từng dịch vụ. Mục tiêu là đơn giản hóa việc quản lý các dịch vụ cá nhân và cung cấp trải nghiệm liền mạch.
Tác nhân tự động hóa tác vụ đa ứng dụng trên điện thoại thông minh: Một tính năng tích hợp trong điện thoại di động cho phép người dùng hướng dẫn một trợ lý ảo thực hiện các chuỗi hành động phức tạp qua nhiều ứng dụng khác nhau. Ví dụ, người dùng có thể yêu cầu trợ lý tìm một địa điểm trên ứng dụng bản đồ, sau đó đặt bàn trên ứng dụng nhà hàng và chia sẻ thông tin với bạn bè qua ứng dụng nhắn tin, tất cả chỉ với một lệnh. Trợ lý sẽ học cách tương tác với giao diện của các ứng dụng mà không cần tích hợp riêng biệt, giúp tự động hóa các tác vụ hàng ngày và tiết kiệm thời gian.
Hệ thống gợi ý và tự sửa lỗi thông minh dựa trên ngữ cảnh cho người dùng di động: Một tính năng tích hợp vào bàn phím hoặc hệ điều hành di động, giúp người dùng thực hiện các tác vụ và sửa lỗi một cách thông minh. Khi người dùng nhập liệu hoặc tương tác với ứng dụng, hệ thống không chỉ sửa lỗi chính tả/ngữ pháp mà còn đề xuất các hành động liên quan dựa trên ngữ cảnh (ví dụ: nếu đang nói về một cuộc họp, nó có thể gợi ý tạo lịch hẹn). Nếu người dùng thực hiện một hành động không hợp lệ hoặc không hiệu quả, hệ thống có thể nhận diện và gợi ý cách khắc phục hoặc tự động điều chỉnh để hoàn thành tác vụ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.22953
ArXiv Abstract	https://arxiv.org/abs/2602.22953
PDF Download	https://arxiv.org/pdf/2602.22953.pdf
Github Repository	https://github.com/Exgentic/exgentic

📰 Summary of Papers​

1. The Trinity of Consistency as a Defining Principle for General World Models (194 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. From Blind Spots to Gains: Diagnostic-Driven Iterative Training for Large Multimodal Models (148 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. MobilityBench: A Benchmark for Evaluating Route-Planning Agents in Real-World Mobility Scenarios (104 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. OmniGAIA: Towards Native Omni-Modal AI Agents (51 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. Imagination Helps Visual Reasoning, But Not Yet in Latent Space (39 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization (35 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. AgentDropoutV2: Optimizing Information Flow in Multi-Agent Systems via Test-Time Rectify-or-Reject Pruning (27 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. MediX-R1: Open Ended Medical Reinforcement Learning (20 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Search More, Think Less: Rethinking Long-Horizon Agentic Search for Efficiency and Generalization (20 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. The Trinity of Consistency as a Defining Principle for General World Models (194 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. From Blind Spots to Gains: Diagnostic-Driven Iterative Training for Large Multimodal Models (148 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. MobilityBench: A Benchmark for Evaluating Route-Planning Agents in Real-World Mobility Scenarios (104 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. OmniGAIA: Towards Native Omni-Modal AI Agents (51 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. Imagination Helps Visual Reasoning, But Not Yet in Latent Space (39 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization (35 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. AgentDropoutV2: Optimizing Information Flow in Multi-Agent Systems via Test-Time Rectify-or-Reject Pruning (27 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. MediX-R1: Open Ended Medical Reinforcement Learning (20 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Search More, Think Less: Rethinking Long-Horizon Agentic Search for Efficiency and Generalization (20 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: