🤗 Daily Hugging Face Paper Digest - 2026-04-06

Báo cáo được tạo tự động vào lúc 2026-04-07 10:02:57 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

---

1. Self-Distilled RLVR (87 votes)

Tác giả: Chenxu Yang, Chuanyu Qin, Qingyi Si, Minghui Chen, Naibin Gu, Dingyu Yao, Zheng Lin, Weiping Wang, Jiaqi Wang, Nan Duan

Xuất bản lúc: 2026-04-03

Tag: Reinforcement Learning, LLMs, Self-Distillation, On-policy learning, RLVR, OPSD, Policy Gradient, Information Leakage

I. Main Problem:

Các phương pháp tự chưng cất trên chính sách (OPSD) gặp phải vấn đề rò rỉ thông tin đặc quyền nghiêm trọng và quá trình huấn luyện không ổn định về lâu dài. Điều này xảy ra do mô hình giáo viên, được điều kiện hóa bởi thông tin đặc quyền không có sẵn cho mô hình học sinh trong quá trình suy luận, tạo ra sự bất đối xứng thông tin. Sự bất đối xứng này dẫn đến mục tiêu tối ưu hóa không rõ ràng (ill-posed objective) và làm suy giảm hiệu suất. Trong khi đó, các phương pháp học tăng cường với phần thưởng có thể kiểm chứng (RLVR) như GRPO chỉ cung cấp tín hiệu phần thưởng thưa thớt ở cấp độ chuỗi, hạn chế khả năng phân bổ tín dụng chi tiết cho từng token và dẫn đến hội tụ chậm hơn. Các phương pháp chưng cất trên chính sách (OPD) cần một mô hình giáo viên riêng biệt, thường lớn hơn, gây ra chi phí tính toán đáng kể và các vấn đề tương thích từ vựng.

II. Main Idea:

Bài báo đề xuất RLSD (RLVR with Self-Distillation), một khuôn khổ mới kết hợp sức mạnh của RLVR và OPSD. RLSD giải quyết vấn đề rò rỉ thông tin bằng cách tách biệt rõ ràng tín hiệu điều khiển hướng cập nhật và độ lớn cập nhật. Cụ thể, phản hồi từ môi trường (ví dụ: tính đúng đắn của phản hồi) được sử dụng để xác định hướng cập nhật đáng tin cậy cho mỗi token. Đồng thời, tự chưng cất được tận dụng để thu được sự khác biệt chính sách ở cấp độ token (thông qua 'privileged information gain' ∆t) nhằm điều chỉnh độ lớn cập nhật một cách chi tiết. Điều này được thực hiện bằng cách tính toán tỷ lệ bằng chứng wt = exp(sign(A) * ∆t), trong đó A là lợi thế cấp độ chuỗi từ môi trường, và ∆t là độ lợi thông tin đặc quyền. wt sau đó được cắt (clipped) và sử dụng để điều chỉnh lợi thế cấp độ token (ˆAt). Phương pháp này đảm bảo rằng thông tin đặc quyền chỉ ảnh hưởng đến mức độ tín dụng mà mỗi token nhận được, chứ không phải hướng củng cố hay trừng phạt. RLSD chỉ yêu cầu thêm một lần forward pass cho mỗi phản hồi để lấy logits của giáo viên, làm cho nó hiệu quả về mặt tính toán và có thể thay thế trực tiếp lợi thế đồng nhất trong GRPO tiêu chuẩn.

III. Main Results:

RLSD đạt được trần hội tụ cao hơn và độ ổn định huấn luyện vượt trội so với các phương pháp hiện có. Cụ thể, trên mô hình Qwen3-VL-8B-Instruct đã huấn luyện, RLSD duy trì sự ổn định huấn luyện của GRPO đồng thời đạt được hiệu suất cao hơn (Hình 1a). RLSD chỉ với 200 bước huấn luyện đã vượt qua GRPO được huấn luyện gấp đôi số bước (400 bước), chứng tỏ tốc độ hội tụ nhanh hơn (Hình 1b). Trong các thí nghiệm mở rộng trên năm bộ dữ liệu đánh giá suy luận đa phương thức (MMMU, MathVista, MathVision, ZeroBench, WeMath), RLSD đạt độ chính xác trung bình tốt nhất, vượt trội 4.69% so với mô hình LLM cơ bản và duy trì cải thiện vượt qua điểm mà các phương pháp tự chưng cất khác suy giảm. Phân tích lý thuyết cho thấy sự bất đối xứng thông tin trong OPSD tạo ra một khoảng cách thông tin tương hỗ không thể loại bỏ, dẫn đến rò rỉ thông tin đặc quyền thông qua cấu trúc gradient. Ngược lại, RLSD được chứng minh là miễn nhiễm với rò rỉ thông tin đặc quyền và đồng thời đáp ứng các tiêu chí về ổn định mục tiêu, cải thiện bền vững và huấn luyện không rò rỉ.

IV. Conclusion & Future Works:

Bài báo kết luận rằng sự thất bại của OPSD bắt nguồn từ việc thông tin đặc quyền đi vào hướng gradient, làm ô nhiễm quỹ đạo tối ưu hóa. RLSD giải quyết vấn đề này bằng cách tái sử dụng vai trò của giáo viên từ một mục tiêu tạo sinh thành một bộ đánh giá độ lớn. Bằng cách neo hướng gradient vào phần thưởng môi trường đáng tin cậy và sử dụng tự chưng cất để điều chỉnh độ lớn cập nhật ở cấp độ token, RLSD thành công trong việc kết hợp sức mạnh của RLVR và tự chưng cất, đạt được hiệu suất cao hơn và ổn định hơn mà không bị rò rỉ thông tin. Hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng nguyên tắc phân tách hướng và độ lớn này sang các nhiệm vụ học tăng cường phức tạp hơn hoặc các miền ứng dụng khác, cũng như khám phá các hình thức thông tin đặc quyền mới và cách tích hợp chúng một cách an toàn.

V. Brainstorming Space:

1. Publish Papers:

1. Mở rộng RLSD cho học tăng cường ngoại tuyến và các môi trường phản hồi trì hoãn: Nghiên cứu cách áp dụng nguyên tắc phân tách hướng cập nhật và độ lớn cập nhật của RLSD trong các kịch bản học tăng cường ngoại tuyến (offline RL) hoặc các môi trường nơi phản hồi từ môi trường (RLVR) có độ trễ cao hoặc thưa thớt hơn nhiều, tận dụng thông tin đặc quyền để tăng cường hiệu quả học tập mà không gây rò rỉ.
2. Khám phá các phương pháp tạo sinh thông tin đặc quyền tự động cho RLSD: Phát triển các kỹ thuật để tự động tạo ra "thông tin đặc quyền" (ví dụ: các bước suy luận đã xác minh, lời giải thích) cho các nhiệm vụ phức tạp, giảm sự phụ thuộc vào dữ liệu có chú thích thủ công và mở rộng khả năng ứng dụng của RLSD cho nhiều loại bài toán hơn.
3. Phân tích so sánh RLSD với các phương pháp học tăng cường dựa trên mô hình: Thực hiện nghiên cứu so sánh sâu rộng giữa RLSD và các phương pháp học tăng cường dựa trên mô hình (model-based RL) để hiểu rõ hơn về điểm mạnh, điểm yếu và các trường hợp ứng dụng tối ưu của từng phương pháp trong việc giải quyết vấn đề tín hiệu phần thưởng thưa thớt và phân bổ tín dụng.

2. Patent:

1. Hệ thống gợi ý chỉnh sửa văn bản thông minh trên điện thoại di động: Một công nghệ cho phép bàn phím ảo trên điện thoại di động cung cấp các gợi ý chỉnh sửa hoặc hoàn thành câu một cách thông minh hơn. Hệ thống sẽ sử dụng một mô hình ngôn ngữ cơ bản kết hợp với nguyên tắc của RLSD. "Phản hồi môi trường" là việc người dùng chấp nhận hoặc bỏ qua gợi ý, xác định hướng điều chỉnh. "Thông tin đặc quyền" có thể là ngữ cảnh đầy đủ của đoạn văn hoặc các quy tắc ngữ pháp nâng cao. Điều này giúp hệ thống học cách điều chỉnh độ lớn của các gợi ý (mức độ tự tin) mà không làm thay đổi hoàn toàn hướng hoặc ý nghĩa của văn bản gốc, giảm thiểu lỗi và tăng tốc độ gõ.
2. Trợ lý ảo cá nhân hóa với khả năng học hỏi từ tương tác người dùng: Một trợ lý ảo trên thiết bị di động (ví dụ: smartphone, smartwatch) có khả năng tự học và thích nghi với sở thích và thói quen của người dùng. Khi trợ lý thực hiện một hành động hoặc đưa ra một phản hồi, người dùng có thể cung cấp phản hồi đơn giản (ví dụ: "Thích", "Không thích", "Đúng", "Sai"). Công nghệ này sẽ sử dụng RLSD để điều chỉnh độ lớn của các sửa đổi đối với mô hình hành vi của trợ lý, đảm bảo rằng các hành động phù hợp với người dùng được củng cố mạnh mẽ hơn, trong khi các hành động không phù hợp được giảm nhẹ, mà không làm thay đổi đột ngột hướng phản ứng của trợ lý, dẫn đến trải nghiệm cá nhân hóa mượt mà và hiệu quả hơn.
3. Ứng dụng học tập thông minh với phản hồi thích ứng cho từng học sinh: Một ứng dụng giáo dục trên máy tính bảng hoặc điện thoại di động cung cấp phản hồi cá nhân hóa cho học sinh. Khi học sinh trả lời các câu hỏi hoặc hoàn thành bài tập, ứng dụng sẽ xác định tính đúng/sai của câu trả lời. Sử dụng nguyên tắc RLSD, ứng dụng có thể tận dụng "lời giải chi tiết" hoặc "các bước giải pháp tối ưu" làm thông tin đặc quyền để điều chỉnh độ lớn của điểm tín dụng hoặc mức độ hỗ trợ cho từng phần cụ thể trong câu trả lời của học sinh. Hướng phản hồi tổng thể (đúng/sai) vẫn được giữ nguyên. Điều này giúp ứng dụng cung cấp hướng dẫn học tập chi tiết, hiệu quả và thích ứng hơn, giúp học sinh hiểu sâu hơn về các lỗi sai mà không làm mất đi mục tiêu học tập chính.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.03128
ArXiv Abstract	https://arxiv.org/abs/2604.03128
PDF Download	https://arxiv.org/pdf/2604.03128.pdf
Github Repository	N/A

---

2. A Simple Baseline for Streaming Video Understanding (58 votes)

Tác giả: Yujiao Shen, Shulin Tian, Jingkang Yang, Ziwei Liu

Xuất bản lúc: 2026-04-02

Tag: VLM, Streaming Video, Video Understanding, Baseline, Memory Mechanisms, Real-time Perception, LLMs

I. Main Problem:

Các phương pháp hiểu video trực tuyến hiện tại ngày càng phụ thuộc vào các cơ chế bộ nhớ phức tạp để xử lý luồng video dài dưới các ràng buộc nhân quả. Tuy nhiên, các thiết kế phức tạp này thường chỉ mang lại những cải thiện khiêm tốn hoặc không đồng đều, và có thể làm suy yếu khả năng nhận diện theo thời gian thực. Vấn đề cốt lõi là liệu sự phức tạp của bộ nhớ có thực sự cần thiết để đạt được hiệu suất mạnh mẽ trong việc hiểu video trực tuyến hay không.

II. Main Idea:

Bài báo giới thiệu SIMPLESTREAM, một phương pháp baseline đơn giản có chủ đích cho việc hiểu video trực tuyến. Thay vì sử dụng các cơ chế bộ nhớ phức tạp, SIMPLESTREAM chỉ đưa N khung hình gần nhất (trong một cửa sổ trượt) cùng với truy vấn văn bản trực tiếp vào một mô hình Vision-Language Model (VLM) có sẵn. Thiết kế này tối giản nhằm khai thác khả năng nhận diện mạnh mẽ trong thời gian ngắn của các VLM hiện đại, ưu tiên giữ lại các bằng chứng hình ảnh gần đây rõ ràng, không nén, thay vì các bản tóm tắt lịch sử phức tạp.

III. Main Results:

SIMPLESTREAM (sử dụng Qwen3-VL-8B với 4 khung hình gần nhất) đạt độ chính xác trung bình 67.7% trên OVO-Bench và 80.59% trên StreamingBench, vượt trội hoặc ngang bằng với các mô hình streaming phức tạp đã công bố (ví dụ, vượt HERMES 8.5 điểm phần trăm trên OVO-Bench). Nó duy trì mức sử dụng bộ nhớ GPU cao nhất thấp nhất và độ trễ cạnh tranh so với các phương pháp streaming khác. Các phân tích kiểm soát cho thấy giá trị của ngữ cảnh dài hơn phụ thuộc vào kiến trúc backbone chứ không tăng đều đặn theo quy mô mô hình. Một sự đánh đổi nhất quán giữa khả năng nhận diện và bộ nhớ: việc thêm ngữ cảnh lịch sử có thể cải thiện khả năng ghi nhớ nhưng thường làm suy yếu khả năng nhận diện theo thời gian thực. Ví dụ, Visual-RAG cải thiện các tác vụ ghi nhớ nhưng giảm đáng kể hiệu suất nhận diện thời gian thực.

IV. Conclusion & Future Works:

Kết luận chính là các cơ chế bộ nhớ phức tạp không phải lúc nào cũng cần thiết cho hiệu suất mạnh mẽ trong việc hiểu video trực tuyến; khả năng nhận diện mạnh mẽ trong thời gian ngắn của các VLM hiện đại và việc giữ lại bằng chứng hình ảnh gần đây rõ ràng là rất quan trọng. Hướng nghiên cứu trong tương lai bao gồm việc thiết kế các benchmark video trực tuyến tách biệt rõ ràng khả năng nhận diện cảnh gần đây và khả năng ghi nhớ dài hạn. Thách thức trung tâm là phục hồi bằng chứng quá khứ hữu ích mà không làm hỏng khả năng nhận diện hiện tại của mô hình.

V. Brainstorming Space:

1. Publish Papers:

1. Phân tách và Đánh giá Khả năng Nhận diện và Ghi nhớ trong Hiểu Video Trực tuyến: Một nghiên cứu tập trung vào việc thiết kế các bộ dữ liệu và giao thức đánh giá mới, tách biệt rõ ràng hiệu suất của mô hình trong việc nhận diện các sự kiện hoặc đối tượng trong cảnh hiện tại (recent-scene perception) và khả năng truy xuất thông tin từ lịch sử dài hạn (long-range memory). Điều này sẽ giúp xác định khi nào các cơ chế bộ nhớ phức tạp thực sự mang lại lợi ích mà không làm suy giảm khả năng nhận diện tức thời.
2. Tối ưu hóa Kích thước Ngữ cảnh và Kiến trúc Backbone cho Hiểu Video Trực tuyến: Khám phá mối quan hệ giữa kích thước cửa sổ ngữ cảnh (số khung hình gần đây), quy mô và kiến trúc của VLM backbone để xác định cấu hình tối ưu cho các tác vụ hiểu video trực tuyến khác nhau. Nghiên cứu này có thể bao gồm việc phát triển các chiến lược thích ứng để điều chỉnh kích thước cửa sổ dựa trên nội dung video hoặc loại truy vấn.
3. Chiến lược Truy xuất và Nén Bộ nhớ Hiệu quả Không Ảnh hưởng đến Nhận diện Thời gian thực: Phát triển các phương pháp nén hoặc truy xuất thông tin lịch sử một cách thông minh, đảm bảo rằng việc đưa ngữ cảnh quá khứ không gây nhiễu hoặc làm loãng khả năng chú ý của mô hình đến bằng chứng hình ảnh hiện tại. Mục tiêu là tạo ra các module bộ nhớ giúp cải thiện khả năng ghi nhớ mà không phải trả giá bằng hiệu suất nhận diện thời gian thực.

2. Patent:

1. Hệ thống Hỗ trợ Video Thời gian thực Tối giản trên Điện thoại: Một ứng dụng di động sử dụng công nghệ tương tự SIMPLESTREAM để cung cấp hỗ trợ thông minh theo thời gian thực khi người dùng quay video. Ví dụ, khi người dùng quay một cảnh, điện thoại sẽ liên tục phân tích các khung hình gần đây nhất để nhận diện đối tượng, hành động hoặc văn bản, sau đó cung cấp gợi ý, thông tin hoặc cảnh báo liên quan ngay lập tức mà không cần lưu trữ lịch sử video dài. Điều này giúp tối ưu hóa tài nguyên xử lý và bộ nhớ của điện thoại.
2. Chế độ Ghi hình Thông minh với Ngữ cảnh Động trên Điện thoại: Một tính năng camera trên điện thoại tự động điều chỉnh cài đặt ghi hình (ví dụ: lấy nét, phơi sáng, chế độ cảnh) dựa trên phân tích các khung hình video gần đây nhất. Thay vì dựa vào các thuật toán phân tích toàn bộ cảnh phức tạp, hệ thống chỉ tập trung vào ngữ cảnh hình ảnh tức thời để đưa ra quyết định nhanh chóng, giúp người dùng luôn có được chất lượng video tốt nhất mà không cần can thiệp thủ công, đồng thời giảm tải cho bộ xử lý.
3. Trợ lý Ảo Nhận diện Hành động Tức thời trên Thiết bị Đeo tay (Smartwatch/Smartglasses): Một hệ thống tích hợp trên thiết bị đeo tay (như đồng hồ thông minh hoặc kính thông minh) sử dụng một VLM nhỏ gọn và chỉ phân tích các khung hình video rất gần đây từ camera của thiết bị. Hệ thống này có thể nhận diện các hành động hoặc đối tượng trong môi trường xung quanh người dùng một cách tức thì (ví dụ: nhận diện một loại cây, một biển báo, hoặc một cử chỉ tay) và cung cấp thông tin phản hồi bằng giọng nói hoặc hiển thị ngắn gọn, giúp người dùng tương tác với thế giới thực hiệu quả mà không tốn nhiều pin hoặc bộ nhớ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.02317
ArXiv Abstract	https://arxiv.org/abs/2604.02317
PDF Download	https://arxiv.org/pdf/2604.02317.pdf
Github Repository	https://github.com/EvolvingLMMs-Lab/SimpleStream

---

3. Token Warping Helps MLLMs Look from Nearby Viewpoints (23 votes)

Tác giả: Phillip Y. Lee, Chanho Park, Mingue Park, Seungwoo Yoo, Juil Koo, Minhyuk Sung

Xuất bản lúc: 2026-04-03

Tag: MLLMs, Vision Transformers, Spatial Reasoning, Viewpoint Change, Token Warping, Depth Estimation

I. Main Problem:

Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) vẫn còn yếu kém khi đối mặt với sự thay đổi góc nhìn, mặc dù chúng thể hiện tốt trong lý luận thị giác. Các phương pháp biến dạng pixel (pixel-wise warping) rất nhạy cảm với lỗi độ sâu nhỏ và thường gây ra biến dạng hình học. Việc tích hợp độ sâu dự đoán hoặc các tính năng nhận biết 3D vào MLLMs cũng không mang lại sự hiểu biết 3D thực sự hoặc khả năng lý luận về các phép biến đổi góc nhìn một cách hiệu quả. Biểu diễn cấp đối tượng lại quá thô, bỏ qua các chi tiết tinh tế và sự gắn kết không gian tổng thể.

II. Main Idea:

Nghiên cứu khám phá việc sử dụng biến dạng token (token warping) thay vì pixel, để giúp MLLMs hiểu cảnh vật sẽ trông như thế nào từ một góc nhìn gần đó. Dựa trên lý thuyết về hình ảnh tinh thần (mental imagery) cho rằng các biểu diễn cấu trúc cấp phần (part-level structural representations) là cơ sở cho sự biến đổi phối cảnh của con người, các tác giả kiểm tra xem liệu các token hình ảnh trong MLLMs dựa trên ViT có phải là một nền tảng hiệu quả cho việc thay đổi góc nhìn hay không. Nghiên cứu so sánh biến dạng thuận (forward warping) và biến dạng ngược (backward warping), cho thấy biến dạng token ngược (backward token warping), định nghĩa một lưới dày đặc trên khung nhìn mục tiêu và truy xuất token khung nhìn nguồn tương ứng cho mỗi điểm lưới, đạt được độ ổn định cao hơn và bảo toàn sự gắn kết ngữ nghĩa tốt hơn dưới sự dịch chuyển góc nhìn. Các tác giả cũng đề xuất benchmark ViewBench để đánh giá khả năng lý luận không gian của MLLMs dưới sự thay đổi góc nhìn.

III. Main Results:

Các thí nghiệm trên benchmark ViewBench cho thấy biến dạng token cấp độ token cho phép MLLMs lý luận đáng tin cậy từ các góc nhìn gần đó, vượt trội hơn tất cả các phương pháp cơ sở, bao gồm các phương pháp biến dạng pixel, MLLMs được tinh chỉnh theo không gian và phương pháp biến dạng tạo sinh. Cụ thể, biến dạng token ngược, đặc biệt là biến thể Backward-Nearest, đạt hiệu suất tốt nhất trên tất cả các nhiệm vụ (ViewBench-Text, ViewBench-Shape, ViewBench-Object) và tỷ lệ trùng lặp khung nhìn. Ví dụ, trong các thiết lập khó khăn nhất (ViewBench-Text 5–15 và ViewBench-Shape 5–15), biến thể Backward-Nearest cải thiện độ chính xác lần lượt 14.57%p và 12.4%p khi sử dụng bản đồ độ sâu ground-truth. Phương pháp tìm nạp gần nhất đơn giản (nearest-fetching) hoạt động tương đương với phương pháp tìm nạp thích ứng (adaptive fetching) phức tạp hơn, cho thấy tính hiệu quả thực tế.

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng biến dạng token là một chiến lược đơn giản nhưng hiệu quả để chuyển đổi quan sát từ khung nhìn nguồn sang các khung nhìn mới gần đó. Việc xây dựng một lưới token dày đặc, đều đặn thông qua biến dạng ngược là rất quan trọng để duy trì hiệu suất mạnh mẽ của MLLM. Phương pháp tìm nạp gần nhất hoạt động tương đương với tìm nạp thích ứng, mang lại một giải pháp thực tế và hiệu quả. Hướng nghiên cứu trong tương lai có thể bao gồm việc mở rộng phương pháp này để xử lý các thay đổi góc nhìn lớn hơn, tích hợp sâu hơn với các biểu diễn 3D khác, hoặc tối ưu hóa cho các ứng dụng thời gian thực trên thiết bị biên.

V. Brainstorming Space:

1. Publish Papers:

1. Mở rộng Token Warping cho thay đổi góc nhìn lớn: Phát triển các kỹ thuật token warping mạnh mẽ hơn để xử lý các thay đổi góc nhìn lớn, có thể yêu cầu sự kết hợp với tạo sinh nội dung hoặc các mô hình 3D toàn diện hơn để điền vào các khu vực bị che khuất hoặc mới xuất hiện.
2. Tích hợp Token Warping với các mô hình 3D nhận thức sâu: Khám phá cách kết hợp hiệu quả token warping với các biểu diễn 3D giàu ngữ nghĩa (ví dụ: point clouds, lưới đa giác) để nâng cao hơn nữa khả năng hiểu không gian của MLLM, đặc biệt là trong việc lý luận về cấu trúc và tương tác đối tượng phức tạp.
3. Token Warping thích ứng theo ngữ cảnh và độ sâu không chắc chắn: Nghiên cứu một cơ chế token warping có khả năng thích ứng linh hoạt với các mức độ không chắc chắn khác nhau của bản đồ độ sâu hoặc sự thay đổi ngữ cảnh của cảnh, có thể bao gồm việc học cách điều chỉnh cường độ warping hoặc chiến lược tìm nạp token dựa trên độ tin cậy của thông tin 3D.

2. Patent:

1. Tính năng “Nhìn Góc Khác” cho camera điện thoại: Một ứng dụng di động cho phép người dùng chụp một bức ảnh bằng camera điện thoại và sau đó “xoay ảo” cảnh vật trong ảnh để xem nó từ một góc nhìn hơi khác mà không cần di chuyển vật lý. Hệ thống sẽ sử dụng bản đồ độ sâu ước tính từ camera để thực hiện biến dạng token, tạo ra hình ảnh mới từ góc nhìn mong muốn, giúp người dùng khám phá các chi tiết ẩn hoặc thay đổi phối cảnh của vật thể.
2. Hỗ trợ mua sắm thực tế ảo (AR) với thay đổi góc nhìn thông minh: Trong các ứng dụng mua sắm AR trên điện thoại, người dùng có thể đặt một sản phẩm ảo vào môi trường thực tế (qua camera). Ứng dụng sẽ cho phép họ “xoay” sản phẩm ảo đó để xem nó trông như thế nào từ các vị trí khác nhau trong phòng mà không cần di chuyển điện thoại. Điều này giúp đánh giá sản phẩm tốt hơn, ví dụ như kiểm tra kích thước, màu sắc hoặc kết cấu từ nhiều góc độ.
3. Cải thiện điều hướng trong nhà với góc nhìn động: Đối với các ứng dụng điều hướng trong nhà (ví dụ: trong trung tâm thương mại hoặc sân bay), điện thoại có thể hiển thị cho người dùng một bản đồ hoặc hướng dẫn đường đi. Khi người dùng ở một vị trí cụ thể, ứng dụng có thể “thay đổi góc nhìn” của cảnh trước mặt họ để mô phỏng một góc nhìn hơi khác, giúp họ dễ dàng nhận ra các mốc và định hướng hơn, đặc biệt khi có các vật cản hoặc góc khuất nhỏ, tăng cường trải nghiệm người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.02870
ArXiv Abstract	https://arxiv.org/abs/2604.02870
PDF Download	https://arxiv.org/pdf/2604.02870.pdf
Github Repository	https://github.com/KAIST-Visual-AI-Group/Token-Warping-MLLM

---

4. Agentic-MME: What Agentic Capability Really Brings to Multimodal Intelligence? (23 votes)

Tác giả: Qianshan Wei, Yishan Yang, Siyi Wang, Jinglin Chen, Binyu Wang, Jiaming Wang, Shuang Chen, Zechen Li, Yang Shi, Yuqi Tang, Weining Wang, Yi Yu, Chaoyou Fu, Qi Li, Yi-Fan Zhang

Xuất bản lúc: 2026-04-03

Tag: MLLMs, Agentic AI, Benchmarking, Multimodal Learning, Tool Learning

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) đang phát triển thành các tác tử (agents) chủ động, nhưng các phương pháp đánh giá hiện có còn thiếu sót ở ba khía cạnh chính: (i) thiếu tính linh hoạt và toàn diện trong tích hợp công cụ, không hỗ trợ giao diện công cụ không đồng nhất; (ii) kiểm tra việc sử dụng công cụ hình ảnh và tìm kiếm trên web một cách riêng biệt, bỏ qua sự hiệp lực giữa chúng; và (iii) chủ yếu đánh giá dựa trên tính đúng đắn của câu trả lời cuối cùng, không thể xác minh liệu các công cụ có thực sự được gọi, áp dụng đúng cách hoặc sử dụng hiệu quả hay không. Điều này khiến việc chẩn đoán các nút thắt cổ chai thực sự của trí tuệ đa phương thức trở nên khó khăn.

II. Main Idea:

Để giải quyết những vấn đề trên, nghiên cứu giới thiệu Agentic-MME, một tiêu chuẩn đánh giá được xác minh quy trình cho Năng lực Tác tử Đa phương thức. Agentic-MME bao gồm 418 tác vụ thực tế trong 6 lĩnh vực và 3 cấp độ khó, được thiết kế để đánh giá sự hiệp lực của các khả năng. Tiêu chuẩn này có hơn 2.000 điểm kiểm tra từng bước được chú thích thủ công và đi kèm với: (i) một khuôn khổ đánh giá thống nhất hỗ trợ cả thực thi mã trong môi trường sandbox và API công cụ có cấu trúc; và (ii) một quỹ đạo tham chiếu của con người được chú thích với các điểm kiểm tra từng bước theo hai trục (trục S cho mở rộng tri thức và trục V cho mở rộng thị giác). Để xác minh cấp độ quy trình thực sự, nghiên cứu kiểm tra các trạng thái trung gian chi tiết và định lượng hiệu quả thông qua một chỉ số 'suy nghĩ quá mức' (overthinking) so với quỹ đạo của con người.

III. Main Results:

Kết quả thực nghiệm cho thấy mô hình tốt nhất, Gemini3-pro (Atm), đạt độ chính xác tổng thể 56.3%, nhưng giảm đáng kể xuống 33.3% ở các tác vụ Cấp độ 3 (so với 82.3% của con người), cho thấy sự khó khăn của việc giải quyết vấn đề tác tử đa phương thức trong thế giới thực và khoảng cách lớn so với hiệu suất của con người. Các công cụ là cần thiết cho các tác vụ khó (Gemini 3 Pro tăng 4.4 lần ở Cấp độ 3 khi có công cụ). Các mô hình mã nguồn đóng vượt trội hơn mã nguồn mở, đặc biệt ở khả năng tìm kiếm và lập kế hoạch. Giao diện API công cụ có cấu trúc (chế độ Atm) hoạt động tốt hơn chế độ tạo mã (Gen) về độ chính xác và hiệu quả. Các mô hình thường gọi công cụ một cách hăng hái nhưng lại tạo ra kết quả sai (Vtool cao nhưng Vtrue thấp), cho thấy vấn đề về việc tham số hóa công cụ đáng tin cậy. Các tác vụ trong Agentic-MME thực sự yêu cầu sử dụng công cụ chủ động và căn cứ thị giác, và các chú thích từng bước là hiệu quả trong việc cải thiện hiệu suất.

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng MLLMs đang phát triển thành các tác tử chủ động, nhưng vẫn còn một khoảng cách đáng kể so với hiệu suất của con người trong việc giải quyết các vấn đề phức tạp, đặc biệt là trong các tác vụ yêu cầu sự hiệp lực giữa mở rộng thị giác và tri thức. Agentic-MME cung cấp một công cụ chẩn đoán nghiêm ngặt để xác định các nút thắt cổ chai. Hướng nghiên cứu trong tương lai bao gồm việc thu hẹp khoảng cách độ tin cậy giữa các cuộc gọi API có cấu trúc và khả năng tạo mã linh hoạt, đồng thời bảo toàn tính linh hoạt của việc tạo mã.

V. Brainstorming Space:

1. Publish Papers:

1. Nâng cao khả năng lập kế hoạch đa bước và thực thi công cụ đáng tin cậy cho MLLMs tác tử trong các tác vụ hiệp lực giữa thị giác và tri thức.
2. Thu hẹp khoảng cách độ tin cậy giữa các giao diện API công cụ có cấu trúc và tạo mã linh hoạt cho các công cụ thị giác, đồng thời khám phá các phương pháp tăng cường tính mạnh mẽ của việc tạo mã mà không làm mất đi sức mạnh tổng hợp.
3. Phát triển các kiến trúc hoặc mô hình huấn luyện mới nhằm mục đích giảm thiểu 'suy nghĩ quá mức' (overthinking) và cải thiện hiệu quả sử dụng công cụ trong các tác tử đa phương thức, phù hợp với quỹ đạo giải quyết vấn đề giống con người.

2. Patent:

1. Một ứng dụng chỉnh sửa ảnh thông minh trên điện thoại di động sử dụng AI để tự động đề xuất và áp dụng các chỉnh sửa hình ảnh phức tạp (ví dụ: cắt, nâng cao chất lượng, xoay) dựa trên yêu cầu ngôn ngữ tự nhiên của người dùng và ngữ cảnh ảnh. Ví dụ, người dùng có thể nói 'Tìm giá trong ảnh mờ này và làm rõ nó'.
2. Một hệ thống tìm kiếm thông tin sản phẩm bằng AI trên điện thoại di động cho phép người dùng chụp ảnh một sản phẩm (ngay cả khi bị che khuất một phần hoặc mờ) và, sử dụng AI, trích xuất thông tin chính (ví dụ: thương hiệu, mẫu mã, tính năng), sau đó thực hiện tìm kiếm web có mục tiêu để cung cấp thông tin chi tiết về sản phẩm, đánh giá hoặc giá cả.
3. Một trợ lý du lịch thông minh trên điện thoại di động tích hợp tìm kiếm thị giác và web. Khi được cung cấp một hình ảnh (ví dụ: biển báo đường phố bằng tiếng nước ngoài, mặt tiền nhà hàng, di tích lịch sử), ứng dụng không chỉ xác định các yếu tố trong hình ảnh mà còn tự động tìm kiếm trên web các thông tin liên quan (ví dụ: bản dịch, giờ mở cửa, sự kiện lịch sử) và trình bày một cách ngắn gọn cho người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.03016
ArXiv Abstract	https://arxiv.org/abs/2604.03016
PDF Download	https://arxiv.org/pdf/2604.03016.pdf
Github Repository	N/A

---

5. Test-Time Scaling Makes Overtraining Compute-Optimal (16 votes)

Tác giả: Nicholas Roberts, Sungjun Cho, Zhiqi Gao, Tzu-Heng Huang, Albert Wu, Gabriel Orlanski, Avi Trost, Kelly Buchanan, Aws Albarghouthi, Frederic Sala

Xuất bản lúc: 2026-04-01

Tag: LLMs, Scaling Laws, Pretraining, Inference, Overtraining, Compute Optimization, Pass@k

I. Main Problem:

Các luật mở rộng (scaling laws) tiền huấn luyện hiện tại (ví dụ: Chinchilla) chỉ tập trung vào việc tối ưu hóa quá trình huấn luyện mô hình mà không tính đến chi phí và hiệu suất suy luận khi triển khai. Ngược lại, các luật mở rộng thời gian kiểm tra (test-time scaling laws) chỉ tối ưu hóa việc phân bổ tài nguyên tính toán khi suy luận mà bỏ qua cách huấn luyện mô hình. Hai khía cạnh này (huấn luyện và suy luận) có mối liên hệ mật thiết nhưng lại được phát triển riêng lẻ. Hiện chưa có luật mở rộng nào giải quyết được sự đánh đổi cốt lõi: các mô hình nhỏ hơn thì rẻ hơn cho mỗi mẫu nhưng yếu hơn, và lợi ích của việc lấy mẫu lặp lại phụ thuộc phi tuyến tính vào chất lượng của mỗi mẫu. Việc thống nhất hai khía cạnh này còn gặp thách thức do tiêu chí đánh giá khác biệt (loss cho tiền huấn luyện và pass@k cho thời gian kiểm tra).

II. Main Idea:

Bài báo giới thiệu luật mở rộng Train-to-Test (T2) nhằm tối ưu hóa đồng thời kích thước mô hình (N), số lượng token huấn luyện (D) và số lượng mẫu suy luận (k) dưới một ngân sách tính toán tổng thể cố định (bao gồm cả huấn luyện và suy luận). T2 tích hợp mô hình hóa pass@k vào các luật mở rộng tiền huấn luyện để đưa ra quyết định tối ưu cho cả hai giai đoạn. Hai phương pháp tiếp cận bổ trợ được đề xuất: (i) Phương pháp 1 (dựa trên loss) mô hình hóa âm log pass@k như một phần mở rộng của luật Chinchilla bằng cách thêm một số mũ cho k; và (ii) Phương pháp 2 (dựa trên độ chính xác) mô hình hóa trực tiếp độ chính xác pass@k bằng cách kết hợp luật Chinchilla với ước lượng pass@k, sử dụng phân phối Beta để mô hình hóa độ chính xác đơn lẻ cho mỗi câu hỏi. Các tác giả cân bằng các luật T2 này dựa trên ngân sách suy luận Cinf = 2Nk, trong đó các mô hình nhỏ hơn sẽ được phân bổ nhiều mẫu lặp lại hơn. Kết quả dự báo từ T2 được xác thực bằng cách tiền huấn luyện các mô hình bị overtrained nặng trong vùng tối ưu do T2 dự đoán, và chứng minh rằng các kết quả này vẫn duy trì sau giai đoạn hậu huấn luyện (post-training).

III. Main Results:

• Luật T2 nhất quán đề xuất các mô hình nhỏ hơn, được overtrained đáng kể khi tính đến chi phí suy luận và lấy mẫu lặp lại, so với các khuyến nghị của Chinchilla.
• Cả hai phương pháp tiếp cận dựa trên loss và độ chính xác của T2 đều đồng ý về sự dịch chuyển sang chế độ overtraining, với Phương pháp 2 khuyến nghị overtraining mạnh mẽ hơn.
• Các phương pháp T2 có khả năng ngoại suy tốt đến các checkpoint overtrained thực tế (lỗi tương đối 2.8% cho Phương pháp 1 và 8.4% cho Phương pháp 2).
• Các checkpoint overtrained nhỏ nhất luôn vượt trội hơn các checkpoint tối ưu của Chinchilla trên tám tác vụ khi được hiệu chỉnh chi phí suy luận (ví dụ: LAMBADA OpenAI đạt 49.90% với 37M tham số so với 27.30% với 455M tham số).
• Các dự đoán overtraining tối ưu từ T2 vẫn duy trì sau giai đoạn hậu huấn luyện (fine-tuning và supervised fine-tuning), mặc dù các mô hình overtrained khó fine-tune hơn (biên giới tối ưu có phần giảm nhẹ nhưng vẫn khuyến nghị overtraining so với Chinchilla ban đầu).

IV. Conclusion & Future Works:

Nghiên cứu này đã trình bày các luật mở rộng T2 giúp tối ưu hóa đồng thời kích thước mô hình, số lượng token huấn luyện và số lượng mẫu lặp lại tại thời điểm kiểm tra, dưới các ngân sách huấn luyện và suy luận cố định. Kết quả cho thấy khi tính đến chi phí tính toán suy luận thông qua lấy mẫu lặp lại, mô hình tối ưu sẽ nhỏ hơn đáng kể và được overtrained nhiều hơn so với khuyến nghị của luật Chinchilla tiêu chuẩn. Phát hiện này nhất quán trên hai phương pháp mô hình hóa bổ trợ và vẫn duy trì sau giai đoạn hậu huấn luyện. Các tác giả khuyến nghị rằng nếu biết ngân sách suy luận với việc lấy mẫu lặp lại, nên huấn luyện một mô hình nhỏ hơn trong thời gian dài hơn. Các hướng nghiên cứu trong tương lai bao gồm xác thực các công thức overtraining ở quy mô lớn hơn, tính đến các mô hình chi phí suy luận cụ thể của transformer, và mô hình hóa rõ ràng vai trò của hậu huấn luyện trong luật T2.

V. Brainstorming Space:

1. Publish Papers:

1. Mở rộng và xác thực T2 Scaling ở quy mô lớn: Nghiên cứu sâu hơn về việc áp dụng và xác thực các công thức overtraining được đề xuất bởi T2 scaling trên các mô hình ngôn ngữ lớn (LLMs) tiên tiến với hàng trăm tỷ tham số và trên một tập hợp các tác vụ hạ nguồn đa dạng và phức tạp hơn, để kiểm tra tính tổng quát và hiệu quả của T2 ở quy mô biên giới.
2. Tích hợp mô hình chi phí suy luận chuyên biệt cho Transformer: Phát triển các luật T2 scaling mới kết hợp các mô hình chi phí suy luận chi tiết hơn, có tính đến các kiến trúc cụ thể của Transformer (ví dụ: chi phí attention, KV cache, các kỹ thuật lượng tử hóa), nhằm cung cấp dự đoán tối ưu chính xác hơn về N, D và k cho các mô hình hiện đại.
3. Mô hình hóa vai trò của Post-training trong T2 Scaling: Xây dựng một khuôn khổ T2 scaling toàn diện, trong đó giai đoạn hậu huấn luyện (bao gồm fine-tuning, supervised fine-tuning và các kỹ thuật căn chỉnh khác) được mô hình hóa và tối ưu hóa một cách rõ ràng như một phần của ngân sách tính toán tổng thể, để hiểu rõ hơn cách overtraining ảnh hưởng đến hiệu quả fine-tuning và hiệu suất cuối cùng.

2. Patent:

1. Hệ thống tối ưu hóa hiệu suất AI trên thiết bị di động với ngân sách tính toán động: Một hệ thống phần mềm nhúng trên điện thoại di động tự động điều chỉnh cấu hình mô hình AI (kích thước mô hình, số lượng lần xử lý dữ liệu) dựa trên ngân sách năng lượng và thời gian thực có sẵn của thiết bị, cũng như yêu cầu độ chính xác của tác vụ người dùng. Ví dụ, khi pin yếu hoặc cần phản hồi nhanh, hệ thống sẽ ưu tiên các mô hình nhỏ hơn với ít lần xử lý hơn, nhưng khi có đủ tài nguyên và yêu cầu độ chính xác cao (ví dụ: chỉnh sửa ảnh chuyên nghiệp), nó sẽ tự động chuyển sang mô hình có kích thước và số lần xử lý tối ưu để đạt hiệu suất tốt nhất.
2. Cơ chế điều chỉnh độ chính xác AI theo ngữ cảnh người dùng trên di động: Một công nghệ tích hợp vào các ứng dụng AI trên điện thoại di động cho phép người dùng hoặc ứng dụng tự động điều chỉnh mức độ 'cố gắng' của AI để đạt được câu trả lời. Ví dụ, trong một ứng dụng trợ lý ảo, người dùng có thể chọn chế độ 'phản hồi nhanh' (ít lần thử) hoặc 'phản hồi chính xác cao' (nhiều lần thử). Hệ thống sẽ sử dụng một mô hình nền tảng đã được huấn luyện tối ưu cho các chế độ này, giúp cân bằng giữa tốc độ và độ tin cậy dựa trên ngữ cảnh sử dụng và sở thích cá nhân, đồng thời quản lý hiệu quả tài nguyên tính toán của thiết bị.
3. Công cụ gợi ý và triển khai mô hình AI 'Overtrained' cho nhà phát triển ứng dụng di động: Một bộ công cụ phát triển phần mềm (SDK) hoặc nền tảng đám mây cung cấp cho các nhà phát triển ứng dụng di động khả năng dự đoán và triển khai các mô hình AI đã được 'overtrained' (huấn luyện lâu hơn trên mô hình nhỏ hơn) dựa trên ngân sách tính toán huấn luyện và suy luận mục tiêu. Công cụ này sẽ tự động gợi ý kích thước mô hình và số lượng dữ liệu huấn luyện tối ưu để đạt hiệu suất cao nhất trên thiết bị di động với chi phí suy luận thấp khi cần lặp lại nhiều lần, giúp các nhà phát triển tạo ra các ứng dụng AI mạnh mẽ mà vẫn tiết kiệm tài nguyên trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.01411
ArXiv Abstract	https://arxiv.org/abs/2604.01411
PDF Download	https://arxiv.org/pdf/2604.01411.pdf
Github Repository	N/A

---

6. Communicating about Space: Language-Mediated Spatial Integration Across Partial Views (13 votes)

Tác giả: Ankur Sikarwar, Debangan Mishra, Sudarshan Nikhil, Ponnurangam Kumaraguru, Aishwarya Agrawal

Xuất bản lúc: 2026-03-28

Tag: MLLMs, Spatial Reasoning, Multi-agent Systems, Natural Language Processing, Computer Vision

I. Main Problem:

Con người có khả năng xây dựng sự hiểu biết không gian chung bằng cách giao tiếp các quan sát cục bộ, phụ thuộc vào góc nhìn. Nghiên cứu này đặt câu hỏi liệu các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) có thể làm được điều tương tự hay không – tức là điều chỉnh các góc nhìn egocentric riêng biệt thông qua đối thoại để hình thành một mô hình tinh thần allocentric mạch lạc về một môi trường chung. Khả năng tích hợp không gian dựa trên giao tiếp này của MLLMs vẫn chưa được khám phá rộng rãi.

II. Main Idea:

Nghiên cứu giới thiệu COSMIC, một bộ benchmark chẩn đoán được thiết kế để kiểm tra xem các tác nhân MLLM có thể xây dựng sự hiểu biết không gian chung thông qua đối thoại hay không. Trong COSMIC, hai tác nhân MLLM tĩnh quan sát một môi trường 3D trong nhà từ các góc nhìn egocentric khác nhau và trao đổi tin nhắn ngôn ngữ tự nhiên để giải quyết các truy vấn không gian. COSMIC chứa 899 cảnh đa dạng và 1.250 cặp câu hỏi-trả lời trải dài năm nhiệm vụ, đánh giá khả năng suy luận không gian ở cấp độ đối tượng, cấp độ mối quan hệ và cấp độ bản đồ. Ngoài ra, nghiên cứu còn thu thập 250 cuộc đối thoại giữa người với người để so sánh hành vi của mô hình và con người.

III. Main Results:

Các MLLM hoạt động kém hơn đáng kể so với con người: mô hình mạnh nhất, Gemini-3-Pro-Thinking, đạt độ chính xác trung bình 71,82%, thấp hơn nhiều so với mức 95,22% của con người. Có một hệ thống cấp bậc khả năng: MLLM đáng tin cậy nhất trong việc xác định các đối tượng neo chung (anchor objects) giữa các góc nhìn, hoạt động kém hơn trong suy luận mối quan hệ và gần như thất bại trong việc xây dựng bản đồ nhất quán toàn cục (thực hiện gần như ngẫu nhiên). Khả năng 'suy nghĩ' (thinking) mang lại lợi ích trong việc định vị đối tượng neo nhưng không đủ cho giao tiếp không gian cấp cao hơn. Giao tiếp làm tăng thêm độ khó so với suy luận đơn tác nhân. Phân tích lỗi cho thấy 'lỗi định vị đa góc nhìn' (Cross-View Grounding Failures) là nguyên nhân chính (46,09%), tiếp theo là 'lỗi hình học và quan hệ' (Geometric & Relational Failures) ở các nhiệm vụ cấp cao hơn. MLLM tạo ra các cuộc hội thoại dài dòng nhưng nông về mặt không gian và không hội tụ về một mô hình tinh thần chung, đồng thời hiếm khi khắc phục được các quỹ đạo suy luận sai lệch (tỷ lệ sửa lỗi đối thoại của Gemini-3-Pro-Thinking là 28,04% so với 79,31% của con người).

IV. Conclusion & Future Works:

Nghiên cứu đã giới thiệu COSMIC và đánh giá một loạt các MLLM tiên tiến. Kết quả cho thấy một hệ thống cấp bậc khả năng nhất quán: các MLLM hiện tại thành công một phần ở việc định vị đối tượng neo nhưng suy giảm ở suy luận mối quan hệ và hoạt động gần như ngẫu nhiên ở lập bản đồ nhận thức. Các cặp người hội tụ nhanh chóng thông qua trao đổi thông tin mục tiêu, trong khi các tác nhân MLLM tạo ra đối thoại dài dòng nhưng không tạo ra một mô hình không gian chung giữa các lượt. Các hướng nghiên cứu tương lai bao gồm: chuyển từ chuỗi suy nghĩ ngôn ngữ sang các cơ chế suy luận thị giác rõ ràng hỗ trợ xác minh hình học nội bộ và xoay tinh thần; các giao thức giao tiếp không gian có cấu trúc (như quy ước định vị đối tượng neo trước, thỏa thuận khung tham chiếu rõ ràng, hoặc mô tả không gian dựa trên phác thảo) để giảm thiểu sự mơ hồ tham chiếu và cải thiện định vị đa góc nhìn; và phát triển các chiến lược sửa lỗi đối thoại chủ động để phát hiện và sửa chữa các quỹ đạo suy luận sai lệch trong quá trình hội thoại.

V. Brainstorming Space:

1. Publish Papers:

1. Phát triển các cơ chế suy luận thị giác rõ ràng cho MLLM nhằm tăng cường xác minh hình học nội bộ và khả năng xoay tinh thần trong các nhiệm vụ không gian cộng tác.
2. Nghiên cứu các giao thức giao tiếp không gian có cấu trúc (như quy ước định vị đối tượng neo trước hoặc mô tả dựa trên phác thảo) cho hệ thống MLLM đa tác nhân để cải thiện định vị đa góc nhìn và giải quyết sự mơ hồ tham chiếu.
3. Thiết kế và đánh giá các chiến lược sửa lỗi đối thoại chủ động cho tác nhân MLLM trong suy luận không gian cộng tác nhằm phát hiện và sửa chữa các quỹ đạo suy luận sai lệch giữa cuộc trò chuyện.

2. Patent:

1. Ứng dụng Trợ lý Điều hướng Thực tế Tăng cường Chia sẻ trên điện thoại di động: Một ứng dụng cho phép hai người dùng trong cùng một không gian vật lý, nhìn qua camera điện thoại của họ, cùng nhau xác định và điều hướng đến các đối tượng. Ví dụ, nếu một người dùng nhìn thấy "cột đèn đỏ" và người kia nhìn thấy "đài phun nước", ứng dụng, thông qua giao tiếp ngôn ngữ tự nhiên giữa những người dùng (qua giao diện ứng dụng), sẽ giúp họ đồng bộ hóa sự hiểu biết về môi trường và hướng dẫn nhau đến điểm hẹn hoặc một đối tượng cụ thể không hoàn toàn hiển thị cho cả hai. Ứng dụng sẽ sử dụng camera của điện thoại để nhận diện đối tượng và phủ các điểm đánh dấu không gian chung trong không gian thực tế tăng cường.
2. Hệ thống Đếm Đối tượng và Xác minh Vị trí Động cho Kiểm kê trên điện thoại di động: Một hệ thống điện thoại di động cho phép hai người dùng nhanh chóng đếm và xác minh các mặt hàng trong một không gian lớn, như kho hàng hoặc kệ hàng siêu thị. Mỗi người dùng quét một phần tầm nhìn của họ về hàng tồn kho bằng camera điện thoại. Họ giao tiếp qua ứng dụng, mô tả những gì họ thấy (ví dụ: "Tôi thấy 5 hộp ngũ cốc trên kệ trên cùng, cạnh nhãn hiệu màu xanh") và hệ thống giúp đối chiếu các quan sát của họ để có được tổng số lượng chính xác hoặc xác nhận vị trí của các mặt hàng cụ thể, tránh việc đếm trùng hoặc bỏ sót.
3. Ứng dụng Lập kế hoạch Bố cục Nhà Cộng tác với Góc nhìn Hạn chế trên điện thoại di động: Một ứng dụng điện thoại di động hỗ trợ hai người (ví dụ: nhà thiết kế nội thất, đối tác) lập kế hoạch sắp xếp nội thất hoặc cải tạo trong một căn phòng. Mỗi người sử dụng điện thoại của mình để chụp các phần khác nhau của căn phòng. Thông qua mô tả bằng lời nói được trao đổi qua ứng dụng, hệ thống giúp họ xây dựng một mô hình tinh thần chung về bố cục toàn bộ căn phòng, xác định các yếu tố chung (như "lò sưởi" hoặc "cửa sổ lớn") và đề xuất vị trí tối ưu cho các vật phẩm mới, ngay cả khi không có người nào có cái nhìn hoàn chỉnh về căn phòng cùng lúc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.27183
ArXiv Abstract	https://arxiv.org/abs/2603.27183
PDF Download	https://arxiv.org/pdf/2603.27183.pdf
Github Repository	https://github.com/ankursikarwar/Cosmic