Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-04-28

Báo cáo được tạo tự động vào lúc 2026-05-04 14:46:18 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers​

1. From Skills to Talent: Organising Heterogeneous Agents as a Real-World Company (117 votes)​

Tác giả: Zhengxu Yu, Yu Fu, Zhiyuan He, Yuxuan Huang, Lee Ka Yiu, Meng Fang, Weilin Luo, Jun Wang

Xuất bản lúc: 2026-04-24

Tag: Multi-Agent Systems, LLMs, Organisational AI, Talent Market, Tree Search, Self-Evolution

I. Main Problem:​

Các hệ thống đa tác tử hiện tại bị giới hạn bởi cấu trúc nhóm cố định, logic phối hợp chặt chẽ và khả năng học tập chỉ trong một phiên làm việc. Chúng thiếu một tầng tổ chức có nguyên tắc để quản lý cách một lực lượng tác tử được tập hợp, quản lý và cải tiến theo thời gian, tách biệt khỏi những gì từng tác tử riêng lẻ biết. Điều này khiến chúng khó thích ứng với các nhiệm vụ phức tạp, đa dạng và thay đổi trong thế giới thực.

II. Main Idea:​

Bài báo giới thiệu OneManCompany (OMC), một khuôn khổ nâng hệ thống đa tác tử lên cấp độ tổ chức. OMC dựa trên ba trụ cột chính: (1) Kiến trúc Talent-Container: Tách biệt 'bản sắc' của tác tử (Talent: vai trò, kỹ năng, công cụ) khỏi môi trường chạy (Container: LangGraph, Claude Code...), thông qua sáu giao diện tổ chức đã được định kiểu. Một 'Talent Market' cộng đồng cho phép tuyển dụng tác tử theo yêu cầu. (2) Tìm kiếm cây E2R (Explore-Execute-Review): Mô hình hóa việc thực thi dự án như một quá trình tìm kiếm chiến lược tổ chức, với cây nhiệm vụ có cấu trúc DAG và máy trạng thái hữu hạn đảm bảo kết thúc và không bị deadlock. (3) Tự tiến hóa: Cả tác tử và tổ chức đều cải thiện theo thời gian thông qua phản hồi có hệ thống (phản ánh sau nhiệm vụ, cập nhật SOP, đánh giá hiệu suất).

III. Main Results:​

Khi được đánh giá trên PRDBench, một benchmark phát triển phần mềm cấp dự án, OMC đạt tỷ lệ thành công 84.67% trong cài đặt zero-shot một lần thử, vượt qua tất cả các baseline ít nhất 15.48 điểm phần trăm. Các nghiên cứu điển hình đa lĩnh vực cũng chứng minh tính tổng quát của OMC.

IV. Conclusion & Future Works:​

OMC chứng minh rằng việc nâng hệ thống đa tác tử lên cấp độ tổ chức với các nguyên tắc quản lý rõ ràng có thể tạo ra các hệ thống tự tổ chức và tự cải thiện, có khả năng thích ứng với các nhiệm vụ đa dạng. Các hướng phát triển trong tương lai bao gồm cải thiện chất lượng đánh giá từ con người, khám phá các cơ chế ra quyết định tổ chức tinh vi hơn, và mở rộng quy mô của 'Talent Market'.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về cơ chế đánh giá hiệu suất tự động và khách quan cho các tác tử trong tổ chức AI. Bài báo này sẽ tập trung vào việc phát triển các thuật toán và khung đánh giá không cần sự can thiệp của con người (CEO) để đánh giá chất lượng công việc của từng 'Talent', từ đó cải thiện quá trình tuyển dụng, thăng chức và sa thải tự động, giảm thiểu sự thiên lệch và chi phí từ con người.
  2. Mở rộng 'Talent Market' với các cơ chế đấu thầu và thương lượng chi phí. Nghiên cứu này sẽ đề xuất một thị trường tác tử phi tập trung, nơi các 'Talent' có thể tự động đấu thầu để thực hiện các nhiệm vụ dựa trên kỹ năng, chi phí và lịch sử hiệu suất của chúng. Bài báo sẽ phân tích các chiến lược định giá, đấu thầu và tối ưu hóa lợi nhuận cho cả tổ chức và các tác tử.
  3. Phân tích tính ổn định và hội tụ của các thuật toán tìm kiếm chiến lược tổ chức (E2R) trong môi trường không xác định. Bài báo lý thuyết này sẽ đi sâu vào việc chứng minh các đảm bảo chính thức về sự kết thúc và tránh deadlock của cây tìm kiếm E2R, đồng thời khám phá các biến thể của nó (ví dụ: tích hợp học tăng cường) để cải thiện khả năng hội tụ đến các chiến lược tối ưu trong không gian tìm kiếm rộng lớn.

2. Patent:​

  1. Hệ thống quản lý tác tử AI cho điện thoại thông minh với khả năng tự động tuyển dụng và sa thải tác tử chuyên biệt. Phát minh này mô tả một ứng dụng trên điện thoại có một 'CEO ảo' quản lý một nhóm các tác tử AI (ví dụ: tác tử viết email, tác tử đặt lịch hẹn, tác tử tìm kiếm thông tin). Khi người dùng đưa ra một yêu cầu phức tạp (ví dụ: 'lên kế hoạch cho một chuyến du lịch'), CEO ảo sẽ tự động phân tích nhiệm vụ, 'tuyển dụng' các tác tử phù hợp từ một 'chợ tác tử' trực tuyến ngay trên điện thoại, và điều phối chúng để hoàn thành công việc. Nếu một tác tử hoạt động kém hiệu quả, nó có thể bị 'sa thải' và thay thế bằng tác tử khác.
  2. Phương pháp và thiết bị di động cho phép các tác tử AI tự cải thiện kỹ năng thông qua việc ghi lại và phân tích lịch sử tương tác của người dùng. Sáng chế này tập trung vào việc cho phép các tác tử AI trên điện thoại (ví dụ: trợ lý ảo) tự động học hỏi từ các tương tác hàng ngày của người dùng. Các 'bài học' này được đóng gói thành các 'kỹ năng' (skills) mới hoặc cập nhật các 'nguyên tắc làm việc' (working principles) của tác tử. Ví dụ, nếu người dùng thường xuyên hủy các cuộc họp vào phút cuối, trợ lý ảo có thể tự động học cách đề xuất các khung giờ dự phòng hoặc nhắc nhở người dùng xác nhận trước.
  3. Hệ thống chia sẻ 'hồ sơ tác tử' (Talent Profiles) qua NFC hoặc Bluetooth trên thiết bị di động để tạo ra các nhóm làm việc tạm thời. Phát minh này cho phép người dùng điện thoại thông minh chia sẻ 'hồ sơ' của các tác tử AI mà họ đã huấn luyện (ví dụ: một tác tử chuyên soạn thảo văn bản pháp lý) với người dùng khác ở gần đó. Khi hai người dùng chạm điện thoại vào nhau, các tác tử có thể được 'tuyển dụng' tạm thời để cùng giải quyết một nhiệm vụ chung (ví dụ: soạn thảo một hợp đồng hợp tác), tạo ra một 'công ty AI tạm thời' mà không cần kết nối internet.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.22446
ArXiv Abstracthttps://arxiv.org/abs/2604.22446
PDF Downloadhttps://arxiv.org/pdf/2604.22446.pdf
Github Repositoryhttps://github.com/1mancompany/OneManCompany

2. World-R1: Reinforcing 3D Constraints for Text-to-Video Generation (115 votes)​

Tác giả: Weijie Wang, Xiaoxuan He, Youping Gu, Yifan Yang, Zeyu Zhang, Yefei He, Yanbo Ding, Xirui Hu, Donny Y. Chen, Zhiyuan He, Yuqing Yang, Bohan Zhuang

Xuất bản lúc: 2026-04-27

Tag: Reinforcement Learning, Text-to-Video Generation, 3D Consistency, Flow-GRPO, Video Foundation Models, World Simulation

I. Main Problem:​

Các mô hình video nền tảng hiện tại, dù có khả năng tổng hợp hình ảnh ấn tượng, nhưng thường thiếu tính nhất quán về mặt hình học 3D. Chúng dễ gặp phải các hiện tượng như ảo giác hình học, biến dạng hoặc biến mất vật thể khi tạo ra các chuyển động máy quay phức tạp hoặc các cảnh dài, do chỉ tập trung vào tổng hợp không gian ảnh mà không hiểu được cấu trúc 3D của thế giới thực. Các phương pháp hiện có để giải quyết vấn đề này thường yêu cầu sửa đổi kiến trúc mô hình, tốn kém chi phí tính toán và hạn chế khả năng mở rộng.

II. Main Idea:​

Bài báo đề xuất World-R1, một khung làm việc mới sử dụng học tăng cường (reinforcement learning) để căn chỉnh quá trình tạo video với các ràng buộc 3D. Cụ thể, World-R1 tận dụng các mô hình nền tảng 3D có sẵn và mô hình ngôn ngữ-thị giác để xây dựng một hệ thống phần thưởng toàn diện, đánh giá tính nhất quán hình học, độ trung thực của kết cấu và độ chính xác của quỹ đạo máy quay. Phương pháp này sử dụng Flow-GRPO để tối ưu hóa mô hình mà không cần thay đổi kiến trúc hay sử dụng các tập dữ liệu 3D chuyên biệt. Ngoài ra, một chiến lược huấn luyện định kỳ được áp dụng để cân bằng giữa tính nhất quán hình học cứng nhắc và tính linh hoạt của các chuyển động phi cứng nhắc.

III. Main Results:​

World-R1 cải thiện đáng kể tính nhất quán 3D so với các mô hình nền tảng như Wan 2.1 và CogVideoX. Cụ thể, mô hình đạt được sự cải thiện lần lượt là 10.23dB và 7.91dB trên chỉ số PSNR so với các baseline, đồng thời duy trì điểm số cao trên các benchmark đánh giá chất lượng video tổng quát như VBench. Kết quả từ nghiên cứu người dùng cho thấy World-R1 được ưa thích hơn về tính nhất quán hình học (92% tỷ lệ thắng), độ chính xác điều khiển máy quay (76%) và chất lượng tổng thể (86%).

IV. Conclusion & Future Works:​

World-R1 chứng minh rằng học tăng cường là một phương pháp hiệu quả để trang bị khả năng mô hình hóa thế giới cho các mô hình tạo video, biến chúng từ những bộ dự đoán khung hình 2D thành những trình mô phỏng thế giới nhất quán về mặt hình học. Hướng nghiên cứu trong tương lai có thể mở rộng khung làm việc này để xử lý các tương tác vật lý phức tạp hơn, cải thiện khả năng tổng hợp các cảnh động dài hơn, và khám phá việc tích hợp các ràng buộc đa phương thức khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu phương pháp kết hợp học tăng cường với các mô hình ngôn ngữ lớn để tạo ra các video có cốt truyện phức tạp và nhất quán với lời dẫn, tập trung vào việc kiểm soát hành vi của nhân vật và diễn biến câu chuyện.
  2. Phát triển một hệ thống phần thưởng mới dựa trên việc mô phỏng vật lý (ví dụ: trọng lực, va chạm) để tăng cường tính chân thực cho các video được tạo ra, đặc biệt là trong các cảnh có nhiều vật thể tương tác.
  3. Mở rộng khung làm việc World-R1 để hỗ trợ tạo video 3D tương tác, nơi người dùng có thể thay đổi góc nhìn hoặc quỹ đạo máy quay trong thời gian thực, mở ra ứng dụng trong thực tế ảo và game.

2. Patent:​

  1. Phương pháp và hệ thống tạo video 3D nhất quán trên thiết bị di động: Mô tả một ứng dụng điện thoại cho phép người dùng nhập văn bản mô tả cảnh và chuyển động máy quay. Ứng dụng sử dụng một mô hình trí tuệ nhân tạo đã được tối ưu hóa để tạo ra các video ngắn có độ chân thực cao, đảm bảo các vật thể trong video không bị biến dạng hoặc biến mất một cách phi lý khi máy quay di chuyển. Công nghệ này giúp người dùng phổ thông có thể tạo ra các thước phim điện ảnh chất lượng cao ngay trên điện thoại mà không cần kiến thức chuyên môn về đồ họa 3D.
  2. Ứng dụng chỉnh sửa video thông minh với khả năng ổn định hình học 3D: Mô tả một tính năng trong ứng dụng chỉnh sửa video trên điện thoại, cho phép người dùng thêm các hiệu ứng chuyển động máy quay phức tạp (ví dụ: lia máy, xoay quanh đối tượng) vào một video có sẵn. Tính năng này sử dụng trí tuệ nhân tạo để phân tích cấu trúc 3D của cảnh quay gốc và tự động điều chỉnh các khung hình, đảm bảo các vật thể nền và tiền cảnh không bị méo mó hoặc thay đổi vị trí một cách bất thường khi thêm hiệu ứng mới.
  3. Hệ thống tạo nội dung thực tế ảo tăng cường (AR) từ văn bản trên điện thoại: Mô tả một ứng dụng cho phép người dùng mô tả một vật thể hoặc cảnh quan 3D bằng văn bản. Ứng dụng sẽ tạo ra một mô hình 3D nhất quán và hiển thị nó trực tiếp lên môi trường thực tế xung quanh người dùng thông qua camera điện thoại. Công nghệ này đảm bảo mô hình 3D được tạo ra có tính toàn vẹn về mặt hình học, cho phép người dùng xoay điện thoại để xem vật thể từ mọi góc độ một cách mượt mà và chân thực.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.24764
ArXiv Abstracthttps://arxiv.org/abs/2604.24764
PDF Downloadhttps://arxiv.org/pdf/2604.24764.pdf
Github Repositoryhttps://github.com/microsoft/World-R1

3. Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation (66 votes)​

Tác giả: Zhiheng Liu, Weiming Ren, Xiaoke Huang, Shoufa Chen, Tianhong Li, Mengzhao Chen, Yatai Ji, Sen He, Jonas Schult, Belinda Zeng, Tao Xiang, Wenhu Chen, Ping Luo, Luke Zettlemoyer, Yuren Cong

Xuất bản lúc: 2026-04-27

Tag: Vision-Language Model, Unified Multimodal Model, Pixel-Space Learning, Encoder-Free Architecture, Flow Matching, Masked Modeling, Text-to-Image Generation, Image Editing

I. Main Problem:​

Các mô hình đa phương thức hợp nhất hiện tại thường phụ thuộc vào các bộ mã hóa thị giác (vision encoders) có sẵn, sử dụng các biểu diễn thị giác riêng biệt cho hai tác vụ hiểu và sinh. Điều này tạo ra sự không nhất quán giữa hai tác vụ và ngăn cản quá trình tối ưu hóa đầu-cuối hoàn toàn từ các pixel thô. Việc học biểu diễn thống nhất trực tiếp trong không gian pixel có chiều cao đặt ra thách thức lớn hơn so với học trong không gian tiềm ẩn (latent space) nhỏ gọn.

II. Main Idea:​

Tác giả giới thiệu Tuna-2, một mô hình đa phương thức hợp nhất thuần túy (native unified multimodal model) thực hiện hiểu và sinh hình ảnh trực tiếp dựa trên các pixel embeddings. Kiến trúc này loại bỏ hoàn toàn các bộ mã hóa thị giác có sẵn (như VAE hoặc CLIP), thay vào đó sử dụng các lớp patch embedding đơn giản để mã hóa đầu vào hình ảnh. Để học các biểu diễn thị giác mạnh mẽ trong không gian pixel, tác giả đề xuất một cơ chế học đặc trưng dựa trên masking (masking-based feature learning scheme), giúp ổn định quá trình huấn luyện và khuyến khích học các biểu diễn pixel mạnh mẽ hơn. Mô hình sử dụng x-prediction và v-loss từ JiT cho flow matching trong không gian pixel, và được huấn luyện đầu-cuối qua hai giai đoạn: tiền huấn luyện toàn bộ mô hình và tinh chỉnh có giám sát.

III. Main Results:​

Tuna-2 đạt được hiệu suất vượt trội so với các mô hình UMM (Unified Multimodal Model) cùng kích thước trên nhiều benchmark hiểu hình ảnh (GQA, RealWorldQA, MMVet, MMMU, MMVP, SEED-Bench2+, AI2D, ChartQA, OCRBench, V*, CountBench, VisuLogic), đặc biệt là các tác vụ yêu cầu nhận thức thị giác chi tiết. Về sinh hình ảnh, Tuna-2 cạnh tranh với các mô hình hiện đại trên GenEval và DPG-Bench. So sánh có kiểm soát cho thấy, sau khi tiền huấn luyện đầy đủ, Tuna-2 (encoder-free) cạnh tranh với Tuna-R (encoder-based) về sinh ảnh và vượt trội về hiểu ảnh, đặc biệt trên các tác vụ chi tiết.

IV. Conclusion & Future Works:​

Kết quả cho thấy các bộ mã hóa thị giác có sẵn (pretrained vision encoders) không cần thiết cho mô hình đa phương thức, và học không gian pixel đầu-cuối (end-to-end pixel-space learning) là một hướng đi có khả năng mở rộng để đạt được biểu diễn thị giác mạnh mẽ hơn cho cả sinh và nhận thức. Các phân tích sâu về động lực huấn luyện và hành vi mô hình cung cấp những hiểu biết hữu ích cho sự phát triển của các mô hình đa phương thức hợp nhất trong tương lai.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc mở rộng quy mô của kiến trúc encoder-free cho các mô hình đa phương thức, đặc biệt là khi tăng kích thước mô hình và dữ liệu huấn luyện lên hàng trăm tỷ tham số. Liệu lợi thế về hiểu ảnh chi tiết có tiếp tục được duy trì và mở rộng?
  2. Phát triển các cơ chế masking thích ứng (adaptive masking) thay vì masking ngẫu nhiên, dựa trên độ khó hoặc độ quan trọng của từng vùng ảnh đối với tác vụ hiểu và sinh, nhằm tối ưu hóa việc học biểu diễn pixel.
  3. Khám phá khả năng áp dụng kiến trúc encoder-free cho các tác vụ đa phương thức khác ngoài ảnh tĩnh, như video (hiểu và sinh video), âm thanh, hoặc dữ liệu 3D, tạo ra một mô hình nền tảng đa phương thức thực sự thống nhất từ pixel.

2. Patent:​

  1. Phương pháp chỉnh sửa ảnh trên thiết bị di động sử dụng mô hình không gian pixel: Một hệ thống cho phép người dùng chụp ảnh và chỉnh sửa trực tiếp trên điện thoại (ví dụ: thay đổi màu sắc, thêm/bớt đối tượng, thay đổi phông nền) mà không cần tải ảnh lên máy chủ. Hệ thống sử dụng mô hình Tuna-2 được tối ưu hóa để chạy trên thiết bị di động, xử lý ảnh trực tiếp ở dạng pixel thô, giúp chỉnh sửa nhanh chóng và bảo vệ quyền riêng tư của người dùng.
  2. Ứng dụng tạo ảnh đại diện (avatar) từ mô tả văn bản trên điện thoại: Một ứng dụng cho phép người dùng nhập mô tả bằng văn bản (ví dụ: 'một chú mèo hoạt hình đội mũ len màu đỏ') và ứng dụng sẽ tạo ra hình ảnh tương ứng ngay trên điện thoại. Mô hình Tuna-2 được tích hợp sẵn trong ứng dụng, cho phép tạo ảnh chất lượng cao mà không cần kết nối internet, mang lại trải nghiệm liền mạch và bảo mật.
  3. Hệ thống hỗ trợ đọc và mô tả chi tiết hình ảnh cho người khiếm thị trên điện thoại thông minh: Một ứng dụng dành cho người khiếm thị, sử dụng camera điện thoại để chụp ảnh và mô tả chi tiết nội dung của bức ảnh bằng giọng nói. Nhờ khả năng hiểu ảnh chi tiết của Tuna-2, hệ thống có thể mô tả chính xác các đối tượng nhỏ, văn bản, màu sắc và mối quan hệ không gian trong ảnh, giúp người dùng khiếm thị hiểu rõ hơn về môi trường xung quanh.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.24763
ArXiv Abstracthttps://arxiv.org/abs/2604.24763
PDF Downloadhttps://arxiv.org/pdf/2604.24763.pdf
Github Repositoryhttps://github.com/facebookresearch/tuna-2

4. ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning (64 votes)​

Tác giả: Yiming Zhang, Jiacheng Chen, Jiaqi Tan, Yongsen Mao, Wenhu Chen, Angel X. Chang

Xuất bản lúc: 2026-04-27

Tag: Vision-Language Models, 3D Spatial Reasoning, Benchmark Evaluation, Visual Spatial Intelligence, Frame Sampling, Hallucination Detection

I. Main Problem:​

Các đánh giá hiện tại về trí thông minh không gian 3D trong các mô hình ngôn ngữ-thị giác (VLM) có thể không hợp lệ một cách có hệ thống do hai vấn đề chính: (1) Sự sai lệch giữa chú thích 3D gốc (dựa trên điểm đám mây) và video thực tế, dẫn đến nhãn đối tượng sai, thiếu đối tượng hoặc kích thước không chính xác. (2) Sự không khớp về khả năng quan sát cảnh, khi các mô hình VLM chỉ xử lý một số khung hình ngẫu nhiên (ví dụ: 16-64 khung) trong khi các câu hỏi đánh giá lại giả định có toàn bộ cảnh, khiến nhiều câu hỏi trở nên không thể trả lời hoặc có đáp án sai so với đầu vào thực tế của mô hình.

II. Main Idea:​

Bài báo giới thiệu ReVSI, một benchmark và quy trình đánh giá mới nhằm đảm bảo mỗi cặp câu hỏi-câu trả lời đều có thể trả lời được và chính xác dựa trên đầu vào thực tế của mô hình. Các tác giả thực hiện ba cải tiến chính: (1) Tái chú thích nhãn đối tượng và hình học cảnh trên 381 cảnh từ 5 bộ dữ liệu bằng các công cụ chuyên nghiệp, đảm bảo tính nhất quán với video gốc. (2) Tái tạo các cặp QA với các mẫu câu đa dạng hơn, kiểm soát độ lệch phân phối câu trả lời chặt chẽ hơn và có sự xác minh của con người. (3) Định nghĩa lại giao thức đánh giá dựa trên ngân sách khung hình, cung cấp các biến thể với số lượng khung hình khác nhau (16/32/64/tất cả) và siêu dữ liệu về khả năng hiển thị đối tượng chi tiết, cho phép phân tích chẩn đoán có kiểm soát, ví dụ như tạo video giả để kiểm tra mức độ ảo giác của mô hình.

III. Main Results:​

Kết quả đánh giá trên ReVSI cho thấy những điểm khác biệt quan trọng so với benchmark cũ VSI-Bench: (1) Các mô hình độc quyền (proprietary) cho thấy hiệu suất ổn định hoặc cao hơn trên ReVSI, trong khi các mô hình nguồn mở giảm điểm đáng kể (lên tới 40%), đặc biệt ở các tác vụ đếm đối tượng và ước lượng khoảng cách. (2) Các mô hình được tinh chỉnh (fine-tuned) cho thấy sự cải thiện nhỏ hơn nhiều so với báo cáo trước đây, thậm chí một số mô hình còn giảm hiệu suất. (3) Các bài kiểm tra với video giả (loại bỏ đối tượng được hỏi) cho thấy các mô hình nguồn mở và tinh chỉnh có tỷ lệ ảo giác rất cao, dự đoán sự tồn tại của đối tượng ngay cả khi chúng không xuất hiện, trong khi mô hình của con người không mắc lỗi này.

IV. Conclusion & Future Works:​

ReVSI cung cấp một nền tảng đánh giá đáng tin cậy hơn cho khả năng suy luận không gian 3D của các VLM, phơi bày những điểm yếu có hệ thống bị che giấu bởi các benchmark trước đây. Hướng phát triển trong tương lai bao gồm việc phát triển các quy trình tự động hoặc bán tự động để tạo ra các chú thích không gian chất lượng cao, nhằm khắc phục hạn chế về chi phí chú thích thủ công hiện tại và mở rộng quy mô dữ liệu.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển mô hình VLM suy luận không gian 3D mạnh mẽ hơn: Thiết kế một kiến trúc VLM mới có khả năng tổng hợp thông tin từ nhiều khung hình video một cách thông minh, sử dụng cơ chế chú ý không gian (spatial attention) để xây dựng biểu diễn 3D nhất quán, giảm thiểu sự phụ thuộc vào các ưu tiên (priors) từ dữ liệu huấn luyện và tăng cường khả năng chống ảo giác.
  2. Xây dựng bộ dữ liệu huấn luyện không gian 3D quy mô lớn, chất lượng cao với pipeline bán tự động: Đề xuất một pipeline kết hợp giữa các mô hình 3D có sẵn (ví dụ: mô hình ước lượng độ sâu, mô hình phân đoạn 3D) và sự xác minh của con người để tạo ra các chú thích không gian 3D chính xác trên quy mô lớn từ các video trong thế giới thực, phục vụ cho việc huấn luyện các VLM chuyên biệt.
  3. Phương pháp đánh giá khả năng suy luận không gian 3D dựa trên tình huống tương tác động (interactive): Thiết kế một giao thức đánh giá mới, nơi mô hình VLM không chỉ trả lời câu hỏi tĩnh mà còn phải tương tác với môi trường 3D (ví dụ: di chuyển, xoay camera) để thu thập thông tin cần thiết trước khi đưa ra câu trả lời, qua đó đánh giá sâu hơn khả năng suy luận không gian chủ động.

2. Patent:​

  1. Hệ thống hỗ trợ mua sắm nội thất thực tế ảo tăng cường trên điện thoại: Một ứng dụng điện thoại sử dụng camera để quét không gian phòng của người dùng. Ứng dụng sẽ phân tích video để xác định kích thước phòng, vị trí các vật thể hiện có (bàn, ghế, tủ) và khoảng cách giữa chúng. Sau đó, người dùng có thể chọn một món đồ nội thất mới và ứng dụng sẽ tự động gợi ý vị trí đặt phù hợp dựa trên không gian thực tế, đồng thời hiển thị mô hình 3D của món đồ đó ngay trên màn hình điện thoại, giúp người dùng hình dung trước khi mua.
  2. Trợ lý ảo hướng dẫn đường đi trong nhà cho người khiếm thị trên điện thoại: Một ứng dụng trên điện thoại thông minh sử dụng camera để quay video môi trường xung quanh. Hệ thống sẽ phân tích không gian 3D để xác định vị trí của người dùng, các vật cản (bàn, ghế, tường) và các vật thể mục tiêu (cửa ra vào, cầu thang). Trợ lý ảo sẽ cung cấp hướng dẫn bằng giọng nói chi tiết như 'Đi thẳng 3 mét, sau đó rẽ trái để đến cửa ra vào' hoặc 'Có một chiếc ghế ở phía trước bên phải của bạn', giúp người khiếm thị di chuyển an toàn và tự tin hơn trong nhà.
  3. Tính năng kiểm tra và sắp xếp không gian lưu trữ thông minh trên điện thoại: Một ứng dụng cho phép người dùng quay video bên trong tủ lạnh, tủ quần áo hoặc thùng xe hơi. Hệ thống sẽ phân tích video để nhận diện và đếm số lượng các vật dụng bên trong (ví dụ: số chai nước ngọt trong tủ lạnh, số áo sơ mi trong tủ). Dựa trên kích thước không gian và kích thước vật dụng, ứng dụng sẽ đưa ra gợi ý sắp xếp tối ưu để tiết kiệm không gian, hoặc cảnh báo nếu một vật dụng mới có thể vừa vặn vào không gian trống còn lại.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.24300
ArXiv Abstracthttps://arxiv.org/abs/2604.24300
PDF Downloadhttps://arxiv.org/pdf/2604.24300.pdf
Github Repositoryhttps://github.com/3dlg-hcvc/revsi

5. Vision-Language-Action Safety: Threats, Challenges, Evaluations, and Mechanisms (44 votes)​

Tác giả: Qi Li, Bo Yin, Weiqi Huang, Ruhao Liu, Bojun Zou, Runpeng Yu, Jingwen Ye, Weihao Yu, Xinchao Wang

Xuất bản lúc: 2026-04-26

Tag: VLA Safety, Backdoor Attack, Adversarial Attack, Jailbreak, Robotics, Multimodal, Defense Mechanism, Benchmark

I. Main Problem:​

Các mô hình Vision-Language-Action (VLA) đang nổi lên như một nền tảng thống nhất cho trí tuệ nhúng (embodied intelligence). Tuy nhiên, sự chuyển dịch này đặt ra một loạt thách thức an toàn mới, xuất phát từ bản chất vật lý của các hệ thống VLA, bao gồm hậu quả vật lý không thể đảo ngược, bề mặt tấn công đa phương thức (thị giác, ngôn ngữ, trạng thái), các ràng buộc về độ trễ thời gian thực, lỗi lan truyền trong các chuỗi hành động dài, và các lỗ hổng trong chuỗi cung ứng dữ liệu. Các nghiên cứu về an toàn VLA hiện tại bị phân mảnh giữa nhiều cộng đồng nghiên cứu khác nhau (học robot, học máy đối kháng, căn chỉnh AI, an toàn hệ thống tự trị) mà thiếu sự kết nối.

II. Main Idea:​

Bài báo này trình bày một khảo sát toàn diện đầu tiên về an toàn của các mô hình VLA. Các tác giả tổ chức lĩnh vực này dọc theo hai trục thời gian song song: thời điểm tấn công (lúc huấn luyện và lúc suy luận) và thời điểm phòng thủ (lúc huấn luyện và lúc suy luận). Bài báo xem xét các mối đe dọa (như đầu độc dữ liệu, backdoor, tấn công đối kháng, jailbreak ngữ nghĩa), các cơ chế phòng thủ (căn chỉnh dữ liệu, tối ưu hóa chính sách an toàn, giám sát thời gian chạy), các bộ tiêu chuẩn đánh giá và các thách thức triển khai trong sáu lĩnh vực thực tế.

III. Main Results:​

Bài báo tổng hợp và phân tích có cấu trúc các mối đe dọa và phòng thủ, từ các backdoor vật lý (GoBA) và backdoor trạng thái đến các cuộc tấn công jailbreak và nhiễu loạn thị giác. Nó cung cấp phân tích có cấu trúc đầu tiên về các bộ tiêu chuẩn và chỉ số đánh giá an toàn VLA hiện có, xác định các lỗ hổng trong phương pháp đánh giá hiện tại. Bài báo cũng khảo sát các thách thức an toàn trên sáu lĩnh vực triển khai thực tế (lái xe tự động, robot gia đình, sản xuất công nghiệp, chăm sóc sức khỏe, robot dịch vụ và triển khai ngoài trời) và tổng hợp các mẫu hình an toàn xuyên miền.

IV. Conclusion & Future Works:​

Bài báo kết luận rằng an toàn cần được thiết lập như một mục tiêu thiết kế hàng đầu bên cạnh năng lực trong các hệ thống VLA thế hệ tiếp theo. Các hướng nghiên cứu trong tương lai bao gồm: độ mạnh mẽ được chứng nhận (certified robustness) cho các quỹ đạo nhúng, các biện pháp phòng thủ khả thi về mặt vật lý, huấn luyện có nhận thức về an toàn (safety-aware training), kiến trúc an toàn thời gian chạy thống nhất, đánh giá tiêu chuẩn hóa, và các cân nhắc về quy định, đạo đức và xã hội.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển một phương pháp tấn công backdoor mới cho mô hình VLA, tập trung vào khai thác lỗ hổng trong cơ chế 'action chunking' (dự đoán chuỗi hành động). Bằng cách thiết kế các trigger kích hoạt chính xác trong khoảng thời gian robot hoạt động 'mù' (không quan sát lại môi trường) giữa các lần lập kế hoạch, cuộc tấn công này có thể gây ra hành vi độc hại mà không bị phát hiện bởi các cơ chế giám sát ở cấp độ quan sát.
  2. Xây dựng một bộ tiêu chuẩn đánh giá an toàn toàn diện cho mô hình VLA, bao gồm nhiều cấp độ từ tính mạnh mẽ đối kháng đến an toàn nhiệm vụ và căn chỉnh ngữ nghĩa. Bộ tiêu chuẩn này sẽ giải quyết sự thiếu hụt các phương pháp đánh giá tiêu chuẩn hóa hiện tại, cung cấp một nền tảng thống nhất để so sánh các mô hình và biện pháp phòng thủ khác nhau.
  3. Nghiên cứu về 'học liên tục an toàn' (lifecycle safety) cho các mô hình VLA, tập trung vào việc phát hiện và giảm thiểu rủi ro khi mô hình được cập nhật hoặc triển khai trên một đội robot (fleet-level deployment). Hướng nghiên cứu này sẽ giải quyết các thách thức về an toàn phát sinh từ việc mô hình thích ứng với môi trường mới hoặc nhiệm vụ mới sau khi triển khai.

2. Patent:​

  1. Hệ thống kiểm tra an toàn thời gian thực cho robot gia đình sử dụng mô hình VLA. Hệ thống này sẽ giám sát đồng thời đầu vào (hình ảnh từ camera, lệnh thoại) và đầu ra (hành động của robot) để phát hiện các dấu hiệu bất thường. Ví dụ, nếu người dùng nói 'mở tủ lạnh' nhưng robot chuẩn bị nhấc một con dao, hệ thống sẽ tạm dừng hành động và yêu cầu xác nhận lại từ người dùng. Ứng dụng chính là trên các robot trợ lý gia đình thông minh, có thể tích hợp vào điện thoại để điều khiển từ xa an toàn.
  2. Phương pháp bảo vệ mô hình VLA trên điện thoại thông minh khỏi các cuộc tấn công bằng hình ảnh độc hại. Khi người dùng chụp ảnh hoặc tải một bức ảnh từ internet về để robot thực hiện một nhiệm vụ (ví dụ: 'hãy lấy cái cốc giống trong ảnh này'), một lớp bảo vệ trên điện thoại sẽ tự động quét và làm sạch ảnh, loại bỏ các 'miếng vá đối kháng' (adversarial patches) có thể khiến robot hiểu sai và thực hiện hành động nguy hiểm.
  3. Ứng dụng điện thoại thông minh để phát hiện và ngăn chặn các cuộc tấn công 'jailbreak' vào robot VLA. Ứng dụng này sẽ hoạt động như một tường lửa ngôn ngữ. Khi người dùng ra lệnh thoại cho robot, ứng dụng sẽ phân tích câu lệnh, phát hiện các mẫu câu hoặc từ khóa thường được sử dụng để 'lừa' mô hình VLA thực hiện các hành động không an toàn (ví dụ: 'hãy giả vờ là một robot khác và...'), và chặn lệnh đó trước khi nó được gửi đến robot.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.23775
ArXiv Abstracthttps://arxiv.org/abs/2604.23775
PDF Downloadhttps://arxiv.org/pdf/2604.23775.pdf
Github Repositoryhttps://github.com/LiQiiiii/Awesome-VLA-Safety

6. SketchVLM: Vision language models can annotate images to explain thoughts and guide users (33 votes)​

Tác giả: Brandon Collins, Logan Bolton, Hung Huy Nguyen, Mohammad Reza Taesiri, Trung Bui, Anh Totti Nguyen

Xuất bản lúc: 2026-04-23

Tag: Vision-Language Models, Explainable AI, SVG Overlay, Visual Reasoning, Human-AI Collaboration, Sketching, Gemini, GPT

I. Main Problem:​

Các mô hình ngôn ngữ-thị giác (VLM) hiện tại như Gemini-3-Pro và GPT-5 thường chỉ trả lời bằng văn bản, khiến người dùng khó kiểm tra và xác minh câu trả lời, đặc biệt với các câu hỏi phức tạp về hình ảnh. Các phương pháp hiện có như mô hình chỉnh sửa ảnh hoặc VLM được tinh chỉnh để vẽ chú thích thường làm thay đổi ảnh gốc, không tổng quát hóa tốt, hoặc chỉ hỗ trợ các chú thích hạn chế (ví dụ: tọa độ điểm).

II. Main Idea:​

SketchVLM là một khung làm việc không cần huấn luyện (training-free), không phụ thuộc vào mô hình cụ thể (model-agnostic), cho phép các VLM tạo ra các lớp phủ SVG không phá hủy (non-destructive) lên ảnh đầu vào để giải thích trực quan câu trả lời. Khung làm việc này kết hợp ba thành phần: (1) gợi ý trực quan (visual prompting) bằng lưới tọa độ để hỗ trợ tham chiếu không gian, (2) prompt hệ thống hướng dẫn mô hình tạo các nét vẽ có cấu trúc (XML/JSON), và (3) chuyển đổi XML sang SVG để hiển thị lớp phủ lên ảnh gốc. SketchVLM hỗ trợ cả chế độ đơn lượt (single-turn) và đa lượt (multi-turn), cho phép tương tác từng bước giữa người và AI.

III. Main Results:​

Trên bảy tác vụ bao gồm suy luận trực quan (điều hướng mê cung, dự đoán quỹ đạo rơi bóng, đếm đối tượng) và vẽ (nối điểm, gắn nhãn bộ phận, vẽ hình bao quanh đối tượng), SketchVLM cải thiện độ chính xác của tác vụ suy luận trực quan lên tới +28.5 điểm phần trăm và chất lượng chú thích lên tới 1.48 lần so với các phương pháp cơ sở như mô hình chỉnh sửa ảnh Nano Banana Pro và các mô hình vẽ được tinh chỉnh (ViLaSR, ThinkMorph). Các SketchVLM dựa trên các mô hình tiên tiến (Gemini-3-Pro-Preview và GPT-5) tạo ra các chú thích có tính tổng quát, độ chính xác và chất lượng vượt trội. Chế độ đơn lượt đạt độ chính xác và chất lượng chú thích tương đương với chế độ đa lượt nhưng nhanh hơn đáng kể.

IV. Conclusion & Future Works:​

SketchVLM chứng minh rằng việc tạo lớp phủ SVG không phá hủy giúp các VLM giải thích suy luận một cách trực quan và đáng tin cậy, đồng thời cải thiện hiệu suất trên nhiều tác vụ. Hướng nghiên cứu trong tương lai có thể bao gồm: mở rộng khung làm việc cho các mô hình khác, cải thiện khả năng vẽ các nét phức tạp hơn (ví dụ: đường cong Bezier), và phát triển các cơ chế tương tác đa lượt nâng cao để hỗ trợ cộng tác người-AI.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu phương pháp tối ưu hóa prompt cho VLM để tạo chú thích SVG chính xác hơn trên các tác vụ đa dạng, đặc biệt là trong lĩnh vực y tế (ví dụ: phân tích ảnh X-quang).
  2. Phát triển một mô hình VLM được tinh chỉnh đặc biệt để tạo chú thích SVG, kết hợp giữa ưu điểm của huấn luyện có giám sát và tính tổng quát của các mô hình nền tảng.
  3. Mở rộng SketchVLM để hỗ trợ chú thích động (animated SVG) nhằm giải thích các quá trình hoặc chuyển động trong video, ví dụ như hướng dẫn sửa chữa thiết bị.

2. Patent:​

  1. Một ứng dụng trên điện thoại thông minh cho phép người dùng chụp ảnh một vật thể (ví dụ: động cơ ô tô) và nhận được các chú thích trực quan dạng mũi tên, hình tròn, và nhãn văn bản được vẽ chồng lên ảnh để hướng dẫn từng bước kiểm tra hoặc sửa chữa.
  2. Hệ thống trợ lý ảo trên điện thoại có khả năng phân tích ảnh chụp từ camera và tạo ra các chú thích SVG không phá hủy để giải thích nội dung trong ảnh, ví dụ như khoanh tròn các vật thể cần chú ý trong một bức ảnh phức tạp hoặc vẽ đường dẫn trong ảnh bản đồ.
  3. Phương pháp tạo chú thích bằng SVG trên điện thoại cho phép người dùng tương tác đa lượt với AI: sau mỗi lượt trả lời, AI vẽ thêm một chú thích mới lên ảnh gốc mà không làm thay đổi ảnh, giúp người dùng dễ dàng theo dõi và xác minh quá trình suy luận của AI.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.22875
ArXiv Abstracthttps://arxiv.org/abs/2604.22875
PDF Downloadhttps://arxiv.org/pdf/2604.22875.pdf
Github Repositoryhttps://github.com/Brandon-Collins7/sketchvlm

7. ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents (32 votes)​

Tác giả: Fanqing Meng, Lingxiao Du, Zijian Wu, Guanzheng Chen, Xiangyan Liu, Jiaqi Liao, Chonghe Jiang, Zhenglin Wan, Jiawei Gu, Pengfei Zhou, Rui Huang, Ziqi Zhao, Shengyuan Ding, Ailing Yu, Bo Peng, Bowei Xia, Hao Sun, Haotian Liang, Ji Xie, Jiajun Chen, Jiajun Song, Liu Yang, Ming Xu, Qionglin Qiu, Runhao Fu, Shengfang Zhai, Shijian Wang, Tengfei Ma, Tianyi Wu, Weiyang Jin, Yan Wang, Yang Dai, Yao Lai, Youwei Shu, Yue Liu, Yunzhuo Hao, Yuwei Niu, Jinkai Huang, Jiayuan Zhuo, Zhennan Shen, Linyu Wu, Cihang Xie, Yuyin Zhou, Jiaheng Zhang, Zeyu Zheng, Mengkang Hu, Michael Qizhe Shieh

Xuất bản lúc: 2026-04-26

Tag: LLM Agents, Benchmark, Multi-Turn, Multimodal, Coworker Agents, Dynamic Environment

I. Main Problem:​

Các tác nhân ngôn ngữ (language-model agents) ngày càng được sử dụng như những 'đồng nghiệp' (coworker) hỗ trợ người dùng qua nhiều ngày làm việc. Tuy nhiên, các chuẩn đánh giá (benchmark) hiện tại chưa đánh giá đúng bối cảnh này vì ba lý do: (1) đánh giá trong một phiên tĩnh thay vì theo thời gian; (2) môi trường không thay đổi độc lập giữa các lượt tương tác; (3) đầu vào chủ yếu là văn bản, thiếu các bằng chứng đa phương thức như hình ảnh, PDF quét, âm thanh, video và bảng tính.

II. Main Idea:​

Bài báo giới thiệu ClawMark, một chuẩn đánh giá dành cho các tác nhân đồng nghiệp, được xây dựng dựa trên ba yếu tố chính: (1) các tác vụ đa lượt, kéo dài nhiều ngày (multi-turn multi-day tasks), (2) một môi trường dịch vụ 'sandboxed' có trạng thái (stateful) và thay đổi giữa các lượt (dynamic environment) thông qua các sự kiện được thông báo (loud events) và các thay đổi thầm lặng (silent mutations), và (3) cơ chế chấm điểm dựa trên quy tắc (rule-based verification) với 1,537 bộ kiểm tra Python xác định, không sử dụng LLM làm giám khảo. ClawMark hiện tại bao gồm 100 tác vụ trong 13 kịch bản chuyên nghiệp, thực thi trên năm dịch vụ sandboxed: hệ thống tệp tin, email, lịch, cơ sở tri thức và bảng tính.

III. Main Results:​

Bảy hệ thống tác nhân tiên tiến (frontier agent systems) được đánh giá trên ClawMark. Mô hình mạnh nhất (Claude Sonnet 4.6) đạt 75.8 điểm weighted score, nhưng tỷ lệ hoàn thành tác vụ nghiêm ngặt (strict Task Success) cao nhất chỉ là 20.0% (Claude Opus 4.6). Điều này cho thấy tiến bộ một phần là phổ biến nhưng việc hoàn thành toàn bộ quy trình từ đầu đến cuối vẫn còn hiếm. Phân tích theo lượt cho thấy hiệu suất giảm mạnh sau lần cập nhật môi trường ngoại sinh đầu tiên (Ngày 2), nhấn mạnh khả năng thích ứng với trạng thái thay đổi là một thách thức mở quan trọng. Các lỗi tập trung vào phát hiện thay đổi thầm lặng (56.5%) và ghi lại vào backend (53.6%).

IV. Conclusion & Future Works:​

ClawMark là một chuẩn đánh giá toàn diện cho các tác nhân đồng nghiệp, kết hợp các tác vụ đa ngày, môi trường động và chấm điểm xác định. Các kết quả cho thấy vẫn còn nhiều dư địa để cải thiện, đặc biệt là khả năng thích ứng với các thay đổi môi trường và hoàn thành quy trình làm việc trọn vẹn. Các hướng nghiên cứu trong tương lai có thể bao gồm: cải thiện khả năng phát hiện và phản ứng với các thay đổi thầm lặng, phát triển các chiến lược ghi nhớ và cập nhật trạng thái bền bỉ hơn, và mở rộng chuẩn đánh giá sang nhiều lĩnh vực và loại hình tác vụ hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Tác nhân đồng nghiệp thích ứng: Nghiên cứu các kiến trúc tác nhân mới có khả năng phát hiện và phản ứng linh hoạt với các thay đổi môi trường không được thông báo (silent mutations), sử dụng các cơ chế như bộ nhớ dài hạn, mô hình thế giới nội sinh, hoặc các vòng lặp phản hồi liên tục.
  2. Chuẩn đánh giá cho tác nhân đa tác vụ, đa miền: Mở rộng ClawMark với nhiều kịch bản chuyên sâu hơn (ví dụ: y tế, pháp lý, tài chính) và các tác vụ yêu cầu sự phối hợp phức tạp giữa nhiều dịch vụ, đồng thời phát triển các thước đo mới để đánh giá khả năng tổng quát hóa của tác nhân.
  3. Học tăng cường cho tác nhân đồng nghiệp: Khám phá việc áp dụng các kỹ thuật học tăng cường (Reinforcement Learning) để huấn luyện các tác nhân tối ưu hóa điểm số weighted score và tỷ lệ Task Success trong môi trường động, nhiều lượt như ClawMark, thay vì chỉ dựa vào các prompt tĩnh.

2. Patent:​

  1. Trợ lý điện thoại thông minh thích ứng với lịch trình thay đổi: Một phương pháp và hệ thống trên điện thoại di động, nơi trợ lý ảo (coworker agent) liên tục theo dõi lịch, email và tin nhắn. Khi có thay đổi lịch họp hoặc sự kiện mới (ví dụ: cuộc họp bị dời, thêm deadline), trợ lý tự động cập nhật các tác vụ liên quan, đề xuất lại lịch trình làm việc mới và gửi thông báo thông minh đến người dùng mà không cần can thiệp thủ công.
  2. Hệ thống tổng hợp báo cáo đa phương thức từ dữ liệu điện thoại: Phát minh về một ứng dụng di động cho phép tác nhân đồng nghiệp thu thập và phân tích thông tin từ nhiều nguồn trên điện thoại (ảnh chụp biên lai, ghi âm cuộc họp, file PDF hóa đơn, tin nhắn văn bản). Tác nhân sẽ tự động tổng hợp, đối chiếu và tạo ra một báo cáo hoàn chỉnh (ví dụ: báo cáo chi tiêu, biên bản họp) dưới dạng văn bản hoặc bảng tính, sẵn sàng để chia sẻ.
  3. Phương pháp phát hiện và cảnh báo thay đổi thầm lặng trên thiết bị di động: Một hệ thống trên điện thoại thông minh, nơi tác nhân đồng nghiệp chủ động kiểm tra định kỳ trạng thái của các ứng dụng và dịch vụ (ví dụ: tệp tin trong bộ nhớ, danh bạ, lịch sử duyệt web) để phát hiện những thay đổi bất thường không do người dùng hoặc các ứng dụng chính thống tạo ra. Khi phát hiện thay đổi thầm lặng (ví dụ: một tệp tin bị sửa đổi, một cài đặt bảo mật bị thay đổi), tác nhân sẽ cảnh báo người dùng và đề xuất hành động khắc phục.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.23781
ArXiv Abstracthttps://arxiv.org/abs/2604.23781
PDF Downloadhttps://arxiv.org/pdf/2604.23781.pdf
Github Repositoryhttps://github.com/evolvent-ai/ClawMark

8. Why Fine-Tuning Encourages Hallucinations and How to Fix It (21 votes)​

Tác giả: Guy Kaplan, Zorik Gekhman, Zhen Zhu, Lotem Rozner, Yuval Reif, Swabha Swayamdipta, Derek Hoiem, Roy Schwartz

Xuất bản lúc: 2026-04-16

Tag: SFT, Hallucination, Continual Learning, Self-Distillation, Factual Forgetting, LLMs, Knowledge Interference

I. Main Problem:​

Mô hình ngôn ngữ lớn (LLM) thường gặp phải hiện tượng 'ảo giác' (hallucination) - đưa ra các thông tin sai lệch. Một nguyên nhân chính là quá trình tinh chỉnh có giám sát (SFT) khiến mô hình học thêm kiến thức mới nhưng lại làm suy giảm kiến thức đã có từ trước, dẫn đến tăng tỷ lệ ảo giác.

II. Main Idea:​

Bài báo xem xét vấn đề ảo giác do SFT gây ra dưới góc nhìn của học liên tục (continual learning), gọi đó là 'sự lãng quên kiến thức thực tế' (factual forgetting). Từ đó, tác giả đề xuất hai giải pháp: (1) Khi không cần học kiến thức mới, có thể giảm 'tính dẻo kiến thức' (factual plasticity) bằng cách đóng băng các nhóm tham số nhất định (ví dụ FFN) để bảo toàn kiến thức cũ. (2) Khi cần học kiến thức mới, sử dụng phương pháp 'tự chưng cất' (self-distillation) để điều chỉnh quá trình huấn luyện, giữ cho phân phối đầu ra của mô hình không bị lệch quá xa so với phiên bản trước đó, nhờ đó vừa học được kiến thức mới vừa giảm thiểu việc quên kiến thức cũ. Nghiên cứu cũng chỉ ra rằng nguyên nhân cốt lõi của sự lãng quên là do sự can thiệp lẫn nhau giữa các biểu diễn ngữ nghĩa chồng chéo.

III. Main Results:​

Kết quả thực nghiệm cho thấy: (1) Phương pháp đóng băng tham số giúp giảm đáng kể ảo giác khi không cần học kiến thức mới. (2) Phương pháp tự chưng cất giảm tỷ lệ lãng quên kiến thức từ khoảng 15% xuống còn khoảng 3% trong khi vẫn đảm bảo hiệu quả học kiến thức mới tương đương với SFT tiêu chuẩn. (3) Phân tích sâu cho thấy sự lãng quên có tính chọn lọc cao: nó xảy ra mạnh mẽ khi các thực thể mới có cấu trúc ngữ nghĩa tương tự thực thể cũ, nhưng hầu như không xảy ra khi các thực thể mới là các định danh ngẫu nhiên (UUID).

IV. Conclusion & Future Works:​

Bài báo kết luận rằng ảo giác do SFT không phải là cái giá phải trả tất yếu cho việc học kiến thức mới, mà là hậu quả của sự can thiệp biểu diễn có thể được giải quyết trực tiếp. Các hướng nghiên cứu trong tương lai bao gồm coi 'tính ổn định kiến thức' (factual stability) như một mục tiêu chính trong tinh chỉnh và tận dụng các công cụ từ lĩnh vực học liên tục để giải quyết vấn đề này.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc áp dụng các kỹ thuật học liên tục khác (ví dụ: replay, elastic weight consolidation) để giảm ảo giác do SFT trong các mô hình ngôn ngữ lớn.
  2. Phân tích sâu hơn về cơ chế can thiệp biểu diễn ở các tầng khác nhau của mô hình và phát triển các phương pháp chính xác hơn để ngăn chặn sự can thiệp này.
  3. Mở rộng nghiên cứu sang các tác vụ phức tạp hơn như sinh văn bản dài hoặc hội thoại nhiều lượt, nơi hiện tượng lãng quên kiến thức có thể diễn ra tinh vi hơn.

2. Patent:​

  1. Phương pháp cập nhật kiến thức trên trợ lý ảo điện thoại thông minh: Một hệ thống cho phép trợ lý ảo học các thông tin mới do người dùng cung cấp (ví dụ: 'Bạn tôi tên là Lan, sống ở Hà Nội') mà không làm ảnh hưởng đến các kiến thức nền tảng khác (ví dụ: 'Hà Nội là thủ đô của Việt Nam'). Hệ thống sử dụng kỹ thuật tự chưng cất để điều chỉnh việc học, đảm bảo trợ lý không đưa ra câu trả lời sai lệch về các chủ đề quen thuộc sau khi được cập nhật.
  2. Ứng dụng cá nhân hóa trên điện thoại giúp giảm thiểu ảo giác: Một ứng dụng cho phép người dùng tinh chỉnh mô hình ngôn ngữ nhỏ trên thiết bị di động với dữ liệu cá nhân (ví dụ: lịch sử trò chuyện, ghi chú). Ứng dụng này sẽ tự động phát hiện và đóng băng các nhóm tham số quan trọng liên quan đến kiến thức phổ thông trong quá trình tinh chỉnh, giúp thiết bị học các thói quen và sở thích của người dùng mà không làm suy giảm khả năng trả lời chính xác các câu hỏi thông thường.
  3. Hệ thống gợi ý tìm kiếm thông minh trên điện thoại chống ảo giác: Một hệ thống tìm kiếm trên điện thoại sử dụng mô hình ngôn ngữ. Khi người dùng cập nhật một thông tin mới (ví dụ: 'Thành phố X hiện thuộc quốc gia Y'), hệ thống sẽ kiểm tra mức độ tương đồng ngữ nghĩa của thông tin này với các kiến thức hiện có. Nếu có sự chồng chéo cao, hệ thống sẽ kích hoạt cơ chế tự chưng cất để cập nhật một cách an toàn, giảm thiểu rủi ro đưa ra các kết quả tìm kiếm sai lệch về các chủ đề liên quan.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.15574
ArXiv Abstracthttps://arxiv.org/abs/2604.15574
PDF Downloadhttps://arxiv.org/pdf/2604.15574.pdf
Github RepositoryN/A

9. Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis (20 votes)​

Tác giả: Zhisong Qiu, Shuofei Qiao, Kewei Xu, Yuqi Zhu, Lun Du, Ningyu Zhang, Huajun Chen

Xuất bản lúc: 2026-04-27

Tag: Process Reward Models, Data Analysis Agents, Large Language Models, Reinforcement Learning, Test-Time Scaling

I. Main Problem:​

Các mô hình phần thưởng quy trình (PRM) hiện tại được thiết kế cho các lĩnh vực tĩnh như toán học, khi áp dụng vào phân tích dữ liệu động gặp hai thất bại chính: (1) Không phát hiện được lỗi thầm lặng (silent errors) - lỗi logic khiến mã chạy thành công nhưng kết quả sai; (2) Phạt nhầm các bước khám phá cần thiết (grounding errors) - nhầm lẫn giữa lỗi có thể sửa và lỗi không thể cứu vãn, dẫn đến kìm hãm quá trình học môi trường của tác nhân.

II. Main Idea:​

Tác giả đề xuất DataPRM, một mô hình phần thưởng quy trình có khả năng tương tác với môi trường. DataPRM (1) hoạt động như một bộ xác minh chủ động, tự động tương tác với môi trường (máy chạy mã) để kiểm tra trạng thái thực thi trung gian và phát hiện lỗi thầm lặng; (2) sử dụng chiến lược phần thưởng ba giá trị (ternary reward) gồm 0.0 (lỗi không thể sửa), 0.5 (lỗi có thể sửa - khuyến khích khám phá) và 1.0 (đúng hoàn toàn). Mô hình được huấn luyện trên 7K mẫu dữ liệu chất lượng cao được tạo ra từ quy trình sinh đa dạng hóa và chú thích bậc thầy với tri thức chuyên ngành.

III. Main Results:​

DataPRM với 4B tham số cải thiện tác nhân chính sách lần lượt 7.21% trên ScienceAgentBench và 11.28% trên DABStep khi sử dụng Best-of-N. Mô hình vượt qua các baseline mạnh như GenPRM-32B và Qwen2.5-Math-PRM-72B, đồng thời hiệu quả về tham số gấp 58 lần so với self-rewarding dùng Qwen3-235B. Trong Reinforcement Learning, DataPRM đạt 78.73% trên DABench và 64.84% trên TableBench, vượt trội so với chỉ dùng phần thưởng đầu ra.

IV. Conclusion & Future Works:​

DataPRM chứng minh rằng tương tác môi trường là yếu tố then chốt để giám sát quy trình trong phân tích dữ liệu, và sự đa dạng của dữ liệu giám sát có thể quan trọng hơn độ tinh khiết của chú thích. Hướng phát triển tương lai bao gồm mở rộng sang các tác vụ kỹ thuật phức tạp hơn (huấn luyện mô hình, dự đoán) và giảm sự phụ thuộc vào dữ liệu chú thích thủ công bằng các phương pháp như Học tăng cường và Skill Discovery.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng DataPRM cho các tác vụ khoa học dữ liệu phức tạp hơn: Nghiên cứu khả năng áp dụng mô hình phần thưởng quy trình có nhận thức môi trường vào các tác vụ như huấn luyện mô hình học máy tự động, dự đoán chuỗi thời gian, hoặc phân tích dữ liệu đa phương thức (văn bản, hình ảnh, số liệu).
  2. Giảm sự phụ thuộc vào dữ liệu chú thích thủ công: Khám phá các phương pháp tự giám sát hoặc học tăng cường (RL) để huấn luyện DataPRM mà không cần lượng lớn dữ liệu chú thích bậc thầy, ví dụ sử dụng kỹ thuật 'skill discovery' hoặc tự động tạo phản hồi từ môi trường.
  3. Tích hợp DataPRM vào các framework tác nhân đa bước khác: Nghiên cứu tính tổng quát của DataPRM khi áp dụng vào các lĩnh vực tác nhân khác như lập trình phần mềm (SWE-agent), duyệt web (web navigation), hoặc trợ lý ảo đa năng, nơi cần giám sát quy trình từng bước.

2. Patent:​

  1. Phương pháp và hệ thống hỗ trợ phân tích dữ liệu trên thiết bị di động thông minh: Hệ thống sử dụng mô hình ngôn ngữ lớn kết hợp với bộ xác minh quy trình (DataPRM) để tự động thực hiện các bước phân tích dữ liệu (nhập, làm sạch, trực quan hóa) trên điện thoại. Bộ xác minh sẽ tương tác với môi trường để phát hiện lỗi logic ngay cả khi mã chạy thành công, và khuyến khích người dùng thử các bước khám phá khác nhau thay vì báo lỗi sai.
  2. Ứng dụng di động kiểm tra chất lượng báo cáo khoa học tự động: Ứng dụng cho phép người dùng tải lên các tập dữ liệu và yêu cầu phân tích. Một mô hình AI sẽ tạo ra các bước phân tích, và một mô hình 'giám sát viên' (DataPRM) sẽ đánh giá từng bước, đưa ra điểm số và giải thích lý do (ví dụ: 'bước này đúng', 'bước này có lỗi nhỏ có thể sửa', 'bước này sai hoàn toàn'). Ứng dụng sẽ hiển thị trực quan quy trình và điểm số để người dùng tin tưởng vào kết quả.
  3. Hệ thống đề xuất bước phân tích dữ liệu thích ứng dựa trên phản hồi quy trình: Trên thiết bị di động, hệ thống sẽ đề xuất các bước phân tích dữ liệu tiếp theo dựa trên lịch sử tương tác và điểm số từ mô hình phần thưởng quy trình. Nếu mô hình phát hiện một bước 'khám phá' có lỗi nhỏ nhưng có thể sửa, hệ thống sẽ đề xuất cách sửa lỗi thay vì dừng lại. Nếu phát hiện lỗi nghiêm trọng, hệ thống sẽ đề xuất hướng đi hoàn toàn mới, giúp người dùng tiết kiệm thời gian và công sức.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.24198
ArXiv Abstracthttps://arxiv.org/abs/2604.24198
PDF Downloadhttps://arxiv.org/pdf/2604.24198.pdf
Github RepositoryN/A

10. Sapiens2 (18 votes)​

Tác giả: Rawal Khirodkar, He Wen, Julieta Martinez, Yuan Dong, Su Zhaoen, Shunsuke Saito

Xuất bản lúc: 2026-04-23

Tag: Vision Transformer, Human-Centric Vision, Self-Supervised Learning, Masked Image Modeling, Contrastive Learning, Pose Estimation, Segmentation, Normal Estimation, Albedo Estimation, High-Resolution

I. Main Problem:​

Các mô hình thị giác hiện tại cho tác vụ lấy con người làm trung tâm (human-centric vision) thường gặp khó khăn trong việc kết hợp đồng thời khả năng học các chi tiết cấp thấp (low-level details) như kết cấu, màu sắc cho các tác vụ dày đặc (dense prediction) và khả năng nắm bắt ngữ nghĩa cấp cao (high-level semantics) cho các tác vụ không có nhãn hoặc ít nhãn (zero-shot/few-shot). Các phương pháp học tương phản (contrastive learning) tập trung vào ngữ nghĩa toàn cục nhưng lại làm mất chi tiết không gian, trong khi các phương pháp mô hình hóa ảnh mặt nạ (masked image modeling) giữ được chi tiết nhưng lại yếu về mặt ngữ nghĩa. Ngoài ra, việc mở rộng quy mô mô hình lên hàng tỷ tham số và độ phân giải cao (lên đến 4K) đặt ra những thách thức về kiến trúc và độ ổn định khi huấn luyện.

II. Main Idea:​

Sapiens2 đề xuất một họ mô hình Transformer (0.4B đến 5B tham số) cho thị giác lấy con người làm trung tâm, được huấn luyện trên 1 tỷ hình ảnh chất lượng cao về con người. Ý tưởng chính là kết hợp hai mục tiêu học tự giám sát: (1) tái tạo ảnh từ các mảnh bị che (masked image reconstruction) để học các chi tiết cấp thấp, và (2) mục tiêu tương phản tự chưng cất (self-distilled contrastive objective) để học ngữ nghĩa cấp cao. Kiến trúc mô hình được cải tiến với các kỹ thuật như RMSNorm, Grouped-Query Attention, QK-Norm và SwiGLU-FFN để đảm bảo ổn định khi huấn luyện với quy mô lớn. Đối với độ phân giải 4K, mô hình sử dụng cơ chế chú ý cửa sổ (windowed attention) để giảm độ phức tạp tính toán, sau đó tổng hợp các token để thực hiện chú ý toàn cục.

III. Main Results:​

Sapiens2 thiết lập trạng thái nghệ thuật mới (state-of-the-art) trên nhiều tác vụ lấy con người làm trung tâm. Cụ thể, so với thế hệ trước (Sapiens), Sapiens2 cải thiện: +4 mAP cho ước lượng tư thế (pose), +24.3 mIoU cho phân đoạn bộ phận cơ thể (body-part segmentation), và giảm 45.6% lỗi góc cho ước lượng bề mặt pháp tuyến (normal estimation). Mô hình Sapiens2-5B đạt 82.3 mAP cho ước lượng tư thế 308 điểm khớp, 82.5 mIoU cho phân đoạn, và lỗi góc trung bình 6.73 độ cho ước lượng pháp tuyến. Mô hình cũng mở rộng sang các tác vụ mới như ước lượng pointmap và albedo.

IV. Conclusion & Future Works:​

Sapiens2 đã chứng minh rằng việc kết hợp tái tạo ảnh mặt nạ và học tương phản trên một tập dữ liệu lớn về con người có thể tạo ra các biểu diễn mạnh mẽ, vừa giữ được chi tiết cấp thấp vừa nắm bắt được ngữ nghĩa cấp cao. Mô hình thiết lập một chuẩn mực mới cho các dự đoán dày đặc độ trung thực cao và cung cấp nền tảng vững chắc cho các ứng dụng đòi hỏi sự hiểu biết chi tiết về con người. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng sang các tác vụ khác, cải thiện hơn nữa khả năng khái quát hóa, và tối ưu hóa mô hình cho các ứng dụng thời gian thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Kết hợp học tái tạo và học tương phản có trọng số động: Nghiên cứu một cơ chế điều chỉnh trọng số động giữa hai mục tiêu học (tái tạo và tương phản) dựa trên đặc điểm của từng ảnh đầu vào hoặc từng giai đoạn huấn luyện. Điều này có thể giúp mô hình tự động cân bằng giữa việc học chi tiết và ngữ nghĩa một cách hiệu quả hơn.
  2. Mô hình nền tảng đa phương thức cho con người: Mở rộng Sapiens2 để tích hợp thêm các modality khác như văn bản (text) và âm thanh (audio). Ví dụ, kết hợp với các mô hình ngôn ngữ lớn (LLMs) để tạo ra các mô tả chi tiết về hành động, trang phục hoặc biểu cảm của con người từ ảnh.
  3. Huấn luyện tự giám sát với dữ liệu video: Thay vì chỉ sử dụng ảnh tĩnh, nghiên cứu việc tận dụng các video về con người để học các biểu diễn nhất quán theo thời gian (temporal consistency). Điều này có thể giúp mô hình hiểu rõ hơn về chuyển động và tương tác của con người, cải thiện hiệu suất trên các tác vụ như ước lượng chuyển động 3D.

2. Patent:​

  1. Phương pháp và hệ thống chỉnh sửa ảnh chân dung thông minh trên thiết bị di động: Sử dụng mô hình Sapiens2 để tự động phát hiện và phân đoạn chính xác các bộ phận trên cơ thể người (tóc, mắt, môi, quần áo) trong ảnh chụp từ điện thoại. Sau đó, cho phép người dùng thực hiện các thao tác chỉnh sửa trực quan như thay đổi màu tóc, màu môi, hoặc loại bỏ các chi tiết không mong muốn một cách chính xác và mượt mà.
  2. Phương pháp và hệ thống tạo hình đại diện ảo (avatar) từ ảnh đơn trên thiết bị di động: Áp dụng khả năng ước lượng bề mặt pháp tuyến và albedo của Sapiens2 để tái tạo hình dạng 3D và kết cấu bề mặt của khuôn mặt và cơ thể người từ một bức ảnh duy nhất. Kết quả có thể được sử dụng để tạo ra các hình đại diện ảo chân thực, có thể thay đổi trang phục, kiểu tóc hoặc ánh sáng, phục vụ cho các ứng dụng mạng xã hội, trò chơi hoặc thử đồ ảo.
  3. Phương pháp và hệ thống theo dõi và phân tích tư thế tập luyện thể thao trên thiết bị di động: Tận dụng khả năng ước lượng tư thế 308 điểm khớp của Sapiens2 để theo dõi chính xác chuyển động của người dùng trong quá trình tập luyện. Hệ thống có thể đưa ra các phân tích chi tiết về góc độ khớp, sự cân bằng và cảnh báo về các tư thế sai, giúp người dùng tập luyện hiệu quả và an toàn hơn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.21681
ArXiv Abstracthttps://arxiv.org/abs/2604.21681
PDF Downloadhttps://arxiv.org/pdf/2604.21681.pdf
Github Repositoryhttps://github.com/facebookresearch/sapiens2

11. For-Value: Efficient Forward-Only Data Valuation for finetuning LLMs and VLMs (17 votes)​

Tác giả: Wenlong Deng, Qi Zeng, Jiaming Zhang, Minghui Chen, Zixin Ding, Christos Thrampoulidis, Boying Gong, Xiaoxiao Li

Xuất bản lúc: 2026-04-25

Tag: Data Valuation, LLMs, VLMs, Fine-tuning, Forward-only, Influence Functions

I. Main Problem:​

Các phương pháp định giá dữ liệu hiện tại cho các mô hình ngôn ngữ lớn (LLMs) và mô hình ngôn ngữ-thị giác (VLMs) phụ thuộc nhiều vào tính toán gradient, dẫn đến chi phí tính toán rất lớn đối với các mô hình có hàng tỷ tham số và không thể song song hóa theo batch một cách hiệu quả.

II. Main Idea:​

Bài báo giới thiệu For-Value, một khung định giá dữ liệu chỉ sử dụng forward pass, cho phép ước lượng giá trị theo batch một cách hiệu quả. Dựa trên giả định về đặc trưng không bị ràng buộc (unconstrained features), các tác giả chứng minh về mặt lý thuyết rằng giá trị dữ liệu có thể được biểu diễn thông qua sự liên kết giữa các biểu diễn ẩn (hidden representations) ở lớp cuối cùng và lỗi dự đoán (prediction errors) ở mức token. Công thức này cho phép tính toán giá trị dữ liệu chỉ với một forward pass duy nhất, loại bỏ hoàn toàn nhu cầu về backpropagation và cho phép tính toán hàng loạt với kích thước batch lớn.

III. Main Results:​

For-Value đạt hiệu suất tương đương hoặc vượt trội so với các phương pháp dựa trên gradient trong các tác vụ xác định dữ liệu có ảnh hưởng và dữ liệu bị gán nhãn sai, đồng thời cải thiện đáng kể hiệu quả tính toán. Cụ thể, For-Value nhanh hơn các baseline từ 5 đến 6 lần, trong khi vẫn duy trì độ chính xác cao (AUC và Recall thường xấp xỉ 1.0) trên nhiều mô hình LLM và VLM khác nhau.

IV. Conclusion & Future Works:​

For-Value chứng minh rằng ảnh hưởng của dữ liệu có thể được ước lượng chính xác mà không cần backpropagation, mở ra hướng tiếp cận hiệu quả và có khả năng mở rộng cho việc định giá dữ liệu trong giai đoạn fine-tuning. Hướng phát triển trong tương lai bao gồm mở rộng For-Value để hỗ trợ lựa chọn dữ liệu theo từng giai đoạn (stage-aware data selection) hoặc học tích cực (active learning).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng For-Value cho việc lựa chọn dữ liệu theo từng giai đoạn (Stage-aware Data Selection): Nghiên cứu cách giá trị dữ liệu thay đổi trong suốt quá trình huấn luyện và phát triển một phiên bản For-Value có thể cập nhật linh hoạt để chọn dữ liệu phù hợp cho từng giai đoạn fine-tuning, thay vì chỉ dựa trên trạng thái khởi tạo của mô hình.
  2. Áp dụng For-Value cho các tác vụ đa phương thức khác (e.g., video, audio): Mở rộng khung lý thuyết của For-Value để định giá dữ liệu cho các mô hình đa phương thức phức tạp hơn như mô hình video-ngôn ngữ hoặc mô hình âm thanh-ngôn ngữ, nơi các biểu diễn đặc trưng có cấu trúc phức tạp hơn.
  3. Kết hợp For-Value với các kỹ thuật học tăng cường (Reinforcement Learning) cho LLMs: Nghiên cứu cách sử dụng For-Value để xác định các mẫu dữ liệu có giá trị cao cho việc huấn luyện tăng cường (RLHF/DPO) của LLMs, nhằm cải thiện hiệu quả và giảm chi phí của quá trình này.

2. Patent:​

  1. Phương pháp lọc dữ liệu huấn luyện thông minh trên thiết bị di động: Một hệ thống trên điện thoại thông minh sử dụng For-Value để tự động đánh giá và lọc ra các ảnh chụp hoặc văn bản nhập vào của người dùng, chỉ giữ lại những dữ liệu chất lượng cao nhất để huấn luyện các mô hình AI cá nhân hóa (ví dụ: nhận diện khuôn mặt, gợi ý nội dung) mà không cần gửi dữ liệu lên đám mây, nhờ vào tính toán nhẹ và hiệu quả của For-Value.
  2. Ứng dụng phát hiện và sửa lỗi dữ liệu gán nhãn sai trên ứng dụng chỉnh sửa ảnh: Một tính năng trong ứng dụng chỉnh sửa ảnh trên điện thoại, cho phép người dùng chọn một bộ ảnh mẫu. Ứng dụng sử dụng For-Value để phân tích và xác định những bức ảnh bị gán nhãn sai (ví dụ: ảnh chụp phong cảnh bị gán nhãn là chân dung), từ đó đề xuất sửa nhãn hoặc loại bỏ chúng khỏi bộ dữ liệu huấn luyện để cải thiện độ chính xác của các bộ lọc ảnh AI.
  3. Hệ thống đề xuất nội dung học tập cá nhân hóa trên thiết bị di động: Một ứng dụng học tập trên điện thoại sử dụng For-Value để đánh giá mức độ hữu ích của từng bài học hoặc câu hỏi đối với một người dùng cụ thể. Dựa trên điểm số này, hệ thống sẽ tự động sắp xếp và đề xuất các nội dung học tập có giá trị cao nhất, giúp người dùng tập trung vào những phần kiến thức quan trọng và cải thiện hiệu quả học tập.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2508.10180
ArXiv Abstracthttps://arxiv.org/abs/2508.10180
PDF Downloadhttps://arxiv.org/pdf/2508.10180.pdf
Github Repositoryhttps://github.com/vengdeng/For-Value-Efficient-Forward-Only-Data-Valuation-for-finetuning

12. Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment (15 votes)​

Tác giả: Bobo Li, Rui Wu, Zibo Ji, Meishan Zhang, Hao Fei, Min Zhang, Mong-Li Lee, Wynne Hsu

Xuất bản lúc: 2026-04-21

Tag: LLM Agents, Multi-Agent Systems, Cognitive Bias, Actor-Observer Asymmetry, Dialectical Reasoning, Reinforcement Learning, GRPO

I. Main Problem:​

Các tác nhân LLM khi được phân vai (role-playing) trong các hệ thống đa tác nhân mắc phải một dạng thiên kiến nhận thức giống con người gọi là Actor-Observer Asymmetry (AOA). Cụ thể, một tác nhân đóng vai trò là "diễn viên" (actor) trong quá trình tự phản biện có xu hướng đổ lỗi thất bại cho các yếu tố bên ngoài, trong khi tác nhân đóng vai trò "người quan sát" (observer) trong quá trình kiểm tra chéo lại cho rằng lỗi đến từ các vấn đề nội tại. Sự mâu thuẫn này làm suy yếu khả năng hợp tác và độ tin cậy của các hệ thống đa tác nhân.

II. Main Idea:​

Bài báo đề xuất ReTAS (Reasoning via Thesis-Antithesis-Synthesis), một mô hình được huấn luyện thông qua căn chỉnh biện chứng (dialectical alignment) để giải quyết thiên kiến AOA. Quy trình gồm ba bước: (1) Thesis: Tạo ra lời giải thích phù hợp với vai trò ban đầu. (2) Antithesis: Mô phỏng một quan điểm đối lập để phát hiện các điểm mù. (3) Synthesis: Tổng hợp các quan điểm xung đột để đưa ra kết luận khách quan, dựa trên bằng chứng. Mô hình được huấn luyện qua hai giai đoạn: Supervised Fine-Tuning (SFT) để học định dạng suy luận, và Group Relative Policy Optimization (GRPO) để tối ưu hóa sự nhất quán trong suy luận, khuyến khích mô hình đi đến kết luận dựa trên bằng chứng thay vì vai trò được gán.

III. Main Results:​

ReTAS (với backbone 4B tham số) đạt hiệu quả vượt trội so với các baseline lớn hơn như QwQ-32B và Qwen3-30B-A3B trên hai bộ dữ liệu FinQA-TAS và Spider-TAS. Cụ thể, ReTAS đạt độ chính xác (Attribution Accuracy) cao hơn và giảm đáng kể tỷ lệ Flip (thay đổi suy luận do thay đổi vai trò) và V-AOA (thiên kiến đổ lỗi ra bên ngoài). Ví dụ, trên FinQA-TAS, ReTAS đạt Accuracy 71.2%, Flip 12.4%, V-AOA 5.4%, vượt trội so với QwQ-32B (Accuracy 54.9%, Flip 18.1%, V-AOA 14.7%). Mô hình cũng cho thấy khả năng tổng quát hóa tốt trên bộ dữ liệu AFB mới và trong các kịch bản đàm phán động (Sales Arena).

IV. Conclusion & Future Works:​

Bài báo kết luận rằng việc tăng quy mô mô hình là không đủ để giải quyết các thiên kiến nhận thức xã hội như AOA. Thay vào đó, cần phải căn chỉnh quá trình suy luận cốt lõi. ReTAS chứng minh rằng việc áp dụng một quy trình suy luận biện chứng có cấu trúc giúp giảm đáng kể lỗi quy kết mà không làm giảm hiệu suất tác vụ. Hướng nghiên cứu tương lai bao gồm mở rộng khung làm việc sang các kịch bản lập kế hoạch dài hạn hoặc sáng tạo, nơi việc quy kết lỗi mang tính chủ quan, và thu thập dữ liệu thực tế trong miền để tăng cường tính xác thực.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng khung ReTAS để giải quyết các thiên kiến nhận thức khác ngoài AOA trong hệ thống đa tác nhân, như thiên kiến xác nhận (confirmation bias) hoặc thiên kiến nhóm (groupthink).
  2. Nghiên cứu ảnh hưởng của các chiến lược phân vai khác nhau (ví dụ: phân vai động, phân vai theo ngữ cảnh) lên mức độ AOA và hiệu quả của ReTAS trong việc giảm thiểu nó.
  3. Ứng dụng ReTAS vào các lĩnh vực đòi hỏi độ tin cậy cao như chẩn đoán y tế, kiểm thử phần mềm tự động, hoặc phân tích tài chính, nơi mà việc quy kết lỗi chính xác là vô cùng quan trọng.

2. Patent:​

  1. Phương pháp và hệ thống hỗ trợ quyết định mua sắm trên thiết bị di động: Một trợ lý ảo trên điện thoại sử dụng ReTAS để phân tích các đánh giá sản phẩm. Khi có xung đột giữa các đánh giá (ví dụ: một đánh giá cho rằng pin kém do lỗi nhà sản xuất, đánh giá khác cho rằng do người dùng sạc sai cách), trợ lý sẽ tổng hợp các quan điểm để đưa ra lời khuyên khách quan, giúp người dùng đưa ra quyết định mua hàng sáng suốt.
  2. Ứng dụng chụp ảnh thông minh trên điện thoại: Khi người dùng chụp một bức ảnh bị mờ hoặc thiếu sáng, ứng dụng máy ảnh sẽ sử dụng ReTAS để chẩn đoán nguyên nhân. Một tác nhân 'Actor' (đại diện cho máy ảnh) có thể đổ lỗi cho điều kiện ánh sáng yếu, trong khi tác nhân 'Observer' (đại diện cho người dùng) có thể cho rằng do tay run. ReTAS sẽ tổng hợp để đưa ra hướng dẫn khắc phục chính xác (ví dụ: bật chế độ chống rung hoặc sử dụng đèn flash).
  3. Hệ thống trợ lý học tập trên di động: Một ứng dụng học ngoại ngữ sử dụng ReTAS để phân tích lỗi của người dùng. Khi người dùng trả lời sai, 'Actor' (người dùng) có thể cho rằng do câu hỏi khó hiểu, còn 'Observer' (ứng dụng) có thể cho rằng do người dùng chưa nắm vững ngữ pháp. ReTAS sẽ tổng hợp để xác định chính xác lỗi (ví dụ: lỗi từ vựng hay lỗi ngữ pháp) và đưa ra bài tập phù hợp, tránh gây nản lòng cho người học.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.19548
ArXiv Abstracthttps://arxiv.org/abs/2604.19548
PDF Downloadhttps://arxiv.org/pdf/2604.19548.pdf
Github Repositoryhttps://github.com/unikcc/ReTAS

13. Efficient Agent Evaluation via Diversity-Guided User Simulation (14 votes)​

Tác giả: Itay Nakash, George Kour, Ateret Anaby-Tavor

Xuất bản lúc: 2026-04-23

Tag: LLMs, Agent Evaluation, User Simulation, Coverage-Guided Search, Snapshot-Based Evaluation

I. Main Problem:​

Việc đánh giá các tác nhân (agent) dựa trên mô hình ngôn ngữ lớn (LLM) trong các tương tác đa lượt hiện nay gặp phải hai vấn đề chính: (1) Chi phí tính toán cao do phải thực hiện các mô phỏng Monte Carlo độc lập từ đầu, dẫn đến việc tái tạo lại các đoạn hội thoại giống nhau ở giai đoạn đầu, gây lãng phí token. (2) Khả năng khám phá lỗi hạn chế vì các bộ mô phỏng người dùng tiêu chuẩn thường có xu hướng hợp tác, khó phát hiện ra các lỗi tiềm ẩn chỉ xảy ra khi người dùng có những hành vi hiếm gặp hoặc bất ngờ.

II. Main Idea:​

Bài báo giới thiệu DIVERT (Diversity-Induced Evaluation via branching of Trajectories), một khung đánh giá hiệu quả dựa trên việc chụp nhanh trạng thái (snapshot) và hướng dẫn bao phủ (coverage-guided). Thay vì chạy lại toàn bộ hội thoại từ đầu, DIVERT lưu lại trạng thái của agent và môi trường tại các điểm quyết định quan trọng (junction points). Từ các điểm này, nó tiếp tục thực thi với các phản hồi đa dạng và có chủ đích từ người dùng, cho phép khám phá một cách có hệ thống các nhánh tương tác khác nhau, đặc biệt là các lỗi sâu ẩn sau những hành vi hiếm gặp của người dùng, đồng thời tiết kiệm chi phí tính toán bằng cách tái sử dụng các đoạn hội thoại đầu.

III. Main Results:​

Kết quả thực nghiệm trên ba miền (Airline, Retail, Telecom) của bộ benchmark τ-bench cho thấy DIVERT vượt trội so với phương pháp đánh giá tuyến tính truyền thống trên hai khía cạnh: (1) Hiệu quả: Phát hiện nhiều lỗi hơn trên mỗi 100K token của agent, thể hiện qua chỉ số 'Errors per 100K Tokens'. (2) Bao phủ: Mở rộng số lượng tác vụ duy nhất có ít nhất một lỗi được phát hiện (Task Failure Count). Việc tăng số nhánh (branches) liên tục cải thiện cả hai chỉ số này, trong khi việc tăng số lần chạy lại từ đầu (rollouts) cho thấy hiệu quả giảm dần.

IV. Conclusion & Future Works:​

DIVERT chứng minh rằng việc tái sử dụng các đoạn hội thoại đầu và tập trung tính toán vào các điểm quyết định quan trọng giúp đánh giá agent hiệu quả và toàn diện hơn. Hướng phát triển trong tương lai bao gồm: (1) Mở rộng nhánh không chỉ từ lượt của người dùng mà còn từ đầu ra của công cụ và động lực môi trường, cho phép đánh giá đa dạng hơn. (2) Thay thế bộ chọn điểm quyết định (junction chooser) và phép đo độ tương tự cosine hiện tại bằng các tín hiệu thay thế như độ tương tự hoặc độ perplexity.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc mở rộng cơ chế rẽ nhánh của DIVERT để bao gồm cả các thay đổi từ đầu ra của công cụ và trạng thái môi trường, tạo ra một khung đánh giá phản thực tế (counterfactual) phong phú hơn cho các tác vụ phức tạp.
  2. Phát triển các phương pháp lựa chọn điểm quyết định thay thế dựa trên độ khó dự đoán (perplexity) hoặc các độ đo đa dạng ngữ nghĩa khác ngoài độ tương tự cosine để tối ưu hóa việc khám phá lỗi.
  3. Ứng dụng khung DIVERT vào các miền tương tác mới như robot dịch vụ, trợ lý ảo trong chăm sóc sức khỏe, hoặc các hệ thống giao dịch tài chính để đánh giá tính tổng quát của phương pháp.

2. Patent:​

  1. Phương pháp và hệ thống kiểm tra ứng dụng trợ lý ảo trên điện thoại thông minh dựa trên mô phỏng người dùng đa dạng: Phát minh này mô tả một hệ thống kiểm tra các ứng dụng trợ lý ảo (ví dụ: trợ lý đặt vé máy bay, hỗ trợ khách hàng) trên điện thoại. Hệ thống sẽ ghi lại trạng thái của ứng dụng tại các bước quan trọng trong một cuộc hội thoại mẫu. Sau đó, thay vì chạy lại toàn bộ cuộc hội thoại từ đầu, hệ thống sẽ tự động tạo ra nhiều cách trả lời khác nhau của người dùng tại các bước đó và chạy thử nghiệm từ điểm đã lưu. Điều này giúp phát hiện nhanh chóng các lỗi tiềm ẩn của ứng dụng khi gặp các tình huống người dùng bất ngờ mà không cần tốn nhiều thời gian và chi phí tính toán.
  2. Thiết bị di động thông minh có khả năng tự đánh giá và cải thiện hiệu suất của trợ lý ảo dựa trên tương tác đa dạng: Sáng chế này mô tả một chiếc điện thoại thông minh có một mô-đun đánh giá tích hợp. Khi người dùng tương tác với trợ lý ảo, mô-đun này sẽ ghi lại các điểm quyết định quan trọng. Sau đó, nó có thể tự động tạo ra các kịch bản tương tác giả định khác nhau (ví dụ: người dùng cung cấp thông tin sai, thay đổi yêu cầu giữa chừng) và chạy thử nghiệm song song trên thiết bị. Kết quả sẽ giúp xác định các điểm yếu của trợ lý và đề xuất các bản cập nhật phần mềm để cải thiện khả năng xử lý các tình huống phức tạp.
  3. Ứng dụng di động cung cấp dịch vụ đào tạo và đánh giá kỹ năng giao tiếp cho nhân viên thông qua mô phỏng hội thoại đa nhánh: Ứng dụng này cho phép người dùng (ví dụ: nhân viên tổng đài) thực hành giao tiếp với một khách hàng ảo. Điểm đặc biệt là ứng dụng có thể lưu lại trạng thái cuộc trò chuyện tại bất kỳ thời điểm nào và cho phép người dùng hoặc hệ thống tự động thử các hướng trả lời khác nhau từ điểm đó. Điều này giúp người dùng khám phá ra nhiều cách giải quyết tình huống khác nhau, hiểu rõ hậu quả của từng lựa chọn, từ đó cải thiện kỹ năng xử lý tình huống một cách hiệu quả và sâu sắc.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.21480
ArXiv Abstracthttps://arxiv.org/abs/2604.21480
PDF Downloadhttps://arxiv.org/pdf/2604.21480.pdf
Github RepositoryN/A

14. OmniShotCut: Holistic Relational Shot Boundary Detection with Shot-Query Transformer (12 votes)​

Tác giả: Boyang Wang, Guangyi Xu, Zhipeng Tang, Jiahui Zhang, Zezhou Cheng

Xuất bản lúc: 2026-04-27

Tag: Shot Boundary Detection, Transformer, Video Understanding, Synthetic Data, Benchmark

I. Main Problem:​

Bài báo giải quyết các hạn chế của các phương pháp Phát hiện Ranh giới Cảnh quay (SBD) hiện tại, bao gồm: (1) đầu ra thiếu khả năng diễn giải vì không phân biệt được loại chuyển cảnh; (2) bỏ sót các chuyển tiếp đột ngột tinh vi nhưng gây hại cho các tác vụ hạ nguồn; (3) phụ thuộc vào chú thích thủ công không chính xác, đặc biệt là với các chuyển tiếp mờ dần; và (4) các bộ dữ liệu đánh giá lỗi thời, nhiễu, thiếu đa dạng về miền và loại chuyển tiếp.

II. Main Idea:​

Tác giả đề xuất OmniShotCut, một khung làm việc mới cho SBD. Các ý tưởng chính bao gồm: (1) Định dạng lại SBD như một bài toán dự đoán quan hệ có cấu trúc, dự đoán đồng thời phạm vi cảnh quay, mối quan hệ nội bộ cảnh (intra-shot, loại chuyển tiếp) và mối quan hệ liên cảnh (inter-shot, như cắt cứng hay nhảy đột ngột). (2) Sử dụng kiến trúc Transformer dày đặc dựa trên truy vấn cảnh quay (shot-query) để tối ưu hóa chung tất cả các mục tiêu. (3) Xây dựng một pipeline tổng hợp chuyển tiếp hoàn toàn tự động để tạo ra các mẫu huấn luyện đa dạng, chính xác với nhãn hoàn hảo, thay thế cho chú thích thủ công. (4) Giới thiệu OmniShotCutBench, một bộ đánh giá hiện đại với nhiều miền video và nhãn quan hệ phong phú.

III. Main Results:​

Mô hình OmniShotCut đạt được hiệu suất vượt trội so với các phương pháp SBD tiên tiến nhất trên nhiều khía cạnh khác nhau trên bộ đánh giá OmniShotCutBench mới. Việc huấn luyện trên dữ liệu tổng hợp cho thấy có thể đạt được độ chính xác cao mà không cần chú thích thủ công. Mô hình dựa trên Transformer với đầu ra phân loại cho phép phát hiện chính xác các ranh giới cảnh quay và phân loại chuyển tiếp một cách hiệu quả.

IV. Conclusion & Future Works:​

OmniShotCut đã chứng minh rằng việc kết hợp dữ liệu tổng hợp, kiến trúc Transformer và dự đoán quan hệ có cấu trúc là một hướng đi hiệu quả cho SBD. Các hướng nghiên cứu trong tương lai có thể bao gồm mở rộng pipeline tổng hợp cho nhiều loại chuyển tiếp hơn, cải thiện khả năng phát hiện các chuyển tiếp tinh vi hơn, và ứng dụng mô hình vào các tác vụ hạ nguồn như tạo video hoặc phân tích cảnh.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về Self-Supervised Learning cho Phân cụm Video: Khám phá các phương pháp SSL tiên tiến hơn để nhóm các video tương tự về mặt ngữ nghĩa, phục vụ cho việc tạo dữ liệu tổng hợp SBD thực tế hơn.
  2. Mở rộng Pipeline Tổng hợp Chuyển tiếp: Phát triển một pipeline có khả năng mô phỏng các hiệu ứng chuyển tiếp phức tạp và hiếm gặp hơn nữa (ví dụ: chuyển tiếp dạng 3D, hiệu ứng ánh sáng), nhằm tăng độ phủ và độ khó của dữ liệu huấn luyện.
  3. Ứng dụng Transformer cho Phát hiện Sự kiện Video: Mở rộng kiến trúc shot-query Transformer để giải quyết các bài toán phát hiện sự kiện video khác, như phát hiện hành động hoặc phân đoạn kịch bản, bằng cách tận dụng khả năng mô hình hóa quan hệ thời gian.

2. Patent:​

  1. Phương pháp tự động cắt và chỉnh sửa video trên điện thoại thông minh dựa trên phát hiện chuyển cảnh: Một ứng dụng trên điện thoại cho phép người dùng quay video dài. Ứng dụng sẽ tự động phân tích video, phát hiện các điểm chuyển cảnh (như cắt cứng, mờ dần) và đề xuất các điểm cắt hoàn hảo để tạo ra các đoạn video ngắn, mượt mà, giúp người dùng dễ dàng chỉnh sửa và chia sẻ lên mạng xã hội.
  2. Hệ thống tạo video tóm tắt thông minh cho ứng dụng xem phim: Một tính năng trên ứng dụng xem phim di động, sử dụng công nghệ phát hiện ranh giới cảnh quay để tự động tạo ra các đoạn video tóm tắt ngắn. Hệ thống sẽ xác định các cảnh quay chính, loại bỏ các đoạn chuyển tiếp không cần thiết, giúp người dùng nắm bắt nhanh nội dung chính của một bộ phim hoặc video dài.
  3. Công cụ hỗ trợ học tập và ghi chú từ video bài giảng: Một ứng dụng giáo dục trên điện thoại cho phép sinh viên quay lại bài giảng. Ứng dụng sẽ tự động phát hiện ranh giới giữa các slide hoặc chủ đề khác nhau trong video bài giảng, từ đó tạo ra các chương mục và ghi chú tương ứng. Điều này giúp sinh viên dễ dàng xem lại và ôn tập các phần kiến thức cụ thể mà không cần tua lại toàn bộ video.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.24762
ArXiv Abstracthttps://arxiv.org/abs/2604.24762
PDF Downloadhttps://arxiv.org/pdf/2604.24762.pdf
Github Repositoryhttps://github.com/UVA-Computer-Vision-Lab/OmniShotCut

15. UniGeo: Unifying Geometric Guidance for Camera-Controllable Image Editing via Video Models (10 votes)​

Tác giả: Hong Jiang, Wensong Song, Zongxing Yang, Ruijie Quan, Yi Yang

Xuất bản lúc: 2026-04-19

Tag: Camera-Controllable Image Editing, Video Diffusion Models, Geometric Guidance, Point Cloud Injection, Attention Mechanism

I. Main Problem:​

Các phương pháp chỉnh sửa ảnh có điều khiển camera hiện tại gặp phải hai vấn đề chính: (1) Thiếu tính liên tục – hầu hết dựa trên mô hình khuếch tán ảnh, chỉ xử lý các ánh xạ giữa các góc nhìn rời rạc, không mô hình hóa được sự thay đổi camera liên tục; (2) Thiếu hướng dẫn hình học thống nhất – các phương pháp hiện có chỉ tiêm hướng dẫn hình học rời rạc (ví dụ chỉ tiêm đám mây điểm ở mức biểu diễn), dẫn đến sự suy giảm cấu trúc và không nhất quán hình học khi có chuyển động camera.

II. Main Idea:​

Bài báo đề xuất UniGeo, một khung làm việc mới cho chỉnh sửa ảnh có điều khiển camera, dựa trên việc tiêm hướng dẫn hình học thống nhất (unified geometric guidance) vào ba cấp độ của mô hình: (1) Mức biểu diễn: Cơ chế tiêm tham chiếu hình học tách rời khung hình (frame-decoupled point cloud injection) để cung cấp ngữ cảnh hình học chắc chắn; (2) Mức kiến trúc: Cơ chế chú ý neo hình học (geometric anchor attention) để căn chỉnh đặc trưng đa góc nhìn; (3) Mức hàm mất mát: Chiến lược giám sát hình học điểm cuối quỹ đạo (trajectory-endpoint geometric supervision) để tăng cường độ trung thực cấu trúc của góc nhìn mục tiêu. UniGeo tận dụng các mô hình video (Wan2.2) để có được tiên nghiệm về góc nhìn liên tục.

III. Main Results:​

UniGeo vượt trội so với các phương pháp hiện tại (CameraCtrl, MotionCtrl, ViewCrafter, FlexWorld, PE-Field) trên các bộ dữ liệu DL3DV, RealEstate10K, Tanks and Temples và MannequinChallenge ở cả hai cài đặt chuyển động camera rộng và hạn chế. Ví dụ, trên RE10K với chuyển động rộng, LPIPS giảm từ 0.3008 xuống 0.2377; trên Tanks với chuyển động hạn chế, PSNR tăng từ 16.9580 lên 17.8171. Kết quả định tính cho thấy UniGeo bảo toàn cấu trúc hình học tốt hơn, tránh được các hiện tượng méo, trùng lặp cấu trúc.

IV. Conclusion & Future Works:​

UniGeo là khung làm việc đầu tiên tập trung vào hướng dẫn hình học thống nhất cho chỉnh sửa ảnh có điều khiển camera, đạt được hiệu suất vượt trội. Hướng nghiên cứu tương lai có thể mở rộng sang các loại chuyển động camera phức tạp hơn, tích hợp với các mô hình ngôn ngữ lớn để hiểu lệnh điều khiển tự nhiên hơn, hoặc tối ưu hóa cho các thiết bị di động.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Mở rộng UniGeo để hỗ trợ chỉnh sửa ảnh với nhiều loại chuyển động camera phức tạp hơn như xoay, nghiêng, và kết hợp nhiều chuyển động cùng lúc.
  2. Nghiên cứu tích hợp UniGeo với các mô hình ngôn ngữ lớn để cho phép người dùng điều khiển camera bằng các câu lệnh tự nhiên, phức tạp hơn.
  3. Phát triển phiên bản nhẹ của UniGeo (UniGeo-Lite) bằng cách sử dụng các kỹ thuật tinh chỉnh như lượng tử hóa và cắt tỉa để có thể chạy trên các thiết bị có tài nguyên hạn chế như điện thoại di động.

2. Patent:​

  1. Phương pháp và hệ thống chỉnh sửa ảnh trên điện thoại di động cho phép người dùng thay đổi góc nhìn của một bức ảnh tĩnh bằng cách vuốt hoặc nghiêng điện thoại, sử dụng mô hình trí tuệ nhân tạo được tối ưu hóa để tạo ra các góc nhìn mới một cách mượt mà và chân thực.
  2. Ứng dụng chụp ảnh toàn cảnh thông minh trên điện thoại: người dùng chụp một vài bức ảnh, ứng dụng sẽ tự động suy luận chuyển động camera và tạo ra một bức ảnh toàn cảnh hoàn chỉnh với chất lượng cao, không bị biến dạng hay lỗi ghép nối.
  3. Tính năng 'xoay ảnh 3D' trên điện thoại: cho phép người dùng xoay một vật thể hoặc cảnh trong ảnh để xem từ mọi góc độ, sử dụng mô hình học sâu để dự đoán và tạo ra các góc nhìn mới dựa trên ảnh gốc và chuyển động camera được mô phỏng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.17565
ArXiv Abstracthttps://arxiv.org/abs/2604.17565
PDF Downloadhttps://arxiv.org/pdf/2604.17565.pdf
Github Repositoryhttps://github.com/mo230761/UniGeo