🤗 Daily Hugging Face Paper Digest - 2026-05-06
Báo cáo được tạo tự động vào lúc 2026-05-07 10:12:28 bằng mô hình deepseek-ai/deepseek-v4-pro.
📰 Summary of Papers
1. ARIS: Autonomous Research via Adversarial Multi-Agent Collaboration (72 votes)
Tác giả: Ruofeng Yang, Yongcan Li, Shuai Li
Xuất bản lúc: 2026-05-04
Tag: Multi-Agent Systems, LLMs, Autonomous Research, Adversarial Collaboration, Harness Engineering, Assurance, Self-Improvement, Workflow Automation
I. Main Problem:
Các hệ thống tác nhân tự động nghiên cứu dựa trên mô hình ngôn ngữ lớn (LLM) hiện nay đối mặt với rủi ro cốt lõi không chỉ là thất bại rõ ràng mà còn là "thành công có vẻ hợp lý nhưng không có cơ sở" (plausible unsupported success). Cụ thể, khi một tác nhân đơn lẻ thực hiện nhiệm vụ nghiên cứu dài hạn, nó có thể tạo ra các tuyên bố mà bằng chứng hỗ trợ không đầy đủ, bị báo cáo sai, hoặc bị kế thừa một cách âm thầm từ cách định hình của người thực thi. Các hệ thống hiện tại thường dựa vào việc tự tinh chỉnh trên cùng một họ mô hình (self-refinement), dẫn đến các lỗi tương quan không bị phát hiện, thiếu kiểm tra tính toàn vẹn thực nghiệm ở cấp hệ thống, và quy trình làm việc bị ghép nối cứng nhắc, khó thay thế hoặc khôi phục.
II. Main Idea:
Bài báo đề xuất ARIS (Autonomous Research via Adversarial Multi-Agent Collaboration), một khung nghiên cứu mã nguồn mở hoạt động dựa trên nguyên tắc cốt lõi: bất kỳ nhiệm vụ dài hạn nào do một tác nhân đơn lẻ thực hiện đều không đáng tin cậy. ARIS giải quyết vấn đề này thông qua cơ chế cộng tác đối kháng đa tác nhân (adversarial multi-agent collaboration), trong đó một tác nhân thực thi (executor) và một tác nhân đánh giá (reviewer) từ hai họ mô hình khác nhau (cross-family) liên tục phản biện và yêu cầu chỉnh sửa lẫn nhau. Kiến trúc của ARIS bao gồm ba lớp chính: (1) lớp thực thi với hơn 65 kỹ năng dạng Markdown, (2) lớp điều phối năm quy trình làm việc từ khám phá ý tưởng đến phản biện, và (3) lớp đảm bảo (assurance) với quy trình kiểm toán ba giai đoạn để đảm bảo các tuyên bố khoa học có bằng chứng xác thực, cùng với quy trình biên tập khoa học năm bước và kiểm tra trực quan PDF.
III. Main Results:
ARIS đã được triển khai thử nghiệm trên ba nền tảng tác nhân thực thi (Claude Code, Codex CLI, Cursor) và thích ứng với ba nền tảng khác. Hệ thống có thể tự động hóa toàn bộ quy trình nghiên cứu máy học, từ khám phá ý tưởng, thực thi thí nghiệm, viết bài báo đến phản biện. Các kết quả định tính ban đầu cho thấy vòng lặp tự đánh giá (Auto Review Loop) có thể cải thiện điểm số bài báo từ 5.0 lên 7.5/10 thông qua các vòng phản biện và sửa đổi liên tục. Quy trình kiểm toán ba giai đoạn giúp phát hiện các lỗi như tham chiếu không có thật, điểm số tự chuẩn hóa, và các tuyên bố vượt quá phạm vi thí nghiệm.
IV. Conclusion & Future Works:
ARIS chứng minh rằng việc coi sự đảm bảo (assurance) là một lớp quy trình làm việc hạng nhất, thay vì chỉ là một lần đánh giá đơn lẻ, là rất quan trọng để giảm thiểu rủi ro "thành công không có cơ sở". Các hướng phát triển trong tương lai bao gồm: (1) mở rộng vòng lặp tự cải thiện (meta-optimization) để hệ thống có thể tự động đề xuất và áp dụng các cải tiến cho chính bộ khai thác của nó; (2) tích hợp sâu hơn các cơ chế kiểm tra bằng chứng và lý thuyết tự động; (3) cải thiện khả năng phối hợp giữa con người và hệ thống trong vòng lặp để nâng cao chất lượng bài báo cuối cùng và phát triển gu nghiên cứu.
V. Brainstorming Space:
1. Publish Papers:
- Phát triển một cơ chế đối kháng đa tác nhân cải tiến, trong đó tác nhân đánh giá không chỉ phản biện nội dung mà còn chủ động tạo ra các thí nghiệm đối chứng bất lợi (adversarial test cases) để kiểm tra tính vững chắc của các tuyên bố khoa học, mô phỏng quy trình phản biện kín thực tế.
- Nghiên cứu về vấn đề "sự lừa dối có hệ thống" (systematic deception) trong các hệ thống tác nhân tự động hóa nghiên cứu, nơi tác nhân thực thi có thể học cách tối ưu hóa để đánh lừa lớp đảm bảo (assurance layer) thay vì thực sự cải thiện chất lượng nghiên cứu, và đề xuất các cơ chế phát hiện dựa trên lý thuyết trò chơi.
- Xây dựng một bộ tiêu chuẩn đánh giá (benchmark) cho các hệ thống tự động nghiên cứu, tập trung vào khả năng phát hiện và ngăn chặn các dạng "thành công không có cơ sở", bao gồm các kịch bản thử thách như tham chiếu bịa đặt, số liệu tự chuẩn hóa, và gian lận lựa chọn hạt giống ngẫu nhiên (cherry-picking).
2. Patent:
- Hệ thống trợ lý nghiên cứu cá nhân trên điện thoại thông minh, sử dụng cơ chế cộng tác đối kháng đa tác nhân thu nhỏ để tự động kiểm tra chéo các tuyên bố trong bài viết, báo cáo của người dùng. Khi người dùng soạn thảo một tài liệu có chứa số liệu hoặc trích dẫn, một mô hình AI nền sẽ đóng vai trò người phản biện, kiểm tra tính nhất quán và cảnh báo nếu phát hiện mâu thuẫn hoặc tham chiếu không có thật, giúp đảm bảo tính xác thực trước khi gửi đi.
- Công cụ kiểm tra tính toàn vẹn dữ liệu và kết quả thí nghiệm tự động trên thiết bị di động dành cho sinh viên và nhà khoa học. Ứng dụng này cho phép người dùng nhập dữ liệu thô và các tuyên bố kết quả; một cặp tác nhân AI đối kháng trên đám mây sẽ tự động thực hiện quy trình kiểm toán ba giai đoạn (kiểm tra mã nguồn, ánh xạ kết quả, đối chiếu tuyên bố) để phát hiện các lỗi như gian lận điểm số, số liệu ảo, hoặc diễn giải sai lệch, xuất ra báo cáo cảnh báo trực quan.
- Hệ thống hỗ trợ viết luận văn và báo cáo khoa học trên điện thoại, tích hợp quy trình biên tập khoa học năm bước và kiểm tra trực quan PDF. Người dùng chụp ảnh hoặc tải lên bản thảo; hệ thống sẽ sử dụng một tác nhân AI biên tập để loại bỏ câu rườm rà, chuyển đổi câu bị động, kiểm tra nhất quán thuật ngữ và số liệu, đồng thời một tác nhân phản biện độc lập sẽ kiểm tra bố cục, chú thích hình ảnh và tính dễ đọc của tài liệu đầu ra cuối cùng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.03042 |
| ArXiv Abstract | https://arxiv.org/abs/2605.03042 |
| PDF Download | https://arxiv.org/pdf/2605.03042.pdf |
| Github Repository | https://github.com/wanshuiyin/Auto-claude-code-research-in-sleep |
2. OpenSeeker-v2: Pushing the Limits of Search Agents with Informative and High-Difficulty Trajectories (43 votes)
Tác giả: Yuwen Du, Rui Ye, Shuo Tang, Keduan Huang, Xinyu Zhu, Yuzhu Cai, Siheng Chen
Xuất bản lúc: 2026-05-05
Tag: LLM Agents, Search Agents, Supervised Fine-Tuning, Synthetic Data Generation, Knowledge Graph, ReAct
I. Main Problem:
Phát triển các tác tử tìm kiếm chuyên sâu (deep search agents) hiện đang bị chi phối bởi các công ty lớn với quy trình huấn luyện tiêu tốn nhiều tài nguyên (bao gồm huấn luyện tiền tiếp tục CPT, tinh chỉnh có giám sát SFT và học tăng cường RL). Điều này tạo ra rào cản lớn cho cộng đồng học thuật và mã nguồn mở. Bài toán đặt ra là liệu có thể đạt được hiệu suất tiên tiến nhất chỉ bằng một phương pháp SFT đơn giản hay không, từ đó dân chủ hóa việc nghiên cứu tác tử tìm kiếm.
II. Main Idea:
Nhóm tác giả đề xuất OpenSeeker-v2, một khung huấn luyện tác tử tìm kiếm dựa trên SFT, chứng minh rằng chỉ cần dữ liệu chất lượng cao với độ khó và độ phong phú lớn là đủ để đạt hiệu suất vượt trội. Ba cải tiến chính trong quy trình tổng hợp dữ liệu được giới thiệu: (1) Mở rộng quy mô đồ thị tri thức (Knowledge Graph) để tạo ra các ngữ cảnh phong phú hơn, yêu cầu suy luận đa bước (multi-hop) phức tạp hơn. (2) Mở rộng bộ công cụ tìm kiếm để tác tử học được các chiến lược tương tác đa dạng và linh hoạt hơn. (3) Lọc bỏ nghiêm ngặt các quỹ đạo (trajectories) có quá ít bước gọi công cụ, đảm bảo mức sàn độ khó tối thiểu cho tập huấn luyện, buộc tác tử phải học cách suy luận và tìm kiếm thông tin trong khoảng thời gian dài.
III. Main Results:
OpenSeeker-v2 (mô hình 30B tham số, chỉ huấn luyện SFT trên 10.6k mẫu) đạt hiệu suất tiên tiến nhất (SOTA) trên 4 benchmark: BrowseComp (46.0%), BrowseComp-ZH (58.1%), Humanity's Last Exam (34.6%), và xbench (78.0%). Mô hình này vượt trội hơn hẳn các mô hình cùng quy mô được huấn luyện bằng quy trình phức tạp hơn như Tongyi DeepResearch (CPT+SFT+RL) và RedSearcher. Nó cũng vượt qua một số mô hình mã nguồn đóng thương mại và các mô hình mã nguồn mở lớn hơn nhiều như DeepSeek-V3.1-671B và Claude-4.5-Sonnet. Dữ liệu huấn luyện của OpenSeeker-v2 có độ khó cao hơn hẳn với trung bình 64.67 bước gọi công cụ mỗi quỹ đạo.
IV. Conclusion & Future Works:
Báo cáo nhấn mạnh vai trò then chốt của chất lượng dữ liệu, cho thấy dữ liệu được thiết kế cẩn thận có thể mở khóa những cải thiện hiệu suất đáng kể mà không cần quy trình huấn luyện phức tạp. Nhóm tác giả sẽ tiếp tục mở rộng quy mô về số lượng, chất lượng và độ đa dạng của dữ liệu tổng hợp để vượt qua các giới hạn hiện tại của tác tử tìm kiếm.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu tác động của việc mở rộng đồ thị tri thức đa phương thức (kết hợp văn bản, hình ảnh, bảng biểu) trong quá trình tổng hợp dữ liệu để huấn luyện tác tử tìm kiếm có khả năng xử lý thông tin đa dạng hơn.
- Phát triển một phương pháp học tăng cường (RL) nhẹ, sử dụng phần thưởng dựa trên độ chính xác của câu trả lời cuối cùng kết hợp với chất lượng của quỹ đạo tìm kiếm, để tinh chỉnh thêm mô hình SFT cơ sở OpenSeeker-v2.
- Khám phá các kỹ thuật quản lý ngữ cảnh động (dynamic context management) cho tác tử ReAct, giúp nén hoặc tóm tắt các quỹ đạo tìm kiếm dài một cách thông minh để tối ưu hóa việc sử dụng cửa sổ ngữ cảnh và cải thiện hiệu suất trên các tác vụ đòi hỏi tìm kiếm cực kỳ dài hơi.
2. Patent:
- Hệ thống trợ lý ảo trên điện thoại thông minh có khả năng tự động thực hiện các truy vấn tìm kiếm chuyên sâu, đa bước để đưa ra câu trả lời cho các câu hỏi phức tạp của người dùng mà không cần họ phải tự mình duyệt web. Hệ thống sử dụng một mô hình ngôn ngữ lớn đã được tinh chỉnh để lập kế hoạch, gọi các công cụ tìm kiếm, và tổng hợp thông tin từ nhiều nguồn khác nhau một cách minh bạch.
- Phương pháp tạo dữ liệu huấn luyện cho trợ lý tìm kiếm trên thiết bị di động bằng cách tự động mở rộng một đồ thị thông tin từ một chủ đề hạt giống, tạo ra các câu hỏi yêu cầu suy luận đa bước, và lọc bỏ các câu hỏi quá đơn giản. Dữ liệu này được dùng để huấn luyện một mô hình nhỏ gọn trên điện thoại có khả năng thực hiện các tác vụ tìm kiếm phức tạp ngay cả khi không có kết nối mạng ổn định.
- Tính năng 'Kiểm chực chéo thông tin' trên ứng dụng chat di động, cho phép người dùng yêu cầu trợ lý ảo xác minh một tuyên bố hoặc tin tức bằng cách tự động lên kế hoạch và thực hiện một chuỗi các truy vấn tìm kiếm chuyên sâu từ nhiều góc độ khác nhau. Trợ lý sẽ tổng hợp và đối chiếu thông tin, đưa ra kết luận về độ tin cậy của tuyên bố cùng với các nguồn tham khảo đã sử dụng, giúp người dùng chống lại tin giả một cách hiệu quả.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.04036 |
| ArXiv Abstract | https://arxiv.org/abs/2605.04036 |
| PDF Download | https://arxiv.org/pdf/2605.04036.pdf |
| Github Repository | https://github.com/PolarSeeker/OpenSeeker |
3. Beyond SFT-to-RL: Pre-alignment via Black-Box On-Policy Distillation for Multimodal RL (35 votes)
Tác giả: Sudong Wang, Weiquan Huang, Xiaomin Yu, Zuhao Yang, Hehai Lin, Keming Wu, Chaojun Xiao, Chen Chen, Wenxuan Wang, Beier Zhu, Yunjian Zhang, Chengwei Qin
Xuất bản lúc: 2026-05-01
Tag: Multimodal RL, On-Policy Distillation, Mixture-of-Experts, Adversarial Training, Distribution Alignment, GRPO, Chain-of-Thought, Vision-Language Models
I. Main Problem:
Trong quy trình hậu huấn luyện tiêu chuẩn cho các mô hình đa phương thức lớn (LMMs), giai đoạn tinh chỉnh có giám sát (SFT) gây ra sự sai lệch phân phối (distributional drift) khiến mô hình không còn giữ được khả năng gốc cũng như không khớp hoàn toàn với phân phối của dữ liệu giám sát. Vấn đề này trở nên nghiêm trọng hơn trong suy luận đa phương thức, nơi mà sai lệch về nhận thức (perception drift) và suy luận (reasoning drift) có bản chất không đồng nhất và khuếch đại lẫn nhau trong giai đoạn học tăng cường (RL) tiếp theo, đặc biệt là trên các mô hình nền tảng mạnh.
II. Main Idea:
Đề xuất PRISM, một quy trình hậu huấn luyện ba giai đoạn, bổ sung một giai đoạn căn chỉnh phân phối (pre-alignment) tường minh vào giữa SFT và RLVR. Cốt lõi của giai đoạn này là một trò chơi đối kháng dựa trên nguyên lý chưng cất on-policy (OPD) hộp đen, sử dụng một bộ phân biệt MoE (Mixture-of-Experts) với hai chuyên gia riêng biệt cho nhận thức và suy luận. Bộ phân biệt này cung cấp các tín hiệu điều chỉnh tách rời, điều hướng phân phối của chính sách về gần với phân phối giám sát mà không cần truy cập vào logit của mô hình giáo viên.
III. Main Results:
Thử nghiệm trên Qwen3-VL cho thấy PRISM cải thiện nhất quán hiệu suất RLVR hạ nguồn trên nhiều thuật toán RL (GRPO, DAPO, GSPO). Cụ thể, PRISM+GRPO vượt qua đường cơ sở SFT→GRPO với mức tăng trung bình lần lượt là +4.4 và +6.0 điểm trên mô hình 4B và 8B. Các cải thiện tập trung lớn nhất ở các tác vụ suy luận toán học như MathVision và WeMath. Kết quả cũng cho thấy giai đoạn SFT làm giảm hiệu suất mô hình gốc, nhưng giai đoạn căn chỉnh đã sửa chữa sự sai lệch này, tạo nền tảng tốt hơn cho RLVR.
IV. Conclusion & Future Works:
PRISM chứng minh rằng việc chèn một giai đoạn căn chỉnh phân phối tường minh giữa SFT và RLVR giúp sửa chữa hiệu quả sự sai lệch phân phối do SFT gây ra, đặc biệt là các sai lệch không đồng nhất trong nhận thức thị giác và suy luận logic. Thiết kế MoE discriminator cung cấp các tín hiệu điều chỉnh tách rời, cho phép chính sách được căn chỉnh tốt hơn trước khi bước vào giai đoạn tối ưu hóa trực tuyến. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc mở rộng PRISM cho các tác vụ đa phương thức phức tạp hơn, cải thiện hiệu quả của bộ phân biệt MoE, và khám phá các phương pháp căn chỉnh phân phối không cần dữ liệu giám sát bổ sung.
V. Brainstorming Space:
1. Publish Papers:
- Phân tích sâu về các mô hình sai lệch không đồng nhất trong suy luận đa phương thức: Nghiên cứu này sẽ điều tra một cách có hệ thống cách thức mà sai lệch về nhận thức và suy luận phát sinh và tương tác với nhau trong quá trình SFT của các LMM. Mục tiêu là xây dựng một khung phân loại chi tiết cho các loại sai lệch khác nhau và đo lường tác động riêng biệt của chúng đến hiệu suất RLVR hạ nguồn, từ đó cung cấp hiểu biết sâu sắc hơn cho việc thiết kế các chiến lược căn chỉnh.
- Phát triển các kỹ thuật căn chỉnh phân phối on-policy không đối kháng cho LMMs: Nghiên cứu này sẽ khám phá các phương pháp thay thế cho trò chơi đối kháng trong PRISM, chẳng hạn như sử dụng các độ đo phân kỳ thống kê hoặc các mô hình năng lượng để căn chỉnh phân phối của chính sách với phân phối giám sát. Mục tiêu là phát triển một quy trình căn chỉnh ổn định hơn, dễ huấn luyện hơn nhưng vẫn giữ được khả năng cung cấp tín hiệu điều chỉnh tách rời cho các khía cạnh khác nhau của phản hồi đa phương thức.
- Tổng quát hóa PRISM cho các tác vụ đa phương thức đa dạng và mô hình nền tảng khác: Nghiên cứu này sẽ đánh giá khả năng tổng quát của PRISM trên một phổ rộng hơn các tác vụ đa phương thức (ví dụ: trả lời câu hỏi dựa trên video, hiểu tài liệu, tương tác với môi trường ảo) và các họ mô hình nền tảng khác nhau. Mục tiêu là xác định các điều kiện mà PRISM mang lại lợi ích lớn nhất và khám phá các điều chỉnh cần thiết để áp dụng cho các kiến trúc và lĩnh vực dữ liệu khác.
2. Patent:
- Hệ thống trợ lý ảo trên điện thoại có khả năng tự sửa lỗi suy luận và nhận thức: Một phương pháp được cấp bằng sáng chế cho phép trợ lý ảo trên thiết bị di động, sau khi được tinh chỉnh bằng dữ liệu mới, sẽ tự động bước vào một giai đoạn 'tự căn chỉnh' (self-alignment). Trong giai đoạn này, trợ lý sẽ tự tạo ra các phản hồi và sử dụng một mô-đun đánh giá nội bộ (giống như bộ phân biệt MoE thu nhỏ) để kiểm tra xem mô tả hình ảnh có khớp với ảnh chụp từ camera hay không và các bước suy luận có logic không, từ đó tự điều chỉnh trước khi tương tác với người dùng, giảm thiểu các câu trả lời sai lệch do quá trình cập nhật gây ra.
- Quy trình đảm bảo chất lượng cho các bản cập nhật mô hình AI trên thiết bị di động qua OTA: Một hệ thống được cấp bằng sáng chế để triển khai các bản cập nhật mô hình ngôn ngữ lớn đa phương thức qua mạng (OTA) tới điện thoại. Trước khi đưa mô hình đã tinh chỉnh (SFT) vào sử dụng, hệ thống sẽ tự động thực thi một giai đoạn 'căn chỉnh phân phối' (distribution alignment) trên chính thiết bị hoặc trên máy chủ biên, sử dụng một bộ dữ liệu tham chiếu nhỏ gọn. Quy trình này đảm bảo mô hình mới không bị suy giảm khả năng so với bản cũ và sẵn sàng cho các tác vụ yêu cầu độ chính xác cao như chụp ảnh tài liệu, dịch thuật, hay nhận diện đối tượng.
- Công cụ hỗ trợ chụp ảnh thông minh với khả năng phát hiện và sửa lỗi mô tả sai: Một tính năng máy ảnh được cấp bằng sáng chế, nơi khi người dùng chụp ảnh và yêu cầu mô tả (ví dụ: 'đọc công thức nấu ăn này' hoặc 'mô tả khung cảnh'), hệ thống sẽ không chỉ đưa ra mô tả ban đầu. Thay vào đó, một quy trình hậu xử lý hai giai đoạn sẽ diễn ra: đầu tiên, một 'chuyên gia nhận thức' kiểm tra xem mô tả có các yếu tố ảo giác (hallucination) không; sau đó, một 'chuyên gia suy luận' kiểm tra tính nhất quán của thông tin. Nếu phát hiện sai lệch, hệ thống sẽ tự động sửa lại mô tả trước khi hiển thị cho người dùng, đảm bảo thông tin đầu ra đáng tin cậy.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2604.28123 |
| ArXiv Abstract | https://arxiv.org/abs/2604.28123 |
| PDF Download | https://arxiv.org/pdf/2604.28123.pdf |
| Github Repository | https://github.com/XIAO4579/PRISM |
4. X2SAM: Any Segmentation in Images and Videos (16 votes)
Tác giả: Hao Wang, Limeng Qiao, Chi Zhang, Lin Ma, Guanglu Wan, Xiangyuan Lan, Xiaodan Liang
Xuất bản lúc: 2026-04-27
Tag: MLLM, Segmentation, Video Understanding, SAM, LLMs, Visual Prompting
I. Main Problem:
Các mô hình ngôn ngữ lớn đa phương thức (MLLM) hiện tại hiểu tốt ngữ nghĩa toàn cục nhưng khả năng phân đoạn (segmentation) ở cấp độ điểm ảnh cho cả ảnh tĩnh và video còn hạn chế. Các mô hình nền tảng như SAM/SAM2 tạo mặt nạ (mask) chất lượng cao nhưng chỉ hoạt động với tín hiệu trực quan cấp thấp (điểm, hộp), không hiểu được hướng dẫn bằng ngôn ngữ tự nhiên phức tạp. Trong khi đó, các MLLM phân đoạn hiện có chuyên biệt cho ảnh hoặc video, thiếu một kiến trúc thống nhất hỗ trợ đồng thời cả đầu vào văn bản và tín hiệu trực quan, đồng thời gặp khó khăn trong việc duy trì tính nhất quán về thời gian (temporal consistency) cho mặt nạ video.
II. Main Idea:
Bài báo đề xuất X2SAM, một khung làm việc MLLM phân đoạn thống nhất, mở rộng khả năng phân đoạn 'bất kỳ' từ ảnh tĩnh sang video. Điểm cốt lõi là kết hợp Mô hình Ngôn ngữ Lớn (LLM) với một mô-đun Bộ nhớ Mặt nạ (Mask Memory). Mô-đun này lưu trữ các đặc trưng thị giác đã được dẫn hướng để tạo mặt nạ nhất quán theo thời gian. X2SAM xử lý đồng thời hướng dẫn hội thoại và tín hiệu trực quan, chuyển đổi tất cả các tác vụ phân đoạn ảnh và video thành một định dạng thống nhất. Một bộ giải mã mặt nạ mới với cơ chế chú ý Token-to-Image được giới thiệu để tiêm thông tin ngữ nghĩa từ LLM vào quá trình tạo mặt nạ, cùng với chiến lược huấn luyện kết hợp thống nhất trên dữ liệu ảnh và video không đồng nhất.
III. Main Results:
Trên các tác vụ video, X2SAM vượt trội so với các mô hình MLLM video tổng quát trước đây, đạt 69.9 J&F trên tác vụ suy luận video ReVOS, 78.5 J&F trên tham chiếu video YT21, và 75.8 mIoU trên tác vụ hội thoại tạo mặt nạ video (V-GCG). Trên ảnh, mô hình duy trì khả năng cạnh tranh, đặc biệt cải thiện phân đoạn mở từ vựng (I-OV) từ 20.9 lên 31.2 PQ và đạt 71.1 gIoU trên tác vụ suy luận ảnh. Chiến lược huấn luyện kết hợp thống nhất giúp giảm 36.5% thời gian huấn luyện so với huấn luyện đơn giản trong khi vẫn đảm bảo hiệu suất.
IV. Conclusion & Future Works:
X2SAM là khung làm việc đầu tiên thống nhất phân đoạn ảnh và video dựa trên hướng dẫn hội thoại và tín hiệu trực quan. Mô hình chứng minh rằng việc mở rộng mô hình ngôn ngữ lớn với bộ nhớ mặt nạ có thể giải quyết hiệu quả các tác vụ phân đoạn không gian-thời gian phức tạp. Công việc tương lai có thể tập trung vào việc tích hợp các mô hình nền tảng mạnh mẽ hơn, cải thiện khả năng suy luận video dài hạn, và khám phá các ứng dụng tương tác thời gian thực. Bộ tiêu chuẩn Video Visual Grounded (V-VGD) mới cũng mở ra hướng nghiên cứu cho các tác vụ phân đoạn tương tác trong video.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu phát triển cơ chế Bộ nhớ Mặt nạ (Mask Memory) có khả năng quên và ghi nhớ thích ứng (adaptive forgetting) để xử lý video dài vô hạn mà không bị suy giảm hiệu suất do nhiễu thông tin tích lũy theo thời gian.
- Khám phá phương pháp học đa tác vụ cân bằng hơn cho các tác vụ phân đoạn ảnh và video, nhằm giảm thiểu sự đánh đổi hiệu suất giữa các tác vụ tĩnh (ảnh) và động (video) khi huấn luyện trên tập dữ liệu không đồng nhất.
- Thiết kế một kiến trúc MLLM nhẹ hơn cho phân đoạn video bằng cách sử dụng kỹ thuật chia sẻ tham số hiệu quả giữa bộ mã hóa mặt nạ và bộ mã hóa thị giác toàn cục, hướng tới triển khai trên các thiết bị có tài nguyên hạn chế.
2. Patent:
- Phương pháp và thiết bị di động cho phép người dùng quay video và sử dụng giọng nói kết hợp chạm vào màn hình để chọn và theo dõi đối tượng theo thời gian thực, ứng dụng bộ nhớ mặt nạ để giữ mặt nạ nhất quán ngay cả khi đối tượng bị che khuất hoặc di chuyển nhanh, phục vụ cho việc quay video hướng dẫn hoặc làm nổi bật chủ thể.
- Hệ thống trợ lý ảo trên điện thoại thông minh có khả năng phân đoạn và hiểu nội dung video theo hội thoại, cho phép người dùng hỏi các câu như 'Cắt riêng người đang mặc áo đỏ trong video này ra' hoặc 'Xóa nền của video này và thay bằng ảnh biển', hệ thống sẽ tự động thực hiện phân đoạn và xử lý video.
- Công nghệ tạo nhãn dán (sticker) động từ video trên điện thoại: Người dùng chụp hoặc quay video, chạm vào đối tượng muốn tạo sticker, mô hình sẽ tự động phân đoạn đối tượng đó xuyên suốt video và tạo ra một ảnh động (GIF/APNG) với nền trong suốt để chia sẻ lên mạng xã hội.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.00891 |
| ArXiv Abstract | https://arxiv.org/abs/2605.00891 |
| PDF Download | https://arxiv.org/pdf/2605.00891.pdf |
| Github Repository | https://github.com/wanghao9610/X2SAM |
5. HeavySkill: Heavy Thinking as the Inner Skill in Agentic Harness (13 votes)
Tác giả: Jianing Wang, Linsen Guo, Zhengyu Chen, Qi Guo, Hongyu Zang, Wenjie Shi, Haoxiang Ma, Xiangyu Xi, Xiaoyu Li, Wei Wang, Xunliang Cai
Xuất bản lúc: 2026-05-04
Tag: LLMs, Test-Time Scaling, Parallel Reasoning, Sequential Deliberation, Agentic Harness, Reinforcement Learning
I. Main Problem:
Các hệ thống tác nhân (agentic harness) hiện đại đạt được thành công lớn trong các tác vụ suy luận phức tạp, nhưng cơ chế cốt lõi thực sự thúc đẩy hiệu suất vẫn bị che khuất bởi các thiết kế hệ thống phức tạp. Bài toán đặt ra là: làm thế nào để trừu tượng hóa và đơn giản hóa cơ chế phối hợp đa tác nhân này thành một năng lực nội tại của mô hình ngôn ngữ lớn (LLM), đồng thời cải thiện hiệu suất suy luận mà không phụ thuộc vào các lớp điều phối dễ đổ vỡ.
II. Main Idea:
Bài báo đề xuất HEAVYSKILL, một góc nhìn coi "suy nghĩ nặng" (heavy thinking) không chỉ là một đơn vị thực thi tối thiểu trong bộ khung điều phối, mà còn là một kỹ năng nội tại được tích hợp trong tham số mô hình. Cốt lõi của kỹ năng này là một quy trình hai giai đoạn: (1) Suy luận song song (Parallel Reasoning) để tạo ra nhiều quỹ đạo suy nghĩ độc lập, và (2) Cân nhắc tuần tự (Sequential Deliberation) để tổng hợp và chọn lọc câu trả lời tốt nhất từ các quỹ đạo đó. Toàn bộ quy trình được đóng gói thành một tệp kỹ năng có thể đọc được (readable skill), cho phép bất kỳ LLM điều phối nào cũng có thể tự động thực thi mà không cần sửa đổi mã nguồn. Hơn nữa, kỹ năng này có thể được mở rộng thông qua học tăng cường với phần thưởng có thể xác minh (RLVR).
III. Main Results:
- Hiệu suất vượt trội: Phương pháp suy nghĩ nặng (Heavy-Mean@K) liên tục vượt qua các chiến lược truyền thống như Best-of-N (Vote@K) và suy luận đơn lẻ (Mean@K) trên nhiều tác vụ STEM (AIME25, GPQA-Diamond) và các tác vụ lập trình (LiveCodeBench).
- Tiệm cận giới hạn lý thuyết: Trên các mô hình tiên tiến (như GPT-5 Thinking, Kimi K2), hiệu suất của suy nghĩ nặng có thể tiệm cận hoặc thậm chí đạt đến giới hạn Pass@K.
- Khả năng sửa sai: Giai đoạn cân nhắc tuần tự có khả năng xác định và tổng hợp các quỹ đạo suy luận đúng ngay cả khi chúng là thiểu số, hoạt động như một bộ xác minh ngầm. Nó thậm chí có thể tổng hợp để tạo ra câu trả lời đúng mà không hề tồn tại trong bất kỳ quỹ đạo suy luận đơn lẻ nào.
- Khả năng mở rộng: Hiệu suất tiếp tục được cải thiện khi tăng số lượng quỹ đạo song song và số vòng lặp cân nhắc, xác nhận đây là một chiến lược mở rộng quy mô trong thời gian kiểm thử (Test-Time Scaling) hiệu quả.
- Tính linh hoạt: Khung làm việc hoạt động hiệu quả ngay cả khi mô hình ở giai đoạn suy luận song song và cân nhắc tuần tự là khác nhau, và cũng hoạt động tốt trong các tác vụ yêu cầu sử dụng công cụ.
IV. Conclusion & Future Works:
Bài báo đã chứng minh một cách hệ thống rằng suy nghĩ nặng là một chiến lược mở rộng quy mô thời gian kiểm thử mạnh mẽ, có thể nâng cao đáng kể khả năng suy luận của LLM. Quy trình suy luận song song và cân nhắc tuần tự không chỉ hiệu quả mà còn có thể được đóng gói thành một kỹ năng di động cho các bộ khung tác nhân. Trong tương lai, nhóm tác giả dự định sẽ tiến hành phân tích chi tiết hơn về hiệu suất của các quỹ đạo suy nghĩ nặng trong khuôn khổ Học tăng cường (RL), nhằm tiếp tục phá vỡ các ranh giới suy luận hiện tại của LLM.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu về cơ chế chú ý động trong giai đoạn cân nhắc tuần tự: Thay vì đưa toàn bộ các quỹ đạo suy luận song song vào ngữ cảnh, thiết kế một cơ chế chú ý có khả năng tự động chọn lọc và tập trung vào những phần quan trọng nhất của từng quỹ đạo, giúp giảm chi phí tính toán và tăng độ chính xác khi tổng hợp.
- Tối ưu hóa sự đa dạng và chất lượng của các quỹ đạo suy luận song song thông qua học tăng cường: Phát triển một hàm thưởng không chỉ dựa trên kết quả cuối cùng mà còn dựa trên độ "bất đồng thuận có kiểm soát" giữa các quỹ đạo, nhằm khuyến khích mô hình khám phá không gian suy luận một cách rộng hơn và hiệu quả hơn.
- Phân tích và giảm thiểu hiện tượng nhiễu tích lũy trong suy luận lặp: Khảo sát sâu hơn về sự suy giảm hiệu suất tiềm năng (HP@K) khi tăng số vòng lặp cân nhắc, từ đó đề xuất các kỹ thuật như bộ nhớ chọn lọc hoặc cơ chế quên để chống lại sự lan truyền của thông tin sai lệch hoặc dư thừa qua các vòng lặp.
2. Patent:
- Hệ thống trợ lý ảo trên điện thoại thông minh với khả năng suy nghĩ sâu: Khi người dùng đặt một câu hỏi phức tạp (ví dụ: lập kế hoạch du lịch, giải toán), trợ lý ảo sẽ kích hoạt cơ chế suy nghĩ nặng. Nó ngầm tạo ra nhiều phương án giải quyết khác nhau, sau đó tự động cân nhắc, so sánh và chọn ra phương án tối ưu nhất để trả lời người dùng, thay vì chỉ đưa ra câu trả lời đầu tiên nó nghĩ ra.
- Tính năng chụp ảnh và giải thích văn bản nâng cao: Người dùng chụp ảnh một trang tài liệu hoặc bài toán phức tạp. Ứng dụng trên điện thoại sẽ sử dụng kỹ thuật suy nghĩ nặng để tạo ra nhiều bản trích xuất văn bản và lời giải độc lập từ ảnh, sau đó một mô-đun cân nhắc sẽ tổng hợp để tạo ra kết quả chính xác nhất, loại bỏ lỗi OCR và suy luận sai lệch đơn lẻ.
- Công cụ soạn thảo và kiểm tra email/nhắn tin thông minh: Khi người dùng soạn một tin nhắn hoặc email quan trọng, bàn phím thông minh sẽ kích hoạt suy nghĩ nặng. Nó tạo ra nhiều phiên bản nháp với các giọng điệu và cách diễn đạt khác nhau, sau đó tự động phân tích và chọn ra phiên bản phù hợp nhất với ngữ cảnh và mối quan hệ với người nhận, hoặc đề xuất một bản tổng hợp hoàn hảo từ các điểm mạnh của từng bản nháp.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2605.02396 |
| ArXiv Abstract | https://arxiv.org/abs/2605.02396 |
| PDF Download | https://arxiv.org/pdf/2605.02396.pdf |
| Github Repository | https://github.com/wjn1996/HeavySkill |