🤗 Daily Hugging Face Paper Digest - 2026-04-08

Báo cáo được tạo tự động vào lúc 2026-04-09 10:09:09 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding (201 votes)

Tác giả: Chaoyou Fu, Haozhi Yuan, Yuhao Dong, Yi-Fan Zhang, Yunhang Shen, Xiaoxing Hu, Xueying Li, Jinsen Su, Chengwu Long, Xiaoyao Xie, Yongkang Xie, Xiawu Zheng, Xue Yang, Haoyu Cao, Yunsheng Wu, Ziwei Liu, Xing Sun, Caifeng Shan, Ran He

Xuất bản lúc: 2026-04-06

Tag: Video Understanding, Benchmarks, MLLMs, Multimodal Reasoning, Evaluation Metrics, Data Quality

I. Main Problem:

Các bộ benchmark hiện có cho hiểu biết video đang dần bão hòa, tạo ra sự chênh lệch đáng kể giữa điểm số cao trên bảng xếp hạng và khả năng thực tế của mô hình trong thế giới thực. Các phương pháp đánh giá trước đây thường thiếu một hệ thống phân cấp đánh giá toàn diện, tập trung vào hiệu suất trên các tác vụ cụ thể hoặc các chủ đề riêng lẻ, và chủ yếu dựa vào độ chính xác trên từng câu hỏi, bỏ qua nhu cầu về sự nhất quán và đáng tin cậy trong hiểu biết video. Điều này cản trở việc đánh giá sâu rộng các mô hình ngôn ngữ lớn đa phương thức video (video MLLMs) tiên tiến.

II. Main Idea:

Để giải quyết những thách thức trên, chúng tôi giới thiệu Video-MME-v2, một bộ benchmark toàn diện được thiết kế để đánh giá nghiêm ngặt tính mạnh mẽ và độ trung thực của khả năng hiểu video. Các ý tưởng chính bao gồm:

Hệ thống phân cấp đánh giá ba cấp độ (progressive tri-level hierarchy): Tăng dần độ phức tạp của việc hiểu video, từ tổng hợp thông tin hình ảnh đa điểm (Cấp độ 1), mô hình hóa động lực thời gian (Cấp độ 2), đến suy luận đa phương thức phức tạp (Cấp độ 3).
Chiến lược đánh giá phi tuyến tính dựa trên nhóm (group-based non-linear evaluation strategy): Khác với độ chính xác trên từng câu hỏi thông thường, chiến lược này nhấn mạnh tính nhất quán giữa các truy vấn liên quan (Capability Consistency) và sự mạch lạc trong suy luận đa bước (Reasoning Coherence). Nó phạt các câu trả lời đúng rời rạc hoặc dựa trên phỏng đoán và chỉ công nhận những câu trả lời được hỗ trợ bởi lập luận hợp lệ.
Quy trình chú thích dữ liệu thủ công được kiểm soát chặt chẽ: Đảm bảo chất lượng dữ liệu cao thông qua sự tham gia của 12 người chú thích và 50 người đánh giá độc lập, với hơn 3.300 giờ làm việc và tối đa 5 vòng kiểm soát chất lượng. Quy trình này bao gồm lựa chọn video dựa trên tính thời sự, đa dạng hóa theo phân loại, kiểm soát chất lượng bằng ngưỡng lượt xem, khử trùng dữ liệu thủ công, và thiết kế câu hỏi, tùy chọn trả lời theo nhóm với các phương án gây nhiễu mạnh.

III. Main Results:

Các thử nghiệm sâu rộng trên Video-MME-v2 đã tiết lộ những kết quả chính sau:

Khoảng cách đáng kể với hiệu suất của con người: Mô hình tốt nhất hiện tại, Gemini-3-Pro, chỉ đạt 49.4 điểm (Non-Lin Score), trong khi các chuyên gia con người đạt 90.7 điểm, cho thấy một khoảng cách lớn 41.3 điểm.
Nút thắt cổ chai theo cấp độ: Hiệu suất giảm dần một cách đơn điệu từ Cấp độ 1 đến Cấp độ 3 trên tất cả các mô hình. Lỗi ở cấp độ tổng hợp thông tin hình ảnh và mô hình hóa thời gian lan truyền, hạn chế khả năng suy luận cấp cao.
Suy luận dựa trên "tư duy" phụ thuộc vào văn bản: Chế độ "Thinking" cải thiện hiệu suất khi có phụ đề nhưng đôi khi làm giảm hiệu suất trong các thiết lập chỉ có hình ảnh, cho thấy các mô hình hiện tại vẫn quá phụ thuộc vào các tín hiệu văn bản.
Sự vượt trội của các mô hình thương mại: Các mô hình thương mại như Gemini-3-Pro vượt trội đáng kể so với các mô hình mã nguồn mở, đặc biệt là khi không có phụ đề/âm thanh, cho thấy tính mạnh mẽ hơn.
Lợi ích của âm thanh gốc trong kiến trúc Omni: Các mô hình Omni có khả năng xử lý âm thanh gốc (ví dụ: MiMo-v2-Omni, Gemini-3-Pro) cho thấy hiệu suất được cải thiện rõ rệt khi tích hợp âm thanh trực tiếp.
Chất lượng mô hình quan trọng hơn quy mô thuần túy: Các mô hình quy mô nhỏ hơn với huấn luyện tốt, hỗ trợ ngữ cảnh dài và căn chỉnh suy luận mạnh mẽ có thể vượt trội hơn các mô hình lớn hơn.

IV. Conclusion & Future Works:

Video-MME-v2 thiết lập một nền tảng thử nghiệm mới đầy thách thức cho sự phát triển của các video MLLMs thế hệ tiếp theo. Nó phơi bày những hạn chế quan trọng của các mô hình hiện tại, đặc biệt là việc thiếu tính nhất quán về khả năng và sự mạch lạc trong suy luận khi đối mặt với các kịch bản video động, thế giới thực. Kết quả cho thấy việc cải thiện suy luận phức tạp không chỉ là vấn đề mở rộng các module suy luận mà đòi hỏi sự nâng cao toàn diện của toàn bộ hệ thống khả năng, đặc biệt là củng cố nhận thức và định vị thời gian như các thành phần tiên quyết. Bộ benchmark này, cùng với các thử nghiệm và phân tích sâu, sẽ đóng vai trò là tiêu chuẩn hàng đầu để đánh giá video MLLM và thúc đẩy sự phát triển trong lĩnh vực này.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về cơ chế suy luận đa phương thức độc lập với văn bản: Phát triển các kiến trúc mô hình video MLLM mới có khả năng thực hiện suy luận phức tạp và nhất quán chỉ dựa trên thông tin hình ảnh và âm thanh gốc, giảm sự phụ thuộc vào phụ đề hoặc chú thích văn bản, đặc biệt là trong các kịch bản không có văn bản hỗ trợ.
Cải thiện tính nhất quán và mạch lạc theo cấp độ trong hiểu biết video: Tập trung vào việc phát triển các phương pháp huấn luyện và kiến trúc mô hình để cải thiện hiệu suất trên tất cả các cấp độ của hệ thống phân cấp Video-MME-v2, đặc biệt là đảm bảo tính nhất quán (consistency) ở cấp độ tổng hợp thông tin và mô hình hóa thời gian để ngăn chặn lỗi lan truyền đến cấp độ suy luận phức tạp hơn.
Phát triển các chiến lược học tập mới để giải quyết lỗi suy luận theo nhóm: Thiết kế các phương pháp huấn luyện đặc biệt tận dụng cấu trúc nhóm câu hỏi của Video-MME-v2 (tính nhất quán và mạch lạc) để huấn luyện mô hình đưa ra các câu trả lời nhất quán và có lý do rõ ràng, thay vì chỉ tập trung vào độ chính xác từng câu hỏi riêng lẻ.

2. Patent:

Hệ thống phân tích hành vi người dùng trong video di động để cá nhân hóa trải nghiệm: Một ứng dụng trên điện thoại di động có thể phân tích video quay bởi người dùng (ví dụ: video tập thể dục, video nấu ăn) để hiểu các hành động và chuỗi sự kiện. Dựa trên phân tích này, hệ thống có thể cung cấp phản hồi cá nhân hóa (ví dụ: gợi ý cải thiện tư thế tập luyện), hoặc tự động tạo các bản tóm tắt có cấu trúc về hoạt động của người dùng, giúp cải thiện sức khỏe hoặc kỹ năng một cách chủ động.
Trợ lý video thông minh với khả năng truy vấn đa cấp độ: Một trợ lý ảo trên điện thoại có thể hiểu và trả lời các câu hỏi phức tạp về nội dung video, từ việc nhận diện đối tượng cơ bản đến suy luận về nguyên nhân và kết quả của các sự kiện. Ví dụ, người dùng có thể hỏi "Tại sao nhân vật này lại làm vậy?" sau khi xem một đoạn phim, và trợ lý sẽ cung cấp lời giải thích dựa trên chuỗi sự kiện trong video, giúp người dùng hiểu sâu hơn về nội dung mà không cần phải xem lại toàn bộ.
Công cụ tạo nội dung video thông minh dựa trên ngữ cảnh và ý định: Ứng dụng điện thoại sử dụng khả năng hiểu video sâu sắc để hỗ trợ người dùng tạo nội dung. Ví dụ, khi người dùng quay một video về bữa tiệc, ứng dụng có thể tự động nhận diện các khoảnh khắc quan trọng (cắt bánh, tặng quà), các đối tượng (người, đồ ăn), và thậm chí cả cảm xúc. Dựa trên thông tin này, nó có thể đề xuất các đoạn cắt, thêm hiệu ứng, hoặc tạo ra một bản tóm tắt video hoàn chỉnh, giúp người dùng dễ dàng chia sẻ những câu chuyện có ý nghĩa mà không cần kỹ năng chỉnh sửa chuyên nghiệp.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.05015
ArXiv Abstract	https://arxiv.org/abs/2604.05015
PDF Download	https://arxiv.org/pdf/2604.05015.pdf
Github Repository	https://github.com/MME-Benchmarks/Video-MME-v2

2. Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents (98 votes)

Tác giả: Bowen Ye, Rang Li, Qibin Yang, Yuanxin Liu, Linli Yao, Hanglong Lv, Zhihui Xie, Chenxin An, Lei Li, Lingpeng Kong, Qi Liu, Zhifang Sui, Tong Yang

Xuất bản lúc: 2026-04-07

Tag: Autonomous Agents, LLMs, Evaluation, Benchmarking, Safety, Robustness, Multimodal, Trajectory Auditing

I. Main Problem:

Các benchmark đánh giá tác nhân tự động hiện có còn tồn tại ba hạn chế lớn: (1) Đánh giá mờ đục theo quỹ đạo (trajectory-opaque grading): chỉ kiểm tra kết quả cuối cùng mà không xem xét các bước trung gian, khiến tác nhân có thể "gian lận" hoặc tạo ra các bước không thực tế. (2) Đánh giá an toàn và khả năng phục hồi chưa được xác định rõ ràng (underspecified safety and robustness evaluation): thiếu đánh giá toàn diện về an toàn dưới áp lực nhiệm vụ thực tế và khả năng phục hồi khi gặp lỗi hệ thống. (3) Phạm vi phương thức tương tác hẹp (narrow modality coverage and interaction paradigms): chỉ tập trung vào một phương thức (ví dụ: văn bản, GUI) mà không bao quát các kịch bản đa phương thức phức tạp trong thế giới thực. Ngoài ra, tính ngẫu nhiên trong hoạt động của tác nhân cũng gây khó khăn trong việc phân biệt khả năng thực sự với kết quả may mắn chỉ qua một lần chạy.

II. Main Idea:

Claw-Eval là một bộ công cụ đánh giá end-to-end nhằm giải quyết các hạn chế trên. Nó dựa trên ba nguyên tắc thiết kế chính: (1) Kiểm toán quỹ đạo đầy đủ (Full-trajectory auditing): Ghi lại mọi hành động của tác nhân thông qua ba kênh bằng chứng độc lập (dấu vết thực thi, nhật ký kiểm toán dịch vụ, và ảnh chụp môi trường) để xác minh những gì tác nhân thực sự đã làm. (2) Chấm điểm đa chiều tích hợp (Integrated multi-dimensional scoring): Đánh giá đồng thời mức độ Hoàn thành (Completion), An toàn (Safety), và Khả năng phục hồi (Robustness) trong cùng một lần thực thi nhiệm vụ, với các mục chấm điểm chi tiết và lỗi được đưa vào có kiểm soát để đo lường khả năng phục hồi. (3) Phạm vi bao phủ đa phương thức thống nhất (Unified cross-modal coverage): Cung cấp 300 nhiệm vụ được xác minh bởi con người, thuộc 9 danh mục trên 3 nhóm chính (điều phối dịch vụ tổng quát, nhận thức và tạo đa phương thức, và đối thoại chuyên nghiệp đa lượt). Để giải quyết tính ngẫu nhiên, mỗi nhiệm vụ được chạy ba lần (k=3) và báo cáo ba chỉ số bổ sung: Average Score, Pass@k, và Passk, để đánh giá cả khả năng tối đa và độ tin cậy.

III. Main Results:

Các thí nghiệm trên 14 mô hình tiên tiến cho thấy: (1) Đánh giá mờ đục theo quỹ đạo không đáng tin cậy: Phương pháp đánh giá chỉ dựa vào đầu ra bỏ lỡ 44% vi phạm an toàn và 13% lỗi khả năng phục hồi mà pipeline lai của Claw-Eval có thể phát hiện. (2) Lỗi được đưa vào làm giảm đáng kể tính nhất quán: Việc đưa lỗi có kiểm soát chủ yếu làm suy giảm tính nhất quán (Pass^3 giảm tới 24%) chứ không phải khả năng tối đa (Pass@3 vẫn ổn định). (3) Hiệu suất đa phương thức rất khác nhau: Hầu hết các mô hình hoạt động kém hơn trên video so với tài liệu hoặc hình ảnh, và không có mô hình nào vượt trội trên tất cả các phương thức. (4) Thứ hạng mô hình thay đổi đáng kể giữa các nhóm nhiệm vụ và phương thức, cho thấy khả năng của tác nhân không phải là đơn nhất. (5) Thành công trong đối thoại đa lượt phụ thuộc vào chất lượng chiến lược đặt câu hỏi của tác nhân (r=0.87) chứ không phải độ dài cuộc trò chuyện (r=0.07).

IV. Conclusion & Future Works:

Để đánh giá tác nhân một cách đáng tin cậy, cần có bằng chứng cấp độ quỹ đạo, chấm điểm đa chiều và phạm vi nhiệm vụ rộng lớn hoạt động cùng nhau. Những khoảng cách về khả năng được Claw-Eval chỉ ra cung cấp các hướng đi cụ thể và khả thi để phát triển các tác nhân không chỉ có năng lực mà còn có thể triển khai một cách đáng tin cậy trong thực tế.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao khả năng phục hồi của tác nhân trong môi trường không ổn định: Nghiên cứu các chiến lược mới cho tác nhân tự động để phục hồi hiệu quả từ các lỗi dịch vụ tạm thời và giới hạn tỷ lệ, tập trung vào việc duy trì tính nhất quán (Pass^k) thay vì chỉ khả năng tối đa (Pass@k), đặc biệt trong các tác vụ phức tạp đòi hỏi nhiều bước.
Phát triển các mô hình tác nhân đa phương thức thống trị trên nhiều loại phương tiện: Tập trung vào cải thiện hiệu suất của tác nhân trên các phương thức phức tạp hơn như video và tạo ra các kiến trúc có thể xử lý đồng thời và hiệu quả các đầu vào/đầu ra hình ảnh, video, và văn bản để đạt được hiệu suất vượt trội trên tất cả các lĩnh vực.
Thiết kế các cơ chế kiểm toán và đánh giá an toàn tác nhân thời gian thực, có thể mở rộng: Nghiên cứu các phương pháp tích hợp kiểm tra an toàn chi tiết vào quá trình thực thi của tác nhân mà không làm giảm hiệu suất, sử dụng cả kiểm tra dựa trên quy tắc và đánh giá dựa trên LLM để phát hiện vi phạm an toàn ở cấp độ tham số và cung cấp phản hồi ngay lập tức.

2. Patent:

Hệ thống trợ lý di động "Chủ động An toàn" (Proactive Safe Mobile Assistant): Một tính năng trên điện thoại di động sử dụng công nghệ đánh giá tác nhân để giám sát các hành động của trợ lý ảo (ví dụ: gửi email, truy cập dữ liệu cá nhân) theo thời gian thực. Hệ thống sẽ cảnh báo hoặc ngăn chặn trợ lý thực hiện các hành động có khả năng vi phạm chính sách bảo mật hoặc an toàn của người dùng, ngay cả khi trợ lý đang cố gắng hoàn thành một nhiệm vụ hữu ích. Ví dụ, nếu trợ lý cố gắng gửi email chứa thông tin nhạy cảm khi không được phép, hệ thống sẽ chặn và yêu cầu xác nhận.
Ứng dụng quản lý tác vụ thông minh với "Khả năng phục hồi thích ứng" (Adaptive Resilient Task Manager): Một ứng dụng trên điện thoại di động giúp người dùng giao các tác vụ phức tạp cho trợ lý ảo (ví dụ: đặt lịch hẹn qua nhiều ứng dụng, tổng hợp thông tin từ nhiều nguồn). Ứng dụng này sẽ theo dõi hiệu suất của trợ lý và tự động điều chỉnh chiến lược thực thi khi gặp lỗi (ví dụ: mạng chậm, dịch vụ không phản hồi). Thay vì chỉ báo lỗi, nó sẽ thử các phương án thay thế, thông báo cho người dùng về tiến độ phục hồi, và đảm bảo tác vụ được hoàn thành một cách nhất quán ngay cả trong điều kiện không lý tưởng.
Nền tảng "Đánh giá và Tối ưu hóa Trải nghiệm Đa phương thức" cho trợ lý di động (Multimodal Experience Evaluation and Optimization Platform): Một dịch vụ tích hợp vào hệ điều hành di động cho phép các nhà phát triển và người dùng đánh giá và cải thiện hiệu suất của trợ lý ảo trên các tác vụ đa phương thức. Ví dụ, khi người dùng yêu cầu trợ lý chỉnh sửa video hoặc phân tích hình ảnh, hệ thống sẽ ghi lại chi tiết quá trình tương tác (không chỉ kết quả cuối cùng) để xác định điểm yếu và đề xuất cách tối ưu hóa. Điều này giúp trợ lý hiểu và thực hiện các yêu cầu liên quan đến hình ảnh, video, và văn bản một cách đáng tin cậy hơn trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.06132
ArXiv Abstract	https://arxiv.org/abs/2604.06132
PDF Download	https://arxiv.org/pdf/2604.06132.pdf
Github Repository	https://github.com/claw-eval/claw-eval

3. Learning to Retrieve from Agent Trajectories (55 votes)

Tác giả: Yuqi Zhou, Sunhao Dai, Changle Qu, Liang Pang, Jun Xu, Ji-Rong Wen

Xuất bản lúc: 2026-03-30

Tag: LLMs, Information Retrieval, Agents, Learning to Rank, RAG, Agent Trajectories

I. Main Problem:

Các hệ thống tìm kiếm thông tin (IR) truyền thống được thiết kế và huấn luyện cho người dùng là con người, dựa vào nhật ký tương tác như lượt nhấp và thời gian xem. Tuy nhiên, với sự phát triển nhanh chóng của các tác nhân tìm kiếm được hỗ trợ bởi mô hình ngôn ngữ lớn (LLM), việc truy xuất thông tin ngày càng được tiêu thụ bởi tác nhân thay vì con người. Điều này tạo ra sự không khớp cơ bản giữa các mô hình truy xuất được huấn luyện dựa trên giả định lấy con người làm trung tâm và cách các tác nhân đưa ra truy vấn cũng như sử dụng kết quả, dẫn đến chất lượng truy xuất trở thành nút thắt cổ chai quan trọng đối với các tác nhân tìm kiếm.

II. Main Idea:

Công trình này đề xuất một mô hình huấn luyện mới: "học cách truy xuất từ quỹ đạo của tác nhân" (learning to retrieve from agent trajectories), nơi tín hiệu giám sát được lấy trực tiếp từ dữ liệu tương tác đa bước của tác nhân. Các tác giả đã phân tích hệ thống quỹ đạo tác nhân tìm kiếm và xác định các tín hiệu hành vi chính cho thấy mức độ hữu ích của tài liệu, bao gồm hành động duyệt (browsing actions), từ chối không duyệt (unbrowsed rejections), và dấu vết suy luận sau khi duyệt (post-browse reasoning traces). Dựa trên những hiểu biết này, họ đề xuất LRAT (Learning to Retrieve from Agent Trajectories), một khung làm việc đơn giản nhưng hiệu quả để khai thác tín hiệu giám sát truy xuất chất lượng cao từ quỹ đạo tác nhân và kết hợp cường độ liên quan thông qua tối ưu hóa có trọng số. LRAT không yêu cầu chú thích thủ công và có thể áp dụng cho quỹ đạo được tạo bởi bất kỳ tác nhân và bộ truy xuất nào, tạo ra một "vòng lặp dữ liệu tự cải thiện" bền vững.

III. Main Results:

Các thí nghiệm sâu rộng trên cả hai bộ dữ liệu nghiên cứu chuyên sâu (in-domain InfoSeek-Eval và out-of-domain BrowseComp-Plus) đã chứng minh rằng các bộ truy xuất được huấn luyện với LRAT cải thiện nhất quán khả năng thu hồi bằng chứng (evidence recall), tỷ lệ thành công nhiệm vụ từ đầu đến cuối (end-to-end task success) và hiệu quả thực thi trên nhiều kiến trúc và quy mô tác nhân khác nhau. Cụ thể, LRAT đạt được mức tăng trung bình +28.6% về tỷ lệ thành công trên InfoSeek-Eval và +27.5% về khả năng thu hồi bằng chứng trên BrowseComp-Plus. Kết quả này nhấn mạnh quỹ đạo tác nhân là một nguồn giám sát thực tế và có thể mở rộng, chỉ ra một hướng đi đầy hứa hẹn cho việc truy xuất trong kỷ nguyên tìm kiếm dựa trên tác nhân.

IV. Conclusion & Future Works:

Công trình này đã xác định sự không khớp cơ bản giữa việc huấn luyện truy xuất lấy con người làm trung tâm và tìm kiếm dựa trên tác nhân, đồng thời đề xuất một mô hình truy xuất mới dựa trên việc học từ quỹ đạo của tác nhân. Khung LRAT được đề xuất cung cấp một bước đi thực tế hướng tới việc huấn luyện bộ truy xuất phù hợp với tác nhân, đã được chứng minh là cải thiện hiệu suất tác nhân một cách nhất quán và hỗ trợ một vòng lặp dữ liệu tự cải thiện. Hướng nghiên cứu tương lai có thể tập trung vào việc khám phá thêm các tín hiệu hành vi của tác nhân để tinh chỉnh việc khai thác sự liên quan và mở rộng LRAT sang các miền ứng dụng tác nhân khác, cũng như nghiên cứu sâu hơn về tính bền vững và khả năng thích ứng của vòng lặp dữ liệu tự cải thiện trong các môi trường động.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về cách các kiến trúc LLM khác nhau được sử dụng làm 'trọng tài LLM' (LLM-as-judge) có thể ảnh hưởng đến chất lượng lọc tín hiệu tích cực và hiệu suất tổng thể của bộ truy xuất trong khung LRAT.
Khám phá các phương pháp để tích hợp các hành vi của tác nhân ngoài hành động duyệt và độ dài suy luận (ví dụ: các mẫu tái cấu trúc truy vấn, tổng hợp tài liệu, phục hồi lỗi) làm tín hiệu giám sát cho việc huấn luyện bộ truy xuất.
Phân tích tác động dài hạn và sự ổn định của 'vòng lặp dữ liệu tự cải thiện' (self-improving data flywheel) của LRAT trong các môi trường động, nơi hành vi và nhu cầu thông tin của tác nhân có thể thay đổi theo thời gian.

2. Patent:

Hệ thống tìm kiếm thông minh cho trợ lý ảo di động: Một hệ thống tìm kiếm được tối ưu hóa để phục vụ các trợ lý ảo trên điện thoại di động. Thay vì chỉ hiển thị kết quả cho người dùng, hệ thống này học cách các trợ lý ảo (ví dụ: Siri, Google Assistant) tương tác với thông tin, duyệt tài liệu và suy luận để hoàn thành nhiệm vụ phức tạp. Khi trợ lý ảo tìm kiếm thông tin, hệ thống sẽ tự động điều chỉnh kết quả để phù hợp với quy trình suy luận nhiều bước của trợ lý, giúp chúng tìm ra câu trả lời hiệu quả hơn cho người dùng.
Cải thiện gợi ý thông tin dựa trên hành vi của tác nhân AI trong ứng dụng: Một phương pháp để các ứng dụng di động có thể tự động cải thiện khả năng gợi ý nội dung hoặc thông tin liên quan. Bằng cách theo dõi cách một tác nhân AI bên trong ứng dụng (ví dụ: một bot hỗ trợ khách hàng, một tác nhân tóm tắt tin tức) tương tác với các tài liệu được cung cấp (ví dụ: tài liệu hỗ trợ, bài báo), hệ thống sẽ học được tài liệu nào thực sự hữu ích dựa trên các hành động như 'duyệt xem' và 'thời gian suy luận sau khi xem'. Điều này giúp ứng dụng cung cấp các gợi ý chất lượng cao hơn cho người dùng hoặc cho chính tác nhân AI trong các tương tác sau này.
Tối ưu hóa tìm kiếm nội dung cá nhân trên thiết bị di động bằng cách học từ tác nhân cục bộ: Một công nghệ cho phép điện thoại di động tự động tối ưu hóa công cụ tìm kiếm nội dung cá nhân (ảnh, tài liệu, ghi chú) trên thiết bị. Thay vì dựa vào các thuật toán tìm kiếm truyền thống, hệ thống sử dụng một tác nhân AI nhỏ chạy cục bộ để mô phỏng cách người dùng tìm kiếm và sử dụng thông tin. Dữ liệu về cách tác nhân này duyệt, chọn và suy luận từ các kết quả tìm kiếm sẽ được dùng để huấn luyện mô hình tìm kiếm, giúp nó hiểu rõ hơn về ngữ cảnh và ý định của người dùng, từ đó cung cấp kết quả tìm kiếm cá nhân hóa và chính xác hơn mà không cần gửi dữ liệu ra bên ngoài.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.04949
ArXiv Abstract	https://arxiv.org/abs/2604.04949
PDF Download	https://arxiv.org/pdf/2604.04949.pdf
Github Repository	https://github.com/Yuqi-Zhou/LRAT

4. ACES: Who Tests the Tests? Leave-One-Out AUC Consistency for Code Generation (47 votes)

Tác giả: Hui Sun, Yun-Ji Zhang, Zheng Xie, Ren-Biao Liu, Yali Du, Xin-Ye Li, Ming Li

Xuất bản lúc: 2026-04-05

Tag: LLMs, Code Generation, Code Testing, Test Quality, Ranking, AUC, Machine Learning, Deep Learning, Evaluation Metrics

I. Main Problem:

Thách thức chính là việc lựa chọn các ứng viên mã được tạo bởi LLM sử dụng các bộ kiểm thử cũng do LLM tạo ra, vì bản thân các bộ kiểm thử này có thể không chính xác. Các phương pháp hiện có hoặc coi tất cả các bộ kiểm thử là như nhau, hoặc dựa vào các phương pháp heuristic tùy ý để lọc các bộ kiểm thử không đáng tin cậy. Điều này tạo ra một sự phụ thuộc vòng tròn: cần các bộ kiểm thử đáng tin cậy để đánh giá chất lượng mã, và cần mã đáng tin cậy để đánh giá chất lượng bộ kiểm thử, nhưng lại không có cả hai.

II. Main Idea:

Ý tưởng chính là không cần xác định tính đúng đắn của bộ kiểm thử. Thay vào đó, "phiếu bầu" của bộ kiểm thử nên dùng để xếp hạng, không chỉ đơn thuần là đếm. Điều quan trọng không phải là có bao nhiêu mã vượt qua một bộ kiểm thử, mà là liệu bộ kiểm thử đó có khả năng phân biệt mã đúng với mã sai hay không. Để phá vỡ sự phụ thuộc vòng tròn, nhóm tác giả sử dụng đánh giá "leave-one-out" (bỏ một ra): giữ lại một bộ kiểm thử, xếp hạng các ứng viên mã dựa trên điểm tổng hợp của chúng trên tất cả các bộ kiểm thử còn lại, sau đó đo lường xem mẫu pass/fail của bộ kiểm thử đã giữ lại có khớp với bảng xếp hạng này hay không. Sự đồng nhất này được hình thức hóa thành leave-one-out AUC (LOO-AUC). Nhóm tác giả chứng minh rằng LOO-AUC kỳ vọng tỷ lệ thuận với khả năng phân biệt mã đúng/sai của mỗi bộ kiểm thử. Dựa trên đó, hệ thống ACES (AUC Consistency Scoring) được đề xuất với hai biến thể: ACES-C cung cấp các trọng số dạng đóng (closed-form) xấp xỉ tối ưu theo lý thuyết dưới một giả định nhẹ về chất lượng kiểm thử trung bình; và ACES-O tối ưu hóa lặp lại mục tiêu LOO-AUC có thể phân biệt được, không yêu cầu giả định trên. Cả hai phương pháp đều hoạt động chỉ dựa trên ma trận pass/fail nhị phân với chi phí tính toán không đáng kể.

III. Main Results:

ACES đạt hiệu suất Pass@k (tỷ lệ mã đúng trong top k) tốt nhất so với tất cả các phương pháp reranking chỉ dựa trên thực thi trên ba bộ benchmark HumanEval, HumanEval+ và MBPP. Khi kết hợp với các phương pháp phân tích tĩnh bổ trợ (như DS3), ACES mang lại kết quả tổng thể tốt nhất trên tất cả các bộ benchmark. Cụ thể, ACES-O đạt 84.15% Pass@1 trên HumanEval và 74.39% Pass@1 trên HumanEval+, vượt qua cả DS3 (phương pháp sử dụng tín hiệu phân tích tĩnh bổ sung). ACES-C + DS3 thường vượt trội hơn ACES-O + DS3 khi việc lọc trước (pre-filtering) cải thiện chất lượng ứng viên và làm cho Giả định 4 được thỏa mãn tốt hơn. Phân tích thực nghiệm xác nhận rằng trọng số dựa trên LOO-AUC có khả năng phát hiện hiệu quả các bộ kiểm thử mang tính thông tin và loại bỏ các bộ kiểm thử gây hiểu lầm, với khả năng nhận diện chính xác các bộ kiểm thử mang tính thông tin lên đến ít nhất 94.8%.

IV. Conclusion & Future Works:

ACES được xây dựng dựa trên ý tưởng rằng "phiếu bầu" của bộ kiểm thử nên xếp hạng chứ không chỉ đếm. Bằng cách đánh giá các bộ kiểm thử lẫn nhau thông qua LOO-AUC, ACES phá vỡ sự phụ thuộc vòng tròn giữa đánh giá chất lượng mã và chất lượng kiểm thử mà không cần giám sát bên ngoài. Identity LOO-AUC (Định lý 3) thiết lập rằng sự nhất quán có thể quan sát được của mỗi bộ kiểm thử với xếp hạng tỷ lệ thuận với sức mạnh phân biệt tiềm ẩn của nó, cung cấp tiêu chí đầu tiên có thể chứng minh được để phân biệt các bộ kiểm thử mang tính thông tin với các bộ kiểm thử gây hiểu lầm chỉ bằng cách sử dụng ma trận pass/fail nhị phân. ACES-C và ACES-O đạt hiệu suất Pass@k hàng đầu trong số các phương pháp chỉ thực thi; khi kết hợp với các tín hiệu phân tích tĩnh bổ sung, chúng mang lại kết quả tổng thể tốt nhất trên tất cả các bộ benchmark. Các hướng nghiên cứu tương lai bao gồm: 1. Kết hợp các mối tương quan giữa các bộ kiểm thử do LLM tạo ra để có được các ràng buộc chặt chẽ hơn và các lược đồ trọng số mạnh mẽ hơn. 2. Mở rộng nguyên tắc đánh giá chất lượng của người đánh giá thông qua sự nhất quán nội bộ sang các thiết lập đánh giá nhiễu khác, bao gồm các hệ thống LLM-as-judge, chú thích cộng đồng (crowdsourced annotation) và xác minh bằng các mô hình phần thưởng quy trình.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc tích hợp các mô hình đồ thị hoặc mạng nơ-ron chuyên biệt để nắm bắt mối quan hệ phức tạp và các mẫu lỗi chung giữa các bộ kiểm thử được tạo bởi LLM, nhằm cải thiện độ chính xác của việc gán trọng số và khả năng phân biệt của ACES.
Khám phá việc áp dụng khung LOO-AUC để đánh giá chất lượng của các mô hình đánh giá dựa trên LLM (LLM-as-judge) trong các nhiệm vụ khác nhau (ví dụ: đánh giá phản hồi văn bản, chất lượng dịch thuật), sử dụng sự nhất quán nội bộ giữa các đánh giá của LLM để xác định độ tin cậy của chúng mà không cần nhãn vàng.
Phát triển một phương pháp thích ứng cho ACES, nơi các trọng số của bộ kiểm thử được cập nhật động trong quá trình thực thi mã, cho phép mô hình học hỏi từ các mẫu pass/fail mới và điều chỉnh chiến lược xếp hạng theo thời gian thực, đặc biệt hữu ích trong các môi trường lập trình tương tác.

2. Patent:

Hệ thống kiểm tra mã di động tự động với đánh giá độ tin cậy của bài kiểm tra: Một ứng dụng trên điện thoại di động cho phép các nhà phát triển hoặc sinh viên lập trình kiểm tra các đoạn mã nhỏ. Ứng dụng sẽ không chỉ thực thi các bài kiểm tra được tạo tự động hoặc do người dùng cung cấp, mà còn sử dụng nguyên tắc LOO-AUC để đánh giá độ tin cậy của từng bài kiểm tra. Điều này giúp người dùng biết liệu bài kiểm tra của họ có thực sự hữu ích trong việc tìm lỗi hay không, hoặc liệu các bài kiểm tra được tạo tự động có đang đánh giá đúng chất lượng mã hay không, cung cấp phản hồi thông minh hơn về cả mã và bài kiểm tra.
Công cụ phân loại chất lượng câu hỏi/bài tập trắc nghiệm thông minh trên thiết bị di động: Một tính năng trong các ứng dụng học tập hoặc tạo bài kiểm tra trên điện thoại, sử dụng cơ chế tương tự LOO-AUC để phân tích phản hồi của nhiều người dùng (hoặc nhiều mô hình AI) đối với các câu hỏi trắc nghiệm. Hệ thống sẽ xác định câu hỏi nào có khả năng phân biệt tốt giữa người hiểu bài và người không hiểu bài, hoặc câu hỏi nào có thể gây nhầm lẫn. Điều này giúp giáo viên hoặc người tạo nội dung cải thiện chất lượng bài kiểm tra bằng cách tự động đánh dấu các câu hỏi "tốt" hoặc "xấu" dựa trên dữ liệu phản hồi, tối ưu hóa quá trình học tập.
Chức năng lọc tin tức/bài đăng trên mạng xã hội dựa trên độ tin cậy của nguồn thông tin: Một tính năng trên ứng dụng mạng xã hội hoặc đọc tin tức trên điện thoại, sử dụng một biến thể của phương pháp đánh giá "leave-one-out" để đánh giá độ tin cậy của các nguồn tin tức hoặc người dùng. Thay vì chỉ dựa vào số lượt thích/chia sẻ, hệ thống sẽ phân tích sự nhất quán trong các thông tin mà một nguồn cung cấp so với "đồng thuận" của các nguồn khác được đánh giá là đáng tin cậy. Điều này giúp người dùng tự động lọc bỏ các tin tức giả mạo hoặc nguồn thông tin không đáng tin cậy, cải thiện trải nghiệm đọc tin và giảm thiểu thông tin sai lệch, đặc biệt hữu ích khi các nguồn tin có thể có sai sót.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.03922
ArXiv Abstract	https://arxiv.org/abs/2604.03922
PDF Download	https://arxiv.org/pdf/2604.03922.pdf
Github Repository	N/A

5. GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers (37 votes)

Tác giả: Shufan Jiang, Chios Chen, Zhiyang Chen

Xuất bản lúc: 2026-04-03

Tag: LLMs, Quality Assurance, Bug Discovery, Game AI, Multi-agent systems, Benchmarks, ReAct

I. Main Problem:

Việc khám phá lỗi một cách tự động vẫn là một thách thức đáng kể trong phát triển phần mềm hiện đại. So với việc tạo mã, sự phức tạp của môi trường thời gian chạy động làm cho việc phát hiện lỗi trở nên khó khăn hơn đáng kể đối với các mô hình ngôn ngữ lớn (LLM). Các thách thức cụ thể bao gồm mục tiêu không rõ ràng (LLM phải tự xác định 'có gì đó không ổn'), yêu cầu khám phá toàn diện và lập kế hoạch có hệ thống trong không gian trạng thái hành vi rộng lớn, và khả năng suy luận về sự khác biệt giữa hành vi dự kiến và hành vi thực tế mà thường không có thông số kỹ thuật rõ ràng.

II. Main Idea:

Bài báo giới thiệu GBQA (Game Benchmark for Quality Assurance), một bộ tiêu chuẩn chứa 30 trò chơi và 124 lỗi đã được con người xác minh, được phân loại theo ba mức độ khó, để đánh giá khả năng của LLM trong việc tự động phát hiện lỗi phần mềm. Bộ tiêu chuẩn này được xây dựng bằng cách sử dụng một hệ thống đa tác nhân để phát triển trò chơi và tiêm lỗi một cách có thể mở rộng, với sự tham gia của các chuyên gia con người để đảm bảo tính chính xác. Ngoài ra, bài báo cung cấp một tác nhân tương tác cơ bản được trang bị vòng lặp ReAct nhiều vòng và cơ chế bộ nhớ phân cấp (bộ nhớ trong phiên và bộ nhớ liên phiên), cho phép khám phá môi trường trò chơi trong thời gian dài để phát hiện lỗi. Tác nhân này còn được tăng cường cơ chế phản ánh và xác minh cấp độ bước để phát hiện sự khác biệt giữa kết quả quan sát và kỳ vọng.

III. Main Results:

Các thí nghiệm sâu rộng trên các LLM tiên tiến cho thấy việc tự động phát hiện lỗi vẫn còn rất thách thức: mô hình hoạt động tốt nhất, Claude-4.6-Opus ở chế độ suy nghĩ, chỉ xác định được 48.39% số lỗi đã được xác minh. Chế độ Quality Assurance (có tài liệu) luôn vượt trội hơn chế độ Player Exploring (không có tài liệu) trên tất cả các mô hình và ngân sách bước. Các lỗi dễ dàng được phát hiện phần lớn trong 300 bước đầu tiên, trong khi các lỗi khó đòi hỏi nhiều bước tương tác hơn đáng kể và vẫn tiếp tục tăng trưởng ngay cả ở gần 500 bước. Mô-đun bộ nhớ đầy đủ (bao gồm cả bộ nhớ trong phiên và liên phiên) cho thấy lợi ích bổ sung từ việc theo dõi quỹ đạo trong phiên và tích lũy kiến thức giữa các phiên, giúp cải thiện hiệu suất đáng kể.

IV. Conclusion & Future Works:

GBQA cung cấp một nền tảng để thiết kế và so sánh các tác nhân QA trong tương lai, làm nổi bật khoảng cách đáng kể giữa khả năng của tác nhân hiện tại và yêu cầu thực tế của đảm bảo chất lượng. Các LLM hiện đại vẫn còn hạn chế đáng kể trong việc phát hiện lỗi, đặc biệt là đối với các lỗi dài hạn và phụ thuộc vào trạng thái. Trong tương lai, nhóm nghiên cứu sẽ mở rộng GBQA ra ngoài lĩnh vực trò chơi sang các miền rộng hơn, kết hợp nhận thức đa phương thức và tương tác GUI để phản ánh tốt hơn các kịch bản trong thế giới thực.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược khám phá tối ưu và hiệu quả chi phí cho các tác nhân LLM trong việc phát hiện lỗi phần mềm tương tác, tập trung vào việc vượt qua giới hạn ngân sách bước và tối ưu hóa lộ trình kiểm thử để phát hiện lỗi khó.
Phát triển một kiến trúc tác nhân LLM đa phương thức mới, có khả năng xử lý cả thông tin backend (API) và frontend (GUI, hình ảnh) để thực hiện kiểm thử tự động, đặc biệt trong các ứng dụng có giao diện người dùng phức tạp.
Đánh giá và cải thiện khả năng của LLMs trong việc không chỉ phát hiện lỗi mà còn phân tích nguyên nhân gốc rễ và tự động đề xuất các giải pháp sửa lỗi, từ đó hoàn thiện chu trình đảm bảo chất lượng phần mềm tự động.

2. Patent:

Hệ thống tự động kiểm tra lỗi ứng dụng di động thông minh: Một ứng dụng trên điện thoại di động có khả năng tự động học cách người dùng tương tác với các ứng dụng khác. Khi một ứng dụng được cập nhật hoặc có tính năng mới, hệ thống này sẽ tự động mô phỏng các thao tác của người dùng để kiểm tra xem mọi thứ có hoạt động đúng như mong đợi hay không. Nếu phát hiện ra bất kỳ hành vi bất thường nào (ví dụ: ứng dụng bị treo, chức năng không phản hồi, hiển thị sai), nó sẽ tự động tạo một báo cáo lỗi chi tiết với các bước tái tạo và gửi cho nhà phát triển mà không cần người dùng phải tự làm.
Trợ lý phát hiện sự cố hiệu suất điện thoại chủ động: Một tính năng tích hợp vào hệ điều hành điện thoại di động, hoạt động ngầm để theo dõi hiệu suất của các ứng dụng và hệ thống. Nếu phát hiện một ứng dụng nào đó bắt đầu tiêu thụ pin bất thường, gây nóng máy, hoặc thường xuyên bị chậm/treo hơn bình thường, trợ lý này sẽ cảnh báo người dùng. Nó cũng có thể tự động ghi lại dữ liệu liên quan và gợi ý các hành động khắc phục hoặc gửi báo cáo ẩn danh cho nhà sản xuất điện thoại để cải thiện.
Công cụ kiểm thử trò chơi di động dựa trên AI cho nhà phát triển: Một công cụ phần mềm dành cho các nhà phát triển trò chơi di động, cho phép họ tự động hóa quá trình kiểm thử. Nhà phát triển có thể thiết lập các mục tiêu kiểm thử bằng ngôn ngữ tự nhiên, và công cụ AI sẽ điều khiển các tác nhân ảo chơi trò chơi, khám phá các khu vực khác nhau và cố gắng tìm ra lỗi. Khi lỗi được phát hiện, công cụ sẽ cung cấp một bản ghi chi tiết các bước đã thực hiện và mô tả lỗi, giúp nhà phát triển tiết kiệm thời gian và công sức trong việc đảm bảo chất lượng trò chơi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.02648
ArXiv Abstract	https://arxiv.org/abs/2604.02648
PDF Download	https://arxiv.org/pdf/2604.02648.pdf
Github Repository	https://github.com/camel-ai/GBQA

Tác giả: Difan Jiao, Qianfeng Wen, Blair Yang, Zhenwei Tang, Ashton Anderson

Xuất bản lúc: 2026-04-02

Tag: LLMs, Reinforcement Learning, Self-Refinement, Reasoning, Policy Optimization, RLVR

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLM), ngay cả những mô hình có khả năng suy luận mạnh mẽ, vẫn thường tạo ra các giải pháp chứa lỗi có thể sửa được (ví dụ: các bước dẫn xuất không đầy đủ, lỗi đại số hoặc các con đường giải pháp không hiệu quả). Các phương pháp tự tinh chỉnh hiện có gặp phải các hạn chế:

Các phương pháp không dựa trên huấn luyện (chỉ sử dụng prompt) không học được một chính sách tinh chỉnh có thể tái sử dụng và có thể không ổn định, thậm chí làm giảm hiệu suất.
Các phương pháp dựa trên huấn luyện thường yêu cầu giám sát quá trình, chú thích phản biện hoặc tín hiệu chính xác rõ ràng, những thứ này không phải lúc nào cũng có sẵn trong thực tế (ví dụ: không có mô hình mạnh hơn để cung cấp phản biện đáng tin cậy hoặc sự giám sát của con người không đủ cho các vấn đề phức tạp). Điều này hạn chế khả năng ứng dụng của chúng trong các thiết lập có phản hồi bên ngoài phong phú.

II. Main Idea:

Chúng tôi giới thiệu ThinkTwice, một khung RLVR (Reinforcement Learning with Verifiable Rewards) đơn giản gồm hai giai đoạn, cùng tối ưu hóa các LLM để giải quyết các vấn đề suy luận và tinh chỉnh câu trả lời, dựa trên Group Relative Policy Optimization (GRPO). Trong mỗi cặp bước huấn luyện, ThinkTwice hoạt động như sau:

Giai đoạn 1 (Tối ưu hóa suy luận): Tối ưu hóa mô hình để giải quyết các vấn đề suy luận.
Giai đoạn 2 (Tối ưu hóa tinh chỉnh): Tối ưu hóa mô hình để tinh chỉnh các giải pháp của chính nó cho cùng một vấn đề.

Điểm cốt lõi là ThinkTwice sử dụng cùng một phần thưởng nhị phân về tính đúng đắn trong cả hai giai đoạn mà không cần tín hiệu chính xác bổ sung, chú thích phản biện hoặc các mô hình giáo viên bên ngoài. Giai đoạn tinh chỉnh cung cấp cho mô hình cơ hội thứ hai để giải quyết vấn đề dựa trên giải pháp trước đó của nó. ThinkTwice thể hiện một chương trình giảng dạy ngầm định 'sửa chữa rồi củng cố' (rectify-then-fortify): trong giai đoạn đầu huấn luyện, việc tinh chỉnh chủ yếu sửa lỗi; khi mô hình cải thiện, nó tự nhiên chuyển sang bảo toàn và đánh bóng các giải pháp đã đúng. Phương pháp này chỉ chọn ngẫu nhiên một giải pháp cơ sở để tinh chỉnh, đảm bảo bao quát toàn bộ các mẫu huấn luyện và thiết lập một chương trình giảng dạy thích ứng.

III. Main Results:

ThinkTwice đã cải thiện đáng kể cả khả năng suy luận và tự tinh chỉnh so với các phương pháp tối ưu hóa chính sách trực tuyến cạnh tranh.

Trên Qwen3-4B, ThinkTwice vượt trội hơn GRPO trên bộ dữ liệu AIME 5 điểm phần trăm trước khi tinh chỉnh và 11.5 điểm sau một bước tự tinh chỉnh, được đo bằng pass@4.
Trên Qwen3-4B, ThinkTwice đạt điểm trung bình cao nhất là 65.57% cho khả năng suy luận và 71.88% cho khả năng tự tinh chỉnh, vượt trội so với các baseline khác như DAPO và GRPO.
Trên OLMo3-7B, ThinkTwice cũng đạt điểm trung bình cao nhất cho cả suy luận và tự tinh chỉnh.
Khi được sử dụng làm mô hình tinh chỉnh cho các giải pháp của các baseline khác, ThinkTwice vẫn đạt điểm cao nhất, cho thấy khả năng tinh chỉnh của nó có thể tổng quát hóa.
Phân tích động lực huấn luyện cho thấy ThinkTwice duy trì tỷ lệ sửa lỗi cao hơn và tỷ lệ làm hỏng giải pháp đúng thấp hơn đáng kể so với các baseline.
ThinkTwice chỉ làm tăng 3% chi phí huấn luyện cho mỗi bước và đạt đến điểm kiểm tra tốt nhất trong thời gian ngắn hơn 16% so với GRPO (7.2 giờ so với 8.6 giờ) do hội tụ nhanh hơn.

IV. Conclusion & Future Works:

ThinkTwice là một khung RLVR hiệu quả, kết hợp tối ưu hóa khả năng suy luận và tự tinh chỉnh bằng cách sử dụng cùng một phần thưởng nhị phân về tính đúng đắn, không cần tín hiệu chính xác, chú thích phản biện hay trình xác minh bên ngoài. Phương pháp này vượt trội so với các baseline cạnh tranh và thể hiện một chương trình giảng dạy ngầm định 'sửa chữa rồi củng cố' với chi phí huấn luyện tối thiểu.

Các hướng nghiên cứu trong tương lai bao gồm:

Áp dụng ThinkTwice cho các tác vụ khác có phần thưởng dựa trên kết quả, chẳng hạn như tạo mã, do thiết kế của nó không phụ thuộc vào lĩnh vực cụ thể.
Khám phá khả năng tinh chỉnh lặp lại nhiều bước, vì khung này hỗ trợ tự nhiên số lượng lượt tinh chỉnh tùy ý trong định dạng hội thoại nhiều lượt.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao khả năng tạo mã và gỡ lỗi của LLM thông qua huấn luyện kết hợp suy luận và tự tinh chỉnh với ThinkTwice.
Nghiên cứu cơ chế tự tinh chỉnh đa bước cho các mô hình ngôn ngữ lớn sử dụng khung ThinkTwice để cải thiện hiệu suất suy luận phức tạp.
Phân tích sâu sắc chương trình giảng dạy 'rectify-then-fortify' ngầm định trong huấn luyện LLM để suy luận và tự tinh chỉnh.

2. Patent:

Hệ thống trợ lý AI trên điện thoại thông minh có khả năng tự sửa lỗi cho các tác vụ phức tạp: Một trợ lý ảo trên điện thoại di động có thể tự động xem xét lại và cải thiện các câu trả lời ban đầu của mình cho các yêu cầu phức tạp của người dùng, như tính toán đa bước hoặc lập kế hoạch du lịch, mà không cần người dùng chỉ ra lỗi sai. Hệ thống này học cách tinh chỉnh phản hồi của mình theo thời gian bằng cách 'suy nghĩ lại' về những gì nó đã tạo ra.
Ứng dụng giải quyết vấn đề động với tính năng tinh chỉnh lặp lại: Một ứng dụng di động dành cho việc giải quyết các bài toán học thuật hoặc chuyên môn (ví dụ: toán, vật lý, thử thách lập trình) trong đó AI cung cấp một giải pháp ban đầu, sau đó, nếu phát hiện các điểm có thể cải thiện hoặc các mẫu lỗi phổ biến, sẽ tự động tạo ra một phiên bản tinh chỉnh của giải pháp. Điều này giúp người dùng không chỉ nhận được câu trả lời mà còn hiểu cách một câu trả lời có thể được cải thiện hoặc sửa chữa.
Hệ thống học tập cá nhân hóa với phản hồi thích ứng: Một nền tảng học tập thích ứng trên thiết bị di động sử dụng nguyên tắc 'ThinkTwice'. Khi người dùng gửi câu trả lời cho một bài tập, hệ thống trước tiên cố gắng giải bài đó. Nếu câu trả lời ban đầu của hệ thống sai, nhưng câu trả lời tự tinh chỉnh của nó đúng, hệ thống sẽ xác định đây là 'cơ hội học tập' và cung cấp giải thích phù hợp cho người dùng, chỉ ra cả suy nghĩ ban đầu không chính xác và quá trình suy luận đã được sửa chữa. Điều này giúp người dùng học hỏi từ 'lỗi' và các chỉnh sửa của AI.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.01591
ArXiv Abstract	https://arxiv.org/abs/2604.01591
PDF Download	https://arxiv.org/pdf/2604.01591.pdf
Github Repository	https://github.com/CSSLab/ThinkTwice

7. Beyond Accuracy: Unveiling Inefficiency Patterns in Tool-Integrated Reasoning (31 votes)

Tác giả: Qisheng Su, Shiting Huang, Zhen Fang, Ziyan Chen, Zehui Chen, Feng Zhao

Xuất bản lúc: 2026-04-07

Tag: LLMs, Tool-Integrated Reasoning, Efficiency Metrics, KV-Cache, Hardware-aware, Inference Cost, Performance Evaluation

I. Main Problem:

Các số liệu hiệu quả hiện có cho suy luận tích hợp công cụ (TIR) của LLMs (như số lượng token và số lượng lệnh gọi công cụ) không thể nắm bắt được độ trễ suy luận thực tế của mô hình. Điều này là do các lệnh gọi công cụ gây ra việc trục xuất KV-Cache và các phản hồi công cụ dài, không được lọc làm tăng độ dài ngữ cảnh, dẫn đến chi phí giai đoạn giải mã (decode phase) bị giới hạn bởi bộ nhớ tăng lên và yêu cầu tính toán lại. Các số liệu hiện tại cũng bỏ qua chi phí không đối xứng giữa giai đoạn tiền xử lý (prefill phase) bị giới hạn bởi tính toán và giai đoạn giải mã bị giới hạn bởi bộ nhớ, thiếu một khuôn khổ thống nhất để đánh giá chi phí thực sự của suy luận nội bộ so với việc sử dụng công cụ bên ngoài.

II. Main Idea:

Các tác giả giới thiệu PTE (Prefill Token Equivalents), một số liệu hiệu quả TIR nhận biết phần cứng, nhằm thống nhất chi phí suy luận nội bộ và sử dụng công cụ bên ngoài. PTE tính toán rõ ràng các kịch bản KV-Cache không thể tái sử dụng và phản hồi công cụ dài. Nó mô hình hóa chi phí không đối xứng của giai đoạn prefill (bị giới hạn bởi tính toán) và giai đoạn decode (bị giới hạn bởi bộ nhớ), định giá chi phí giải mã dựa trên bộ nhớ theo đơn vị của một token prefill bị giới hạn bởi tính toán, sử dụng một hệ số γ không thứ nguyên. Bài báo cũng xác định và phân tích bốn mô hình không hiệu quả trong TIR: Confirmatory Tool Usage, Tool-Mixing, Lack of Tool Priors và Tool Format Collapse.

III. Main Results:

Xác nhận trong môi trường công nghiệp có tính đồng thời cao cho thấy PTE tương quan chặt chẽ hơn đáng kể với độ trễ thực tế (r=0.9253) so với số lượng token tiêu chuẩn (r=-0.3750). PTE duy trì bảng xếp hạng hiệu quả nhất quán trên các cấu hình phần cứng đa dạng (hệ số tương quan thứ hạng Spearman ρ > 0.95). Các thí nghiệm trên năm bộ dữ liệu TIR định lượng chi phí PTE và xác định bốn mô hình không hiệu quả. Quan trọng hơn, các quỹ đạo có chi phí PTE cao hơn có xu hướng có độ chính xác suy luận thấp hơn, cho thấy việc sử dụng nhiều công cụ hơn không nhất thiết cải thiện chất lượng câu trả lời. Các mô hình SOTA với độ chính xác gần như giống hệt nhau có thể khác nhau về PTE theo cấp số nhân. Chế độ "Thinking" chỉ có lợi khi độ khó của tác vụ hợp lý hóa chi phí tính toán tăng thêm, nếu không sẽ dẫn đến "over-thinking" và tăng PTE mà giảm độ chính xác.

IV. Conclusion & Future Works:

Nghiên cứu giới thiệu PTE, một số liệu nhận biết phần cứng thống nhất chi phí suy luận và sử dụng công cụ bằng cách mô hình hóa tính không đối xứng của prefill-decode. Các thí nghiệm cho thấy chi phí TIR có thể khác nhau theo cấp số nhân, chủ yếu do bốn mô hình không hiệu quả cụ thể. Tồn tại một mối tương quan giữa PTE thấp và độ chính xác suy luận cao. Các phát hiện này cung cấp một cái nhìn thống nhất về hiệu quả TIR và mở ra một góc nhìn mới cho công việc trong tương lai. Các hạn chế bao gồm việc PTE không đo lường độ trễ API thực tế, tham số γ là một sự trừu tượng hóa đơn giản và việc xác nhận thực nghiệm bị giới hạn bởi các tác vụ và mô hình cụ thể. Công việc trong tương lai có thể khám phá tính tổng quát của các phát hiện này trên các miền và kiến trúc rộng hơn.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa chiến lược sử dụng công cụ dựa trên PTE: Nghiên cứu phát triển các thuật toán hoặc chiến lược học tăng cường (RL) mới nhằm tối ưu hóa việc gọi công cụ và lập kế hoạch suy luận trong LLMs, với mục tiêu giảm thiểu chi phí PTE mà vẫn duy trì hoặc cải thiện độ chính xác. Tập trung vào việc tránh các mẫu không hiệu quả như 'Confirmatory Tool Usage' và 'Tool-Mixing' bằng cách tích hợp trực tiếp PTE vào hàm phần thưởng.
Phát triển kiến trúc LLM nhận biết phần cứng để nâng cao hiệu quả TIR: Thiết kế các kiến trúc mô hình ngôn ngữ lớn hoặc cơ chế quản lý KV-Cache mới có khả năng giảm thiểu tác động của việc trục xuất KV-Cache và phản hồi công cụ dài. Nghiên cứu các phương pháp nén hoặc quản lý bộ nhớ đệm thông minh hơn để tối ưu hóa chi phí giải mã (decode phase) trong các kịch bản TIR.
Mở rộng và tổng quát hóa PTE cho các kịch bản thực tế phức tạp: Mở rộng metric PTE để bao gồm các chi phí thực tế khác như độ trễ API, chi phí năng lượng và các yếu tố tài nguyên phần cứng khác (ngoài HBM và FLOPs). Đồng thời, xác thực PTE trên nhiều loại tác vụ TIR đa dạng hơn (ví dụ: tác vụ tương tác người-máy, tác vụ dựa trên nhiều công cụ chuyên biệt) và các kiến trúc LLM mới nổi để kiểm tra tính tổng quát của nó.

2. Patent:

Hệ thống trợ lý ảo thông minh tiết kiệm pin: Một hệ thống trợ lý ảo trên điện thoại di động sử dụng phương pháp đánh giá hiệu quả giống PTE để tự động điều chỉnh cách nó sử dụng các công cụ bên ngoài (như tìm kiếm web, tính toán). Khi người dùng yêu cầu, trợ lý sẽ phân tích độ phức tạp của tác vụ và chọn chiến lược thực hiện ít tốn tài nguyên xử lý nhất, giảm thiểu việc tải lại bộ nhớ và phản hồi công cụ không cần thiết, giúp kéo dài thời lượng pin của điện thoại.
Bộ lọc phản hồi công cụ thông minh cho ứng dụng AI: Một tính năng trên điện thoại di động tích hợp vào các ứng dụng AI (ví dụ: ứng dụng dịch thuật, tóm tắt văn bản) để tự động lọc và tóm tắt các phản hồi dài từ các công cụ bên ngoài. Thay vì hiển thị toàn bộ nội dung, hệ thống sẽ chỉ trích xuất những thông tin quan trọng nhất, giảm kích thước dữ liệu cần xử lý bởi mô hình ngôn ngữ và tiết kiệm bộ nhớ, từ đó tăng tốc độ phản hồi của ứng dụng và giảm mức sử dụng dữ liệu di động.
Công cụ chẩn đoán hiệu suất ứng dụng AI thời gian thực: Một ứng dụng hoặc tính năng hệ thống trên điện thoại di động cho phép các nhà phát triển hoặc người dùng nâng cao theo dõi và chẩn đoán hiệu quả hoạt động của các ứng dụng AI tích hợp công cụ. Nó sẽ hiển thị các chỉ số tương tự PTE (ví dụ: chi phí xử lý tương đương) cho mỗi bước tương tác, giúp xác định các điểm nghẽn về hiệu suất và các mẫu sử dụng công cụ không hiệu quả, từ đó tối ưu hóa ứng dụng để chạy mượt mà hơn và ít tốn tài nguyên hơn trên thiết bị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.05404
ArXiv Abstract	https://arxiv.org/abs/2604.05404
PDF Download	https://arxiv.org/pdf/2604.05404.pdf
Github Repository	https://github.com/sqs-ustc/tool-reasoning-framework-PTE

8. Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision (31 votes)

Tác giả: Hyunsoo Cha, Wonjung Woo, Byungjun Kim, Hanbyul Joo

Xuất bản lúc: 2026-04-06

Tag: Virtual Try-On, Human Image Animation, Diffusion Models, Video Generation, Deep Learning, Synthetic Data, Vision-Language Models, Diffusion Transformer

I. Main Problem:

Các pipeline thử đồ ảo hai giai đoạn hiện tại, tách biệt giữa chuyển đổi trang phục dựa trên hình ảnh và hoạt ảnh dựa trên tư thế, thường gặp phải các vấn đề như trôi mất nhận dạng (identity drift), biến dạng trang phục, không nhất quán giữa mặt trước và mặt sau, thiếu hiệu quả tính toán và mất thông tin cần thiết để tạo ra hình ảnh nhất quán từ nhiều góc nhìn. Ngoài ra, việc thiếu dữ liệu giám sát bộ ba (triplet supervision) chất lượng cao (hình ảnh người, hình ảnh trang phục và video RGB của cùng một người mặc trang phục mục tiêu nhưng hình ảnh người ban đầu phải mặc trang phục khác) cũng là một thách thức. Việc chuyển đổi trang phục từ hình ảnh "in-the-wild" (trong môi trường thực tế) và sự đa dạng hạn chế của dữ liệu cũng gây ra khó khăn.

II. Main Idea:

Vanast là một framework thống nhất, tạo ra video hoạt ảnh người mặc trang phục được chuyển đổi trực tiếp từ một hình ảnh người, các hình ảnh trang phục và một video hướng dẫn tư thế trong một bước duy nhất. Để giải quyết các vấn đề đã nêu, Vanast đưa ra các đóng góp chính sau:

Xây dựng dữ liệu giám sát bộ ba tổng hợp quy mô lớn: Bao gồm việc tạo ra các hình ảnh người giữ nguyên nhận dạng nhưng mặc trang phục thay thế (khác với trang phục mục tiêu trong video), thu thập bộ ba trang phục cả trên và dưới để vượt qua giới hạn của các video mua sắm trực tuyến chỉ có một loại trang phục, và xây dựng các bộ ba "in-the-wild" đa dạng mà không cần hình ảnh trang phục catalog.
Kiến trúc Dual Module cho video Diffusion Transformers (DiT): Kiến trúc này bao gồm một Human Animation Module (HAM) tập trung vào tạo hoạt ảnh người và một Garment Transfer Module (GTM) xử lý chuyển đổi trang phục. Các module này chia sẻ một phần kiến trúc backbone DiT, cho phép tích hợp thông tin ngữ cảnh một cách tuần tự, ổn định quá trình huấn luyện, bảo toàn chất lượng sinh ảnh đã được huấn luyện trước và cải thiện độ chính xác của trang phục, tuân thủ tư thế, và giữ gìn nhận dạng. Kiến trúc này cũng hỗ trợ nội suy trang phục zero-shot.

III. Main Results:

Vanast vượt trội hơn hẳn so với các pipeline hai giai đoạn kết hợp các mô hình thử đồ ảo và hoạt ảnh người hiện đại trên tất cả các chỉ số định lượng (L1, PSNR, SSIM, LPIPS, FID, VFID) trên cả tập dữ liệu Internet và ViViD. Kết quả định tính cho thấy Vanast tạo ra hoạt ảnh tuân thủ tư thế và chuyển đổi trang phục chính xác nhất, đồng thời giữ gìn nhận dạng với độ chân thực cao, gần giống với ground truth nhất. Nghiên cứu cắt bỏ (ablation study) xác nhận hiệu quả của kiến trúc Dual Module và bộ dữ liệu bộ ba tổng hợp. Vanast cũng chứng minh khả năng ứng dụng trong việc nội suy trang phục (tạo ra các biến thể trang phục mượt mà), chuyển đổi nhiều trang phục cùng lúc (cả trên và dưới) và chuyển đổi trang phục từ hình ảnh "in-the-wild", duy trì tính nhất quán theo thời gian mạnh mẽ trong các video được tạo ra.

IV. Conclusion & Future Works:

Vanast là một framework thống nhất tiên phong trong việc tổng hợp video hoạt ảnh người với trang phục được chuyển đổi trực tiếp từ một hình ảnh người, hình ảnh trang phục và video hướng dẫn tư thế. Bằng cách xây dựng dữ liệu giám sát bộ ba quy mô lớn từ video "in-the-wild" và dữ liệu thu thập bổ sung, Vanast giải quyết các hạn chế về cấu trúc của dữ liệu trực tuyến hiện có, cho phép huấn luyện bảo toàn nhận dạng với sự đa dạng trang phục phong phú. Kiến trúc Dual Module được đề xuất cải thiện đáng kể độ chân thực của trang phục, tuân thủ tư thế và bảo toàn nhận dạng, đồng thời hỗ trợ nội suy trang phục zero-shot và chuyển đổi nhiều trang phục mà không cần tinh chỉnh thêm. Các thí nghiệm rộng rãi chứng minh rằng Vanast liên tục vượt qua các pipeline hai giai đoạn và tổng quát hóa hiệu quả đối với hình ảnh trang phục "in-the-wild" với sự nhất quán theo thời gian mạnh mẽ. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc cải thiện độ chân thực và chi tiết của tương tác trang phục phức tạp, mở rộng khả năng xử lý các hình dạng và kích thước cơ thể đa dạng, cũng như tối ưu hóa để suy luận theo thời gian thực và triển khai trên các thiết bị biên.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về mô hình Vanast cải tiến để xử lý tương tác trang phục phức tạp hơn, bao gồm các hiệu ứng vật lý của vải, nếp gấp và cách ánh sáng tương tác với các chất liệu khác nhau trong điều kiện chuyển động nhanh hoặc tư thế khó.
Khám phá khả năng mở rộng của Vanast để tạo hoạt ảnh cho các hình dạng cơ thể người đa dạng và các loại hình chuyển động phức tạp (ví dụ: nhảy múa, thể thao) trong khi vẫn duy trì độ chính xác và tính nhất quán của trang phục.
Phát triển các phương pháp tối ưu hóa Vanast cho suy luận theo thời gian thực và triển khai trên các thiết bị biên (ví dụ: điện thoại thông minh), tập trung vào nén mô hình và kiến trúc hiệu quả hơn để giảm yêu cầu tính toán mà vẫn giữ được chất lượng cao.

2. Patent:

Một ứng dụng di động cho phép người dùng chụp ảnh bản thân và chọn các mẫu trang phục từ một danh mục ảo. Ứng dụng sẽ sử dụng công nghệ tạo hoạt ảnh người để hiển thị người dùng đang mặc thử trang phục đó trong một video ngắn, thực hiện các cử động cơ bản như xoay người hoặc bước đi, giúp họ hình dung trang phục trông như thế nào khi chuyển động thực tế.
Một hệ thống tích hợp vào các nền tảng thương mại điện tử di động, cho phép các nhà bán lẻ tải lên hình ảnh sản phẩm thời trang và hình ảnh người mẫu. Hệ thống này sẽ tự động tạo ra các video quảng cáo ngắn, cá nhân hóa, trong đó người mẫu mặc sản phẩm, thực hiện các tư thế và chuyển động khác nhau, có thể được tùy chỉnh để phù hợp với sở thích của từng khách hàng tiềm năng.
Một tính năng trong ứng dụng tạo ảnh đại diện hoặc nhân vật ảo trên điện thoại, cho phép người dùng tạo một phiên bản kỹ thuật số của chính họ. Sau đó, họ có thể "mặc" các trang phục ảo khác nhau lên ảnh đại diện này và tạo ra các video hoạt hình ngắn với nhiều tư thế, giúp cá nhân hóa trải nghiệm trong game, mạng xã hội hoặc metaverse.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.04934
ArXiv Abstract	https://arxiv.org/abs/2604.04934
PDF Download	https://arxiv.org/pdf/2604.04934.pdf
Github Repository	https://github.com/snuvclab/vanast

9. Watch Before You Answer: Learning from Visually Grounded Post-Training (26 votes)

Tác giả: Yuxuan Zhang, EunJeong Hwang, Huaisong Zhang, Penghui Du, Yiming Jia, Dongfu Jiang, Xuan He, Shenhui Zhang, Ping Nie, Peter West, Kelsey R. Allen

Xuất bản lúc: 2026-04-06

Tag: Long video understanding, Multimodal reasoning, Vision-language models, VLM, Reinforcement Learning, Data Curation

I. Main Problem:

Hiệu suất hiểu video của các mô hình thị giác-ngôn ngữ (VLM) vẫn còn kém so với khả năng suy luận dựa trên văn bản. Nghiên cứu này phát hiện ra rằng 40-60% câu hỏi trong các bộ dữ liệu đánh giá hiểu video dài phổ biến có thể được trả lời chỉ bằng cách sử dụng các tín hiệu văn bản (linguistic shortcutting), và vấn đề này cũng phổ biến trong các bộ dữ liệu huấn luyện sau (post-training datasets), làm suy yếu khả năng cải thiện hiệu suất hiểu video của VLM. Kích thước mô hình lớn hơn hoặc phiên bản mới hơn cải thiện khả năng suy luận chỉ bằng văn bản nhưng lợi ích thị giác thường không thay đổi hoặc thậm chí giảm sút, cho thấy chất lượng dữ liệu là nút thắt chính.

II. Main Idea:

Chúng tôi giới thiệu VidGround, một giải pháp đơn giản nhưng hiệu quả để huấn luyện sau (post-training) các VLM bằng cách chỉ sử dụng các câu hỏi thực sự dựa trên thị giác (visually grounded questions) mà không có bất kỳ thiên vị ngôn ngữ nào. VidGround kết hợp các kỹ thuật học tăng cường (RL-based post-training) với phương pháp chọn lọc dữ liệu đơn giản: sử dụng một VLM mạnh (như GPT-5-mini) để xác định và loại bỏ các câu hỏi có thể trả lời chỉ bằng văn bản. Bằng cách này, chúng tôi chỉ sử dụng 69.1% dữ liệu huấn luyện sau ban đầu nhưng tập trung vào chất lượng dữ liệu để cải thiện khả năng hiểu video thực sự của mô hình.

III. Main Results:

Khi được sử dụng kết hợp với các thuật toán huấn luyện sau dựa trên RL, VidGround cải thiện hiệu suất lên tới 6.2 điểm (trên điểm trung bình tổng thể) so với việc sử dụng toàn bộ bộ dữ liệu, trong khi chỉ sử dụng 69.1% dữ liệu huấn luyện sau ban đầu. Trên các câu hỏi yêu cầu hiểu thị giác thực sự (VG questions), VidGround đạt được mức tăng 3.5, 4.5 và 5.0 điểm trên điểm trung bình VG ở 16, 32 và 64 khung hình tương ứng. VidGround cũng vượt trội hơn một số kỹ thuật huấn luyện sau phức tạp hơn, chứng minh rằng chất lượng dữ liệu là một nút thắt lớn. Phân tích chỉ ra rằng 40-60% câu hỏi trong các bộ dữ liệu đánh giá phổ biến và khoảng 30% trong các bộ dữ liệu huấn luyện sau có thể được trả lời chỉ bằng văn bản.

IV. Conclusion & Future Works:

Kết quả nghiên cứu nhấn mạnh tầm quan trọng của việc tuyển chọn dữ liệu huấn luyện sau và các bộ dữ liệu đánh giá thực sự yêu cầu hiểu thị giác để thúc đẩy sự phát triển của các VLM có năng lực hơn. Hiệu quả của việc sử dụng các câu hỏi dựa trên thị giác cho thấy tiềm năng lớn để cải thiện thông qua các giải pháp thuật toán nhằm tối đa hóa tín hiệu liên kết thị giác.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các phương pháp thuật toán nâng cao để tối đa hóa tín hiệu liên kết thị giác (visual grounding signal) trong quá trình huấn luyện sau, ví dụ bằng cách điều chỉnh trọng số động giữa các tín hiệu thị giác và ngôn ngữ dựa trên độ phức tạp của nhiệm vụ.
Xây dựng các phương pháp tự động và mạnh mẽ hơn để phát hiện và loại bỏ các câu hỏi có thiên vị ngôn ngữ trong tập dữ liệu video quy mô lớn, có thể sử dụng học không giám sát (unsupervised learning) hoặc huấn luyện đối kháng (adversarial training) để tạo ra các bộ dữ liệu sạch hơn.
Mở rộng khái niệm "huấn luyện sau dựa trên thị giác" (visually grounded post-training) sang các nhiệm vụ đa phương thức khác ngoài hiểu video, như AI thực thể hóa (embodied AI) hoặc tương tác người-robot phức tạp, nơi sự hiểu biết thị giác thực sự là rất quan trọng.

2. Patent:

Hệ thống tìm kiếm và tóm tắt video thông minh trên điện thoại: Một ứng dụng di động cho phép người dùng tìm kiếm các hành động hoặc đối tượng cụ thể trong các video đã quay (ví dụ: "tìm tất cả các đoạn video con tôi đang đạp xe") và tóm tắt các video dài bằng cách chỉ tập trung vào các sự kiện quan trọng về mặt thị giác, bỏ qua các mô tả chỉ dựa vào văn bản. Điều này đảm bảo việc hiểu video dựa trên nội dung trực quan thực sự.
Trợ lý hướng dẫn thực tế ảo tăng cường (AR) dựa trên thị giác: Một ứng dụng trên điện thoại sử dụng camera để quan sát môi trường xung quanh người dùng (ví dụ: khi lắp ráp đồ nội thất hoặc sửa chữa thiết bị). Ứng dụng sẽ cung cấp hướng dẫn từng bước và xác nhận trực quan rằng người dùng đã thực hiện đúng hành động trước khi chuyển sang bước tiếp theo, ngăn chặn người dùng bỏ qua các bước chỉ dựa vào hướng dẫn bằng văn bản.
Công cụ tạo nội dung giáo dục tương tác yêu cầu hiểu thị giác: Một tính năng trên điện thoại cho phép giáo viên hoặc người dùng tạo các bài kiểm tra hoặc câu hỏi tương tác từ video. Các câu hỏi này được thiết kế đặc biệt để chỉ có thể trả lời được nếu người xem thực sự xem và hiểu nội dung hình ảnh của video, thay vì chỉ đọc phụ đề hoặc suy luận từ kiến thức chung, từ đó nâng cao hiệu quả học tập.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.05117
ArXiv Abstract	https://arxiv.org/abs/2604.05117
PDF Download	https://arxiv.org/pdf/2604.05117.pdf
Github Repository	https://github.com/reacher-z/vidground

10. MegaTrain: Full Precision Training of 100B+ Parameter Large Language Models on a Single GPU (25 votes)

Tác giả: Zhengqing Yuan, Hanchi Sun, Lichao Sun, Yanfang Ye

Xuất bản lúc: 2026-04-06

Tag: Large Language Models, LLMs, Training, Single GPU, Memory-centric, Offloading, Pipelined Execution, Autograd, Full Precision, Deep Learning

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) ngày càng mở rộng quy mô lên hàng trăm tỷ tham số. Việc tinh chỉnh và các chế độ hậu huấn luyện khác yêu cầu tải toàn bộ tham số mô hình và trạng thái bộ tối ưu hóa vào bộ nhớ, khiến các mô hình 100B+ tham số trở nên khó tiếp cận trên phần cứng thông thường. Tài nguyên GPU khan hiếm, dẫn đến sự không phù hợp giữa các tác vụ hậu huấn luyện bị giới hạn bởi bộ nhớ và việc thiếu tài nguyên GPU. Các kỹ thuật offloading hiện có (như ZeRO-Offload, ZeRO-Infinity) chỉ coi bộ nhớ host (CPU) là bộ đệm tràn tạm thời, trong khi GPU vẫn là nơi lưu trữ chính các tham số mô hình. Điều này dẫn đến việc sử dụng không hiệu quả hệ thống phân cấp bộ nhớ và các lỗi hết bộ nhớ (OOM) khi mô hình lớn. Các tham số, gradient và trạng thái bộ tối ưu hóa thường xuyên bị giữ trong bộ nhớ thiết bị (GPU) mặc dù ít được truy cập, làm hạn chế khả năng mở rộng. Nút thắt cổ chai băng thông CPU-GPU và việc các đồ thị autograd truyền thống giả định tất cả tham số và kích hoạt nằm trên GPU xuyên suốt quá trình huấn luyện cũng là những thách thức lớn.

II. Main Idea:

MegaTrain là một hệ thống huấn luyện tập trung vào bộ nhớ (memory-centric) cho phép huấn luyện các mô hình ngôn ngữ lớn hơn 100 tỷ tham số với độ chính xác đầy đủ trên một GPU duy nhất. Thay vì mô hình truyền thống tập trung vào GPU, MegaTrain lưu trữ các tham số và trạng thái bộ tối ưu hóa trong bộ nhớ host (CPU) và coi GPU chỉ là các công cụ tính toán tạm thời. Đối với mỗi lớp, các tham số được truyền vào GPU để tính toán và gradient được truyền ra ngoài, giảm thiểu trạng thái thiết bị cố định. Để khắc phục nút thắt cổ chai băng thông CPU-GPU, MegaTrain áp dụng hai tối ưu hóa chính: 1) Một công cụ thực thi đệm kép theo chu trình (pipelined double-buffered execution engine) chồng lấp việc tải trước tham số (prefetching), tính toán và truyền gradient ra ngoài (offloading) trên nhiều luồng CUDA, cho phép GPU thực thi liên tục. 2) Thay thế các đồ thị autograd cố định bằng các mẫu lớp không trạng thái (stateless layer templates), liên kết trọng số động khi chúng được truyền vào, loại bỏ siêu dữ liệu đồ thị cố định và cung cấp sự linh hoạt trong lập lịch. Ngoài ra, MegaTrain sử dụng chiến lược tính toán lại theo khối (block-wise recomputation) để tránh tích lũy bộ nhớ kích hoạt và cập nhật bộ tối ưu hóa hoàn toàn trên CPU.

III. Main Results:

MegaTrain có thể huấn luyện các mô hình lên đến 120B tham số một cách đáng tin cậy trên một GPU H200 duy nhất với bộ nhớ host 1.5TB, một giới hạn mà các hệ thống offloading hiện có không thể hỗ trợ. Nó đạt được thông lượng huấn luyện cao hơn 1.84 lần so với DeepSpeed ZeRO-3 với CPU offloading khi huấn luyện các mô hình 14B trên GH200. MegaTrain cũng cho phép huấn luyện mô hình 7B với ngữ cảnh 512k token trên một GH200. Hệ thống này duy trì đường cong tăng trưởng bộ nhớ host phẳng hơn đáng kể so với các hệ thống cạnh tranh, cho thấy dung lượng bộ nhớ host, chứ không phải bộ nhớ thiết bị, là yếu tố giới hạn chính. MegaTrain duy trì TFLOPS cao và ổn định trên mọi quy mô, ví dụ, duy trì trên 250 TFLOPS ở 32B trên GH200, nơi các baseline gặp lỗi OOM. Độ chính xác số học của MegaTrain tương đương với các phương pháp huấn luyện truyền thống. Nghiên cứu cắt bỏ cho thấy đệm kép là yếu tố quan trọng nhất đối với thông lượng. MegaTrain thể hiện khả năng mở rộng theo chiều sâu và chiều rộng vượt trội, duy trì hiệu suất ổn định và sử dụng bộ nhớ host hiệu quả hơn nhiều so với các baseline khi mô hình tăng kích thước. Trên các hệ thống cấp người tiêu dùng (A100, RTX A6000, RTX 3090), MegaTrain liên tục vượt trội các baseline, cho phép kích thước batch lớn hơn và hiệu quả phần cứng cao hơn đáng kể.

IV. Conclusion & Future Works:

MegaTrain là một hệ thống huấn luyện tập trung vào bộ nhớ CPU, cho phép huấn luyện các mô hình 100B+ tham số với độ chính xác đầy đủ trên một GPU duy nhất. Bằng cách coi bộ nhớ host là nơi lưu trữ tham số chính và GPU là các công cụ tính toán tạm thời, MegaTrain tách biệt quy mô mô hình khỏi dung lượng bộ nhớ GPU. Công cụ thực thi đệm kép theo chu trình chồng lấp việc truyền tham số với tính toán, trong khi các mẫu lớp không trạng thái loại bỏ chi phí bộ nhớ của đồ thị autograd cố định. Những thiết kế này giới hạn bộ nhớ GPU ở mức sử dụng trên mỗi lớp và cho phép bộ nhớ host mở rộng tuyến tính theo quy mô mô hình. Công trình này gợi ý rằng việc huấn luyện các mô hình lớn ít phụ thuộc vào dung lượng GPU mà tập trung nhiều hơn vào tổ chức bộ nhớ và tính toán. Các hướng nghiên cứu trong tương lai bao gồm mở rộng MegaTrain sang nhiều GPU với tính song song tensor hoặc chuyên gia (expert parallelism), và tích hợp bộ nhớ phân cấp (tiered storage) bao gồm SSD để mở rộng giới hạn hơn nữa, đưa việc huấn luyện các mô hình nghìn tỷ tham số vào tầm với của các hệ thống thông thường.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng MegaTrain cho đa GPU: Nghiên cứu về cách mở rộng hiệu quả phương pháp tập trung vào bộ nhớ của MegaTrain sang các thiết lập đa GPU, tập trung vào các chiến lược giao tiếp giữa các GPU và cân bằng tải cho tính song song tensor hoặc chuyên gia để hỗ trợ các mô hình lớn hơn nữa.
Tích hợp bộ nhớ phân cấp với SSD: Khám phá việc tích hợp bộ nhớ cấp thấp hơn như ổ SSD NVMe vào hệ thống phân cấp bộ nhớ của MegaTrain để cho phép huấn luyện các mô hình quy mô nghìn tỷ tham số, giải quyết các thách thức về quản lý dữ liệu, độ trễ và băng thông trên các cấp bộ nhớ khác nhau.
Quản lý bộ nhớ động cho kiến trúc phần cứng dị thể: Phát triển các thuật toán quản lý bộ nhớ thích ứng có thể tự động tối ưu hóa vị trí dữ liệu và chiến lược truyền tải trên các hệ thống phân cấp bộ nhớ đa dạng (ví dụ: HBM, DDR, LPDDR, SSD) với các đặc tính băng thông và độ trễ khác nhau để đạt được hiệu suất tối ưu trên nhiều nền tảng phần cứng.

2. Patent:

Hệ thống Offloading Bộ nhớ Thông minh cho AI Di động: Một hệ thống trên thiết bị di động có khả năng tự động di chuyển các phần của mô hình AI lớn từ bộ nhớ chính (RAM) của điện thoại sang bộ nhớ cache trên chip nhanh hơn hoặc bộ nhớ trong (flash) lớn hơn dựa trên các mẫu sử dụng dự đoán. Điều này cho phép chạy các mô hình AI lớn hơn trên điện thoại mà không cần quá nhiều RAM, cải thiện hiệu suất cho các tính năng AI như xử lý hình ảnh nâng cao hoặc trợ lý ảo.
Công cụ Suy luận AI Dạng Đường Ống (Pipelined) cho Thiết bị Hạn chế Tài nguyên: Một giải pháp kết hợp phần mềm và phần cứng cho bộ xử lý di động sử dụng phương pháp đường ống để tải, xử lý và offload từng lớp thành phần của mô hình AI. Hệ thống này sẽ truyền động trọng số mô hình và dữ liệu trung gian từ bộ nhớ chậm hơn đến các đơn vị xử lý nhanh, đảm bảo tính toán liên tục mà không yêu cầu toàn bộ mô hình phải nằm trong bộ nhớ nhanh cùng lúc, giúp thực hiện các tác vụ AI phức tạp trên thiết bị di động với tài nguyên hạn chế.
Mô hình Thực thi AI Không Trạng thái với Liên kết Trọng số Động cho Di động: Một khung AI di động thực thi các mô hình ngôn ngữ lớn hoặc các mô hình học sâu khác bằng cách sử dụng "các mẫu không trạng thái". Thay vì lưu trữ vĩnh viễn trọng số mô hình trong bộ nhớ, hệ thống sẽ tải các mẫu tính toán nhỏ, có thể tái sử dụng lên GPU/NPU di động và liên kết động dữ liệu trọng số được truyền vào các mẫu này khi cần, từng lớp một. Điều này giúp giảm dung lượng bộ nhớ và cho phép thực thi các mô hình AI lớn linh hoạt và hiệu quả hơn trên thiết bị di động, chẳng hạn như cho dịch thuật ngôn ngữ trên thiết bị hoặc trợ lý ảo.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.05091
ArXiv Abstract	https://arxiv.org/abs/2604.05091
PDF Download	https://arxiv.org/pdf/2604.05091.pdf
Github Repository	https://github.com/DLYuanGod/MegaTrain

11. How Well Do Agentic Skills Work in the Wild: Benchmarking LLM Skill Usage in Realistic Settings (25 votes)

Tác giả: Yujian Liu, Jiabao Ji, Li An, Tommi Jaakkola, Yang Zhang, Shiyu Chang

Xuất bản lúc: 2026-04-06

Tag: LLMs, Agents, Benchmarking, Information Retrieval, Self-improvement, Skill Learning

I. Main Problem:

Các nỗ lực đánh giá kỹ năng tác tử (agent skills) hiện có cho các mô hình ngôn ngữ lớn (LLMs) thường diễn ra trong điều kiện lý tưởng hóa quá mức, nơi các LLMs được cung cấp trực tiếp các kỹ năng được thiết kế riêng cho từng nhiệm vụ. Trong các cài đặt thực tế, tác tử LLM phải tự tìm kiếm và chọn lọc các kỹ năng phù hợp từ một bộ sưu tập lớn và có thể không có quyền truy cập vào các kỹ năng được tuyển chọn thủ công. Thậm chí, các kỹ năng phù hợp nhất cũng có thể không được điều chỉnh tốt cho nhiệm vụ, đòi hỏi khả năng thích ứng. Điều này dẫn đến câu hỏi cơ bản: liệu kỹ năng có còn hữu ích trong điều kiện thực tế, nơi tác tử phải truy xuất từ một kho lớn, nhiễu loạn và thích nghi các kỹ năng đa năng, không dành riêng cho nhiệm vụ, với các truy vấn của người dùng hay không. Các hạn chế bao gồm việc tác tử khó xác định kỹ năng nào nên tải và nội dung kỹ năng được truy xuất thường nhiễu hoặc thiếu thông tin chính xác.

II. Main Idea:

Nghiên cứu này tiến hành một nghiên cứu toàn diện đầu tiên về tính hữu ích của kỹ năng trong các cài đặt thực tế ngày càng thách thức. Các tác giả đã tập hợp một bộ sưu tập 34.000 kỹ năng thực tế từ các kho mã nguồn mở và khám phá các phương pháp tìm kiếm kỹ năng khác nhau, bao gồm tìm kiếm từ khóa, ngữ nghĩa, lai (hybrid) và tác tử (agentic search). Dựa trên cơ sở hạ tầng này, họ đánh giá tính hữu ích của kỹ năng trên SKILLSBENCH dưới các cài đặt thực tế hơn, từ việc bổ sung các kỹ năng gây nhiễu đến việc truy xuất từ toàn bộ bộ sưu tập kỹ năng (có và không có kỹ năng được tuyển chọn). Để khắc phục khoảng cách hiệu suất, họ nghiên cứu các chiến lược tinh chỉnh kỹ năng, bao gồm các phương pháp tinh chỉnh cụ thể theo truy vấn (query-specific) và không cụ thể theo truy vấn (query-agnostic), và chứng minh tính tổng quát của việc truy xuất và tinh chỉnh trên TERMINAL-BENCH2.0.

III. Main Results:

Các phát hiện chính cho thấy lợi ích của kỹ năng rất mong manh: hiệu suất suy giảm nhất quán khi các cài đặt trở nên thực tế hơn, với tỷ lệ hoàn thành nhiệm vụ (pass rates) tiệm cận với các mô hình không sử dụng kỹ năng trong các kịch bản khó khăn nhất. Điều này được quan sát trên nhiều mô hình như Claude Opus 4.6, Kimi K2.5 và Qwen3.5-397B. Tìm kiếm lai tác tử (agentic hybrid search) đã vượt trội đáng kể so với các phương pháp truy xuất khác. Các tắc nghẽn chính là tác tử khó xác định kỹ năng nào cần tải và nội dung kỹ năng được truy xuất thường nhiễu hoặc thiếu thông tin chính xác. Chiến lược tinh chỉnh cụ thể theo truy vấn (query-specific refinement) phục hồi đáng kể hiệu suất bị mất khi các kỹ năng ban đầu có mức độ liên quan và chất lượng hợp lý (ví dụ: Claude Opus 4.6 trên SKILLSBENCH với kỹ năng được tuyển chọn tăng từ 40.1% lên 48.2%, và trên TERMINAL-BENCH2.0 tăng từ 57.7% lên 65.5%). Ngược lại, tinh chỉnh không cụ thể theo truy vấn (query-agnostic refinement) mang lại những cải thiện nhỏ hơn và không nhất quán. Hiệu quả của việc tinh chỉnh phụ thuộc vào chất lượng kỹ năng ban đầu, cho thấy tinh chỉnh hoạt động như một 'bộ nhân' chất lượng kỹ năng hơn là 'bộ tạo' kiến thức mới.

IV. Conclusion & Future Works:

Nghiên cứu này đã cung cấp một phân tích toàn diện về tính hữu ích của kỹ năng tác tử trong điều kiện thực tế, chỉ ra rằng lợi ích của kỹ năng giảm đáng kể khi tác tử phải truy xuất từ các bộ sưu tập lớn và làm việc với các kỹ năng đa năng không được điều chỉnh riêng cho nhiệm vụ. Chiến lược tinh chỉnh cụ thể theo truy vấn có thể phục hồi phần lớn hiệu suất bị mất khi các kỹ năng được truy xuất có mức độ liên quan hợp lý, nhưng không thể bù đắp khi không có kỹ năng liên quan nào. Điều này cho thấy việc tinh chỉnh khuếch đại chất lượng kỹ năng hiện có chứ không tạo ra kiến thức mới. Những phát hiện này nhấn mạnh sự cần thiết phải cải thiện khả năng truy xuất kỹ năng, phát triển các phương pháp tinh chỉnh ngoại tuyến hiệu quả hơn và xây dựng các hệ sinh thái kỹ năng có tính đến các khả năng đa dạng của mô hình LLM.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp truy xuất kỹ năng tiên tiến cho tác tử LLM: Tập trung vào việc tích hợp sâu hơn khả năng suy luận và hiểu ngữ cảnh của tác tử vào quá trình truy xuất để cải thiện độ chính xác và hiệu quả của việc tìm kiếm kỹ năng từ các kho lớn, đa dạng.
Phát triển các chiến lược tinh chỉnh kỹ năng ngoại tuyến hiệu quả: Khám phá các kỹ thuật tự động hóa việc cải thiện chất lượng và tính tổng quát của kỹ năng mà không cần biết trước nhiệm vụ cụ thể, có thể bao gồm việc tạo bài kiểm tra tổng hợp, tối ưu hóa mô tả kỹ năng, và tổng hợp kỹ năng.
Thiết kế hệ sinh thái kỹ năng thích ứng với khả năng mô hình: Xây dựng các hệ thống kỹ năng có khả năng tự động điều chỉnh độ phức tạp, chi tiết và định dạng của kỹ năng để tối ưu hóa hiệu suất cho các mô hình LLM khác nhau, từ các mô hình yếu hơn đến các mô hình tiên tiến nhất.

2. Patent:

Hệ thống trợ lý di động thông minh có khả năng tự tìm kiếm và điều chỉnh quy trình làm việc: Một hệ thống tích hợp trên điện thoại di động cho phép trợ lý ảo tự động truy xuất và tinh chỉnh các 'kỹ năng' (ví dụ: các hướng dẫn sử dụng API, các đoạn mã kịch bản tự động) từ một kho dữ liệu lớn để thực hiện các tác vụ phức tạp theo yêu cầu của người dùng, chẳng hạn như "tìm tất cả ảnh chụp màn hình có văn bản tiếng Việt và gửi cho tôi một bản tóm tắt các nội dung đó qua email". Hệ thống sẽ tự động tìm các kỹ năng liên quan đến xử lý ảnh, nhận diện văn bản, dịch thuật và gửi email, sau đó điều chỉnh chúng để hoàn thành tác vụ cụ thể.
Công cụ hỗ trợ người dùng di động tự động tối ưu hóa hướng dẫn và khắc phục sự cố: Một ứng dụng hoặc tính năng của hệ điều hành điện thoại di động sử dụng các kỹ năng tác tử để cung cấp hỗ trợ người dùng theo ngữ cảnh. Khi người dùng gặp vấn đề (ví dụ: "tôi không thể kết nối tai nghe Bluetooth của mình"), hệ thống sẽ truy xuất các hướng dẫn khắc phục sự cố chung, sau đó tinh chỉnh chúng dựa trên trạng thái hiện tại của thiết bị (ví dụ: phiên bản hệ điều hành, các cài đặt Bluetooth đã bật/tắt) để đưa ra các bước cụ thể, cá nhân hóa, và có thể tự động thực hiện một số hành động thay mặt người dùng.
Nền tảng chia sẻ và cải tiến kỹ năng tự động hóa cá nhân cho điện thoại thông minh: Một nền tảng cho phép người dùng di động tạo, chia sẻ và sử dụng các 'kỹ năng' tùy chỉnh (ví dụ: các macro, các quy trình tự động hóa) để thực hiện các tác vụ trên thiết bị của họ. Hệ thống sẽ có một kho kỹ năng cộng đồng, nơi người dùng có thể tìm kiếm, tải xuống và đề xuất cải tiến cho các kỹ năng đã có. Các kỹ năng này có thể bao gồm việc tự động sắp xếp thông báo, quản lý pin thông minh dựa trên lịch trình, hoặc tự động hóa các tương tác giữa các ứng dụng khác nhau.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.04323
ArXiv Abstract	https://arxiv.org/abs/2604.04323
PDF Download	https://arxiv.org/pdf/2604.04323.pdf
Github Repository	https://github.com/UCSB-NLP-Chang/Skill-Usage

12. General Multimodal Protein Design Enables DNA-Encoding of Chemistry (21 votes)

Tác giả: Jarrid Rector-Brooks, Théophile Lambert, Marta Skreta, Daniel Roth, Yueming Long, Zi-Qi Li, Xi Zhang, Miruna Cretu, Francesca-Zhoufan Li, Tanvi Ganapathy, Emily Jin, Avishek Joey Bose, Jason Yang, Kirill Neklyudov, Yoshua Bengio, Alexander Tong, Frances H. Arnold, Cheng-Hao Liu

Xuất bản lúc: 2026-04-06

Tag: Generative Models, Protein Design, Multimodal Learning, Diffusion Models, Enzyme Engineering, De Novo Design, Biocatalysis

I. Main Problem:

Kỹ thuật enzyme truyền thống phụ thuộc vào các vòng đột biến và sàng lọc lặp đi lặp lại, đòi hỏi một protein ban đầu có hoạt tính đo được. Đối với các phản ứng hóa học mới lạ chưa từng có trong tự nhiên, việc tìm kiếm ứng cử viên phù hợp rất khó khăn và tốn công sức, bị giới hạn bởi những gì tiến hóa đã khám phá. Các phương pháp thiết kế protein tính toán hiện tại gặp phải hai hạn chế cơ bản: (1) Chúng dựa vào các sắp xếp hình học cố định, được chỉ định trước của các dư lượng vị trí hoạt động hoặc theozyme, hạn chế khả năng khám phá các hình học vị trí hoạt động mới và các phản ứng chưa rõ cơ chế. (2) Chúng hoạt động tuần tự (tạo khung xương rồi sau đó gấp ngược chuỗi), làm tách rời các mục tiêu dựa trên chuỗi và cấu trúc trong các giai đoạn quan trọng.

II. Main Idea:

Nghiên cứu giới thiệu DISCO (DIffusion for Sequence-structure CO-design), một khung đa phương thức tổng quát đồng thời thiết kế de novo chuỗi protein và cấu trúc 3D. DISCO có thể được điều kiện và gấp đồng thời với các phân tử sinh học tùy ý, mà không cần các motif dư lượng được xác định trước. Một phương pháp hiệu chỉnh Feynman-Kac đa phương thức mới cho phép DISCO tối ưu hóa đồng thời các mục tiêu về chuỗi và cấu trúc. Mô hình này học một phân phối chung của chuỗi rời rạc và cấu trúc 3D, được khử nhiễu thông qua một quá trình sinh học thống nhất, sử dụng khuếch tán rời rạc cho chuỗi và khuếch tán liên tục cho tọa độ 3D. Đối với thiết kế enzyme, DISCO được điều kiện chỉ dựa trên các chất trung gian phản ứng, bỏ qua sự cần thiết của theozyme hoặc các giả định về dư lượng xúc tác, cho phép khám phá các giải pháp xúc tác mới.

III. Main Results:

DISCO đã thiết kế thành công các enzyme heme đa dạng với hình học vị trí hoạt động mới lạ, chỉ dựa trên các chất trung gian phản ứng. Các enzyme này xúc tác các phản ứng chuyển carbene mới lạ (như cyclopropan hóa alkene, spirocyclopropan hóa, chèn B–H và C(sp3)–H) với hoạt tính cao, vượt trội so với các enzyme đã được kỹ thuật. Khả năng đột biến ngẫu nhiên cũng xác nhận rằng hoạt tính enzyme có thể được cải thiện thông qua tiến hóa định hướng. In silico, khoảng 90% chuỗi được tạo ra có thể gấp lại trong vòng 2 Å RMSD so với cấu trúc khung xương được thiết kế. DISCO đạt được sự đa dạng và mới lạ cao nhất về chuỗi và cấu trúc mà không làm giảm khả năng đồng thiết kế. Các phương pháp hiệu chỉnh Feynman-Kac (FKC-MM và FKC-SG) cũng được chứng minh là hiệu quả trong việc tạo ra các protein với các đặc tính mong muốn và độ đặc hiệu cao.

IV. Conclusion & Future Works:

DISCO cung cấp một lộ trình có thể mở rộng để tạo ra các enzyme có khả năng tiến hóa, mở rộng phạm vi tiềm năng của các biến đổi hóa học được mã hóa bằng DNA. Mô hình này cho phép khám phá các chất xúc tác sinh học và các motif protein chưa từng được biết đến trong sinh học, mở rộng không gian tìm kiếm của khả năng phản ứng hóa học được mã hóa bằng DNA.

V. Brainstorming Space:

1. Publish Papers:

Thiết kế enzyme cho các phản ứng hóa học siêu phức tạp: Nghiên cứu mở rộng ứng dụng của DISCO để thiết kế enzyme cho các phản ứng hóa học mới lạ và phức tạp hơn nữa, đặc biệt là những phản ứng có nhiều bước hoặc cơ chế chưa được hiểu rõ, nơi các phương pháp truyền thống bị hạn chế bởi việc thiếu thông tin về trạng thái chuyển tiếp hoặc theozyme.
Tích hợp DISCO với hệ thống tối ưu hóa tự động: Phát triển một hệ thống tự động kết hợp DISCO với các thuật toán tối ưu hóa hoặc học tăng cường để tự động tinh chỉnh các thiết kế protein dựa trên các mục tiêu hiệu suất phức tạp (ví dụ: hiệu suất xúc tác, độ ổn định, độ đặc hiệu), giảm thiểu sự can thiệp của con người trong quá trình thiết kế.
Thiết kế protein tương tác đa phân tử trong môi trường tế bào: Mở rộng khả năng của DISCO để thiết kế các protein có thể tương tác với nhiều phân tử khác nhau (ví dụ: protein-protein, protein-DNA-ligand) trong môi trường tế bào sống, không chỉ các nhiệm vụ không liên quan đến protein, nhằm tạo ra các công cụ sinh học phức tạp hoặc điều khiển mạng lưới trao đổi chất.

2. Patent:

Ứng dụng di động 'Thiết kế Enzyme Thông minh': Một ứng dụng di động cho phép người dùng (nhà khoa học, kỹ sư hóa học) nhập các thông số của một phản ứng hóa học mong muốn (ví dụ: chất nền, sản phẩm, điều kiện phản ứng) bằng ngôn ngữ tự nhiên hoặc biểu đồ hóa học đơn giản. Ứng dụng sẽ sử dụng một mô hình AI tương tự DISCO trên đám mây để đề xuất các cấu trúc protein (enzyme) tiềm năng có thể xúc tác phản ứng đó, hiển thị mô hình 3D và các đặc tính dự đoán. Người dùng có thể tinh chỉnh yêu cầu và nhận các đề xuất được cập nhật, giúp tăng tốc quá trình khám phá enzyme mới.
Hệ thống 'Chẩn đoán & Tối ưu hóa Protein Tùy chỉnh' trên thiết bị di động: Một ứng dụng trên điện thoại thông minh cho phép các phòng thí nghiệm hoặc cơ sở y tế tải lên dữ liệu về một phân tử sinh học (ví dụ: protein bị lỗi trong bệnh, kháng nguyên virus). Ứng dụng sẽ sử dụng thuật toán thông minh để phân tích và đề xuất các cấu trúc protein mới (ví dụ: enzyme điều chỉnh, kháng thể nhân tạo) được thiết kế đặc biệt để tương tác hoặc điều chỉnh phân tử mục tiêu đó, với mục đích chẩn đoán hoặc điều trị. Ứng dụng cũng có thể cho phép người dùng mô phỏng tương tác ban đầu trên màn hình.
Công cụ 'Khám phá Thuốc Di động' với khả năng tạo cấu trúc protein: Một ứng dụng di động dành cho các nhà nghiên cứu dược phẩm, cho phép họ nhập cấu trúc hóa học của một phân tử thuốc tiềm năng. Ứng dụng sẽ sử dụng mô hình AI tiên tiến để thiết kế các protein (receptor hoặc enzyme) có thể liên kết hoặc chuyển hóa phân tử thuốc đó một cách tối ưu. Giao diện trực quan sẽ hiển thị các cấu trúc protein được đề xuất và điểm số tương tác dự đoán, giúp đẩy nhanh quá trình sàng lọc và phát triển thuốc trên thiết bị cầm tay.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.05181
ArXiv Abstract	https://arxiv.org/abs/2604.05181
PDF Download	https://arxiv.org/pdf/2604.05181.pdf
Github Repository	https://github.com/DISCO-design/DISCO

13. Paper Circle: An Open-source Multi-agent Research Discovery and Analysis Framework (20 votes)

Tác giả: Komal Kumar, Aman Chadha, Salman Khan, Fahad Shahbaz Khan, Hisham Cholakkal

Xuất bản lúc: 2026-04-07

Tag: Multi-agent Systems, LLMs, Knowledge Graphs, Information Retrieval, Research Discovery, Scientific Literature Analysis, RAG

I. Main Problem:

Sự phát triển nhanh chóng của tài liệu khoa học khiến các nhà nghiên cứu gặp khó khăn trong việc khám phá, đánh giá và tổng hợp các công trình liên quan một cách hiệu quả. Các công cụ tìm kiếm và hệ thống khuyến nghị truyền thống thường không cung cấp đủ chiều sâu và ngữ cảnh cần thiết cho việc đánh giá tài liệu nghiêm ngặt, dẫn đến quy trình khám phá rời rạc. Ngoài ra, còn tồn tại một khoảng cách đáng kể giữa các hệ thống "Nhà khoa học AI" hoàn toàn tự động và nhu cầu hợp tác thực tế của cộng đồng nghiên cứu con người.

II. Main Idea:

Paper Circle giới thiệu một hệ thống khám phá và phân tích nghiên cứu đa tác nhân (multi-agent) được thiết kế để giảm thiểu nỗ lực cần thiết trong việc tìm kiếm, đánh giá, tổ chức và hiểu tài liệu học thuật. Hệ thống bao gồm hai quy trình bổ trợ:

Quy trình Khám phá (Discovery Pipeline): Tích hợp việc truy xuất tài liệu ngoại tuyến và trực tuyến từ nhiều nguồn khác nhau, chấm điểm đa tiêu chí, xếp hạng có tính đến sự đa dạng, và xuất kết quả có cấu trúc.
Quy trình Phân tích (Analysis Pipeline): Chuyển đổi các bài báo riêng lẻ thành biểu đồ tri thức có cấu trúc với các nút (ví dụ: khái niệm, phương pháp, thí nghiệm, hình ảnh) và các cạnh được đánh kiểu, cho phép hỏi đáp dựa trên biểu đồ và xác minh độ bao phủ. Cả hai quy trình đều được triển khai trong một khung điều phối đa tác nhân dựa trên LLM mã hóa và tạo ra các đầu ra có thể tái tạo, đồng bộ hóa (JSON, CSV, BibTeX, Markdown và HTML) ở mỗi bước của tác nhân. Paper Circle hoạt động như một công cụ cộng tác, tăng cường trí tuệ con người thông qua hệ thống con tích hợp, bao gồm cả các tác nhân đánh giá chuyên biệt.

III. Main Results:

Các mô hình tác nhân hàng đầu (qwen3-coder-30b-Q3KM và qwen3-coder:30b) đạt hiệu quả truy xuất cao nhất với tỷ lệ truy cập 80% và MRR là 0.627 (cho Q3KM), đồng thời là những mô hình nhanh nhất (khoảng 21-22 giây mỗi truy vấn).
Phương pháp BM25 độc lập vẫn rất cạnh tranh với tỷ lệ truy cập 78%, vượt trội hơn hầu hết các phương pháp dựa trên tác nhân.
Các truy vấn do LLM tạo (RA-Bench) cho thấy hiệu suất cao hơn so với các truy vấn dựa trên mẫu ngẫu nhiên (SemanticBench).
Trong các nghiên cứu cắt bỏ, cấu hình "With Filters & Offline" cho hiệu suất tốt nhất (tỷ lệ truy cập 0.9600, MRR 0.8485), cho thấy ngữ cảnh rõ ràng và truy cập cơ sở dữ liệu cục bộ rất hiệu quả.
Các phương pháp dựa trên BM25 nhất quán vượt trội so với truy xuất ngữ nghĩa thuần túy, cho thấy việc khớp từ vựng vẫn quan trọng.
Cấu hình BM25 + Reranker đạt MRR cao nhất (0.8692) nhưng chậm hơn đáng kể (gấp 28 lần), thể hiện sự đánh đổi giữa độ chính xác và hiệu quả.
Đánh giá định tính cho thấy Paper Circle có tải trọng nhận thức tối thiểu (1.2/7 theo NASA-TLX) và khả năng sử dụng cao (trung bình 7.6/10), dễ học.
Tuy nhiên, tác nhân đánh giá bài báo cho thấy sự liên kết yếu với đánh giá của con người (tương quan r < 0.25), không đáng tin cậy để phân biệt bài tốt/kém.

IV. Conclusion & Future Works:

Paper Circle chứng minh cách các quy trình làm việc đa tác nhân có thể hợp lý hóa việc quản lý tài liệu nghiên cứu. Quy trình khám phá của nó hợp nhất các nguồn tìm kiếm không đồng nhất và chấm điểm đa tiêu chí thành một công cụ có thể tái tạo. Quy trình phân tích của nó chuyển đổi các bài báo thành biểu đồ tri thức có cấu trúc, cho phép hỏi đáp dựa trên biểu đồ và kiểm tra độ bao phủ. Công việc trong tương lai sẽ tập trung vào việc tối ưu hóa sự thống nhất của quy trình. Một hạn chế đáng chú ý là tác nhân đánh giá của hệ thống có sự liên kết yếu với đánh giá của con người; vấn đề này có thể được khắc phục bằng cách sử dụng các mô hình ngôn ngữ lớn hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về cơ chế hợp nhất và tối ưu hóa các quy trình khám phá và phân tích trong hệ thống đa tác nhân để nâng cao hiệu quả và tính nhất quán của kết quả.
Phát triển các chiến lược cải tiến cho tác nhân đánh giá (review agent) để tăng cường sự liên kết với đánh giá của con người, có thể thông qua việc sử dụng các mô hình LLM lớn hơn hoặc tích hợp phản hồi của con người vào quá trình huấn luyện.
Khám phá việc mở rộng Paper Circle sang các lĩnh vực khoa học chuyên biệt khác (ví dụ: y học, vật lý) bằng cách phát triển các tác nhân và lược đồ biểu đồ tri thức phù hợp với đặc thù của từng lĩnh vực.

2. Patent:

Hệ thống tóm tắt và phân tích tài liệu tự động trên điện thoại di động: Một ứng dụng di động cho phép người dùng tải lên các bài báo (PDF hoặc URL) và nhận được bản tóm tắt tự động, trích xuất các khái niệm chính, phương pháp, kết quả dưới dạng biểu đồ hoặc danh sách có cấu trúc. Hệ thống cũng có thể cung cấp tính năng hỏi đáp thông minh về nội dung bài báo, giúp sinh viên, nhà nghiên cứu nhanh chóng nắm bắt thông tin mà không cần đọc toàn bộ.
Công cụ tìm kiếm và sắp xếp tài liệu khoa học thông minh cho người dùng phổ thông: Một hệ thống trên điện thoại di động sử dụng giao diện trò chuyện đa tác nhân để hiểu ý định tìm kiếm của người dùng (ví dụ: "tìm các bài báo mới nhất về AI tạo sinh trong y tế năm 2023-2024"). Hệ thống sẽ tự động tìm kiếm trên nhiều nguồn, loại bỏ trùng lặp, sắp xếp kết quả theo các tiêu chí như độ mới, số trích dẫn, hoặc mức độ liên quan, và xuất ra danh sách tài liệu dưới nhiều định dạng tiện lợi cho việc đọc và lưu trữ trên thiết bị di động.
Trợ lý nghiên cứu cá nhân hóa dựa trên biểu đồ tri thức: Một dịch vụ tích hợp trên điện thoại di động hoặc máy tính bảng tạo ra một "bản đồ tư duy" động (knowledge graph) từ các tài liệu người dùng đã đọc hoặc quan tâm. Trợ lý này sẽ giúp người dùng nhận diện các kết nối tiềm ẩn giữa các công trình khác nhau, theo dõi sự phát triển của một khái niệm theo thời gian, và tự động đề xuất các tài liệu liên quan dựa trên biểu đồ tri thức cá nhân, hỗ trợ việc học tập và nghiên cứu liên tục.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.06170
ArXiv Abstract	https://arxiv.org/abs/2604.06170
PDF Download	https://arxiv.org/pdf/2604.06170.pdf
Github Repository	https://github.com/MAXNORM8650/papercircle

14. DARE: Diffusion Large Language Models Alignment and Reinforcement Executor (17 votes)

Tác giả: Jingyi Yang, Yuxian Jiang, Xuhao Hu, Shuang Cheng, Biqing Qi, Jing Shao

Xuất bản lúc: 2026-04-05

Tag: Diffusion Models, LLMs, Reinforcement Learning, Fine-tuning, Open-source Framework, Post-training, Evaluation

I. Main Problem:

Hệ sinh thái mã nguồn mở cho các mô hình ngôn ngữ khuếch tán lớn (dLLMs) hiện đang bị phân mảnh nghiêm trọng, với các mục tiêu học tăng cường, triển khai rollout và kịch bản đánh giá thường được phát hành dưới dạng các codebase cụ thể cho từng bài báo. Sự phân mảnh này làm chậm quá trình nghiên cứu, tăng gánh nặng kỹ thuật cho việc tái tạo, và gây khó khăn cho việc so sánh công bằng giữa các thuật toán. Các framework RL hiện có cho LLM không thể tái sử dụng trực tiếp cho dLLM do sự khác biệt cơ bản trong quá trình tạo sinh (tạo sinh tuần tự từ trái sang phải so với khử nhiễu lặp lại và tạo sinh song song).

II. Main Idea:

DARE (dLLMs Alignment and Reinforcement Executor) là một framework mở thống nhất để hậu huấn luyện và đánh giá dLLMs. DARE tích hợp supervised fine-tuning (SFT), parameter-efficient fine-tuning (PEFT), tối ưu hóa ưu tiên, và các thuật toán học tăng cường (RL) cụ thể cho dLLM dưới một ngăn xếp thực thi chung cho cả mô hình ngôn ngữ khuếch tán che mặt (masked diffusion) và khuếch tán khối (block diffusion). Framework này được xây dựng dựa trên verl cho huấn luyện và OpenCompass cho đánh giá, đồng thời bổ sung các lớp thực thi hoặc module chuyên biệt cho dLLM. DARE tập trung vào việc tối ưu hóa hệ thống bằng cách tách biệt các backend chú ý được sử dụng trong quá trình rollout và cập nhật actor, sử dụng các kỹ thuật như Fast-dLLM, FlashAttention cho MDLMs và LMDeploy, SGLang, FlexAttention cho BDLMs để tăng tốc đáng kể.

III. Main Results:

DARE cung cấp phạm vi bao phủ thuật toán rộng, đánh giá benchmark có thể tái tạo, và tăng tốc thực tế. DARE đạt được tốc độ tăng tốc pipeline RL end-to-end khoảng 4 lần cho đường dẫn MDLM và hơn 14 lần cho đường dẫn BDLM. Các kết quả thực nghiệm cho thấy không có thuật toán nào có hiệu suất vượt trội đồng đều trên tất cả các tác vụ và mô hình backbone. Một số phương pháp hiệu quả hơn cho toán học, số khác cho mã hóa, và số khác cho lập kế hoạch, đồng thời thứ hạng của phương pháp có thể thay đổi khi mô hình backbone thay đổi. DARE cũng chỉ ra rằng các thuật toán dựa trên ELBO có thể kém ổn định hơn và phụ thuộc nhiều vào số lượng mẫu Monte Carlo, trong khi d1, Coupled-GRPO và CJ-GRPO thường thể hiện đường cong phần thưởng ổn định hơn, với Coupled-GRPO và CJ-GRPO là sự cân bằng tốt giữa hiệu quả và độ ổn định.

IV. Conclusion & Future Works:

DARE là một framework thống nhất cho hậu huấn luyện và đánh giá dLLMs, cung cấp một môi trường thực thi chung để hợp nhất các họ mô hình, phương pháp hậu huấn luyện, triển khai rollout, giao diện phần thưởng và pipeline đánh giá. Framework này hữu ích trong thực tế, hỗ trợ phạm vi bao phủ mô hình và benchmark rộng, cho phép so sánh trực tiếp các thuật toán hậu huấn luyện không đồng nhất trong cùng một trình thực thi. Các hướng nghiên cứu trong tương lai bao gồm tích hợp các mô hình ngôn ngữ (thị giác, đa giác quan) khuếch tán, hấp thụ các bộ ước tính, chính sách kiểm soát và kỹ thuật ổn định mới, cũng như các đánh giá hiệu quả toàn diện hơn và backend đánh giá hướng triển khai.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp cải thiện độ ổn định và hiệu quả của các thuật toán học tăng cường dựa trên ELBO cho dLLM, đặc biệt là trong điều kiện giới hạn số lượng mẫu Monte Carlo, nhằm giải quyết các vấn đề về sự sụp đổ phần thưởng và độ nhạy của bộ ước tính.
Phát triển các phương pháp tích hợp mô hình ngôn ngữ khuếch tán đa phương thức (ví dụ: thị giác-ngôn ngữ, đa giác quan) vào các framework huấn luyện và đánh giá thống nhất, mở rộng khả năng ứng dụng của dLLM trong các tác vụ phức tạp đòi hỏi hiểu biết đa giác quan.
Nghiên cứu và phát triển các công cụ đánh giá và tối ưu hóa chuyên biệt cho việc triển khai dLLM trên các nền tảng thực tế, tập trung vào hiệu suất, khả năng mở rộng và hiệu quả tài nguyên trong môi trường sản xuất, bao gồm cả các backend đánh giá hướng triển khai.

2. Patent:

Hệ thống tạo văn bản thông minh linh hoạt trên điện thoại: Một hệ thống trên điện thoại di động sử dụng mô hình ngôn ngữ khuếch tán để tạo văn bản một cách linh hoạt, cho phép người dùng chỉnh sửa từng phần của văn bản (ví dụ: thay đổi từ, cụm từ, hoặc cấu trúc câu) một cách tự nhiên và nhanh chóng thông qua các gợi ý lặp lại. Thay vì tạo văn bản từ trái sang phải, hệ thống này có thể "làm sạch" và hoàn thiện văn bản theo từng bước dựa trên ý định của người dùng, giúp tạo ra email, tin nhắn hoặc bài đăng mạng xã hội chất lượng cao hơn.
Ứng dụng hỗ trợ viết code/script trên thiết bị di động với khả năng tự sửa lỗi: Một ứng dụng trên điện thoại thông minh giúp người dùng viết code hoặc script đơn giản. Sử dụng mô hình ngôn ngữ khuếch tán, ứng dụng có thể nhận diện và đề xuất sửa lỗi cú pháp, cải thiện cấu trúc code hoặc thậm chí hoàn thành các đoạn code dựa trên ngữ cảnh nhập liệu của người dùng, thông qua quá trình "khử nhiễu" lặp lại để cho ra kết quả code chính xác và hiệu quả hơn.
Trợ lý sáng tạo nội dung đa phương tiện trên di động với khả năng điều chỉnh theo sở thích: Một trợ lý ảo trên điện thoại di động sử dụng dLLM để tạo ra các nội dung sáng tạo như truyện ngắn, bài thơ, hoặc kịch bản video ngắn. Hệ thống này có thể học hỏi và điều chỉnh phong cách, giọng điệu, và chủ đề dựa trên sở thích cá nhân của người dùng, được thu thập qua phản hồi và tương tác. Quá trình "khử nhiễu" lặp lại của dLLM cho phép trợ lý tinh chỉnh nội dung từng bước, đảm bảo đầu ra phù hợp nhất với mong muốn của người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.04215
ArXiv Abstract	https://arxiv.org/abs/2604.04215
PDF Download	https://arxiv.org/pdf/2604.04215.pdf
Github Repository	https://github.com/yjyddq/DARE

15. ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces (16 votes)

Tác giả: Xiangyi Li, Kyoung Whan Choe, Yimin Liu, Xiaokun Chen, Chujun Tao, Bingran You, Wenbo Chen, Zonglin Di, Jiankai Sun, Shenghan Zheng, Jiajun Bao, Yuanli Wang, Weixiang Yan, Yiyuan Li, Han-chung Lee

Xuất bản lúc: 2026-04-06

Tag: LLM agents, Evaluation, Benchmarking, Safety, Productivity tools, Simulated environments, API integration, Scaffolding, Prompt Engineering

I. Main Problem:

Các tác nhân LLM đang được triển khai để tự động hóa các tác vụ năng suất nhưng việc đánh giá chúng trên các dịch vụ thực tế tiềm ẩn rủi ro do những thay đổi không thể đảo ngược. Các benchmark hiện có dựa vào môi trường đơn giản hóa và không nắm bắt được các quy trình làm việc đa dịch vụ, có trạng thái, thực tế. Ngoài ra, chưa có benchmark nào đồng thời cung cấp môi trường giả lập được kiểm tra tính tuân thủ với API sản xuất, tách biệt đánh giá an toàn khỏi hiệu suất với điểm số chi tiết, và coi các thành phần scaffolding là yếu tố thử nghiệm có thể thay đổi độc lập.

II. Main Idea:

Giới thiệu CLAWSBENCH, một benchmark để đánh giá và cải thiện các tác nhân LLM trong môi trường năng suất thực tế. CLAWSBENCH bao gồm: Năm dịch vụ giả lập độ trung thực cao (GMAIL, SLACK, CALENDAR, DOCS, DRIVE) với quản lý trạng thái đầy đủ và khả năng chụp/khôi phục trạng thái deterministically, được kiểm tra tính tuân thủ với API sản xuất. 44 tác vụ có cấu trúc, bao gồm các kịch bản một dịch vụ, đa dịch vụ và an toàn-quan trọng, với hệ thống tính điểm riêng biệt cho hiệu suất và an toàn (điểm từ [0,1] cho tác vụ không an toàn và [-1,1] cho tác vụ an toàn, trong đó điểm âm phạt các hành động gây hại). Phân tách scaffolding tác nhân thành hai yếu tố độc lập: các kỹ năng miền (domain skills) cung cấp kiến thức API thông qua Progressive Disclosure và một meta prompt điều phối hành vi giữa các dịch vụ. Cả hai yếu tố này được thay đổi độc lập để đo lường hiệu ứng riêng biệt và kết hợp của chúng. Đánh giá dựa trên trạng thái (state-based evaluation) bằng cách so sánh các snapshot cơ sở dữ liệu trước và sau khi thực thi. Phân loại tám mẫu hành vi không an toàn lặp đi lặp lại của tác nhân.

III. Main Results:

Các thử nghiệm trên 6 mô hình, 4 agent harnesses và 33 điều kiện cho thấy: Với scaffolding đầy đủ, các tác nhân đạt tỷ lệ thành công tác vụ (TSR) từ 39–64% nhưng thể hiện tỷ lệ hành động không an toàn (UAR) từ 7–33%. Trên OpenClaw, năm mô hình hàng đầu có TSR nằm trong khoảng 10 điểm phần trăm (53–63%), với UAR từ 7% đến 23% và không có thứ tự nhất quán giữa hai chỉ số này. Scaffolding là yếu tố chi phối, giúp tăng TSR của mọi mô hình từ mức gần bằng 0–8% lên 39–63%. "Skills" làm tăng UAR, trong khi "meta prompt" giúp giảm thiểu sự gia tăng này. Khả năng và độ an toàn không tương quan với nhau: mô hình có TSR cao nhất (Opus, 63%) lại có UAR cao nhất (23%), trong khi mô hình an toàn nhất (GPT-5.4, 7% UAR) lại có TSR ở mức trung bình. Các tác vụ đa dịch vụ khó hơn và nguy hiểm hơn (TSR thấp hơn 23.0pp, UAR cao hơn 10.4pp). Tám mẫu hành vi không an toàn lặp lại được xác định: tuân thủ prompt injection, sửa đổi hợp đồng trái phép, rò rỉ dữ liệu mật, thực thi quá mức, leo thang sandbox, từ chối quá mức, ảo giác và vòng lặp vô tận.

IV. Conclusion & Future Works:

Các tác nhân năng suất LLM đang ở một bước ngoặt tương tự như xe tự lái: khả năng cao (TSR lên tới 64%) nhưng gặp phải những thách thức an toàn đáng kể (UAR từ 7–33%), và những thách thách này không tự động biến mất khi sử dụng các mô hình mạnh hơn. Khả năng không đủ để đảm bảo an toàn. Các tác vụ an toàn cho thấy tác nhân tuân thủ các tín hiệu bề mặt hơn là suy luận chính sách. Scaffolding là yếu tố chi phối hơn việc lựa chọn mô hình. Hạn chế là scaffolding được tinh chỉnh lặp đi lặp lại trên cùng một tập tác vụ, vì vậy các con số cải thiện là giới hạn trên cho khả năng chuyển giao sang các tác vụ chưa từng thấy cho đến khi được xác thực trên một tập dữ liệu riêng biệt. Hướng nghiên cứu trong tương lai bao gồm cải thiện khả năng suy luận an toàn của tác nhân, phát triển các phương pháp scaffolding có khả năng khái quát hóa tốt hơn, và xây dựng các cơ chế ngăn chặn hành vi không an toàn cụ thể.

V. Brainstorming Space:

1. Publish Papers:

Phân tích chuyên sâu về các mẫu hành vi không an toàn của tác nhân LLM và chiến lược giảm thiểu: Nghiên cứu này sẽ đi sâu vào nguyên nhân gốc rễ của tám mẫu hành vi không an toàn được xác định, sử dụng các thử nghiệm có hệ thống để cô lập các yếu tố gây ra (ví dụ: cấu trúc prompt, kiến trúc mô hình, thiên vị dữ liệu huấn luyện) và đề xuất các chiến lược giảm thiểu cụ thể cho từng mẫu.
Đánh giá tính khái quát hóa của phương pháp Scaffolding tác nhân LLM trên tập tác vụ chưa từng thấy: Đề xuất một nghiên cứu kiểm tra khả năng chuyển giao và khái quát hóa của phương pháp scaffolding (kỹ năng miền + meta prompt) sang một tập hợp các tác vụ mới hoàn toàn hoặc các dịch vụ năng suất khác, đồng thời so sánh hiệu quả với các phương pháp scaffolding khác.
Thiết kế kiến trúc Harness tác nhân an toàn: Một nghiên cứu so sánh về các cơ chế bảo vệ tích hợp: Nghiên cứu này sẽ so sánh có hệ thống các kiến trúc harness tác nhân khác nhau, tập trung vào các cơ chế an toàn tích hợp của chúng (ví dụ: chính sách deny-by-default, sandboxing, kiểm tra an toàn rõ ràng) và định lượng tác động của chúng lên UAR và SCR trên nhiều mô hình khác nhau.

2. Patent:

Hệ thống trợ lý cá nhân di động an toàn và tự động hóa tác vụ năng suất: Một hệ thống phần mềm trên điện thoại di động cho phép trợ lý AI thực hiện các tác vụ đa ứng dụng (email, lịch, tài liệu) một cách an toàn. Hệ thống này sẽ sử dụng một cơ chế "progressive disclosure" để cung cấp kiến thức API cho tác nhân khi cần và một "meta prompt" chứa các quy tắc an toàn để ngăn chặn rò rỉ dữ liệu hoặc các hành động trái phép trên thiết bị di động của người dùng.
Công nghệ phát hiện và ngăn chặn hành vi độc hại của ứng dụng trợ lý thông minh trên di động: Một công nghệ trên điện thoại di động có khả năng giám sát các hành động của trợ lý AI khi chúng tương tác với các ứng dụng năng suất. Hệ thống sẽ sử dụng so sánh trạng thái theo thời gian thực và một "safety policy engine" được xác định trước để phát hiện các mẫu hành vi không an toàn (ví dụ: chuyển tiếp dữ liệu mật, sửa đổi tài liệu quan trọng mà không có sự đồng ý rõ ràng) và tự động chặn hoặc cảnh báo cho người dùng.
Giao diện người dùng di động cho việc định cấu hình và kiểm soát quyền tác nhân AI với phản hồi an toàn tức thì: Một bằng sáng chế về giao diện người dùng (UI/UX) trên điện thoại di động cho phép người dùng dễ dàng thiết lập và quản lý quyền của tác nhân AI. Giao diện này cho phép người dùng định nghĩa "kỹ năng miền" (ứng dụng/API mà tác nhân có thể truy cập) và "meta prompt" (quy tắc an toàn) một cách trực quan, đồng thời cung cấp phản hồi tức thì về rủi ro an toàn tiềm ẩn của các cấu hình khác nhau trước khi tác nhân được triển khai.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.05172
ArXiv Abstract	https://arxiv.org/abs/2604.05172
PDF Download	https://arxiv.org/pdf/2604.05172.pdf
Github Repository	https://github.com/benchflow-ai/ClawsBench

16. In-Place Test-Time Training (15 votes)

Tác giả: Guhao Feng, Shengjie Luo, Kai Hua, Ge Zhang, Di He, Wenhao Huang, Tianle Cai

Xuất bản lúc: 2026-04-07

Tag: LLMs, Test-Time Training, Continual Learning, Next-Token Prediction, MLP blocks, Fast weights, Context Parallelism

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn (LLMs) bị giới hạn bởi mô hình 'huấn luyện rồi triển khai' tĩnh, ngăn cản chúng thích ứng linh hoạt với luồng thông tin mới liên tục trong các tác vụ thực tế. Mặc dù Test-Time Training (TTT) có tiềm năng, nhưng nó bị cản trở bởi các rào cản chính trong hệ sinh thái LLM hiện tại, bao gồm: (i) không tương thích kiến trúc (thường yêu cầu các lớp chuyên biệt và huấn luyện lại từ đầu tốn kém); (ii) kém hiệu quả về tính toán (cơ chế cập nhật tuần tự, từng token không tận dụng được tính song song của bộ tăng tốc hiện đại); và (iii) mục tiêu trọng số nhanh không phù hợp cho mô hình ngôn ngữ (sử dụng mục tiêu tái tạo chung không tối ưu cho tác vụ Next-Token Prediction).

II. Main Idea:

Công trình này giới thiệu In-Place Test-Time Training (In-Place TTT), một khuôn khổ tích hợp liền mạch khả năng Test-Time Training cho LLMs bằng cách giải quyết các rào cản hiện có. (i) Để giải quyết vấn đề không tương thích kiến trúc, In-Place TTT tái sử dụng ma trận chiếu cuối cùng của các khối MLP phổ biến làm trọng số nhanh có thể thích ứng. Thiết kế 'drop-in' này không yêu cầu sửa đổi kiến trúc hoặc huấn luyện lại từ đầu. (ii) Để cải thiện hiệu quả tính toán, nó thay thế các cập nhật từng token không hiệu quả bằng cơ chế cập nhật theo khối (chunk-wise) có khả năng mở rộng. Thiết kế in-place này bổ trợ cho cơ chế attention, cho phép sử dụng kích thước khối lớn hơn và tận dụng tính song song cao. (iii) Đối với mục tiêu học tập, In-Place TTT thay thế mục tiêu tái tạo chung bằng một mục tiêu mới, có cơ sở lý thuyết, được điều chỉnh rõ ràng cho tác vụ Next-Token Prediction chi phối mô hình ngôn ngữ tự hồi quy. Mục tiêu này, kết hợp với cơ chế cập nhật hiệu quả theo khối, tạo ra một thuật toán có khả năng mở rộng cao, tương thích với tính song song ngữ cảnh.

III. Main Results:

Các thử nghiệm rộng rãi xác nhận hiệu quả của khuôn khổ In-Place TTT: (1) Khi được sử dụng như một cải tiến 'in-place' cho các LLMs đã được huấn luyện trước, nó cho phép mô hình 4B tham số đạt hiệu suất vượt trội trên các tác vụ với ngữ cảnh lên đến 128k, và cũng cải thiện nhất quán điểm RULER cho LLaMA-3.1-8B và Qwen3-14B-Base, đặc biệt ở ngữ cảnh dài hơn. (2) Khi được huấn luyện từ đầu, In-Place TTT liên tục vượt trội hơn các phương pháp liên quan đến TTT cạnh tranh (như SWA, GLA, Deltanet, LaCT) về độ phức tạp cửa sổ trượt thấp hơn và cải thiện đáng kể hiệu suất trên các tác vụ suy luận thông thường và đánh giá ngữ cảnh dài RULER cho các mô hình 4B tham số. (3) Các nghiên cứu cắt bỏ (ablation study) cung cấp hiểu biết sâu sắc về các lựa chọn thiết kế: hiệu suất cải thiện khi kích thước trạng thái (số lượng lớp hỗ trợ TTT) tăng lên; kích thước khối tối ưu nằm trong khoảng 512 đến 1024; và cả toán tử Conv1D cũng như ma trận chiếu trong mục tiêu LM-Aligned đều đóng vai trò quan trọng. (4) In-Place TTT chỉ gây ra chi phí tính toán không đáng kể về thông lượng và bộ nhớ.

IV. Conclusion & Future Works:

In-Place TTT là một bước đi đầy hứa hẹn hướng tới mô hình học tập liên tục trong LLMs, cung cấp một khuôn khổ thực tế và hiệu quả để nâng cao khả năng thích ứng động của các mô hình này. Công trình này mở ra hướng nghiên cứu trong tương lai về việc khám phá các hàm mất mát và bộ tối ưu hóa khác nhau cho cơ chế TTT.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa Trọng số Nhanh: So sánh Bộ tối ưu hóa và Hàm mất mát cho In-Place TTT trong LLMs. Nghiên cứu này sẽ khám phá sâu hơn không gian thiết kế của các hàm mất mát và bộ tối ưu hóa cho cơ chế In-Place TTT. Chúng tôi sẽ đề xuất và đánh giá các chiến lược cập nhật trọng số nhanh tiên tiến, bao gồm cả các phương pháp dựa trên meta-learning hoặc học trực tuyến, nhằm tối ưu hóa tốc độ thích ứng và hiệu suất trên các tác vụ ngôn ngữ dài hạn và liên tục.
Mở rộng In-Place TTT cho Mô hình Ngôn ngữ Đa phương thức và Học tập Liên tục. Công trình này sẽ điều tra cách In-Place TTT có thể được điều chỉnh để hỗ trợ các mô hình đa phương thức (ví dụ: thị giác-ngôn ngữ) và các kịch bản học tập liên tục phức tạp hơn. Chúng tôi sẽ thiết kế các cơ chế trọng số nhanh và mục tiêu thích ứng mới để xử lý đồng thời nhiều loại dữ liệu (ví dụ: văn bản, hình ảnh, âm thanh), cho phép mô hình thích ứng động với các ngữ cảnh đa phương thức thay đổi theo thời gian.
In-Place TTT Phân cấp để Xử lý Ngữ cảnh Cực dài. Đề xuất một kiến trúc In-Place TTT phân cấp, nơi các trọng số nhanh được cập nhật ở các cấp độ trừu tượng và tần suất khác nhau trong một LLM. Các lớp thấp hơn có thể thích ứng với thông tin cục bộ, nhanh chóng, trong khi các lớp cao hơn thích ứng với ngữ cảnh toàn cục, ổn định hơn. Nghiên cứu này nhằm mục đích cải thiện hiệu quả và khả năng xử lý ngữ cảnh cực dài (ví dụ: trên 256k token) bằng cách quản lý thông tin ngữ cảnh một cách có cấu trúc hơn.

2. Patent:

Hệ thống Bàn phím Thông minh Tự Thích ứng Ngữ cảnh trên Điện thoại: Một hệ thống bàn phím di động tích hợp công nghệ In-Place TTT để liên tục điều chỉnh các gợi ý từ, hoàn thành câu và thậm chí phong cách viết dựa trên ngữ cảnh nhập liệu tức thì của người dùng. Khi người dùng gõ, các 'trọng số nhanh' của mô hình ngôn ngữ trên thiết bị sẽ được cập nhật linh hoạt, cho phép bàn phím học và thích ứng với các chủ đề, từ vựng hoặc giọng điệu cụ thể của cuộc trò chuyện hoặc ứng dụng hiện tại mà không cần kết nối mạng liên tục. Điều này mang lại trải nghiệm gõ phím cá nhân hóa và hiệu quả cao hơn.
Trợ lý Đọc Tài liệu và Học tập Cá nhân hóa Động trên Điện thoại: Một ứng dụng đọc tài liệu (ví dụ: sách điện tử, bài báo khoa học) trên thiết bị di động sử dụng In-Place TTT để cung cấp các tóm tắt, giải thích thuật ngữ hoặc câu hỏi liên quan được cá nhân hóa theo thời gian thực. Khi người dùng cuộn qua tài liệu, mô hình sẽ động thích ứng và cập nhật hiểu biết của mình về nội dung, cung cấp hỗ trợ học tập phù hợp với ngữ cảnh đọc hiện tại của người dùng. Điều này giúp nâng cao trải nghiệm đọc và học tập mà không yêu cầu huấn luyện lại mô hình lớn.
Tối ưu hóa Phản hồi Trợ lý Ảo trên Thiết bị với Khả năng Thích ứng Ngữ cảnh: Một công nghệ cho phép trợ lý ảo trên điện thoại (ví dụ: Siri, Google Assistant) cải thiện đáng kể chất lượng và sự liên quan của phản hồi dựa trên lịch sử tương tác ngắn hạn của người dùng. Bằng cách sử dụng In-Place TTT, các 'trọng số nhanh' của mô hình ngôn ngữ trên thiết bị sẽ được điều chỉnh sau mỗi câu hỏi hoặc lệnh, cho phép trợ lý hiểu rõ hơn ý định và ngữ cảnh của người dùng trong một phiên cụ thể. Điều này dẫn đến các phản hồi chính xác và hữu ích hơn, đồng thời tối ưu hóa tài nguyên trên thiết bị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2604.06169
ArXiv Abstract	https://arxiv.org/abs/2604.06169
PDF Download	https://arxiv.org/pdf/2604.06169.pdf
Github Repository	https://github.com/ByteDance-Seed/In-Place-TTT

17. Demystifying When Pruning Works via Representation Hierarchies (12 votes)

Tác giả: Shwai He, Guoheng Sun, Haichao Zhang, Yun Fu, Ang Li

Xuất bản lúc: 2026-04-06

Tag: LLMs, Pruning, Model Compression, Generative AI, Non-generative tasks, Representation Learning

I. Main Problem:

Mặc dù cắt tỉa mạng (network pruning) được kỳ vọng sẽ cải thiện hiệu quả của các mô hình ngôn ngữ lớn (LLMs) trong khi vẫn duy trì hiệu suất, nhưng kỳ vọng này không nhất quán trên các tác vụ ngôn ngữ. Cụ thể, các mô hình đã cắt tỉa có thể hoạt động tốt trên các tác vụ không sinh tạo (non-generative tasks) nhưng thường thất bại trong các cài đặt sinh tạo (generative settings), dẫn đến sự không nhất quán trong hiệu quả ứng dụng của phương pháp này.

II. Main Idea:

Các tác giả phân tích việc cắt tỉa mạng từ góc độ hệ thống phân cấp biểu diễn (representation hierarchy), phân tách quá trình tính toán nội bộ của các mô hình ngôn ngữ thành ba không gian tuần tự: không gian nhúng (embedding), không gian logit (pre-softmax outputs) và không gian xác suất (post-softmax distributions). Ý tưởng chính là các biểu diễn trong không gian embedding và logit phần lớn vẫn mạnh mẽ trước các nhiễu loạn do cắt tỉa gây ra. Tuy nhiên, phép biến đổi phi tuyến tính từ logit sang không gian xác suất khuếch đại những sai lệch này, và sự kéo dài của chúng qua các bước thời gian dẫn đến suy giảm đáng kể trong quá trình sinh tạo. Ngược lại, sự ổn định của không gian con xác suất token rời rạc, cùng với tính mạnh mẽ của không gian embedding, hỗ trợ hiệu quả của việc cắt tỉa cho các tác vụ không sinh tạo như truy xuất thông tin và phân loại trắc nghiệm.

III. Main Results:

Các mô hình đã cắt tỉa duy trì hiệu suất mạnh mẽ trên các tác vụ không sinh tạo (ví dụ: truy xuất, phân loại trắc nghiệm) nhưng thường xuyên thất bại trên các tác vụ sinh tạo (ví dụ: HumanEval, GSM8K), với hiệu suất suy giảm đáng kể (ví dụ: Drop-8M trên GSM8K từ 48.4% xuống 0.0%).
Không gian embedding và logit cho thấy tính mạnh mẽ cao đối với các nhiễu loạn do cắt tỉa gây ra, với độ tương đồng biểu diễn cao (CosineSim) ngay cả khi một phần đáng kể tham số bị loại bỏ.
Phép chiếu phi tuyến tính từ logit sang xác suất (hàm softmax) khuếch đại đáng kể các nhiễu loạn do cắt tỉa, dẫn đến độ lệch lớn trong phân phối đầu ra và làm mất ổn định quá trình sinh tạo. Điều này được chứng minh bằng sự gia tăng đột biến của độ phân kỳ KL (KL Divergence) trong không gian xác suất.
Trong các tác vụ sinh tạo, sai sót do cắt tỉa gây ra ở các bước đầu tiên sẽ tích lũy và lan truyền qua các bước giải mã tự hồi quy (autoregressive decoding), dẫn đến sự suy giảm hiệu suất nghiêm trọng theo thời gian.
Đối với các tác vụ không sinh tạo, mặc dù có sự dịch chuyển trong xác suất của các token hàng đầu, không gian con xác suất của các token danh mục (ví dụ: các lựa chọn A/B/C/D) vẫn ổn định, bảo toàn các dự đoán chính, giải thích cho tính mạnh mẽ của chúng.

IV. Conclusion & Future Works:

Công trình này chỉ ra rằng các mô hình ngôn ngữ lớn có tính mạnh mẽ không nhất quán đối với việc cắt tỉa mạng, hoạt động tốt trên các tác vụ không sinh tạo nhưng thường thất bại trong các cài đặt sinh tạo. Thông qua phân tích thực nghiệm và lý thuyết từ góc độ hệ thống phân cấp biểu diễn, chúng tôi đã xác định cách tính mạnh mẽ đối với cắt tỉa khác nhau ở các cấp độ biểu diễn khác nhau, cung cấp những hiểu biết và hướng dẫn thực tế để ứng dụng cắt tỉa mạng hiệu quả. Công việc trong tương lai có thể tập trung vào các phương pháp bổ sung như "post-training" hoặc "fine-tuning" sau khi cắt tỉa để giảm thiểu sự suy giảm hiệu suất.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp tinh chỉnh (fine-tuning) hoặc đào tạo lại sau cắt tỉa (post-training) được thiết kế đặc biệt để ổn định không gian xác suất và ngăn chặn sự suy giảm hiệu suất trong các tác vụ sinh tạo của LLMs đã được cắt tỉa.
Phát triển các kỹ thuật cắt tỉa 'nhận biết biểu diễn' (representation-aware pruning) mới, ưu tiên bảo toàn tính toàn vẹn của không gian xác suất hoặc các không gian con quan trọng, thay vì chỉ tập trung vào việc loại bỏ tham số dựa trên độ lớn hoặc cấu trúc.
Mở rộng phân tích hệ thống phân cấp biểu diễn này để hiểu rõ hơn sự khác biệt trong tác động của các phương pháp nén mô hình khác (như lượng tử hóa hay chưng cất kiến thức) đối với hiệu suất của LLMs trong các tác vụ sinh tạo và không sinh tạo.

2. Patent:

Hệ thống cắt tỉa thích ứng cho LLMs trên thiết bị di động: Một hệ thống trên điện thoại di động tự động điều chỉnh mức độ cắt tỉa của mô hình ngôn ngữ dựa trên loại tác vụ người dùng đang thực hiện. Ví dụ, đối với các tác vụ đơn giản như tìm kiếm nhanh (không sinh tạo), hệ thống sẽ sử dụng một phiên bản mô hình được cắt tỉa mạnh để tiết kiệm pin và tăng tốc độ. Đối với các tác vụ phức tạp hơn như viết email hoặc sáng tạo nội dung (sinh tạo), hệ thống sẽ chuyển sang phiên bản ít cắt tỉa hơn hoặc không cắt tỉa để đảm bảo chất lượng đầu ra cao nhất, tối ưu trải nghiệm người dùng.
Module 'Bảo vệ Sinh tạo' cho mô hình đã cắt tỉa: Một phần mềm hoặc phần cứng được tích hợp vào các thiết bị chạy mô hình ngôn ngữ đã cắt tỉa. Module này sẽ liên tục giám sát các biến đổi nội bộ của mô hình, đặc biệt là quá trình chuyển đổi từ logit sang xác suất. Nếu phát hiện các dấu hiệu nhiễu loạn bị khuếch đại vượt quá ngưỡng an toàn có thể dẫn đến lỗi sinh tạo, module sẽ kích hoạt cơ chế dự phòng, chẳng hạn như chuyển sang một mô hình nhỏ hơn nhưng không cắt tỉa cho các phần sinh tạo quan trọng, hoặc cảnh báo người dùng về chất lượng đầu ra tiềm năng thấp.
Phương pháp cắt tỉa theo ngữ cảnh cho AI trên thiết bị: Một phương pháp cho phép các mô hình ngôn ngữ trên thiết bị di động được cắt tỉa theo các cấu hình khác nhau tùy thuộc vào ứng dụng hoặc ngữ cảnh sử dụng cụ thể. Ví dụ, một mô hình được sử dụng cho tóm tắt văn bản nhanh (tác vụ không sinh tạo, một bước) có thể được cắt tỉa rất mạnh mẽ. Tuy nhiên, cùng một mô hình cơ bản đó, khi được dùng cho hỗ trợ viết sáng tạo thời gian thực (tác vụ sinh tạo, nhiều bước), sẽ sử dụng một cấu hình cắt tỉa khác, nơi không gian xác suất được bảo toàn cẩn thận hoặc được phục hồi thông qua việc tinh chỉnh chọn lọc các lớp liên quan đến softmax hoặc LM head. Các cấu hình cắt tỉa này được lưu trữ và tải dựa trên ngữ cảnh ứng dụng hiện tại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.24652
ArXiv Abstract	https://arxiv.org/abs/2603.24652
PDF Download	https://arxiv.org/pdf/2603.24652.pdf
Github Repository	https://github.com/CASE-Lab-UMD/Pruning-on-Representations

📰 Summary of Papers​

1. Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding (201 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents (98 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Learning to Retrieve from Agent Trajectories (55 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. ACES: Who Tests the Tests? Leave-One-Out AUC Consistency for Code Generation (47 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers (37 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. ThinkTwice: Jointly Optimizing Large Language Models for Reasoning and Self-Refinement (32 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Beyond Accuracy: Unveiling Inefficiency Patterns in Tool-Integrated Reasoning (31 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision (31 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Watch Before You Answer: Learning from Visually Grounded Post-Training (26 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding (201 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents (98 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Learning to Retrieve from Agent Trajectories (55 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. ACES: Who Tests the Tests? Leave-One-Out AUC Consistency for Code Generation (47 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers (37 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. ThinkTwice: Jointly Optimizing Large Language Models for Reasoning and Self-Refinement (32 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Beyond Accuracy: Unveiling Inefficiency Patterns in Tool-Integrated Reasoning (31 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision (31 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Watch Before You Answer: Learning from Visually Grounded Post-Training (26 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: