🤗 Daily Hugging Face Paper Digest - 2026-05-19

Báo cáo được tạo tự động vào lúc 2026-05-21 03:15:00 bằng mô hình deepseek-ai/deepseek-v4-flash.

📰 Summary of Papers

1. KVPO: ODE-Native GRPO for Autoregressive Video Alignment via KV Semantic Exploration (36 votes)

Tác giả: Ruicheng Zhang, Kaixi Cong, Jun Zhou, Zhizhou Zhong, Zunnan Xu, Shuiyang Mao, Wei Liu, Xiu Li

Xuất bản lúc: 2026-05-14

Tag: GRPO, Autoregressive Video Generation, Flow Matching, Preference Alignment, KV Cache, ODE, Diffusion Transformer

I. Main Problem:

Việc căn chỉnh các mô hình sinh video tự hồi quy (autoregressive) theo sở thích của con người gặp nhiều thách thức. Các phương pháp học tăng cường hiện tại chủ yếu dựa vào khám phá dựa trên nhiễu (noise-based exploration) và chính sách thay thế dựa trên SDE (SDE-based surrogate policies), vốn không phù hợp với động lực ODE xác định của các mô hình AR đã được chưng cất. Chúng thường làm xáo trộn các đặc điểm cấp thấp (low-level appearance) thay vì sự phát triển cốt truyện ngữ nghĩa cấp cao (high-level semantic storyline progression) vốn rất quan trọng cho sự mạch lạc trong thời gian dài (long-horizon coherence).

II. Main Idea:

Bài báo giới thiệu KVPO, một khung GRPO (Group Relative Policy Optimization) thuần ODE để căn chỉnh các bộ sinh video luồng (streaming video generators). KVPO có hai đóng góp chính:

Khám phá Nhân quả-Ngữ nghĩa (Causal-Semantic Exploration): Thay vì tiêm nhiễu, phương pháp này thay đổi nguồn biến thiên từ nhiễu ngẫu nhiên sang bộ nhớ đệm KV (KV cache) lịch sử. Bằng cách định tuyến ngẫu nhiên các mục KV lịch sử, nó xây dựng các nhánh sinh đa dạng về mặt ngữ nghĩa nhưng vẫn nằm trên đa tạp dữ liệu (data manifold).
Chính sách thay thế dựa trên Trường Vận tốc (Velocity-Field Surrogate Policy): Được xây dựng dựa trên Năng lượng Vận tốc Quỹ đạo (Trajectory Velocity Energy - TVE), chính sách này định lượng khả năng của chính sách hiện tại tái tạo từng nhánh trong không gian trường vận tốc, mang lại một mục tiêu đối lập có trọng số phần thưởng hoàn toàn phù hợp với công thức ODE gốc.

III. Main Results:

Thử nghiệm trên nhiều bộ sinh video AR đã chưng cất cho thấy sự cải thiện nhất quán về chất lượng hình ảnh, chất lượng chuyển động và độ căn chỉnh văn bản-video trong cả hai cài đặt: video ngắn một prompt và video dài nhiều prompt. Cụ thể, trên LongLive, KVPO cải thiện VQ lên 15.2%, MQ lên 5.0% và TA lên 200.0% cho video ngắn; và VQ lên 28.4%, MQ lên 6.4%, TA lên 26.3% cho video dài. KVPO cũng vượt trội hơn so với phương pháp Astrolabe trong mọi bài kiểm tra.

IV. Conclusion & Future Works:

KVPO chứng minh rằng khám phá không gian ngữ nghĩa là một giải pháp thay thế nguyên tắc cho việc nhiễu loạn dựa trên nhiễu để tạo ra sự đa dạng nhánh trên đa tạp. Không gian trường vận tốc cung cấp một miền tự nhiên để mô hình hóa chính sách thay thế một cách trung thành với động lực nội tại của bộ sinh. Những hiểu biết này có thể định hướng cho các nghiên cứu căn chỉnh trong tương lai trên các kiến trúc sinh dựa trên ODE.

V. Brainstorming Space:

1. Publish Papers:

1. Mở rộng Causal-Semantic Exploration cho các tác vụ đa phương thức: Nghiên cứu cách áp dụng cơ chế định tuyến KV cache không chỉ cho video mà còn cho các mô hình ngôn ngữ lớn đa phương thức (MLLMs) trong các tác vụ sinh văn bản-hình ảnh hoặc văn bản-âm thanh, nhằm tạo ra sự đa dạng ngữ nghĩa có cấu trúc hơn.
1. Tối ưu hóa chính sách dựa trên năng lượng cho các mô hình ODE khác: Khám phá việc áp dụng khái niệm Trajectory Velocity Energy (TVE) cho các mô hình sinh dựa trên ODE khác như mô hình diffusion cho ảnh tĩnh hoặc mô hình flow matching cho âm nhạc, để xây dựng một khung tối ưu hóa chính sách thống nhất.
1. Kết hợp KVPO với các kỹ thuật học tăng cường từ phản hồi của con người (RLHF) nâng cao: Tích hợp KVPO với các mô hình phần thưởng phức tạp hơn, có khả năng hiểu được bối cảnh dài hạn và cốt truyện, để cải thiện hơn nữa khả năng sinh video mạch lạc và kể chuyện.

2. Patent:

1. Phương pháp và hệ thống tạo video ngắn trên điện thoại thông minh dựa trên sở thích người dùng: Một ứng dụng trên điện thoại cho phép người dùng nhập một đoạn văn bản mô tả. Ứng dụng sẽ tạo ra nhiều phiên bản video ngắn khác nhau bằng cách thay đổi một cách thông minh lịch sử khung hình trước đó (giống như định tuyến KV cache). Người dùng có thể vuốt để chọn video ưng ý nhất, và hệ thống sẽ tự động học hỏi sở thích của người dùng để tạo ra các video tốt hơn trong tương lai.
1. Hệ thống chỉnh sửa video thông minh trên thiết bị di động dựa trên cốt truyện: Một tính năng trên điện thoại cho phép người dùng chỉnh sửa một video dài có sẵn. Người dùng có thể chọn một đoạn video và yêu cầu thay đổi cốt truyện (ví dụ: 'làm cho cảnh tiếp theo trở nên kịch tính hơn'). Hệ thống sẽ tự động tạo ra các phiên bản thay thế cho đoạn video đó bằng cách điều chỉnh các khung hình chính, giúp câu chuyện trở nên mạch lạc và hấp dẫn hơn mà không làm giảm chất lượng hình ảnh.
1. Ứng dụng tạo ảnh động (live photo) hoặc GIF thông minh trên điện thoại: Một ứng dụng chụp ảnh cho phép người dùng chụp một chuỗi ảnh ngắn (giống như live photo). Ứng dụng sẽ tự động phân tích nội dung và tạo ra nhiều phiên bản chuyển động khác nhau (ví dụ: làm chậm, tăng tốc, thay đổi hướng chuyển động). Người dùng có thể chọn phiên bản ưng ý nhất, và hệ thống sẽ đảm bảo chuyển động mượt mà và tự nhiên, không bị giật hay vỡ hình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.14278
ArXiv Abstract	https://arxiv.org/abs/2605.14278
PDF Download	https://arxiv.org/pdf/2605.14278.pdf
Github Repository	https://github.com/Richard-Zhang-AI/KVPO

2. OProver: A Unified Framework for Agentic Formal Theorem Proving (28 votes)

Tác giả: David Ma, Kaijing Ma, Shawn Guo, Yunfeng Shi, Enduo Zhao, Jiajun Shi, Zhaoxiang Zhang, Gavin Cheung, Jiaheng Liu, Zili Wang

Xuất bản lúc: 2026-05-17

Tag: Formal Theorem Proving, Lean 4, Agentic Proving, Retrieval-Augmented Generation, Reinforcement Learning, Supervised Fine-Tuning, Proof Repair, Large Language Models

I. Main Problem:

Các hệ thống chứng minh định lý hình thức hiện tại chủ yếu dựa vào việc sinh chứng minh một lần (single-pass) hoặc best-of-N, không tận dụng được phản hồi từ trình biên dịch và các chứng minh đã được xác minh để sửa lỗi. Việc sử dụng các kỹ thuật này thường chỉ diễn ra trong quá trình suy luận (inference) chứ không được tích hợp vào quá trình huấn luyện, dẫn đến sự không khớp giữa huấn luyện và suy luận. Ngoài ra, các kho dữ liệu hiện có chỉ lưu trữ chứng minh cuối cùng, thiếu các thông tin về các lần thử thất bại, phản hồi của trình biên dịch và quá trình sửa lỗi cần thiết để huấn luyện một mô hình có khả năng tự sửa lỗi.

II. Main Idea:

OProver đề xuất một khung làm việc thống nhất cho chứng minh định lý hình thức tác tử (agentic) trong Lean 4. Thay vì coi việc truy xuất, phản hồi từ trình biên dịch và sửa lỗi lặp là các mô-đun riêng biệt, OProver hợp nhất chúng với quá trình huấn luyện và xây dựng dữ liệu. Quá trình chứng minh được xem như một vòng lặp tinh chỉnh nhiều bước: mô hình (policy) truy vấn một bộ nhớ truy xuất (retrieval memory) để lấy các chứng minh đã được xác minh, tạo ra một chứng minh thử, nhận phản hồi từ trình biên dịch Lean 4 nếu thất bại, và sửa lại ở bước tiếp theo. Quá trình huấn luyện gồm hai giai đoạn: tiếp tục tiền huấn luyện (continued pretraining) trên một kho dữ liệu lớn OProofs, sau đó là huấn luyện hậu kỳ lặp (iterative post-training) với sự kết hợp giữa agentic proving, supervised fine-tuning (SFT) và reinforcement learning (RL). Các chứng minh mới được xác minh và dữ liệu sửa lỗi được quay vòng lại vào OProofs và bộ nhớ truy xuất, tạo ra sự đồng tiến hóa giữa mô hình và dữ liệu.

III. Main Results:

OProver-32B đạt kết quả tốt nhất trên 3/5 benchmark và nhì trên 2/5 benchmark còn lại trong số các prover mã nguồn mở: Pass@32 đạt 93.3% trên MiniF2F, 58.2% trên ProverBench, và 11.3% trên PutnamBench. OProver-32B vượt qua các mô hình lớn hơn như DeepSeek-Prover-V2-671B và LongCat-Flash-Prover (560B MoE) trên tất cả các benchmark. Ngay cả OProver-8B cũng vượt trội hơn Goedel-Prover-V2-32B trên cả 5 benchmark. Kết quả này cho thấy hiệu quả đến từ việc kết hợp truy xuất, phản hồi trình biên dịch và tinh chỉnh lặp, thay vì chỉ dựa vào kích thước mô hình.

IV. Conclusion & Future Works:

OProver đã chứng minh một khung làm việc hiệu quả cho chứng minh định lý hình thức tác tử, đạt được kết quả vượt trội nhờ việc tích hợp truy xuất và phản hồi vào cả quá trình huấn luyện và suy luận. Các hướng nghiên cứu trong tương lai có thể bao gồm: (1) mở rộng khung làm việc này sang các hệ thống chứng minh hình thức khác ngoài Lean 4, (2) cải thiện hiệu quả của quá trình truy xuất và tinh chỉnh, và (3) áp dụng phương pháp luận này vào các lĩnh vực khác đòi hỏi lý luận nhiều bước và có phản hồi từ môi trường.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng OProver sang các hệ thống chứng minh hình thức khác (Coq, Isabelle): Nghiên cứu khả năng thích ứng của khung làm việc OProver với các hệ thống chứng minh hình thức khác như Coq hoặc Isabelle. Bài toán chính là xây dựng một pipeline tương tự để thu thập dữ liệu và huấn luyện mô hình cho các hệ thống này, đồng thời phát triển một cơ chế truy xuất đa ngôn ngữ hình thức.
Cải thiện hiệu quả truy xuất và tinh chỉnh: Tập trung vào việc tối ưu hóa quá trình truy xuất và tinh chỉnh trong OProver. Nghiên cứu các phương pháp lựa chọn ngữ cảnh truy xuất (retrieved context) thông minh hơn, ví dụ như dựa trên cấu trúc của định lý mục tiêu, và phát triển các chiến lược tinh chỉnh thích ứng dựa trên độ khó của bài toán.
Áp dụng OProver vào các lĩnh vực khác đòi hỏi lý luận nhiều bước: Mở rộng ý tưởng về vòng lặp tinh chỉnh dựa trên phản hồi từ môi trường sang các lĩnh vực khác như lập trình (sửa lỗi code dựa trên phản hồi từ trình biên dịch), lập kế hoạch (planning) trong robot, hoặc các bài toán suy luận phức tạp khác.

2. Patent:

Hệ thống hỗ trợ học toán thông minh trên điện thoại: Một ứng dụng di động sử dụng OProver để giúp học sinh giải các bài toán. Người dùng nhập đề bài toán, hệ thống sẽ cố gắng chứng minh và đưa ra lời giải từng bước. Nếu học sinh mắc lỗi, hệ thống sẽ dựa trên phản hồi để đưa ra gợi ý sửa lỗi, giúp học sinh hiểu được quá trình tư duy đúng. Ứng dụng này có thể hoạt động như một gia sư toán học cá nhân hóa.
Trợ lý ảo kiểm tra tính chính xác của thông tin trên điện thoại: Một ứng dụng cho phép người dùng nhập một tuyên bố hoặc một đoạn văn bản và yêu cầu hệ thống kiểm tra tính đúng đắn của nó dựa trên một cơ sở kiến thức hình thức hóa. OProver sẽ cố gắng chứng minh hoặc bác bỏ tuyên bố đó, cung cấp cho người dùng một đánh giá đáng tin cậy. Ứng dụng này hữu ích cho việc kiểm tra thông tin sai lệch hoặc xác thực các lập luận phức tạp.
Công cụ hỗ trợ viết mã nguồn an toàn trên thiết bị di động: Một plugin cho các ứng dụng code editor trên điện thoại, sử dụng OProver để giúp lập trình viên viết mã nguồn an toàn hơn. Khi lập trình viên viết một đoạn code, hệ thống có thể tự động chứng minh các tính chất an toàn (ví dụ: không bị tràn bộ nhớ, không bị lỗi null pointer) dựa trên các đặc tả hình thức. Nếu phát hiện lỗi, nó sẽ đưa ra gợi ý sửa lỗi dựa trên phản hồi từ hệ thống chứng minh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.17283
ArXiv Abstract	https://arxiv.org/abs/2605.17283
PDF Download	https://arxiv.org/pdf/2605.17283.pdf
Github Repository	https://github.com/multimodal-art-projection/OProver

3. StableVLA: Towards Robust Vision-Language-Action Models without Extra Data (13 votes)

Tác giả: Yiyang Fu, Chubin Zhang, Shukai Gong, Yufan Deng, Kaiwei Sun, Qiyang Min, Qibin Hou, Yansong Tang, Jianan Wang, Daquan Zhou

Xuất bản lúc: 2026-05-18

Tag: Vision-Language-Action (VLA), Information Bottleneck, Robustness, Adapter, Robotics, Zero-shot

I. Main Problem:

Các mô hình Vision-Language-Action (VLA) hiện tại rất nhạy cảm với các nhiễu loạn thị giác không thấy trong quá trình huấn luyện, dẫn đến suy giảm hiệu suất nghiêm trọng (lên đến 50%) trong môi trường thực tế. Các giải pháp dựa trên dữ liệu như tăng cường dữ liệu gặp khó khăn do không thể mô phỏng hết các dạng nhiễu và dễ dẫn đến ghi nhớ mẫu nhiễu thay vì học đặc trưng bất biến.

II. Main Idea:

Bài báo đề xuất StableVLA, một kiến trúc mới giúp tăng cường tính bền vững nội tại của mô hình VLA mà không cần dữ liệu bổ sung. Cốt lõi là IB-Adapter (Information Bottleneck Adapter), một module adapter nhẹ (dưới 10M tham số) thay thế MLP projector truyền thống. IB-Adapter dựa trên nguyên lý Information Bottleneck, sử dụng cơ chế chú ý kênh (channel-wise attention) với Gram matrix và hàm sigmoid gating để lọc nhiễu và chỉ giữ lại các đặc trưng ngữ nghĩa quan trọng. Một biến thể Fused IB-Adapter kết hợp cả đường MLP (giữ chi tiết không gian) và IB-Adapter (lọc nhiễu) để cân bằng giữa độ bền vững và độ chính xác cho các tác vụ phức tạp.

III. Main Results:

StableVLA (0.5B tham số) cải thiện trung bình 30% so với baseline VLA-Adapter trên các benchmark LIBERO và CALVIN khi gặp nhiễu. Trên LIBERO, nó vượt trội so với VLA-Adapter từ 40.2% đến 139.6% ở mức nhiễu cao nhất. Trong thử nghiệm robot thực tế, StableVLA đạt tỷ lệ thành công cao hơn 31.7 điểm phần trăm so với VLA-Adapter và cạnh tranh với các mô hình lớn hơn 14 lần như OpenVLA (7B) mà không cần tiền huấn luyện trên bộ dữ liệu lớn.

IV. Conclusion & Future Works:

StableVLA chứng minh rằng cải tiến kiến trúc (IB-Adapter) có thể thu hẹp khoảng cách về quy mô mô hình, mang lại độ bền vững cạnh tranh với các mô hình lớn hơn nhiều. IB-Adapter là một component nhẹ, có thể thay thế projector chuẩn, hướng tới việc phát triển các inductive bias kiến trúc bền vững cho AI nhúng (embodied AI). Hướng nghiên cứu tương lai có thể mở rộng IB-Adapter cho các tác vụ và mô hình khác.

V. Brainstorming Space:

1. Publish Papers:

Ứng dụng IB-Adapter cho các tác vụ đa phương thức khác ngoài robot: Nghiên cứu việc thay thế MLP projector trong các mô hình Vision-Language (VLM) hoặc các hệ thống multimodal khác (ví dụ: video understanding, medical imaging) bằng IB-Adapter để tăng cường khả năng chống nhiễu mà không cần thêm dữ liệu huấn luyện.
Kết hợp IB-Adapter với các kỹ thuật tăng cường dữ liệu thông minh: Thay vì chỉ dùng IB-Adapter một mình, hãy kết hợp nó với các chiến lược tăng cường dữ liệu có chủ đích (ví dụ: adversarial augmentation) để tạo ra một hệ thống phòng thủ nhiều lớp, vừa có kiến trúc bền vững vừa có dữ liệu huấn luyện đa dạng hơn.
Phân tích lý thuyết sâu hơn về cơ chế lọc nhiễu của IB-Adapter: Mở rộng chứng minh toán học cho IB-Adapter trong các điều kiện tổng quát hơn (không chỉ giả định Gaussian). Nghiên cứu ảnh hưởng của số lượng head (H) và tỷ lệ dropout (pdrop) đến hiệu suất và độ bền vững, từ đó đưa ra các hướng dẫn thiết kế tối ưu.

2. Patent:

Phương pháp và hệ thống chụp ảnh chống rung cho điện thoại di động: Sử dụng IB-Adapter được huấn luyện sẵn để xử lý ảnh bị mờ do rung tay hoặc chuyển động. Module này được tích hợp vào chip xử lý ảnh của điện thoại, giúp lọc nhiễu và khôi phục chi tiết ảnh mà không cần phần cứng chống rung đắt tiền, mang lại ảnh chụp sắc nét hơn trong điều kiện thiếu sáng hoặc khi đang di chuyển.
Hệ thống điều khiển bằng cử chỉ tay trên điện thoại hoạt động trong môi trường nhiễu: Phát triển một ứng dụng cho phép người dùng điều khiển điện thoại bằng cử chỉ tay qua camera. Ứng dụng sử dụng IB-Adapter để lọc nhiễu từ môi trường (ánh sáng yếu, bụi bẩn trên ống kính) giúp nhận dạng cử chỉ chính xác ngay cả khi điều kiện quan sát không lý tưởng, ví dụ như khi đang chạy bộ hoặc ở ngoài trời nắng gắt.
Phương pháp tăng cường độ chính xác cho tính năng nhận dạng vật thể trong thực tế ảo tăng cường (AR) trên điện thoại: Tích hợp IB-Adapter vào module nhận dạng vật thể của ứng dụng AR (ví dụ: đo khoảng cách, đặt đồ nội thất ảo). Module này giúp lọc nhiễu từ camera điện thoại (bụi, vân tay, ánh sáng chói) giúp nhận dạng vật thể chính xác hơn, đảm bảo các đối tượng ảo được đặt chính xác và ổn định trong không gian thực.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.18287
ArXiv Abstract	https://arxiv.org/abs/2605.18287
PDF Download	https://arxiv.org/pdf/2605.18287.pdf
Github Repository	N/A

4. From Runnable to Shippable: Multi-Agent Test-Driven Development for Generating Full-Stack Web Applications from Requirements (10 votes)

Tác giả: Yuxuan Wan, Tingshuo Liang, Jiakai Xu, Jingyu Xiao, Yintong Huo, Michael R Lyu

Xuất bản lúc: 2026-05-17

Tag: Coding Agents, Test-Driven Development, Web Application Generation, LLM, Automated Testing, Multi-Agent Systems

I. Main Problem:

Các tác nhân lập trình (coding agents) hiện tại có thể tạo ra các ứng dụng web từ mô tả ngôn ngữ tự nhiên, nhưng các ứng dụng này thường không đáp ứng được các yêu cầu chức năng trong hơn 70% trường hợp. Vấn đề cốt lõi là tính đúng đắn của ứng dụng web không thể được đánh giá từ mã nguồn hoặc đầu ra terminal; ứng dụng phải được triển khai, kiểm tra thông qua các tương tác trình duyệt mô phỏng, và các lỗi phải được chuyển đổi thành tín hiệu sửa chữa có thể hành động được — những bước mà các tác nhân hiện tại không thể thực hiện mà không có sự can thiệp của con người.

II. Main Idea:

Bài báo giới thiệu TDDev, một khuôn khổ tự động hóa vòng lặp kiểm thử-driven (TDD) đóng cho việc tạo ứng dụng web thông qua ba giai đoạn: (1) chuyển đổi các yêu cầu cấp cao thành các bài kiểm tra chấp nhận có cấu trúc trước khi viết bất kỳ mã nào, (2) triển khai ứng dụng và xác thực nó thông qua mô phỏng tương tác dựa trên trình duyệt, và (3) chuyển đổi các lỗi quan sát được trên trình duyệt thành các báo cáo sửa chữa có cấu trúc cho tác nhân lập trình. TDDev cho phép nghiên cứu thực nghiệm có kiểm soát đầu tiên về các chiến lược TDD cho việc tạo ứng dụng web, so sánh bốn giao thức phát triển trên hai tác nhân lập trình, hai mô hình nền, và hai bộ tiêu chuẩn.

III. Main Results:

Cơ sở hạ tầng TDD luôn cải thiện chất lượng tạo ứng dụng từ 34 đến 48 điểm phần trăm so với đường cơ sở không có TDD. Phát hiện trung tâm là giao thức tối ưu phụ thuộc vào phong cách tạo mã của mô hình: các mô hình xây dựng ứng dụng một cách tổng thể (holistic) được hưởng lợi nhiều nhất từ việc thực thi có tác nhân (agentic enforcement), trong khi các mô hình mở rộng mã một cách thận trọng (conservative) được hưởng lợi từ việc thực thi gia tăng (incremental enforcement). Việc ghép sai giao thức với phong cách tạo mã sẽ loại bỏ hoàn toàn lợi ích của TDD trong khi nhân chi phí token lên đến 25 lần. Một nghiên cứu người dùng xác nhận rằng TDDev giảm sự can thiệp thủ công của nhà phát triển xuống bằng không, chuyển khối lượng công việc từ việc thiết kế prompt liên tục sang việc tinh chỉnh tự động dựa trên phản hồi.

IV. Conclusion & Future Works:

TDDev chứng minh rằng việc tự động hóa vòng lặp TDD có thể cải thiện đáng kể chất lượng tạo ứng dụng web. Phát hiện quan trọng là giao thức TDD tối ưu phụ thuộc vào phong cách tạo mã của mô hình (tổng thể so với gia tăng), và việc ghép sai giao thức có thể gây lãng phí token và không cải thiện chất lượng. Các nghiên cứu trong tương lai có thể khám phá việc tự động phát hiện phong cách tạo mã của mô hình để chọn giao thức phù hợp, mở rộng TDDev cho các loại ứng dụng phức tạp hơn, và phát triển các chiến lược thích ứng động trong quá trình phát triển.

V. Brainstorming Space:

1. Publish Papers:

Phát hiện tự động phong cách tạo mã của mô hình để chọn giao thức TDD phù hợp: Nghiên cứu một phương pháp tự động phân tích hành vi tạo mã của mô hình (holistic vs. incremental) trong các vòng lặp đầu tiên để điều chỉnh giao thức TDD (agentic, whole-project, incremental) nhằm tối ưu hóa chất lượng và chi phí.
Mở rộng TDDev cho các ứng dụng di động đa nền tảng: Áp dụng khuôn khổ TDD tự động cho việc tạo ứng dụng di động (iOS/Android) từ yêu cầu ngôn ngữ tự nhiên, giải quyết các thách thức về triển khai trên thiết bị thật, mô phỏng tương tác cảm ứng và chuyển đổi lỗi giao diện người dùng.
Chiến lược TDD thích ứng động dựa trên phản hồi thời gian thực: Phát triển một hệ thống có thể thay đổi linh hoạt giữa các giao thức TDD (incremental, whole-project, agentic) dựa trên hiệu suất của mô hình trong quá trình phát triển, sử dụng các tín hiệu như tỷ lệ lỗi, chi phí token và độ phức tạp của tác vụ.

2. Patent:

Phương pháp và hệ thống phát triển ứng dụng di động tự động dựa trên kiểm thử: Một hệ thống trên điện thoại thông minh cho phép người dùng mô tả ứng dụng họ muốn bằng giọng nói hoặc văn bản. Hệ thống sẽ tự động tạo ra các bài kiểm tra chi tiết, sau đó xây dựng ứng dụng và kiểm tra nó trên chính thiết bị di động. Nếu phát hiện lỗi, hệ thống sẽ tự động sửa chữa và kiểm tra lại mà không cần người dùng can thiệp. Ví dụ, người dùng nói 'tạo một ứng dụng quản lý chi tiêu' và hệ thống sẽ tự động tạo, kiểm tra và sửa lỗi ứng dụng đó.
Công cụ hỗ trợ lập trình viên di động với vòng lặp phản hồi tự động: Một ứng dụng trên điện thoại thông minh dành cho lập trình viên, cho phép họ nhập yêu cầu ứng dụng web. Ứng dụng này sẽ tự động tạo mã nguồn, triển khai nó trên một máy chủ ảo ngay trên điện thoại, chạy các bài kiểm tra tương tác mô phỏng người dùng (ví dụ: nhấn nút, điền form), và gửi báo cáo lỗi chi tiết về cho lập trình viên. Quá trình này lặp lại cho đến khi ứng dụng hoạt động chính xác hoàn toàn, giúp lập trình viên tiết kiệm thời gian kiểm tra thủ công.
Phương pháp kiểm tra và sửa lỗi ứng dụng web tự động trên thiết bị di động: Một hệ thống trên điện thoại thông minh cho phép người dùng yêu cầu một tính năng mới cho ứng dụng web của họ. Hệ thống sẽ tự động viết bài kiểm tra cho tính năng đó, thêm mã nguồn vào ứng dụng, triển khai lại, và chạy bài kiểm tra. Nếu bài kiểm tra thất bại, hệ thống sẽ phân tích lỗi (ví dụ: nút bấm không hoạt động, trang không tải) và tự động sửa mã nguồn. Quá trình này lặp lại cho đến khi tính năng mới hoạt động chính xác mà không làm hỏng các tính năng cũ, tất cả đều diễn ra trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.17242
ArXiv Abstract	https://arxiv.org/abs/2605.17242
PDF Download	https://arxiv.org/pdf/2605.17242.pdf
Github Repository	https://github.com/yxwan123/TDDev

5. Stop When Reasoning Converges: Semantic-Preserving Early Exit for Reasoning Models (19 votes)

Tác giả: Dehai Min, Giovanni Vaccarino, Huiyi Chen, Yongliang Wu, Gal Yona, Lu Cheng

Xuất bản lúc: 2026-05-17

Tag: Large Reasoning Model (LRM), Chain-of-Thought (CoT), Early Exit, Redundancy Detection, Inference Efficiency, Semantic Similarity, Plug-and-Play, Token Reduction

I. Main Problem:

Các Mô hình Suy luận Lớn (Large Reasoning Models - LRMs) như DeepSeek-R1 hay OpenAI o1 đạt hiệu suất cao nhờ tạo ra các chuỗi suy nghĩ dài (Chain-of-Thought - CoT). Tuy nhiên, chúng thường 'suy nghĩ quá mức' (overthinking), nghĩa là tiếp tục suy luận ngay cả khi lời giải đã ổn định, dẫn đến lãng phí token (khoảng 41-52% số token là dư thừa) và tăng độ trễ. Các phương pháp 'thoát sớm' (early-exit) hiện tại chủ yếu dựa vào tín hiệu ở cấp độ câu trả lời (ví dụ: độ tin cậy, tính nhất quán). Tuy nhiên, các tín hiệu này phản ánh mức độ sẵn sàng của câu trả lời hơn là sự hội tụ của quá trình suy luận, dễ gây ra việc thoát quá sớm khi mô hình vẫn đang khám phá, làm giảm độ chính xác và khiến chuỗi suy luận bị thiếu sót về mặt ngữ nghĩa.

II. Main Idea:

Tận dụng tín hiệu 'dư thừa ngữ nghĩa' (semantic redundancy) ở cấp độ suy luận để quyết định thời điểm thoát sớm. Cụ thể, khi các bước suy luận gần đây không còn đóng góp thông tin mới mà chỉ lặp lại các kết luận đã có, tiến trình suy luận được cho là đã hội tụ. Dựa trên ý tưởng này, tác giả đề xuất khung PUMA (Progress-aware Unified Monitoring framework for Adaptive early exit), bao gồm hai thành phần chính:

Bộ phát hiện dư thừa (Redundancy Detector): Một mô hình embedding nhẹ (fine-tune từ Qwen3-Embedding-0.6B) hoạt động trực tuyến, so sánh độ tương đồng ngữ nghĩa giữa bước suy luận hiện tại với các bước trước đó để xác định các điểm có khả năng là điểm thoát (candidate exit).
Xác minh câu trả lời (Answer Verification): Chỉ khi bộ phát hiện đánh dấu một điểm, PUMA mới kích hoạt cơ chế xác minh (dựa trên độ tin cậy và tính nhất quán của câu trả lời thử nghiệm) để quyết định có dừng lại hay không. Thiết kế này tách biệt việc 'xem xét dừng ở đâu' khỏi việc 'xem xét điểm dừng đó có đáng tin cậy không'. Ngoài ra, PUMA còn có 'Bộ phá vòng lặp' (Loop Breaker) dự phòng cho các trường hợp dư thừa kéo dài.

III. Main Results:

Qua thử nghiệm trên 5 LRM và 5 benchmark suy luận thử thách, PUMA đạt được:

Giảm 26.2% số token trung bình trong khi vẫn duy trì độ chính xác.
Mang lại tăng tốc thực tế (wall-clock speedup) lên tới 1.40x (trên DeepSeek-R1-Distill-Qwen-7B) và 1.28x (trên DeepSeek-R1-Distill-Qwen-14B).
Bảo toàn chất lượng chuỗi suy luận tốt hơn các phương pháp khác, đặc biệt về tính mạch lạc, súc tích và giải trình.
Khái quát hóa tốt sang các tác vụ khác như sinh mã (LiveCodeBench) và suy luận ngôn ngữ-thị giác (MathVista, MathVision) mà không cần huấn luyện lại, giảm 18-33.6% token với mức giảm độ chính xác không đáng kể.
Tín hiệu dư thừa cấp độ suy luận này có thể được 'nội hóa' (internalized) vào mô hình thông qua các kỹ thuật SFT, DPO và GRPO, giúp mô hình tự học cách dừng sớm mà không cần module PUMA khi suy luận, cải thiện hiệu suất trên cả độ chính xác và token reduction.

IV. Conclusion & Future Works:

PUMA chứng minh rằng tín hiệu 'dư thừa ngữ nghĩa' ở cấp độ suy luận là một tín hiệu mạnh mẽ, có khả năng chuyển giao (transferable) và có thể học được (learnable) cho việc suy luận hiệu quả. Nó không chỉ hữu ích cho thoát sớm trong lúc suy luận mà còn có thể dạy cho mô hình hành vi dừng sớm. Hạn chế của phương pháp là phụ thuộc vào các chuỗi suy luận theo bước, có thể kém hiệu quả với đầu ra ngắn hoặc cấu trúc kém. Hướng phát triển tương lai bao gồm: mở rộng thử nghiệm trên nhiều mô hình và lĩnh vực hơn, và nghiên cứu các chính sách dừng học được (learned stopping policies) trên quy mô lớn và đa lĩnh vực.

V. Brainstorming Space:

1. Publish Papers:

1. Adaptive Early Exit cho các Mô hình Ngôn ngữ Nhỏ (Small Language Models - SLMs): Nghiên cứu chuyên sâu về việc áp dụng tín hiệu dư thừa ngữ nghĩa để tối ưu hóa thời gian suy luận cho các mô hình có ít tham số (dưới 3B) trên các thiết bị biên (edge devices) như điện thoại. Bài toán sẽ tập trung vào việc cân bằng giữa độ trễ cực thấp và độ chính xác có thể chấp nhận được.
2. Redundancy Detection cho các Tác vụ Đa phương thức (Multimodal Tasks): Mở rộng khái niệm 'dư thừa ngữ nghĩa' sang các tác vụ liên quan đến hình ảnh, video và âm thanh. Nghiên cứu cách tích hợp tín hiệu từ nhiều modality (ví dụ: sự tương đồng về nội dung thị giác giữa các bước suy luận) để tạo ra tín hiệu dừng mạnh mẽ và chính xác hơn cho các mô hình đa phương thức.
3. Học Tăng cường (Reinforcement Learning) cho Chính sách Dừng Tối ưu: Sử dụng kỹ thuật học tăng cường (ví dụ: GRPO) để trực tiếp tối ưu hóa một chính sách dừng (stopping policy) đầu cuối. Thay vì dựa vào ngưỡng cố định, mô hình sẽ tự học cách quyết định thời điểm dừng dựa trên phần thưởng kết hợp giữa độ chính xác, độ dài chuỗi suy luận và chất lượng chuỗi được giữ lại, tạo ra một chính sách thích ứng với từng bài toán cụ thể.

2. Patent:

1. Phương pháp và Hệ thống Tối ưu hóa Suy luận cho Trợ lý Ảo trên Điện thoại Thông minh: Một hệ thống trên điện thoại giúp trợ lý ảo (ví dụ: Siri, Google Assistant) trả lời các câu hỏi phức tạp nhanh hơn. Hệ thống này sẽ liên tục theo dõi các bước suy luận của trợ lý. Khi phát hiện các bước gần đây chỉ lặp lại hoặc diễn giải lại cùng một ý tưởng (dư thừa ngữ nghĩa), hệ thống sẽ dừng quá trình suy nghĩ và đưa ra câu trả lời ngay lập tức, giúp giảm thời gian chờ đợi và tiết kiệm pin.
2. Ứng dụng Dịch thuật Thời gian Thực Thông minh với Khả năng Dừng Sớm: Một ứng dụng dịch thuật trên điện thoại, thay vì dịch toàn bộ câu văn một cách máy móc, sẽ phân tích quá trình suy luận của mô hình dịch. Ứng dụng có thể nhận ra khi mô hình đã hiểu đúng nghĩa của câu và đang chỉ 'diễn giải lại' (rephrase) cùng một nội dung. Lúc này, ứng dụng sẽ dừng quá trình dịch sớm và hiển thị kết quả, giúp việc dịch thuật diễn ra gần như tức thời, đặc biệt hữu ích cho giao tiếp trực tiếp.
3. Trình duyệt Web Thông minh với Tính năng 'Đọc và Tóm tắt Nhanh': Một tính năng trên trình duyệt điện thoại cho phép người dùng yêu cầu tóm tắt một bài báo dài. Thay vì phải đọc toàn bộ văn bản, mô hình sẽ đọc và suy luận. Tính năng này sẽ theo dõi quá trình suy luận và nhận ra khi mô hình đã nắm được các ý chính và đang bắt đầu lặp lại thông tin. Khi đó, nó sẽ dừng lại và đưa ra bản tóm tắt ngay lập tức, giúp người dùng tiết kiệm thời gian và dữ liệu di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.17672
ArXiv Abstract	https://arxiv.org/abs/2605.17672
PDF Download	https://arxiv.org/pdf/2605.17672.pdf
Github Repository	https://github.com/giovanni-vaccarino/PUMA

6. LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs (19 votes)

Tác giả: Jihwan Kim, Nikhil Parthasarathy, Danfeng Qin, Junhwa Hur, Deqing Sun, Bohyung Han, Ming-Hsuan Yang, Boqing Gong

Xuất bản lúc: 2026-05-17

Tag: Video LLMs, Vision-Language Models, Token Compression, Knowledge Distillation, Efficient Video Understanding

I. Main Problem:

Các mô hình Video LLM hiện tại gặp khó khăn trong việc xử lý video dài do sự bùng nổ số lượng token thị giác, dẫn đến chi phí tính toán cao ở cả bộ mã hóa hình ảnh và mô hình ngôn ngữ lớn. Các phương pháp giảm token sau trích xuất (post-hoc) chỉ giải quyết được bottleneck ở LLM nhưng lại làm tăng độ trễ ở bộ mã hóa hình ảnh, gây ra bottleneck mới.

II. Main Idea:

Bài báo đề xuất LiteFrame, một bộ mã hóa video nhẹ và hiệu quả, được thiết kế để giải quyết đồng thời cả hai bottleneck: (1) tích hợp cơ chế nén token ngay trong kiến trúc encoder thông qua các lớp tích chập tạm thời (depth-wise temporal convolution) và giảm dần chiều không gian-thời gian; (2) sử dụng khung huấn luyện Compressed Token Distillation (CTD) để dạy student encoder dự đoán trực tiếp các biểu diễn đã được nén chặt từ teacher encoder mạnh, kết hợp với giai đoạn Language Model Adaptation (LMA) để tối ưu hóa latent space cho LLM.

III. Main Results:

LiteFrame thiết lập một đường cong Pareto mới về hiệu suất-độ trễ. So với InternVL3-8B, LiteFrame giảm 35% độ trễ đầu cuối trong khi xử lý gấp 8 lần số khung hình và cải thiện độ chính xác trung bình trên nhiều benchmark (ví dụ: đạt 65.7% so với 65.3% trên 256 khung hình). LiteFrame cũng vượt trội so với các phương pháp post-hoc như ToMe, FastVID, PruMerge và các encoder hiệu quả khác như FastVLM, VideoPanda, AutoGaze.

IV. Conclusion & Future Works:

LiteFrame chứng minh rằng việc tích hợp nén token ngay trong encoder là hướng đi hiệu quả để mở rộng Video LLMs cho video dài với ngân sách tính toán cố định. Các hướng nghiên cứu tương lai có thể bao gồm: mở rộng kỹ thuật này cho các mô hình đa phương thức khác, khám phá các kiến trúc student hiệu quả hơn nữa, và tối ưu hóa việc huấn luyện CTD.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu 1: Video LLM với Encoder Đa Phân Giải Thích Ứng. Mở rộng LiteFrame bằng cách cho phép encoder xử lý đồng thời nhiều độ phân giải khác nhau trong một lần chạy, giúp mô hình linh hoạt lựa chọn mức độ chi tiết phù hợp cho từng vùng hoặc từng khung hình, tối ưu hóa giữa độ chính xác và tốc độ.
Nghiên cứu 2: Kết hợp Nén Token Trong Encoder với Cơ chế Chú ý Chọn lọc. Đề xuất một kiến trúc encoder mới kết hợp ý tưởng nén token nội tại của LiteFrame với cơ chế chú ý có chọn lọc (selective attention), cho phép mô hình chỉ tập trung tính toán trên các token quan trọng nhất, giảm thêm độ phức tạp.
Nghiên cứu 3: Học Tăng cường cho Chiến lược Nén Token Thích Ứng. Sử dụng học tăng cường (Reinforcement Learning) để huấn luyện encoder tự động điều chỉnh tỷ lệ nén token dựa trên nội dung video, tối ưu hóa trực tiếp độ trễ đầu cuối và độ chính xác của mô hình Video LLM.

2. Patent:

Ý tưởng 1: Phương pháp và hệ thống tăng tốc độ xử lý video trên thiết bị di động. Sáng chế mô tả một hệ thống sử dụng bộ mã hóa video nhẹ (LiteFrame) được huấn luyện để nén trực tiếp thông tin không gian-thời gian từ video thành một tập token nhỏ gọn. Hệ thống này cho phép các ứng dụng trên điện thoại thông minh, như phân tích video trực tiếp hoặc tìm kiếm ngữ nghĩa, chạy nhanh và tiết kiệm pin hơn.
Ý tưởng 2: Ứng dụng trợ lý ảo tóm tắt video dài trên điện thoại. Sáng chế mô tả một ứng dụng trợ lý ảo trên điện thoại di động có khả năng tóm tắt nội dung các video dài (ví dụ: bài giảng, cuộc họp, phim) bằng cách sử dụng LiteFrame. Encoder nhẹ giúp xử lý video ngay trên thiết bị, tạo ra bản tóm tắt bằng văn bản hoặc âm thanh mà không cần kết nối Internet.
Ý tưởng 3: Hệ thống camera thông minh phát hiện sự kiện quan trọng. Sáng chế mô tả một hệ thống camera giám sát hoặc quay video trên điện thoại sử dụng LiteFrame để liên tục phân tích luồng video. Khi phát hiện một sự kiện quan trọng (ví dụ: chuyển động bất thường, khuôn mặt người lạ), hệ thống sẽ tự động lưu lại đoạn video ngắn hoặc gửi cảnh báo, mà vẫn duy trì thời gian hoạt động pin lâu dài.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.17260
ArXiv Abstract	https://arxiv.org/abs/2605.17260
PDF Download	https://arxiv.org/pdf/2605.17260.pdf
Github Repository	https://github.com/jjihwan/LiteFrame

7. EndPrompt: Efficient Long-Context Extension via Terminal Anchoring (12 votes)

Tác giả: Han Tian, Luxuan Chen, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Jinman Zhao, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

Xuất bản lúc: 2026-05-14

Tag: Large Language Models, Context Extension, Rotary Position Embedding, Position Interpolation, LLaMA, LongBench, RULER

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) bị giới hạn về độ dài ngữ cảnh (context window) tối đa, gây khó khăn cho các tác vụ như trả lời câu hỏi trên tài liệu dài, hiểu mã nguồn cấp độ kho lưu trữ, hoặc phân tích văn bản pháp lý/khoa học. Việc mở rộng ngữ cảnh bằng cách huấn luyện trên các chuỗi dài có độ phức tạp bình phương về bộ nhớ và chi phí tính toán, khiến nó trở nên đắt đỏ và khó tái tạo. Các phương pháp hiện tại như tinh chỉnh toàn bộ độ dài, Position Interpolation, LongLoRA, hay chunk-based simulation thường yêu cầu nhiều tài nguyên, làm thay đổi cấu trúc attention, hoặc phá vỡ tính liên tục ngữ nghĩa của văn bản.

II. Main Idea:

Bài báo đề xuất EndPrompt, một phương pháp mở rộng ngữ cảnh hiệu quả chỉ sử dụng các chuỗi huấn luyện ngắn. Ý tưởng cốt lõi là thay vì xây dựng các đầu vào có độ dài đầy đủ, chúng ta giữ nguyên ngữ cảnh ngắn ban đầu như một đoạn đầu tiên và thêm một prompt kết thúc ngắn (terminal prompt) làm đoạn thứ hai, gán cho nó các chỉ số vị trí gần với độ dài ngữ cảnh mục tiêu. Cấu trúc hai đoạn này tạo ra cả khoảng cách tương đối cục bộ và tầm xa trong một chuỗi vật lý ngắn, đồng thời duy trì tính liên tục ngữ nghĩa của văn bản huấn luyện. Phương pháp dựa trên phân tích lý thuyết về Rotary Position Embedding (RoPE) và bất đẳng thức Bernstein, cho thấy Position Interpolation (PI) tạo ra một ràng buộc trơn tru (smoothness constraint) lên hàm attention. Các tham số chia sẻ của Transformer giúp triệt tiêu sự ngoại suy không ổn định đến các khoảng cách trung gian chưa được quan sát. Nhờ đó, chỉ với các tín hiệu giám sát vị trí thưa thớt, mô hình vẫn có thể khái quát hóa hiệu quả cho ngữ cảnh dài.

III. Main Results:

Phương pháp EndPrompt được áp dụng cho các mô hình họ LLaMA để mở rộng cửa sổ ngữ cảnh từ 8K lên 64K. Kết quả thử nghiệm trên bộ benchmark RULER và LongBench cho thấy:

Trên RULER, EndPrompt đạt điểm trung bình 76.03, vượt trội hơn so với LCEG (72.24), LongLoRA (72.95) và tinh chỉnh toàn bộ độ dài (Full FT) (69.23).
Trên LongBench, EndPrompt đạt điểm trung bình cao nhất là 38.30, vượt qua Full FT (35.63) và các baseline khác. Đặc biệt, phương pháp này thể hiện ưu thế vượt trội trong các tác vụ thực tế như Code Completion (66.48 so với ~46 của các baseline) và Few-Shot Learning (68.04).
Phương pháp này cũng duy trì hiệu suất mạnh mẽ khi mở rộng ngữ cảnh lên đến 128K và hoạt động tốt trên nhiều kiến trúc mô hình khác nhau (LLaMA-2, LLaMA-3, Mistral).

IV. Conclusion & Future Works:

EndPrompt chứng minh rằng việc mở rộng ngữ cảnh đáng tin cậy có thể đạt được từ các tín hiệu giám sát vị trí có cấu trúc thưa thớt, thay vì huấn luyện dày đặc trên các chuỗi dài. Phương pháp này mở ra một hướng đi thực tế và hiệu quả cho việc mở rộng cửa sổ ngữ cảnh bằng cách thiết kế các tín hiệu giám sát vị trí thông minh trong khi vẫn giữ cho chuỗi huấn luyện vật lý ngắn. Trong tương lai, nhóm tác giả sẽ nghiên cứu cách kết hợp kỹ thuật 'terminal anchoring' với các kiến trúc xử lý ngữ cảnh dài dạng streaming, phân cấp hoặc đa phương thức.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu khả năng mở rộng của EndPrompt trên các mô hình có kiến trúc khác ngoài LLaMA, chẳng hạn như các mô hình dạng encoder-decoder (ví dụ: T5, BART) hoặc các mô hình dựa trên sparse attention để giảm thêm chi phí tính toán.
Phân tích sâu hơn về mặt lý thuyết của cơ chế 'smoothness constraint' mà bài báo đề cập. Cụ thể, nghiên cứu xem liệu có thể thiết kế các hàm mất mát (loss functions) mới để chủ động điều khiển độ trơn tru của hàm attention, thay vì chỉ dựa vào sự ảnh hưởng gián tiếp của Position Interpolation.
Kết hợp EndPrompt với các kỹ thuật tối ưu hóa bộ nhớ như FlashAttention hoặc các phương pháp tinh chỉnh tham số hiệu quả (PEFT) như LoRA để giảm thiểu tài nguyên cần thiết, giúp việc mở rộng ngữ cảnh trở nên khả thi trên các thiết bị có hạn chế về bộ nhớ, ví dụ như GPU tiêu dùng.

2. Patent:

Phương pháp và hệ thống mở rộng ngữ cảnh cho trợ lý ảo trên thiết bị di động: Phát minh này mô tả cách một trợ lý ảo trên điện thoại có thể hiểu và trả lời các câu hỏi phức tạp dựa trên lịch sử trò chuyện rất dài (ví dụ: hàng nghìn tin nhắn) mà không cần phải huấn luyện lại mô hình từ đầu. Bằng cách chèn một 'điểm neo' đặc biệt vào cuộc trò chuyện, trợ lý có thể nắm bắt được các mối quan hệ giữa các thông tin ở đầu và cuối cuộc trò chuyện, giúp đưa ra câu trả lời chính xác và mạch lạc hơn.
Ứng dụng duyệt web thông minh trên điện thoại: Một ứng dụng trình duyệt trên điện thoại có thể tóm tắt toàn bộ một bài báo hoặc tài liệu rất dài (hàng trăm trang). Phát minh sử dụng kỹ thuật 'EndPrompt' để xử lý văn bản dài một cách hiệu quả, cho phép người dùng đặt câu hỏi chi tiết về bất kỳ phần nào của tài liệu. Ví dụ, người dùng có thể hỏi 'Theo bài báo này, luận điểm chính của tác giả ở phần kết luận là gì?' và ứng dụng có thể tìm ra câu trả lời ngay cả khi câu hỏi tham chiếu đến cả phần mở đầu và kết luận của một văn bản rất dài.
Công cụ hỗ trợ viết mã nguồn trên thiết bị di động: Phát minh này là một tính năng cho các ứng dụng viết code trên điện thoại hoặc máy tính bảng. Nó cho phép nhà phát triển làm việc với các tệp mã nguồn rất lớn (ví dụ: toàn bộ một dự án). Tính năng này sử dụng 'EndPrompt' để hiểu được cấu trúc tổng thể của dự án, từ đó đưa ra các gợi ý hoàn thành mã thông minh, phát hiện lỗi logic xuyên suốt nhiều tệp, hoặc hỗ trợ tái cấu trúc mã (refactoring) một cách hiệu quả, tất cả đều được thực hiện trên thiết bị di động mà không cần kết nối đến máy chủ mạnh mẽ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.14589
ArXiv Abstract	https://arxiv.org/abs/2605.14589
PDF Download	https://arxiv.org/pdf/2605.14589.pdf
Github Repository	https://github.com/clx1415926/EndPrompt

8. Where Should Diffusion Enter a Language Model? Geometry-Guided Hidden-State Replacement (12 votes)

Tác giả: Injin Kong, Hyoungjoon Lee, Yohan Jo

Xuất bản lúc: 2026-05-14

Tag: Diffusion Models, Transformer, Language Generation, LLMs, Hybrid Architecture, Hidden-State Recovery, Geometry-Guided

I. Main Problem:

Mô hình khuếch tán liên tục trong xử lý ngôn ngữ tự nhiên vẫn còn kém hiệu quả hơn so với mô hình tự hồi quy (autoregressive transformer), một phần vì quá trình khuếch tán được áp dụng trong không gian liên tục không phù hợp cho việc khử nhiễu và khôi phục token rời rạc. Việc ánh xạ trực tiếp từ vector liên tục sang token rời rạc gây ra lỗi khôi phục, và không phải không gian tiềm ẩn liên tục nào trong mô hình ngôn ngữ cũng phù hợp cho quá trình khuếch tán.

II. Main Idea:

Bài báo đề xuất DiHAL, một kiến trúc hybrid giữa khuếch tán và transformer, áp dụng chiến lược "Định vị và Thay thế" (Locate-and-Replace). DiHAL sử dụng các chỉ số hình học (độ cong, độ cứng, hạng hiệu quả) để đánh giá và chọn ra tầng transformer có không gian biểu diễn phù hợp nhất cho quá trình khuếch tán. Sau đó, nó thay thế các tầng transformer phía dưới bằng một cầu khuếch tán (diffusion bridge) có điều kiện, có nhiệm vụ tái tạo trạng thái ẩn của tầng đã chọn, thay vì cố gắng khôi phục token trực tiếp. Các tầng phía trên và đầu ra LM head được giữ nguyên để đảm bảo khả năng dự đoán token.

III. Main Results:

Thí nghiệm trên các mô hình nền tảng 8B (Llama-3.1-8B-Instruct và Qwen3-8B) cho thấy điểm số hình học có khả năng dự đoán hiệu quả các tầng phù hợp cho việc chèn cầu khuếch tán. Phương pháp này đạt được sự tương quan cao (Spearman ρ ~ 0.91-0.93) giữa điểm hình học và khả năng tái tạo trạng thái ẩn. Trong so sánh chẩn đoán, DiHAL cải thiện độ khó hiểu (Gen.PPL) từ 144.83 xuống 136.02 và tăng tính đa dạng (diversity) từ 0.4777 lên 0.5913 so với baseline mạnh CoDAR.

IV. Conclusion & Future Works:

DiHAL chỉ ra rằng việc chọn đúng không gian biểu diễn bên trong mô hình ngôn ngữ là yếu tố then chốt để áp dụng thành công mô hình khuếch tán liên tục. Hạn chế là DiHAL chưa phải là một mô hình khuếch tán độc lập và vẫn phụ thuộc vào các tầng pretrained. Hướng phát triển tương lai có thể kết hợp các proxy hình học trực tiếp vào quá trình huấn luyện cầu khuếch tán để làm cho các tầng sâu hơn trở nên phù hợp hơn, cũng như mở rộng quy mô của cầu khuếch tán.

V. Brainstorming Space:

1. Publish Papers:

1. Ứng dụng DiHAL cho các tác vụ sinh văn bản có cấu trúc (ví dụ: sinh mã, sinh công thức hóa học). Nghiên cứu xem liệu không gian trạng thái ẩn phù hợp cho khuếch tán có giống nhau giữa ngôn ngữ tự nhiên và ngôn ngữ có cấu trúc chặt chẽ hơn hay không. Kết quả có thể giúp xây dựng các mô hình sinh mã hoặc hợp chất hiệu quả hơn.
2. Phát triển một phiên bản DiHAL có khả năng tự động điều chỉnh độ sâu thay thế. Thay vì chỉ thay thế một phần cố định, mô hình có thể học cách quyết định số lượng tầng cần thay thế dựa trên độ phức tạp của đầu vào, từ đó tối ưu hóa hiệu năng và tốc độ sinh cho từng câu.
3. Kết hợp DiHAL với các kỹ thuật tinh chỉnh (fine-tuning) đa nhiệm. Sử dụng kiến trúc DiHAL làm nền tảng, huấn luyện mô hình trên nhiều tác vụ NLP khác nhau (tóm tắt, dịch máy, trả lời câu hỏi) để đánh giá tính tổng quát của phương pháp chọn tầng dựa trên hình học và khả năng khôi phục trạng thái ẩn.

2. Patent:

1. Phương pháp tạo phản hồi cho trợ lý ảo trên điện thoại thông minh một cách nhanh chóng và tiết kiệm năng lượng. Thay vì chạy toàn bộ mô hình ngôn ngữ lớn, điện thoại chỉ cần chạy một mô hình khuếch tán nhỏ để tái tạo trạng thái suy nghĩ (hidden state) từ một vài token đầu vào, sau đó dùng một mô hình nhỏ hơn để dịch trạng thái đó thành câu trả lời hoàn chỉnh. Điều này giảm tải tính toán và cho phép trợ lý ảo phản hồi gần như tức thời.
2. Hệ thống gợi ý văn bản thông minh trên bàn phím điện thoại. Khi người dùng gõ một vài ký tự, hệ thống sử dụng một mô hình khuếch tán nhỏ gọn (diffusion bridge) để dự đoán và tái tạo trạng thái ẩn của một mô hình ngôn ngữ lớn. Trạng thái này sau đó được nhanh chóng chuyển đổi thành các từ gợi ý tiếp theo. Phương pháp này giúp đưa ra các gợi ý chính xác và phong phú hơn so với các phương pháp dựa trên n-gram truyền thống, ngay cả khi kết nối mạng yếu.
3. Tính năng "viết lại câu" thông minh và tiết kiệm pin trên điện thoại. Khi người dùng muốn thay đổi giọng văn hoặc sửa lỗi ngữ pháp cho một câu văn, điện thoại sẽ sử dụng một cầu khuếch tán nhỏ để tái tạo lại trạng thái ẩn của câu gốc từ một mô hình ngôn ngữ lớn được lưu trữ một phần. Trạng thái ẩn mới này sẽ được giải mã thành câu văn đã được chỉnh sửa. Phương pháp này cho phép thực hiện các tác vụ xử lý ngôn ngữ phức tạp trực tiếp trên thiết bị mà không cần gửi dữ liệu lên đám mây, bảo vệ quyền riêng tư và tiết kiệm pin.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.14368
ArXiv Abstract	https://arxiv.org/abs/2605.14368
PDF Download	https://arxiv.org/pdf/2605.14368.pdf
Github Repository	N/A

9. AstraFlow: Dataflow-Oriented Reinforcement Learning for Agentic LLMs (11 votes)

Tác giả: Haizhong Zheng, Yizhuo Di, Jiahui Wang, Shuowei Jin, Xueshen Liu, Yongji Wu, Z. Morley Mao, Ion Stoica, Jiawei Zhao, Beidi Chen

Xuất bản lúc: 2026-05-15

Tag: RL, LLM, Dataflow, Multi-Policy Training, Distributed Systems, Agentic AI

I. Main Problem:

Các hệ thống RL (Reinforcement Learning) cho LLM (Large Language Models) hiện tại bị giới hạn bởi kiến trúc điều khiển tập trung vào trainer, dẫn đến sự cứng nhắc, khó mở rộng cho các tác vụ agentic phức tạp (ví dụ: multi-policy collaborative training) và kém hiệu quả khi sử dụng tài nguyên tính toán đa dạng, phi tập trung và co giãn (elastic, heterogeneous, cross-region). Việc bổ sung các khả năng mới đòi hỏi phải thay đổi hệ thống một cách thủ công (ad-hoc patches), gây tốn kém và khó bảo trì.

II. Main Idea:

Bài báo đề xuất AstraFlow, một hệ thống RL theo hướng luồng dữ liệu (dataflow-oriented) thay thế kiến trúc điều khiển tập trung vào trainer bằng ba thành phần trừu tượng hóa (abstractions) tương tác qua các giao diện ổn định: 1) Dataflow Layer: Lớp điều phối dữ liệu giữa các dịch vụ, quản lý prompt, trajectory, batch và các chính sách dữ liệu (lọc, replay, sampling) mà không cần trainer điều khiển. 2) Rollout-as-a-Service (RaaS): Dịch vụ tạo trajectory độc lập, cho phép thay thế backend suy luận, co giãn linh hoạt và chạy trên các tài nguyên khác nhau. 3) Trainers: Các trainer nhận batch từ dataflow layer và công bố trọng số (weights) cập nhật, không cần quản lý quá trình rollout. Sự tách biệt này cho phép hệ thống hỗ trợ natively multi-policy training, elastic scaling, và các thuật toán dữ liệu có thể thay thế và kết hợp.

III. Main Results:

AstraFlow được đánh giá trên các tác vụ toán, code, search và AgentBench. Kết quả cho thấy: 1) Trong multi-policy collaborative training, AstraFlow đạt độ chính xác tương đương hoặc cao hơn các hệ thống hiện tại (ví dụ: cải thiện 5.4% accuracy trên bài toán math solver-verifier), đồng thời tăng tốc thời gian huấn luyện lên đến 2.7 lần (từ 212.64s xuống 77.65s mỗi iteration) so với Dr. MAS trên nền verl. 2) Hệ thống hỗ trợ native việc tự động co giãn rollout (auto-scaling), chạy trên tài nguyên heterogeneous và cross-region mà không cần thay đổi code hệ thống. 3) Khả năng kết hợp linh hoạt các thuật toán dữ liệu (dynamic sampling, GRESO, buffer replay) thông qua giao diện dataflow layer.

IV. Conclusion & Future Works:

AstraFlow chứng minh rằng việc thay thế kiến trúc điều khiển tập trung vào trainer bằng các abstraction theo hướng luồng dữ liệu (dataflow) giúp xây dựng hệ thống RL cho LLM agentic linh hoạt, hiệu quả và dễ mở rộng. Các khả năng như asynchrony, elastic scaling, multi-policy coordination trở thành thuộc tính tự nhiên của thiết kế. Hướng phát triển tương lai có thể bao gồm việc tối ưu hóa hơn nữa cơ chế truyền trọng số sparse, mở rộng hỗ trợ cho các tác vụ agentic phức tạp hơn, và tích hợp sâu hơn với các hệ thống quản lý cluster khác nhau.

V. Brainstorming Space:

1. Publish Papers:

1. AstraFlow-OS: Mở rộng Dataflow Abstraction cho Hệ điều hành Agentic AI: Nghiên cứu cách áp dụng nguyên lý dataflow-oriented coordination của AstraFlow để xây dựng một hệ điều hành cho các tác nhân AI phức tạp, nơi các thành phần (perception, planning, execution, memory) tương tác qua các luồng dữ liệu có cấu trúc, thay vì một bộ điều khiển trung tâm.
1. AstraFlow-Secure: Huấn luyện RL Liên bang cho LLM Agentic với Dataflow: Phát triển một framework RL liên bang cho LLM dựa trên kiến trúc dataflow của AstraFlow, cho phép nhiều bên huấn luyện cộng tác các policy agentic mà không chia sẻ dữ liệu thô, tận dụng các abstraction về RaaS và Trainer để đảm bảo tính riêng tư và hiệu quả.
1. AstraFlow-Adaptive: Tự động điều chỉnh chiến lược huấn luyện RL cho Agentic LLMs: Nghiên cứu việc tích hợp một học trình điều khiển (meta-controller) vào Dataflow Layer của AstraFlow để tự động điều chỉnh siêu tham số (learning rate, tỉ lệ replay, chiến lược sampling) dựa trên phân tích thời gian thực các luồng dữ liệu (trajectory freshness, trainer waiting fraction), nhằm tối ưu hóa hiệu quả huấn luyện.

2. Patent:

1. Phương pháp và hệ thống tối ưu hóa tương tác giữa người dùng và trợ lý AI trên điện thoại di động bằng cách sử dụng huấn luyện tăng cường đa chính sách: Hệ thống này cho phép điện thoại di động của bạn có một trợ lý AI thông minh hơn bằng cách sử dụng hai chính sách AI khác nhau: một chính sách chịu trách nhiệm tạo ra câu trả lời (ví dụ: tóm tắt email, viết tin nhắn) và một chính sách khác đánh giá chất lượng của câu trả lời đó. Hai chính sách này được huấn luyện cùng nhau để cải thiện lẫn nhau, giúp trợ lý đưa ra các phản hồi chính xác và hữu ích hơn, đồng thời tiết kiệm pin và tài nguyên xử lý trên thiết bị di động.
1. Hệ thống và phương pháp huấn luyện tác nhân AI trên thiết bị di động với khả năng co giãn linh hoạt tài nguyên tính toán: Phát minh này mô tả một cách để huấn luyện các tác nhân AI (ví dụ: ứng dụng chỉnh sửa ảnh thông minh) trực tiếp trên điện thoại di động của bạn. Nó sử dụng một dịch vụ tạo dữ liệu huấn luyện (giống như RaaS) có thể tự động điều chỉnh lượng tài nguyên (CPU, GPU) mà nó sử dụng dựa trên tình trạng pin và nhiệt độ của điện thoại. Điều này đảm bảo quá trình huấn luyện diễn ra mượt mà mà không làm nóng máy hay hao pin quá mức, giúp các ứng dụng AI trên điện thoại ngày càng thông minh hơn theo thời gian.
1. Phương pháp cá nhân hóa trải nghiệm người dùng trên điện thoại thông qua học tăng cường với luồng dữ liệu có thể mở rộng: Phát minh này cho phép điện thoại của bạn xây dựng một mô hình AI 'cá nhân' học hỏi từ thói quen sử dụng của bạn (ví dụ: cách bạn sắp xếp ứng dụng, loại nhạc bạn thích, thời gian bạn thường đặt báo thức). Nó sử dụng một 'lớp luồng dữ liệu' để quản lý thông tin này một cách an toàn và hiệu quả, cho phép các chính sách AI khác nhau (ví dụ: một chính sách đề xuất ứng dụng, một chính sách tối ưu hóa lịch trình) được huấn luyện song song và kết hợp với nhau để mang lại những gợi ý và tự động hóa thông minh, phù hợp nhất với bạn, ngay cả khi không có kết nối internet.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.15565
ArXiv Abstract	https://arxiv.org/abs/2605.15565
PDF Download	https://arxiv.org/pdf/2605.15565.pdf
Github Repository	https://github.com/Infini-AI-Lab/astraflow

10. Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use (11 votes)

Tác giả: Yize Cheng, Chenrui Fan, Mahdi JafariRaviz, Keivan Rezaei, Soheil Feiz

Xuất bản lúc: 2026-05-13

Tag: LLM, Tool Use, Agent, Meta-Cognition, Knowing-Doing Gap, Model-Adaptive, Probing, Hidden States

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLM) được triển khai như các tác tử tự động, cần quyết định khi nào trả lời trực tiếp và khi nào gọi công cụ bên ngoài. Các nghiên cứu trước đây về khả năng sử dụng công cụ thích ứng coi 'sự cần thiết của công cụ' là một thuộc tính tĩnh, phụ thuộc vào đánh giá của con người hoặc LLM khác, tập trung vào các trường hợp phân cực. Tuy nhiên, sự cần thiết của công cụ trong thực tế phức tạp hơn do ranh giới năng lực khác nhau giữa các mô hình: một vấn đề dễ dàng giải quyết bởi mô hình mạnh có thể yêu cầu công cụ đối với mô hình yếu hơn. Ngoài ra, tồn tại khoảng cách giữa 'biết' (nhận thức nội bộ) và 'làm' (hành động gọi công cụ), dẫn đến sự không khớp đáng kể giữa nhu cầu thực tế và hành vi gọi công cụ quan sát được.

II. Main Idea:

Tác giả giới thiệu một định nghĩa về 'sự cần thiết của công cụ' thích ứng với từng mô hình, dựa trên khả năng thực nghiệm của mô hình đó. Cụ thể, một truy vấn được coi là 'cần công cụ' nếu mô hình không thể giải quyết nó một cách nhất quán (qua N lần suy luận). Sau đó, quá trình sử dụng công cụ được chia thành hai giai đoạn: (1) Nhận thức (Cognition): mô hình tin rằng một công cụ là cần thiết - được phát hiện thông qua trạng thái ẩn nội bộ (hidden states), và (2) Thực thi (Execution): mô hình thực sự thực hiện hành động gọi công cụ. Bằng cách huấn luyện các bộ dò tuyến tính (linear probes) cho cả hai tín hiệu này từ các trạng thái ẩn, bài báo phân tích sự thẳng hàng hình học giữa hướng của 'nhận thức' (wc) và hướng của 'hành động' (wa) để chẩn đoán nguyên nhân gốc rễ của sự không khớp.

III. Main Results:

Các thí nghiệm trên bốn mô hình (Qwen3-8B, Qwen3-4B, Llama-3.1-8B, Llama-3.2-3B) với các tác vụ số học và hỏi đáp sự kiện (TruthfulQA) cho thấy: (1) Tỷ lệ không khớp giữa nhu cầu và hành động gọi công cụ là rất lớn, từ 26.5% đến 54.0% ở tác vụ số học và từ 30.8% đến 41.8% ở TruthfulQA. (2) Cả tín hiệu 'nhận thức về sự cần thiết' và 'hành động gọi công cụ' đều có thể được giải mã tuyến tính từ trạng thái ẩn. (3) Tuy nhiên, tại lớp cuối cùng và token cuối cùng (nơi quyết định hành động được đưa ra), hai hướng wc và wa trở nên gần như trực giao, giải thích tại sao nhận thức không chuyển thành hành động. (4) Phần lớn lỗi không khớp tập trung ở giai đoạn chuyển tiếp từ nhận thức sang hành động, không phải ở bản thân nhận thức, tiết lộ một 'khoảng cách biết-làm' (knowing-doing gap).

IV. Conclusion & Future Works:

Công trình này giới thiệu một định nghĩa thích ứng theo mô hình về sự cần thiết của công cụ và tiết lộ một 'khoảng cách biết-làm' cốt lõi trong việc sử dụng công cụ của LLM: các mô hình có thể nhận biết nội bộ khi nào cần công cụ nhưng lại thất bại trong việc chuyển nhận thức đó thành hành động. Điều này cho thấy việc cải thiện độ tin cậy của tác tử không chỉ đòi hỏi 'siêu nhận thức' (meta-cognition) tốt hơn, mà còn cần thu hẹp khoảng cách giữa nhận thức và hành động. Hướng nghiên cứu trong tương lai có thể tập trung vào việc thiết kế các cơ chế hoặc can thiệp để cải thiện việc chuyển đổi này.

V. Brainstorming Space:

1. Publish Papers:

Phân tích tác động của Supervised Fine-Tuning (SFT) và Reinforcement Learning (RL) lên 'Khoảng Cách Biết-Làm' trong việc sử dụng công cụ của LLM. Khám phá xem các phương pháp huấn luyện khác nhau có thể thu hẹp hoặc mở rộng khoảng cách giữa nhận thức nội bộ và hành động gọi công cụ, tìm ra phương pháp tối ưu để chuyển đổi nhận thức thành hành động.
**Phát triển một kỹ thuật can thiệp trực tiếp vào trạng thái ẩn (representation intervention) để tăng cường sự thẳng hàng giữa hướng 'nhận thức' và 'hành động'. ** Dựa trên phát hiện về tính trực giao, đề xuất một phương pháp điều chỉnh biểu diễn tại lớp cuối cùng để đảm bảo khi mô hình 'biết' cần công cụ, nó sẽ 'làm' điều đó.
Mở rộng định nghĩa 'sự cần thiết của công cụ' thích ứng theo mô hình sang các lĩnh vực phức tạp hơn như lập kế hoạch đa bước hoặc suy luận hình ảnh. Kiểm tra xem 'khoảng cách biết-làm' có xuất hiện trong các bối cảnh khác ngoài số học và QA sự kiện hay không, và xây dựng một khung lý thuyết thống nhất.

2. Patent:

Phương pháp và hệ thống 'Trợ lý di động thích ứng thông minh': Phát minh ra một trợ lý ảo trên điện thoại di động có khả năng tự động chuyển đổi giữa trả lời nội bộ và tìm kiếm thông tin dựa trên 'siêu nhận thức' về năng lực của chính nó. Nếu trợ lý 'thấy' mình không chắc chắn về câu trả lời (ví dụ: thời tiết hôm qua, giá cổ phiếu hiện tại), nó sẽ chủ động gọi API tìm kiếm. Ngược lại, với các câu hỏi thông thường (tên thủ đô, công thức nấu ăn), nó sẽ trả lời trực tiếp, tiết kiệm pin và dữ liệu di động.
Ứng dụng 'Bàn phím dự đoán và tự động tra cứu' cho điện thoại thông minh: Một bàn phím thông minh có thể dự đoán liệu người dùng có đang cố gõ một sự kiện, số liệu hoặc địa điểm mà bộ nhớ nội bộ của nó không chắc chắn. Nếu phát hiện 'khoảng cách nhận thức', bàn phím sẽ tự động hiển thị một nút 'Tra cứu nhanh' bên cạnh từ gợi ý, cho phép người dùng một chạm để kiểm tra thông tin từ internet hoặc danh bạ, thay vì phải sao chép và mở trình duyệt.
Phương pháp kiểm soát chất lượng cho các ứng dụng dịch thuật trên di động: Một ứng dụng dịch thuật sẽ có hai chế độ hoạt động: 'Dịch nhanh' và 'Dịch chính xác'. Ở chế độ mặc định, ứng dụng tự động phát hiện độ khó của câu văn và năng lực của mô hình dịch nội bộ. Nếu mô hình nội bộ 'nhận thức' rằng nó có thể dịch sai hoặc bỏ lỡ một thành ngữ phức tạp (ví dụ: có tính trực giao cao giữa nhận thức và hành động), ứng dụng sẽ tự động chuyển sang chế độ 'Dịch chính xác' và gọi API dịch thuật đám mây, đảm bảo chất lượng mà không làm gián đoạn trải nghiệm người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.14038
ArXiv Abstract	https://arxiv.org/abs/2605.14038
PDF Download	https://arxiv.org/pdf/2605.14038.pdf
Github Repository	https://github.com/chengez/Tool-Cognition-Action

11. CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection (10 votes)

Tác giả: Jiwon Song, Dongwon Jo, Beomseok Kang, Jae-Joon Kim

Xuất bản lúc: 2026-05-16

Tag: Large Language Models, Chunked Prefill, Sparse Attention, KV Cache, Grouped-Query Attention, LLM Inference Acceleration

I. Main Problem:

Các phương pháp chú ý sparse hiện tại không hiệu quả khi áp dụng vào cơ chế chunked prefill (xử lý đầu vào dài theo từng khối) cho các mô hình ngôn ngữ lớn. Cụ thể, các phương pháp block-sparse gặp vấn đề về hiệu suất hạt nhân khi độ dài truy vấn (Q) nhỏ hơn nhiều so với độ dài khóa-giá trị (KV), và chi phí tìm kiếm pattern sparse tích lũy qua các chunk. Phương pháp QUOKA tránh được vấn đề hạt nhân sparse nhưng lại bỏ sót các mục KV quan trọng do chỉ lấy mẫu một phần truy vấn và gây ra chi phí sao chép KV rõ ràng.

II. Main Idea:

CompactAttention đề xuất một cơ chế chú ý cho chunked prefill dựa trên Block-Union KV Selection. Ý tưởng chính là tách biệt việc chọn khối KV khỏi quá trình thực thi sparse kernel. Cụ thể, nó sử dụng các phương pháp tìm kiếm pattern block-sparse nhẹ để tạo mặt nạ 2D, sau đó chuyển đổi các mặt nạ này thành các bảng khối KV cho mỗi nhóm GQA thông qua hai phép hợp nhất: hợp nhất Q-block (trên các khối truy vấn) và hợp nhất nội nhóm (trên các đầu truy vấn). Kết quả là các bảng khối tối thiểu vẫn giữ được tất cả các khối KV đã chọn. Các bảng này sau đó được truyền vào một hạt nhân chú ý phân trang (paged attention), cho phép truy cập trực tiếp vào các khối KV đã chọn mà không cần sao chép (zero-copy), tránh được cả sự kém hiệu quả của kernel sparse lẫn chi phí sao chép của việc chọn KV ở mức token.

III. Main Results:

Trên benchmark RULER với mô hình LLaMA-3.1-8B-Instruct, CompactAttention duy trì độ chính xác gần với dense attention (ví dụ: 74.17% so với 76.59% tại độ dài ngữ cảnh 128K) đồng thời đạt được tốc độ tăng tốc chú ý lên tới 2.72× so với dense attention tại độ dài ngữ cảnh 128K trên GPU H200. CompactAttention cũng vượt trội hơn các baseline khác như QUOKA, XAttention, SeerAttention và FlashPrefill về cả độ chính xác và tốc độ trong hầu hết các cấu hình thử nghiệm.

IV. Conclusion & Future Works:

CompactAttention chứng minh rằng nút thắt chính của sparse attention trong chunked prefill không chỉ là chọn khối KV nào, mà còn là cách thực thi các khối đã chọn. Bằng cách làm cho việc chọn sparse tương thích với các kernel dense paged attention hiệu quả, nó cung cấp một hướng đi thực tế để tăng tốc độ phục vụ LLM cho ngữ cảnh dài. Hướng phát triển trong tương lai có thể bao gồm việc cải thiện chất lượng của phương pháp tìm kiếm pattern sparse đầu vào, khám phá các cách phân vùng nhóm thực thi khác nhau, và tối ưu hóa thêm chi phí xây dựng metadata.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng CompactAttention cho các kiến trúc mô hình khác: Nghiên cứu cách áp dụng Block-Union KV Selection cho các mô hình không phải GQA (ví dụ: MHA hoặc MQA) và các mô hình có cấu trúc KV cache khác, đồng thời đánh giá hiệu quả trên nhiều loại tác vụ và bộ dữ liệu hơn.
Kết hợp với các phương pháp tìm kiếm pattern động và thích ứng: Phát triển một phương pháp tìm kiếm pattern sparse mới được thiết kế riêng cho cơ chế chunked prefill, có tính đến chi phí tìm kiếm tích lũy và khả năng hợp nhất block, nhằm tối ưu hóa hơn nữa sự cân bằng giữa độ chính xác và tốc độ.
Tối ưu hóa việc phân vùng nhóm thực thi: Nghiên cứu các chiến lược phân vùng nhóm thực thi (execution group) động hoặc dựa trên nội dung để giảm thiểu sự mất mát độ thưa thớt do phép hợp nhất nội nhóm, đồng thời vẫn duy trì hiệu quả thực thi của hạt nhân dense paged attention.

2. Patent:

Phương pháp và hệ thống tăng tốc xử lý ngữ cảnh dài trên thiết bị di động: Một hệ thống nén và quản lý bộ nhớ đệm KV (KV cache) cho điện thoại thông minh, sử dụng cơ chế chọn lọc khối KV dựa trên mức độ quan trọng và chỉ lưu trữ các khối cần thiết. Hệ thống này giúp giảm đáng kể dung lượng bộ nhớ và thời gian tính toán khi chạy các chatbot AI hoặc trợ lý ảo trên thiết bị di động, cho phép xử lý các cuộc hội thoại dài hoặc tài liệu lớn một cách mượt mà.
Ứng dụng di động đọc và tóm tắt tài liệu dài thông minh: Một ứng dụng cho phép người dùng tải lên các tài liệu dài (sách, báo cáo, hợp đồng) và nhận được bản tóm tắt hoặc câu trả lời cho các câu hỏi cụ thể. Ứng dụng sử dụng kỹ thuật chú ý thưa thớt (sparse attention) thông minh để chỉ tập trung vào các phần quan trọng của tài liệu, giúp giảm tải tính toán và tiết kiệm pin, đồng thời vẫn đảm bảo chất lượng câu trả lời chính xác.
Phương pháp tìm kiếm thông tin theo ngữ cảnh trên điện thoại: Một tính năng tìm kiếm nâng cao trong trình duyệt hoặc ứng dụng ghi chú trên điện thoại, cho phép người dùng đặt câu hỏi phức tạp về nội dung của một trang web dài hoặc một bộ sưu tập ghi chú. Tính năng này sử dụng một mô hình ngôn ngữ nhỏ gọn được tối ưu hóa với cơ chế chú ý thưa thớt để nhanh chóng định vị và tổng hợp thông tin từ nhiều nguồn khác nhau, mang lại trải nghiệm tìm kiếm nhanh và chính xác trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.16839
ArXiv Abstract	https://arxiv.org/abs/2605.16839
PDF Download	https://arxiv.org/pdf/2605.16839.pdf
Github Repository	https://github.com/jiwonsong-dev/CompactAttention

12. Code as Agent Harness (149 votes)

Tác giả: Xuying Ning, Katherine Tieu, Dongqi Fu, Tianxin Wei, Zihao Li, Yuanchen Bei, Jiaru Zou, Mengting Ai, Zhining Liu, Ting-Wei Li, Lingjie Chen, Yanjun Zhao, Ke Yang, Bingxuan Li, Cheng Qian, Gaotang Li, Xiao Lin, Zhichen Zeng, Ruizhong Qiu, Sirui Chen, Yifan Sun, Xiyuan Yang, Ruida Wang, Rui Pan, Chenyuan Yang, Dylan Zhang, Liri Fang, Zikun Cui, Yang Cao, Pan Chen, Dorothy Sun, Ren Chen, Mahesh Srinivasan, Nipun Mathur, Yinglong Xia, Hong Li, Hong Yan, Pan Lu, Lingming Zhang, Tong Zhang, Hanghang Tong, Jingrui He

Xuất bản lúc: 2026-05-18

Tag: Agent Harness, LLM Agents, Code Generation, Multi-Agent Systems, Plan-Execute-Verify

I. Main Problem:

Các hệ thống tác tử (agent) hiện tại chủ yếu dựa trên mô hình ngôn ngữ lớn (LLM) vốn là các mô hình phi trạng thái, gặp khó khăn trong việc thực thi các tác vụ dài hạn một cách đáng tin cậy. Các phương pháp hiện có thường xem mã nguồn chỉ là sản phẩm đầu ra, chưa tận dụng được mã nguồn như một môi trường vận hành có thể thực thi, kiểm tra và duy trì trạng thái cho tác tử.

II. Main Idea:

Bài báo giới thiệu khái niệm 'Mã nguồn là dây cương tác tử' (Code as Agent Harness), một góc nhìn thống nhất coi mã nguồn là nền tảng vận hành cho tác tử AI. Ở góc nhìn này, mã nguồn không chỉ là đầu ra mà còn là môi trường để tác tử suy luận, hành động, mô hình hóa môi trường và tự xác minh thông qua vòng lặp thực thi và phản hồi. Bài báo tổ chức góc nhìn này qua ba lớp: (1) Giao diện dây cương: mã nguồn cho suy luận, hành động và mô hình hóa môi trường; (2) Cơ chế dây cương: lập kế hoạch, bộ nhớ, sử dụng công cụ và điều khiển dựa trên phản hồi; (3) Mở rộng dây cương: phối hợp đa tác tử thông qua các tạo tác mã nguồn dùng chung.

III. Main Results:

Bài báo tổng hợp các phương pháp tiêu biểu từ nhiều lĩnh vực (hỗ trợ lập trình, tự động hóa GUI/OS, robot, khám phá khoa học), minh họa mã nguồn đóng vai trò là giao diện và cơ chế vận hành cho tác tử. Các hệ thống như Claude Code, Codex, Code-as-Policies, SWE-Bench,... cho thấy mã nguồn giúp tác tử suy luận chính xác hơn (thông qua chạy mã), hành động có căn cứ hơn (policy có thể thực thi) và cộng tác hiệu quả hơn (kho mã chung).

IV. Conclusion & Future Works:

Mã nguồn là môi trường vận hành trung tâm cho các hệ thống tác tử có thể thực thi, kiểm chứng và duy trì trạng thái. Các hướng mở bao gồm: (1) Đánh giá hiệu quả không chỉ dựa trên kết quả cuối cùng; (2) Xác minh ngữ nghĩa khi phản hồi thực thi không đầy đủ; (3) Cải tiến dây cương mà không gây hồi quy; (4) Duy trì trạng thái thống nhất giữa nhiều tác tử; (5) Giám sát của con người cho các hành động quan trọng; (6) Mở rộng ra môi trường đa phương thức.

V. Brainstorming Space:

1. Publish Papers:

Mã nguồn là môi trường thực thi cho suy luận trực quan đa phương thức: Nghiên cứu cách sử dụng mã nguồn để ngoại hóa suy luận trong các tác tử xử lý hình ảnh, âm thanh và video. Tác tử sẽ tạo ra các đoạn mã Python để gọi các thư viện xử lý ảnh (OpenCV) hoặc âm thanh, thực thi chúng và dùng kết quả làm căn cứ cho suy luận tiếp theo, thay vì xử lý tất cả trong ngôn ngữ tự nhiên.
Phối hợp đa tác tử qua kho mã nguồn và kiểm thử tự động: Xây dựng hệ thống gồm nhiều tác tử chuyên biệt (lập kế hoạch, viết mã, kiểm thử, đánh giá) làm việc trên cùng một kho lưu trữ mã nguồn. Các tác tử tương tác thông qua việc tạo nhánh, commit code, chạy CI/CD và review pull request một cách tự động.
Tối ưu hóa dây cương tác tử bằng học tăng cường từ phản hồi thực thi: Phát triển một tác tử 'kỹ sư' riêng biệt để tự động điều chỉnh các tham số và cấu trúc của dây cương (như lời nhắc, bộ nhớ, bộ công cụ) dựa trên lịch sử thực thi và phản hồi từ môi trường, với mục tiêu cải thiện hiệu suất mà không gây hồi quy.

2. Patent:

Phương pháp và hệ thống hỗ trợ lập trình di động thông minh dựa trên tác tử mã nguồn: Hệ thống trên điện thoại cho phép người dùng mô tả tính năng muốn thêm vào ứng dụng bằng giọng nói hoặc văn bản. Tác tử tự động phân tích mã nguồn hiện tại, tạo ra đoạn mã mới, chạy thử nghiệm trong môi trường sandbox, và hiển thị kết quả (thành công/lỗi) cùng mã nguồn để người dùng phê duyệt hoặc chỉnh sửa, tất cả đều chạy trên thiết bị di động.
Phương pháp tự động điều khiển ứng dụng di động qua mã kịch bản: Ứng dụng trên điện thoại cho phép tác tử AI tạo ra các tập lệnh (script) bằng một ngôn ngữ kịch bản đơn giản để điều khiển các ứng dụng khác trên cùng thiết bị. Tập lệnh mô tả các thao tác như nhấn nút, nhập văn bản, vuốt màn hình. Người dùng có thể xem, chỉnh sửa và cho phép tập lệnh chạy để tự động hóa các tác vụ lặp đi lặp lại.
Hệ thống ghi nhớ và học hỏi liên tục cho trợ lý ảo trên di động: Hệ thống trên điện thoại sử dụng mã nguồn làm bộ nhớ tác tử. Các kỹ năng mới (ví dụ: cách đặt báo thức phức tạp, cách tìm ảnh theo chủ đề) được tác tử mã hóa thành các hàm hoặc kịch bản nhỏ, lưu trữ và tái sử dụng. Điều này cho phép trợ lý ảo trên di động học hỏi và cải thiện khả năng theo thời gian mà không cần kết nối đám mây liên tục.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.18747
ArXiv Abstract	https://arxiv.org/abs/2605.18747
PDF Download	https://arxiv.org/pdf/2605.18747.pdf
Github Repository	https://github.com/YennNing/Awesome-Code-as-Agent-Harness-Papers

13. Lance: Unified Multimodal Modeling by Multi-Task Synergy (62 votes)

Tác giả: Fengyi Fu, Mengqi Huang, Shaojin Wu, Yunsheng Jiang, Yufei Huo, Hao Li, Yinghang Song, Fei Ding, Jianzhu Guo, Qian He, Zheren Fu, Zhendong Mao, Yongdong Zhang

Xuất bản lúc: 2026-05-18

Tag: Unified Multimodal Modeling, Multi-Task Learning, Mixture-of-Experts, Image Generation, Video Generation, Multimodal Understanding, Flow Matching, Autoregressive Modeling

I. Main Problem:

Các mô hình đa phương thức hiện tại thường tách biệt khả năng hiểu và sinh nội dung, dẫn đến hai hướng phát triển riêng rẽ. Việc hợp nhất các khả năng này trong một mô hình duy nhất gặp khó khăn do sự khác biệt về biểu diễn thị giác (đặc trưng ngữ nghĩa cấp cao cho hiểu và đặc trưng liên tục cấp thấp cho sinh), cũng như phạm vi nhiệm vụ bị giới hạn (chủ yếu là văn bản-hình ảnh), chưa khai thác triệt để sức mạnh của học đa nhiệm để thúc đẩy sự chuyển giao giữa các phương thức và dạng nhiệm vụ khác nhau.

II. Main Idea:

Bài báo đề xuất Lance, một mô hình đa phương thức thống nhất, nhẹ, được xây dựng dựa trên hai nguyên tắc chính: (1) Học ngữ cảnh thống nhất (Unified Context Learning) thông qua việc biểu diễn tất cả đầu vào (văn bản, hình ảnh, video) thành một chuỗi đa phương thức xen kẽ duy nhất, sử dụng cơ chế chú ý nhân quả 3D tổng quát. (2) Đường dẫn năng lực tách biệt (Decoupled Capability Pathways) thông qua kiến trúc dual-stream mixture-of-experts (hai chuyên gia), một chuyên gia dành cho hiểu (dùng mô hình ngôn ngữ tự hồi quy) và một chuyên gia dành cho sinh (dùng flow matching). Để phối hợp các token thị giác không đồng nhất, Lance giới thiệu mã hóa vị trí xoay chiều nhận biết phương thức (MaPE). Quá trình huấn luyện theo từng giai đoạn với các mục tiêu định hướng năng lực và lập lịch dữ liệu thích ứng để củng cố cả hiểu ngữ nghĩa và sinh thị giác.

III. Main Results:

Với chỉ 3 tỷ tham số được kích hoạt, Lance vượt trội so với các mô hình thống nhất mã nguồn mở hiện có trong các tác vụ sinh hình ảnh và video, đồng thời duy trì khả năng hiểu đa phương thức mạnh mẽ. Tất cả đều đạt được với ngân sách huấn luyện chỉ 128 GPU.

IV. Conclusion & Future Works:

Lance chứng minh rằng học đa nhiệm rộng có thể khai thác sức mạnh của mô hình thống nhất, giúp tăng cường sự chuyển giao giữa các phương thức và nhiệm vụ. Hướng phát triển tương lai có thể mở rộng sang các phương thức khác (âm thanh, 3D), cải thiện khả năng suy luận và sinh nội dung dài hạn, cũng như tối ưu hóa hiệu quả hơn nữa.

V. Brainstorming Space:

1. Publish Papers:

Khám phá việc mở rộng kiến trúc dual-expert và MaPE để hỗ trợ thêm các phương thức mới như âm thanh và dữ liệu 3D, tạo ra một mô hình nền tảng đa phương thức toàn diện hơn.
Nghiên cứu các chiến lược lập lịch dữ liệu và mục tiêu huấn luyện thích ứng hơn nữa để tự động cân bằng giữa các tác vụ hiểu và sinh, giảm thiểu sự phụ thuộc vào việc điều chỉnh thủ công.
Phát triển các cơ chế chú ý và mã hóa vị trí mới để cải thiện khả năng mô hình hóa các phụ thuộc ngữ cảnh dài hạn trong chuỗi đa phương thức, đặc biệt cho các tác vụ như chỉnh sửa video và sinh ảnh động.

2. Patent:

Phương pháp và hệ thống cho phép người dùng điện thoại thông minh chỉnh sửa ảnh và video bằng ngôn ngữ tự nhiên, ví dụ: 'thay con chó bằng con mèo' hoặc 'thêm một quả bóng bay vào bầu trời', dựa trên mô hình thống nhất như Lance để hiểu ngữ cảnh và thực hiện chỉnh sửa chính xác.
Ứng dụng trên thiết bị di động cho phép tạo video cá nhân hóa từ một bức ảnh chân dung và mô tả văn bản, ví dụ: tạo video ngắn mô tả người dùng đang nhảy múa hoặc chơi nhạc cụ, sử dụng khả năng sinh video có điều kiện của mô hình.
Hệ thống tìm kiếm hình ảnh và video đa phương thức trên điện thoại, cho phép người dùng nhập một bức ảnh và một câu hỏi bằng văn bản (ví dụ: 'mô tả bức ảnh này' hoặc 'tìm video tương tự'), và nhận lại kết quả tổng hợp từ cả hiểu và sinh nội dung, tất cả đều được xử lý cục bộ trên thiết bị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.18678
ArXiv Abstract	https://arxiv.org/abs/2605.18678
PDF Download	https://arxiv.org/pdf/2605.18678.pdf
Github Repository	https://github.com/bytedance/Lance

14. AI for Auto-Research: Roadmap & User Guide (52 votes)

Tác giả: Lingdong Kong, Xian Sun, Wei Chow, Linfeng Li, Kevin Qinghong Lin, Xuan Billy Zhang, Song Wang, Rong Li, Qing Wu, Wei Gao, Yingshuo Wang, Shaoyuan Xie, Jiachen Liu, Leigang Qu, Shijie Li, Lai Xing Ng, Benoit R. Cottereau, Ziwei Liu, Tat-Seng Chua, Wei Tsang Ooi

Xuất bản lúc: 2026-05-18

Tag: AI-assisted Research, LLMs, Research Automation, Literature Review, Paper Writing, Peer Review, Scientific Discovery

I. Main Problem:

Các hệ thống AI hiện nay có thể tự động tạo ra các bài báo khoa học với chi phí thấp, nhưng lại thiếu độ tin cậy trong việc xác minh tính mới, tính trung thực và ý nghĩa khoa học của các kết quả đó. Các mô hình ngôn ngữ lớn (LLM) có xu hướng bịa đặt kết quả, bỏ qua lỗi tiềm ẩn và đánh giá sai tính mới lạ. Vấn đề cốt lõi không phải là AI có thể tạo ra các sản phẩm có hình thức giống nghiên cứu hay không, mà là liệu nó có thể bảo toàn được bản chất của nghiên cứu: bằng chứng, phán đoán, nguồn gốc và trách nhiệm giải trình.

II. Main Idea:

Bài báo này trình bày một phân tích tổng thể về AI trong toàn bộ vòng đời nghiên cứu học thuật, được tổ chức thành bốn giai đoạn nhận thức: 1) Sáng tạo (tạo ý tưởng, tổng quan tài liệu, viết code & thí nghiệm, bảng biểu & hình vẽ), 2) Viết lách (viết bài báo), 3) Thẩm định (phản biện đồng nghiệp, phản hồi & sửa chữa), và 4) Phổ biến (poster, slide, video, mạng xã hội, trang dự án và các tác nhân tương tác). Năm phát hiện chính bao gồm: AI mạnh nhất ở các tác vụ có cấu trúc nhưng yếu ở các tác vụ mở; tốc độ tạo ra sản phẩm luôn vượt xa khả năng xác minh; phương thức triển khai đáng tin cậy nhất là cộng tác do con người giám sát; các hệ thống hiệu quả dựa trên kiến trúc phân lớp; và việc sử dụng AI trở thành vấn đề quản trị hơn là phát hiện.

III. Main Results:

Các tác giả đã biên soạn một bảng kiểm kê công cụ toàn diện, bộ tiêu chuẩn đánh giá và các họ phương pháp luận cho từng giai đoạn. Họ xác định một ranh giới rõ ràng, phụ thuộc vào giai đoạn, giữa hỗ trợ đáng tin cậy và tự chủ không đáng tin cậy. Các ý tưởng được tạo ra thường suy yếu sau khi thực hiện; code nghiên cứu tụt hậu xa so với các tiêu chuẩn đánh giá; và các hệ thống tự động hoàn toàn chưa đạt được tiêu chuẩn chấp nhận của các hội nghị lớn. Tự động hóa cao hơn có thể che giấu thay vì loại bỏ các lỗi, khiến cho sự cộng tác có sự giám sát của con người trở thành mô hình triển khai đáng tin cậy nhất.

IV. Conclusion & Future Works:

Bài báo kết luận rằng lĩnh vực này đang chuyển từ hỗ trợ từng giai đoạn sang tự động hóa đa giai đoạn, nhưng vẫn còn những thách thức mở như: tính trung thực xuyên suốt các giai đoạn, phán đoán khoa học và đánh giá tính mới lạ, khả năng tái lập, quản trị và tính toàn vẹn của nghiên cứu, và quyền sở hữu nhận thức. Hướng phát triển trong tương lai bao gồm cải thiện kiến trúc phân lớp, phát triển các hệ thống xác minh mạnh mẽ hơn, và thiết lập các khuôn khổ quản trị phù hợp.

V. Brainstorming Space:

1. Publish Papers:

Xây dựng một hệ thống tạo ý tưởng nghiên cứu có khả năng tự động thực hiện các thí nghiệm sơ bộ để đánh giá tính khả thi của ý tưởng, giúp thu hẹp khoảng cách giữa ý tưởng và thực thi.
Phát triển một phương pháp mới để đánh giá tính mới lạ của ý tưởng nghiên cứu dựa trên phân tích đồ thị tri thức và so sánh với cơ sở dữ liệu bài báo khổng lồ, vượt xa các phương pháp hiện tại.
Nghiên cứu và thiết kế một hệ thống phản biện đồng nghiệp tự động có thể phát hiện các lỗi tiềm ẩn và đánh giá độ tin cậy của kết quả thực nghiệm, không chỉ dựa trên văn phong viết.

2. Patent:

Phương pháp và hệ thống hỗ trợ viết bài báo khoa học trên thiết bị di động, sử dụng AI để gợi ý cấu trúc, trích dẫn tài liệu tham khảo và kiểm tra lỗi ngữ pháp, giúp các nhà nghiên cứu có thể làm việc mọi lúc mọi nơi.
Ứng dụng di động giúp sinh viên và nhà nghiên cứu tạo ra các poster và slide thuyết trình từ nội dung bài báo một cách tự động, cho phép tùy chỉnh giao diện và bố cục phù hợp với từng loại hội nghị.
Hệ thống trên điện thoại thông minh cho phép người dùng chụp ảnh một biểu đồ hoặc bảng dữ liệu từ bài báo in, sau đó AI sẽ tự động phân tích và đề xuất các cải tiến về mặt trực quan hóa dữ liệu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.18661
ArXiv Abstract	https://arxiv.org/abs/2605.18661
PDF Download	https://arxiv.org/pdf/2605.18661.pdf
Github Repository	https://github.com/worldbench/awesome-ai-auto-research

15. CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows? (42 votes)

Tác giả: Haolin Chen, Deon Metelski, Leon Qi, Tao Xia, Joonyul Lee, Steve Brown, Kevin Riley, Frank Wang, T. Y. Alvin Liu, Hank Capps MD, Zeyu Tang, Xiangchen Song, Lingjing Kong, Fan Feng, Tianyi Zeng, Zhiwei Liu, Zixian Ma, Hang Jiang, Fangli Geng, Yuan Yuan, Chenyu You, Qingsong Wen, Hua Wei, Yanjie Fu, Yue Zhao, Carl Yang, Biwei Huang, Kun Zhang, Caiming Xiong, Sanmi Koyejo, Eric P. Xing, Philip S. Yu, Weiran Yao

Xuất bản lúc: 2026-05-15

Tag: LLMs, AI Agent, Healthcare, Benchmark, Prior Authorization, Multi-Agent, Policy Dense

I. Main Problem:

Các tác vụ vận hành chăm sóc sức khỏe thực tế đòi hỏi ba năng lực mà các chuẩn đánh giá hiện tại chưa kiểm tra đầy đủ: (1) mật độ chính sách - mọi quyết định của tác nhân phải dựa trên một thư viện lớn các quy tắc y tế, bảo hiểm và vận hành; (2) kết hợp nhiều vai trò - một tác vụ yêu cầu tác nhân đóng nhiều vai trò với các bàn giao công việc không thể đảo ngược; và (3) tương tác đa phương - các bước trung gian là các cuộc hội thoại nhiều lượt như đánh giá ngang hàng và tiếp cận bệnh nhân. Các chuẩn đánh giá hiện có như MedQA, SWE-Bench, WebArena hầu như không hỗ trợ đồng thời cả ba thách thức này, dẫn đến việc đánh giá quá lạc quan năng lực của tác nhân AI trong các lĩnh vực doanh nghiệp phức tạp.

II. Main Idea:

Bài báo giới thiệu χ-Bench, một chuẩn đánh giá mới với môi trường mô phỏng trung thực cao gồm 20 ứng dụng chăm sóc sức khỏe, được tiếp xúc qua 87 công cụ MCP. Mỗi tác vụ yêu cầu tác nhân AI xử lý một ca lâm sàng trong ba lĩnh vực: ủy quyền trước (PA) của nhà cung cấp, quản lý sử dụng (UM) của bên chi trả, và quản lý chăm sóc (CM). Tác nhân được hướng dẫn bởi một cuốn sổ tay vận hành chăm sóc quản lý gồm 1.279 tài liệu markdown, mô phỏng tài liệu hướng dẫn cho nhân viên mới. Kết quả được đánh giá in-situ bởi một bộ xác minh kết hợp kiểm tra xác định với bộ đánh giá LLM dựa trên tiêu chí, phản ánh trạng thái thế giới mô phỏng đã được lưu trữ.

III. Main Results:

Trên 30 cấu hình tác nhân/mô hình, tác nhân tốt nhất chỉ giải quyết được 28,0% tác vụ ở pass@1 (Claude Code + Claude Opus 4.6), không có tác nhân nào vượt quá 20% ở độ tin cậy pass^3, và khi thực hiện tất cả tác vụ trong một phiên duy nhất (marathon), hiệu suất giảm xuống còn 3,8%. Trong bài kiểm tra đấu trường hai tác nhân (nhà cung cấp và bên chi trả), pass@1 giảm từ 30,4% xuống 0%. Phân tích lỗi cho thấy nguyên nhân chính là lỗi suy luận lâm sàng (35,4%), hoàn thiện quy trình (23,3%), bỏ cuộc hoặc kẹt (15,6%), và không tuân thủ chính sách (13,2%).

IV. Conclusion & Future Works:

Kết quả cho thấy các năng lực tầm xa mà tác nhân tiên tiến thể hiện trên các chuẩn đánh giá kiểu lập trình không tổng quát hóa tốt cho các quy trình chăm sóc sức khỏe thực tế. Các hướng nghiên cứu trong tương lai có thể bao gồm: cải thiện độ tin cậy của tác nhân qua nhiều lần thử, xử lý tương tác đa phương tốt hơn, giảm thiểu lỗi suy luận lâm sàng, và phát triển các kỹ thuật quản lý bối cảnh hiệu quả hơn cho các phiên làm việc dài. Các lỗ hổng tương tự được dự đoán sẽ xuất hiện trong các lĩnh vực doanh nghiệp khác có mật độ chính sách cao, kết hợp nhiều vai trò và không thể đảo ngược.

V. Brainstorming Space:

1. Publish Papers:

Phát triển mô-đun suy luận chính sách cho tác nhân AI trong lĩnh vực bảo hiểm y tế: Nghiên cứu cách xây dựng một mô-đun chuyên biệt có thể truy xuất và diễn giải chính xác các quy tắc bảo hiểm phức tạp, giảm thiểu lỗi áp dụng sai tiêu chí.
Tăng cường độ tin cậy của tác nhân đa vai trò thông qua cơ chế kiểm tra chéo: Đề xuất một khung kiến trúc cho phép tác nhân AI tự động kiểm tra lại các quyết định của mình ở mỗi bước bàn giao vai trò, đảm bảo tính nhất quán và giảm thiểu lỗi do chuyển đổi ngữ cảnh.
Tối ưu hóa quản lý bộ nhớ cho tác nhân tầm xa trong quy trình chăm sóc sức khỏe: Khám phá các kỹ thuật nén bối cảnh thông minh và chiến lược ưu tiên tác vụ để duy trì hiệu suất của tác nhân trong các phiên làm việc kéo dài với nhiều ca bệnh (marathon).

2. Patent:

Phương pháp và hệ thống tự động hóa quy trình ủy quyền trước trên thiết bị di động cho bệnh nhân: Một ứng dụng di động cho phép bệnh nhân chụp ảnh đơn thuốc và giấy tờ liên quan, sau đó sử dụng AI để tự động điền vào mẫu ủy quyền trước, gửi đến bác sĩ và công ty bảo hiểm, đồng thời theo dõi trạng thái phê duyệt theo thời gian thực.
Trợ lý ảo trên điện thoại thông minh hỗ trợ quản lý chăm sóc sức khỏe cho người cao tuổi: Một trợ lý giọng nói được tích hợp trên điện thoại, có khả năng thực hiện các cuộc gọi tiếp cận bệnh nhân theo lịch trình, đặt câu hỏi đánh giá sức khỏe định kỳ, nhắc nhở uống thuốc và tự động tạo báo cáo tình trạng sức khỏe gửi đến điều dưỡng quản lý.
Hệ thống tra cứu và áp dụng chính sách bảo hiểm y tế thông minh trên thiết bị di động: Một công cụ tìm kiếm bằng ngôn ngữ tự nhiên trên điện thoại, cho phép nhân viên y tế nhập các triệu chứng hoặc dịch vụ cần bảo hiểm và nhận được ngay các tiêu chí bảo hiểm áp dụng, cùng với hướng dẫn từng bước để hoàn tất thủ tục yêu cầu bồi thường.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.16679
ArXiv Abstract	https://arxiv.org/abs/2605.16679
PDF Download	https://arxiv.org/pdf/2605.16679.pdf
Github Repository	https://github.com/actava-ai/chi-bench

16. Code-as-Room: Generating 3D Rooms from Top-Down View Images via Agentic Code Synthesis (35 votes)

Tác giả: Yixuan Yang, Zhen Luo, Wanshui Gan, Jinkun Hao, Junru Lu, Jinghao Yan, Zhaoyang Lyu, Xudong Xu

Xuất bản lúc: 2026-05-18

Tag: MLLM, 3D Room Generation, Code Synthesis, Blender, Top-Down Image, Agentic Framework, Scene Graph

I. Main Problem:

Việc thiết kế không gian 3D trong nhà thực tế và chức năng thường tốn nhiều công sức và yêu cầu chuyên môn cao. Các phương pháp dựa trên văn bản không thể hiện được thông tin không gian chính xác, trong khi các phương pháp dựa trên hình ảnh hiện có (như VIGA) gặp vấn đề mất ổn định và vòng lặp vô hạn khi tổng hợp toàn bộ căn phòng từ ảnh nhìn từ trên xuống.

II. Main Idea:

Code-as-Room là một framework agent dựa trên MLLM được trang bị một bộ thực thi có cấu trúc (structured execution harness). Framework này phân tích ảnh nhìn từ trên xuống để trích xuất các yếu tố cảnh và mối quan hệ không gian, sau đó tổng hợp mã Blender có thể thực thi được để tạo ra hình học, vật liệu và ánh sáng trong một quy trình đa giai đoạn có nguyên tắc. Một module bộ nhớ xuyên giai đoạn (cross-stage memory) được duy trì để giảm thiểu vấn đề quên ngữ cảnh.

III. Main Results:

Trên benchmark riêng gồm 41 cảnh, Code-as-Room với Gemini3.1-Pro đạt kết quả vượt trội: Object Recall 55.5%, Layout IoU 73.2%, Spatial Relation 79.8%, Agent Completion và Execution Rate đều 100%. Trong đánh giá của con người, phương pháp này đạt điểm cao nhất về độ tương đồng (9.0), khả năng sử dụng (8.0) và khả năng chấp nhận (7.5) so với các baseline khác. Các thí nghiệm ablation cho thấy bộ nhớ xuyên giai đoạn và vòng phản hồi trực quan có vai trò quan trọng.

IV. Conclusion & Future Works:

Code-as-Room chứng minh hiệu quả của việc kết hợp MLLM với quy trình agent có cấu trúc để tổng hợp phòng 3D từ ảnh nhìn từ trên xuống. Hạn chế hiện tại là chưa tối ưu cho ảnh góc nhìn tùy ý và việc tạo đối tượng phức tạp vẫn cần truy xuất asset. Hướng phát triển tương lai bao gồm khám phá các mô hình sinh video làm neural renderer để tạo hình ảnh trực quan thực tế và nhất quán hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng khung nhìn đầu vào: Nghiên cứu khả năng tổng hợp phòng 3D từ ảnh góc nhìn bất kỳ (perspective view) thay vì chỉ ảnh nhìn từ trên xuống, mở rộng ứng dụng thực tế.
Tích hợp sinh đối tượng bằng diffusion: Thay thế bước truy xuất asset bằng mô hình sinh 3D dạng diffusion để tạo ra các đối tượng có độ chi tiết hình học cao hơn, đặc biệt cho các vật dụng nhỏ phức tạp.
Sử dụng video generation làm neural renderer: Tận dụng các mô hình sinh video để tái tạo lại cảnh 3D dưới dạng video chất lượng cao, nhất quán về mặt hình học và ngữ nghĩa, thay vì render truyền thống.
patent_ideas_vi: Phương pháp và hệ thống tạo không gian 3D từ ảnh chụp từ trên xuống trên thiết bị di động: Người dùng chụp ảnh mặt bằng phòng, ứng dụng trên điện thoại sẽ tự động tạo ra mô hình 3D có thể chỉnh sửa và xoay xem, phục vụ thiết kế nội thất cơ bản.
patent_ideas_vi: Ứng dụng mua sắm nội thất thực tế ảo tăng cường trên điện thoại: Dựa trên ảnh mặt bằng phòng, hệ thống tạo ra khung cảnh 3D và cho phép người dùng thử đặt các món đồ nội thất ảo để xem bố trí trước khi mua.
patent_ideas_vi: Công cụ hỗ trợ thiết kế nhà ở cho người dùng phổ thông: Người dùng vẽ phác thảo mặt bằng bằng tay trên điện thoại, hệ thống AI sẽ hiểu và tạo ra bản thiết kế 3D hoàn chỉnh, sau đó có thể xuất file để in 3D hoặc chia sẻ.
patent_ideas_vi: Phương pháp tối ưu hóa bố trí nội thất dựa trên ảnh mặt bằng: Hệ thống phân tích ảnh mặt bằng, tự động đề xuất và sắp xếp lại đồ nội thất một cách hợp lý, tối ưu không gian và công năng sử dụng.
patent_ideas_vi: Ứng dụng tạo tour ảo bất động sản từ ảnh mặt bằng: Người dùng chụp ảnh mặt bằng căn hộ, hệ thống tự động tạo ra mô hình 3D và cho phép khách hàng tham quan ảo bằng điện thoại, giúp tiết kiệm chi phí chụp ảnh thực tế.

2. Patent:

Phương pháp và hệ thống tạo không gian 3D từ ảnh chụp từ trên xuống trên thiết bị di động: Người dùng chụp ảnh mặt bằng phòng, ứng dụng trên điện thoại sẽ tự động tạo ra mô hình 3D có thể chỉnh sửa và xoay xem, phục vụ thiết kế nội thất cơ bản.
Ứng dụng mua sắm nội thất thực tế ảo tăng cường trên điện thoại: Dựa trên ảnh mặt bằng phòng, hệ thống tạo ra khung cảnh 3D và cho phép người dùng thử đặt các món đồ nội thất ảo để xem bố trí trước khi mua.
Công cụ hỗ trợ thiết kế nhà ở cho người dùng phổ thông: Người dùng vẽ phác thảo mặt bằng bằng tay trên điện thoại, hệ thống AI sẽ hiểu và tạo ra bản thiết kế 3D hoàn chỉnh, sau đó có thể xuất file để in 3D hoặc chia sẻ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2605.18451
ArXiv Abstract	https://arxiv.org/abs/2605.18451
PDF Download	https://arxiv.org/pdf/2605.18451.pdf
Github Repository	https://github.com/YxuanAr/Code-as-Room

📰 Summary of Papers​

1. KVPO: ODE-Native GRPO for Autoregressive Video Alignment via KV Semantic Exploration (36 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. OProver: A Unified Framework for Agentic Formal Theorem Proving (28 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. StableVLA: Towards Robust Vision-Language-Action Models without Extra Data (13 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. From Runnable to Shippable: Multi-Agent Test-Driven Development for Generating Full-Stack Web Applications from Requirements (10 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. Stop When Reasoning Converges: Semantic-Preserving Early Exit for Reasoning Models (19 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs (19 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. EndPrompt: Efficient Long-Context Extension via Terminal Anchoring (12 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. Where Should Diffusion Enter a Language Model? Geometry-Guided Hidden-State Replacement (12 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. AstraFlow: Dataflow-Oriented Reinforcement Learning for Agentic LLMs (11 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. KVPO: ODE-Native GRPO for Autoregressive Video Alignment via KV Semantic Exploration (36 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. OProver: A Unified Framework for Agentic Formal Theorem Proving (28 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. StableVLA: Towards Robust Vision-Language-Action Models without Extra Data (13 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. From Runnable to Shippable: Multi-Agent Test-Driven Development for Generating Full-Stack Web Applications from Requirements (10 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. Stop When Reasoning Converges: Semantic-Preserving Early Exit for Reasoning Models (19 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs (19 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. EndPrompt: Efficient Long-Context Extension via Terminal Anchoring (12 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. Where Should Diffusion Enter a Language Model? Geometry-Guided Hidden-State Replacement (12 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. AstraFlow: Dataflow-Oriented Reinforcement Learning for Agentic LLMs (11 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: