Chuyển tới nội dung chính

🤗 Daily Hugging Face Paper Digest - 2026-04-14

Báo cáo được tạo tự động vào lúc 2026-04-15 10:08:03 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers​

1. QuanBench+: A Unified Multi-Framework Benchmark for LLM-Based Quantum Code Generation (112 votes)​

Tác giả: Ali Slim, Haydar Hamieh, Jawad Kotaich, Yehya Ghosn, Mahdi Chehimi, Ammar Mohanna, Hasan Abed Al Kader Hammoud, Bernard Ghanem

Xuất bản lúc: 2026-03-25

Tag: LLMs, Quantum Computing, Code Generation, Benchmarking, Qiskit, PennyLane, Cirq

I. Main Problem:​

Hiện tại, việc đánh giá khả năng tạo mã lượng tử của các Mô hình Ngôn ngữ Lớn (LLM) chủ yếu được thực hiện trong các framework đơn lẻ. Điều này gây khó khăn trong việc phân biệt liệu lỗi phát sinh là do khả năng suy luận lượng tử yếu kém hay chỉ đơn thuần là do thiếu quen thuộc với một framework cụ thể, từ đó cản trở việc phát triển các LLM có khả năng tạo mã lượng tử chính xác trên nhiều framework.

II. Main Idea:​

Nghiên cứu giới thiệu QuanBench+, một bộ benchmark thống nhất và đa framework, bao gồm 42 tác vụ được căn chỉnh trên Qiskit, PennyLane và Cirq. Các tác vụ này bao gồm thuật toán lượng tử, phân tách cổng và chuẩn bị trạng thái. Phương pháp đánh giá bao gồm: sử dụng các bài kiểm tra chức năng có thể thực thi (Pass@1 và Pass@5); áp dụng chấp nhận dựa trên độ phân kỳ KL (KL-divergence) cho các đầu ra xác suất; và nghiên cứu hiệu suất sau khi sửa chữa dựa trên phản hồi (Pass@1 (FB)), nơi mô hình có thể điều chỉnh mã sau lỗi thời gian chạy hoặc câu trả lời sai. Mục tiêu là giữ mục đích tác vụ nhất quán giữa các framework và chỉ thay đổi framework mục tiêu để phân biệt lỗi suy luận lượng tử với lỗi framework.

III. Main Results:​

  • Hiệu suất tạo mã một lần (one-shot): Điểm Pass@1 cao nhất đạt 59.5% trong Qiskit, 54.8% trong Cirq và 42.9% trong PennyLane.
  • Hiệu suất sau sửa chữa dựa trên phản hồi: Điểm tốt nhất tăng lên 83.3% (Qiskit), 76.2% (Cirq) và 66.7% (PennyLane).
  • Sự phụ thuộc vào framework: Qiskit luôn là framework dễ nhất, PennyLane khó nhất, và Cirq ở giữa. Điều này cho thấy hiệu suất vẫn phụ thuộc mạnh mẽ vào kiến thức cụ thể của framework, chứ không phải khả năng lập trình lượng tử linh hoạt.
  • Vai trò của Prefill: Prefill chủ yếu giúp giảm ma sát giao diện và lỗi boilerplate, ít giải quyết được các lỗi ngữ nghĩa phức tạp.
  • Hiệu quả của phản hồi: Phản hồi giúp phục hồi đáng kể các lỗi ban đầu, nhưng các lỗi còn lại vẫn chủ yếu là lỗi suy luận sâu hơn.

IV. Conclusion & Future Works:​

Các mô hình hiện đại có thể tạo ra mã lượng tử hợp lý, nhưng độ chính xác đáng tin cậy trên nhiều framework vẫn còn xa vời. Tiến bộ trong tương lai đòi hỏi nhiều hơn là chỉ mở rộng quy mô mô hình; nó cần sự tiếp xúc mạnh mẽ hơn với dữ liệu phần mềm lượng tử, hỗ trợ tốt hơn cho suy luận thành phần và sửa chữa, cũng như sự phù hợp chặt chẽ hơn với các API và mẫu thực thi cụ thể của framework. Các hướng nghiên cứu trong tương lai bao gồm: mở rộng QuanBench+ sang các framework bổ sung, nghiên cứu tính bền vững của mô hình đối với các biến thể prompt, và khảo sát các chu trình sửa chữa dài hơn và quy trình làm việc tăng cường công cụ.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về tính bền vững của các mô hình ngôn ngữ lớn trong việc tạo mã lượng tử khi đối mặt với các biến thể prompt và các chu trình sửa lỗi phức tạp hơn.
  2. Phát triển một phương pháp luận để mở rộng QuanBench+ sang các framework điện toán lượng tử mới nổi, đánh giá khả năng chuyển giao kiến thức lượng tử giữa các hệ sinh thái khác nhau.
  3. Khám phá việc tích hợp các công cụ hỗ trợ và quy trình làm việc tăng cường (tool-augmented workflows) để cải thiện khả năng suy luận thành phần và sửa lỗi của LLM trong tạo mã lượng tử.

2. Patent:​

  1. Ứng dụng di động "Trợ lý lập trình lượng tử thông minh đa khung": Một ứng dụng trên điện thoại di động sử dụng LLM để hỗ trợ lập trình viên tạo mã lượng tử. Ứng dụng này có thể nhận yêu cầu bằng ngôn ngữ tự nhiên, sau đó gợi ý hoặc tự động tạo mã tương thích với nhiều framework (ví dụ: Qiskit, PennyLane, Cirq), đồng thời kiểm tra cú pháp và cung cấp các ví dụ API phù hợp trực tiếp trên thiết bị di động.
  2. Hệ thống "Phân tích và sửa lỗi mã lượng tử tức thì trên di động": Một hệ thống tích hợp trên điện thoại di động có khả năng phân tích mã lượng tử do người dùng viết, phát hiện các lỗi thời gian chạy hoặc lỗi logic. Khi phát hiện lỗi, hệ thống sẽ cung cấp phản hồi chi tiết và đề xuất các phương án sửa lỗi tự động, cho phép người dùng sửa đổi và kiểm tra lại mã ngay trên thiết bị mà không cần chuyển sang máy tính.
  3. Công cụ "Mô phỏng và trực quan hóa mạch lượng tử di động": Một công cụ phần mềm cho điện thoại thông minh cho phép người dùng nhập hoặc tạo các mạch lượng tử đơn giản, sau đó mô phỏng kết quả đo lường và trực quan hóa phân bố xác suất đầu ra. Công cụ này sẽ sử dụng thuật toán tối ưu để chạy mô phỏng hiệu quả trên phần cứng di động, cung cấp phản hồi tức thì về tính đúng đắn chức năng của mạch lượng tử.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.08570
ArXiv Abstracthttps://arxiv.org/abs/2604.08570
PDF Downloadhttps://arxiv.org/pdf/2604.08570.pdf
Github Repositoryhttps://github.com/JawadKotaichh/quanbench-plus

2. The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping (82 votes)​

Tác giả: Yang Liu, Enxi Wang, Yufei Gao, Weixin Zhang, Bo Wang, Zhiyuan Zeng, Yikai Zhang, Yining Zheng, Xipeng Qiu

Xuất bản lúc: 2026-04-13

Tag: Reinforcement Learning, LLMs, Reward Shaping, Diversity, Exploration, Memory

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLM) được huấn luyện bằng học tăng cường thường gặp phải vấn đề giảm tính đa dạng trong việc lấy mẫu, dẫn đến việc tạo ra các hành vi sai lầm lặp đi lặp lại. Các phương pháp điều hòa entropy truyền thống chỉ khuyến khích tính ngẫu nhiên trong chính sách hiện tại mà không ngăn chặn rõ ràng các mô hình lỗi tái diễn qua các lần rollout. Điều này khiến chính sách bị mắc kẹt trong các "lưu vực lỗi" ổn định, tạo ra các phản hồi rập khuôn, lãng phí mẫu on-policy và củng cố các quỹ đạo suy luận sai lầm. Hơn nữa, các phương pháp hiện có thường bỏ qua thông tin hữu ích từ các quỹ đạo lịch sử và có thể gặp vấn đề về chi phí tính toán khi sử dụng các mô hình bên ngoài để điều chỉnh phần thưởng.

II. Main Idea:​

Bài báo đề xuất MEDS (Memory-Enhanced Dynamic Reward Shaping), một khuôn khổ định hình phần thưởng động tăng cường bộ nhớ, tích hợp các tín hiệu hành vi lịch sử vào thiết kế phần thưởng. MEDS lưu trữ và tận dụng các biểu diễn trung gian của mô hình (logit theo lớp) để nắm bắt các đặc điểm của các lần rollout trong quá khứ. Sau đó, nó sử dụng phân cụm dựa trên mật độ (HDBSCAN) để xác định các mô hình lỗi tái diễn thường xuyên. Các lần rollout được gán vào các cụm lỗi phổ biến hơn sẽ bị phạt nặng hơn, khuyến khích khám phá rộng hơn đồng thời giảm thiểu các lỗi lặp lại. Việc tái sử dụng logit theo lớp giúp MEDS có chi phí tính toán bổ sung rất thấp. Khuôn khổ này duy trì một bộ nhớ lỗi được cập nhật trực tuyến và điều chỉnh cường độ phạt dựa trên sự tái diễn của các mô hình lỗi. Bài báo cũng cung cấp phân tích lý thuyết chứng minh rằng việc phạt bổ sung đối với các lỗi lặp lại có thể cải thiện hiệu suất.

III. Main Results:​

MEDS liên tục cải thiện hiệu suất trung bình so với các đường cơ sở hiện có trên năm bộ dữ liệu và ba mô hình cơ sở, đạt mức tăng tới 4.13 điểm pass@1 và 4.37 điểm pass@128. Cải thiện pass@128 lớn nhất được quan sát trên Qwen3-8B, với hiệu suất tăng từ 70.81 lên 82.67 trên một bộ dữ liệu duy nhất, tương ứng với mức tăng tương đối 17%. Các phân tích bổ sung cho thấy MEDS tăng cường tính đa dạng của hành vi trong quá trình lấy mẫu (điểm khám phá cao hơn, Top-1 Eigen Ratio thấp hơn). Phân cụm dựa trên logit có sự tương quan đáng kể (61.2%) với phân cụm ngữ nghĩa dựa trên LLM, và chất lượng phân cụm tốt hơn tương quan mạnh mẽ với hiệu suất mô hình. Việc sử dụng 14 lớp Transformer cuối cùng làm đặc trưng phân cụm mang lại hiệu suất tốt nhất.

IV. Conclusion & Future Works:​

Nghiên cứu này đã xem xét các mô hình lỗi tái diễn xuất hiện trong quá trình học tăng cường cho suy luận LLM. Chúng tôi giới thiệu MEDS, một khuôn khổ định hình phần thưởng nhận biết bộ nhớ, động lực phạt các mô hình lỗi tái diễn. Bằng cách tái sử dụng logit theo lớp làm biểu diễn nhẹ của quỹ đạo suy luận, phương pháp của chúng tôi phân cụm các phản hồi lịch sử để xác định và ngăn chặn các chế độ lỗi lặp lại. Kết quả thực nghiệm trên nhiều điểm chuẩn cho thấy MEDS liên tục cải thiện cả hiệu suất suy luận và tính đa dạng khám phá. Những phát hiện này nhấn mạnh tầm quan trọng của việc tích hợp thông tin quỹ đạo lịch sử vào thiết kế phần thưởng và mở ra những hướng đi mới để cải thiện khả năng khám phá trong học tăng cường LLM.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các chiến lược biểu diễn và phân cụm lỗi nâng cao: Khám phá các phương pháp biểu diễn quỹ đạo suy luận thay thế ngoài logit theo lớp (ví dụ: sử dụng embedding học được, kỹ thuật nén) và các thuật toán phân cụm tiên tiến hơn để nắm bắt các mô hình lỗi phức tạp hơn, có khả năng tăng cường độ chính xác và hiệu quả của việc định hình phần thưởng.
  2. Mở rộng MEDS cho các tác vụ LLM đa dạng và miền dữ liệu khác: Áp dụng và đánh giá hiệu quả của MEDS trên các tác vụ LLM khác ngoài suy luận toán học, chẳng hạn như tạo văn bản sáng tạo, lập trình, tóm tắt hoặc đối thoại, để xem xét khả năng khái quát hóa và tinh chỉnh khuôn khổ cho các yêu cầu đa dạng về tính đa dạng và tránh lỗi.
  3. Phân tích sự tương tác giữa MEDS và các kỹ thuật điều hòa khác: Nghiên cứu sâu hơn về cách MEDS tương tác với các phương pháp điều hòa hiện có (như điều hòa entropy, KL regularization) để hiểu rõ hơn về tác động tổng hợp của chúng đối với quá trình khám phá và tối ưu hóa chính sách, từ đó phát triển các chiến lược kết hợp để đạt được hiệu suất vượt trội.

2. Patent:​

  1. Chức năng sửa lỗi lặp lại thông minh cho trợ lý ảo trên điện thoại: Một hệ thống trợ lý ảo trên điện thoại (ví dụ: Siri, Google Assistant) ghi nhớ các lỗi sai hoặc phản hồi không mong muốn thường xuyên của người dùng. Khi người dùng lặp lại hành động hoặc câu hỏi dẫn đến lỗi tương tự, hệ thống sẽ tự động điều chỉnh phản hồi hoặc đưa ra gợi ý khác biệt để tránh lặp lại sai lầm, giúp trải nghiệm người dùng mượt mà hơn. Ví dụ, nếu người dùng thường xuyên yêu cầu một tác vụ mà trợ lý ảo hiểu sai, lần sau trợ lý ảo sẽ chủ động hỏi thêm thông tin hoặc đưa ra các tùy chọn khác.
  2. Hệ thống gợi ý nội dung đa dạng cho ứng dụng đọc tin/mạng xã hội: Ứng dụng trên điện thoại (như đọc tin tức, mạng xã hội) theo dõi các loại nội dung mà người dùng đã xem hoặc bỏ qua. Nếu hệ thống nhận thấy người dùng đang bị "mắc kẹt" trong một vòng lặp nội dung tương tự (ví dụ: chỉ xem tin tức về một chủ đề hẹp hoặc tương tác với một kiểu bài đăng nhất định), nó sẽ điều chỉnh thuật toán gợi ý để giới thiệu các chủ đề, tác giả hoặc định dạng nội dung mới lạ hơn, giúp mở rộng trải nghiệm và tránh sự nhàm chán.
  3. Tối ưu hóa phản hồi bàn phím ảo bằng cách tránh lỗi gõ lặp lại: Bàn phím ảo trên điện thoại có thể ghi nhớ các lỗi gõ sai phổ biến của người dùng đối với các từ hoặc cụm từ cụ thể. Thay vì chỉ sửa lỗi theo cách thông thường, hệ thống sẽ phân tích "mô hình lỗi" lặp lại và chủ động đưa ra các gợi ý từ khác biệt hoặc cảnh báo nhẹ nhàng khi người dùng có xu hướng lặp lại cùng một kiểu lỗi, giúp cải thiện độ chính xác và tốc độ gõ phím theo thời gian. Ví dụ, nếu người dùng thường xuyên gõ nhầm "teh" thành "the", hệ thống có thể học và gợi ý các từ khác khi phát hiện mô hình lỗi này.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.11297
ArXiv Abstracthttps://arxiv.org/abs/2604.11297
PDF Downloadhttps://arxiv.org/pdf/2604.11297.pdf
Github Repositoryhttps://github.com/Linxi000/MEDS

3. OmniShow: Unifying Multimodal Conditions for Human-Object Interaction Video Generation (59 votes)​

Tác giả: Donghao Zhou, Guisheng Liu, Hao Yang, Jiatong Li, Jingyu Lin, Xiaohu Huang, Yichen Liu, Xin Gao, Cunjian Chen, Shilei Wen, Chi-Wing Fu, Pheng-Ann Heng

Xuất bản lúc: 2026-04-13

Tag: HOIVG, Video Generation, Multimodal, Diffusion Models, Deep Learning, Human-Object Interaction, Controllable Generation

I. Main Problem:​

Nhiệm vụ tạo video tương tác người-vật (Human-Object Interaction Video Generation - HOIVG) đòi hỏi tổng hợp video chất lượng cao dựa trên nhiều điều kiện đầu vào như văn bản, hình ảnh tham chiếu, âm thanh và tư thế. Các phương pháp hiện có không thể kết hợp tất cả các điều kiện đa phương thức này một cách thống nhất, dẫn đến sự đánh đổi giữa khả năng kiểm soát và chất lượng tạo video. Ngoài ra, việc thiếu dữ liệu HOIVG chất lượng cao và một bộ tiêu chuẩn đánh giá toàn diện cũng là những thách thức lớn.

II. Main Idea:​

OmniShow là một framework đầu cuối được thiết kế để giải quyết HOIVG bằng cách hài hòa các điều kiện đa phương thức. Các ý tưởng chính bao gồm:

  1. Unified Channel-wise Conditioning: Tiêm hình ảnh tham chiếu và tín hiệu tư thế một cách hiệu quả thông qua việc mở rộng các token video nhiễu bằng "pseudo-frame tokens" và sử dụng chiến lược nối kênh (channel-concatenation) thống nhất, kèm theo một loss tái tạo để bảo toàn chi tiết ngữ nghĩa.
  2. Gated Local-Context Attention: Đảm bảo đồng bộ hóa âm thanh-hình ảnh chính xác bằng cách đóng gói các đặc trưng âm thanh phong phú, sử dụng cơ chế attention có mặt nạ để căn chỉnh theo thời gian và tích hợp các gating vector có thể học được để ổn định quá trình tiêm.
  3. Decoupled-Then-Joint Training: Một chiến lược huấn luyện đa giai đoạn tận dụng các bộ dữ liệu phụ nhiệm vụ không đồng nhất (ví dụ: A2V, R2V). Nó bao gồm huấn luyện các mô hình chuyên biệt riêng lẻ, sau đó hợp nhất chúng thông qua nội suy trọng số và tinh chỉnh chung, cuối cùng là đưa thêm điều kiện tư thế vào giai đoạn cuối.
  4. HOIVG-Bench: Thiết lập một bộ tiêu chuẩn toàn diện và chuyên dụng để đánh giá HOIVG, bao gồm 135 mẫu được tuyển chọn kỹ lưỡng với đầy đủ các điều kiện đa phương thức và các số liệu đánh giá chuyên biệt.

III. Main Results:​

OmniShow đạt được hiệu suất vượt trội hoặc cạnh tranh trên toàn diện các cài đặt điều kiện đa phương thức khác nhau (R2V, RA2V, RP2V) và là mô hình duy nhất hỗ trợ tạo video RAP2V. Nó thể hiện khả năng bảo toàn tham chiếu, đồng bộ hóa âm thanh-hình ảnh và chất lượng video cao. Các thử nghiệm định lượng trên HOIVG-Bench cho thấy OmniShow vượt trội hơn các phương pháp hiện có ở nhiều chỉ số. Đánh giá của con người cũng cho thấy sự ưu tiên rõ rệt đối với video do OmniShow tạo ra về tính tự nhiên và chi tiết hình ảnh. Các nghiên cứu loại bỏ thành phần (ablation studies) xác nhận hiệu quả của Unified Channel-wise Conditioning và Gated Local-Context Attention. OmniShow cũng là mô hình nhỏ nhất và hiệu quả về tham số nhất trong số các mô hình quy mô 10B đạt tiêu chuẩn công nghiệp.

IV. Conclusion & Future Works:​

OmniShow thiết lập một tiêu chuẩn vững chắc cho nhiệm vụ HOIVG mới nổi bằng cách thống nhất hiệu quả các điều kiện đa phương thức và mang lại hiệu suất cấp công nghiệp. Những hiểu biết về phương pháp luận và thực nghiệm được trình bày, bao gồm điều kiện hóa hiệu quả, sử dụng dữ liệu hợp tác và bộ tiêu chuẩn chuẩn hóa, có thể truyền cảm hứng cho những tiến bộ trong tương lai về tạo video. Hướng nghiên cứu tiếp theo có thể tập trung vào việc mở rộng khả năng kiểm soát và chất lượng trong các kịch bản tương tác người-vật phức tạp hơn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về khả năng mở rộng của OmniShow cho các tương tác phức tạp và nhiều đối tượng hơn: Mở rộng mô hình để xử lý các kịch bản tương tác người-vật phức tạp hơn, bao gồm nhiều người hoặc nhiều vật thể tương tác đồng thời, hoặc các tương tác đòi hỏi sự hiểu biết sâu sắc hơn về vật lý và ngữ cảnh.
  2. Phát triển phương pháp huấn luyện ít dữ liệu cho HOIVG: Khám phá các kỹ thuật như học tăng cường (reinforcement learning) hoặc học một vài lần (few-shot learning) để giảm sự phụ thuộc vào các bộ dữ liệu lớn, chất lượng cao, đặc biệt cho các tương tác hiếm hoặc mới.
  3. Tích hợp phản hồi thời gian thực và tương tác người dùng vào quá trình tạo video HOIVG: Nghiên cứu cách cho phép người dùng điều chỉnh video HOIVG trong thời gian thực thông qua các giao diện tương tác, ví dụ như điều khiển cử chỉ hoặc giọng nói, để nâng cao khả năng sáng tạo và ứng dụng.

2. Patent:​

  1. Ứng dụng tạo video hướng dẫn sản phẩm tự động: Một tính năng trên điện thoại cho phép người dùng chụp ảnh sản phẩm và ghi lại giọng nói mô tả, sau đó tự động tạo ra một video ngắn có hình ảnh một người mẫu ảo tương tác với sản phẩm đó theo hướng dẫn bằng giọng nói và tư thế cơ bản. Ví dụ, người dùng có thể nói "Cầm chiếc điện thoại này và chỉ vào màn hình" và hệ thống sẽ tạo video.
  2. Hệ thống tạo video cá nhân hóa cho mạng xã hội: Một công cụ trên điện thoại di động cho phép người dùng chọn một bức ảnh của chính họ (hoặc một nhân vật ảo), cung cấp một đoạn âm thanh và một chuỗi tư thế đơn giản (ví dụ, vẫy tay), sau đó hệ thống sẽ tạo ra một video ngắn có nhân vật đó thực hiện hành động và nói theo âm thanh, phù hợp để chia sẻ trên các nền tảng mạng xã hội.
  3. Trình chỉnh sửa video thông minh với khả năng "thay đổi vật thể": Một ứng dụng chỉnh sửa video trên điện thoại cho phép người dùng thay thế một vật thể trong video của họ bằng một vật thể khác từ thư viện ảnh, đồng thời đảm bảo rằng các tương tác của người trong video với vật thể mới vẫn tự nhiên và đồng bộ với âm thanh gốc. Ví dụ, thay thế một tách cà phê bằng một cốc nước trong tay người.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.11804
ArXiv Abstracthttps://arxiv.org/abs/2604.11804
PDF Downloadhttps://arxiv.org/pdf/2604.11804.pdf
Github Repositoryhttps://github.com/Correr-Zhou/OmniShow

4. Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation (58 votes)​

Tác giả: Zunhai Su, Hengyuan Zhang, Wei Wu, Yifan Zhang, Yaxiu Liu, He Xiao, Qingyao Yang, Yuxuan Sun, Rui Yang, Chao Zhang, Keyu Fan, Weihao Ye, Jing Xiong, Hui Shen, Chaofan Tao, Taiqiang Wu, Zhongwei Wan, Yulei Qian, Yuchen Xie, Ngai Wong

Xuất bản lúc: 2026-04-11

Tag: Transformers, Attention Sink, LLMs, Vision Transformers, Interpretability, Mitigation, Survey

I. Main Problem:​

Các mô hình Transformer hiện đại gặp phải thách thức lớn là Attention Sink (AS), trong đó một lượng lớn sự chú ý được tập trung vào một tập hợp nhỏ các token cụ thể nhưng không mang thông tin. AS làm phức tạp khả năng giải thích của mô hình, ảnh hưởng đáng kể đến động lực huấn luyện và suy luận, đồng thời làm trầm trọng thêm các vấn đề như "ảo giác" (hallucinations) và các thách thức về độ bền vững. Mặc dù đã có nhiều nghiên cứu về AS, nhưng vẫn thiếu một khảo sát toàn diện, có hệ thống để tổng hợp các nghiên cứu liên quan đến AS và cung cấp hướng dẫn cho những tiến bộ trong tương lai.

II. Main Idea:​

Để giải quyết khoảng trống này, nghiên cứu trình bày khảo sát đầu tiên về AS, được cấu trúc dựa trên ba khía cạnh chính định hình bối cảnh nghiên cứu hiện tại: Tận dụng cơ bản (Fundamental Utilization), Giải thích cơ chế (Mechanistic Interpretation), và Giảm thiểu chiến lược (Strategic Mitigation). Khảo sát này tổng hợp một cách có hệ thống hơn 180 nghiên cứu, làm rõ các khái niệm chính và hướng dẫn các nhà nghiên cứu xuyên suốt sự phát triển và xu hướng của lĩnh vực. Nó cung cấp một khung làm việc mạch lạc, từ việc khai thác AS đến việc hiểu sâu hơn về cơ chế và cuối cùng là các chiến lược giảm thiểu có hệ thống.

III. Main Results:​

Khảo sát đã tổng hợp và phân loại hơn 180 nghiên cứu về Attention Sink, làm rõ các khái niệm và hướng dẫn các nhà nghiên cứu qua quá trình phát triển của lĩnh vực. Nó cung cấp một tài nguyên dứt khoát để quản lý AS trong mô hình Transformer hiện tại. Nghiên cứu cũng cho thấy sự tiến triển của lĩnh vực, bắt đầu từ việc tận dụng thực nghiệm (2023-nay), sau đó là hiểu biết cơ chế sâu sắc hơn (2024-nay), và gần đây nhất là các chiến lược giảm thiểu có hệ thống (2025-nay). Ngoài ra, khảo sát còn phân loại nghiên cứu AS thành chín kịch bản ứng dụng riêng biệt và cung cấp hướng dẫn thực tiễn cho từng lĩnh vực.

IV. Conclusion & Future Works:​

Khảo sát này đóng vai trò là tài nguyên dứt khoát, trao quyền cho các nhà nghiên cứu và thực hành để quản lý AS một cách hiệu quả trong mô hình Transformer hiện tại, đồng thời truyền cảm hứng cho những tiến bộ đổi mới cho thế hệ Transformer tiếp theo. Các hướng nghiên cứu trong tương lai bao gồm việc xử lý AS hiệu quả và nhẹ nhàng, thích ứng nhẹ cho các mô hình tiền huấn luyện, phát triển các tiêu chuẩn đánh giá được chuẩn hóa cho AS và giảm thiểu các điểm bất thường, cùng các hướng khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về các phương pháp xử lý Attention Sink hiệu quả và nhẹ nhàng hơn, đặc biệt tập trung vào việc giảm thiểu chi phí tính toán và bộ nhớ để ứng dụng trong các thiết bị tài nguyên hạn chế.
  2. Khám phá các kỹ thuật thích ứng nhẹ nhàng (lightweight adaptation) cho các mô hình Transformer đã được tiền huấn luyện để giảm thiểu Attention Sink mà không cần huấn luyện lại toàn bộ mô hình, tối ưu hóa cho các tác vụ cụ thể.
  3. Phát triển các bộ tiêu chuẩn (benchmarks) và phương pháp đánh giá chuẩn hóa để đo lường hiệu quả của các chiến lược giảm thiểu Attention Sink và các điểm bất thường (outlier mitigation), nhằm thúc đẩy sự so sánh công bằng giữa các phương pháp nghiên cứu.

2. Patent:​

  1. Hệ thống tóm tắt thông minh trên điện thoại di động: Một ứng dụng trên điện thoại sử dụng công nghệ AI để tóm tắt các văn bản dài như email, bài báo hoặc cuộc trò chuyện. Ứng dụng này sẽ được thiết kế để tự động nhận diện và bỏ qua những phần thông tin không quan trọng, giúp AI tập trung vào nội dung cốt lõi, từ đó đưa ra bản tóm tắt nhanh chóng, chính xác và tiết kiệm năng lượng xử lý của thiết bị.
  2. Cải thiện độ tin cậy của trợ lý ảo trên điện thoại: Một tính năng tích hợp vào trợ lý ảo trên điện thoại để giảm thiểu các câu trả lời vô nghĩa hoặc sai lệch. Khi trợ lý ảo phản hồi, hệ thống sẽ tự động điều chỉnh sự tập trung của nó vào các từ khóa và ngữ cảnh quan trọng, đảm bảo rằng thông tin cung cấp luôn có ý nghĩa, chính xác và đáng tin cậy hơn cho người dùng.
  3. Công cụ tối ưu hóa hiệu suất AI cho ứng dụng di động: Một công nghệ tích hợp vào các ứng dụng AI trên điện thoại, giúp tối ưu hóa cách AI xử lý dữ liệu. Công cụ này sẽ tự động phát hiện và ngăn chặn việc AI tập trung quá mức vào các thông tin không cần thiết, giúp cải thiện tốc độ xử lý, giảm tiêu thụ pin và tăng cường độ ổn định của ứng dụng trên thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.10098
ArXiv Abstracthttps://arxiv.org/abs/2604.10098
PDF Downloadhttps://arxiv.org/pdf/2604.10098.pdf
Github Repositoryhttps://github.com/ZunhaiSu/Awesome-Attention-Sink

5. Strips as Tokens: Artist Mesh Generation with Native UV Segmentation (46 votes)​

Tác giả: Rui Xu, Dafei Qin, Kaichun Qiao, Qiujie Dong, Huaijin Pi, Qixuan Zhang, Longwen Zhang, Lan Xu, Jingyi Yu, Wenping Wang, Taku Komura

Xuất bản lúc: 2026-04-10

Tag: Mesh Generation, Autoregressive Models, Transformers, 3D Modeling, UV Segmentation, Deep Learning

I. Main Problem:​

Các phương pháp sinh lưới 3D chất lượng nghệ sĩ hiện tại sử dụng transformer tự hồi quy thường không đạt tiêu chuẩn chuyên nghiệp. Các chiến lược sắp xếp token hiện có tạo ra chuỗi quá dài (sắp xếp dựa trên tọa độ) hoặc làm gián đoạn luồng cạnh và tính đều đặn cấu trúc (phương pháp dựa trên patch). Việc tạo lưới 3D chất lượng cao với cấu trúc liên kết đều đặn (luồng cạnh sạch) và bố cục ngữ nghĩa (ánh xạ UV) tương thích với quy trình sản xuất là một thách thức lớn. Các phương pháp mã hóa token hiện tại chủ yếu tập trung vào tam giác, gây khó khăn trong việc nắm bắt các quy tắc cấu trúc trung cấp mà các nghệ sĩ thường nhúng vào lưới. Ánh xạ UV và phân đoạn thường là các bước hậu xử lý riêng biệt, làm gián đoạn cấu trúc đường nối kiểu nghệ sĩ và tăng chi phí xử lý.

II. Main Idea:​

Đề xuất Strips as Tokens (SATO), một khuôn khổ mới với chiến lược sắp xếp token dựa trên ý tưởng từ “triangle strips”. SATO xây dựng chuỗi token dưới dạng một chuỗi các mặt liên kết, mã hóa rõ ràng các ranh giới UV, giúp bảo toàn luồng cạnh có tổ chức và bố cục ngữ nghĩa đặc trưng của lưới do nghệ sĩ tạo. Các đóng góp chính bao gồm:

  • Mã hóa Strip: Tổ chức thứ tự đỉnh theo định nghĩa cấu trúc liên kết của strip, duy trì sự liên kết luồng cạnh, đạt hiệu quả nén cao và làm cho cấu trúc chuỗi dễ học hơn cho mô hình.
  • Giải mã thống nhất Tri/Quad: Cùng một chuỗi token có thể được giải mã thành lưới tam giác hoặc tứ giác, cho phép đào tạo chung trên cả hai loại dữ liệu (dữ liệu tam giác quy mô lớn cung cấp các tiền đề cấu trúc cơ bản, dữ liệu tứ giác chất lượng cao nâng cao tính đều đặn hình học).
  • Phân đoạn UV gốc: Mã hóa rõ ràng các ranh giới “đảo” UV bằng các token phân đoạn chuyên biệt, cho phép SATO là khuôn khổ tự hồi quy đầu tiên đồng thời tạo ra hình học lưới và phân vùng biểu đồ UV.
  • Sử dụng lượng tử hóa hình học phân cấp và chiến lược chia sẻ tiền tố để nén chuỗi token.
  • Quy trình đào tạo ba giai đoạn: tiền đào tạo trên lưới tam giác, hậu đào tạo phân đoạn UV và tinh chỉnh trên lưới tứ giác.

III. Main Results:​

SATO vượt trội hơn các phương pháp trước đây về chất lượng hình học, tính nhất quán cấu trúc và phân đoạn UV. Mô hình đạt được tỷ lệ nén cao hơn đáng kể so với DeepMesh (tỷ lệ nén trung bình của SATO là 0.283 so với 0.330 của DeepMesh) dù có kích thước từ vựng hơi lớn hơn do hỗ trợ phân đoạn UV. Trong các thử nghiệm định lượng trên bộ dữ liệu ShapeNet, Thingi10K và Objaverse, SATO đạt được các chỉ số tốt nhất hoặc tốt thứ hai trên nhiều tiêu chí như Normal Consistency (NC), Chamfer Distance (CD), Hausdorff Distance (HD) và F-score (F1). Ví dụ, trên ShapeNet, SATO đạt NC 0.975 (tốt nhất), CD 0.002 (tốt nhất) và F1 0.807 (tốt nhất). Mô hình có khả năng tạo ra lưới tam giác, lưới tứ giác và phân đoạn UV chất lượng cao trong một khuôn khổ duy nhất, minh họa khả năng tạo hình mạnh mẽ của nó.

IV. Conclusion & Future Works:​

Thiết kế biểu diễn đóng vai trò quan trọng trong việc tạo lưới tự hồi quy, và việc mã hóa token phù hợp với cách nghệ sĩ làm việc là yếu tố then chốt để các mô hình này vừa có thể học được vừa thực tế. SATO là một khuôn khổ mạnh mẽ có khả năng tạo ra lưới chất lượng cao với phân đoạn UV tự nhiên, hỗ trợ cả lưới tam giác và tứ giác, cho thấy tiềm năng lớn trong việc tạo ra tài sản 3D chuyên nghiệp. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc mở rộng SATO để xử lý các thuộc tính mesh phức tạp hơn như vật liệu, xương khớp (rigging) hoặc các ràng buộc cấu trúc khác, cũng như tối ưu hóa hiệu suất inference cho các lưới cực lớn.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về việc tích hợp các thuộc tính vật liệu và xương khớp (rigging) trực tiếp vào luồng token hóa dựa trên strip để tạo ra tài sản 3D hoàn chỉnh hơn.
  2. Khám phá các chiến lược mã hóa strip tối ưu hóa toàn cục để giảm tổng số strip và cải thiện tính nhất quán trong mô hình hóa lưới phức tạp.
  3. Ứng dụng SATO trong việc tạo ra các đối tượng 3D có cấu trúc liên kết độc đáo hoặc bất thường, như các bề mặt có nhiều lỗ hổng hoặc các cấu trúc không manifold, đồng thời duy trì chất lượng nghệ sĩ.

2. Patent:​

  1. Hệ thống tạo mô hình 3D thông minh trên điện thoại di động: Một ứng dụng di động cho phép người dùng phác thảo hoặc cung cấp các gợi ý đơn giản (ví dụ: ảnh 2D, mô tả văn bản) trên điện thoại. Hệ thống sẽ sử dụng công nghệ sắp xếp bề mặt dựa trên dải (strip-based surface arrangement technology) để tự động tạo ra mô hình 3D chất lượng cao với các đường lưới mượt mà và các vùng bề mặt được phân chia rõ ràng (UV segmentation) sẵn sàng cho việc tô màu và kết cấu. Điều này giúp người dùng không chuyên cũng có thể tạo ra các tài sản 3D chuyên nghiệp ngay trên thiết bị di động.
  2. Công cụ tối ưu hóa lưới 3D tự động cho ứng dụng di động: Một tính năng trong các ứng dụng xem hoặc chỉnh sửa 3D trên điện thoại. Khi người dùng tải lên một mô hình 3D, hệ thống sẽ tự động phân tích và tái cấu trúc lưới của mô hình đó để tạo ra các đường lưới gọn gàng, có tổ chức và các vùng bề mặt được phân chia hợp lý. Quá trình này giúp mô hình 3D dễ dàng chỉnh sửa, làm việc với các hiệu ứng động và hiển thị mượt mà hơn trên các thiết bị di động có tài nguyên hạn chế.
  3. Hệ thống quản lý kết cấu 3D thông minh tích hợp trên di động: Một ứng dụng hoặc tính năng cho phép người dùng dễ dàng áp dụng và chỉnh sửa kết cấu cho các mô hình 3D trên điện thoại. Hệ thống sẽ sử dụng các chỉ dấu phân vùng bề mặt (UV chart partitioning signals) được tạo ra cùng lúc với lưới 3D để tự động nhóm các phần bề mặt liên quan, giúp người dùng tô màu hoặc áp dụng vật liệu một cách chính xác và hiệu quả mà không cần kiến thức chuyên sâu về ánh xạ UV phức tạp. Điều này đơn giản hóa quy trình làm việc cho các nghệ sĩ 3D trên thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.09132
ArXiv Abstracthttps://arxiv.org/abs/2604.09132
PDF Downloadhttps://arxiv.org/pdf/2604.09132.pdf
Github Repositoryhttps://github.com/Xrvitd/SATO

6. Uni-ViGU: Towards Unified Video Generation and Understanding via A Diffusion-Based Video Generator (39 votes)​

Tác giả: Luozheng Qin, Jia Gong, Qian Qiao, Tianjiao Li, Li Xu, Haoyu Pan, Chao Qu, Zhiyu Tan, Hao Li

Xuất bản lúc: 2026-04-09

Tag: Diffusion, Video Generation, Video Understanding, Multimodal Models, Deep Learning, Transformers, Mixture-of-Experts, Flow Matching

I. Main Problem:​

Vấn đề chính là sự mất cân bằng về chi phí tính toán giữa tạo video và hiểu video trong các mô hình đa phương thức hợp nhất. Cụ thể, tạo video (đặc biệt là bằng phương pháp khuếch tán) đòi hỏi chi phí tính toán cao hơn đáng kể so với hiểu video, gây khó khăn cho việc mở rộng các MLLM (Multimodal Large Language Models) vốn tập trung vào việc hiểu để hỗ trợ tạo video chất lượng cao. Các phương pháp hiện có thường bắt đầu từ mô hình tập trung vào việc hiểu, sau đó mở rộng để hỗ trợ tạo, dẫn đến hiệu suất tạo hình ảnh/video bị hạn chế hoặc quá trình huấn luyện bị tách rời, không cho phép các mục tiêu tạo hình ảnh/video trực tiếp mang lại lợi ích cho việc hiểu.

II. Main Idea:​

Uni-ViGU đề xuất một khung làm việc hợp nhất việc tạo và hiểu video bằng cách mở rộng một mô hình tạo video làm nền tảng, thay vì mở rộng các MLLM tập trung vào việc hiểu. Các ý tưởng chính bao gồm:

  1. Phương pháp luồng hợp nhất (Unified Flow Method): Thực hiện khớp luồng liên tục (continuous flow matching) cho video và khớp luồng rời rạc (discrete flow matching) cho văn bản trong một quy trình duy nhất. Điều này cho phép một quá trình tạo duy nhất tạo ra cả hai phương thức, giải quyết sự không khớp kiến trúc giữa tạo video dựa trên khuếch tán và tạo văn bản tự hồi quy.
  2. Kiến trúc Mixture-of-Experts (MoE) dựa trên phương thức: Mở rộng các khối Transformer của mô hình tạo video gốc bằng các lớp tuyến tính nhẹ cho việc tạo văn bản. Kiến trúc này chia sẻ các lớp Attention để tận dụng sự liên kết đa phương thức đã học, đồng thời tách biệt các lớp FFN (Feed-Forward Network) thành các "chuyên gia" riêng cho video và văn bản để nắm bắt kiến thức chuyên biệt cho từng phương thức.
  3. Cơ chế huấn luyện hai chiều (Bidirectional Training Mechanism): Gồm hai giai đoạn:
    • Knowledge Recall: Mô hình tái tạo các lời nhắc đầu vào dưới dạng văn bản mục tiêu (với dropout điều kiện) để tận dụng các mối tương ứng văn bản-video đã học trong quá trình tạo video.
    • Capability Refinement: Tinh chỉnh mô hình trên các chú thích video chi tiết hơn để thiết lập các biểu diễn chung có tính phân biệt cao hơn, buộc mô hình phát triển khả năng hiểu video thực sự.

III. Main Results:​

Mặc dù bài báo chủ yếu tập trung vào việc trình bày kiến trúc và phương pháp, và các trang đầu tiên không cung cấp các số liệu định lượng cụ thể, nhưng kết quả chính được nêu là Uni-ViGU đạt được hiệu suất cạnh tranh trên cả hai nhiệm vụ tạo video và hiểu video. Điều này xác nhận rằng kiến trúc tập trung vào tạo video là một con đường có khả năng mở rộng để đạt được trí tuệ đa phương thức hợp nhất. Các kết quả định tính (như trong Hình 3) cho thấy mô hình có thể tạo ra các video chất lượng cao đi kèm với các chú thích chi tiết, mô tả chính xác và trung thực hơn nhiều so với các lời nhắc ban đầu.

IV. Conclusion & Future Works:​

Uni-ViGU trình bày một khung làm việc hợp nhất mở rộng các mô hình tạo video đã được huấn luyện trước để hỗ trợ cả tạo và hiểu video. Quan điểm chính là tận dụng các mối tương ứng thị giác-ngữ nghĩa phong phú đã học trong quá trình huấn luyện văn bản thành video cho nhiệm vụ hiểu video, coi đó là quá trình ngược lại của việc tạo. Mô hình này giới thiệu một công thức luồng hợp nhất, kiến trúc MoE dựa trên phương thức, và cơ chế huấn luyện hai chiều. Mô hình tập trung vào tạo hình ảnh/video này cung cấp một giải pháp thay thế có nguyên tắc và khả năng mở rộng cho các phương pháp tập trung vào việc hiểu, mở ra những hướng đi đầy hứa hẹn cho trí tuệ đa phương thức hợp nhất. Hướng nghiên cứu trong tương lai có thể tập trung vào việc mở rộng hơn nữa khả năng của mô hình để xử lý các tác vụ đa phương thức phức tạp hơn, cải thiện hiệu quả hoặc tích hợp với các loại dữ liệu đa phương thức khác.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Uni-ViGU++: Mở rộng khả năng hiểu và tạo video đa phương thức với học tăng cường Nghiên cứu sâu hơn về việc tích hợp các kỹ thuật học tăng cường (Reinforcement Learning) vào khung Uni-ViGU để cải thiện khả năng tạo video theo các tiêu chí cụ thể (ví dụ: phong cách nghệ thuật, cảm xúc) và nâng cao độ chính xác trong việc hiểu các ngữ cảnh phức tạp, đồng thời đánh giá hiệu suất trên các bộ dữ liệu đa phương thức lớn hơn và đa dạng hơn.
  2. Khám phá hiệu quả tính toán của kiến trúc MoE dựa trên phương thức cho các tác vụ đa phương thức thời gian thực Phân tích chi tiết và tối ưu hóa kiến trúc MoE của Uni-ViGU để giảm chi phí tính toán và độ trễ, đặc biệt cho các ứng dụng thời gian thực. Nghiên cứu các chiến lược nén mô hình (model compression) và tăng tốc suy luận (inference acceleration) để triển khai trên các thiết bị có tài nguyên hạn chế, đồng thời đánh giá tác động của các tối ưu hóa này đến chất lượng tạo và hiểu.
  3. Uni-ViGU cho tạo và hiểu video đa ngôn ngữ: Một cách tiếp cận dựa trên mô hình khuếch tán Mở rộng khung Uni-ViGU để hỗ trợ tạo và hiểu video không chỉ với văn bản tiếng Anh mà còn với nhiều ngôn ngữ khác. Nghiên cứu các phương pháp mã hóa văn bản đa ngôn ngữ và điều chỉnh quá trình khớp luồng rời rạc để xử lý sự đa dạng của các cấu trúc ngôn ngữ và kho từ vựng, nhằm tạo ra một mô hình đa phương thức toàn cầu hơn.

2. Patent:​

  1. Hệ thống tạo chú thích video thông minh cho điện thoại di động: Một ứng dụng di động sử dụng công nghệ Uni-ViGU để tự động tạo ra các chú thích chi tiết và phong phú cho các video do người dùng quay. Người dùng chỉ cần quay video, và ứng dụng sẽ phân tích nội dung hình ảnh, sau đó tạo ra một đoạn văn bản mô tả chính xác những gì đang diễn ra trong video, bao gồm các đối tượng, hành động, và cảm xúc, giúp người dùng dễ dàng chia sẻ hoặc tìm kiếm video sau này.
  2. Công cụ chỉnh sửa video bằng văn bản trên điện thoại thông minh: Một tính năng trên ứng dụng chỉnh sửa video di động cho phép người dùng mô tả bằng văn bản những thay đổi họ muốn thực hiện trong video (ví dụ: "thay đổi bầu trời thành hoàng hôn", "thêm hiệu ứng mưa nhẹ"). Công nghệ tạo video của Uni-ViGU sẽ diễn giải yêu cầu này và thực hiện các chỉnh sửa trực tiếp trên video, đơn giản hóa quá trình chỉnh sửa phức tạp thành các lệnh ngôn ngữ tự nhiên.
  3. Trợ lý tìm kiếm và tạo nội dung video cá nhân hóa trên thiết bị di động: Một trợ lý ảo trên điện thoại thông minh có khả năng hiểu các yêu cầu phức tạp của người dùng liên quan đến video. Ví dụ, người dùng có thể nói "tìm video về mèo con chơi đùa và tạo một đoạn phim ngắn kèm nhạc nền vui nhộn". Trợ lý sẽ sử dụng khả năng hiểu video để tìm kiếm trong thư viện của người dùng hoặc trên mạng, sau đó dùng khả năng tạo video để biên tập một đoạn phim mới theo yêu cầu, tạo ra trải nghiệm đa phương tiện cá nhân hóa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.08121
ArXiv Abstracthttps://arxiv.org/abs/2604.08121
PDF Downloadhttps://arxiv.org/pdf/2604.08121.pdf
Github Repositoryhttps://github.com/Fr0zenCrane/Uni-ViGU

7. Pseudo-Unification: Entropy Probing Reveals Divergent Information Patterns in Unified Multimodal Models (36 votes)​

Tác giả: Songlin Yang, Xianghao Kong, Anyi Rao

Xuất bản lúc: 2026-04-13

Tag: Unified Multimodal Models, UMMs, Entropy Probing, Information Theory, Multimodal AI, Representation Learning, LLMs, Text-to-Image

I. Main Problem:​

Các mô hình đa phương thức hợp nhất (UMMs) thất bại trong việc chuyển giao khả năng suy luận sáng tạo của các mô hình ngôn ngữ lớn (LLMs) sang tổng hợp hình ảnh, thể hiện các hành vi phản hồi khác biệt mà chúng tôi gọi là "pseudo-unification". Các phương pháp thăm dò hiện có thiếu cái nhìn sâu sắc về nội bộ mô hình hoặc bỏ qua sự phụ thuộc giữa lời nhắc và phản hồi, gây khó khăn trong việc chẩn đoán nguyên nhân bên trong của hiện tượng này.

II. Main Idea:​

Để khắc phục những hạn chế trong việc thăm dò, chúng tôi đề xuất một khung thăm dò dựa trên lý thuyết thông tin, phân tích cách UMMs mã hóa đầu vào và tạo ra đầu ra. Khung này bao gồm hai cấp độ: (i) Cấp độ lời nhắc: Phân tích cách các đầu vào văn bản và hình ảnh được biểu diễn nội bộ bằng cách so sánh entropy nhúng và entropy theo lớp của các trạng thái ẩn, tiết lộ sự khác biệt về bảo toàn và nén thông tin theo phương thức. (ii) Cấp độ phản hồi: Thăm dò hành vi phản hồi bằng cách ước tính entropy có điều kiện giữa các biểu diễn lời nhắc và phản hồi qua các lớp, phản ánh liệu mô hình có duy trì suy luận nhất quán giữa các phương thức hay không. Để giải quyết vấn đề ước tính entropy trong các mô hình Transformer, chúng tôi tái cấu trúc các phép đo thông tin trong không gian Hilbert hạt nhân tái tạo (RKHS), cho phép tính toán entropy và entropy có điều kiện phi tham số cho các biểu diễn ẩn, có độ dài biến đổi.

III. Main Results:​

Áp dụng khung thăm dò của chúng tôi cho mười UMMs đại diện, chúng tôi phát hiện ra rằng pseudo-unification bắt nguồn từ sự phân kỳ kép: (i) Mã hóa bất đối xứng theo phương thức (Modality-Asymmetric Encoding), trong đó thị giác và ngôn ngữ đi theo các quỹ đạo entropy khác nhau, được định hình bởi các ưu tiên kiến trúc thay vì nội dung ngữ nghĩa; và (ii) Phản hồi phân tách mẫu (Pattern-Split Response), trong đó tạo văn bản thể hiện sự sáng tạo entropy cao trong khi tổng hợp hình ảnh thực thi độ trung thực entropy thấp. Chỉ những mô hình hợp nhất cả hai mặt (ví dụ: thông qua dự đoán ngữ cảnh, như Harmon) mới đạt được sự hợp nhất thực sự hơn, cho phép tạo hình ảnh từ văn bản dựa trên suy luận mạnh mẽ hơn ngay cả với ít tham số hơn. Công trình của chúng tôi cung cấp cái nhìn thăm dò nội bộ mô hình đầu tiên về sự hợp nhất, chứng minh rằng sức mạnh tổng hợp đa phương thức thực sự đòi hỏi sự nhất quán trong luồng thông tin, chứ không chỉ là các tham số được chia sẻ.

IV. Conclusion & Future Works:​

Công trình của chúng tôi tiết lộ rằng các UMMs hiện tại đang chịu đựng hiện tượng pseudo-unification: mặc dù chia sẻ tham số, chúng thể hiện các mẫu biểu diễn và phản hồi khác biệt giữa các phương thức. Sự mất kết nối này không bắt nguồn từ năng lực không đủ (ví dụ: kích thước mô hình lớn hơn hay backbone tốt hơn), mà từ các thiên kiến cảm ứng tạo sinh không phù hợp: văn bản giữ lại sự sáng tạo giống LLM, trong khi thị giác tuân thủ độ trung thực. Ngoại lệ hiếm hoi, Harmon, chứng minh rằng sự hợp nhất thực sự là có thể khi cả hai phương thức đều được đặt nền tảng trong một mô hình dự đoán ngữ cảnh chung. Những phát hiện này thúc giục cộng đồng tập trung lại vào động lực ban đầu của UMMs: sức mạnh tổng hợp, chứ không chỉ là hiệu suất tác vụ đa nhưng tách rời. Việc chỉ mở rộng kiến trúc hoặc tạo thêm các bộ dữ liệu benchmark sẽ không đủ nếu luồng thông tin cơ bản vẫn bị phân mảnh. Hướng nghiên cứu trong tương lai bao gồm: (i) Xem xét lại các mục tiêu tiền huấn luyện để thực thi động lực entropy thống nhất, chẳng hạn như thông qua các nhiệm vụ dự đoán đối xứng giữa các phương thức; (ii) Vượt ra ngoài các đánh giá kiểu 'nó có hoạt động không?' sang các phân tích 'nó hợp nhất như thế nào và tại sao?'. Chỉ bằng cách coi các mẫu thông tin là tiêu chí thiết kế hạng nhất, chứ không phải là sản phẩm phụ phát sinh, chúng ta mới có thể chuyển từ pseudo-unification sang sức mạnh tổng hợp đa phương thức thực sự.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Thiết kế mục tiêu tiền huấn luyện đối xứng để thống nhất dòng thông tin đa phương thức: Nghiên cứu và đề xuất các mục tiêu tiền huấn luyện mới nhằm thúc đẩy động lực entropy thống nhất trên các phương thức (văn bản và hình ảnh), tập trung vào các nhiệm vụ dự đoán đối xứng để đảm bảo tính nhất quán về dòng thông tin.
  2. Phân tích cơ chế hợp nhất: Khám phá lý do và cách thức các mô hình đa phương thức hợp nhất hiệu quả: Phát triển các phương pháp phân tích sâu hơn để không chỉ đánh giá hiệu suất của UMM mà còn hiểu rõ cơ chế nội bộ và lý do tại sao một số mô hình đạt được sự hợp nhất tốt hơn các mô hình khác, tập trung vào việc theo dõi các mẫu thông tin.
  3. Tối ưu kiến trúc cho sự nhất quán dòng thông tin trong mô hình đa phương thức: Khám phá các thiết kế kiến trúc mới vượt ra ngoài việc chia sẻ tham số đơn thuần, nhằm mục đích đạt được sự nhất quán trong dòng thông tin giữa các phương thức, có thể thông qua các cơ chế chú ý chéo hoặc các khối hợp nhất được thiết kế đặc biệt.

2. Patent:​

  1. Hệ thống tạo nội dung đa phương thức thông minh dựa trên ngữ cảnh cho điện thoại di động: Một ứng dụng di động cho phép người dùng nhập văn bản và tạo ra cả văn bản và hình ảnh liên quan một cách nhất quán về mặt ngữ nghĩa và phong cách. Ví dụ, người dùng viết một mô tả về một bữa ăn, và ứng dụng sẽ tạo ra cả mô tả chi tiết hơn và hình ảnh minh họa món ăn đó, đảm bảo rằng cả hai đều thể hiện cùng một "tâm trạng" hoặc "phong cách" (ví dụ: sáng tạo, chính xác, hài hước). Điều này đạt được bằng cách sử dụng một mô hình nền tảng đã được điều chỉnh để duy trì sự nhất quán cao trong dòng thông tin giữa các chế độ văn bản và hình ảnh.
  2. Trợ lý sáng tạo cá nhân hóa trên thiết bị di động với khả năng dịch chuyển phong cách đa phương thức: Một tính năng trên điện thoại di động cho phép người dùng chụp ảnh hoặc viết một đoạn văn bản, sau đó yêu cầu trợ lý AI tạo ra nội dung tương tự ở chế độ khác (văn bản hoặc hình ảnh) nhưng với một "phong cách" cụ thể (ví dụ: thơ mộng, khoa học, hài hước). Hệ thống sẽ sử dụng các kỹ thuật phân tích entropy nội bộ để đảm bảo rằng phong cách được duy trì nhất quán trên cả hai phương thức, không chỉ sao chép thông tin mà còn truyền tải cảm xúc và ý định.
  3. Công cụ kiểm soát chất lượng và điều chỉnh phản hồi AI đa phương thức theo thời gian thực: Một công cụ tích hợp vào các ứng dụng AI trên điện thoại di động (ví dụ: chatbot, trình chỉnh sửa ảnh AI) cho phép người dùng điều chỉnh mức độ "sáng tạo" hoặc "trung thực" của phản hồi. Ví dụ, khi AI tạo ra một hình ảnh từ văn bản, người dùng có thể kéo một thanh trượt để yêu cầu hình ảnh "sáng tạo hơn" (entropy cao hơn) hoặc "trung thực hơn" với mô tả gốc (entropy thấp hơn). Công cụ này sẽ sử dụng các số liệu entropy và entropy có điều kiện để điều khiển hành vi của mô hình tạo sinh, giúp người dùng có được kết quả mong muốn một cách trực quan.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.10949
ArXiv Abstracthttps://arxiv.org/abs/2604.10949
PDF Downloadhttps://arxiv.org/pdf/2604.10949.pdf
Github RepositoryN/A

8. CocoaBench: Evaluating Unified Digital Agents in the Wild (29 votes)​

Tác giả: CocoaBench Team, Shibo Hao, Zhining Zhang, Zhiqi Liang, Tianyang Liu, Yuheng Zha, Qiyue Gao, Jixuan Chen, Zilong Wang, Zhoujun Cheng, Haoxiang Zhang, Junli Wang, Hexi Jin, Boyuan Zheng, Kun Zhou, Yu Wang, Feng Yao, Licheng Liu, Yijiang Li, Zhifei Li, Zhengtao Han, Pracha Promthaw, Tommaso Cerruti, Xiaohan Fu, Ziqiao Ma, Jingbo Shang, Lianhui Qin, Julian McAuley, Eric P. Xing, Zhengzhong Liu, Rupesh Kumar Srivastava, Zhiting Hu

Xuất bản lúc: 2026-04-13

Tag: LLM Agents, Benchmarking, Unified Digital Agents, Vision, Search, Coding, Multi-modal agents, Agent Evaluation

I. Main Problem:​

Các đánh giá hiện tại kiểm tra khả năng của tác nhân LLM một cách riêng lẻ, bỏ qua các trường hợp sử dụng đa dạng yêu cầu tác nhân kết hợp nhiều khả năng khác nhau. Các benchmark hiện có thường chỉ tập trung vào một lĩnh vực hoặc một chế độ tương tác (ví dụ: chỉ CLI, chỉ GUI, hoặc API công cụ được xác định trước), không đủ để đánh giá một cách có hệ thống khả năng của các tác nhân thống nhất trong môi trường mở và các tác vụ phức tạp.

II. Main Idea:​

Giới thiệu COCOABENCH, một benchmark để đánh giá các tác nhân số thống nhất, được xây dựng từ các tác vụ dài hạn do con người thiết kế, yêu cầu kết hợp linh hoạt các khả năng thị giác (vision), tìm kiếm (search) và lập trình (coding). Các tác vụ chỉ được chỉ định bằng một hướng dẫn và một hàm đánh giá tự động dựa trên kết quả cuối cùng, cho phép đánh giá đáng tin cậy và có thể mở rộng trên nhiều cơ sở hạ tầng tác nhân khác nhau. Đồng thời, giới thiệu COCOA-AGENT, một khung sườn chung nhẹ để so sánh có kiểm soát giữa các mô hình nền tảng, được xây dựng trên AIO Sandbox tích hợp trình duyệt, shell và hệ thống tệp trong một container Docker.

III. Main Results:​

Các tác nhân hiện tại còn kém tin cậy trên COCOABENCH, với hệ thống được đánh giá tốt nhất (GPT-5.4 sử dụng Codex) chỉ đạt tỷ lệ thành công 45.1%. Các mô hình mã nguồn mở hàng đầu như Kimi-k2.5 và Qwen3.5 chỉ đạt 11.8% và 9.8%. Phân tích chỉ ra rằng có nhiều không gian để cải thiện đáng kể trong khả năng suy luận và lập kế hoạch, sử dụng và thực thi công cụ, và định vị hình ảnh (visual grounding). GPT-5.4 là mô hình nền tảng mạnh mẽ nhất. Các khung sườn hướng mã hóa như Codex và Claude Code hoạt động tốt trên COCOABENCH. Các mô hình hoạt động tốt nhất dành nhiều hành động hơn cho việc thực thi mã, cho thấy xử lý lập trình là một chiến lược hiệu quả. Phân tích lỗi cho thấy các điểm yếu chính nằm ở suy luận & lập kế hoạch (53%), tương tác & thực thi công cụ (19%) và định vị hình ảnh (28%).

IV. Conclusion & Future Works:​

COCOABENCH được thiết kế để đánh giá các tác nhân số thống nhất vượt ra ngoài các bài kiểm tra khả năng riêng lẻ. Các hệ thống hiện tại vẫn gặp khó khăn trong việc giải quyết các tác vụ trên COCOABENCH một cách đáng tin cậy. Mã hóa là một thành phần quan trọng để đạt được hiệu suất tác nhân mạnh mẽ. Các điểm yếu chính nằm ở lập kế hoạch và suy luận, sử dụng và thực thi công cụ, và định vị hình ảnh, mở ra nhiều hướng nghiên cứu hứa hẹn trong tương lai. COCOABENCH và COCOA-AGENT có thể là nền tảng hữu ích cho nghiên cứu trong tương lai về các tác nhân số đa năng và mạnh mẽ hơn, bao gồm kỹ thuật dữ liệu và huấn luyện dựa trên học tăng cường.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu các phương pháp cải thiện khả năng lập kế hoạch và suy luận (Reasoning & Planning) cho tác nhân số thống nhất trong các tác vụ dài hạn và phức tạp.
  2. Phát triển các kỹ thuật mới nhằm nâng cao hiệu quả sử dụng công cụ và khả năng thực thi (Tool Use & Execution) của tác nhân, bao gồm xử lý lỗi và thoát khỏi các vòng lặp vô hạn.
  3. Khám phá các mô hình và chiến lược để cải thiện khả năng định vị hình ảnh (Visual Grounding) của tác nhân, giúp chúng nhận biết và diễn giải chính xác thông tin trực quan, đặc biệt là các chi tiết nhỏ và yếu tố giao diện phức tạp.

2. Patent:​

  1. Trợ lý Tự động hóa Tác vụ Di động Thông minh: Một hệ thống trên điện thoại di động có khả năng hiểu các lệnh phức tạp bằng giọng nói hoặc văn bản (ví dụ: "Tìm giá tốt nhất cho chiếc điện thoại X trên các trang thương mại điện tử, so sánh các đánh giá của người dùng và đặt lịch nhắc tôi khi giá giảm xuống dưới Y"). Hệ thống này sẽ kết hợp khả năng duyệt web để tìm kiếm thông tin, diễn giải hình ảnh trên màn hình để điều hướng ứng dụng hoặc trang web, và thực thi các kịch bản nhỏ để xử lý dữ liệu, từ đó tự động hóa các tác vụ đa bước mà thường yêu cầu tương tác thủ công qua nhiều ứng dụng.
  2. Hướng dẫn Khắc phục Sự cố Di động Động: Một ứng dụng trên điện thoại sử dụng camera để phân tích các thông báo lỗi hoặc vấn đề giao diện trên các thiết bị khác (ví dụ: thiết bị nhà thông minh, màn hình máy tính) hoặc ngay trên điện thoại đó. Sau đó, ứng dụng thực hiện tìm kiếm trực tuyến để tìm giải pháp và hướng dẫn người dùng từng bước với các gợi ý trực quan, hoặc thậm chí tự động thực hiện các điều chỉnh cài đặt trên điện thoại để giải quyết vấn đề. Ví dụ, người dùng có thể chụp ảnh màn hình lỗi trên TV, và điện thoại sẽ tìm giải pháp và hướng dẫn bạn sửa.
  3. Phân tích Dữ liệu Di động Cá nhân hóa: Một tác nhân trên điện thoại có thể truy cập các nguồn dữ liệu khác nhau (ví dụ: tệp cục bộ, lưu trữ đám mây, cơ sở dữ liệu web thông qua tìm kiếm), diễn giải nội dung của chúng một cách trực quan (ví dụ: biểu đồ, bảng biểu), thực hiện phân tích dữ liệu phức tạp (thông qua giao diện đơn giản hóa cho các kịch bản lập trình), và tạo báo cáo hoặc trực quan hóa tùy chỉnh trực tiếp trên thiết bị di động. Ví dụ, một người dùng có thể yêu cầu: "Phân tích doanh thu hàng tháng từ tệp Excel này và tìm ra xu hướng tăng trưởng trong quý gần nhất, sau đó tạo biểu đồ."

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.11201
ArXiv Abstracthttps://arxiv.org/abs/2604.11201
PDF Downloadhttps://arxiv.org/pdf/2604.11201.pdf
Github Repositoryhttps://github.com/cocoabench/cocoa-agent

9. CodeTracer: Towards Traceable Agent States (29 votes)​

Tác giả: Han Li, Yifan Yao, Letian Zhu, Rili Feng, Hongyi Ye, Jiaming Wang, Yancheng He, Pengyu Zou, Lehan Zhang, Xinping Lei, Haoyang Huang, Ken Deng, Ming Sun, Zhaoxiang Zhang, He Ye, Jiaheng Liu

Xuất bản lúc: 2026-04-13

Tag: LLMs, Code Agents, Debugging, Tracing, Software Engineering, Failure Localization, Benchmarking

I. Main Problem:​

Các tác nhân mã (code agents) được hỗ trợ bởi LLM đang phát triển nhanh chóng nhưng việc gỡ lỗi chúng ngày càng khó khăn. Khi các framework điều phối các lệnh gọi công cụ song song và quy trình làm việc đa giai đoạn trên các tác vụ phức tạp, việc quan sát các chuyển đổi trạng thái của tác nhân và sự lan truyền lỗi trở nên khó khăn. Một sai sót ban đầu có thể khiến tác nhân mắc kẹt trong các vòng lặp không hiệu quả hoặc thậm chí dẫn đến các lỗi nghiêm trọng, tạo thành chuỗi lỗi ẩn khiến việc xác định thời điểm và lý do tác nhân đi chệch hướng trở nên khó khăn. Các phương pháp phân tích theo dõi tác nhân hiện có chỉ tập trung vào tương tác đơn giản hoặc dựa vào kiểm tra thủ công quy mô nhỏ, hạn chế khả năng mở rộng và tính hữu ích của chúng cho các quy trình làm việc mã thực tế.

II. Main Idea:​

Nghiên cứu giới thiệu CODETRACER, một kiến trúc theo dõi phân tích các tạo tác chạy không đồng nhất thông qua các bộ trích xuất (extractors) đang phát triển, tái tạo toàn bộ lịch sử chuyển đổi trạng thái dưới dạng cây theo dõi phân cấp (hierarchical trace tree) với bộ nhớ bền vững và thực hiện định vị khởi phát lỗi (failure onset localization) để xác định nguồn gốc lỗi và chuỗi lỗi liên quan. Để cho phép đánh giá có hệ thống, nhóm nghiên cứu đã xây dựng CODETRACEBENCH từ một bộ sưu tập lớn các quỹ đạo thực thi được tạo bởi bốn framework tác nhân mã phổ biến trên các tác vụ mã đa dạng (ví dụ: sửa lỗi, tái cấu trúc và tương tác terminal), với sự giám sát ở cả cấp độ giai đoạn và bước để định vị lỗi. CODETRACER phân tách quá trình theo dõi thành ba giai đoạn: (1) Trích xuất phát triển (Evolving extraction) để chuẩn hóa các tạo tác chạy, (2) Lập chỉ mục cây (Tree indexing) để chuyển đổi chuỗi các bước thành cây theo dõi phân cấp, và (3) Chẩn đoán (Diagnosis) để duyệt cây, truy vấn bằng chứng và xuất ra giai đoạn gây lỗi, các bước liên quan đến lỗi và tập hợp bằng chứng hỗ trợ chẩn đoán. Hệ thống cũng có thể tạo ra các tín hiệu gỡ lỗi có thể hành động để đưa trở lại tác nhân thông qua phản hồi lặp lại (reflective replay), cho phép khắc phục mục tiêu từ các lỗi trước đó.

III. Main Results:​

CODETRACER vượt trội đáng kể so với việc gợi ý trực tiếp (direct prompting) và các phương pháp cơ sở nhẹ, đạt tới 48% macro F1 trong việc định vị lỗi ở cấp độ bước với chi phí token thấp hơn. Việc phát lại các tín hiệu chẩn đoán của CODETRACER giúp khôi phục nhất quán các lần chạy ban đầu bị lỗi trong cùng ngân sách. Phân tích thực nghiệm cho thấy các tác nhân thường thu thập được bằng chứng chẩn đoán phù hợp nhưng không hành động theo đó (khoảng cách bằng chứng-hành động). Phức tạp hóa kiến trúc và tăng ngân sách lặp lại mang lại hiệu suất giảm dần khi đạt đến giới hạn khả năng suy luận của mô hình nền tảng. Các loại lỗi dịch chuyển một cách có thể dự đoán được giữa các giai đoạn của quy trình làm việc (ví dụ: lỗi môi trường/phụ thuộc sớm, lỗi chỉnh sửa sai vị trí/giả thuyết sai muộn).

IV. Conclusion & Future Works:​

Nghiên cứu đã giới thiệu CODETRACER, một framework theo dõi chuyển đổi nhật ký tác nhân mã không đồng nhất thành các dấu vết phân cấp có cấu trúc và thực hiện định vị khởi phát lỗi tự động, cùng với CODETRACEBENCH, một bộ benchmark gồm hàng nghìn quỹ đạo được chú thích ở cấp độ bước. Nghiên cứu thực nghiệm đã tiết lộ rằng các tác nhân thường thu thập bằng chứng chẩn đoán đúng nhưng không hành động theo đó, sự phức tạp của việc điều phối và ngân sách lặp bổ sung mang lại lợi nhuận giảm dần, và các loại lỗi dịch chuyển một cách có thể dự đoán được giữa các giai đoạn của quy trình làm việc. CODETRACER vượt trội đáng kể so với các phương pháp cơ sở nhẹ và việc đưa các đầu ra chẩn đoán của nó thông qua phản hồi lặp lại giúp khôi phục các lần chạy ban đầu bị lỗi một cách nhất quán. Một hướng đi tương lai có thể là khám phá các phương pháp để thu hẹp "khoảng cách bằng chứng-hành động" trong các tác nhân mã, tập trung vào việc cải thiện khả năng suy luận và chuyển đổi thông tin thành các hành động hiệu quả. Ngoài ra, việc mở rộng CODETRACER để hỗ trợ phân tích các tác nhân công nghiệp với việc thực thi công cụ song song và quản lý ngữ cảnh phức tạp cũng là một hướng nghiên cứu tiềm năng.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cải thiện khả năng chuyển đổi từ bằng chứng sang hành động trong tác nhân mã thông qua học tăng cường có giám sát theo giai đoạn (Stage-Aware Supervised Reinforcement Learning for Evidence-to-Action Translation in Code Agents): Nghiên cứu này sẽ tập trung vào việc thiết kế các cơ chế học tăng cường mới, sử dụng các tín hiệu giám sát từ CODETRACER để huấn luyện tác nhân mã chuyển đổi thông tin đã thu thập được thành các hành động sửa lỗi hiệu quả hơn, đặc biệt là trong các giai đoạn quan trọng của quy trình làm việc.
  2. Tối ưu hóa ngân sách và độ phức tạp kiến trúc cho tác nhân mã dựa trên đánh giá thời gian thực (Real-time Performance-driven Budget and Architectural Complexity Optimization for Code Agents): Đề xuất một phương pháp động để điều chỉnh độ phức tạp của framework tác nhân và ngân sách lặp dựa trên đánh giá hiệu suất thời gian thực và độ khó của tác vụ, nhằm tránh tình trạng "overengineering" và tối ưu hóa chi phí token mà vẫn duy trì tỷ lệ thành công cao.
  3. Thiết kế và triển khai các hàng rào bảo vệ thông minh theo giai đoạn để ngăn chặn lỗi sớm trong tác nhân mã (Designing and Implementing Stage-Aware Intelligent Guardrails for Early Error Prevention in Code Agents): Phát triển một hệ thống hàng rào bảo vệ (guardrails) tự động tích hợp trực tiếp vào quy trình làm việc của tác nhân, sử dụng thông tin về loại lỗi phổ biến ở từng giai đoạn (như được xác định bởi CODETRACER) để chủ động cảnh báo hoặc sửa chữa các quyết định sai lầm trước khi chúng lan rộng thành các lỗi nghiêm trọng.

2. Patent:​

  1. Hệ thống trợ lý gỡ lỗi ứng dụng di động thông minh: Một ứng dụng trên điện thoại di động có khả năng theo dõi hoạt động của các ứng dụng khác. Khi một ứng dụng gặp sự cố (ví dụ: bị treo, chạy chậm, hoặc một tính năng không hoạt động), hệ thống sẽ tự động thu thập nhật ký tương tác của người dùng và các thông tin trạng thái hệ thống liên quan (ví dụ: thứ tự chạm, thông báo lỗi, mức sử dụng tài nguyên). Sau đó, nó sẽ hiển thị một "dấu vết lỗi" được đơn giản hóa, chỉ ra bước có khả năng gây ra vấn đề nhất, giúp người dùng dễ dàng hiểu và báo cáo lỗi cho nhà phát triển hoặc thậm chí tự khắc phục các sự cố đơn giản.
  2. Công cụ tối ưu hóa quy trình làm việc di động tự động phục hồi: Đối với các ứng dụng di động có quy trình làm việc phức tạp (ví dụ: tạo tài liệu, chỉnh sửa ảnh nhiều bước, thiết lập thiết bị mới), công cụ này sẽ theo dõi các bước của người dùng. Nếu người dùng mắc lỗi hoặc gặp khó khăn, nó sẽ tự động xác định "điểm khởi phát lỗi" (bước sai đầu tiên) và đề xuất các hành động khắc phục, hoặc tự động hoàn tác về trạng thái trước đó và hướng dẫn người dùng qua bước đó, giúp họ hoàn thành nhiệm vụ mà không bị mắc kẹt trong các vòng lặp không hiệu quả.
  3. Hệ thống học tập cá nhân hóa trên di động với khả năng chẩn đoán điểm yếu: Trong các ứng dụng giáo dục di động, khi người dùng liên tục gặp khó khăn với một khái niệm hoặc không hoàn thành được một chuỗi bài tập, hệ thống sẽ phân tích quá trình học tập của họ. Nó sẽ xác định "nguyên nhân gốc rễ" của khó khăn (ví dụ: hiểu sai một khái niệm cơ bản, chiến lược giải quyết vấn đề không chính xác) và tự động điều chỉnh lộ trình học tập, cung cấp nội dung bổ trợ tập trung hoặc các giải thích thay thế, thay vì để người dùng lặp lại các lỗi tương tự.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.11641
ArXiv Abstracthttps://arxiv.org/abs/2604.11641
PDF Downloadhttps://arxiv.org/pdf/2604.11641.pdf
Github Repositoryhttps://github.com/NJU-LINK/CodeTracer

10. Audio Flamingo Next: Next-Generation Open Audio-Language Models for Speech, Sound, and Music (18 votes)​

Tác giả: Sreyan Ghosh, Arushi Goel, Kaousheik Jayakumar, Lasha Koroshinadze, Nishit Anand, Zhifeng Kong, Siddharth Gururani, Sang-gil Lee, Jaehyeon Kim, Aya Aljafari, Chao-Han Huck Yang, Sungwon Kim, Ramani Duraiswami, Dinesh Manocha, Mohammad Shoeybi, Bryan Catanzaro, Ming-Yu Liu, Wei Ping

Xuất bản lúc: 2026-04-13

Tag: LALMs, Audio Understanding, Chain-of-Thought, Multimodal AI, ASR, Audio Captioning, Long-Context Learning, Open-source Models

I. Main Problem:​

Sự chậm tiến của các mô hình ngôn ngữ-âm thanh lớn (LALMs) mã nguồn mở so với các mô hình ngôn ngữ-thị giác (VLMs), cùng với việc các mô hình hiện có được đào tạo chủ yếu trên các bộ dữ liệu học thuật, dẫn đến khả năng khái quát hóa kém với âm thanh thực tế dài, ồn ào và đa dạng. Ngoài ra, còn thiếu các chiến lược mở rộng quy mô để xây dựng dữ liệu hiểu và suy luận âm thanh quy mô lớn, và các phương pháp suy luận Chain-of-Thought (CoT) trước đây thiếu khả năng căn chỉnh thời gian rõ ràng cho âm thanh dài và phức tạp.

II. Main Idea:​

Giới thiệu Audio Flamingo Next (AF-Next), một mô hình ngôn ngữ-âm thanh lớn mã nguồn mở thế hệ tiếp theo, được thiết kế để nâng cao khả năng hiểu và suy luận về lời nói, âm thanh môi trường và âm nhạc. AF-Next cải tiến bằng cách: (i) sử dụng một mô hình nền tảng âm thanh-ngôn ngữ mạnh mẽ hơn; (ii) triển khai các chiến lược mở rộng quy mô để xây dựng dữ liệu hiểu và suy luận âm thanh quy mô lớn (hơn 1 triệu giờ) từ các nguồn internet, vượt ra ngoài các bộ dữ liệu học thuật; (iii) hỗ trợ đầu vào âm thanh dài và phức tạp lên đến 30 phút; và (iv) giới thiệu Temporal Audio Chain-of-Thought (CoT), một mô hình suy luận mới giúp căn cứ rõ ràng các bước suy luận trung gian vào các mốc thời gian trong âm thanh dài. Mô hình được đào tạo bằng chiến lược dựa trên chương trình học gồm bốn giai đoạn và sử dụng kỹ thuật song song hóa chuỗi lai (Hybrid Sequence Parallelism) để xử lý các chuỗi âm thanh dài hiệu quả.

III. Main Results:​

AF-Next vượt trội đáng kể so với các mô hình mã nguồn mở có kích thước tương đương và cạnh tranh mạnh mẽ, đôi khi vượt qua cả các mô hình mã nguồn mở lớn hơn và mô hình đóng trên 20+ bộ dữ liệu đánh giá hiểu và suy luận âm thanh, bao gồm các tác vụ âm thanh dài đầy thách thức. Cụ thể, trên MMAU-v05.15.25, AF-Next-Instruct đạt độ chính xác trung bình 74.20% (AF-Next-Captioner đạt 75.76%), vượt qua Audio Flamingo 3 (72.42%). Trên MMAR, AF-Next-Captioner đạt 63.0%, cải thiện 4.5 điểm tuyệt đối so với AF3. Trên MMAU-Pro, AF-Next-Think (58.7%) vượt qua Gemini-2.5-Pro (57.4%). AF-Next-Instruct cũng cải thiện chất lượng chú thích âm thanh, suy luận âm thanh, phân loại âm thanh và nhận dạng giọng nói tự động (ASR) trên nhiều bộ dữ liệu, thể hiện khả năng ứng dụng thực tế mạnh mẽ và khả năng khái quát hóa tốt cho các tác vụ chưa từng thấy.

IV. Conclusion & Future Works:​

AF-Next là một LALM đa năng tiên phong, mở rộng khả năng hiểu âm thanh lên dữ liệu quy mô internet và thiết lập tiêu chuẩn mới cho các mô hình ngôn ngữ-âm thanh mã nguồn mở. Trong tương lai, các tác giả có kế hoạch phát hành các biến thể AF-Next bổ sung với các mô hình LLM xương sống nhỏ hơn và lớn hơn, cũng như đánh giá các khả năng bổ sung như ASR đa người nói, phân tích nhật ký người nói (speaker diarization), chú thích có dấu thời gian và tương tác giọng nói-đến-giọng nói.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về ảnh hưởng của kích thước mô hình LLM xương sống đối với hiệu suất và hiệu quả của LALMs: Khám phá các kiến trúc AF-Next với các mô hình ngôn ngữ lớn (LLM) xương sống nhỏ hơn và lớn hơn để phân tích sự đánh đổi giữa hiệu suất, chi phí tính toán và khả năng triển khai trên các thiết bị tài nguyên hạn chế.
  2. Phát triển các phương pháp đánh giá toàn diện cho LALMs trên các tác vụ âm thanh dài đa người nói: Thiết kế các bộ dữ liệu và tiêu chuẩn đánh giá mới tập trung vào các kịch bản âm thanh thực tế, phức tạp liên quan đến nhiều người nói, giọng nói chồng chéo và các yêu cầu suy luận theo thời gian, bao gồm ASR đa người nói, phân tích nhật ký người nói và tương tác giọng nói-đến-giọng nói.
  3. Tích hợp tri thức nền và khả năng học tăng cường vào Temporal Audio Chain-of-Thought: Mở rộng khuôn khổ Temporal Audio CoT bằng cách kết hợp tri thức nền bên ngoài hoặc các kỹ thuật học tăng cường để cải thiện khả năng suy luận trên các tác vụ âm thanh dài, phức tạp hơn, đặc biệt là trong việc xử lý các sự kiện không rõ ràng hoặc yêu cầu suy luận cấp cao.

2. Patent:​

  1. Hệ thống trợ lý âm thanh thông minh với khả năng truy vấn theo thời gian thực: Một tính năng trên điện thoại di động cho phép người dùng ghi âm các cuộc họp, bài giảng hoặc podcast dài. Sau đó, người dùng có thể đặt câu hỏi về nội dung, và điện thoại sẽ cung cấp câu trả lời chính xác, kèm theo dấu thời gian cụ thể trong bản ghi âm nơi thông tin được tìm thấy. Điều này giúp người dùng dễ dàng xem lại các phần quan trọng mà không cần nghe lại toàn bộ.
  2. Ứng dụng tóm tắt và phân tích nội dung âm thanh cá nhân hóa: Một ứng dụng di động có thể tự động tóm tắt các nội dung âm thanh dài như sách nói, podcast hoặc các đoạn ghi âm cá nhân, trích xuất các điểm chính và thậm chí trả lời các câu hỏi cụ thể về nội dung. Ứng dụng này cũng có thể đánh dấu các đoạn âm thanh quan trọng dựa trên ngữ cảnh hoặc sự kiện âm thanh được phát hiện, giúp người dùng tiết kiệm thời gian và nắm bắt thông tin hiệu quả hơn.
  3. Công cụ phiên âm và dịch thuật cuộc gọi đa người nói theo thời gian thực: Một tính năng tích hợp trong ứng dụng gọi điện thoại hoặc hội nghị trên di động, có khả năng nhận diện và phân biệt giọng nói của nhiều người tham gia, sau đó phiên âm lời nói của từng người và hiển thị cùng với dấu thời gian. Nó cũng có thể cung cấp bản dịch theo thời gian thực, cho phép người dùng hỏi "ai đã nói điều đó vào lúc nào?" hoặc "tóm tắt ý chính của người A vừa nói".

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.10905
ArXiv Abstracthttps://arxiv.org/abs/2604.10905
PDF Downloadhttps://arxiv.org/pdf/2604.10905.pdf
Github RepositoryN/A

11. Tracing the Roots: A Multi-Agent Framework for Uncovering Data Lineage in Post-Training LLMs (15 votes)​

Tác giả: Yu Li, Xiaoran Shang, Qizhi Pei, Yun Zhu, Xin Gao, Honglin Lin, Zhanping Zhong, Zhuoshi Pan, Zheng Liu, Xiaoyang Wang, Conghui He, Dahua Lin, Feng Zhao, Lijun Wu

Xuất bản lúc: 2026-04-12

Tag: LLMs, Data Lineage, Multi-Agent Systems, Dataset Curation, Benchmark Contamination, Data Redundancy

I. Main Problem:​

Các Mô hình Ngôn ngữ Lớn (LLMs) phụ thuộc rất nhiều vào dữ liệu hậu huấn luyện, nhưng các bộ dữ liệu thường được coi là các tạo phẩm riêng lẻ, bỏ qua các kết nối hệ thống ẩn sau quá trình phát triển của chúng. Sự thiếu minh bạch về nguồn gốc dữ liệu này dẫn đến hai rủi ro chính:

  1. Dư thừa cấu trúc (Structural redundancy): Phát sinh khi các bộ dữ liệu ngầm thừa hưởng các nguồn chồng chéo, làm cho các tập dữ liệu hạ nguồn hội tụ về mặt ngữ nghĩa dù có vẻ như tăng về quy mô, làm giảm tính đa dạng hiệu quả.
  2. Lan truyền ô nhiễm điểm chuẩn (Propagation of benchmark contamination): Xảy ra khi các mẫu kiểm tra được nhúng trong các bộ dữ liệu thượng nguồn vô tình được kế thừa bởi các dẫn xuất hạ nguồn, gây rò rỉ tiềm ẩn làm suy yếu độ tin cậy của các đánh giá trong tương lai. Các phương pháp so sánh cấp mẫu truyền thống gặp phải hạn chế về hiệu quả và không thể theo dõi sự lan truyền trên quy mô lớn.

II. Main Idea:​

Nghiên cứu giới thiệu khái niệm "nguồn gốc dữ liệu" (data lineage) vào hệ sinh thái LLM và đề xuất một khung đa tác nhân (multi-agent framework) tự động để tái tạo biểu đồ tiến hóa của quá trình phát triển bộ dữ liệu. Khung này tự động khai thác tài liệu phi cấu trúc và thực hiện theo dõi nguồn gốc đã tự xác minh. Các ý tưởng chính bao gồm:

  • Khung đa tác nhân hợp tác: Vận hành thông qua quy trình đệ quy từ mục tiêu đến nguồn, quản lý thông qua một hàng đợi xử lý tập trung để xây dựng biểu đồ nguồn gốc dần dần. Quy trình gồm 4 bước: Xác thực ứng cử viên, Truy xuất thông tin đa nguồn, Suy luận và trích xuất nguồn ngữ nghĩa, và Tổng hợp, giải quyết, và mở rộng đệ quy.
  • Phân tích nguồn gốc quy mô lớn: Sử dụng biểu đồ nguồn gốc để đặc trưng hóa các mô hình cấu trúc theo miền (ví dụ: tinh chỉnh theo chiều dọc trong dữ liệu toán học, tổng hợp theo chiều ngang trong các tập dữ liệu miền tổng quát).
  • Phát hiện vấn đề hệ thống: Khám phá các vấn đề như dư thừa cấu trúc do giao cắt tập dữ liệu ngầm và sự lan truyền ô nhiễm điểm chuẩn dọc theo các đường dẫn nguồn gốc.
  • Hướng dẫn xây dựng dữ liệu: Tận dụng biểu đồ nguồn gốc để tạo ra bộ dữ liệu định hướng đa dạng, có nhận thức về nguồn gốc (lineage-aware diversity-oriented dataset) bằng cách lấy mẫu hướng dẫn từ các nguồn gốc thượng nguồn, giảm thiểu sự đồng nhất hóa và dư thừa ẩn ở hạ nguồn.

III. Main Results:​

  1. Xây dựng biểu đồ nguồn gốc: Đã tái tạo một biểu đồ tiến hóa mở rộng gồm 430 bộ dữ liệu riêng biệt được kết nối bởi 971 cạnh kế thừa, bắt đầu từ 83 bộ dữ liệu hạt giống có tác động lớn.
  2. Mô hình tiến hóa theo miền: Phát hiện các mẫu phát triển khác biệt: miền tổng quát mở rộng theo chiều ngang (cấu trúc nông, độ sâu trung bình 1.05), trong khi toán học phát triển theo chiều dọc (cấu trúc sâu, độ sâu trung bình 2.92). Miền code hoạt động như một cầu nối quan trọng, và miền khoa học còn kém phát triển và phụ thuộc nhiều.
  3. Định lượng dư thừa cấu trúc: 17 trong số 83 bộ dữ liệu được kiểm tra có tỷ lệ dư thừa vượt quá 1%, với open-instruct-v1 đạt 46.48% do bao gồm cả tập hợp lớn hơn của chính nó.
  4. Phát hiện ô nhiễm điểm chuẩn: 19 bộ dữ liệu cho thấy mức độ rò rỉ khác nhau trên các điểm chuẩn như Omni-Math, TheoremQA, LiveCodeBench, TruthfulQA và SciBench. Ví dụ, Caco-1.3M ngầm thừa hưởng 37.95% mẫu Omni-Math từ các nguồn thượng nguồn bị ô nhiễm.
  5. Cải thiện đa dạng dữ liệu: Phương pháp lấy mẫu dựa trên nguồn gốc (provenance-based sampling) để tạo bộ dữ liệu nhận thức về nguồn gốc đã đạt được các chỉ số đa dạng vượt trội (Vendi Score 452.44 và Centroid Distance 0.6385) so với các bộ dữ liệu cơ sở lớn hơn đáng kể, chứng minh rằng khối lượng dữ liệu lớn hơn không tự động dẫn đến điểm đa dạng ngữ nghĩa cao hơn.

IV. Conclusion & Future Works:​

Nghiên cứu này giới thiệu khái niệm nguồn gốc dữ liệu và khung đa tác nhân để tái tạo các phụ thuộc tiến hóa của các bộ dữ liệu hậu huấn luyện LLM. Nó không chỉ phân tích hệ sinh thái để đặc trưng hóa sự tiến hóa theo miền và tiết lộ các vấn đề cấu trúc như dư thừa dữ liệu và lan truyền ô nhiễm điểm chuẩn, mà còn đề xuất một chiến lược quản lý dữ liệu nhận thức về nguồn gốc để tối đa hóa sự đa dạng ngữ nghĩa. Công việc này thúc đẩy việc quản lý dữ liệu hậu huấn luyện hướng tới một mô hình có hệ thống và kiểm soát được hơn. Phân tích tập trung vào nguồn gốc được coi là một giải pháp thay thế hiệu quả và mạnh mẽ so với so sánh cấp mẫu để quản lý hệ sinh thái dữ liệu quy mô lớn. Trong tương lai, việc kết hợp các nút bên trong đã được tinh chỉnh với các biến thể viết lại và ngữ nghĩa phong phú hơn có thể tiếp tục cải thiện chất lượng bộ dữ liệu. Cần ưu tiên xây dựng các bộ dữ liệu nền tảng chuyên biệt và giới thiệu các hạt giống toán học độc lập mới để chống lại sự bão hòa.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển các chiến lược đa tác nhân tiên tiến để tổng hợp và tăng cường dữ liệu chủ động dựa trên việc xác định các khoảng trống nguồn gốc và nhu cầu miền (ví dụ: cho dữ liệu khoa học khan hiếm), tối ưu hóa việc tạo dữ liệu mới.
  2. Nghiên cứu tác động của các mô hình nguồn gốc cụ thể (ví dụ: chiều dọc so với chiều ngang) lên hiệu suất LLM hạ nguồn cho các tác vụ khác nhau, dẫn đến các chiến lược huấn luyện mô hình nhận biết nguồn gốc.
  3. Thiết kế và triển khai một khung phân tích nguồn gốc dữ liệu tự động có khả năng phát hiện và giảm thiểu sự trôi dạt ngữ nghĩa trong các bộ dữ liệu phát triển theo thời gian, vượt ra ngoài việc chỉ phát hiện sự dư thừa cấu trúc.

2. Patent:​

  1. Hệ thống đề xuất nội dung di động thông minh với theo dõi nguồn gốc: Một ứng dụng di động tích hợp vào trình duyệt hoặc ứng dụng tin tức, cho phép người dùng xem "nguồn gốc" của thông tin (ví dụ: bài báo, bài đăng mạng xã hội). Khi người dùng đọc một tin tức, hệ thống hiển thị một biểu đồ đơn giản hóa cho thấy nguồn gốc ban đầu, các phiên bản tổng hợp, chia sẻ lại hoặc dịch, giúp người dùng đánh giá độ tin cậy và nhận biết thông tin trùng lặp hoặc đã được sửa đổi.
  2. Công cụ quản lý dữ liệu học tập cá nhân hóa trên điện thoại: Một ứng dụng di động dành cho học sinh, sinh viên giúp họ tổ chức tài liệu học tập (ví dụ: ghi chú, bài tập, flashcard). Ứng dụng này sử dụng khái niệm "nguồn gốc" để lập bản đồ các tài liệu học tập liên quan đến các khái niệm cốt lõi, xác định sự trùng lặp trong tài liệu hoặc gợi ý các chủ đề nền tảng cần xem lại khi người dùng gặp khó khăn với một khái niệm phái sinh.
  3. Trợ lý AI kiểm tra quyền riêng tư dữ liệu trên di động: Một công cụ trên điện thoại di động cho phép người dùng kiểm tra cách dữ liệu cá nhân của họ (ví dụ: ảnh, tin nhắn, lệnh thoại) được các ứng dụng AI xử lý. Nó có thể trực quan hóa "nguồn gốc" của dữ liệu, cho thấy dữ liệu được chuyển đổi và chia sẻ qua các ứng dụng hoặc dịch vụ khác nhau như thế nào, làm nổi bật các rủi ro tiềm ẩn về quyền riêng tư do việc tái sử dụng hoặc phái sinh dữ liệu không mong muốn.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.10480
ArXiv Abstracthttps://arxiv.org/abs/2604.10480
PDF Downloadhttps://arxiv.org/pdf/2604.10480.pdf
Github Repositoryhttps://github.com/Leey21/data-lineage

12. Introspective Diffusion Language Models (14 votes)​

Tác giả: Yifan Yu, Yuqing Jian, Junxiong Wang, Zhongzhu Zhou, Donglin Zhuang, Xinyu Fang, Sri Yanamandra, Xiaoxia Wu, Qingyang Wu, Shuaiwen Leon Song, Tri Dao, Ben Athiwaratkun, James Zou, Fan Lai, Chenfeng Xu

Xuất bản lúc: 2026-04-13

Tag: DLMs, AR Models, Parallel Decoding, LLMs, Inference Optimization, Introspective Consistency, Self-speculative Decoding

I. Main Problem:​

Các mô hình ngôn ngữ khuếch tán (DLMs) hứa hẹn khả năng tạo văn bản song song nhưng vẫn kém chất lượng so với các mô hình tự hồi quy (AR). Khoảng cách này được cho là do sự thiếu nhất quán nội tại (introspective consistency) ở DLM: các mô hình AR đồng ý với các thế hệ của chính chúng, trong khi DLM thường không. Ngoài ra, việc thiếu hỗ trợ hệ thống cho suy luận khuếch tán đã ngăn cản DLM chuyển đổi khả năng song song lý thuyết thành tốc độ thực tế, dẫn đến hiệu quả tính toán kém và không tương thích với các stack phục vụ AR hiện đại.

II. Main Idea:​

Nghiên cứu này giới thiệu Introspective Diffusion Language Model (I-DLM), một mô hình giữ lại khả năng giải mã song song kiểu khuếch tán trong khi kế thừa tính nhất quán nội tại của huấn luyện AR. I-DLM sử dụng thuật toán giải mã bước nội tại (Introspective Strided Decoding - ISD) mới, cho phép mô hình xác minh các token đã tạo trước đó trong khi tạo các token mới trong cùng một lượt chuyển tiếp. Về mặt hệ thống, I-DLM xây dựng công cụ suy luận trên các tối ưu hóa kế thừa từ AR và tùy chỉnh thêm bằng bộ lập lịch theo lô tĩnh. I-DLM cũng sử dụng một phương pháp huấn luyện nhất quán nội tại (introspective-consistency training) đơn giản để chuyển đổi các mô hình AR đã huấn luyện trước thành DLM, kết hợp cơ chế mặt nạ nhân quả (causal masking) và dịch chuyển logit (logit shifting) để đảm bảo tính nhất quán.

III. Main Results:​

I-DLM là DLM đầu tiên đạt được chất lượng tương đương với mô hình AR cùng quy mô, đồng thời vượt trội hơn các DLM trước đây về chất lượng mô hình và hiệu quả phục vụ thực tế trên 15 điểm chuẩn. I-DLM-8B đạt 69.6 trên AIME-24 và 45.7 trên LiveCodeBench-v6, vượt trội LLaDA-2.1-mini (16B) hơn 26 và 15 điểm tương ứng. Về hiệu quả, I-DLM mang lại thông lượng cao hơn khoảng 3 lần so với các DLM tiên tiến trước đây và duy trì hiệu suất vượt trội so với các phương pháp giải mã suy đoán như EAGLE3. I-DLM cũng thể hiện tỷ lệ chấp nhận nội tại gần như hoàn hảo, tương tự như các mô hình AR.

IV. Conclusion & Future Works:​

I-DLM đã thành công trong việc thu hẹp đáng kể khoảng cách chất lượng giữa các mô hình ngôn ngữ khuếch tán và tự hồi quy, đồng thời mang lại những cải tiến đáng kể về hiệu quả. Nghiên cứu này thiết lập một ranh giới mới về chất lượng-hiệu quả cho DLM. Các mô hình và hệ thống I-DLM sẽ được công bố mã nguồn mở để thúc đẩy nghiên cứu và triển khai trong cộng đồng, mở đường cho việc áp dụng rộng rãi hơn các mô hình ngôn ngữ khuếch tán hiệu suất cao.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu tính nhất quán nội tại cho các mô hình đa phương thức: Mở rộng khái niệm tính nhất quán nội tại và thuật toán ISD sang các mô hình đa phương thức (ví dụ: thị giác-ngôn ngữ) để cải thiện chất lượng và hiệu quả tạo nội dung đa phương thức.
  2. Các chế độ huấn luyện nhất quán nội tại tiên tiến: Phát triển các chiến lược huấn luyện phức tạp hơn (ví dụ: học theo chương trình, hàm mất mát mới) để tối ưu hóa hơn nữa chất lượng và hiệu quả của I-DLM trên các tập dữ liệu lớn hơn hoặc trong các miền chuyên biệt.
  3. Đồng thiết kế phần cứng-phần mềm cho ISD: Thiết kế các bộ tăng tốc phần cứng chuyên dụng hoặc thư viện phần mềm cấp thấp được tối ưu hóa cho thuật toán ISD, nhằm đẩy giới hạn thông lượng và độ trễ, đặc biệt cho các ứng dụng yêu cầu hiệu suất cao.

2. Patent:​

  1. Hệ thống gợi ý văn bản thông minh tự kiểm tra trên điện thoại: Một tính năng bàn phím di động sử dụng mô hình ngôn ngữ có khả năng tự kiểm tra để gợi ý từ hoặc câu tiếp theo. Thay vì chỉ đưa ra gợi ý, hệ thống sẽ tự động xác minh độ chính xác của các gợi ý này dựa trên ngữ cảnh đã nhập, đảm bảo các gợi ý luôn chất lượng cao và phù hợp, giúp người dùng gõ nhanh và chính xác hơn trên điện thoại.
  2. Ứng dụng tạo nội dung nhanh và đáng tin cậy trên thiết bị di động: Một ứng dụng trên điện thoại cho phép người dùng tạo văn bản dài (ví dụ: email, tin nhắn, bài đăng mạng xã hội) một cách nhanh chóng. Công nghệ này cho phép ứng dụng tạo ra nhiều phần của văn bản cùng lúc, và sau đó tự động kiểm tra, điều chỉnh các phần đã tạo để đảm bảo tính mạch lạc và chính xác, mang lại trải nghiệm tạo nội dung mượt mà và chất lượng cao mà không cần kết nối mạng liên tục.
  3. Trợ lý ảo trên điện thoại có khả năng tự sửa lỗi và phản hồi nhanh: Một trợ lý ảo trên điện thoại (ví dụ: Siri, Google Assistant) được nâng cấp để không chỉ hiểu và phản hồi yêu cầu của người dùng mà còn có khả năng tự kiểm tra các phản hồi của mình trước khi đưa ra. Điều này giúp trợ lý đưa ra câu trả lời chính xác hơn và tránh được những sai sót phổ biến, đồng thời duy trì tốc độ phản hồi nhanh, cải thiện đáng kể độ tin cậy và trải nghiệm người dùng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.11035
ArXiv Abstracthttps://arxiv.org/abs/2604.11035
PDF Downloadhttps://arxiv.org/pdf/2604.11035.pdf
Github Repositoryhttps://github.com/Introspective-Diffusion/I-DLM

13. Solving Physics Olympiad via Reinforcement Learning on Physics Simulators (13 votes)​

Tác giả: Mihir Prabhudesai, Aryan Satpathy, Yangmin Li, Zheyang Qin, Nikash Bhardwaj, Amir Zadeh, Chuan Li, Katerina Fragkiadaki, Deepak Pathak

Xuất bản lúc: 2026-04-13

Tag: Reinforcement Learning, Large Language Models, Physics Simulation, Data Augmentation, Zero-shot Learning, Domain Specific Language, RLVR

I. Main Problem:​

Khả năng suy luận của các mô hình ngôn ngữ lớn (LLM) bị hạn chế bởi sự khan hiếm dữ liệu hỏi-đáp (QA) chất lượng cao, có quy mô lớn và chuyên biệt theo từng lĩnh vực (đặc biệt là trong các ngành khoa học như vật lý). Dữ liệu QA trên internet phân tán, không đồng đều và thiếu sự đa dạng có hệ thống, tạo ra những khoảng trống lớn trong tín hiệu giám sát cần thiết cho suy luận khoa học. Các trình mô phỏng vật lý mã hóa các định luật vật lý nhưng đầu ra của chúng (dữ liệu số gần đúng, liên tục, theo thời gian tiến) không thể sử dụng trực tiếp để cải thiện khả năng giải quyết vấn đề vật lý của LLM (vốn đòi hỏi suy luận chính xác, ngược, biểu tượng và phản thực tế). Việc sử dụng trình mô phỏng làm công cụ bên ngoài cũng khó khăn vì LLM gặp khó khăn với các API phức tạp và việc tạo mã mô phỏng.

II. Main Idea:​

Đề xuất Sim2Reason: một khung làm việc biến đổi các trình mô phỏng vật lý thành bộ tạo cặp hỏi-đáp (QA) có khả năng mở rộng. Quy trình bao gồm việc tạo các cảnh ngẫu nhiên trong các công cụ vật lý (MuJoCo), tạo các cặp hỏi-đáp tổng hợp (dạng số, ngược, biểu tượng) từ các tương tác mô phỏng, và huấn luyện LLM bằng học tăng cường với phần thưởng có thể kiểm chứng (RLVR) trên dữ liệu tổng hợp này. Khung này sử dụng Ngôn ngữ Miền Cụ thể (DSL) để cấu trúc ngẫu nhiên hóa và tạo ra các hệ thống vật lý đa dạng một cách thủ tục, cho phép tạo ra hàng triệu mẫu huấn luyện độc đáo. Đồng thời, áp dụng cơ chế lọc dữ liệu để loại bỏ các câu hỏi tầm thường hoặc có thể giải quyết bằng "lối tắt", đảm bảo quá trình huấn luyện tập trung vào các mẫu hữu ích.

III. Main Results:​

Khả năng chuyển giao zero-shot từ mô phỏng sang thực tế: Việc huấn luyện chỉ trên dữ liệu mô phỏng tổng hợp giúp cải thiện hiệu suất giải quyết các bài toán IPhO (Kỳ thi Olympic Vật lý Quốc tế) từ 5-10 điểm phần trăm trên các kích thước mô hình (từ 3B đến 32B). Cụ thể, Qwen3-30B-Instruct cải thiện thêm 4.4 điểm phần trăm trên IPhO. Đạt được những cải thiện đáng kể trên các bộ dữ liệu chuyên biệt như JEEBench (+17.9% cho mô hình 32B), PHYSICS (+3.67% cho 32B) và OlympiadBench (+3.12% cho 32B). Cũng ghi nhận sự cải thiện trên các bộ dữ liệu toán học ngoài lĩnh vực như AIME (+1.67% cho 32B) và MATH 500 (+4.4% cho 32B), cho thấy việc huấn luyện suy luận vật lý cũng củng cố kỹ năng đại số và suy luận định lượng đa bước cơ bản. Học tăng cường với phần thưởng có thể kiểm chứng (RLVR) mang lại những cải thiện mạnh mẽ cả trong phân phối và ngoài phân phối, vượt trội so với Fine-tuning có giám sát (SFT) vốn có thể gây ra hiện tượng quên kiến thức nghiêm trọng. Chiều dài phản hồi dài hơn có mối liên hệ chặt chẽ với độ chính xác cao hơn, cho thấy mô hình khuyến khích suy luận trung gian chi tiết hơn.

IV. Conclusion & Future Works:​

Các trình mô phỏng vật lý có thể hoạt động như bộ tạo dữ liệu có khả năng mở rộng, cho phép LLM tiếp thu các kỹ năng suy luận vật lý sâu sắc vượt ra ngoài giới hạn của dữ liệu hỏi-đáp quy mô internet. Khung này cũng tạo ra một công cụ đánh giá hiệu quả cho các mô hình nền tảng, với mối tương quan cao giữa độ chính xác trên các câu hỏi mô phỏng và hiệu suất trong thế giới thực. Các hướng phát triển trong tương lai có thể bao gồm mở rộng phạm vi của trình mô phỏng để bao gồm nhiều hiện tượng vật lý hơn (ví dụ: điện từ học, nhiệt động lực học, động lực học chất lỏng), cải tiến DSL để hỗ trợ các tương tác phức tạp hơn hoặc các loại suy luận khác, và khám phá các thuật toán RL hoặc chiến lược huấn luyện khác để tối ưu hóa việc học.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu mở rộng Sim2Reason để tạo ra các cặp hỏi-đáp cho các lĩnh vực vật lý khác ngoài cơ học cổ điển (ví dụ: điện từ học, nhiệt động lực học, động lực học chất lỏng) nhằm huấn luyện LLM cho khả năng suy luận khoa học rộng hơn.
  2. Nghiên cứu các phương pháp nâng cao Ngôn ngữ Miền Cụ thể (DSL) để cho phép tạo ra các hệ thống vật lý phức tạp, đa tỷ lệ với các hành vi phát sinh một cách thủ tục, đồng thời tạo ra các câu hỏi suy luận biểu tượng hoặc định tính từ các hệ thống này.
  3. Khám phá việc tích hợp đầu vào hình ảnh (sơ đồ, video mô phỏng) cùng với mô tả cảnh dựa trên văn bản và các cặp hỏi-đáp để huấn luyện LLM giải quyết vấn đề vật lý đa phương thức, cho phép chúng diễn giải và suy luận từ thông tin trực quan trong các bài toán vật lý.

2. Patent:​

  1. Một ứng dụng di động cho phép người dùng tạo và tương tác với các kịch bản vật lý đơn giản (ví dụ: thả một quả bóng, va chạm giữa các vật thể) bằng cách nhập các thông số cơ bản. Ứng dụng sẽ sử dụng công nghệ mô phỏng vật lý để hiển thị kết quả và giải thích các nguyên lý vật lý liên quan một cách trực quan, giúp học sinh và sinh viên dễ dàng hiểu các khái niệm vật lý.
  2. Một tính năng trên điện thoại thông minh cho phép người dùng chụp ảnh hoặc nhập mô tả bài toán vật lý. Hệ thống sẽ phân tích bài toán, sử dụng mô hình AI được huấn luyện trên dữ liệu mô phỏng để xác định các yếu tố vật lý và gợi ý các bước giải, hoặc thậm chí cung cấp lời giải chi tiết. Nó có thể yêu cầu người dùng điều chỉnh các tham số để chạy mô phỏng mini nhằm kiểm tra trực quan các kịch bản.
  3. Một công cụ trên điện thoại cho phép người dùng tạo các mô hình 3D đơn giản của các vật thể (ví dụ: đồ nội thất, đồ chơi). Công cụ này sẽ sử dụng các nguyên tắc mô phỏng vật lý để đánh giá độ ổn định, độ bền hoặc cách vật thể đó tương tác với môi trường ảo, cung cấp phản hồi tức thì về thiết kế. Ví dụ, người dùng có thể thiết kế một cái ghế và xem nó có bị đổ không khi có trọng lượng tác dụng.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.11805
ArXiv Abstracthttps://arxiv.org/abs/2604.11805
PDF Downloadhttps://arxiv.org/pdf/2604.11805.pdf
Github Repositoryhttps://github.com/Sim2Reason/Sim2Reason

14. Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation (11 votes)​

Tác giả: Gordon Chen, Ziqi Huang, Ziwei Liu

Xuất bản lúc: 2026-04-11

Tag: Video Generation, Diffusion Models, Temporal Control, Cross-Attention, Multi-Event Video

I. Main Problem:​

Các mô hình khuếch tán video hiện tại gặp khó khăn trong việc thể hiện sự kế tiếp theo thời gian của nhiều sự kiện và thiếu các cơ chế rõ ràng để kiểm soát thời điểm các khái niệm ngữ nghĩa xuất hiện, thời gian chúng tồn tại và thứ tự xảy ra của nhiều sự kiện. Khi sử dụng một prompt duy nhất theo kiểu đoạn văn để mô tả chuỗi sự kiện phức tạp, các mô hình thường gặp phải tình trạng "rối loạn ngữ nghĩa" (semantic entanglement), nơi các khái niệm dành cho các thời điểm khác nhau trong video bị lẫn vào nhau, dẫn đến sự căn chỉnh văn bản-video kém. Các phương pháp kiểm soát thời gian hiện có yêu cầu dữ liệu chú thích lớn, huấn luyện lại mô hình hoặc tạo ra các tạo tác hình ảnh và chuyển cảnh không tự nhiên.

II. Main Idea:​

Chúng tôi đề xuất Prompt Relay, một phương pháp hoạt động tại thời điểm suy luận (inference-time), plug-and-play, không cần huấn luyện, cho phép kiểm soát thời gian chi tiết trong việc tạo video đa sự kiện mà không cần sửa đổi kiến trúc hay chi phí tính toán bổ sung. Prompt Relay giới thiệu một hình phạt vào cơ chế cross-attention, đảm bảo rằng mỗi phân đoạn thời gian chỉ tập trung vào prompt được gán cho nó. Điều này cho phép mô hình thể hiện một khái niệm ngữ nghĩa tại một thời điểm, từ đó cải thiện sự căn chỉnh prompt theo thời gian, giảm nhiễu ngữ nghĩa và nâng cao chất lượng hình ảnh. Phương pháp này sử dụng cơ chế Boundary-Attention Decay, một hình phạt Gaussian mềm trên các logits của cross-attention, để triệt tiêu nhiễu ngữ nghĩa một cách mượt mà qua các ranh giới phân đoạn, tránh các chuyển đổi đột ngột gây ra bởi "masking cứng".

III. Main Results:​

Prompt Relay cải thiện đáng kể sự căn chỉnh prompt theo thời gian và độ tự nhiên của chuyển cảnh. Nó cũng giảm nhiễu ngữ nghĩa và nâng cao chất lượng hình ảnh tổng thể. Trong một nghiên cứu về ưu tiên của con người, Wan 2.2 kết hợp với Prompt Relay vượt trội hơn các phương pháp cơ sở về căn chỉnh prompt theo thời gian (1.10) và độ tự nhiên của chuyển cảnh (1.17), đồng thời thể hiện chất lượng hình ảnh mạnh mẽ hơn (2.83) so với Wan 2.2 cơ sở. Kết quả này cho thấy cơ chế định tuyến sự chú ý của Prompt Relay giúp mô hình phân bổ sự chú ý hiệu quả hơn cho các khái niệm ngữ nghĩa đang hoạt động, dẫn đến cấu trúc hình ảnh rõ ràng hơn và tạo video ổn định hơn. Tuy nhiên, Kling 2.6 và Veo 3.1 vẫn đạt chất lượng hình ảnh tổng thể cao hơn, chỉ ra rằng chất lượng hình ảnh vẫn bị giới hạn một phần bởi khả năng của mô hình backbone cơ bản.

IV. Conclusion & Future Works:​

Prompt Relay là một phương pháp plug-and-play, hoạt động tại thời điểm suy luận, cung cấp khả năng kiểm soát thời gian chi tiết cho việc tạo video đa sự kiện. Phương pháp này cải thiện chất lượng hình ảnh so với mô hình backbone cơ bản và được coi là một bước quan trọng hướng tới việc tổng hợp video cấp phim điện ảnh, có thể kiểm soát được. Một hạn chế được ghi nhận là các yếu tố hình ảnh bền vững (nhân vật, đối tượng, phong cách cảnh) không được chia sẻ rõ ràng giữa các phân đoạn, có thể dẫn đến sự trôi dạt theo thời gian nếu các prompt cục bộ không nhất quán. Việc kết hợp một prompt toàn cục có thể giúp giảm thiểu vấn đề này, đây cũng là một hướng nghiên cứu tiềm năng để cải thiện tính nhất quán xuyên suốt video.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Cải thiện tính nhất quán của các yếu tố hình ảnh xuyên suốt video: Nghiên cứu các cơ chế nâng cao để duy trì sự nhất quán của nhân vật, đối tượng và phong cách cảnh trong các phân đoạn thời gian khác nhau mà không cần prompt toàn cục thủ công, có thể bằng cách học một biểu diễn liên tục của các yếu tố này.
  2. Mở rộng kiểm soát tương tác người dùng: Phát triển các giao diện và thuật toán cho phép người dùng kiểm soát động các thông số thời gian (ví dụ: thời điểm, thời lượng, tốc độ chuyển đổi) trong quá trình tạo video theo thời gian thực hoặc bán thời gian thực, vượt ra ngoài việc chỉ định trước các khoảng thời gian.
  3. Tích hợp với các mô hình ngữ nghĩa không gian-thời gian: Khám phá cách kết hợp Prompt Relay với các mô hình có khả năng hiểu sâu hơn về ngữ nghĩa không gian và mối quan hệ giữa các đối tượng trong video, cho phép kiểm soát phức tạp hơn các tương tác đối tượng và bố cục cảnh trong các sự kiện đa thời gian.

2. Patent:​

  1. Ứng dụng tạo video clip tự động dựa trên nhật ký ảnh/video: Một ứng dụng di động cho phép người dùng chọn một loạt ảnh hoặc video ngắn từ thư viện của họ, sau đó nhập các mô tả văn bản cho từng phần (ví dụ: "[0-2s] ảnh tôi ở bãi biển, [2-4s] video gia đình chơi đùa"). Hệ thống sẽ tự động ghép nối và tạo ra một video clip liền mạch với các chuyển cảnh mượt mà, căn chỉnh đúng các sự kiện theo mô tả, phù hợp cho việc tạo vlog du lịch hoặc tóm tắt sự kiện.
  2. Công cụ chỉnh sửa video thông minh bằng giọng nói/văn bản: Một tính năng trên điện thoại cho phép người dùng ra lệnh bằng giọng nói hoặc nhập văn bản để chỉnh sửa video hiện có hoặc tạo video mới. Ví dụ: "Trong 3 giây đầu, thêm cảnh mèo đang ngủ. Từ giây thứ 3 đến 5, chuyển cảnh sang mèo đang chạy." Hệ thống sẽ sử dụng cơ chế tương tự Prompt Relay để chèn hoặc chuyển đổi nội dung một cách tự nhiên, giúp người dùng phổ thông dễ dàng tạo video chuyên nghiệp mà không cần kỹ năng chỉnh sửa phức tạp.
  3. Hệ thống tạo video kể chuyện cá nhân hóa: Một ứng dụng trên thiết bị di động cho phép người dùng nhập một kịch bản hoặc một chuỗi các sự kiện mong muốn (ví dụ: "Sáng: bé thức dậy. Trưa: bé chơi. Chiều: bé ngủ"). Ứng dụng sẽ sử dụng các mô hình AI để tạo ra một video kể chuyện độc đáo, có thể tích hợp ảnh hoặc video cá nhân của người dùng vào các phân đoạn phù hợp, đảm bảo các sự kiện diễn ra theo đúng trình tự và thời gian quy định, tạo ra những kỷ niệm sống động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.10030
ArXiv Abstracthttps://arxiv.org/abs/2604.10030
PDF Downloadhttps://arxiv.org/pdf/2604.10030.pdf
Github Repositoryhttps://github.com/GordonChen19/Prompt-Relay

15. TRACE: Capability-Targeted Agentic Training (11 votes)​

Tác giả: Hangoo Kang, Tarun Suresh, Jon Saad-Falcon, Azalia Mirhoseini

Xuất bản lúc: 2026-04-07

Tag: LLM Agents, Reinforcement Learning, Fine-tuning, Capability Learning, Synthetic Data, LoRA, Self-improvement

I. Main Problem:​

Các mô hình ngôn ngữ lớn (LLM) được triển khai trong môi trường tác nhân thường gặp khó khăn trong việc học các khả năng cần thiết một cách hiệu quả. Tín hiệu huấn luyện hiện có (như kết quả cuối cùng hoặc phần thưởng trung gian) thường gán tín dụng cho các chuỗi hành động cụ thể của tác vụ, thay vì các khả năng chung mà tác nhân còn thiếu, dẫn đến việc học thưa thớt và kém hiệu quả về mẫu dữ liệu. Các phương pháp hiện tại thường dựa vào dữ liệu huấn luyện tổng hợp không nhắm mục tiêu vào các thiếu sót khả năng thực tế của mô hình hoặc huấn luyện trực tiếp trên môi trường mục tiêu, nơi mô hình phải học các khả năng một cách ngầm định.

II. Main Idea:​

Nghiên cứu giới thiệu TRACE (Turning Recurrent Agent failures into Capability-targeted training Environments), một hệ thống tự cải thiện tác nhân đầu cuối dành riêng cho môi trường. TRACE hoạt động bằng cách đối chiếu các quỹ đạo thành công và thất bại để tự động xác định các khả năng còn thiếu của tác nhân. Sau đó, nó tổng hợp một môi trường huấn luyện nhắm mục tiêu cho từng khả năng, trong đó phần thưởng được gán dựa trên việc khả năng đó có được thực hiện hay không. Cuối cùng, một bộ điều hợp LoRA được huấn luyện thông qua RL trên mỗi môi trường tổng hợp này, và bộ điều hợp phù hợp sẽ được định tuyến để sử dụng trong quá trình suy luận.

III. Main Results:​

TRACE đã chứng minh khả năng tổng quát hóa trên các môi trường khác nhau, cải thiện hiệu suất của tác nhân cơ sở thêm +14.1 điểm trên τ2-Bench (dịch vụ khách hàng) và +7 điểm tuyệt đối trên ToolSandBox (sử dụng công cụ). Nó vượt trội hơn baseline mạnh nhất lần lượt là +7.4 điểm và +4 điểm tuyệt đối. Với cùng số lần rollout, TRACE mở rộng hiệu quả hơn các baseline, vượt trội hơn GRPO và GEPA lần lượt là +9.2 và +7.4 điểm trên τ2-Bench. Việc huấn luyện chỉ yêu cầu một quy trình nhẹ, với 2-4 bộ điều hợp LoRA, mỗi bộ điều hợp chỉ cập nhật 5.3% tham số mô hình. Phương pháp định tuyến của TRACE cũng vượt trội đáng kể so với các phương pháp hợp nhất khả năng truyền thống.

IV. Conclusion & Future Works:​

TRACE là một hệ thống tự cải thiện tác nhân đầu cuối hiệu quả, tự động xác định các khả năng còn thiếu, tổng hợp môi trường huấn luyện nhắm mục tiêu và huấn luyện các bộ điều hợp LoRA cụ thể cho từng khả năng. Hệ thống này mang lại những cải tiến đáng kể về hiệu suất và hiệu quả mở rộng so với các phương pháp hiện có. Dựa trên văn bản được cung cấp, không có định hướng công việc tương lai cụ thể nào được chi tiết.

V. Brainstorming Space:​

1. Publish Papers:​

  1. Phát triển các phương pháp mạnh mẽ hơn để xác định các khả năng còn thiếu của tác nhân bằng cách kết hợp phân tích dựa trên LLM với các kỹ thuật suy luận nhân quả hoặc phân tích hành vi tác nhân sâu hơn, nhằm nâng cao độ chính xác và khả năng mở rộng của quá trình nhận diện.
  2. Nghiên cứu các chiến lược định tuyến (routing) động và thích ứng trong quá trình tương tác nhiều bước của tác nhân, thay vì chỉ định tuyến ban đầu, để cho phép tác nhân chuyển đổi linh hoạt giữa các bộ điều hợp khả năng khác nhau khi nhiệm vụ phát triển hoặc ngữ cảnh thay đổi.
  3. Mở rộng TRACE để xử lý các hệ thống tác nhân phân cấp (hierarchical agent systems) và các môi trường phức tạp hơn, nơi các khả năng có thể được lồng ghép hoặc phụ thuộc lẫn nhau, đòi hỏi các phương pháp tổng hợp môi trường và huấn luyện bộ điều hợp tinh vi hơn.

2. Patent:​

  1. Hệ thống cải thiện trợ lý ảo di động cá nhân hóa: Một ứng dụng trợ lý ảo trên điện thoại di động có khả năng tự động học hỏi và cải thiện. Khi người dùng thường xuyên gặp lỗi trong các yêu cầu cụ thể (ví dụ: trợ lý không thể đặt lịch hẹn phức tạp hoặc tìm kiếm thông tin chi tiết), hệ thống sẽ phân tích các tương tác thất bại và thành công để xác định 'khả năng' còn thiếu của trợ lý. Sau đó, nó sẽ tạo ra các kịch bản huấn luyện nhỏ, tập trung vào khả năng đó, và sử dụng dữ liệu này để tinh chỉnh một phần nhỏ của mô hình AI trợ lý ngay trên thiết bị, giúp trợ lý hoạt động hiệu quả hơn cho cá nhân người dùng mà không cần cập nhật toàn bộ ứng dụng.
  2. AI hỗ trợ khắc phục sự cố ứng dụng di động thông minh: Một hệ thống AI tích hợp trong ứng dụng di động quản lý các thiết bị thông minh hoặc các ứng dụng phức tạp khác. Khi người dùng gặp lỗi hoặc không thể hoàn thành một tác vụ nhất định trong ứng dụng (ví dụ: không tìm thấy cài đặt cụ thể, không kết nối được thiết bị), AI sẽ phân tích chuỗi hành động của người dùng và phản hồi của ứng dụng để xác định 'khả năng' mà AI cần cải thiện để hướng dẫn người dùng tốt hơn. Hệ thống sau đó tự động tạo ra các bài tập hoặc kịch bản hướng dẫn tương tác, tập trung vào việc dạy AI cách giải quyết các vấn đề cụ thể đó, cải thiện khả năng hỗ trợ người dùng trong tương lai.
  3. Nền tảng học tập ngôn ngữ di động thích ứng theo khả năng: Một ứng dụng học ngôn ngữ trên điện thoại di động sử dụng AI để theo dõi tiến độ của người học. Nếu AI nhận thấy người học liên tục gặp khó khăn với một kỹ năng cụ thể (ví dụ: chia động từ, sử dụng mạo từ, phát âm một âm nhất định), nó sẽ xác định đây là một 'khả năng' cần cải thiện. Hệ thống sau đó tự động tạo ra các bài tập và môi trường luyện tập được nhắm mục tiêu (ví dụ: các câu đố ngữ pháp chuyên sâu, các đoạn hội thoại tập trung vào phát âm đó) để giúp AI trong ứng dụng học cách tạo ra các bài tập hiệu quả nhất nhằm củng cố khả năng đó cho người học, tối ưu hóa quá trình học tập cá nhân hóa.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.05336
ArXiv Abstracthttps://arxiv.org/abs/2604.05336
PDF Downloadhttps://arxiv.org/pdf/2604.05336.pdf
Github Repositoryhttps://github.com/ScalingIntelligence/TRACE

16. Agentic Aggregation for Parallel Scaling of Long-Horizon Agentic Tasks (10 votes)​

Tác giả: Yoonsang Lee, Howard Yen, Xi Ye, Danqi Chen

Xuất bản lúc: 2026-04-13

Tag: LLMs, Agentic AI, Parallel Scaling, Aggregation, Multi-agent systems, Long-horizon tasks

I. Main Problem:​

Các tác vụ tác nhân dài hạn (long-horizon agentic tasks) như tìm kiếm tác nhân (agentic search) và nghiên cứu chuyên sâu (deep research) đặt ra những thách thức riêng biệt cho việc mở rộng song song (parallel scaling). Các quỹ đạo (trajectories) thường dài, đa lượt (multi-turn), được tăng cường công cụ (tool-augmented) và đầu ra thường là dạng mở (open-ended). Các phương pháp tổng hợp hiện có không hiệu quả: chỉ tổng hợp các câu trả lời cuối cùng bỏ qua thông tin phong phú từ các quỹ đạo, trong khi ghép nối tất cả các quỹ đạo lại thì vượt quá cửa sổ ngữ cảnh (context window) của mô hình. Tóm tắt các quỹ đạo thì tốn kém và gây mất thông tin (lossy).

II. Main Idea:​

Để giải quyết các thách thức trên, chúng tôi đề xuất AggAgent, một tác nhân tổng hợp coi các quỹ đạo song song như một môi trường tương tác. AggAgent được trang bị các công cụ nhẹ (lightweight tools) để kiểm tra các giải pháp ứng cử viên và tìm kiếm trên các quỹ đạo, cho phép nó điều hướng và tổng hợp thông tin theo yêu cầu. Các công cụ bao gồm get_solution (truy xuất giải pháp cuối cùng), search_trajectory (tìm kiếm từ khóa trong quỹ đạo) và get_segment (đọc một đoạn cụ thể của quỹ đạo). Phương pháp này cho phép suy luận và tổng hợp chéo quỹ đạo với độ trung thực cao mà không cần tải toàn bộ quỹ đạo vào ngữ cảnh, giữ cho chi phí tổng hợp bị giới hạn bởi một lần chạy tác nhân duy nhất.

III. Main Results:​

AggAgent vượt trội hơn tất cả các phương pháp tổng hợp hiện có trên sáu bộ dữ liệu benchmark và ba dòng mô hình (GLM-4.7, Qwen3.5, MiniMax-M2.5), cải thiện hiệu suất trung bình lên tới 5.3% tuyệt đối và 10.3% trên hai tác vụ nghiên cứu chuyên sâu. AggAgent cũng đạt được hiệu quả tối ưu về chi phí và hiệu suất, chỉ thêm một chi phí phụ (overhead) tối thiểu (5.7% so với 41% của Summary Aggregation). Đáng chú ý, AggAgent thậm chí còn vượt qua Pass@8, chứng tỏ khả năng tổng hợp các giải pháp chính xác vượt xa những gì bất kỳ quỹ đạo đơn lẻ nào có thể đạt được. Việc sử dụng một mô hình mạnh hơn cho vai trò AggAgent cũng cho thấy sự cải thiện đáng kể về hiệu suất.

IV. Conclusion & Future Works:​

AggAgent thiết lập tổng hợp tác nhân (agentic aggregation) như một phương pháp hiệu quả và tiết kiệm chi phí để mở rộng quy mô thời gian kiểm tra (test-time scaling) cho các tác vụ tác nhân dài hạn. Nó cho phép suy luận chéo quỹ đạo với độ trung thực cao mà không mất thông tin hoặc chi phí cấm đoán. Hướng nghiên cứu trong tương lai bao gồm việc tinh chỉnh các tác nhân tổng hợp (aggregator agents) để nâng cao hơn nữa hiệu suất, cũng như khám phá sâu hơn về thiết kế đầu ra (tổng hợp so với lựa chọn).

V. Brainstorming Space:​

1. Publish Papers:​

  1. Nghiên cứu về Tinh chỉnh (Fine-tuning) Mô hình Tổng hợp: Phát triển các phương pháp và bộ dữ liệu để tinh chỉnh các mô hình ngôn ngữ lớn (LLMs) chuyên biệt cho vai trò tác nhân tổng hợp (aggregator agent). Điều này có thể bao gồm việc huấn luyện các mô hình để tối ưu hóa việc sử dụng công cụ, tổng hợp thông tin từ nhiều nguồn mâu thuẫn và đưa ra quyết định tổng hợp hiệu quả hơn, thay vì chỉ sử dụng các LLM có sẵn.
  2. Tổng hợp Tác nhân Đa phương thức: Mở rộng khung AggAgent để xử lý các quỹ đạo tác nhân (agentic trajectories) chứa thông tin đa phương thức (ví dụ: văn bản, hình ảnh, âm thanh). Nghiên cứu này sẽ tập trung vào việc thiết kế các công cụ (tools) mới và chiến lược tổng hợp có khả năng hiểu và kết hợp dữ liệu từ các chế độ khác nhau để giải quyết các tác vụ phức tạp trong môi trường đa phương tiện.
  3. Chiến lược Tối ưu hóa Việc Sử dụng Công cụ cho Tác nhân Tổng hợp: Nghiên cứu sâu hơn về các chiến lược động để AggAgent lựa chọn và sử dụng các công cụ của mình (ví dụ: search_trajectory, get_segment) một cách hiệu quả hơn. Điều này có thể bao gồm việc phát triển các mô hình học tăng cường (reinforcement learning) để AggAgent tự động học cách điều chỉnh việc sử dụng công cụ dựa trên độ phức tạp của nhiệm vụ và đặc điểm của các quỹ đạo đầu vào, nhằm giảm chi phí và tăng hiệu suất.

2. Patent:​

  1. Hệ thống Trợ lý Nghiên cứu Thông minh trên Điện thoại: Một ứng dụng di động cho phép người dùng nhập một câu hỏi nghiên cứu phức tạp hoặc một yêu cầu thông tin. Ứng dụng sẽ chạy song song nhiều "tác nhân ảo" để tìm kiếm thông tin trên internet hoặc cơ sở dữ liệu cục bộ, sau đó một "tác nhân tổng hợp thông minh" sẽ phân tích các kết quả tìm kiếm đa dạng, xác định các điểm mâu thuẫn hoặc bổ sung, và tổng hợp chúng thành một báo cáo hoặc câu trả lời mạch lạc, dễ hiểu, được tối ưu hóa hiển thị trên màn hình điện thoại.
  2. Tối ưu hóa Lập kế hoạch Du lịch/Sự kiện Cá nhân trên Di động: Một ứng dụng di động cho phép người dùng nhập các tiêu chí cho một chuyến đi hoặc sự kiện (ví dụ: địa điểm, ngân sách, sở thích ẩm thực, hoạt động mong muốn). Ứng dụng sẽ khởi tạo nhiều "tác nhân lập kế hoạch" chạy song song để đề xuất các lịch trình hoặc gói sự kiện khác nhau. Sau đó, một "tác nhân tổng hợp" sẽ phân tích sâu các đề xuất này, kết hợp các yếu tố tốt nhất từ mỗi "tác nhân lập kế hoạch" để tạo ra một kế hoạch tối ưu duy nhất hoặc đưa ra các lựa chọn đã được tinh chỉnh, giúp người dùng dễ dàng đưa ra quyết định trên điện thoại của họ.
  3. Hệ thống Giải quyết Vấn đề Kỹ thuật trên Di động: Một công cụ tích hợp trong các ứng dụng phát triển phần mềm di động hoặc ứng dụng hỗ trợ kỹ thuật. Khi người dùng gặp phải một vấn đề (ví dụ: lỗi mã, sự cố thiết bị), hệ thống sẽ chạy song song nhiều "tác nhân phân tích" để chẩn đoán nguyên nhân và tìm kiếm các giải pháp tiềm năng từ các nguồn kiến thức. Một "tác nhân tổng hợp" sau đó sẽ tổng hợp các phát hiện, xác định giải pháp khả thi nhất và trình bày các bước khắc phục sự cố rõ ràng, từng bước cho người dùng trên thiết bị di động.

Các đường dẫn liên quan​

Nền tảngĐường dẫn
Hugging Facehttps://huggingface.co/papers/2604.11753
ArXiv Abstracthttps://arxiv.org/abs/2604.11753
PDF Downloadhttps://arxiv.org/pdf/2604.11753.pdf
Github RepositoryN/A