🤗 Daily Hugging Face Paper Digest - 2026-02-09

Báo cáo được tạo tự động vào lúc 2026-02-12 09:12:57 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare (68 votes)

Tác giả: Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

Xuất bản lúc: 2026-02-06

Tag: Reinforcement Learning, Large Language Models (LLMs), Policy Optimization, Group Sampling, Reward Models, Solution Diversity

I. Main Problem:

Reinforcement Learning with Verifiable Rewards (RLVR) sử dụng lấy mẫu nhóm (group sampling) thường gặp phải vấn đề định kiến học tập, tập trung vào các quỹ đạo đã có khả năng cao và bỏ qua các quỹ đạo đúng nhưng hiếm gặp. Kích thước nhóm lớn không khả thi do giới hạn tính toán, trong khi nhóm nhỏ dễ bỏ lỡ các giải pháp đúng hiếm gặp, làm giảm sự đa dạng của các giải pháp. Điều này dẫn đến hiện tượng 'làm sắc nét' phân phối đầu ra của mô hình (distribution sharpening), nơi mô hình cải thiện pass@1 nhưng lại giảm pass@k cho k lớn (mất đa dạng giải pháp), đặc biệt ở các kích thước nhóm trung bình phổ biến trong thực tế. Bài báo đặt câu hỏi làm thế nào kích thước nhóm ảnh hưởng đến động lực tối ưu hóa của RLVR với phần thưởng nhị phân, và liệu có thể giảm thiểu hiện tượng làm sắc nét mà không tăng chi phí tính toán.

II. Main Idea:

Bài báo phân tích động lực lấy mẫu của các phương pháp RLVR dựa trên nhóm, đặc biệt là cách kích thước nhóm ảnh hưởng đến việc bỏ lỡ các giải pháp đúng hiếm gặp và sự phân phối lại khối lượng xác suất trong tập hợp các giải pháp đúng. Các tác giả đề xuất F-GRPO, một sửa đổi nhẹ nhàng cho các thuật toán RLVR dựa trên nhóm (như GRPO, DAPO, CISPO). Ý tưởng chính là áp dụng một hệ số điều chỉnh lợi thế nhận biết độ khó (difficulty-aware advantage scaling coefficient), lấy cảm hứng từ Focal loss. Hệ số này (g(x) = (1 − bµpos(x))^γ) sẽ giảm trọng số các cập nhật đối với các câu lệnh có tỷ lệ thành công cao (bµpos(x) cao), nơi áp lực tập trung giải pháp là mạnh nhất. Mục tiêu là giảm sự đóng góp gradient từ các câu lệnh dễ, qua đó bảo toàn sự đa dạng của các giải pháp, đặc biệt là các giải pháp hiếm gặp, mà không cần tăng kích thước nhóm hay chi phí tính toán.

III. Main Results:

Phân tích lý thuyết: Xác định xác suất bỏ lỡ các chế độ hiếm gặp (tail-miss probability) theo kích thước nhóm N, cho thấy sự phụ thuộc phi tuyến tính: N nhỏ duy trì đa dạng thông qua ít hoạt động, N lớn thông qua bao phủ tốt, nhưng N trung bình (phổ biến trong thực tế) tối đa hóa rủi ro làm sắc nét. Phân tích thêm cho thấy khối lượng xác suất của các giải pháp đúng không được lấy mẫu (unsampled-correct mass) có thể giảm ngay cả khi tổng khối lượng đúng tăng.
Thực nghiệm mô phỏng: Mô phỏng chính sách phân loại xác nhận mô hình ba chế độ hoạt động: N nhỏ (tăng Qpos chậm, duy trì đa dạng), N trung bình (tăng Qpos nhanh, đa dạng suy giảm nghiêm trọng), N lớn (cả Qpos và đa dạng đều cao). F-GRPO cải thiện đáng kể việc giữ lại khối lượng dương (Mret), đặc biệt trong vùng tập trung.
Hiệu suất LLM: Trên Qwen2.5-7B, F-GRPO (N=8) cải thiện pass@256 từ 64.1 →70.3 (GRPO), 69.3 →72.5 (DAPO), và 73.2 → 76.8 (CISPO), đồng thời duy trì hoặc cải thiện pass@1. Đạt được kết quả tương đương GRPO (N=32) với chi phí tính toán ít hơn 4 lần. Trên Qwen2.5-1.5B-Math và Llama-3.2-3B-Instruct, F-GRPO cũng cho thấy sự cải thiện nhất quán về pass@256 và pass@1 trên các điểm chuẩn in-domain và out-of-domain.

IV. Conclusion & Future Works:

Công trình này xác định kích thước nhóm hữu hạn N là yếu tố quan trọng gây ra hiện tượng 'làm sắc nét' phân phối trong RLVR dựa trên nhóm. Kích thước nhóm trung bình phổ biến trong thực tế sẽ làm suy yếu một cách có hệ thống các quỹ đạo đúng hiếm gặp và tập trung khối lượng vào các giải pháp phổ biến. Các tác giả đã cung cấp một khung lý thuyết để hiểu các động lực lấy mẫu này và đề xuất giải pháp Focal weighting (F-GRPO). Trong tương lai, công việc này mở ra hướng nghiên cứu về việc điều chỉnh hệ số γ của Focal weighting một cách động trong quá trình huấn luyện để thích ứng với sự tiến hóa của chính sách và độ khó của nhiệm vụ. Ngoài ra, việc kết hợp Focal weighting với các chiến lược khám phá khác hoặc các phương pháp điều chỉnh entropy có thể mang lại lợi ích tổng hợp. Cuối cùng, việc mở rộng phân tích và phương pháp này cho các hệ thống phần thưởng không nhị phân hoặc phức tạp hơn sẽ là một hướng đi thú vị.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về sự phụ thuộc động của hệ số γ trong Focal weighting theo các giai đoạn huấn luyện và đặc điểm của tập dữ liệu, đề xuất một cơ chế tự động điều chỉnh γ để tối ưu hóa việc duy trì đa dạng giải pháp và hiệu suất.
Mở rộng F-GRPO để xử lý các dạng phần thưởng đa cấp hoặc liên tục thay vì chỉ phần thưởng nhị phân, khám phá cách áp dụng trọng số nhận biết độ khó trong các kịch bản RL phức tạp hơn.
Phân tích và thử nghiệm kết hợp F-GRPO với các kỹ thuật bảo tồn đa dạng khác như KL regularization hoặc entropy maximization ở cấp độ token, để xem xét liệu có thể đạt được hiệu suất vượt trội trong việc duy trì cả đa dạng quỹ đạo và đa dạng token-level.

2. Patent:

Một ứng dụng di động sử dụng LLMs để tạo ra nhiều giải pháp sáng tạo cho các vấn đề người dùng đưa ra (ví dụ: công thức nấu ăn, ý tưởng quà tặng, gợi ý kịch bản). Hệ thống này sẽ tích hợp một module 'Diversity Preserver' dựa trên một cơ chế giảm trọng số các ý tưởng phổ biến để đảm bảo các gợi ý không chỉ hiệu quả mà còn độc đáo và ít phổ biến, tránh lặp lại các ý tưởng 'hiển nhiên'.
Một công cụ phát triển phần mềm trên điện thoại thông minh, nơi LLM hỗ trợ viết code. Tính năng 'Code Diversity Assistant' sử dụng một phương pháp điều chỉnh tín hiệu học tập dựa trên độ khó để đảm bảo khi tạo ra các đoạn code hoặc sửa lỗi, hệ thống không chỉ cung cấp giải pháp tối ưu mà còn đề xuất các cách tiếp cận hoặc thuật toán thay thế, hiếm gặp hơn nhưng vẫn đúng, giúp người lập trình học hỏi và mở rộng tư duy.
Một ứng dụng học tập cá nhân hóa trên thiết bị di động cho các môn khoa học hoặc toán học. Khi học sinh giải bài tập, nếu câu trả lời của họ đúng nhưng không phải là cách giải phổ biến, hệ thống sẽ sử dụng một cơ chế tương tự để 'ghi nhớ' và khuyến khích các phương pháp giải quyết vấn đề ít được biết đến hơn, giúp học sinh phát triển khả năng tư duy độc lập và sáng tạo, thay vì chỉ học thuộc lòng các phương pháp truyền thống.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06717
ArXiv Abstract	https://arxiv.org/abs/2602.06717
PDF Download	https://arxiv.org/pdf/2602.06717.pdf
Github Repository	N/A

2. Baichuan-M3: Modeling Clinical Inquiry for Reliable Medical Decision-Making (58 votes)

Tác giả: Baichuan-M3 Team, Chengfeng Dou, Fan Yang, Fei Li, Jiyuan Jia, Qiang Ju, Shuai Wang, Tianpeng Li, Xiangrong Zeng, Yijie Zhou, Hongda Zhang, Jinyang Tai, Linzhuang Sun, Peidong Guo, Yichuan Mo, Xiaochuan Wang, Hengfu Cui, Zhishou Zhang

Xuất bản lúc: 2026-02-06

Tag: LLMs, Medical AI, Decision Support, Reinforcement Learning, Hallucination Suppression, Clinical Inquiry, Patient Simulation

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) hiện tại trong chăm sóc sức khỏe còn nhiều hạn chế, đặc biệt khi chuyển từ trả lời câu hỏi thụ động sang hỗ trợ ra quyết định y tế toàn diện. Các vấn đề chính bao gồm:

Hạn chế trong tư vấn mở: Các hệ thống hiện có thường thất bại trong việc duy trì dựa trên bằng chứng và nhận thức về sự không chắc chắn trong các tương tác lâm sàng mở, nơi thông tin thiếu và các quyết định dài hạn khiến việc kiểm soát ảo giác (hallucination) trở nên khó khăn hơn.
Thiếu khả năng truy vấn chủ động: Các mô hình tập trung vào kiến thức thường có "quán tính truy vấn", thiếu khả năng tự chủ để thu thập bằng chứng còn thiếu.
Đánh đổi giữa tương tác và chiều sâu chẩn đoán: Các mô hình tập trung vào tương tác có thể hy sinh chiều sâu chẩn đoán, ưu tiên sự trôi chảy hơn là suy luận có nguyên tắc.
Thách thức kỹ thuật: Các môi trường huấn luyện không đồng nhất gây cản trở việc kết hợp đa nhiệm ổn định; tương tác dài hạn làm trầm trọng thêm vấn đề gán tín dụng (credit-assignment) trong học tăng cường (RL); và sự bão hòa phần thưởng có thể dẫn đến tăng ảo giác khi mô hình cố gắng đáp ứng các ràng buộc logic phức tạp.

II. Main Idea:

Baichuan-M3 là một mô hình ngôn ngữ lớn được tăng cường y tế, được thiết kế để chuyển đổi từ trả lời câu hỏi thụ động sang hỗ trợ ra quyết định lâm sàng chủ động. Các ý tưởng và phương pháp chính bao gồm:

Khả năng cốt lõi:
- Thu thập thông tin chủ động để giải quyết sự mơ hồ.
- Suy luận dài hạn, thống nhất các bằng chứng rời rạc thành các chẩn đoán mạch lạc.
- Kiểm soát ảo giác thích ứng để đảm bảo độ tin cậy về mặt thực tế.
Khung huấn luyện ba giai đoạn:
- Học tăng cường theo nhiệm vụ (TaskRL): Xây dựng một tập hợp các chuyên gia (teachers) đa dạng và chất lượng cao cho các lĩnh vực khả năng cụ thể (Truy vấn Lâm sàng, Tư vấn Chăm sóc Sức khỏe, Suy luận Tổng quát).
- Chưng cất chính sách ngoại tuyến (Offline Policy Distillation): "Nén" khả năng của nhiều chuyên gia vào một mô hình học sinh duy nhất bằng cách học từ một tập dữ liệu quỹ đạo ngoại tuyến thông qua Clip-Forward-KL.
- Chưng cất chính sách trực tuyến đa chuyên gia (Multi-Teacher On-Policy Distillation - MOPD): Mô hình học sinh tương tác trong môi trường trực tuyến, được ràng buộc bởi phần thưởng nhiệm vụ và các tiên nghiệm đa chuyên gia, sử dụng điều hòa Reverse KL để chọn chế độ tối ưu khi có lời khuyên mâu thuẫn.
Các thành phần hỗ trợ:
- Bộ mô phỏng bệnh nhân: Sử dụng bộ mô phỏng bệnh nhân có tính cách thụ động với hai chế độ (Passive Interaction Mode và Interruption-Injected Mode) để cung cấp tín hiệu tương tác đáng tin cậy.
- Hệ thống xác minh (Verify System): Tách biệt quy trình đánh giá thành Rubric Verifier (đánh giá chất lượng cấu trúc và tuân thủ hướng dẫn lâm sàng) và Fact Verifier (kiểm tra tính hợp lệ sinh học và y tế của các tuyên bố dựa trên nguồn tin cậy).
- Tăng tốc xác minh: Sử dụng mô hình trích xuất tuyên bố nguyên tử (Atomic Claim Extraction Model) và hệ thống bộ nhớ đệm hai cấp (cache chính xác, cache ngữ nghĩa) để tăng tốc quá trình xác minh thông tin.
Chiến lược tối ưu hóa cụ thể theo nhiệm vụ:
- Deep Clinical Consultation: Khung học tăng cường đường ống phân đoạn (Segmented Pipeline RL) và thuật toán Step-Penalized Advantage with Relative baseline (SPAR) để quản lý quỹ đạo chẩn đoán đa lượt.
- Credible Healthcare Advisory: Sử dụng Dynamic Rubric Evolution và Học tăng cường nhận biết sự thật (Fact-Aware Reinforcement Learning) để đảm bảo an toàn và khả năng xác minh của thông tin y tế.

III. Main Results:

Baichuan-M3 đạt được kết quả vượt trội và thiết lập trạng thái nghệ thuật mới trên nhiều tiêu chuẩn đánh giá:

HealthBench: Đạt 44.4 trên HealthBench-Hard, vượt trội hơn GPT-5.2.
ScanBench: Đạt hiệu suất cao nhất trên cả ba khía cạnh của ScanBench (một tiêu chuẩn giống OSCE) – Clinical Inquiry (74.9), Laboratory Testing (72.1) và Diagnosis (74.4) – vượt qua cả GPT-5.2-High và các chuyên gia cơ bản.
Kiểm soát ảo giác: Đạt độ tin cậy thực tế vượt trội trong các đánh giá ảo giác không sử dụng công cụ.
Hiệu quả đào tạo: Hệ thống bộ nhớ đệm hai cấp giúp giảm khoảng 85% yêu cầu tìm kiếm bên ngoài, làm cho tác động của việc xác minh sự thật lên quá trình huấn luyện trở nên không đáng kể.
Cải thiện tổng thể: Baichuan-M3 được chứng minh là một đối tác hỗ trợ quyết định mạnh mẽ, có khả năng chủ động thu thập dữ liệu còn thiếu và duy trì logic chẩn đoán nghiêm ngặt, giải quyết hạn chế của "ảo giác do giả định" trong các kịch bản mở.

IV. Conclusion & Future Works:

Baichuan-M3 đại diện cho một bước tiến quan trọng trong việc phát triển các LLM hỗ trợ ra quyết định y tế đáng tin cậy, chuyển đổi từ công cụ tìm kiếm thông tin thụ động thành đối tác hỗ trợ quyết định vững chắc. Thành công của mô hình nằm ở khả năng kết nối truy vấn và suy luận, cùng với quy trình tối ưu hóa được căn chỉnh theo quy trình lâm sàng thực tế, dẫn đến kết quả thực nghiệm vượt trội về độ tin cậy thực tế và tính chặt chẽ trong thủ tục tương tác. Hướng phát triển trong tương lai bao gồm việc tận dụng khả năng tinh chỉnh lặp lại theo chu kỳ của khung MOPD. Mô hình thống nhất sau MOPD có thể đóng vai trò là khởi tạo mới cho Giai đoạn 1 để đạt được sự nâng cao chuyên biệt theo miền, tiếp theo là một vòng chưng cất khác. Sự linh hoạt này cho phép cải thiện liên tục khả năng của mô hình với chi phí cận biên thấp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc mở rộng và làm phức tạp hơn bộ mô phỏng bệnh nhân (patient simulator), cho phép các bệnh nhân có tính cách chủ động và phản ứng đa dạng hơn, nhằm đánh giá và cải thiện khả năng tương tác của mô hình trong các tình huống lâm sàng thực tế, khó dự đoán.
Phát triển các thuật toán học tăng cường (Reinforcement Learning) mới hoặc cải tiến các phương pháp hiện có để giải quyết hiệu quả hơn vấn đề gán tín dụng (credit-assignment problem) trong các tương tác dài hạn và phức tạp của y tế, đặc biệt là trong bối cảnh các mục tiêu phần thưởng đa chiều (chính xác, an toàn, tương tác).
Khám phá tích hợp thông tin đa phương thức (multimodal information) vào quy trình suy luận lâm sàng của mô hình, ví dụ như kết hợp dữ liệu hình ảnh y tế (MRI, X-ray) hoặc dữ liệu sinh trắc học với thông tin văn bản để đạt được chẩn đoán chính xác và toàn diện hơn.

2. Patent:

Ứng dụng "Trợ lý sức khỏe thông minh" trên điện thoại: Một ứng dụng di động có khả năng chủ động đặt câu hỏi và dẫn dắt người dùng qua quy trình thu thập thông tin về triệu chứng một cách có hệ thống, giống như một bác sĩ. Ứng dụng sẽ phân tích các câu trả lời để đưa ra đánh giá ban đầu về tình trạng sức khỏe và gợi ý các bước hành động phù hợp, ví dụ như cần thăm khám bác sĩ hay có thể tự chăm sóc tại nhà, đảm bảo không đưa ra chẩn đoán y tế cuối cùng.
Hệ thống "Kiểm chứng thông tin y tế" tích hợp trên ứng dụng tư vấn sức khỏe: Một tính năng trên ứng dụng di động cho phép người dùng nhập vào các thông tin hoặc câu hỏi y tế. Hệ thống sẽ sử dụng cơ chế "Fact Verifier" để kiểm tra độ chính xác của thông tin được cung cấp bởi ứng dụng hoặc của các tuyên bố y tế mà người dùng nhập vào, bằng cách tham chiếu với các nguồn đáng tin cậy, giúp ngăn chặn sự lan truyền của thông tin y tế sai lệch.
Chức năng "Giải thích kết quả y tế cá nhân" trên ứng dụng hồ sơ sức khỏe: Một tính năng trong ứng dụng di động quản lý hồ sơ sức khỏe cá nhân, cho phép người dùng tải lên hoặc nhập các kết quả xét nghiệm (ví dụ: máu, nước tiểu) hoặc báo cáo từ các cuộc khám bệnh. Ứng dụng sẽ sử dụng mô hình Baichuan-M3 để giải thích ý nghĩa của các chỉ số này một cách dễ hiểu, cá nhân hóa dựa trên dữ liệu y tế của người dùng, mà không đưa ra lời khuyên điều trị cụ thể.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06570
ArXiv Abstract	https://arxiv.org/abs/2602.06570
PDF Download	https://arxiv.org/pdf/2602.06570.pdf
Github Repository	https://github.com/baichuan-inc/Baichuan-M3-235B

3. AudioSAE: Towards Understanding of Audio-Processing Models with Sparse AutoEncoders (57 votes)

Tác giả: Georgii Aparin, Tasnima Sadekova, Alexey Rukhovich, Assel Yermekova, Laida Kushnareva, Vadim Popov, Kristian Kuznetsov, Irina Piontkovskaya

Xuất bản lúc: 2026-02-04

Tag: Sparse Autoencoders, Audio Processing, Model Interpretability, Deep Learning, Speech Recognition, Self-supervised Learning, Transformers

I. Main Problem:

Các mô hình xử lý âm thanh hiện đại như Whisper và HuBERT rất mạnh mẽ nhưng thiếu khả năng hiểu được các biểu diễn nội bộ của chúng. Cụ thể, việc sử dụng Sparse Autoencoders (SAEs) để giải thích các biểu diễn thần kinh trong lĩnh vực âm thanh vẫn còn chưa được khám phá đầy đủ.

II. Main Idea:

Nghiên cứu này đề xuất huấn luyện Sparse Autoencoders (SAEs) trên tất cả các lớp mã hóa (encoder layers) của các mô hình âm thanh lớn như Whisper và HuBERT. Mục tiêu là phân tách các biểu diễn dày đặc của mô hình thành các thành phần rời rạc, dễ giải thích hơn. Các ý tưởng chính bao gồm:

Đánh giá rộng rãi tính ổn định, khả năng giải thích và tiện ích thực tế của các tính năng SAE được học.
Phát triển các phương pháp xác thực tự động và phân phối để chứng minh các tính năng SAE ổn định và mã hóa thông tin ngữ nghĩa, cận ngôn ngữ và âm học.
Áp dụng các tính năng SAE để điều khiển hành vi mô hình, cụ thể là giảm ảo giác (false speech detections) trong mô hình Whisper.
Khám phá mối tương quan giữa các tính năng SAE và hoạt động EEG của con người trong quá trình nhận thức lời nói.
Cung cấp mã và các điểm kiểm tra (checkpoints) đã huấn luyện để khuyến khích nghiên cứu sâu hơn.

III. Main Results:

Tính ổn định và chất lượng tái tạo: Hơn 50% các tính năng SAE duy trì tính nhất quán trên các hạt ngẫu nhiên khác nhau, và chất lượng tái tạo được bảo toàn, với mức độ trùng lặp thấp (<5%).
Khả năng giải thích và phân tách: Các tính năng SAE thu thập thông tin âm học và ngữ nghĩa chung, cũng như các sự kiện cụ thể như tiếng ồn môi trường và âm thanh cận ngôn ngữ (ví dụ: tiếng cười, tiếng thì thầm). Chúng có khả năng phân tách hiệu quả các khái niệm, chỉ cần loại bỏ 19–27% tính năng để xóa bỏ một khái niệm.
Chuyên môn hóa miền: Whisper thể hiện sự chuyên môn hóa ở cấp độ âm thanh rõ rệt đối với âm nhạc (20–28%) và lời nói (đỉnh 13% ở các lớp giữa), trong khi các tính năng lời nói ở cấp độ khung hình đạt đỉnh muộn hơn (3.5% ở lớp 7).
Hiệu suất phân loại: Các tính năng SAE có thể được sử dụng để phân loại các nhiệm vụ âm thanh như giới tính, lời nói sạch/ồn, giọng nói và cảm xúc mà không làm giảm hiệu suất, thậm chí có thể cải thiện ở một số nhiệm vụ (ví dụ: cảm xúc). Chỉ một số lượng nhỏ tính năng (10–150 cho nhiệm vụ nhị phân) đã nắm bắt phần lớn thông tin liên quan đến nhiệm vụ.
Phân tích ngữ nghĩa: Đạt được độ chính xác cao trong phân loại nguyên âm (loại bỏ 19% tính năng cho nguyên âm 'A' vẫn giữ ổn định các nguyên âm khác). Độ chính xác cao (0.92 cho Whisper, 0.89 cho HuBERT) trong việc mã hóa và phân loại âm vị (phonemes).
Giải thích tính năng cấp khung hình: Xác định các tính năng riêng lẻ cho các khái niệm như "tiếng thì thầm", "tiếng cười", "tiếng thở dài" và "tiếng hắt hơi" thông qua phân loại dựa trên nhãn và diễn giải mel-spectrogram. Phương pháp tự động diễn giải (auto-interpretation) cũng xác định các tính năng độc đáo như "tiếng chuông báo động", "tiếng bíp cao độ", "chim hót" và "chơi guitar".
Ứng dụng thực tế (Điều khiển mô hình): Điều khiển tính năng SAE giảm 70% phát hiện lời nói sai (ảo giác) trong Whisper với mức tăng lỗi từ (WER) không đáng kể (từ 5.1% lên 5.5%), cho thấy khả năng ứng dụng trong thế giới thực.
Mối tương quan với EEG: Các tính năng SAE được tìm thấy có mối tương quan có ý nghĩa thống kê với hoạt động EEG của con người (cụ thể là điện cực Pz) trong quá trình nghe lời nói, cho thấy sự phù hợp với quá trình xử lý thần kinh của con người.

IV. Conclusion & Future Works:

Nghiên cứu này đã cung cấp một cuộc điều tra toàn diện về việc áp dụng SAE để diễn giải các mô hình âm thanh HuBERT và Whisper, xác nhận các tính năng SAE là mạnh mẽ và mã hóa thông tin có ý nghĩa. Các tính năng cấp cao liên quan đến các danh mục rộng (lời nói, âm nhạc) và các tính năng chi tiết hơn liên quan đến nội dung ngữ nghĩa (âm vị), hiện tượng cận ngôn ngữ (tiếng cười, tiếng thở dài, hắt hơi) và thuộc tính âm học đã được xác định. Hơn nữa, việc điều khiển mô hình Whisper bằng các tính năng SAE đã giảm 70% tỷ lệ dương tính giả đối với ảo giác, và một thí nghiệm bổ sung đã chứng minh mối tương quan giữa tín hiệu EEG và các tính năng SAE cụ thể.

Các hướng nghiên cứu trong tương lai:

Mở rộng đánh giá: Mở rộng đánh giá ứng dụng SAE sang các nhiệm vụ xử lý âm thanh rộng hơn như xác minh người nói, cải thiện lời nói và tạo âm thanh.
Nghiên cứu mô hình lớn hơn: Nghiên cứu các kiến trúc mô hình lớn hơn và các mô hình khác (ví dụ: Wav2Vec 2.0, WavLM) để hiểu sâu hơn về khả năng diễn giải trên các quy mô khác nhau.
Cải thiện tự động diễn giải: Phát triển các mô hình chú thích âm thanh chuyên biệt hơn để nắm bắt thông tin lời nói chi tiết hơn ở cấp độ âm vị, vượt qua các hạn chế hiện tại của phương pháp tự động diễn giải.
Phân tích EEG nâng cao: Thực hiện phân tích mối tương quan EEG toàn diện hơn bằng cách xem xét nhiều điện cực não và áp dụng các mô hình phi tuyến tính phức tạp hơn để khám phá các mối quan hệ bổ sung giữa tính năng SAE và hoạt động não bộ.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về khả năng diễn giải của các mô hình âm thanh lớn hơn (ví dụ: Wav2Vec 2.0, WavLM) bằng Sparse Autoencoders, tập trung vào việc xác định các tính năng ngữ nghĩa và âm học cấp cao.
Phát triển phương pháp điều khiển nâng cao cho các mô hình xử lý âm thanh dựa trên Sparse Autoencoders để cải thiện hiệu suất trong các tác vụ như giảm tiếng ồn hoặc xác thực người nói, đồng thời duy trì chất lượng đầu ra.
Khám phá mối tương quan giữa các tính năng Sparse Autoencoders từ các mô hình ngôn ngữ lớn âm thanh và các tín hiệu não bộ (EEG/fMRI) ở nhiều vùng não khác nhau, sử dụng các mô hình phi tuyến tính để hiểu rõ hơn về quá trình xử lý ngôn ngữ và âm thanh của con người.

2. Patent:

Hệ thống giảm thiểu ảo giác thông minh cho ứng dụng ghi âm hoặc dịch lời nói trên điện thoại di động: Một hệ thống tự động nhận diện và giảm các "ảo giác" (nhận diện lời nói sai) trong quá trình xử lý âm thanh trên điện thoại, bằng cách điều chỉnh các thành phần nội bộ của mô hình xử lý âm thanh mà không làm ảnh hưởng đáng kể đến độ chính xác nhận dạng lời nói thật.
Công nghệ nhận diện sự kiện âm thanh chi tiết cho thiết bị di động: Một công cụ tích hợp vào điện thoại để nhận diện và phân loại các sự kiện âm thanh cụ thể như tiếng cười, tiếng ho, tiếng hắt hơi, hoặc các loại tiếng ồn môi trường khác, cho phép các ứng dụng cung cấp phản hồi thông minh hoặc kích hoạt hành động dựa trên bối cảnh âm thanh.
Phương pháp cá nhân hóa trải nghiệm âm thanh dựa trên phản ứng não bộ người dùng: Một hệ thống trên điện thoại di động sử dụng phân tích hoạt động sóng não (ví dụ: từ tai nghe EEG đơn giản) để điều chỉnh các tham số xử lý âm thanh (ví dụ: lọc tiếng ồn, tăng cường lời nói) sao cho phù hợp với trạng thái nhận thức hoặc sở thích của người dùng, tạo ra trải nghiệm nghe cá nhân hóa và tối ưu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05027
ArXiv Abstract	https://arxiv.org/abs/2602.05027
PDF Download	https://arxiv.org/pdf/2602.05027.pdf
Github Repository	https://github.com/audiosae/audiosae_demo

4. OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions (55 votes)

Tác giả: Fangzhi Xu, Hang Yan, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Xuanjing Huang, Ben Kao, Jun Liu, Qika Lin

Xuất bản lúc: 2026-02-05

Tag: LLMs, Benchmarking, Autonomous Agents, Inductive Reasoning, Long-Horizon Planning, Active Exploration

I. Main Problem:

Các đánh giá hiện tại về Mô hình Ngôn ngữ Lớn (LLMs) chủ yếu tập trung vào mô hình suy diễn (deductive paradigm), nơi các tác nhân thực hiện nhiệm vụ dựa trên các quy tắc được cung cấp rõ ràng và mục tiêu tĩnh, thường trong giới hạn lập kế hoạch ngắn. Điều này bỏ qua nhu cầu thiết yếu về suy luận quy nạp (inductive necessity) để các tác nhân tự động khám phá các quy luật chuyển đổi tiềm ẩn từ kinh nghiệm. Đây là nền tảng để tác nhân có khả năng tiên đoán và duy trì sự nhất quán chiến lược trong các tương tác dài hạn, chủ động và quy nạp trong các môi trường phức tạp.

II. Main Idea:

Để giải quyết vấn đề này, bài báo giới thiệu ODYSSEYARENA, một bộ môi trường tương tác nhằm tái định hướng đánh giá tác nhân tập trung vào các tương tác dài hạn (long-horizon), chủ động (active) và quy nạp (inductive). Các tác giả đã hình thức hóa và thể hiện bốn nguyên tắc cơ bản (structural primitives) để dịch các động lực chuyển đổi trừu tượng thành các môi trường tương tác cụ thể: quy tắc biểu tượng rời rạc (discrete symbolic rules), động lực ngẫu nhiên liên tục (continuous stochastic dynamics), các mẫu định kỳ đa mục tiêu (multi-objective periodic patterns) và các phụ thuộc quan hệ (relational dependencies). Dựa trên nền tảng này, họ xây dựng ODYSSEYARENA-LITE với 120 nhiệm vụ để đo lường hiệu quả quy nạp và khả năng khám phá dài hạn của tác nhân, đồng thời giới thiệu ODYSSEYARENA-CHALLENGE để kiểm tra độ bền vững của tác nhân trong các chân trời tương tác cực đoan (ví dụ: > 200 bước).

III. Main Results:

Các thử nghiệm mở rộng trên hơn 15 LLM hàng đầu đã tiết lộ rằng ngay cả các mô hình tiên tiến nhất cũng bộc lộ sự thiếu hụt đáng kể trong các kịch bản suy luận quy nạp. Gemini 3 Pro Preview đạt tỷ lệ thành công cao nhất là 44.17%, nhưng vẫn còn cách xa hiệu suất của con người. Điều này cho thấy có một nút thắt cổ chai nghiêm trọng trong việc theo đuổi khám phá tự chủ trong các môi trường phức tạp. Các mô hình xuất sắc trong suy luận suy diễn khi được cung cấp quy tắc rõ ràng, nhưng lại suy giảm đáng kể khi phải tự mình khám phá quy luật ẩn. Phân tích cũng chỉ ra rằng việc tăng ngân sách tương tác không mang lại lợi ích đáng kể, và hành vi "lặp lại hành động" (action loops) là một chế độ lỗi phổ biến, cho thấy tác nhân không thể tổng hợp các quy luật thế giới tiềm ẩn từ các thử nghiệm không thành công.

IV. Conclusion & Future Works:

Công trình này đề xuất một sự thay đổi mô hình trong đánh giá tác nhân, từ việc tuân thủ hướng dẫn suy diễn sang mô hình hóa quy nạp dài hạn. ODYSSEYARENA là một khuôn khổ chuẩn hóa để đánh giá khả năng của tác nhân trong việc khám phá các quy luật chuyển đổi tiềm ẩn. Sự đình trệ trong hiệu suất được quan sát ở nhiều mô hình hàng đầu cho thấy một nút thắt cổ chai quy nạp cơ bản mà việc mở rộng quy mô đơn thuần không thể giải quyết. Nghiên cứu trong tương lai nên ưu tiên các kiến trúc có khả năng chắt lọc các quy luật chuyển đổi tiềm ẩn từ kinh nghiệm thô, từ đó thu hẹp khoảng cách giữa việc tuân thủ quy tắc thụ động và khám phá chủ động trong các thế giới phức tạp, năng động.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu kiến trúc LLM mới có khả năng học hỏi và tổng hợp "world models" nội tại từ các tương tác dài hạn và không rõ ràng, thay vì chỉ dựa vào suy luận suy diễn.
Phát triển phương pháp huấn luyện tác nhân LLM để tự động nhận diện và phá vỡ các "action loops" (vòng lặp hành động) thông qua cơ chế meta-learning hoặc self-reflection cải tiến, nhằm nâng cao hiệu quả khám phá.
Khám phá việc tích hợp các mô hình quy nạp chuyên biệt (ví dụ: mô hình dự đoán chuỗi thời gian cho các mẫu định kỳ, mô hình đồ thị cho quan hệ phụ thuộc) vào khung kiến trúc LLM tổng thể để cải thiện khả năng suy luận quy nạp trong các môi trường đa dạng.

2. Patent:

Một ứng dụng di động thông minh giúp người dùng lập kế hoạch và tối ưu hóa chi tiêu năng lượng tại nhà dựa trên việc tự động học hỏi các mẫu tiêu thụ và giá điện theo chu kỳ, cảnh báo sớm các vi phạm ngân sách hoặc giới hạn sử dụng.
Hệ thống quản lý ứng dụng tự động trên điện thoại, có khả năng phát hiện và giải quyết xung đột phiên bản giữa các ứng dụng hoặc thư viện phần mềm bằng cách suy luận các phụ thuộc tiềm ẩn, đảm bảo tất cả các chức năng hoạt động mượt mà.
Một trợ lý cá nhân trên điện thoại có thể học hỏi thói quen của người dùng và các quy tắc ẩn trong các ứng dụng (ví dụ: trình tự các bước để hoàn thành một tác vụ phức tạp trong một ứng dụng chỉnh sửa ảnh), sau đó tự động thực hiện các tác vụ dài hạn cho người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05843
ArXiv Abstract	https://arxiv.org/abs/2602.05843
PDF Download	https://arxiv.org/pdf/2602.05843.pdf
Github Repository	https://github.com/xufangzhi/Odyssey-Arena

5. On the Entropy Dynamics in Reinforcement Fine-Tuning of Large Language Models (52 votes)

Tác giả: Shumin Wang, Yuexiang Xie, Wenhao Zhang, Yuchang Sun, Yanxi Chen, Yaliang Li, Yanyong Zhang

Xuất bản lúc: 2026-02-03

Tag: LLMs, Reinforcement Learning, Fine-tuning, Entropy Dynamics, Policy Optimization

I. Main Problem:

Thiếu một hiểu biết có nguyên tắc về động lực entropy trong quá trình tinh chỉnh tăng cường (RFT) của các mô hình ngôn ngữ lớn (LLM). Điều này dẫn đến việc các phương pháp hiện có thường dựa vào thiết kế phỏng đoán, xử lý entropy một cách cô lập và đơn giản hóa việc điều chỉnh nó. Sự khác biệt trong việc các phương pháp này khuyến khích hay ức chế entropy cho thấy một sự thiếu hụt cơ bản trong hiểu biết sâu sắc về động lực entropy, gây ra việc điều chỉnh siêu tham số tốn công mà không có hướng dẫn rõ ràng và cản trở việc tối ưu hóa hiệu quả RFT.

II. Main Idea:

Bài báo đề xuất một khung lý thuyết để phân tích động lực entropy trong RFT, bắt đầu bằng việc lượng hóa sự thay đổi entropy dưới một cập nhật logit đơn lẻ. Từ đó, xây dựng một biểu thức thay đổi entropy bậc nhất, sau đó mở rộng thành công thức cập nhật của Tối ưu hóa Chính sách Tương đối Nhóm (GRPO). Khung này giới thiệu một điểm phân biệt entropy (S*) xác định hướng thay đổi entropy dựa trên hướng cập nhật token và xác suất của token đó. Dựa trên phân tích này, bài báo thiết kế các phương pháp kiểm soát entropy mới, cụ thể là Clipping dựa trên điểm phân biệt entropy được chuẩn hóa theo Batch (ClipB) và theo Từ vựng (ClipV), nhằm ổn định entropy và thúc đẩy khả năng khám phá của mô hình.

III. Main Results:

Khung Lý thuyết: Đề xuất một khung lý thuyết lượng hóa sự thay đổi entropy của token trong quá trình tối ưu hóa chính sách. Định hướng thay đổi entropy được xác định bởi dấu của hướng cập nhật token (ε) và điểm phân biệt S*, đồng thời mở rộng để phân tích sự thay đổi entropy dưới một bước tối ưu hóa GRPO, cho thấy sự thay đổi được điều chỉnh bởi sự sai lệch của S* so với kỳ vọng có trọng số chính sách Ei∼p[Si].
Giải thích Hiện tượng Sụp đổ Entropy: Khung này giải thích hiện tượng sụp đổ entropy nhanh chóng khi LLM được thưởng liên tục cho các phản hồi có xác suất cao và "an toàn".
Phương pháp Kiểm soát Entropy mới: Đề xuất hai phương pháp cắt tỉa (clipping) dựa trên điểm phân biệt entropy: ClipB (chuẩn hóa theo batch) và ClipV (chuẩn hóa theo từ vựng), giúp điều chỉnh entropy một cách linh hoạt và hiệu quả với chi phí tính toán tối thiểu.
Diễn giải Phương pháp Hiện có: Cung cấp một lăng kính thống nhất để diễn giải các phương pháp kiểm soát entropy hiện có (cơ chế clipping, điều hòa entropy, cập nhật có trọng số xác suất), cho thấy chúng hoạt động bằng cách khuếch đại các hiệu ứng tăng entropy hoặc triệt tiêu các hiệu ứng giảm entropy.
Kết quả Thực nghiệm: Thực nghiệm chứng minh rằng dấu của điểm phân biệt S* là một yếu tố dự đoán đáng tin cậy về ảnh hưởng của token đến động lực entropy. Các phương pháp ClipB và ClipV được đề xuất thành công trong việc giảm thiểu sự suy giảm entropy, duy trì khả năng khám phá và đạt được cải thiện hiệu suất đáng kể trên nhiều bộ dữ liệu toán học (AIME24, AIME25, DAPO500) và các mô hình cơ sở (Qwen2.5-7B-Instruct, Qwen2.5-14B-Instruct) so với GRPO tiêu chuẩn, thể hiện cải thiện ở cả Avg@K và Pass@K.

IV. Conclusion & Future Works:

Nghiên cứu này thiết lập một khung lý thuyết toàn diện, cung cấp sự hiểu biết có nguyên tắc về động lực entropy trong Tinh chỉnh tăng cường (RFT) của LLM. Bằng cách định lượng sự thay đổi entropy và mở rộng phân tích đến bước tối ưu hóa GRPO, bài báo đã làm sáng tỏ rằng sự biến động entropy phát sinh từ hiệu ứng tổng hợp của hướng cập nhật token, xác suất của nó và entropy của chính sách. Những hiểu biết này không chỉ giải thích hiện tượng sụp đổ entropy thường thấy mà còn hướng dẫn phát triển các chiến lược kiểm soát entropy và thống nhất cách diễn giải các phương pháp dựa trên entropy hiện có. Hy vọng khung lý thuyết này có thể thúc đẩy sự hiểu biết rõ ràng về các cơ chế cơ bản của động lực entropy trong RFT, qua đó đẩy nhanh tiến độ trong lĩnh vực này.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về ảnh hưởng của các hàm thưởng khác nhau và chiến lược lấy mẫu trong RFT đến động lực entropy và cân bằng khám phá-khai thác của LLM.
Mở rộng khung lý thuyết động lực entropy để bao gồm các dạng regularizer entropy phức tạp hơn (ví dụ: KL-divergence penalty động, entropy bonus thích ứng) và phân tích tương tác của chúng.
Phát triển các phương pháp kiểm soát entropy thích ứng tự động điều chỉnh ngưỡng clipping hoặc trọng số dựa trên các đặc điểm động lực entropy theo thời gian thực của mô hình.

2. Patent:

Hệ thống tối ưu hóa phản hồi AI trên điện thoại di động: Một ứng dụng di động sử dụng thuật toán tối ưu hóa phản hồi dựa trên phân biệt entropy để điều chỉnh động thái của mô hình ngôn ngữ lớn (LLM) tích hợp, giúp người dùng nhận được các gợi ý hoàn thành văn bản, trả lời tin nhắn hoặc tạo nội dung sáng tạo trên điện thoại của họ một cách đa dạng và phù hợp hơn, tránh các phản hồi lặp lại hoặc thiếu sáng tạo.
Công cụ điều chỉnh khám phá nội dung tự động cho ứng dụng: Một module phần mềm cho các ứng dụng di động (ví dụ: ứng dụng tạo văn bản, trợ lý ảo) tự động điều chỉnh mức độ đa dạng của nội dung do AI tạo ra. Module này sử dụng các kỹ thuật cắt tỉa (clipping) dựa trên điểm phân biệt entropy để ngăn chặn mô hình trở nên quá chuyên biệt hoặc lặp lại, đảm bảo các đề xuất hoặc bản nháp ban đầu luôn phong phú và mang tính khám phá, đặc biệt hữu ích cho việc viết kịch bản, email hoặc ý tưởng sáng tạo trên điện thoại.
Hệ thống phản hồi đa dạng cá nhân hóa trên thiết bị di động: Một tính năng trên điện thoại thông minh cho phép người dùng kiểm soát mức độ "sáng tạo" hoặc "khám phá" của các phản hồi từ trợ lý AI hoặc công cụ viết tích hợp. Hệ thống sẽ sử dụng một cơ chế ẩn để điều chỉnh động lực entropy của LLM dựa trên tùy chọn của người dùng, chẳng hạn như "tăng tính đa dạng" hoặc "ổn định phản hồi", giúp cá nhân hóa trải nghiệm mà không yêu cầu người dùng hiểu sâu về các tham số kỹ thuật.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.03392
ArXiv Abstract	https://arxiv.org/abs/2602.03392
PDF Download	https://arxiv.org/pdf/2602.03392.pdf
Github Repository	https://github.com/agentscope-ai/Trinity-RFT

6. MSign: An Optimizer Preventing Training Instability in Large Language Models via Stable Rank Restoration (32 votes)

Tác giả: Lianhai Ren, Yucheng Ding, Xiao Liu, Qianxiao Li, Peng Cheng, Yeyun Gong

Xuất bản lúc: 2026-02-02

Tag: LLMs, Optimizers, Training Stability, Gradient Explosion, Stable Rank, SVD

I. Main Problem:

Sự mất ổn định trong quá trình huấn luyện các Mô hình Ngôn ngữ Lớn (LLM), thường biểu hiện qua sự bùng nổ gradient đột ngột, không thể phục hồi, làm lãng phí đáng kể tài nguyên tính toán. Nghiên cứu xác định hai hiện tượng chính dẫn đến sự sụp đổ: (1) giảm nhanh chóng hạng ổn định (stable rank) của ma trận trọng số, và (2) tăng cường sự căn chỉnh (alignment) giữa các Jacobian của các lớp liền kề.

II. Main Idea:

Nghiên cứu chứng minh về mặt lý thuyết rằng hai hiện tượng trên (hạng ổn định thấp và căn chỉnh Jacobian cao) cùng nhau gây ra sự tăng trưởng lũy thừa của chuẩn gradient theo chiều sâu mạng, dẫn đến mất ổn định. Để phá vỡ cơ chế mất ổn định này, các tác giả đề xuất MSign, một bộ tối ưu hóa mới, giúp ngăn chặn thất bại huấn luyện bằng cách định kỳ áp dụng phép toán dấu ma trận (matrix sign operation) để khôi phục hạng ổn định của ma trận trọng số. Phép toán dấu ma trận sign(W) = UV^T (từ phân rã SVD W=USV^T) được sử dụng để đặt tất cả các giá trị riêng khác 0 thành 1, tối đa hóa hạng ổn định trong khi bảo toàn không gian cột và hàng. Sau đó, chuẩn Frobenius ban đầu của ma trận được khôi phục. MSign được áp dụng định kỳ (ví dụ, mỗi P=100 bước) và có thể được nhắm mục tiêu vào các lớp quan trọng, đặc biệt là các lớp attention.

III. Main Results:

MSign ngăn chặn hiệu quả các thất bại huấn luyện trên các mô hình từ 5 triệu đến 3 tỷ tham số, bao gồm NanoGPT-5M, Sigma-40M, LLaMA-1B và LLaMA-MoE-3B. Trong các thử nghiệm, quá trình huấn luyện cơ sở thường sụp đổ với các gai mất mát đột ngột và sự bùng nổ gradient theo cấp số nhân (đạt 10^1–10^7), trong khi huấn luyện với MSign duy trì sự hội tụ ổn định và giữ chuẩn gradient trong giới hạn (dưới 10^0). MSign đạt được điều này với chi phí tính toán bổ sung dưới 7.0%, mặc dù chi phí đo được trong thực tế có thể cao hơn lý thuyết do các yếu tố triển khai như giao tiếp phân tán và gián đoạn kernel FlashAttention. Nghiên cứu bóc tách cho thấy MSign phải được áp dụng cho các lớp attention để ngăn chặn sự sụp đổ, và việc áp dụng cho tất cả các tham số 2D (bao gồm cả MLP) còn cải thiện chất lượng mô hình cuối cùng. MSign hoạt động mạnh mẽ trên một phạm vi rộng các chu kỳ áp dụng P (từ 10 đến 10.000), với P=100 được khuyến nghị để cân bằng giữa sự ổn định và chi phí tính toán.

IV. Conclusion & Future Works:

Kết luận: Công trình đã xác định và phân tích vòng lặp phản hồi sụp đổ hạng ổn định là một cơ chế cơ bản gây mất ổn định trong huấn luyện LLM. Bộ tối ưu hóa MSign phá vỡ vòng lặp này bằng cách định kỳ khôi phục hạng ổn định thông qua phép toán dấu ma trận, từ đó ngăn chặn các thất bại huấn luyện với chi phí tối thiểu. Các hướng nghiên cứu trong tương lai:

Phát triển lịch trình áp dụng MSign thích ứng (adaptive scheduling).
Nghiên cứu các kernel hợp nhất (fused kernels) để giảm độ trễ khi áp dụng MSign.
Mở rộng ứng dụng MSign sang các vấn đề bệnh lý huấn luyện khác.
Đặc trưng hóa đầy đủ hơn các điều kiện mà cơ chế phản hồi hạng ổn định chiếm ưu thế và nới lỏng các giả định lý thuyết mạnh mẽ hơn.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các thuật toán tối ưu hóa thích ứng để duy trì hạng ổn định, không chỉ dựa vào việc áp dụng định kỳ mà còn dựa trên các tín hiệu động học trong quá trình huấn luyện (ví dụ: ngưỡng hạng ổn định, chuẩn gradient), mở rộng nghiên cứu về adaptive scheduling.
Khám phá việc áp dụng các kỹ thuật khôi phục hạng ma trận tương tự MSign cho các kiến trúc mạng thần kinh ngoài Transformers, như CNN hoặc GNN, để xem xét liệu các cơ chế mất ổn định liên quan đến hạng ma trận có tồn tại và liệu giải pháp này có thể được tổng quát hóa.
Nghiên cứu sâu hơn về tác động của việc khôi phục chuẩn Frobenius sau phép toán dấu ma trận và đề xuất các lược đồ thay đổi tỷ lệ ma trận có nguyên tắc hơn để cải thiện chất lượng mô hình cuối cùng và sự ổn định.

2. Patent:

Một hệ thống phần mềm nhúng vào các framework học máy trên điện thoại thông minh để tự động phát hiện các dấu hiệu sắp sụp đổ huấn luyện (ví dụ: giảm hạng ổn định nhanh, tăng chuẩn gradient) của các mô hình AI đang được tinh chỉnh trên thiết bị. Hệ thống này có thể kích hoạt các thuật toán khôi phục hạng ma trận tương tự như MSign để duy trì quá trình học tập ổn định mà không yêu cầu can thiệp thủ công từ người dùng.
Một bộ điều khiển phần mềm cho các ứng dụng AI trên điện thoại di động sử dụng phương pháp tối ưu hóa MSign hoặc tương tự để đảm bảo hiệu suất học máy ổn định. Bằng cách ngăn chặn các lần huấn luyện thất bại và lãng phí tài nguyên, hệ thống này giúp giảm tiêu thụ pin và kéo dài tuổi thọ thiết bị khi người dùng huấn luyện hoặc cập nhật mô hình cục bộ trên điện thoại.
Trong học máy liên kết (Federated Learning) trên điện thoại di động, khi nhiều thiết bị cùng tham gia huấn luyện một mô hình chung, hệ thống MSign có thể được tích hợp để ổn định đóng góp từ mỗi điện thoại, ngăn chặn các đóng góp có tính chất "hạng ổn định thấp" hoặc "gradient bùng nổ" làm mất ổn định quá trình học liên kết tổng thể. Điều này giúp bảo vệ tính toàn vẹn của mô hình mà không cần chia sẻ dữ liệu nhạy cảm, cải thiện độ tin cậy của AI trên các thiết bị phân tán.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.01734
ArXiv Abstract	https://arxiv.org/abs/2602.01734
PDF Download	https://arxiv.org/pdf/2602.01734.pdf
Github Repository	N/A

7. Pisets: A Robust Speech Recognition System for Lectures and Interviews (31 votes)

Tác giả: Ivan Bondarenko, Daniil Grebenkin, Oleg Sedukhin, Mikhail Klementev, Roman Derunets, Lyudmila Budneva

Xuất bản lúc: 2026-01-26

Tag: Speech Recognition, ASR, Deep Learning, Transformer, Uncertainty Estimation, Curriculum Learning, Voice Activity Detection

I. Main Problem:

Các hệ thống nhận dạng giọng nói hiện tại (đặc biệt là mô hình Whisper) gặp phải các vấn đề về độ chính xác, lỗi và hallucinations, đặc biệt trong điều kiện âm thanh đa dạng và khi xử lý dữ liệu âm thanh dài.

Cụ thể, Whisper có giới hạn trong việc tạo ra kết quả không nhất quán về mặt ngữ nghĩa hoặc không hợp lý theo ngữ cảnh, và hiệu suất tính toán kém hiệu quả, gây độ trễ đáng kể.

Nhu cầu về một hệ thống nhận dạng giọng nói mạnh mẽ, đáng tin cậy và chính xác cho các nhà khoa học và nhà báo khi xử lý các bản ghi âm phỏng vấn và cuộc họp là rất cao.

II. Main Idea:

Giới thiệu "Pisets", một hệ thống chuyển giọng nói thành văn bản (speech-to-text) với kiến trúc ba thành phần độc đáo, được thiết kế để nâng cao độ chính xác nhận dạng giọng nói, đồng thời giảm thiểu lỗi và hallucinations liên quan đến mô hình Whisper.

Kiến trúc ba thành phần:

Nhận dạng sơ cấp dựa trên Wav2Vec2: Sử dụng mô hình Wav2Vec2 để xác định ranh giới các đoạn chứa giọng nói một cách chính xác, hoạt động như một hệ thống Phát hiện Hoạt động Giọng nói (VAD) nâng cao.
Lọc dương tính giả bằng Audio Spectrogram Transformer (AST): Áp dụng AST để lọc bỏ các đoạn giọng nói không tồn tại mà có thể bị nhận dạng nhầm, giúp giảm hallucinations, đặc biệt trong môi trường ồn ào hoặc điều kiện âm thanh phức tạp.
Nhận dạng giọng nói cuối cùng bằng Whisper: Sử dụng mô hình Whisper cho giai đoạn nhận dạng cuối cùng, với dữ liệu đầu vào đã được xử lý sơ bộ bởi hai thành phần trước.

Các phương pháp bổ sung:

Áp dụng phương pháp học theo chương trình (curriculum learning) và sử dụng các bộ dữ liệu giọng nói tiếng Nga đa dạng để nâng cao hiệu quả nhận dạng.
Tích hợp các kỹ thuật mô hình hóa sự không chắc chắn tiên tiến để cải thiện chất lượng bản ghi, cho phép người dùng nhanh chóng xác định các phần cần chỉnh sửa thủ công hoặc từ chối các cụm từ khó nghe.
Thực hiện kiểm tra tính nhất quán giữa đầu ra của Whisper và Wav2Vec2 để giảm thiểu sai sót.
Tinh chỉnh mô hình Whisper bằng thuật toán BIRM (Bayesian Invariant Risk Minimization) và xây dựng một "môi trường giọng nói" với các bộ dữ liệu chú thích có tỷ lệ lỗi tối thiểu.

III. Main Results:

Hệ thống Pisets đã chứng minh hiệu suất vượt trội so với WhisperX và mô hình Whisper thông thường trong việc chuyển ngữ dữ liệu âm thanh dài trong nhiều điều kiện âm thanh khác nhau.

Kết quả so sánh với WhisperX trên bộ dữ liệu bài giảng âm thanh dài:

Pisets đạt tỷ lệ lỗi từ (WER) thấp hơn đáng kể: 0.1065 so với 0.1683 của WhisperX.
Pisets đạt điểm BERT-score (F1) cao hơn: 0.9652 so với 0.9479 của WhisperX, cho thấy chất lượng ngữ nghĩa tốt hơn của bản ghi.

Hiệu quả tính toán:

Phương pháp phân đoạn thông minh bằng Wav2Vec2 giúp tăng hiệu quả tính toán, với thời gian suy luận (inference time) tốt hơn so với phân đoạn đồng nhất của Whisper gốc.

Mô hình hóa sự không chắc chắn:

Các thí nghiệm cho thấy việc đánh dấu khoảng 5% số từ là không chắc chắn có thể thu được tới 35% tổng số lỗi (không bao gồm lỗi do bỏ sót từ), làm cho phương pháp này rất hữu ích trong thực tế.

Đánh giá thực tế:

Hệ thống Pisets được các chuyên gia ngôn ngữ học tại sự kiện "Total Dictation" đánh giá là "tốt" (điểm B), với số lỗi chính tả và dấu câu ít hơn hầu hết những người tham gia viết cùng văn bản.

IV. Conclusion & Future Works:

Kết luận: Khung làm việc "Pisets" giới thiệu một phương pháp mới nhằm cải thiện đáng kể các hệ thống nhận dạng giọng nói, giải quyết hiệu quả các thách thức như hallucinations, khả năng thích ứng miền và biến đổi âm thanh-ngôn ngữ. Sự kết hợp của Wav2Vec2 cho phân đoạn giọng nói, AST để lọc dương tính giả và Whisper cho chuyển ngữ cuối cùng đã giảm đáng kể lỗi trong nhiều điều kiện âm thanh. Việc tích hợp các bộ dữ liệu tiếng Nga đa dạng cùng với việc sử dụng mô hình BIRM để tinh chỉnh đã tăng cường tính mạnh mẽ của hệ thống, dẫn đến sự phát triển một hệ thống đáng tin cậy, có khả năng cung cấp bản ghi chất lượng cao trong nhiều tình huống, bao gồm cả đọc chính tả tự động và hệ thống AI đàm thoại.

Công việc tương lai:

Mở rộng khả năng xử lý sự không chắc chắn và nâng cao hiệu quả của các phương pháp mô hình hóa sự không chắc chắn.
Nâng cao khả năng thích ứng của hệ thống với các bộ dữ liệu đa ngôn ngữ, cho phép nhận dạng hiệu quả hơn giọng nói tiếng Anh của người không nói tiếng bản xứ, cũng như các ngôn ngữ khác như tiếng Bengali và tiếng Tây Ban Nha.
Để giải quyết hạn chế về nhận dạng từ đồng âm và các từ/cụm từ có đặc điểm ngữ âm tương tự, kế hoạch là tích hợp các mô hình đa phương thức lớn (ví dụ: Qwen-Audio) để kết hợp mức độ hiểu biết ngữ nghĩa và ngữ dụng (pragmatics).
Tiếp tục nghiên cứu việc sử dụng các mô hình ngôn ngữ lớn (LLM) để giải quyết các mâu thuẫn trong bản ghi dựa trên kiến thức ngôn ngữ và lẽ thường, nhằm giảm WER.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về các phương pháp mô hình hóa sự không chắc chắn, bao gồm so sánh các phương pháp Test-Time Augmentation (TTA) khác nhau và Monte Carlo Dropout, cũng như tối ưu hóa việc sử dụng các gợi ý không chắc chắn để đề xuất các tùy chọn chỉnh sửa.
Phát triển và đánh giá khả năng thích ứng đa ngôn ngữ của hệ thống Pisets, đặc biệt tập trung vào việc cải thiện nhận dạng giọng nói của người không nói tiếng bản xứ và mở rộng hỗ trợ cho các ngôn ngữ khác ngoài tiếng Nga.
Tích hợp và đánh giá các mô hình đa phương thức lớn (ví dụ: Qwen-Audio) để nâng cao khả năng hiểu ngữ nghĩa và ngữ dụng của hệ thống, nhằm giải quyết các thách thức trong việc nhận dạng từ đồng âm và các cụm từ tương tự ngữ âm.

2. Patent:

Một ứng dụng ghi âm và chuyển giọng nói thành văn bản trên điện thoại di động có khả năng tự động đánh dấu các từ hoặc cụm từ mà hệ thống không chắc chắn về độ chính xác. Tính năng này cho phép người dùng nhanh chóng xem lại và chỉnh sửa thủ công chỉ những phần được đánh dấu, giúp tiết kiệm thời gian và công sức so với việc phải đọc lại toàn bộ bản ghi dài.
Một công nghệ trên điện thoại di động giúp tối ưu hóa việc xử lý các bản ghi âm dài bằng cách tự động chia nhỏ chúng thành các đoạn nhỏ hơn dựa trên việc phát hiện giọng nói thông minh (không phải chỉ cắt ngẫu nhiên theo thời gian). Sau đó, ứng dụng sẽ xử lý song song các đoạn này để giảm đáng kể thời gian chuyển đổi giọng nói thành văn bản, rất hữu ích cho việc ghi lại các cuộc phỏng vấn, bài giảng hoặc cuộc họp dài trên điện thoại.
Một tính năng ứng dụng di động cho phép lọc bỏ các âm thanh không phải giọng nói, tiếng ồn nền hoặc các đoạn thoại không liên quan khỏi bản ghi âm trước khi chuyển đổi thành văn bản. Tính năng này sử dụng một "bộ lọc âm thanh thông minh" để đảm bảo rằng chỉ có giọng nói chính xác và rõ ràng mới được gửi đi xử lý, giúp bản ghi cuối cùng sạch sẽ, chính xác hơn và giảm thiểu hallucinations từ môi trường ồn ào.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.18415
ArXiv Abstract	https://arxiv.org/abs/2601.18415
PDF Download	https://arxiv.org/pdf/2601.18415.pdf
Github Repository	https://github.com/bond005/pisets

8. DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos (27 votes)

Tác giả: Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng, Yuzhu Dong, Kaichun Mo, Chen-Hsuan Lin, Qianli Ma, Seungjun Nah, Loic Magne, Jiannan Xiang, Yuqi Xie, Ruijie Zheng, Dantong Niu, You Liang Tan, K. R. Zentner, George Kurian, Suneel Indupuru, Pooya Jannaty, Jinwei Gu, Jun Zhang, Jitendra Malik, Pieter Abbeel, Ming-Yu Liu, Yuke Zhu, Joel Jang, Linxi "Jim" Fan

Xuất bản lúc: 2026-02-06

Tag: World Model, Robot Learning, Diffusion Model, Generalist AI, Computer Vision

I. Main Problem:

Việc mô phỏng kết quả hành động trong các môi trường đa dạng là một thách thức lớn cho sự phát triển của các tác nhân robot tổng quát (generalist agents). Đặc biệt đối với các nhiệm vụ robot khéo léo, việc mô hình hóa động lực thế giới gặp phải nhiều khó khăn do:

Phạm vi dữ liệu hạn chế và nhãn hành động khan hiếm: Dữ liệu robot thường có phạm vi hẹp do sự đa dạng của phần cứng và chi phí thu thập cao, không thể bao quát hết vô số môi trường thực tế.
Kiểm soát hành động: Các mô hình thế giới video hiện có chủ yếu chỉ dừng lại ở các điều khiển rời rạc, chưa tiến bộ tương tự với không gian hành động đa chiều, giàu tiếp xúc của robot.
Hiểu biết về nguyên nhân-kết quả: Dữ liệu hiện có chủ yếu là các bản trình diễn của chuyên gia, thiếu tính ngẫu nhiên về ý định, hạn chế khả năng học được khả năng điều khiển hành động mạnh mẽ. Huấn luyện đơn thuần trên các video thụ động bỏ qua mối quan hệ nhân quả giữa quan sát và hành động, dẫn đến việc chuyển giao kiến thức kém hiệu quả cho mô phỏng thế giới có điều kiện hành động.
Thách thức về thực thi: Việc chuyển đổi các định dạng hành động khác nhau thành một định dạng thống nhất đòi hỏi nỗ lực kỹ thuật đáng kể.
Hiệu suất thời gian thực: Các mô hình khuếch tán video hiện có thường bị giới hạn về tốc độ suy luận (do kiến trúc attention hai chiều và số bước khử nhiễu lớn), gây khó khăn cho việc dự đoán thời gian thực và tính nhất quán dài hạn.

II. Main Idea:

DreamDojo giới thiệu một mô hình thế giới nền tảng (foundation world model) cho các tác vụ robot khéo léo trong thế giới mở, học hỏi các tương tác đa dạng và điều khiển khéo léo từ 44.000 giờ video egocentric của con người. Các ý tưởng chính bao gồm:

Sử dụng dữ liệu video con người quy mô lớn: Tập hợp bộ dữ liệu video egocentric lớn nhất từ trước đến nay (DreamDojo-HV) với 44.000 giờ, bao gồm nhiều kịch bản hàng ngày, đối tượng và kỹ năng đa dạng để học vật lý và động lực tương tác.
Hành động tiềm ẩn liên tục (Continuous Latent Actions) làm hành động proxy thống nhất: Giải quyết sự khan hiếm nhãn hành động bằng cách giới thiệu các hành động tiềm ẩn liên tục được trích xuất một cách tự giám sát từ video. Điều này tăng cường chuyển giao kiến thức tương tác từ các video không có nhãn, đảm bảo khả năng chuyển giao vật lý và khả năng kiểm soát khi dữ liệu mở rộng.
Huấn luyện hậu kỳ (Post-training) trên dữ liệu robot mục tiêu: Sau huấn luyện tiền kỳ, mô hình được huấn luyện hậu kỳ trên một lượng nhỏ dữ liệu robot mục tiêu để thích ứng với các hình thái robot khác nhau, đặc biệt là điều chỉnh lớp điều kiện hành động.
Kiến trúc và phương pháp huấn luyện tiên tiến:
- Chuyển đổi tư thế khớp robot thành hành động tương đối để giảm độ phức tạp mô hình.
- Tiêm hành động vào các khung tiềm ẩn dưới dạng các chunk (khối) để giảm nhiễu và cải thiện hiệu quả học tập về mối quan hệ nhân quả.
- Sử dụng hàm mất mát kết hợp giữa flow matching loss và temporal consistency loss để đẩy nhanh việc học khả năng điều khiển hành động và nâng cao tính hoàn chỉnh của đối tượng.
Quy trình chưng cất (Distillation Pipeline) thời gian thực: Phát triển một quy trình chưng cất dựa trên Self Forcing để tăng tốc DreamDojo lên 10.81 FPS và cải thiện tính nhất quán theo ngữ cảnh dài hạn, biến nó thành mô hình khuếch tán tự hồi quy với số bước ít.

III. Main Results:

DreamDojo thể hiện sự hiểu biết sâu sắc về vật lý và khả năng điều khiển hành động chính xác sau giai đoạn huấn luyện hậu kỳ trên dữ liệu robot mục tiêu.
Quy trình chưng cất cho phép DreamDojo đạt tốc độ thời gian thực 10.81 FPS ở độ phân giải 640x480 và cải thiện tính nhất quán theo ngữ cảnh, có thể tương tác trong hơn 1 phút mà không bị suy giảm chất lượng.
Bộ dữ liệu DreamDojo-HV bao gồm 44.711 giờ video, trở thành bộ dữ liệu tương tác con người lớn nhất và đa dạng nhất cho việc tiền huấn luyện World Model, vượt trội hơn các bộ dữ liệu trước đây về thời lượng (gấp 15 lần), số kỹ năng (gấp 96 lần) và số cảnh (gấp 2.000 lần).
Phương pháp điều kiện hóa hành động tiềm ẩn (latent action conditioning) đạt hiệu suất tương đương với các thiết lập lý tưởng (như hành động retargeted hoặc MANO) về chất lượng mô phỏng và có khả năng mở rộng tốt nhất.
Đánh giá có hệ thống trên nhiều điểm chuẩn OOD (out-of-distribution) đầy thách thức xác nhận tầm quan trọng của phương pháp trong việc mô phỏng các tác vụ giàu tiếp xúc trong thế giới mở.
DreamDojo cho phép một số ứng dụng quan trọng dựa trên các World Model tạo sinh như điều khiển từ xa trực tiếp (live teleoperation), đánh giá chính sách (policy evaluation) và lập kế hoạch dựa trên mô hình (model-based planning).

IV. Conclusion & Future Works:

DreamDojo là một mô hình thế giới nền tảng tiên phong dành cho robot đa năng, có khả năng học hỏi các tương tác đa dạng và điều khiển khéo léo từ video con người quy mô lớn. Bằng cách giới thiệu các hành động tiềm ẩn liên tục như hành động proxy thống nhất và một quy trình chưng cất hiệu quả, DreamDojo đạt được khả năng khái quát hóa zero-shot tới các đối tượng chưa từng thấy và môi trường mới, đồng thời cung cấp khả năng mô phỏng theo thời gian thực. Công trình này mở đường cho các mô hình thế giới robot đa năng, giúp tăng tốc đáng kể sự phát triển của các chính sách robot thông qua các ứng dụng như điều khiển từ xa trực tiếp, đánh giá chính sách và lập kế hoạch dựa trên mô hình.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về các kiến trúc và phương pháp Latent Action để cải thiện khả năng chuyển giao kiến thức qua các hình thái (embodiments) robot khác nhau, đặc biệt trong các kịch bản tương tác phức tạp và đòi hỏi sự tinh tế cao.
Khám phá các phương pháp mới để tự động hóa việc thu thập và chú thích dữ liệu video con người quy mô lớn, nhằm tăng cường hơn nữa sự đa dạng và độ chính xác của các World Model tương lai, đồng thời giải quyết các vấn đề về quyền riêng tư và đạo đức dữ liệu.
Phát triển các kỹ thuật chưng cất (distillation) tiên tiến hơn để duy trì chất lượng dự đoán của World Model trên các chân trời thời gian dài hơn (long-horizon) và tích hợp khả năng học tập liên tục (continual learning) để thích nghi với môi trường mới mà không cần huấn luyện lại toàn bộ.

2. Patent:

Hệ thống mô phỏng tương tác vật lý tăng cường cho thiết bị di động: Một ứng dụng trên điện thoại thông minh cho phép người dùng xem trước cách các vật thể trong môi trường thực sẽ tương tác với nhau khi có một hành động tác động lên chúng. Ví dụ, người dùng có thể dùng camera điện thoại để chọn một vật thể và mô phỏng cách nó sẽ rơi, lăn, hoặc tương tác với các vật khác khi được đẩy bằng một lực nhất định, hỗ trợ việc lập kế hoạch cho các tác vụ sắp xếp hoặc di chuyển đồ vật trong nhà.
Trợ lý hướng dẫn hành động robot cá nhân hóa qua camera điện thoại: Một hệ thống di động sử dụng camera điện thoại để quan sát hành động của con người khi thực hiện một nhiệm vụ, sau đó chuyển đổi hành động đó thành các lệnh điều khiển phù hợp cho robot cá nhân. Ứng dụng này có thể giúp người dùng "dạy" robot của họ thực hiện các công việc nhà đơn giản bằng cách chỉ cần thực hiện động tác trước camera, và robot sẽ học cách lặp lại hành động đó trong môi trường của nó, nâng cao khả năng tự động hóa gia đình.
Mô hình dự đoán hậu quả hành động cho ứng dụng thực tế ảo/tăng cường trên điện thoại: Phát triển một công nghệ cho phép các ứng dụng thực tế tăng cường (AR) trên điện thoại hiển thị trước các hậu quả của một chuỗi hành động được dự định thực hiện trong thế giới thực. Ví dụ, trước khi di chuyển một vật nặng, ứng dụng có thể mô phỏng và hiển thị cảnh báo nếu vật đó có thể va chạm hoặc làm hỏng vật khác, hoặc nếu robot thực hiện một hành động nào đó, nó có thể cho người dùng thấy kết quả dự kiến trên màn hình điện thoại, giúp đưa ra quyết định tốt hơn và tránh rủi ro.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06949
ArXiv Abstract	https://arxiv.org/abs/2602.06949
PDF Download	https://arxiv.org/pdf/2602.06949.pdf
Github Repository	N/A

9. Self-Improving World Modelling with Latent Actions (26 votes)

Tác giả: Yifu Qiu, Zheng Zhao, Waylon Li, Yftah Ziser, Anna Korhonen, Shay B. Cohen, Edoardo M. Ponti

Xuất bản lúc: 2026-02-05

Tag: LLMs, VLMs, World Modelling, Reinforcement Learning, Variational Inference, Self-Improvement

I. Main Problem:

Mô hình hóa thế giới nội tại (dự đoán chuyển đổi trạng thái X sang Y dưới tác động của hành động Z) là cần thiết cho các mô hình ngôn ngữ lớn (LLM) và mô hình ngôn ngữ thị giác (VLM). Tuy nhiên, việc học các mô hình này đòi hỏi dữ liệu quỹ đạo được gán nhãn hành động rất tốn kém. Đối với các tác vụ trong thế giới mở, việc thu thập nhãn hành động thủ công cho mọi chuyển đổi là không khả thi. Ngoài ra, tính mơ hồ cố hữu của động lực học ngược (inverse dynamics)—một chuyển đổi giữa hai trạng thái có thể được giải thích bằng nhiều hành động hợp lệ—khiến việc học có giám sát trở nên khó khăn khi dữ liệu thưa thớt.

II. Main Idea:

Tác giả đề xuất SWIRL (Self-improving World modelling with Iterative RL), một framework tự cải tiến học hỏi từ các chuỗi chỉ có trạng thái bằng cách coi hành động là một biến tiềm ẩn. SWIRL luân phiên giữa hai giai đoạn tối ưu hóa:

Tối ưu hóa Mô hình Thế giới Tiến (Forward World Modelling - FWM) Pθ(Y|X, Z): Giai đoạn này cập nhật FWM để tạo ra các trạng thái tiếp theo tối đa hóa thông tin tương hỗ có điều kiện với các hành động tiềm ẩn đã cho các trạng thái trước đó, khuyến khích tính nhất quán có thể nhận dạng được. FWM hoạt động như một policy và IDM đóng vai trò phần thưởng.
Tối ưu hóa Mô hình Động lực học Ngược (Inverse Dynamics Modelling - IDM) Qϕ(Z|X, Y): Giai đoạn này cập nhật IDM để giải thích các chuyển đổi được quan sát, thực hiện phối hợp tăng dần trên ELBO (Evidence Lower Bound). Cả hai mô hình đều được huấn luyện bằng học tăng cường (cụ thể là GRPO) với log-probability của mô hình đối diện đã được đóng băng làm tín hiệu phần thưởng. SWIRL được chứng minh lý thuyết là tối đa hóa cận dưới của thông tin tương hỗ có điều kiện cho FWM và ELBO cho IDM.

III. Main Results:

SWIRL đạt được những cải tiến đáng kể trên nhiều môi trường và tác vụ:

AURORA-BENCH: Đạt mức tăng 16% về điểm GPT-4o (từ 4.36 lên 5.06) cho tác vụ mô hình hóa thế giới thị giác một lượt.
ByteMorph: Cải thiện 28% về điểm trung bình (từ 43.38 lên 53.77), đặc biệt trên các động lực học chuyển động vật thể/con người và tương tác.
WORLDPREDICTIONBENCH: Cho thấy cải thiện +14.4% về độ trung thực ở T=6 (từ 0.97 lên 1.11) trong mô hình hóa thế giới dài hạn, duy trì tính nhất quán theo thời gian tốt hơn đáng kể so với baseline SFT.
STABLETOOLBENCH: Vượt trội hơn baseline SFT đáng kể trong khả năng tổng quát hóa, với +4.03 BLEU trên ID-Low và +3.69 BLEU trên ID-Medium splits, thiết lập trạng thái nghệ thuật mới cho quy mô mô hình này. SWIRL vượt trội hơn các baseline fine-tuning có giám sát và đạt được hiệu suất ngang bằng với các mô hình SOTA lớn hơn, đồng thời thể hiện hiệu quả dữ liệu vượt trội.

IV. Conclusion & Future Works:

SWIRL là một framework thống nhất giúp VLM và LLM mô hình hóa nội tại các trạng thái tương lai dựa trên trạng thái hiện tại và các hành động tiềm ẩn, mà không cần quỹ đạo được chú thích bởi con người. Nó đạt được khả năng mô hình hóa thế giới tự cải thiện chỉ từ dữ liệu không dán nhãn, với các đảm bảo lý thuyết về khả năng học. Kết luận: SWIRL chứng minh hiệu quả trên nhiều môi trường đa dạng, từ động lực học thị giác thế giới thực đến môi trường văn bản (mô phỏng vật lý, web, gọi công cụ). Công việc tương lai: Cần tích hợp các bộ lọc an toàn hoặc nguyên tắc AI hiến định vào cơ chế phần thưởng để giảm thiểu rủi ro mô hình nội hóa hoặc khuếch đại các thiên kiến từ dữ liệu không nhãn. Ngoài ra, cần phát triển các công cụ phát hiện mạnh mẽ cho phương tiện tổng hợp và triển khai kiểm soát truy cập nghiêm ngặt cho các tác nhân tự động hoạt động trong môi trường web thực.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về cách tích hợp các bộ lọc an toàn hoặc nguyên tắc AI hiến định vào cơ chế phần thưởng của các mô hình tự cải tiến để ngăn chặn việc học và khuếch đại các thiên kiến từ dữ liệu không nhãn.
Khám phá các cơ chế thống nhất mạnh mẽ hơn để chia sẻ hiệu quả các biểu diễn giữa các phương thức (ví dụ: thị giác và ngôn ngữ) trong các mô hình thế giới, giải quyết sự can thiệp gradient giữa các mục tiêu không đồng nhất (ví dụ: tạo ảnh và suy luận hành động).
Phát triển các công cụ phát hiện mạnh mẽ cho phương tiện tổng hợp và các cơ chế kiểm soát truy cập/bảo vệ nghiêm ngặt cho các tác nhân tự động hoạt động trong môi trường web thực, nhằm đối phó với các khả năng nâng cao của mô hình như tạo deepfake hoặc vượt qua các biện pháp bảo mật web.

2. Patent:

Hệ thống trợ lý AI tự học hành vi người dùng trên điện thoại: Một hệ thống AI trên điện thoại di động có thể tự động học cách người dùng tương tác với các ứng dụng (ví dụ: các bước để đặt hàng, cách phản hồi tin nhắn) từ các chuỗi hành động không được dán nhãn. Hệ thống sẽ dự đoán hành động tiếp theo của người dùng và các thay đổi màn hình có thể xảy ra, sau đó đề xuất các phím tắt hoặc tự động hoàn thành tác vụ một cách thông minh, liên tục cải thiện độ chính xác theo thời gian mà không cần dữ liệu được gán nhãn thủ công.
Hệ thống tự động chỉnh sửa ảnh/video theo ngữ cảnh trên điện thoại: Ứng dụng điện thoại có khả năng phân tích chuỗi ảnh hoặc video của người dùng và tự học các hành động chỉnh sửa tiềm ẩn (ví dụ: cắt, xoay, áp dụng bộ lọc) mà người dùng có thể muốn thực hiện dựa trên trạng thái trước và sau của ảnh/video. Nó có thể đưa ra các gợi ý chỉnh sửa thông minh hoặc thực hiện các chỉnh sửa tự động để đạt được kết quả mong muốn, ví dụ, tự động làm đẹp ảnh selfie hoặc ổn định video, liên tục cải thiện khả năng chỉnh sửa dựa trên dữ liệu sử dụng thực tế của người dùng.
Tác nhân web tự động cho điện thoại thông minh: Một trợ lý AI trên điện thoại có thể học cách tương tác với các trang web (ví dụ: điền biểu mẫu, duyệt thông tin) bằng cách quan sát các chuyển đổi giữa các trạng thái giao diện web. Trợ lý này sẽ tự động dự đoán hành động tiếp theo và cập nhật giao diện web, giúp người dùng hoàn thành các tác vụ trực tuyến phức tạp một cách hiệu quả hơn, chẳng hạn như đặt vé máy bay hoặc mua sắm trực tuyến, đồng thời có khả năng thích nghi và cải thiện dựa trên các tình huống web mới mà không cần lập trình cụ thể cho từng trang.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06130
ArXiv Abstract	https://arxiv.org/abs/2602.06130
PDF Download	https://arxiv.org/pdf/2602.06130.pdf
Github Repository	N/A

10. Judging What We Cannot Solve: A Consequence-Based Approach for Oracle-Free Evaluation of Research-Level Math (21 votes)

Tác giả: Guijin Son, Donghun Yang, Hitesh Laxmichand Patel, Hyunwoo Ko, Amit Agarwal, Sunghee Ahn, Kyong-Ha Lee, Youngjae Yu

Xuất bản lúc: 2026-02-06

Tag: LLMs, Evaluation, Math Reasoning, Oracle-Free

I. Main Problem:

Tiến bộ gần đây trong các mô hình suy luận cho thấy khả năng tạo ra các nỗ lực giải toán cấp độ nghiên cứu đã trong tầm tay, nhưng việc xác minh vẫn là một nút thắt cổ chai, tiêu tốn thời gian quý báu của chuyên gia. Các phương pháp đánh giá hiện có như chuyên gia con người thì tốn kém để mở rộng, trong khi LLM judge thường không đáng tin cậy và có nhiều sai lệch. Điều này tạo ra nhu cầu cấp thiết về các phương pháp tốt hơn để xác nhận các giả thuyết toán học mà không cần đến "oracle" (người giải đúng), đặc biệt cho các bài toán mà ngay cả các LLM tiên tiến nhất cũng chưa thể giải được.

II. Main Idea:

Các tác giả đề xuất Consequence-Based Utility (CBU), một phương pháp đánh giá không cần oracle để chấm điểm các giải pháp ứng cử viên. Ý tưởng chính là một giải pháp ý nghĩa phải chứa đủ thông tin ở cấp độ phương pháp, khi được áp dụng cho một tập hợp các câu hỏi liên quan ("neighborhood questions"), nó sẽ mang lại hiệu suất tốt hơn so với các giải pháp không chính xác. Cụ thể, CBU hoạt động bằng cách sử dụng một mô hình giải (solver Mθ) để giải quyết các câu hỏi lân cận Q* bằng cách lấy giải pháp ứng cử viên C(i) làm ví dụ trong ngữ cảnh (in-context exemplar). Điểm utility của C(i) được tính bằng độ chính xác trung bình của solver trên các câu hỏi lân cận này, với giả định rằng giải pháp đúng sẽ giúp giải quyết các bài toán liên quan tốt hơn.

III. Main Results:

CBU liên tục vượt trội hơn các mô hình reward, mô hình reward tạo sinh (generative reward models) và LLM judge về chất lượng xếp hạng. Đặc biệt, đối với GPT-OSS-120B, CBU cải thiện Acc@1 từ 67.2 lên 76.3 và AUC từ 71.4 lên 79.6, đồng thời mang lại mức tăng AUC tương tự lớn trên GPT-OSS-20B (69.0 lên 79.2). So với LLM judge, CBU cũng cho thấy khoảng cách giữa khả năng giải và khả năng đánh giá (solver–evaluator gap) lớn hơn, duy trì sự phân tách mạnh mẽ hơn giữa các giải pháp đúng và sai ngay cả trên các trường hợp mà mô hình giải cơ bản thường thất bại. Phân tích lỗi cho thấy CBU đáng tin cậy hơn trong việc hạ cấp các giải pháp có lý luận sai, sự nén thông tin không chính đáng, hoặc diễn giải sai, và ít nhạy cảm hơn với các dấu hiệu về văn phong hoặc tuyên bố mang tính quyền lực.

IV. Conclusion & Future Works:

Bài báo giới thiệu Consequence-Based Utility (CBU), một phương pháp không cần oracle để ước tính tính đúng đắn của giải pháp dựa trên hiệu suất hạ nguồn khi không có lời giải chính xác. CBU đã chứng tỏ hiệu quả vượt trội so với LLM judge và reward models trong toán học cấp độ nghiên cứu, và hoạt động tốt với cả câu hỏi lân cận do chuyên gia viết và do LLM tạo ra. Tuy nhiên, một hạn chế là CBU đòi hỏi nỗ lực bổ sung để xây dựng các câu hỏi lân cận, và độ tin cậy phụ thuộc vào khả năng của bộ tạo câu hỏi. CBU cũng hiệu quả nhất khi độ khó của câu hỏi lân cận nằm trong một "điểm vàng" nhất định. Công trình trong tương lai bao gồm cải thiện quá trình tạo câu hỏi lân cận hoàn toàn tự động, mở rộng CBU sang các lĩnh vực STEM khác ngoài toán học, và đánh giá hiệu quả của nó trên các vấn đề thực sự mở, nơi việc xây dựng câu hỏi lân cận và đánh giá tính đúng đắn vốn đã khó khăn hơn.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao tự động hóa quá trình tạo câu hỏi lân cận (neighborhood questions) cho Consequence-Based Utility (CBU), đặc biệt tập trung vào khả năng tạo ra các biến thể phù hợp mà không cần sự giám sát của con người và duy trì độ khó ở "điểm vàng" tối ưu.
Mở rộng ứng dụng của Consequence-Based Utility sang các lĩnh vực STEM khác ngoài toán học, như vật lý lý thuyết, hóa học định lượng hoặc các vấn đề nghiên cứu cấp độ cao trong khoa học máy tính, để xác minh các giải pháp hoặc giả thuyết.
Nghiên cứu tích hợp Consequence-Based Utility với LLM judge để tạo ra một hệ thống đánh giá mạnh mẽ hơn, tận dụng thông tin bổ sung mà mỗi phương pháp mang lại, nhằm cải thiện độ chính xác dự đoán và khả năng phân tách giải pháp đúng/sai.

2. Patent:

Ứng dụng "Gia sư Giải Toán thông minh" trên điện thoại: Một ứng dụng trên điện thoại di động giúp học sinh hoặc sinh viên giải các bài toán phức tạp. Người dùng nhập bài toán, ứng dụng sẽ tạo ra nhiều cách giải khác nhau. Sau đó, một hệ thống tích hợp Consequence-Based Utility sẽ đánh giá các cách giải này bằng cách tạo ra các biến thể nhỏ của bài toán gốc và xem cách giải nào giúp mô hình giải được nhiều biến thể nhất. Ứng dụng sẽ hiển thị cách giải tốt nhất, cùng với một điểm tin cậy, giúp người dùng học hỏi phương pháp hiệu quả thay vì chỉ sao chép đáp án.
Công cụ "Kiểm định Ý tưởng Sáng tạo" cho nhà khoa học/kỹ sư trên điện thoại: Phát triển một công cụ trên điện thoại cho phép các nhà khoa học hoặc kỹ sư nhập một ý tưởng giải pháp hoặc một giả thuyết cho một vấn đề nghiên cứu. Hệ thống sẽ tự động tạo ra các tình huống hoặc biến thể liên quan đến vấn đề gốc. Consequence-Based Utility sẽ đánh giá ý tưởng ban đầu bằng cách đo lường mức độ mà ý tưởng đó giúp giải quyết thành công các tình huống lân cận này. Công cụ sẽ cung cấp một "chỉ số khả thi" cho ý tưởng, giúp người dùng nhanh chóng xác định tiềm năng của giải pháp mà không cần thử nghiệm thực tế tốn kém ban đầu.
Hệ thống "Tối ưu hóa Chiến lược Cá nhân" trong Game trên điện thoại: Trong các trò chơi chiến thuật hoặc giải đố phức tạp trên điện thoại, người chơi có thể nhập một chiến lược cá nhân của mình để vượt qua một cấp độ khó. Ứng dụng sẽ tạo ra các kịch bản game tương tự nhưng có một chút thay đổi (ví dụ: vị trí đối thủ, tài nguyên ban đầu, mục tiêu phụ). Hệ thống Consequence-Based Utility sẽ đánh giá chiến lược của người chơi bằng cách xem nó có giúp người chơi chiến thắng trong các kịch bản lân cận này hay không. Kết quả sẽ là một đánh giá về "sức mạnh" và "tính linh hoạt" của chiến lược, giúp người chơi cải thiện kỹ năng tư duy chiến thuật và phát triển các chiến lược toàn diện hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06291
ArXiv Abstract	https://arxiv.org/abs/2602.06291
PDF Download	https://arxiv.org/pdf/2602.06291.pdf
Github Repository	N/A

11. Canzona: A Unified, Asynchronous, and Load-Balanced Framework for Distributed Matrix-based Optimizers (18 votes)

Tác giả: Liangyu Wang, Siqi Zhang, Junjie Wang, Yiming Dong, Bo Zheng, Zihan Qiu, Shengkun Tang, Di Wang, Rui Men, Dayiheng Liu

Xuất bản lúc: 2026-02-04

Tag: LLMs, Distributed Training, Optimizers, Matrix-based Optimizers, Data Parallelism, Tensor Parallelism, Load Balancing, Asynchronous Compute, High Performance Computing

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) ngày càng mở rộng quy mô, thúc đẩy nhu cầu về các thuật toán huấn luyện hiệu quả hơn, đặc biệt là các bộ tối ưu hóa dựa trên ma trận (như Shampoo, Muon, SOAP) vì khả năng hội tụ nhanh chóng của chúng. Tuy nhiên, việc triển khai các bộ tối ưu hóa này trong các hệ thống huấn luyện phân tán quy mô lớn (như Megatron, ZeRO-1) gặp phải một xung đột cơ bản: các bộ tối ưu hóa dựa trên ma trận yêu cầu cập nhật "toàn diện" trên toàn bộ tensor ("Atomicity Constraint"), trong khi các framework phân tán lại phân mảnh tensor ("tensor fragmentation") để tối ưu hóa bộ nhớ và tính toán. Các giải pháp hiện có không tối ưu:

Phương pháp đồng bộ (Synchronous Compute - SC) dẫn đến tính toán dư thừa và tắc nghẽn toàn cục, ảnh hưởng đến khả năng mở rộng.
Phân vùng theo lớp (layer-wise partitioning) không thể dung hòa xung đột này mà không vi phạm các ràng buộc hình học cần thiết cho các primitive giao tiếp hiệu quả của ZeRO (ví dụ, mất khả năng sử dụng Reduce-Scatter hiệu quả, phải dùng All-Reduce tốn kém hơn và cần All-Gather/Broadcast bổ sung). Điều này dẫn đến hiệu suất thấp, độ trễ cao và lãng phí tài nguyên trong quá trình huấn luyện LLM.

II. Main Idea:

Canzona đề xuất một framework thống nhất, bất đồng bộ và cân bằng tải (Unified, Asynchronous, and Load-Balanced - Canzona) để giải quyết xung đột giữa bộ tối ưu hóa dựa trên ma trận và các chiến lược huấn luyện song song hiện đại. Ý tưởng chính là tách rời việc gán nhiệm vụ tối ưu hóa logic khỏi phân phối tham số vật lý, đồng thời thiết kế các thuật toán cân bằng tải chuyên biệt cho từng loại song song:

Kiến trúc hệ thống thống nhất và tách rời:
- Đối với Data Parallelism (DP): Giới thiệu chiến lược "α-Balanced Static Partitioning". Thay vì phân mảnh tensor, Canzona gán toàn bộ các tham số (tức là "Atomicity Constraint" được tôn trọng) cho các rank cụ thể, đảm bảo các bản cập nhật bộ tối ưu hóa diễn ra cục bộ mà không cần giao tiếp bổ sung (zero-communication) trong bước tối ưu hóa. Đồng thời, nó duy trì "ZeRO-1 Geometric Constraints", cho phép sử dụng các primitive giao tiếp hiệu quả như Reduce-Scatter và All-Gather.
- Đối với Tensor Parallelism (TP): Thiết kế một "Asynchronous Compute pipeline" sử dụng "Micro-Group Scheduling". Canzona gộp nhiều tensor bị phân mảnh thành các "Micro-Groups" và sử dụng hoạt động All-to-All để tập hợp các gradient, thực hiện tính toán bất đồng bộ trên các Host Ranks được chỉ định, sau đó phân tán các bản cập nhật trở lại. Điều này giúp ẩn chi phí tái tạo và tránh tính toán dư thừa.
- Kiến trúc này là "optimizer-agnostic", hỗ trợ bất kỳ bộ tối ưu hóa dựa trên ma trận nào.
Thuật toán cân bằng tải nhận biết sự không đồng nhất:
- Cho DP: Đề xuất thuật toán "α-Balanced Greedy LPT (Longest Processing Time)" để giải quyết vấn đề mất cân bằng tải do chi phí tính toán phi tuyến tính của các toán tử dựa trên ma trận. Thuật toán này phân phối lại toàn bộ tham số giữa các rank để cân bằng khối lượng công việc một cách hiệu quả, giảm thiểu các straggler.
- Cho TP: Thiết kế thuật toán "Micro-Group Balanced Scheduling with greedy rollback". Thuật toán này sắp xếp các micro-group và gán chúng cho các Host Ranks một cách tối ưu để giảm thiểu độ mất cân bằng tính toán và tối đa hóa việc sử dụng nhóm (group saturation), đồng thời tôn trọng các ràng buộc về bộ nhớ. Các phương pháp này cho phép chồng chéo tính toán-tính toán và giao tiếp-tính toán, giảm đáng kể thời gian hoàn thành bước tối ưu hóa.

III. Main Results:

Các thử nghiệm rộng rãi trên họ mô hình Qwen3 (từ 1.7B đến 32B tham số) trên một cluster gồm 256 GPU đã chứng minh hiệu quả vượt trội của Canzona:

Tăng tốc độ tổng thể: Canzona đạt được tốc độ tăng 1.57 lần trong thời gian lặp end-to-end so với baseline (NV-layerwise), giảm thời gian từ 1.381s xuống còn 0.877s.
Giảm độ trễ bước tối ưu hóa: Giảm độ trễ của bước tối ưu hóa cụ thể tới 5.8 lần, từ 0.383s xuống còn 0.066s. Điều này là nhờ chiến lược DP không giao tiếp và pipeline TP bất đồng bộ giúp ẩn chi phí tối ưu hóa.
Cải thiện hiệu suất Forward-Backward: Tăng tốc 1.23 lần thời gian chạy Forward-Backward pass (từ 0.998s xuống còn 0.811s), nhờ bảo toàn ZeRO-1 Geometric Constraints và sử dụng Reduce-Scatter hiệu quả hơn thay vì All-Reduce.
Cân bằng tải vượt trội:
- Đối với DP: Tỷ lệ mất cân bằng FLOPs (Max/Avg) giảm từ 3.24 lần xuống 1.43 lần và tỷ lệ mất cân bằng bộ nhớ giảm từ 2.46 lần xuống 1.11 lần nhờ "α-Balanced Partitioning".
- Đối với TP: Tỷ lệ mất cân bằng FLOPs giảm từ 3.24 lần xuống 2.46 lần và tỷ lệ mất cân bằng bộ nhớ xuống 1.16 lần nhờ "Micro-Group Scheduling".
Bảo toàn độ chính xác: Quỹ đạo loss huấn luyện của Canzona (LB-ASC) không thể phân biệt được với baseline đồng bộ (SC), xác nhận rằng các tối ưu hóa là ở cấp độ hệ thống và bảo toàn hành vi hội tụ.
Tính tổng quát: Framework được xác thực trên nhiều bộ tối ưu hóa đang nổi khác nhau như Muon, Shampoo và SOAP.

IV. Conclusion & Future Works:

Canzona đã trình bày một framework tối ưu hóa phân tán thống nhất, giải quyết thành công xung đột cơ bản giữa các bộ tối ưu hóa dựa trên ma trận và các chiến lược huấn luyện song song hiện đại. Bằng cách giới thiệu "α-Balanced Static Partitioning" cho DP và "Asynchronous Micro-Group Scheduling" cho TP, Canzona đã dung hòa hiệu quả các yêu cầu về tính nguyên tử nghiêm ngặt với tính song song quy mô lớn. Các thí nghiệm rộng rãi trên họ mô hình Qwen3 chứng minh rằng phương pháp này không chỉ loại bỏ chi phí giao tiếp nặng nề của các giải pháp hiện có mà còn trung hòa hiệu quả sự mất cân bằng tải vốn có trong tối ưu hóa bậc hai, đạt được tốc độ tăng 1.57 lần end-to-end. Hướng nghiên cứu trong tương lai có thể tập trung vào việc mở rộng Canzona để hỗ trợ các hình thức song song khác (ví dụ: Pipeline Parallelism), thích nghi với các cấu trúc mô hình động, hoặc tích hợp các kỹ thuật ước tính chi phí tính toán tiên tiến hơn để cải thiện hiệu quả cân bằng tải trong môi trường thực tế với các đặc tính phần cứng thay đổi.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng Canzona để hỗ trợ các hình thức song song khác như Pipeline Parallelism, tích hợp với các kỹ thuật ZeRO-2/3 để tối ưu hóa bộ nhớ tốt hơn cho các LLM siêu lớn.
Phát triển mô hình ước tính chi phí tính toán động, nhận biết môi trường để tự động điều chỉnh các thuật toán cân bằng tải của Canzona theo các đặc tính phần cứng và khối lượng công việc thay đổi theo thời gian thực.
Áp dụng các nguyên tắc của Canzona để tối ưu hóa các thuật toán huấn luyện phân tán ngoài LLM, chẳng hạn như các mô hình thị giác máy tính hoặc mô hình đa phương thức, đặc biệt khi chúng sử dụng các bộ tối ưu hóa bậc hai hoặc các kỹ thuật cập nhật toàn diện tương tự.

2. Patent:

Hệ thống cân bằng tải thông minh cho tính toán AI trên điện thoại di động: Một công nghệ phần mềm cho phép các ứng dụng AI trên điện thoại phân phối và cân bằng khối lượng công việc tính toán một cách tự động khi thực hiện các tác vụ nặng như xử lý ngôn ngữ tự nhiên hoặc phân tích hình ảnh. Hệ thống này sẽ tối ưu hóa việc sử dụng tài nguyên của điện thoại (CPU, GPU, NPU) bằng cách phân chia các phần của thuật toán AI thành các nhiệm vụ nhỏ hơn và gán chúng cho các chip xử lý phù hợp nhất để tránh tình trạng quá tải hoặc hao pin. Ví dụ, khi người dùng dịch một đoạn văn dài hoặc chỉnh sửa ảnh phức tạp bằng AI, hệ thống này sẽ tự động chia nhỏ công việc và tối ưu hóa tốc độ xử lý mà không làm chậm thiết bị.
Phương pháp tối ưu hóa bộ nhớ động cho AI trên thiết bị di động: Một giải pháp phần mềm cho phép các ứng dụng AI quản lý và phân bổ bộ nhớ hiệu quả hơn trên điện thoại. Thay vì yêu cầu toàn bộ dữ liệu phải có sẵn cùng một lúc, hệ thống này sẽ chia nhỏ các tham số của mô hình AI và chỉ tải những phần cần thiết vào bộ nhớ khi chúng được sử dụng. Điều này giúp các ứng dụng AI lớn chạy mượt mà hơn trên điện thoại có bộ nhớ hạn hạn chế, ví dụ như khi sử dụng các mô hình ngôn ngữ lớn để tạo văn bản hoặc tóm tắt tài liệu trực tiếp trên thiết bị, giảm thiểu tình trạng giật lag hoặc treo máy.
Công nghệ giao tiếp bất đồng bộ hiệu suất cao cho các chip AI trên điện thoại: Một giao thức và kiến trúc phần mềm cho phép các thành phần xử lý AI khác nhau trên điện thoại (ví dụ: chip xử lý thần kinh, GPU) giao tiếp và trao đổi dữ liệu một cách bất đồng bộ và hiệu quả. Thay vì đợi tất cả các thành phần hoàn thành công việc trước khi chuyển sang bước tiếp theo, công nghệ này cho phép các chip làm việc độc lập và gửi kết quả khi sẵn sàng, sau đó được gộp lại một cách thông minh. Điều này giúp tăng tốc đáng kể các tác vụ AI phức tạp trên điện thoại, ví dụ như khi chạy các tác vụ thị giác máy tính theo thời gian thực hoặc các tính năng AI tổng hợp nội dung, mang lại trải nghiệm người dùng nhanh hơn và mượt mà hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06079
ArXiv Abstract	https://arxiv.org/abs/2602.06079
PDF Download	https://arxiv.org/pdf/2602.06079.pdf
Github Repository	N/A

12. Self-Improving Multilingual Long Reasoning via Translation-Reasoning Integrated Training (17 votes)

Tác giả: Junxiao Liu, Zhijun Wang, Yixiao Li, Zhejian Lai, Liqian Huang, Xin Huang, Xue Han, Junlan Feng, Shujian Huang

Xuất bản lúc: 2026-02-05

Tag: LLMs, Reinforcement Learning, Multilingual, Reasoning, Translation

I. Main Problem:

Các mô hình suy luận dài (LRMs) thường gặp khó khăn trong môi trường đa ngôn ngữ. Chúng có xu hướng suy luận bằng tiếng Anh cho các câu hỏi không phải tiếng Anh, dẫn đến sự không nhất quán về ngôn ngữ. Khi bị buộc phải suy luận bằng ngôn ngữ của câu hỏi, độ chính xác giảm đáng kể, cho thấy khả năng suy luận đa ngôn ngữ kém. Ngoài ra, ngay cả khi ngôn ngữ suy luận được cố định, vẫn có khoảng cách hiệu suất đáng kể giữa các câu hỏi tiếng Anh và không phải tiếng Anh, chỉ ra sự thiên vị trong việc hiểu câu hỏi. Các phương pháp trước đây chủ yếu tập trung vào việc căn chỉnh các vết suy luận với tiếng Anh nhưng ít chú ý đến việc hiểu câu hỏi, đồng thời thường yêu cầu các mô hình phản hồi bên ngoài, gây tốn kém chi phí tính toán.

II. Main Idea:

Để giải quyết các vấn đề trên, nhóm nghiên cứu đề xuất TRIT (Translation-Reasoning Integrated Training), một khuôn khổ học tăng cường tự cải thiện, tích hợp việc huấn luyện dịch thuật vào suy luận đa ngôn ngữ. TRIT cùng lúc tăng cường khả năng hiểu câu hỏi đa ngôn ngữ và tạo phản hồi mà không cần phản hồi bên ngoài hay dữ liệu đa ngôn ngữ bổ sung. Khuôn khổ bao gồm hai giai đoạn:

Suy luận xuyên ngôn ngữ (Cross-Lingual Reasoning): Mô hình được huấn luyện để trả lời các câu hỏi tiếng Anh bằng ngôn ngữ đích. Chỉ những câu hỏi mà mô hình có thể giải quyết đáng tin cậy bằng ngôn ngữ đích (dựa trên ngưỡng độ chính xác ravg ≥ θ) mới được chuyển sang giai đoạn tiếp theo để đảm bảo phản hồi chính xác.
Tích hợp và phản hồi Dịch thuật-Suy luận (Translation-Reasoning Integration & Feedback):
- Mô hình được huấn luyện để dịch các câu hỏi tiếng Anh (đã được lọc ở giai đoạn 1) sang ngôn ngữ đích.
- Chất lượng dịch thuật được đánh giá thông qua hiệu suất suy luận tiếp theo: nếu câu hỏi đã dịch có thể được giải quyết (độ chính xác Acc > 0), thì r_trans = 1; ngược lại, r_trans = 0. Điều này tạo ra một vòng lặp khép kín, nơi dịch thuật cung cấp dữ liệu câu hỏi đa ngôn ngữ cho suy luận, và độ chính xác suy luận cung cấp tín hiệu thưởng cho chất lượng dịch thuật.
- Mô hình cũng được huấn luyện để giải quyết các câu hỏi đã dịch này bằng ngôn ngữ đích (suy luận bằng ngôn ngữ đích).

Tất cả các nhiệm vụ được tối ưu hóa chung thông qua học tăng cường bằng cách sử dụng Group Relative Policy Optimization (GRPO) với một hàm thưởng tùy chỉnh bao gồm độ chính xác, tính nhất quán ngôn ngữ, hình phạt lặp lại và định dạng.

III. Main Results:

TRIT đạt được kết quả ấn tượng trên nhiều mô hình nền tảng khác nhau:

Hiệu suất suy luận: TRIT vượt trội hơn các phương pháp cơ sở trên tập dữ liệu MMATH trung bình 7 điểm phần trăm, cải thiện cả độ chính xác câu trả lời và tính nhất quán ngôn ngữ. Tính nhất quán ngôn ngữ đạt gần 100% trong tất cả các cài đặt.
Cải thiện căn chỉnh câu hỏi: Phương pháp này tăng cường căn chỉnh câu hỏi xuyên ngôn ngữ lên hơn 10 điểm phần trăm, được đo bằng MEXA.
Chất lượng dịch thuật: TRIT cải thiện chất lượng dịch thuật cho cả văn bản trong lĩnh vực (câu hỏi toán học) và ngoài lĩnh vực (văn bản tổng quát trên FLORES-200), với mức tăng tới 8.4 điểm COMET. Các cải tiến đáng chú ý hơn ở các mô hình có khả năng dịch thuật ban đầu yếu hơn.
Hiệu suất tiếng Anh: TRIT cũng cải thiện hiệu suất tiếng Anh ngoài lĩnh vực, cho thấy việc huấn luyện hiểu câu hỏi một cách nhất quán giữa các ngôn ngữ giúp cải thiện khả năng hiểu câu hỏi cơ bản, dẫn đến suy luận tốt hơn ngay cả bằng tiếng Anh.
Huấn luyện lặp lại: TRIT hỗ trợ huấn luyện lặp lại để cải thiện liên tục, đặc biệt đối với các ngôn ngữ ít tài nguyên.

IV. Conclusion & Future Works:

TRIT là một khuôn khổ tự cải thiện đầy hứa hẹn, tích hợp việc huấn luyện dịch thuật và suy luận đa ngôn ngữ thông qua học tăng cường. Bằng cách cùng tối ưu hóa dịch thuật và suy luận, TRIT đã chứng minh khả năng nâng cao đáng kể cả khả năng hiểu câu hỏi và suy luận đa ngôn ngữ, mở ra hướng đi mới để xây dựng các hệ thống suy luận đa ngôn ngữ mạnh mẽ hơn.

Hạn chế và hướng nghiên cứu tương lai:

Các thử nghiệm hiện tại được thực hiện trên năm ngôn ngữ mục tiêu, chưa thể hiện hết sự đa dạng của các thiết lập đa ngôn ngữ. Tuy nhiên, khuôn khổ TRIT không phụ thuộc vào dữ liệu đa ngôn ngữ đã được chú thích và chỉ sử dụng câu hỏi tiếng Anh làm nguồn huấn luyện, giúp dễ dàng mở rộng sang các ngôn ngữ khác.
Các thử nghiệm hiện chỉ được thực hiện trên các mô hình có tới 4B tham số do hạn chế về tính toán. Mặc dù vậy, TRIT dự kiến sẽ vẫn hiệu quả ở quy mô lớn hơn, vì tích hợp dịch thuật-suy luận là độc lập với mô hình, nhằm mục đích cải thiện căn chỉnh câu hỏi đa ngôn ngữ.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng và đánh giá hiệu quả của TRIT trên một số lượng lớn hơn các ngôn ngữ, đặc biệt tập trung vào các ngôn ngữ thực sự ít tài nguyên, để chứng minh tính khả thi của nó trong các bối cảnh khan hiếm dữ liệu.
Nghiên cứu ứng dụng và hiệu quả của TRIT trên các mô hình ngôn ngữ lớn hơn (ví dụ: 7B, 13B, 70B+ tham số) để xác định cách thức tích hợp dịch thuật-suy luận ảnh hưởng đến khả năng suy luận đa ngôn ngữ ở quy mô lớn.
Khám phá các phương pháp tích hợp phản hồi dịch thuật và suy luận tiên tiến hơn, bao gồm việc kết hợp phản hồi từ con người (human-in-the-loop) hoặc các cơ chế tự sửa lỗi phức tạp hơn để tối ưu hóa quá trình học tập.

2. Patent:

Một "Trợ lý suy luận đa ngôn ngữ" cho điện thoại di động: Ứng dụng này tự động nhận diện ngôn ngữ của câu hỏi từ người dùng, thực hiện quá trình dịch thuật nội bộ để hiểu tốt hơn, sau đó tiến hành suy luận bằng ngôn ngữ ưu tiên của người dùng hoặc ngôn ngữ tối ưu và cung cấp câu trả lời chính xác, tất cả mà vẫn giữ ngôn ngữ ban đầu của câu hỏi. Điều này giúp người dùng giải quyết các vấn đề phức tạp bằng tiếng mẹ đẻ của họ, ngay cả khi mô hình cơ bản hoạt động tốt hơn bằng tiếng Anh.
Một "Ứng dụng học ngôn ngữ thích ứng" trên thiết bị di động: Ứng dụng này sử dụng sự tích hợp dịch thuật-suy luận tương tự. Khi người dùng đặt một câu hỏi phức tạp bằng ngôn ngữ không phải tiếng mẹ đẻ, ứng dụng có thể đề xuất dịch câu hỏi sang một ngôn ngữ mà nó hiểu rõ hơn để có câu trả lời chính xác hơn, và sau đó trình bày cả câu hỏi gốc và câu trả lời đã tinh chỉnh. Nó cũng có thể gợi ý cách diễn đạt câu hỏi tốt hơn trong ngôn ngữ mục tiêu dựa trên quá trình dịch nội bộ của mình.
Một "Hệ thống đồng bộ hóa dữ liệu đa ngôn ngữ" cho các ứng dụng doanh nghiệp trên điện thoại: Tưởng tượng các nhân viên hiện trường cần nhập dữ liệu hoặc đặt câu hỏi về thiết bị bằng các ngôn ngữ khác nhau. Hệ thống này có thể nhận câu hỏi hoặc dữ liệu đầu vào bằng bất kỳ ngôn ngữ nào, dịch và xử lý nội bộ cho một hệ thống trung tâm dựa trên tiếng Anh, thực hiện suy luận phức tạp (ví dụ: khắc phục sự cố), và sau đó cung cấp phản hồi chính xác, đã suy luận lại cho người dùng bằng ngôn ngữ mẹ đẻ của họ. Điều này đảm bảo việc diễn giải dữ liệu và suy luận nhất quán trong một lực lượng lao động đa dạng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05940
ArXiv Abstract	https://arxiv.org/abs/2602.05940
PDF Download	https://arxiv.org/pdf/2602.05940.pdf
Github Repository	N/A

13. POINTS-GUI-G: GUI-Grounding Journey (16 votes)

Tác giả: Zhongyin Zhao, Yuan Liu, Yikun Liu, Haicheng Wang, Le Tian, Xiao Zhou, Yangxiu You, Zilin Yu, Yang Yu, Jie Zhou

Xuất bản lúc: 2026-02-06

Tag: Vision-Language Models, Reinforcement Learning, GUI Agents

I. Main Problem:

Tách biệt với các phương pháp trước đây thường tinh chỉnh các mô hình đã có khả năng nhận biết không gian mạnh mẽ (ví dụ: Qwen3-VL), công trình này hướng đến việc làm chủ toàn bộ quy trình kỹ thuật bằng cách bắt đầu từ một mô hình cơ bản với khả năng định vị giao diện người dùng (GUI grounding) tối thiểu như POINTS-1.5. Vấn đề cốt lõi là đạt được khả năng định vị chính xác các yếu tố giao diện (như văn bản, biểu tượng) để thực hiện các thao tác chính xác (nhấp, gõ phím), vốn là một khả năng nền tảng cho việc tự động hóa các tác vụ phức tạp. Các hạn chế của bộ dữ liệu hiện có (tính không đồng nhất, nhiễu, thiếu độ phức tạp) và sự không nhất quán về độ phân giải giữa quá trình huấn luyện và suy luận cũng là những thách thức cần giải quyết.

II. Main Idea:

Các tác giả giới thiệu POINTS-GUI-G-8B, một mô hình đạt hiệu suất dẫn đầu (state-of-the-art) trong định vị giao diện người dùng (GUI grounding). Thành công của mô hình được thúc đẩy bởi ba yếu tố chính:

Kỹ thuật Dữ liệu Tinh chỉnh (Refined Data Engineering): Bao gồm việc chuẩn hóa định dạng của các bộ dữ liệu mã nguồn mở đa dạng, cùng với các chiến lược nâng cao như tăng cường, lọc nhiễu và phân loại độ khó. Cụ thể, việc hợp nhất các tọa độ về tỷ lệ [0, 1], loại bỏ các chú thích không chính xác bằng giải pháp lọc tự động và tăng cường độ phức tạp của dữ liệu bằng cách loại bỏ các mẫu đơn giản và tổng hợp dữ liệu mới từ phần mềm chuyên nghiệp hoặc xếp chồng nhiều cửa sổ ứng dụng để tạo nhiễu.
Chiến lược Huấn luyện Cải tiến (Improved Training Strategies): Gồm việc liên tục tinh chỉnh bộ mã hóa thị giác (vision encoder) để nâng cao độ chính xác nhận thức và duy trì sự nhất quán về độ phân giải giữa quá trình huấn luyện và suy luận.
Học Tăng cường (Reinforcement Learning - RL) với Phần thưởng Có thể Kiểm chứng (Verifiable Rewards): Phương pháp này được chứng minh là cải thiện đáng kể độ chính xác trong tác vụ GUI grounding, vốn đòi hỏi nhận thức cao, và tận dụng lợi thế tự nhiên của GUI grounding với phần thưởng dễ xác minh và có độ chính xác cao.

III. Main Results:

POINTS-GUI-G-8B đạt hiệu suất dẫn đầu (state-of-the-art) trên nhiều điểm chuẩn GUI grounding:

Đạt 59.9 điểm trên ScreenSpot-Pro.
Đạt 66.0 điểm trên OSWorld-G.
Đạt 95.7 điểm trên ScreenSpot-v2.
Đạt 49.9 điểm trên UI-Vision. Mô hình 8B tham số này xếp hạng nhất trong số các mô hình cùng kích thước trên nhiều điểm chuẩn và thậm chí vượt trội hơn một số mô hình lớn hơn đáng kể. Cụ thể, POINTS-GUI-G dẫn đầu trên ba trong số năm điểm chuẩn chính được đánh giá.

IV. Conclusion & Future Works:

Tác giả giới thiệu POINTS-GUI-G, một mô hình định vị giao diện người dùng (GUI grounding) hiệu suất cao. Mặc dù có kiến trúc 8B tham số nhỏ gọn, mô hình đạt được kết quả dẫn đầu (state-of-the-art), xếp hạng nhất trong số các mô hình cùng kích thước trên nhiều điểm chuẩn và vượt trội hơn một số đối thủ lớn hơn đáng kể. Các tác giả hy vọng POINTS-GUI-G sẽ đóng vai trò là nền tảng vững chắc cho sự phát triển của các GUI agent trong tương lai và những phát hiện của họ sẽ cung cấp những góc nhìn mới để nâng cao khả năng GUI grounding.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp nâng cao kỹ thuật dữ liệu, bao gồm tổng hợp dữ liệu thời gian thực cho các phần tử UI động và phức tạp, nhằm vượt qua các giới hạn của bộ dữ liệu tĩnh hiện có.
Phát triển các kiến trúc hoặc chiến lược huấn luyện mới cho bộ mã hóa thị giác (vision encoder) và các thành phần khác của Vision-Language Models để tối ưu hóa đặc biệt cho các tác vụ nhận thức trong GUI grounding.
Mở rộng ứng dụng của Reinforcement Learning với phần thưởng có thể kiểm chứng sang các tác vụ GUI agent phức tạp hơn, không chỉ giới hạn ở GUI grounding, để cải thiện khả năng suy luận và thực hiện chuỗi hành động dài.

2. Patent:

Hệ thống trợ lý giọng nói thông minh cho điện thoại di động: Một hệ thống cho phép người dùng điều khiển điện thoại bằng giọng nói để thực hiện các thao tác như chạm, nhập liệu hoặc cuộn trên bất kỳ ứng dụng nào. Hệ thống sẽ xác định chính xác vị trí của các nút hoặc trường nhập liệu trên màn hình thông qua khả năng định vị giao diện người dùng, giúp người dùng dễ dàng tương tác với ứng dụng mà không cần chạm tay.
Tự động hóa tác vụ di động phức tạp: Một công cụ thông minh có khả năng hiểu các lệnh đa bước (ví dụ: 'Đặt vé máy bay từ Hà Nội đi TP. Hồ Chí Minh vào thứ Hai tới cho hai người, hạng phổ thông') và tự động điều hướng qua các ứng dụng di động bằng cách định vị và tương tác với các nút và trường nhập liệu chính xác. Điều này giúp đơn giản hóa việc thực hiện các tác vụ hàng ngày trên điện thoại.
Tối ưu hóa quy trình làm việc trong ứng dụng di động cá nhân hóa: Một tiện ích học hỏi các mẫu tương tác phổ biến của người dùng trong các ứng dụng di động và đề xuất hoặc tự động hóa các chuỗi hành động lặp đi lặp lại (ví dụ: 'luôn nhấp 'bỏ qua quảng cáo' rồi đến 'phát video') bằng cách nhận diện chính xác các thành phần giao diện người dùng liên quan. Điều này giúp nâng cao hiệu quả và trải nghiệm sử dụng điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06391
ArXiv Abstract	https://arxiv.org/abs/2602.06391
PDF Download	https://arxiv.org/pdf/2602.06391.pdf
Github Repository	https://github.com/Tencent/POINTS-GUI

14. Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities (14 votes)

Tác giả: Pengyi Li, Elizaveta Goncharova, Andrey Kuznetsov, Ivan Oseledets

Xuất bản lúc: 2026-02-05

Tag: Reinforcement Learning, LLMs, Reasoning, Generative AI, Exploration-Exploitation

I. Main Problem:

Các phương pháp tối ưu hóa chính sách tiêu chuẩn, như Group Relative Policy Optimization (GRPO) trong Reinforcement Learning with Verifiable Rewards (RLVR) cho LLMs reasoning, thường hội tụ về các chính sách entropy thấp. Điều này dẫn đến hiện tượng mode collapse nghiêm trọng và hạn chế sự đa dạng đầu ra của mô hình. Vấn đề này xuất phát từ việc mục tiêu tối ưu hóa chuẩn disproportionately reinforces các đường có xác suất cao nhất, từ đó đàn áp các chuỗi lập luận thay thế hợp lệ và làm suy yếu khả năng khám phá của mô hình. Các phương pháp hiện có chỉ tập trung vào các sửa đổi cục bộ trong khuôn khổ tối ưu hóa phần thưởng, không giải quyết triệt để được khả năng mô hình hóa các đường suy luận đa dạng.

II. Main Idea:

Để giải quyết vấn đề entropy collapse và thiếu đa dạng trong các đường suy luận của LLM, bài báo đề xuất một cơ chế Advantage Re-weighting Mechanism (ARM) mới. Cơ chế này được thiết kế để cân bằng mức độ tự tin trên tất cả các phản hồi đúng.

Cụ thể, phương pháp này, được gọi là Probabilistic based GRPO (ProGRPO), tích hợp Prompt Perplexity và Answer Confidence vào ước tính advantage. Điều này cho phép ProGRPO định hình lại tín hiệu phần thưởng một cách linh hoạt, làm giảm các cập nhật gradient của các đường suy luận quá tự tin, đồng thời phân phối lại khối lượng xác suất cho các giải pháp đúng chưa được khám phá.

ProGRPO sử dụng các tín hiệu xác suất nội bộ từ prompt và câu trả lời được tạo ra, kết hợp với phần thưởng có thể kiểm chứng, để định hình lại phân phối Advantage. Ngoài ra, phương pháp này áp dụng Low-Probability Token Length Normalization, chỉ tập trung vào khoảng 20% các vị trí token trong phản hồi có độ bất định dự đoán cao nhất, giúp cung cấp một tín hiệu huấn luyện mạnh mẽ và có ý nghĩa hơn cho việc tối ưu hóa chính sách.

III. Main Results:

ProGRPO cải thiện đáng kể sự đa dạng trong tạo sinh và entropy phản hồi, đồng thời duy trì độ chính xác cạnh tranh, đạt được sự cân bằng vượt trội giữa exploration và exploitation trong các tác vụ suy luận.

Hiệu suất vượt trội: Trên Qwen2.5-7B, ProGRPO vượt trội hơn GRPO 5.7% ở Pass@1 và 13.9% ở Pass@32. Các cải tiến tương tự cũng được thấy trên các mô hình Qwen2.5-32B và DeepSeek-R1-Distill-Qwen-1.5B/7B trên các benchmark toán học và lập trình (như AIME 2024, AIME 2025, LiveCodeBench, CodeForces, HumanEval+).
Đa dạng đầu ra: ProGRPO đạt Self-BLEU và Semantic Cosine thấp hơn đáng kể so với GRPO trên AIME 2024, cho thấy sự giảm thiểu dư thừa về từ vựng và ngữ nghĩa trong các giải pháp được tạo ra, khuyến khích các đường suy luận đa dạng nhưng vẫn hợp lệ.
Tính ổn định và OOD Robustness: ProGRPO nhất quán vượt trội so với các baseline như GRPO và FlowRL, thể hiện khả năng mở rộng và tổng quát hóa mạnh mẽ. Phương pháp này cũng duy trì hiệu suất mạnh mẽ trên các phân phối dữ liệu Out-of-Distribution (OOD) như MMLU-PRO và GPQA. Phân tích quá trình đào tạo cho thấy entropy đầu tiên giảm, sau đó tăng và cuối cùng ổn định, trái ngược với GRPO luôn dẫn đến entropy collapse.

IV. Conclusion & Future Works:

Bài báo giới thiệu ProGRPO, một thuật toán mới dựa trên quan điểm xác suất tạo sinh, nhằm giải quyết hiện tượng entropy collapse nghiêm trọng trong quá trình huấn luyện RLVR. Bằng cách áp dụng Low-Probability Token Length Normalization và cơ chế Advantage Reweighting (ARM) nhận biết độ tự tin, ProGRPO giảm thiểu hiệu quả mode collapse trong khi vẫn duy trì khả năng suy luận của mô hình.

Kết quả thực nghiệm cho thấy phương pháp này không chỉ đạt hiệu suất cạnh tranh trên các metric tiêu chuẩn mà còn duy trì lợi thế đáng kể trong các thiết lập multi-sample (như Pass@k), thể hiện khả năng mạnh mẽ trong việc tạo ra các giải pháp đa dạng và chính xác. ProGRPO đưa ra một giải pháp mới và hiệu quả cho sự đánh đổi cơ bản giữa Exploration-Exploitation trong các tác vụ suy luận của LLM, mở đường cho các paradigms học tăng cường ổn định và có tính khám phá cao hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế điều chỉnh tự động hệ số alpha trong ARM dựa trên đặc điểm tác vụ hoặc trạng thái học của mô hình để tối ưu hóa trade-off giữa exploration và exploitation.
Mở rộng ProGRPO sang các miền ứng dụng khác của LLM ngoài suy luận toán học và tạo mã, ví dụ như tạo nội dung sáng tạo, tóm tắt văn bản hoặc tương tác hội thoại phức tạp, đồng thời phân tích cách các tín hiệu xác suất khác có thể được tích hợp.
Khám phá việc kết hợp ProGRPO với các phương pháp học tăng cường off-policy hoặc các kỹ thuật học chuyển giao để cải thiện hơn nữa hiệu quả đào tạo và khả năng tổng quát hóa, đặc biệt trong các kịch bản dữ liệu khan hiếm hoặc OOD.

2. Patent:

Một hệ thống trên điện thoại di động sử dụng cơ chế Advantage Re-weighting Mechanism để phân tích mức độ tự tin của trợ lý ảo khi tạo ra các phản hồi. Khi trợ lý ảo quá tự tin vào một câu trả lời duy nhất cho các tác vụ phức tạp (ví dụ: tìm kiếm thông tin, lên kế hoạch), hệ thống sẽ tự động điều chỉnh tín hiệu để khuyến khích tạo ra thêm các lựa chọn hoặc giải pháp thay thế hợp lệ, hiển thị chúng cho người dùng dưới dạng 'có thể bạn cũng muốn biết' hoặc 'các cách giải quyết khác'.
Một ứng dụng học tập trên điện thoại thông minh tích hợp công nghệ tương tự ProGRPO để phân tích mức độ hiểu bài và sự đa dạng trong cách giải quyết vấn đề của người dùng. Khi người dùng giải một bài toán, ứng dụng không chỉ kiểm tra đáp án mà còn đánh giá 'độ tự tin' của người dùng dựa trên quá trình suy luận. Nếu quá trình này quá 'đơn điệu' hoặc quá 'tự tin' vào một phương pháp duy nhất, ứng dụng sẽ đề xuất các bài tập tương tự nhưng khuyến khích khám phá các phương pháp giải khác nhau để nâng cao kỹ năng tư duy phản biện và khả năng giải quyết vấn đề đa dạng.
Một công cụ lập trình hoặc IDE di động sử dụng cách tiếp cận Low-Probability Token Length Normalization để xác định những phần mã nguồn do lập trình viên viết có 'độ bất định dự đoán cao' hoặc có vẻ 'quá tự tin' nhưng có thể dẫn đến lỗi. Hệ thống sẽ không chỉ gợi ý sửa lỗi rõ ràng mà còn đề xuất các cách viết mã khác, hiệu quả hơn hoặc an toàn hơn, đặc biệt cho các chức năng quan trọng. Điều này giúp các nhà phát triển viết mã chắc chắn và đa dạng hơn, giảm thiểu các lỗi tiềm ẩn từ việc lặp lại các khuôn mẫu mã hóa ít tối ưu.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05281
ArXiv Abstract	https://arxiv.org/abs/2602.05281
PDF Download	https://arxiv.org/pdf/2602.05281.pdf
Github Repository	N/A

15. MemGUI-Bench: Benchmarking Memory of Mobile GUI Agents in Dynamic Environments (13 votes)

Tác giả: Guangyi Liu, Pengxiang Zhao, Yaozhen Liang, Qinyi Luo, Shunye Tang, Yuxiang Chai, Weifeng Lin, Han Xiao, WenHao Wang, Siheng Chen, Zhengxi Lu, Gao Wu, Hao Wang, Liang Liu, Yong Liu

Xuất bản lúc: 2026-02-03

Tag: Mobile GUI Agents, LLMs, Benchmarking, Memory, Autonomous Agents

I. Main Problem:

Các hệ thống đánh giá tác nhân GUI di động hiện tại thất bại trong việc đánh giá khả năng ghi nhớ, với chỉ 5.2-11.8% nhiệm vụ liên quan đến bộ nhớ và không có đánh giá học tập đa phiên. Các nền tảng đánh giá hiện có bị hạn chế bởi: (I) thiết kế nhiệm vụ không đầy đủ, (II) hạn chế về giao thức đánh giá (không có pass@k đa lần thử), và (III) hạn chế về phương pháp phán đoán. Điều này dẫn đến khoảng trống nghiêm trọng trong việc thiết lập một khung đánh giá toàn diện và chặt chẽ để nắm bắt các yêu cầu bộ nhớ phức tạp của tương tác di động trong thế giới thực và đánh giá khả năng lưu giữ thông tin ngắn hạn cũng như học tập dài hạn.

II. Main Idea:

Giới thiệu MEMGUI-BENCH, một hệ thống đánh giá toàn diện tập trung vào bộ nhớ, sử dụng giao thức pass@k và đánh giá "LLM-as-judge" theo từng giai đoạn. Các đóng góp chính bao gồm:

Phân loại Bộ nhớ Hệ thống: Thiết lập một phân loại toàn diện về bộ nhớ ngắn hạn (trong phiên) và dài hạn (đa phiên) cho tác nhân GUI di động, phân tích 11 tác nhân và 5 kiến trúc khác nhau.
Môi trường Đánh giá tập trung vào Bộ nhớ: Cung cấp 128 nhiệm vụ trên 26 ứng dụng, trong đó 89.8% nhiệm vụ thách thức bộ nhớ thông qua việc lưu giữ thông tin theo thời gian và không gian. Sử dụng framework dựa trên "snapshot" hỗ trợ đánh giá pass@1 và pass@k.
Hệ thống Đánh giá tự động MEMGUI-EVAL: Một quy trình đánh giá tự động với "Progressive Scrutiny" qua 3 giai đoạn và 7 chỉ số phân cấp để đo lường độ trung thực của bộ nhớ, hiệu quả học tập và hiệu suất thực thi.
Đánh giá toàn diện dựa trên Câu hỏi Nghiên cứu (RQ): Thực hiện đánh giá 11 tác nhân tiên tiến nhất để khám phá các khía cạnh về bộ nhớ của chúng.

III. Main Results:

Các thí nghiệm trên 11 tác nhân tiên tiến đã tiết lộ:

Thiếu hụt bộ nhớ đáng kể: Các tác nhân hiện tại có khả năng kém hơn 4-10 lần trong các nhiệm vụ đòi hỏi bộ nhớ so với các benchmark tiêu chuẩn. Hiệu suất giảm đáng kể từ nhiệm vụ dễ (lên đến 39.6%) đến khó (lên đến 21.1%), với hầu hết các tác nhân có Tỷ lệ Thành thạo Nhiệm vụ Bộ nhớ (MTPR) dưới 0.1.
Bộ nhớ ngắn hạn là bắt buộc; bộ nhớ dài hạn là có lợi nhưng tùy chọn: Loại bỏ bộ nhớ ngắn hạn dẫn đến sự sụp đổ nghiêm trọng (SR: 32.5% → 2.5%, IRR: 35.1% → 0.0%), trong khi loại bỏ bộ nhớ dài hạn làm giảm hiệu suất pass@3 SR 20.0 điểm phần trăm nhưng tác nhân vẫn hoạt động được.
Phức tạp giữa các ứng dụng là nút thắt cổ chai chính: Độ phức tạp giữa các ứng dụng gây ra suy giảm hiệu suất từ 16-40 điểm phần trăm.
Khả năng ngữ cảnh dài cải thiện hiệu suất: Khả năng ngữ cảnh dài mang lại cải thiện 18.8 điểm phần trăm (ví dụ: M3A từ 32.8% lên 51.6% SR).
Bộ nhớ dài hạn cho phép cải thiện hiệu suất học tập đa phiên: Bộ nhớ dài hạn cho phép cải thiện 21.9 điểm phần trăm (ví dụ: Agent-S2 từ 27.3% lên 49.2% SR@3), nhưng đi kèm với chi phí tính toán.
Đánh đổi tính toán nghiêm trọng: Các kiến trúc bộ nhớ phức tạp đối mặt với những đánh đổi tính toán nghiêm trọng dưới các ràng buộc triển khai (ví dụ, hiệu suất của Agent-S2 giảm từ 49.2% xuống 0.0% SR@3 dưới ràng buộc token).
Chế độ lỗi và hàm ý thiết kế: Xác định 5 chế độ lỗi khác nhau (chủ yếu là ảo giác bộ nhớ, chiếm 58.9%) và tổng hợp 5 hàm ý thiết kế có thể áp dụng cho các kiến trúc tương lai.

IV. Conclusion & Future Works:

MEMGUI-BENCH thiết lập các đường cơ sở thực nghiệm để thúc đẩy các tác nhân GUI tăng cường bộ nhớ trở nên có năng lực hơn và giống con người hơn trong tự động hóa di động. Các hàm ý thiết kế từ phân tích lỗi chỉ ra các hướng phát triển trong tương lai, bao gồm:

Sử dụng bộ đệm bộ nhớ đa mức độ chi tiết với các khe riêng biệt cho các loại thông tin khác nhau để giải quyết vấn đề ảo giác bộ nhớ cục bộ.
Phân rã nhiệm vụ theo cấp bậc với theo dõi mục tiêu liên tục để giảm thiểu ảo giác bộ nhớ quy trình.
Tận dụng ngữ cảnh dài một cách chiến lược, vượt ra ngoài việc nối lịch sử hội thoại đơn thuần.
Các cơ chế bộ nhớ dài hạn rõ ràng để học tập đa phiên.
Các kiến trúc lai kết hợp quản lý bộ nhớ cấp framework với các mô hình đầu cuối hiệu quả để cân bằng năng lực và chi phí tính toán. Công trình này cũng nhấn mạnh sự cần thiết phát triển các biện pháp bảo vệ để đối phó với các rủi ro lạm dụng tiềm ẩn của tự động hóa tự chủ.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu kiến trúc bộ nhớ mới cho tác nhân GUI: Khám phá việc thiết kế bộ đệm bộ nhớ đa mức độ chi tiết với các khe riêng biệt cho các loại thông tin khác nhau nhằm giải quyết vấn đề ảo giác bộ nhớ cục bộ.
Phát triển tác nhân GUI với khả năng lập kế hoạch và theo dõi mục tiêu nâng cao: Tập trung vào phân rã nhiệm vụ theo cấp bậc với theo dõi mục tiêu liên tục để giảm thiểu ảo giác bộ nhớ quy trình.
Thiết kế kiến trúc lai cho tác nhân GUI: Nghiên cứu kết hợp quản lý bộ nhớ cấp framework với các mô hình đầu cuối hiệu quả để cân bằng năng lực và chi phí tính toán.

2. Patent:

Hệ thống trợ lý chuyển đổi dữ liệu thông minh đa ứng dụng trên điện thoại di động: Một công nghệ cho phép điện thoại di động tự động nhận diện và ghi nhớ thông tin quan trọng (ví dụ: giá sản phẩm, địa chỉ) từ một ứng dụng. Sau đó, hệ thống này sẽ chủ động đề xuất sử dụng thông tin đó trong các ứng dụng liên quan khác (ví dụ: ứng dụng so sánh giá, ứng dụng dẫn đường) mà không cần người dùng sao chép và dán thủ công.
Giải pháp tự động hóa tác vụ di động thích ứng với khả năng học tập cá nhân hóa: Một tác nhân trên điện thoại di động có khả năng học hỏi từ các tương tác của người dùng (thành công và thất bại) qua nhiều phiên sử dụng để tự động hóa các tác vụ đa bước lặp đi lặp lại (ví dụ: đặt vé máy bay qua nhiều ứng dụng, quản lý chi phí). Giải pháp này có thể điều chỉnh chiến lược của mình dựa trên kinh nghiệm trong quá khứ để cải thiện hiệu quả và tránh các lỗi đã gặp trước đó.
Công cụ xây dựng quy trình làm việc di động nhận biết ngữ cảnh: Một hệ thống thông minh trên điện thoại di động giúp người dùng xây dựng các quy trình làm việc phức tạp liên quan đến nhiều ứng dụng bằng cách hiểu ngữ cảnh giao diện người dùng hiện tại và thông tin đã được ghi nhớ trước đó. Nó đề xuất các bước tiếp theo hoặc nhập dữ liệu giữa các ứng dụng dựa trên một bộ nhớ đệm thông minh, ngăn người dùng quên các chi tiết hoặc lặp lại các bước.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06075
ArXiv Abstract	https://arxiv.org/abs/2602.06075
PDF Download	https://arxiv.org/pdf/2602.06075.pdf
Github Repository	https://github.com/lgy0404/MemGUI-Bench

16. OmniVideo-R1: Reinforcing Audio-visual Reasoning with Query Intention and Modality Attention (12 votes)

Tác giả: Zhangquan Chen, Jiale Tao, Ruihuang Li, Yihao Hu, Ruitao Chen, Zhantao Yang, Xinlei Yu, Haodong Jing, Manyuan Zhang, Shuai Shao, Biao Wang, Qinglin Lu, Ruqi Huang

Xuất bản lúc: 2026-02-05

Tag: Audio-visual Reasoning, Multimodal LLMs, Reinforcement Learning, Self-supervised Learning, Contrastive Learning, Deep Fusion

I. Main Problem:

Các mô hình omnivideo hiện tại đối mặt với những thách thức đáng kể trong các tác vụ hiểu biết audio-visual, thường thể hiện hành vi nghịch lý khi việc kết hợp chế độ âm thanh có thể làm suy yếu khả năng suy luận hình ảnh đã có của mô hình. Các phương pháp huấn luyện sau (post-training) hiện có không đào tạo rõ ràng các hành vi suy luận đa phương thức hỗn hợp, như định vị và tổng hợp bằng chứng qua các phương thức, dẫn đến việc mô hình có thể bỏ qua các tín hiệu âm thanh hoặc hình ảnh quan trọng và vẫn tạo ra câu trả lời đúng bằng cách khai thác sai lệch dữ liệu hoặc các lối tắt đơn phương thức. Điều này đặc biệt rõ ràng trong các tác vụ phức tạp đòi hỏi sự hiểu biết audio-visual tích hợp chặt chẽ hoặc suy luận logic tinh vi hơn.

II. Main Idea:

Để giải quyết vấn đề này, các tác giả đề xuất OmniVideo-R1, một framework tăng cường mới lạ nhằm cải thiện khả năng suy luận đa phương thức hỗn hợp. OmniVideo-R1 trao quyền cho các mô hình "suy nghĩ với các tín hiệu đa phương thức" thông qua hai chiến lược chính:

Định vị chuyên sâu theo truy vấn (Query-intensive grounding - QI): Được xây dựng dựa trên các mô trình học tự giám sát. Mục tiêu là giúp mô hình định vị rõ ràng và suy luận trên các phân đoạn audio-visual liên quan đến truy vấn của người dùng trước khi tạo phản hồi. Để tránh chi phí chú thích cao, phương pháp này thiết kế một sơ đồ huấn luyện tự giám sát tận dụng nhiều cặp thời gian-chú thích.
Hợp nhất chú ý đến phương thức (Modality-attentive fusion - MA): Được xây dựng dựa trên các mô trình học tương phản. Mục tiêu là tối đa hóa việc sử dụng các tín hiệu audio-visual. Chiến lược này khuyến khích mô hình suy ra độ tin cậy cao hơn từ các đầu vào audio-visual kết hợp so với các đầu vào đơn phương thức.

Framework sử dụng thuật toán Group Sequence Policy Optimization (GSPO) để tối ưu hóa quy trình suy luận ở cấp độ chuỗi. Giai đoạn QI huấn luyện mô hình với mục tiêu tự giám sát trên các cặp định vị và chú thích. Giai đoạn MA thúc đẩy sự hiểu biết được hợp nhất sâu sắc bằng cách tách rời các đầu vào cụ thể theo phương thức và sau đó thực hiện học tương phản giữa chúng. Điều đáng chú ý là OmniVideo-R1 không dựa vào bất kỳ chú thích cấp độ quy trình rõ ràng nào cho định vị chuyên sâu theo truy vấn hoặc hợp nhất phương thức.

III. Main Results:

OmniVideo-R1 liên tục vượt trội so với các baseline mạnh mẽ, thể hiện hiệu quả và khả năng khái quát hóa mạnh mẽ:

Hiểu biết đa phương thức (Omnimodal Understanding): OmniVideo-R1 vượt qua mô hình SOTA mã nguồn mở Video-SALMONN 2+-72B với ít nhất 4.3% (82.8 so với 79.4) và thậm chí vượt qua mô hình SOTA mã nguồn đóng Gemini3-Pro trên Daily-Omni với lợi thế 2.1% (82.8 so với 81.1) và trên IntentBench với cải thiện 3.8% (74.2 so với 71.5). Đặc biệt, trên OmniVideoBench, nó vượt trội hơn Qwen3-Omni-30B-A3B tới 21.1% (44.8 so với 37.0).
Hiểu biết chỉ hình ảnh (Visual-only Understanding): OmniVideo-R1 không cho thấy sự suy giảm hiệu suất đáng kể và thậm chí còn cải thiện so với mô hình cơ sở, với mức tăng 4.4% trên Video-MME (73.6 so với 70.5) và 3.4% trên LVBench (51.9 so với 50.2).
Nghiên cứu cắt bỏ (Ablation Study): Các chiến lược huấn luyện đề xuất (QI và MA) đều đóng góp đáng kể vào hiệu suất, với "Full" OmniVideo-R1 vượt trội hơn tất cả các chiến lược huấn luyện khác (QA SFT, CoT SFT, Vanilla RL). Việc loại bỏ rintent hoặc rattn đều dẫn đến giảm hiệu suất. Mô hình cũng thể hiện sự mạnh mẽ đối với việc không có đầu vào âm thanh trong một số tác vụ và không nhạy cảm với các dấu thời gian rõ ràng nhờ khả năng sửa lỗi thời gian ngầm định.

IV. Conclusion & Future Works:

OmniVideo-R1 là một framework hợp nhất sâu, chuyên sâu theo truy vấn cho suy luận audio-visual. Quy trình huấn luyện hai giai đoạn của nó, bao gồm định vị tự giám sát và hợp nhất đa phương thức tương phản, giúp mô hình học cách "suy nghĩ với các tín hiệu đa phương thức" và xây dựng các biểu diễn đa phương thức mạch lạc. Các thí nghiệm rộng rãi chứng minh rằng OmniVideo-R1 liên tục vượt trội so với các phương pháp trước đây trên nhiều benchmark, đặt nền tảng vững chắc cho công việc tương lai trong suy luận audio-visual. Hướng nghiên cứu trong tương lai có thể tập trung vào việc mở rộng hơn nữa khả năng suy luận đa phương thức này.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các kỹ thuật học tự giám sát tiên tiến hơn cho Query-intensive grounding, đặc biệt để xử lý các mối quan hệ thời gian phức tạp và sự mơ hồ trong nội dung mà không cần chú thích rõ ràng.
Khám phá các phương pháp gán trọng số động cho các phương thức âm thanh và hình ảnh dựa trên ý định truy vấn và độ phức tạp của nội dung, nhằm đạt được sự hợp nhất tối ưu hơn so với phần thưởng tương phản cố định.
Mở rộng OmniVideo-R1 để xử lý các chuỗi video rất dài và câu chuyện phức tạp, giải quyết các thách thức về giới hạn bộ nhớ và duy trì sự mạch lạc trong các khoảng thời gian kéo dài.

2. Patent:

Tóm tắt video thông minh cho điện thoại di động: Một ứng dụng trên điện thoại di động cho phép người dùng nhập một truy vấn (ví dụ: "tìm những đoạn cháu tôi chơi đùa", "tóm tắt công thức món ăn") cho một video dài. Hệ thống sẽ tự động xác định và trích xuất các phân đoạn âm thanh-hình ảnh liên quan nhất dựa trên truy vấn và tạo ra một bản tóm tắt ngắn gọn hoặc một đoạn phim nổi bật, giúp người dùng tiết kiệm thời gian xem toàn bộ video trên điện thoại.
Phân tích nội dung đa phương thức theo thời gian thực cho mạng xã hội: Một tính năng điện thoại thông minh phân tích nội dung video do người dùng tạo (ví dụ: video TikTok, Reels trên Instagram) bằng cách sử dụng cả tín hiệu hình ảnh và âm thanh. Dựa trên phân tích này, nó cung cấp các gợi ý thông minh cho bộ lọc, chú thích hoặc hashtag liên quan. Ví dụ, nếu video cho thấy cảnh nấu ăn và có tiếng xèo xèo, ứng dụng sẽ đề xuất các hashtag liên quan đến ẩm thực.
Cải thiện khả năng tiếp cận cho người dùng khiếm thị/khiếm thính: Một ứng dụng di động xử lý nội dung audio-visual (ví dụ: video trực tuyến, chương trình phát sóng trực tiếp) và tạo ra các mô tả phong phú, nhận biết ngữ cảnh cho người dùng khiếm thị (mô tả âm thanh bổ sung cho hành động hình ảnh) hoặc cung cấp phụ đề/avatars ngôn ngữ ký hiệu đồng bộ hóa hình ảnh cho người dùng khiếm thính, đảm bảo sự hiểu biết toàn diện về nội dung.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05847
ArXiv Abstract	https://arxiv.org/abs/2602.05847
PDF Download	https://arxiv.org/pdf/2602.05847.pdf
Github Repository	N/A

17. EgoAVU: Egocentric Audio-Visual Understanding (11 votes)

Tác giả: Ashish Seth, Xinhao Mei, Changsheng Zhao, Varun Nagaraja, Ernie Chang, Gregory P. Meyer, Gael Le Lan, Yunyang Xiong, Vikas Chandra, Yangyang Shi, Dinesh Manocha, Zhipeng Cai

Xuất bản lúc: 2026-02-05

Tag: Egocentric Vision, Audio-Visual Understanding, MLLMs, Dataset Generation, Embodied AI

I. Main Problem:

Việc hiểu các video egocentric (góc nhìn thứ nhất) đóng vai trò quan trọng trong trí tuệ thể hiện (embodied intelligence). Tuy nhiên, các MLLMs (Multi-modal Large Language Models) hiện tại, dù có thể chấp nhận cả đầu vào hình ảnh và âm thanh, vẫn chưa được khám phá đầy đủ về khả năng cùng lúc hiểu cả hai phương thức trong video egocentric. Thách thức chính là việc thiếu dữ liệu có nhãn văn bản với thông tin đa phương thức (joint-modality) mạch lạc và đồng bộ. Các bộ dữ liệu egocentric hiện có thường chỉ tập trung vào tương tác người-vật thể và thiếu ngữ cảnh môi trường rộng hơn hoặc sự đa dạng của tín hiệu âm thanh. Các benchmark hiện tại chủ yếu dựa vào tín hiệu thị giác, bỏ qua các tín hiệu âm thanh hoặc không liên kết âm thanh với nguồn hình ảnh tương ứng.

II. Main Idea:

Chúng tôi giới thiệu EgoAVU, một công cụ dữ liệu tự động và có khả năng mở rộng để tạo ra các câu chuyện, câu hỏi và câu trả lời âm thanh-hình ảnh egocentric. EgoAVU làm phong phú các câu chuyện của con người với ngữ cảnh đa phương thức và tạo ra các câu chuyện âm thanh-hình ảnh thông qua mô hình hóa tương quan đa phương thức. Việc lọc video dựa trên token và quản lý dữ liệu theo mô-đun, dựa trên đồ thị đảm bảo cả tính đa dạng và chất lượng dữ liệu.

Quy trình EgoAVU bao gồm bốn thành phần chính:

Cải thiện tường thuật Egocentric (Narration Enhancement): Làm phong phú các tường thuật thô bằng cách tích hợp ngữ cảnh môi trường, chi tiết vật thể hình ảnh và chú thích âm thanh được tạo bằng các MLLM mã nguồn mở, xử lý độc lập từng phương thức để tránh sai lệch và ảo giác.
Lọc video để tăng cường đa dạng (Video Filtering): Lọc các video có động lực âm thanh-hình ảnh phong phú dựa trên chỉ số Moving-Average Type–Token Ratio (MATTR) của các tường thuật đã cải thiện, loại bỏ các mô tả tĩnh hoặc lặp lại.
Tạo tường thuật âm thanh-hình ảnh (Audio-Visual Narration Generation): Xây dựng một Biểu đồ Ngữ cảnh Đa phương thức (Multimodal Context Graph - MCG) để nắm bắt các mối quan hệ phức tạp giữa các hành động, vật thể và âm thanh. Sau đó, LLM sẽ sử dụng MCG và các tường thuật được cải thiện để tạo ra các tường thuật âm thanh-hình ảnh thống nhất, có tính mạch lạc cao.
Tạo cặp câu hỏi-trả lời (QA Generation): Tổng hợp các cặp câu hỏi-trả lời đa dạng (gồm cả dạng mở và đóng) từ các tường thuật âm thanh-hình ảnh thống nhất để kiểm tra các khía cạnh khác nhau của sự hiểu biết âm thanh-hình ảnh egocentric, bao gồm Liên kết Nguồn-Âm thanh (SSA), Tường thuật Đoạn Âm thanh-Hình ảnh (AVSN), Tường thuật Dày Đặc Âm thanh-Hình ảnh (AVDN), Suy luận Thời gian (TR), và Ảo giác Âm thanh-Hình ảnh (AVH).

III. Main Results:

Các MLLM hiện có hoạt động kém trên EgoAVU-Bench, cho thấy những hạn chế đáng kể trong khả năng suy luận âm thanh-hình ảnh tổng hợp của chúng và sự thiên vị nặng nề đối với tín hiệu thị giác. Finetuning các MLLM trên EgoAVU-Instruct giúp giải quyết hiệu quả vấn đề này, mang lại hiệu suất cải thiện tới 113% trên EgoAVU-Bench. Cụ thể, trong các nhiệm vụ dạng mở, chúng tôi đạt được cải thiện lên đến 113.3%, và trong các nhiệm vụ dạng đóng, cải thiện lên đến 44.5% so với mô hình cơ sở tốt nhất. Lợi ích này cũng có thể chuyển giao sang các benchmark khác như EgoTempo và EgoIllusion, đạt được mức tăng hiệu suất tương đối lên đến 28%. Phân tích lỗi cho thấy MLLMs gặp khó khăn nhất trong việc xác định âm thanh, sau đó là hành động của con người, trong khi thực hiện tương đối tốt hơn trong việc nhận dạng các vật thể trực quan. Mô hình của chúng tôi cũng duy trì hiệu suất mạnh mẽ trên các benchmark Video QA exocentric (không egocentric) như VideoMME và AVQA.

IV. Conclusion & Future Works:

EgoAVU là một công cụ dữ liệu tự động và có khả năng mở rộng, giải quyết vấn đề thiếu dữ liệu cho việc hiểu âm thanh-hình ảnh egocentric. Bằng cách xây dựng EgoAVU-Instruct và EgoAVU-Bench, chúng tôi đã chứng minh rằng việc finetuning MLLMs trên bộ dữ liệu của chúng tôi giúp cải thiện đáng kể khả năng hiểu đa phương thức và tính khái quát hóa của chúng trong bối cảnh egocentric. Công trình này mở ra con đường cho việc phát triển các MLLM mạnh mẽ hơn, có khả năng suy luận chính xác hơn về thế giới từ góc nhìn thứ nhất, hỗ trợ các ứng dụng trong trí tuệ thể hiện và thực tế hỗn hợp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các kiến trúc MLLM mới hoặc cơ chế chú ý đa phương thức tiên tiến hơn để cải thiện sự kết hợp âm thanh-hình ảnh egocentric, đặc biệt là trong các tình huống camera chuyển động nhanh hoặc bị tự che khuất.
Phát triển các phương pháp đánh giá định lượng mới cho các nhiệm vụ hiểu âm thanh-hình ảnh egocentric dạng mở, vượt ra ngoài các chỉ số dựa trên LLM-as-a-judge và n-gram, nhằm nắm bắt tốt hơn sự hiểu biết ngữ cảnh và liên kết nguồn-âm thanh.
Mở rộng ứng dụng của dữ liệu EgoAVU-Instruct để đào tạo các mô hình cho các tác vụ embodied AI khác, chẳng hạn như điều khiển robot hoặc tương tác trong thực tế hỗn hợp, nơi hiểu biết âm thanh-hình ảnh chi tiết là rất quan trọng.

2. Patent:

Một ứng dụng di động có thể ghi lại video bằng camera của điện thoại và tự động tạo các bản tường thuật chi tiết, có dấu thời gian, mô tả cả các sự kiện hình ảnh và âm thanh mà người dùng trải nghiệm, giúp người dùng dễ dàng tìm kiếm hoặc xem lại các hoạt động sau này.
Một tính năng trợ lý thông minh trên điện thoại phân tích đầu vào từ camera và micrô của điện thoại trong các hoạt động hàng ngày (ví dụ: nấu ăn) để cung cấp phản hồi hoặc hướng dẫn âm thanh-hình ảnh theo thời gian thực, có khả năng nhận biết các âm thanh như tiếng 'dao băm' hoặc 'chảo xèo' và liên hệ chúng với các vật thể đang hiển thị.
Một hệ thống an toàn di động sử dụng phân tích âm thanh-hình ảnh egocentric từ điện thoại để phát hiện các sự kiện hoặc âm thanh bất thường (ví dụ: tiếng 'vỡ' hoặc 'la hét' trong một ngữ cảnh lạ) và cảnh báo người dùng hoặc liên hệ khẩn cấp, đồng thời cung cấp thông tin ngữ cảnh từ video và âm thanh đã ghi được.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06139
ArXiv Abstract	https://arxiv.org/abs/2602.06139
PDF Download	https://arxiv.org/pdf/2602.06139.pdf
Github Repository	N/A

18. InftyThink+: Effective and Efficient Infinite-Horizon Reasoning via Reinforcement Learning (10 votes)

Tác giả: Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, Zujie Wen, Zhiqiang Zhang, Jun Zhou, Jian Shao, Yueting Zhuang, Yongliang Shen

Xuất bản lúc: 2026-02-06

Tag: LLMs, Reinforcement Learning, Iterative Reasoning

I. Main Problem:

Mô hình suy luận lớn gặp phải ba rào cản chính khi mở rộng suy luận theo paradigm ngữ cảnh dài tiêu chuẩn:

Chi phí tính toán cao: Độ phức tạp quadratic của cơ chế self-attention khiến chi phí suy luận tăng siêu tuyến tính theo độ dài chuỗi suy luận.
Giới hạn độ dài ngữ cảnh: Suy luận bị giới hạn cứng bởi cửa sổ ngữ cảnh tối đa của mô hình, khiến các vấn đề phức tạp vượt quá giới hạn này không thể giải quyết được.
Hiện tượng "mất giữa chừng": Khi chuỗi suy luận dài ra, thông tin quan trọng ở đầu chuỗi có thể trở nên khó truy cập, làm suy giảm chất lượng suy luận. Các phương pháp suy luận lặp lại hiện có không tối ưu được các quyết định quan trọng: khi nào tóm tắt, điều gì cần giữ lại, và làm thế nào để tiếp tục suy luận sau khi nén. Chúng dựa vào học có giám sát hoặc các heuristics cố định, dẫn đến hiệu suất không tối ưu cho các quyết định tuần tự có hậu quả dài hạn.

II. Main Idea:

Đề xuất InftyThink+, một framework học tăng cường (RL) end-to-end để tối ưu hóa toàn bộ quá trình suy luận lặp lại. Các ý tưởng chính bao gồm:

Phân tách định dạng và chiến lược: Xây dựng dựa trên paradigm của InftyThink với ranh giới lặp lại do mô hình kiểm soát và tóm tắt rõ ràng. InftyThink+ sử dụng sơ đồ huấn luyện hai giai đoạn:
- Giai đoạn khởi tạo (cold-start) có giám sát: Huấn luyện mô hình để học định dạng suy luận lặp lại cơ bản thông qua điều chỉnh tinh (fine-tuning) trên dữ liệu suy luận vanilla được chuyển đổi.
- Giai đoạn học tăng cường (RL) cấp độ quỹ đạo: Tối ưu hóa các quyết định chiến lược (khi nào tóm tắt, điều gì cần giữ lại, và làm thế nào để tiếp tục suy luận) thông qua học dựa trên phần thưởng, xử lý các quyết định tuần tự có hậu quả dài hạn.
Thiết kế RL đặc biệt:
- Quá trình rollout cấp độ quỹ đạo: Mỗi truy vấn tạo ra một quỹ đạo gồm nhiều lần tạo lặp, giới hạn bởi một số lần lặp tối đa (φ).
- Thiết kế phần thưởng (Reward Design):
  - Rtask: Đánh giá tính đúng đắn của lời giải cuối cùng.
  - Reff: Khuyến khích giải quyết vấn đề bằng ít lần lặp hơn thông qua hình phạt giảm dần bậc hai.
  - Hai phần thưởng này được kết hợp theo cách nhân: R(Oi) = Rtask(Oi) * Reff(Oi), đảm bảo chỉ các quỹ đạo đúng mới nhận được phần thưởng hiệu quả.
- Ước tính đạo hàm chính sách (Policy Gradient): Sử dụng Group Relative Policy Optimization (GRPO) với các ưu thế được tính ở cấp độ quỹ đạo và chia sẻ trên tất cả các lần lặp trong một quỹ đạo, phản ánh rằng các lần lặp đầu đóng góp vào thành công cuối cùng.
- Ổn định huấn luyện: Áp dụng mặt nạ gradient cấp token (IcePop) để tăng cường độ mạnh mẽ của quá trình huấn luyện RL.

III. Main Results:

Cải thiện độ chính xác:
- Tăng độ chính xác thêm 21% trên AIME24 với DeepSeek-R1-Distill-Qwen-1.5B.
- Vượt trội hơn RL Chain-of-Thought dài truyền thống với biên độ rõ ràng (ví dụ: tăng thêm 9% trên AIME24 so với phương pháp vanilla).
- Khả năng tổng quát hóa tốt hơn cho các benchmark ngoài phân phối (ví dụ: tăng 5% độ chính xác trên GPQA_diamond, cao hơn 4% so với cách tiếp cận vanilla).
Nâng cao hiệu quả:
- Giảm đáng kể độ trễ suy luận: Giảm độ trễ suy luận 32.8% trên AIME25 so với phương pháp vanilla. Khi kết hợp với phần thưởng hiệu quả, độ trễ trung bình giảm từ 77.57s xuống 48.37s (giảm 29.20s), và số lượng token giảm từ 20.02K xuống 10.66K.
- Đẩy nhanh tốc độ huấn luyện RL: Tăng tốc độ huấn luyện lên 18.2% so với huấn luyện RL tiêu chuẩn. Cụ thể, huấn luyện RL vanilla mất 300 giây mỗi bước, trong khi InftyThink+ RL giảm xuống 225 giây mỗi bước (tăng tốc khoảng 25%), và khi có phần thưởng hiệu quả, còn 175 giây mỗi bước (tăng tốc khoảng 40%).
Hành vi học được thích ứng:
- Học được khi nào nên tóm tắt hiệu quả hơn (thời điểm thích ứng vượt trội so với thời điểm cố định hoặc ngẫu nhiên).
- Học được cách tóm tắt tốt hơn (tóm tắt nội bộ của mô hình sau RL vượt trội hơn tóm tắt từ LLM bên ngoài).
- Học được cách tiếp tục suy luận từ ngữ cảnh đã được nén một cách nhất quán và tiến bộ.

IV. Conclusion & Future Works:

Kết luận: InftyThink+ là một framework học tăng cường end-to-end giúp tối ưu hóa suy luận lặp lại ở cấp độ quỹ đạo. Bằng cách tách biệt việc học định dạng với tối ưu hóa chiến lược, InftyThink+ cho phép các mô hình học được khi nào nên nén, cách nén, và cách tiếp tục suy luận một cách hiệu quả. Các thử nghiệm cho thấy InftyThink+ đạt được sự gia tăng độ chính xác đáng kể so với suy luận lặp lại dựa trên SFT và RL ngữ cảnh dài tiêu chuẩn, đồng thời giảm đáng kể độ trễ suy luận. Những cải tiến này xuất phát từ các hành vi thích ứng đã được học thay vì các heuristics, chứng minh tầm quan trọng của tối ưu hóa cấp độ quỹ đạo. Hướng phát triển trong tương lai:

Nghiên cứu các phương pháp tinh chỉnh và thiết kế hàm phần thưởng phức tạp hơn để tối ưu hóa sâu hơn các quyết định chiến lược trong suy luận lặp lại, đặc biệt cho các nhiệm vụ đòi hỏi sự đánh đổi phức tạp giữa hiệu quả và độ chính xác.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng InftyThink+ cho các mô hình ngôn ngữ đa phương thức (multimodal LLMs) để quản lý ngữ cảnh và suy luận trong các nhiệm vụ phức tạp kết hợp văn bản, hình ảnh, âm thanh, v.v.
Phát triển cơ chế tóm tắt tự thích ứng động, nơi mô hình không chỉ quyết định khi nào tóm tắt mà còn điều chỉnh độ chi tiết của bản tóm tắt dựa trên độ phức tạp của nhiệm vụ và tài nguyên có sẵn.
Áp dụng InftyThink+ vào các môi trường tác tử (agentic environments) dài hạn, nơi mô hình cần lập kế hoạch, thực hiện và phản tư qua nhiều bước, với khả năng ghi nhớ và tóm tắt trạng thái môi trường hiệu quả.

2. Patent:

Công nghệ "Trợ lý học tập thông minh" trên điện thoại: Một ứng dụng học tập trên điện thoại giúp sinh viên hoặc người học tự động tóm tắt các bài giảng, sách giáo trình điện tử hoặc ghi chú dài. Hệ thống sẽ nhận diện các khái niệm chính và tóm tắt chúng sau mỗi phần hoặc chương, cho phép người học xem lại một cách hiệu quả mà không bị quá tải thông tin. Người dùng có thể tương tác với bản tóm tắt để đào sâu vào các chi tiết cụ thể khi cần, giúp quá trình ôn tập và học bài trở nên nhanh chóng và dễ dàng hơn.
Hệ thống "Ghi chú cuộc họp động" cho di động: Một ứng dụng trên điện thoại hoặc máy tính bảng tự động ghi âm và chuyển đổi các cuộc họp thành văn bản. Trong quá trình này, hệ thống sẽ liên tục tóm tắt những điểm thảo luận chính, quyết định đã được đưa ra và các mục hành động, hiển thị chúng một cách rõ ràng và ngắn gọn. Điều này giúp người tham gia theo dõi cuộc họp hiệu quả, và sau đó dễ dàng tìm kiếm hoặc chia sẻ các thông tin quan trọng mà không cần đọc lại toàn bộ biên bản dài.
Công cụ "Kiểm tra và tối ưu mã nguồn" trên thiết bị di động: Một tiện ích cho phép các lập trình viên kiểm tra và sửa lỗi mã nguồn trực tiếp trên điện thoại. Công cụ này sẽ phân tích các đoạn mã lớn hoặc chuỗi lỗi phức tạp bằng cách chia nhỏ thành các phần quản lý được. Sau mỗi lần phân tích một phần, nó sẽ tự động tóm tắt các vấn đề hoặc gợi ý sửa lỗi quan trọng nhất, giúp lập trình viên nhanh chóng xác định và khắc phục sự cố mà không cần chuyển sang máy tính để bàn, tiết kiệm thời gian và tăng cường khả năng làm việc linh hoạt.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06960
ArXiv Abstract	https://arxiv.org/abs/2602.06960
PDF Download	https://arxiv.org/pdf/2602.06960.pdf
Github Repository	https://github.com/ZJU-REAL/InftyThink-Plus

19. Large Language Model Reasoning Failures (10 votes)

Tác giả: Peiyang Song, Pengrui Han, Noah Goodman

Xuất bản lúc: 2026-02-05

Tag: LLMs, Reasoning, Failures, Survey

I. Main Problem:

Các Large Language Models (LLMs) đã thể hiện khả năng suy luận ấn tượng nhưng vẫn còn tồn tại những thất bại đáng kể, ngay cả trong các tình huống tưởng chừng đơn giản. Lĩnh vực nghiên cứu về các thất bại suy luận của LLM hiện đang bị phân mảnh và chưa được khảo sát một cách thống nhất. Sự phân mảnh này cản trở việc đạt được sự hiểu biết sâu rộng hơn, vốn là điều kiện tiên quyết để nhận ra các mô hình chung và rút ra những bài học có giá trị từ các thất bại.

II. Main Idea:

Bài báo trình bày khảo sát toàn diện đầu tiên dành riêng cho các thất bại suy luận trong LLMs. Các tác giả giới thiệu một khung phân loại mới phân biệt suy luận thành hai loại: hiện thân (embodied) và phi hiện thân (non-embodied), trong đó loại phi hiện thân được chia nhỏ hơn thành suy luận không chính thức (trực giác) và chính thức (logic). Song song đó, các thất bại suy luận được phân loại theo ba loại bổ sung: thất bại cơ bản (nội tại), giới hạn ứng dụng cụ thể và vấn đề về độ tin cậy. Đối với mỗi loại thất bại, bài báo cung cấp định nghĩa rõ ràng, phân tích các nghiên cứu hiện có, khám phá nguyên nhân gốc rễ và trình bày các chiến lược giảm thiểu. Một bộ sưu tập toàn diện các công trình nghiên cứu về các thất bại suy luận của LLM cũng được phát hành dưới dạng kho lưu trữ GitHub để tạo điểm khởi đầu dễ dàng cho lĩnh vực này.

III. Main Results:

Khảo sát đã thống nhất các nỗ lực nghiên cứu rời rạc, cung cấp một cái nhìn có cấu trúc về các điểm yếu hệ thống trong suy luận của LLM. Khung phân loại mới phân tích chi tiết các thất bại trong:

Suy luận không chính thức: Bao gồm suy luận nhận thức cá nhân (kỹ năng điều hành, thành kiến nhận thức) và suy luận xã hội (Lý thuyết về Tâm trí (ToM), chuẩn mực xã hội và giá trị đạo đức, hệ thống đa tác nhân).
Suy luận chính thức: Bao gồm logic trong ngôn ngữ tự nhiên (lỗi đảo ngược, suy luận thành phần, quan hệ logic cụ thể), logic trong các điểm chuẩn (điểm chuẩn bài toán từ toán học (MWP), điểm chuẩn mã hóa) và số học & toán học (đếm, số học cơ bản, MWP và hơn thế nữa).
Suy luận hiện thân: Bao gồm lý luận vật lý dựa trên văn bản 1D và lý luận vật lý 2D. Các thất bại này được phân loại thành các vấn đề cơ bản, giới hạn ứng dụng và các vấn đề về độ tin cậy, làm nổi bật tính chất đa dạng và phức tạp của chúng.

IV. Conclusion & Future Works:

Khảo sát này cung cấp một cái nhìn có cấu trúc về các điểm yếu hệ thống trong suy luận của LLM, hướng dẫn nghiên cứu trong tương lai nhằm xây dựng khả năng suy luận mạnh mẽ, đáng tin cậy và vững chắc hơn. Các thất bại suy luận của LLM, đặc biệt là các thành kiến nhận thức, có bản chất đa dạng và khó loại bỏ hoàn toàn. Nghiên cứu trong tương lai cần vượt ra ngoài các kỹ thuật nhắc nhở (prompting) để điều tra các nguyên nhân sâu xa hơn và các chiến lược giảm thiểu tổng quát, bao gồm đổi mới kiến trúc cho các hạn chế như đếm và số học. Việc triển khai trong thế giới thực cho các hệ thống đa tác nhân sẽ yêu cầu một sự kết hợp tích hợp giữa các phương pháp (như tối ưu hóa ngữ cảnh, giao thức giao tiếp có cấu trúc và tác nhân kiểm tra) với tinh chỉnh miền và đảm bảo an toàn chính thức.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu về các đổi mới kiến trúc LLM để giải quyết các giới hạn suy luận cơ bản như khả năng đếm, số học cơ bản và trí nhớ làm việc, thay vì chỉ dựa vào các phương pháp bên ngoài.
Phát triển các chiến lược giảm thiểu tổng quát cho các thành kiến nhận thức và Lý thuyết về Tâm trí (ToM) trong LLM, tập trung vào việc điều chỉnh dữ liệu huấn luyện và quy trình học tập thay vì chỉ sử dụng các kỹ thuật nhắc nhở (prompting).
Thiết kế các hệ thống đa tác nhân (MAS) dựa trên LLM có khả năng lập kế hoạch dài hạn mạnh mẽ, giao tiếp hiệu quả và độ tin cậy cao, tích hợp các giao thức có cấu trúc, cơ chế kiểm tra chéo giữa các tác nhân và đảm bảo an toàn chính thức.

2. Patent:

Hệ thống hỗ trợ thông minh trên điện thoại có khả năng tự động kiểm tra tính nhất quán của các phản hồi. Khi người dùng hỏi một câu và sau đó hỏi lại bằng cách diễn đạt khác, hệ thống sẽ so sánh các câu trả lời. Nếu phát hiện sự mâu thuẫn, nó sẽ yêu cầu người dùng làm rõ hoặc tự động tìm kiếm thêm thông tin để đưa ra câu trả lời đáng tin cậy nhất, tránh việc đưa ra thông tin sai lệch do hiểu sai ngữ cảnh.
Ứng dụng lập kế hoạch cá nhân trên điện thoại có tính năng "kiểm tra logic đa bước". Khi người dùng yêu cầu lập kế hoạch cho một nhiệm vụ phức tạp (ví dụ: lên lịch trình du lịch nhiều điểm đến, quản lý dự án nhỏ), ứng dụng không chỉ đưa ra kế hoạch ban đầu mà còn tự động phân tích từng bước, đảm bảo các bước có mối liên hệ logic, không chồng chéo và khả thi. Nếu có điểm mâu thuẫn hoặc thiếu sót, ứng dụng sẽ chủ động đề xuất điều chỉnh hoặc cảnh báo cho người dùng.
Chức năng "phân tích ngữ cảnh giao tiếp" tích hợp vào các ứng dụng nhắn tin hoặc mạng xã hội trên điện thoại. Hệ thống này có thể phân tích nội dung cuộc trò chuyện, lịch sử tương tác và các yếu tố xã hội khác để đưa ra gợi ý về sắc thái biểu cảm, lời khuyên về cách phản hồi phù hợp với tâm trạng của đối phương hoặc chuẩn mực xã hội, giúp người dùng giao tiếp hiệu quả và tránh hiểu lầm.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06176
ArXiv Abstract	https://arxiv.org/abs/2602.06176
PDF Download	https://arxiv.org/pdf/2602.06176.pdf
Github Repository	https://github.com/Peiyang-Song/Awesome-LLM-Reasoning-Failures

📰 Summary of Papers​

1. F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare (68 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Baichuan-M3: Modeling Clinical Inquiry for Reliable Medical Decision-Making (58 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. AudioSAE: Towards Understanding of Audio-Processing Models with Sparse AutoEncoders (57 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions (55 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. On the Entropy Dynamics in Reinforcement Fine-Tuning of Large Language Models (52 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. MSign: An Optimizer Preventing Training Instability in Large Language Models via Stable Rank Restoration (32 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Pisets: A Robust Speech Recognition System for Lectures and Interviews (31 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos (27 votes)​

I. Main Problem:​

I. Main Problem:​

II. Main Idea:​

II. Main Idea:​

III. Main Results:​

III. Main Results:​

IV. Conclusion & Future Works:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Self-Improving World Modelling with Latent Actions (26 votes)​

I. Main Problem:​

II. Main Idea:​

📰 Summary of Papers

1. F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare (68 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Baichuan-M3: Modeling Clinical Inquiry for Reliable Medical Decision-Making (58 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. AudioSAE: Towards Understanding of Audio-Processing Models with Sparse AutoEncoders (57 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions (55 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. On the Entropy Dynamics in Reinforcement Fine-Tuning of Large Language Models (52 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. MSign: An Optimizer Preventing Training Instability in Large Language Models via Stable Rank Restoration (32 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Pisets: A Robust Speech Recognition System for Lectures and Interviews (31 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos (27 votes)

I. Main Problem:

I. Main Problem:

II. Main Idea:

II. Main Idea:

III. Main Results:

III. Main Results:

IV. Conclusion & Future Works:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Self-Improving World Modelling with Latent Actions (26 votes)

I. Main Problem:

II. Main Idea: