🤗 Daily Hugging Face Paper Digest - 2026-02-06

Báo cáo được tạo tự động vào lúc 2026-02-11 17:55:04 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty (80 votes)

Tác giả: Johannes Kirmayr, Lukas Stappen, Elisabeth André

Xuất bản lúc: 2026-01-29

Tag: LLMs, LLM Agents, Benchmarking, Consistency, Uncertainty Handling, Automotive AI

I. Main Problem:

Các benchmark hiện có cho tác nhân Large Language Model (LLM) chủ yếu tập trung vào việc hoàn thành nhiệm vụ trong các cài đặt lý tưởng, bỏ qua độ tin cậy trong các ứng dụng thực tế, đối mặt với người dùng. Trong các lĩnh vực như trợ lý giọng nói trên xe, người dùng thường đưa ra các yêu cầu không đầy đủ hoặc mơ hồ, tạo ra sự không chắc chắn nội tại mà các tác nhân phải quản lý. Ngoài ra, các tác nhân LLM còn gặp khó khăn trong việc nhận biết giới hạn của bản thân (ví dụ: khi thiếu công cụ hoặc thông tin) và có xu hướng tạo ra thông tin bịa đặt (hallucination) hoặc vi phạm chính sách để đáp ứng yêu cầu người dùng.

II. Main Idea:

Nghiên cứu giới thiệu CAR-bench, một benchmark mới để đánh giá tính nhất quán, khả năng xử lý sự không chắc chắn và nhận biết giới hạn của các tác nhân LLM đa lượt, sử dụng công cụ trong miền trợ lý trên xe. Môi trường này có một người dùng mô phỏng bằng LLM, các chính sách miền (domain policies) và 58 công cụ liên kết với nhau. CAR-bench giới thiệu các loại tác vụ mới: Hallucination tasks (kiểm tra nhận thức về giới hạn khi thiếu công cụ hoặc thông tin) và Disambiguation tasks (yêu cầu giải quyết sự không chắc chắn thông qua làm rõ hoặc thu thập thông tin nội bộ), bên cạnh các tác vụ cơ bản (Base tasks). Benchmark sử dụng chỉ số Pass^k (thành công trong tất cả k lần thử) để đo lường tính nhất quán, phản ánh sự sẵn sàng triển khai trong thế giới thực.

III. Main Results:

Kết quả đánh giá ban đầu cho thấy khoảng cách lớn giữa khả năng tiềm ẩn (Pass@3) và thành công nhất quán (Pass^3) trên tất cả các loại tác vụ. Ngay cả các mô hình suy luận tiên tiến như GPT-5 cũng chỉ đạt dưới 50% tỷ lệ thành công nhất quán trên các tác vụ Disambiguation do hành động vội vàng, và thường xuyên vi phạm chính sách hoặc bịa đặt thông tin trong các tác vụ Hallucination. Các mô hình 'thinking' vượt trội hơn các biến thể 'non-thinking' về hiệu suất, và khoảng cách này càng rộng khi độ phức tạp của tác vụ tăng lên. Các tác vụ Hallucination và Disambiguation tỏ ra đặc biệt thách thức, với không mô hình nào vượt quá 50% Pass^3 trên tác vụ Disambiguation, cho thấy một khoảng cách quan trọng trong khả năng của các tác nhân hiện tại để xử lý các kịch bản không đầy đủ hoặc yêu cầu mơ hồ.

IV. Conclusion & Future Works:

CAR-bench cung cấp một benchmark vững chắc để theo dõi tiến độ hướng tới các mục tiêu về tác nhân LLM đáng tin cậy: sử dụng công cụ chính xác, tuân thủ hướng dẫn, quản lý sự không chắc chắn và truyền đạt trung thực các giới hạn của hệ thống. Các hướng nghiên cứu trong tương lai bao gồm: giải quyết lỗi mô phỏng người dùng, mở rộng môi trường để bao gồm tương tác đa người dùng, lập kế hoạch dài hạn hoặc các tín hiệu đa phương thức; phân chia tối ưu trách nhiệm giữa tác nhân và các lớp an toàn bên ngoài; mở rộng bộ dữ liệu cho fine-tuning quy mô lớn; và đánh giá các mô hình mã nguồn mở và nhỏ hơn để tối ưu hóa cho các hệ thống ô tô bị giới hạn tài nguyên.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các kiến trúc tác nhân LLM mạnh mẽ ưu tiên tuân thủ chính sách và nhận diện sự không chắc chắn hơn là hoàn thành tác vụ sớm.
Nghiên cứu các cơ chế meta-reasoning để cải thiện khả năng phát hiện sự mơ hồ và lựa chọn chiến lược làm rõ tối ưu cho tác nhân LLM.
Khám phá các phương pháp fine-tuning và tối ưu hóa dựa trên ưu tiên (preference optimization) để thu hẹp khoảng cách nhất quán và cải thiện khả năng xử lý tình huống giới hạn trong các tác nhân LLM.

2. Patent:

Hệ thống trợ lý di động nhận diện sự thiếu thông tin: Một ứng dụng trợ lý giọng nói trên điện thoại có thể xác định khi nó không có đủ thông tin hoặc công cụ để thực hiện yêu cầu của người dùng, thay vì đưa ra câu trả lời sai hoặc không chính xác. Thay vào đó, nó sẽ chủ động hỏi thêm thông tin hoặc thông báo rõ ràng về giới hạn của mình.
Công nghệ trợ lý di động phân giải ý định mập mờ: Một hệ thống trợ lý cá nhân trên điện thoại thông minh có khả năng nhận biết khi yêu cầu của người dùng không rõ ràng hoặc có nhiều cách hiểu. Hệ thống sẽ tự động đưa ra các câu hỏi làm rõ hoặc sử dụng thông tin có sẵn trong điện thoại (lịch sử, cài đặt) để đưa ra hành động chính xác nhất, tránh hành động vội vàng gây ra kết quả không mong muốn.
Phần mềm quản lý tài nguyên trợ lý thông minh trên điện thoại: Một tính năng trong hệ điều hành điện thoại cho phép trợ lý AI điều chỉnh mức độ 'suy nghĩ' hoặc xử lý của nó dựa trên độ phức tạp của tác vụ và tài nguyên pin/CPU hiện có, đảm bảo trải nghiệm người dùng mượt mà và tiết kiệm năng lượng, đồng thời vẫn đạt được độ tin cậy cao cho các tác vụ quan trọng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.22027
ArXiv Abstract	https://arxiv.org/abs/2601.22027
PDF Download	https://arxiv.org/pdf/2601.22027.pdf
Github Repository	https://github.com/CAR-bench/car-bench

2. Spider-Sense: Intrinsic Risk Sensing for Efficient Agent Defense with Hierarchical Adaptive Screening (69 votes)

Tác giả: Zhenxiong Yu, Zhi Yang, Zhiheng Jin, Shuhe Wang, Heng Zhang, Yanlin Fei, Lingfeng Zeng, Fangqi Lou, Shuo Zhang, Tu Hu, Jingping Liu, Rongze Chen, Xingyu Zhu, Kunyi Wang, Chaofa Yuan, Xin Guo, Zhaowei Liu, Feipeng Zhang, Jie Huang, Huacan Wang, Ronghao Chen, Liwen Zhang

Xuất bản lúc: 2026-02-05

Tag: LLMs, Autonomous Agents, Agent Security, Defense Mechanism, Risk Sensing, Hierarchical Screening, Benchmarking, AI Safety

I. Main Problem:

LLM-powered autonomous agents đang mở rộng phạm vi ứng dụng đáng kể nhưng cũng đối mặt với các thách thức bảo mật mới, bao gồm prompt injection, memory poisoning và các lỗ hổng dựa trên công cụ (tool-based exploits), có thể dẫn đến hậu quả nghiêm trọng như rò rỉ dữ liệu nhạy cảm hoặc thao tác hệ thống trái phép. Các cơ chế phòng thủ hiện có thường áp dụng mô hình kiểm tra bắt buộc, tức là validation bảo mật được kích hoạt một cách cưỡng bức tại các giai đoạn định trước của vòng đời tác nhân, không phân biệt rủi ro có thực sự tồn tại hay không. Điều này gây ra độ trễ lớn, khó áp dụng trong thực tế, tỷ lệ dương tính giả cao và phụ thuộc vào các mô hình xác minh bên ngoài, dẫn đến chi phí tính toán và tiền bạc đáng kể.

II. Main Idea:

Tác giả đề xuất SPIDER-SENSE, một framework phòng thủ theo định hướng sự kiện dựa trên Intrinsic Risk Sensing (IRS). IRS cho phép các tác nhân duy trì trạng thái cảnh giác tiềm ẩn và chỉ kích hoạt các cơ chế phòng thủ khi nhận thấy rủi ro. Khi được kích hoạt, SPIDER-SENSE sử dụng một cơ chế phòng thủ phân cấp (Hierarchical Adaptive Screening - HAS) để cân bằng giữa hiệu quả và độ chính xác: nó giải quyết các mẫu tấn công đã biết thông qua đối sánh tương tự (similarity matching) nhẹ nhàng, đồng thời chuyển các trường hợp mơ hồ sang quá trình suy luận nội bộ sâu sắc hơn. Điều này giúp loại bỏ sự phụ thuộc vào các mô hình bên ngoài và đảm bảo phòng thủ nội tại, có chọn lọc. Framework này cũng giới thiệu S2Bench, một benchmark nhận biết vòng đời tác nhân với khả năng thực thi công cụ thực tế và các cuộc tấn công đa giai đoạn để đánh giá chặt chẽ.

III. Main Results:

SPIDER-SENSE đạt được hiệu suất phòng thủ cạnh tranh hoặc vượt trội trên các benchmark phổ biến (Mind2Web, eICU) và S2Bench. Nó đạt tỷ lệ tấn công thành công (ASR) thấp nhất và tỷ lệ dương tính giả (FPR) thấp nhất, cho thấy khả năng ngăn chặn hiệu quả các cuộc tấn công mà không gây gián đoạn không cần thiết. Framework này chỉ gây ra một mức độ trễ nhỏ không đáng kể, chỉ 8.3% so với các phương pháp phòng thủ hiện có, và nhanh hơn đáng kể so với các pipeline guardrail nặng. SPIDER-SENSE đạt 100% sự đồng thuận (Agreement Metrics - AM) trên cả Mind2Web và eICU, cho thấy sự chính xác của cơ chế can thiệp theo yêu cầu. Các nghiên cứu loại bỏ (ablation studies) chứng minh rằng việc loại bỏ bất kỳ giai đoạn cảm biến rủi ro nào hoặc thành phần nào của Hierarchical Adaptive Screening (HAS) đều làm giảm đáng kể hiệu suất phòng thủ hoặc hiệu quả, khẳng định tầm quan trọng của cả hai thành phần.

IV. Conclusion & Future Works:

Tác giả kết luận rằng an ninh cho các tác nhân AI nên được coi là một khả năng nội tại thay vì một quy trình bên ngoài, bắt buộc. Framework SPIDER-SENSE với Intrinsic Risk Sensing (IRS) đã chứng minh hiệu quả trong việc nhúng nhận thức rủi ro trực tiếp vào luồng thực thi của tác nhân, cho phép phòng thủ có chọn lọc, theo định hướng sự kiện. Tương lai của nghiên cứu có thể tập trung vào việc mở rộng khả năng cảm biến rủi ro để xử lý các loại rủi ro phức tạp hơn, hoặc tối ưu hóa hơn nữa cơ chế sàng lọc phân cấp để đối phó với các cuộc tấn công chưa biết một cách hiệu quả hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng Intrinsic Risk Sensing (IRS) để tự động học và thích ứng với các loại hình tấn công mới hoặc biến thể của các cuộc tấn công hiện có mà không cần cập nhật thủ công cơ sở dữ liệu.
Khám phá các phương pháp tích hợp sâu hơn Intrinsic Risk Sensing (IRS) vào kiến trúc mô hình ngôn ngữ lớn (LLM) để biến nhận thức rủi ro thành một phần không thể tách rời của quá trình suy luận, thay vì là một mô-đun riêng biệt.
Phát triển các mô hình phòng thủ tác nhân AI có khả năng phục hồi (resilience) chống lại các cuộc tấn công đa giai đoạn, phức tạp, bao gồm cả các cuộc tấn công phối hợp giữa nhiều tác nhân hoặc các hệ thống phân tán.

2. Patent:

Một ứng dụng điện thoại di động có khả năng "cảm biến rủi ro nội tại" cho các trợ lý ảo hoặc chatbot tích hợp, tự động cảnh báo hoặc tạm dừng các yêu cầu đáng ngờ (ví dụ: yêu cầu truy cập dữ liệu nhạy cảm, thực hiện giao dịch bất thường) dựa trên ngữ cảnh cuộc trò chuyện và lịch sử tương tác của người dùng.
Một tính năng bảo mật tích hợp trên điện thoại thông minh cho phép hệ điều hành tự động kiểm tra và sàng lọc các hành động được đề xuất bởi ứng dụng bên thứ ba (ví dụ: cài đặt ứng dụng, cấp quyền truy cập vị trí) bằng cách so sánh với các mẫu hành vi độc hại đã biết và sử dụng suy luận sâu để đánh giá các trường hợp mới, bảo vệ người dùng khỏi các phần mềm độc hại hoặc lừa đảo.
Hệ thống quản lý quyền riêng tư trên điện thoại thông minh, sử dụng công nghệ "sàng lọc thích ứng phân cấp" để đánh giá các yêu cầu truy cập dữ liệu cá nhân từ các ứng dụng. Hệ thống sẽ nhanh chóng từ chối các yêu cầu rõ ràng là vi phạm quyền riêng tư và chỉ yêu cầu người dùng xem xét kỹ hơn đối với các trường hợp mơ hồ hoặc có thể chấp nhận được tùy theo cài đặt của người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05386
ArXiv Abstract	https://arxiv.org/abs/2602.05386
PDF Download	https://arxiv.org/pdf/2602.05386.pdf
Github Repository	https://github.com/aifinlab/Spider-Sense

3. MemSkill: Learning and Evolving Memory Skills for Self-Evolving Agents (51 votes)

Tác giả: Haozhen Zhang, Quanyu Long, Jianzhu Bao, Tao Feng, Weizhi Zhang, Haodong Yue, Wenya Wang

Xuất bản lúc: 2026-02-02

Tag: LLMs, LLM Agents, Memory Management, Reinforcement Learning, Self-Evolution

I. Main Problem:

Hầu hết các hệ thống bộ nhớ của tác nhân Large Language Model (LLM) hiện tại dựa vào một tập hợp nhỏ các thao tác tĩnh, được thiết kế thủ công để trích xuất bộ nhớ. Các quy trình cố định này mã hóa cứng các giả định của con người về những gì cần lưu trữ và cách sửa đổi bộ nhớ, khiến chúng kém linh hoạt dưới các mẫu tương tác đa dạng và không hiệu quả với lịch sử dài. Điều này làm hạn chế khả năng thích ứng của bộ nhớ tác nhân, đặc biệt khi tác nhân tương tác trong thời gian dài và trong các kịch bản mở.

II. Main Idea:

MemSkill định nghĩa lại các thao tác bộ nhớ thành các “kỹ năng bộ nhớ” có thể học và tiến hóa, là các quy trình có cấu trúc và có thể tái sử dụng để trích xuất, hợp nhất và cắt tỉa thông tin từ các dấu vết tương tác. Hệ thống này bao gồm ba thành phần chính:

Controller: Học cách chọn một tập hợp nhỏ các kỹ năng phù hợp với ngữ cảnh hiện tại.
Executor: Là một LLM dựa trên các kỹ năng đã chọn để tạo ra các cập nhật bộ nhớ có hướng dẫn. Quá trình này được thực hiện trong một lần duy nhất cho các đoạn văn bản (span) dài, thay vì xử lý từng lượt.
Designer: Định kỳ xem xét các trường hợp khó khăn khi các kỹ năng đã chọn tạo ra bộ nhớ không chính xác hoặc không đầy đủ. Designer sẽ phát triển tập hợp kỹ năng bằng cách đề xuất tinh chỉnh các kỹ năng hiện có và giới thiệu các kỹ năng mới. MemSkill tạo thành một quy trình vòng lặp kín, xen kẽ giữa việc học cách sử dụng ngân hàng kỹ năng và tiến hóa ngân hàng kỹ năng dựa trên các trường hợp lỗi khó, từ đó cải thiện cả chính sách chọn kỹ năng và tập hợp kỹ năng.

III. Main Results:

Các thử nghiệm trên các bộ dữ liệu LoCoMo, LongMemEval, HotpotQA và ALFWorld chứng minh rằng MemSkill cải thiện hiệu suất tác vụ một cách nhất quán so với các phương pháp cơ sở mạnh mẽ. Nó cũng thể hiện khả năng tổng quát hóa tốt trên các thiết lập và mô hình cơ sở khác nhau, bao gồm cả việc chuyển giao các kỹ năng đã học từ LoCoMo sang LongMemEval và HotpotQA mà không cần đào tạo lại. Các phân tích sâu hơn chỉ ra rằng cả việc học chọn kỹ năng và tiến hóa ngân hàng kỹ năng đều đóng góp vào hiệu suất. Phân tích định tính cho thấy các kỹ năng đã tiến hóa có tính chuyên biệt hóa theo miền, ví dụ, kỹ năng hội thoại tập trung vào ngữ cảnh thời gian và chi tiết hoạt động, trong khi kỹ năng tác vụ thực thi tập trung vào các ràng buộc hành động và vị trí đối tượng.

IV. Conclusion & Future Works:

MemSkill trình bày một phương pháp quản lý bộ nhớ tác nhân bằng cách định nghĩa lại các thao tác bộ nhớ thành một ngân hàng kỹ năng tiến hóa. Công trình này khuyến khích nghiên cứu trong tương lai về các hệ thống bộ nhớ tác nhân tự cải thiện, không chỉ học cách sử dụng bộ nhớ mà còn liên tục cải thiện cách bộ nhớ được xây dựng và duy trì. Hơn nữa, ý tưởng cải thiện hành vi quản lý bộ nhớ một cách lặp đi lặp lại từ các trường hợp khó có thể truyền cảm hứng cho các cơ chế tự cải thiện tương tự trong các hệ thống con khác của tác nhân, chẳng hạn như sử dụng công cụ hoặc lập kế hoạch.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc mở rộng cơ chế tiến hóa kỹ năng của MemSkill sang các hệ thống con khác của tác nhân LLM, như lập kế hoạch hoặc sử dụng công cụ, để đạt được khả năng tự cải thiện toàn diện hơn.
Khám phá các phương pháp mới để tự động khám phá và tổng hợp các kỹ năng bộ nhớ phức tạp hơn, có thể vượt ra ngoài các kỹ năng dựa trên văn bản hiện tại, để xử lý các dạng dữ liệu đa phương thức.
Phân tích sâu hơn về tính giải thích và tính mạnh mẽ của các kỹ năng bộ nhớ đã tiến hóa, bao gồm cách chúng thích nghi với các thay đổi phân phối dữ liệu lớn hơn và khả năng đảm bảo an toàn, công bằng trong quá trình tiến hóa.

2. Patent:

Hệ thống trợ lý ảo cá nhân tự học cách ghi nhớ và thích nghi trên điện thoại: Một ứng dụng trợ lý ảo trên điện thoại thông minh có khả năng tự động học và điều chỉnh cách nó ghi nhớ các thông tin quan trọng về người dùng (như sở thích, thói quen, các cuộc trò chuyện trước đây) để cung cấp phản hồi và hỗ trợ cá nhân hóa tốt hơn. Hệ thống này sẽ cải thiện khả năng ghi nhớ của mình theo thời gian dựa trên tương tác và phản hồi của người dùng, mà không cần lập trình thủ công các quy tắc ghi nhớ.
Ứng dụng ghi chú thông minh tự động tinh chỉnh chiến lược tóm tắt trên điện thoại: Một ứng dụng ghi chú hoặc quản lý thông tin trên điện thoại di động có thể tự động phát triển các "kỹ năng" để tóm tắt, sắp xếp và liên kết các ghi chú. Dựa trên cách người dùng tương tác với các ghi chú và mức độ hữu ích của các bản tóm tắt được tạo ra, ứng dụng sẽ tinh chỉnh các kỹ năng ghi nhớ và tóm tắt của mình để phù hợp hơn với nhu cầu cụ thể của người dùng, giúp thông tin dễ tìm và dễ hiểu hơn.
Trình duyệt di động với chức năng "bộ nhớ ngữ cảnh" tự tiến hóa: Một trình duyệt web trên điện thoại có khả năng học cách xác định và ghi nhớ các thông tin quan trọng từ các bài viết hoặc trang web dài mà người dùng duyệt. Dựa trên hành vi đọc của người dùng, các truy vấn sau này và phản hồi về độ liên quan, trình duyệt sẽ tự động phát triển các kỹ năng để trích xuất và lưu trữ "điểm chính" hoặc "ngữ cảnh liên quan", giúp người dùng dễ dàng truy cập lại hoặc tóm tắt nội dung mà không cần đọc lại toàn bộ trang.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.02474
ArXiv Abstract	https://arxiv.org/abs/2602.02474
PDF Download	https://arxiv.org/pdf/2602.02474.pdf
Github Repository	https://github.com/ViktorAxelsen/MemSkill

4. Length-Unbiased Sequence Policy Optimization: Revealing and Controlling Response Length Variation in RLVR (47 votes)

Tác giả: Fanfan Liu, Youyang Yin, Peng Shi, Siqi Yang, Zhixiong Zeng, Haibo Qiu

Xuất bản lúc: 2026-02-05

Tag: Reinforcement Learning, LLMs, VLMs, Policy Optimization, Length Bias, RLVR

I. Main Problem:

Các thuật toán Reinforcement Learning with Verifiable Rewards (RLVR) hiện có như GRPO và GSPO gặp phải vấn đề thiên vị độ dài (length bias) trong hàm mất mát. Cụ thể, GRPO có xu hướng tạo ra phản hồi ngắn hơn cho câu trả lời đúng và ít phạt hơn cho phản hồi dài khi sai. GSPO, dù cải thiện tính ổn định cho kiến trúc Mixture-of-Experts (MoE), lại làm trầm trọng thêm vấn đề này, dẫn đến hiện tượng sụp đổ độ dài phản hồi (response length collapse), khiến mô hình tạo ra các phản hồi ngày càng ngắn gọn, đặc biệt trong các mô hình thị giác-ngôn ngữ (Vision-Language Models), làm suy yếu khả năng suy luận phức tạp và hiệu quả đào tạo tổng thể.

II. Main Idea:

Bài báo thực hiện phân tích chuyên sâu về các thành phần của các thuật toán RLVR chính thống để làm rõ các yếu tố ảnh hưởng đến sự thay đổi độ dài phản hồi. Dựa trên phân tích này, các tác giả đề xuất thuật toán Length-Unbiased Sequence Policy Optimization (LUSPO). Ý tưởng chính của LUSPO là sửa đổi hàm mất mát của Group Sequence Policy Optimization (GSPO) bằng cách nhân hệ số mất mát của mỗi chuỗi với chính độ dài của nó. Điều chỉnh đơn giản nhưng hiệu quả này giúp hàm mất mát trở nên không thiên vị đối với độ dài phản hồi, từ đó giải quyết triệt để vấn đề sụp đổ độ dài phản hồi và thúc đẩy động lực học tập cân bằng, ổn định hơn trên cả mô hình dày đặc và MoE.

III. Main Results:

LUSPO liên tục đạt được hiệu suất vượt trội so với các phương pháp hiện có như GRPO và GSPO trên các điểm chuẩn suy luận toán học và kịch bản suy luận đa phương thức. Các kết quả thực nghiệm chứng minh rằng LUSPO là một chiến lược tối ưu hóa tiên tiến mới:

Mô hình chỉ văn bản: Khi đào tạo Qwen2.5-7B-Base và Qwen3-30B-A3B-Instruct với LUSPO, độ chính xác tăng lên tới 2.9% trên AIME24 cho Qwen2.5-7B-Base và 6.9% trên AIME24, 17.1% trên AIME25 cho Qwen3-30B-A3B-Instruct so với GSPO. Độ dài phản hồi trung bình của LUSPO gần gấp 1.5 lần so với GSPO.
Mô hình đa phương thức: LUSPO trên Qwen2.5-VL-7B-Instruct cho độ chính xác cao hơn tới 1.6% so với GRPO và 0.5% so với GSPO trên MathVista-Mini. Đặc biệt, trên các điểm chuẩn WeMath và LogicVista, LUSPO đạt được cải thiện lần lượt là 5.1% và 6.0% so với GSPO.
LUSPO thể hiện sự gia tăng nhanh hơn về độ dài phản hồi và ngăn chặn sự sụp đổ độ dài phản hồi, duy trì độ dài ổn định và đủ dài trong suốt quá trình đào tạo, cho phép mô hình tận dụng tốt hơn thông tin đa phương thức và duy trì khả năng suy luận.

IV. Conclusion & Future Works:

LUSPO giải quyết thành công vấn đề thiên vị độ dài cố hữu trong các hàm mất mát của thuật toán RLVR như GSPO, đặc biệt là hiện tượng sụp đổ độ dài phản hồi. Bằng cách điều chỉnh đơn giản nhưng hiệu quả là nhân hệ số mất mát của mỗi chuỗi với độ dài của nó, LUSPO thúc đẩy mô hình tạo ra các phản hồi dài hơn, mạch lạc hơn và ổn định hơn, từ đó nâng cao đáng kể khả năng suy luận trên nhiều loại mô hình (dense, MoE, text-only, Vision-Language). Các kết quả thực nghiệm toàn diện trên nhiều điểm chuẩn đã chứng minh tính hiệu quả và khả năng tổng quát hóa mạnh mẽ của LUSPO, định vị nó như một chiến lược tối ưu hóa tiên tiến trong lĩnh vực RLVR.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu ứng dụng LUSPO để cải thiện các thuật toán RLVR khác ngoài GRPO/GSPO, nhằm xác định và giảm thiểu các vấn đề thiên vị độ dài tương tự có thể tồn tại.
Điều tra sự tương tác giữa tối ưu hóa không thiên vị độ dài của LUSPO với các chiến lược định hình phần thưởng (reward shaping) khác nhau, ví dụ như kết hợp các ưu đãi độ dài rõ ràng, để tối ưu hóa hơn nữa chất lượng phản hồi và chiều sâu suy luận.
Khám phá hiệu quả và tính ổn định của LUSPO trong các kịch bản AI đàm thoại phức tạp, thực tế, nơi sự biến động độ dài phản hồi và suy luận sắc thái đóng vai trò quan trọng.

2. Patent:

Hệ thống Trợ lý AI Giải Toán Di động Chi tiết: Một ứng dụng trên điện thoại di động sử dụng công nghệ tối ưu hóa chính sách không thiên vị độ dài phản hồi để cung cấp các giải pháp toán học chi tiết và từng bước. Khi người dùng nhập một bài toán (ví dụ: chụp ảnh hoặc nhập văn bản), ứng dụng sẽ không chỉ đưa ra câu trả lời đúng mà còn là một quá trình suy luận đầy đủ và dễ hiểu, không bị giới hạn bởi độ dài phản hồi, giúp người dùng nắm vững kiến thức toán học một cách sâu sắc hơn.
Công cụ Tạo Nội dung Thông minh Tùy chỉnh Độ dài cho Điện thoại: Một công cụ trên điện thoại cho phép người dùng tạo ra các văn bản dài hơn, mạch lạc hơn như bài viết, email chuyên nghiệp, hoặc câu chuyện dựa trên một vài từ khóa hoặc chủ đề. Bằng cách áp dụng thuật toán loại bỏ thiên vị độ dài, công cụ này đảm bảo rằng nội dung được tạo ra luôn có độ dài phù hợp và cung cấp thông tin phong phú, không bị cắt ngắn một cách không cần thiết, giúp người dùng tiết kiệm thời gian và công sức trong việc biên soạn văn bản dài trên thiết bị di động.
Tối ưu hóa Phản hồi Chatbot Dịch vụ Khách hàng trên Di động: Một công nghệ tích hợp vào các chatbot hỗ trợ khách hàng trên điện thoại, giúp chatbot đưa ra các câu trả lời toàn diện và hữu ích hơn cho các câu hỏi phức tạp. Với cơ chế tối ưu hóa không thiên vị độ dài, chatbot sẽ không còn có xu hướng trả lời quá ngắn gọn, mà thay vào đó sẽ cung cấp các giải thích chi tiết, hướng dẫn từng bước và thông tin đầy đủ, nâng cao trải nghiệm và sự hài lòng của người dùng di động khi tương tác với dịch vụ khách hàng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05261
ArXiv Abstract	https://arxiv.org/abs/2602.05261
PDF Download	https://arxiv.org/pdf/2602.05261.pdf
Github Repository	https://github.com/murphy4122/LUSPO

5. DFlash: Block Diffusion for Flash Speculative Decoding (40 votes)

Tác giả: Jian Chen, Yesheng Liang, Zhijian Liu

Xuất bản lúc: 2026-02-05

Tag: LLMs, Speculative Decoding, Diffusion Models, Inference Acceleration, Parallel Decoding

I. Main Problem:

Large Language Models (LLMs) gặp phải vấn đề về độ trễ suy luận cao và tận dụng GPU kém do quá trình giải mã tự hồi quy (autoregressive) tuần tự. Các phương pháp giải mã suy đoán (speculative decoding) hiện có, mặc dù giúp giảm bớt, vẫn dựa vào việc tạo bản nháp tự hồi quy, vốn vẫn tuần tự và giới hạn tốc độ tăng tốc thực tế ở mức khoảng 2-3 lần. Các mô hình Diffusion LLM (dLLM) cho phép tạo văn bản song song nhưng thường có chất lượng kém hơn các mô hình tự hồi quy và yêu cầu nhiều bước khử nhiễu, làm giảm tốc độ suy luận. Tồn tại một sự đánh đổi quan trọng giữa chất lượng cao (mô hình tự hồi quy) và tốc độ song song nhanh (mô hình khuếch tán).

II. Main Idea:

DFlash giới thiệu một framework giải mã suy đoán sử dụng mô hình khuếch tán khối (block diffusion model) nhẹ để tạo bản nháp song song, nhằm kết hợp ưu điểm của cả mô hình tự hồi quy và mô hình khuếch tán. DFlash tận dụng khả năng tạo bản nháp nhanh và song song của mô hình khuếch tán, đồng thời đảm bảo chất lượng đầu ra thông qua cơ chế xác minh của mô hình đích tự hồi quy chất lượng cao.

Các ý tưởng chính bao gồm:

Tạo bản nháp song song hiệu quả: DFlash tạo ra các token nháp trong một lần truyền tới (single forward pass), giảm đáng kể độ trễ tạo bản nháp và tăng cường sử dụng GPU.
Chất lượng bản nháp cao thông qua điều kiện hóa ngữ cảnh: Mô hình nháp được điều kiện hóa dựa trên các đặc trưng ngữ cảnh ẩn sâu được trích xuất từ mô hình đích (target LLM). Các đặc trưng này được tiêm trực tiếp vào các phép chiếu Key và Value của mỗi lớp mô hình nháp (KV injection), cung cấp thông tin ngữ cảnh mạnh mẽ và nhất quán, cho phép tỷ lệ chấp nhận token (acceptance rate) cao hơn và tăng độ dài chấp nhận (acceptance length) khi tăng số lớp nháp.
Cơ chế huấn luyện được điều chỉnh: Bao gồm việc tiêm KV trong huấn luyện, lấy mẫu ngẫu nhiên các khối bị che với các “token neo” để khớp với hành vi suy luận, huấn luyện hiệu quả với ngữ cảnh dài, sử dụng trọng số tổn thất phân cấp theo vị trí để ưu tiên các dự đoán sớm, và chia sẻ/đóng băng lớp nhúng token cùng đầu LM với mô hình đích để giảm tham số huấn luyện và tăng cường sự liên kết.

III. Main Results:

DFlash đã chứng minh hiệu suất vượt trội so với các phương pháp hiện có:

Đạt tốc độ tăng tốc không mất mát (lossless acceleration) lên tới 6.1 lần trên Qwen3-8B và nhanh hơn tới 2.5 lần so với phương pháp giải mã suy đoán tiên tiến EAGLE-3 trên hầu hết các điểm chuẩn.
Trên Qwen3-8B (nhiệt độ = 0), DFlash đạt tốc độ tăng tốc trung bình 4.86 lần so với đường cơ sở tự hồi quy, tương ứng với mức cải thiện 2.4 lần so với EAGLE-3 (16 token nháp) và vượt trội hơn EAGLE-3 (60 token nháp) về độ dài chấp nhận trong khi chịu chi phí xác minh thấp hơn đáng kể.
Với nhiệt độ = 1, DFlash vẫn duy trì tốc độ tăng tốc 4.03 lần so với đường cơ sở và cải thiện 2.2 lần so với EAGLE-3.
Trong môi trường phục vụ thực tế (SGLang), DFlash cung cấp tốc độ tăng tốc nhất quán trên các mô hình Qwen3 khác nhau và ở nhiều mức độ đồng thời, đạt tới 5.1 lần tăng tốc trên Qwen3-8B.
Nghiên cứu cũng chỉ ra rằng các mô hình DFlash được huấn luyện với kích thước khối lớn hơn có khả năng khái quát hóa tốt cho các kích thước khối nhỏ hơn trong quá trình suy luận, cho phép lập lịch kích thước khối động.

IV. Conclusion & Future Works:

DFlash đại diện cho một sự thay đổi trong cách nhìn nhận vai trò của các mô hình ngôn ngữ khuếch tán (dLLM) trong việc tăng tốc suy luận LLM tự hồi quy, bằng cách giới hạn chúng vào giai đoạn tạo bản nháp. Cách tiếp cận này cho phép DFlash khai thác tính song song vốn có của mô hình khuếch tán mà không làm suy giảm chất lượng đầu ra, điều thường xảy ra khi sử dụng dLLM độc lập. Việc điều kiện hóa mô hình nháp khuếch tán bằng ngữ cảnh phong phú từ mô hình đích giúp đạt tỷ lệ chấp nhận cao và đẩy tốc độ suy luận vượt xa các phương pháp giải mã suy đoán trước đây.

Nghiên cứu này đề xuất một mô hình phát triển mới cho dLLM: thay vì cố gắng cạnh tranh với các mô hình tự hồi quy về chất lượng tạo văn bản từ đầu đến cuối, dLLM có thể đóng vai trò là mô hình nháp nhẹ, chuyên biệt, được tối ưu hóa cho việc dự đoán khối nhanh và chính xác. Cơ chế xác minh suy đoán đảm bảo chất lượng đầu ra, cho phép giảm mạnh số bước khử nhiễu để tối đa hóa tính song song. Nhóm nghiên cứu hy vọng DFlash sẽ thiết lập giải mã suy đoán dựa trên khuếch tán như một phương pháp thực tế và có thể mở rộng, góp phần vào việc triển khai LLM hiệu quả và dễ tiếp cận hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về cơ chế điều kiện hóa động và thích ứng (Adaptive and Dynamic Conditioning Mechanisms): Khám phá các phương pháp tiên tiến hơn để trích xuất và tiêm các đặc trưng ngữ cảnh từ mô hình đích, có thể là các cơ chế điều kiện hóa động học dựa trên mức độ phức tạp của nhiệm vụ hoặc trạng thái suy luận hiện tại, nhằm tối ưu hóa độ dài chấp nhận và tốc độ.
Phát triển các kiến trúc mô hình khuếch tán khối chuyên biệt và cực nhẹ (Ultra-lightweight and Specialized Block Diffusion Architectures): Nghiên cứu các kiến trúc diffusion model được thiết kế đặc biệt cho vai trò tạo bản nháp, tập trung vào việc giảm thiểu chi phí tính toán và bộ nhớ trong khi vẫn duy trì chất lượng bản nháp cao, có thể thông qua các kỹ thuật nén mô hình hoặc lượng tử hóa.
Tối ưu hóa lập lịch khối động và thích ứng cho suy luận (Adaptive and Dynamic Block-Size Scheduling for Inference): Phát triển các thuật toán lập lịch thời gian thực cho kích thước khối của mô hình khuếch tán trong quá trình suy luận, tự động điều chỉnh kích thước khối dựa trên ngữ cảnh, độ phức tạp của đầu ra, hoặc điều kiện tải của GPU để tối đa hóa hiệu suất và hiệu quả sử dụng tài nguyên.

2. Patent:

Hệ thống tăng tốc trả lời tin nhắn thông minh trên điện thoại: Một ứng dụng nhắn tin trên điện thoại di động tích hợp công nghệ dự đoán và đề xuất các câu trả lời dài hoặc đoạn văn bản phức tạp một cách nhanh chóng. Thay vì đề xuất từng từ một, hệ thống có thể đề xuất nguyên một cụm từ, câu, hoặc thậm chí một đoạn văn bản dựa trên ngữ cảnh cuộc trò chuyện hiện tại và các đặc trưng sâu mà mô hình ngôn ngữ trên điện thoại đã "hiểu". Điều này giúp người dùng soạn thảo tin nhắn nhanh hơn đáng kể, đặc biệt khi cần phản hồi dài hoặc chi tiết.
Tăng tốc trợ lý ảo bằng giọng nói trên thiết bị di động: Một công nghệ tích hợp vào các trợ lý ảo trên điện thoại (như Siri, Google Assistant) để giảm độ trễ khi phản hồi các yêu cầu phức tạp. Khi người dùng ra lệnh hoặc hỏi một câu hỏi dài, công nghệ này sẽ dùng một mô hình nhỏ hơn để "đoán trước" phần lớn câu trả lời. Sau đó, mô hình chính lớn hơn sẽ nhanh chóng xác nhận và hoàn thiện, giúp trợ lý ảo đưa ra phản hồi nhanh gần như tức thì, cải thiện trải nghiệm tương tác tự nhiên hơn.
Công cụ soạn thảo email/văn bản thông minh với tính năng dự đoán đoạn văn bản liền mạch: Một tính năng trong các ứng dụng soạn thảo văn bản hoặc email trên điện thoại giúp dự đoán và hoàn thiện các câu hoặc đoạn văn bản một cách mượt mà và tự nhiên. Dựa trên những gì người dùng đã gõ và ngữ cảnh tài liệu, hệ thống sử dụng một mô hình tạo nháp nhẹ để tạo ra một "bản nháp" của các phần văn bản tiếp theo. Người dùng có thể chấp nhận bản nháp này ngay lập tức hoặc sửa đổi, từ đó tăng tốc độ soạn thảo các tài liệu dài và phức tạp trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06036
ArXiv Abstract	https://arxiv.org/abs/2602.06036
PDF Download	https://arxiv.org/pdf/2602.06036.pdf
Github Repository	https://github.com/z-lab/dflash

6. Context Forcing: Consistent Autoregressive Video Generation with Long Context (34 votes)

Tác giả: Shuo Chen, Cong Wei, Sun Sun, Ping Nie, Kai Zhou, Ge Zhang, Ming-Hsuan Yang, Wenhu Chen

Xuất bản lúc: 2026-02-05

Tag: Diffusion, Video Generation, Autoregressive Models, Long Context, Consistency Models, Distillation

I. Main Problem:

Vấn đề cốt lõi là sự "không khớp giữa học viên và giáo viên" (student-teacher mismatch) trong các phương pháp tạo video dài theo thời gian thực hiện nay. Các mô hình hiện tại huấn luyện một học viên tạo video dài bằng cách sử dụng một giáo viên "không nhớ" (memoryless) chỉ giới hạn trong các cửa sổ ngắn (ví dụ: 5 giây).

Giáo viên không thể truy cập lịch sử dài hạn, ngăn cản việc hướng dẫn học viên về các phụ thuộc thời gian toàn cục, từ đó giới hạn độ dài ngữ cảnh của học viên.

Điều này dẫn đến "Thế lưỡng nan về Quên-Trôi dạt" (Forgetting-Drifting Dilemma):

Quên (Forgetting): Hạn chế mô hình trong cửa sổ bộ nhớ ngắn giảm thiểu lỗi tích lũy nhưng khiến mô hình mất dấu các chủ thể và cảnh quay trước đó trong quá trình tạo video dài.
Trôi dạt (Drifting): Duy trì ngữ cảnh dài giúp bảo toàn danh tính nhưng khiến mô hình phải đối mặt với các lỗi tích lũy của chính nó. Không có giáo viên có khả năng sửa chữa những sai lệch dài hạn này, phân phối video dần dần trôi dạt khỏi manifold thực.

II. Main Idea:

Đề xuất Context Forcing, một framework mới giải quyết sự không khớp giữa học viên-giáo viên bằng cách huấn luyện một học viên có ngữ cảnh dài thông qua một giáo viên có ngữ cảnh dài. Giáo viên có quyền truy cập vào toàn bộ lịch sử tạo video, loại bỏ sự không khớp trong giám sát và cho phép huấn luyện các mô hình có khả năng duy trì tính nhất quán dài hạn.

Để làm cho việc này khả thi về mặt tính toán cho các thời lượng cực đoan (ví dụ: 2 phút), giới thiệu một hệ thống quản lý ngữ cảnh chuyển đổi ngữ cảnh tăng trưởng tuyến tính thành kiến trúc Bộ nhớ Chậm-Nhanh (Slow-Fast Memory architecture), giúp giảm đáng kể sự dư thừa về mặt hình ảnh.

Phương pháp này sử dụng Phân phối Ngữ cảnh Phù hợp Chưng cất (Contextual Distribution Matching Distillation - CDMD) để chuyển giao khả năng mô hình hóa các phụ thuộc dài hạn từ giáo viên sang học viên. Đồng thời, học viên được tiếp xúc với các ngữ cảnh tự tạo không hoàn hảo trong quá trình huấn luyện để chủ động phục hồi từ các lỗi tích lũy.

Để tăng cường độ bền của giáo viên, áp dụng Huấn luyện tinh chỉnh tái chế lỗi (Error-Recycling Fine-Tuning - ERFT) bằng cách tiêm các lỗi tích lũy thực tế vào ngữ cảnh của giáo viên.

Hệ thống quản lý bộ nhớ KV cache được phân chia thành ba phần chức năng: Attention Sink, Bộ nhớ chậm (Slow Memory) và Bộ nhớ nhanh (Fast Memory). Áp dụng chính sách củng cố dựa trên tính bất ngờ (Surprisal-Based Consolidation) để chỉ giữ lại các khung hình quan trọng, ít tương đồng với khung hình trước đó. Sử dụng Mã hóa vị trí giới hạn (Bounded Positional Encoding) để giữ cho các chỉ mục vị trí RoPE trong một phạm vi cố định, ổn định sự chú ý trong các chuỗi dài.

III. Main Results:

Context Forcing hỗ trợ độ dài ngữ cảnh hiệu quả vượt quá 20 giây, dài hơn 2-10 lần so với các phương pháp tiên tiến nhất như LongLive và Infinite-RoPE.

Duy trì tính nhất quán vượt trội trong suốt các thời lượng dài, vượt qua các phương pháp cơ sở tiên tiến trên nhiều chỉ số đánh giá video dài khác nhau.

Mô hình học viên của chúng tôi đạt điểm số cao hơn trên các metric như DINOv2, CLIP-F, và CLIP-T cho video 60 giây, với các điểm số như DINO Score (87.89), Clip-F Score (95.35), Clip-T Score (37.66), Background Consistency (95.95) và Subject Consistency (95.68), cho thấy chất lượng và tính nhất quán được cải thiện đáng kể.

Các nghiên cứu loại bỏ (ablation studies) đã chứng minh vai trò quan trọng của chiến lược lấy mẫu bộ nhớ chậm dựa trên sự tương đồng, quá trình Contextual DMD Distillation, Error-Recycling Fine-Tuning và Bounded Positional Encoding trong việc duy trì tính nhất quán dài hạn và ổn định nền/chủ thể.

Đạt được hiệu suất cạnh tranh tương đương với các phương pháp cơ sở trong việc tạo video ngắn 5 giây, trong khi vượt trội rõ rệt trong việc tạo video dài.

IV. Conclusion & Future Works:

Kết luận: Context Forcing đã giải quyết thành công vấn đề không khớp giữa học viên-giáo viên trong việc tạo video dài bằng cách sử dụng một giáo viên nhận thức được lịch sử dài hạn và kiến trúc Bộ nhớ Chậm-Nhanh (Slow-Fast Memory). Điều này cho phép độ dài ngữ cảnh hiệu quả hơn 20 giây, cải thiện 2-10 lần so với các phương pháp hiện có, đồng thời giảm thiểu lỗi trôi dạt và tăng cường tính gắn kết thời gian.

Công việc tương lai: Có thể tập trung vào việc tối ưu hóa chiến lược nén bộ nhớ để cải thiện mật độ thông tin. Nghiên cứu sâu hơn về nén ngữ cảnh có thể học được và các cơ chế bộ nhớ thích ứng để nâng cao hiệu quả và khả năng giữ lại ngữ nghĩa cho việc tổng hợp video phức tạp hơn, có tính chất mở.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cơ chế nén ngữ cảnh có thể học được (learnable context compression) thay vì dựa vào heuristic về sự tương đồng, nhằm tối ưu hóa việc duy trì thông tin quan trọng trong bộ nhớ chậm cho các video dài hơn.
Phát triển các cơ chế bộ nhớ thích ứng (adaptive memory mechanisms) có thể tự động điều chỉnh kích thước và chiến lược quản lý bộ nhớ dựa trên độ phức tạp của nội dung video hoặc yêu cầu về tính nhất quán, thay vì các thiết lập cố định.
Mở rộng Context Forcing cho việc tạo ra các mô hình thế giới (world models) phức tạp hơn, không chỉ tập trung vào tính nhất quán hình ảnh mà còn cả sự hiểu biết về vật lý và tương tác trong môi trường ảo, mở đường cho tổng hợp video tương tác và phi tuyến tính.

2. Patent:

Một hệ thống trên điện thoại thông minh cho phép người dùng quay các đoạn video ngắn về một sự kiện (ví dụ: bữa tiệc, chuyến đi) và ứng dụng sẽ tự động mở rộng thành một video dài hơn với nội dung nhất quán, bổ sung các cảnh quay phù hợp với ngữ cảnh đã cho, duy trì nhân vật và môi trường ban đầu. Hệ thống này sử dụng bộ nhớ thông minh để ghi nhớ các yếu tố chính từ đoạn video gốc và tạo ra phần tiếp theo mà không bị "lạc đề".
Một tính năng trong ứng dụng chỉnh sửa video trên điện thoại cho phép người dùng chọn một phần video và yêu cầu hệ thống "kéo dài" hoặc "điền vào" các khoảng trống thời gian bị thiếu, ví dụ như làm chậm một khoảnh khắc hoặc tạo thêm chuyển động giữa hai cảnh quay. Ứng dụng sẽ sử dụng thông tin ngữ cảnh từ các khung hình xung quanh để tạo ra nội dung mới một cách liền mạch và giữ cho các yếu tố hình ảnh không bị thay đổi bất thường.
Một ứng dụng trên điện thoại cho phép người dùng tạo một nhân vật hoạt hình hoặc phiên bản kỹ thuật số của chính họ. Khi người dùng phát trực tiếp, hệ thống có thể tạo ra các hoạt động và chuyển động liên tục cho nhân vật này trong một môi trường ảo dài, đảm bảo rằng nhân vật luôn giữ được ngoại hình, hành vi và môi trường xung quanh một cách nhất quán, ngay cả khi người dùng không tương tác liên tục, tạo ra trải nghiệm phát trực tiếp không bị gián đoạn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06028
ArXiv Abstract	https://arxiv.org/abs/2602.06028
PDF Download	https://arxiv.org/pdf/2602.06028.pdf
Github Repository	https://github.com/TIGER-AI-Lab/Context-Forcing

7. Dr. Kernel: Reinforcement Learning Done Right for Triton Kernel Generations (28 votes)

Tác giả: Wei Liu, Jiawei Xu, Yingru Li, Longtao Zheng, Tianjian Li, Qian Liu, Junxian He

Xuất bản lúc: 2026-02-05

Tag: Reinforcement Learning, LLMs, Code Generation, GPU Optimization, Deep Learning

I. Main Problem:

Việc tạo ra các kernel GPU chất lượng cao là rất quan trọng cho các hệ thống AI có khả năng mở rộng. Dù LLMs có tiềm năng tạo mã, việc huấn luyện chúng cho tác vụ này đối mặt với các thách thức lớn như thiếu dữ liệu, môi trường không đủ mạnh mẽ, và đặc biệt là các vấn đề 'reward hacking' (khai thác phần thưởng) và 'lazy optimization' (tối ưu hóa lười biếng). Các mô hình có thể tạo ra mã chỉ đúng mà không mang lại hiệu suất đáng kể hoặc lợi dụng các lỗ hổng trong quá trình đánh giá để báo cáo tốc độ giả tạo.

II. Main Idea:

Để giải quyết các vấn đề trên, nghiên cứu đề xuất KERNELGYM, một môi trường GPU phân tán mạnh mẽ và có khả năng chống lỗi, hỗ trợ kiểm tra reward hacking, thu thập dữ liệu tương tác đa lượt và huấn luyện RL dài hạn. Dựa trên KERNELGYM, các tác giả đã phát triển các phương pháp RL hiệu quả cho việc tạo kernel đa lượt:

Turn-level Reinforce-Leave-One-Out (TRLOO): Một phương pháp ước tính lợi thế không thiên vị cho RL đa lượt, giải quyết vấn đề gradient chính sách bị thiên vị do tự bao gồm trong GRPO.
Để giảm thiểu 'lazy optimization', nghiên cứu kết hợp mismatch correction để cải thiện sự ổn định của quá trình huấn luyện.
Giới thiệu Profiling-based Rewards (PR) và Profiling-based Rejection Sampling (PRS) để cung cấp phần thưởng nhận biết nút thắt cổ chai và lọc bỏ các mẫu tối ưu hóa không hiệu quả, khuyến khích mô hình tập trung vào các tối ưu hóa mang lại tốc độ tăng tốc thực sự và ý nghĩa.

III. Main Results:

Nghiên cứu đã huấn luyện mô hình DR. KERNEL-14B, đạt hiệu suất cạnh tranh với các mô hình tiên tiến như Claude-4.5-Sonnet trên Kernelbench. Cụ thể:

Trên tập con KernelBench Cấp độ 2, 31.6% các kernel được tạo ra bởi DR. KERNEL-14B đạt tốc độ tăng ít nhất 1.2 lần so với tham chiếu Torch, vượt qua Claude-4.5-Sonnet (26.7%) và GPT-5 (28.6%).
Khi áp dụng Sequential Test-Time Scaling (STTS) và chọn ứng cử viên tốt nhất qua tất cả các lượt, tỷ lệ tăng tốc 1.2 lần này của DR. KERNEL-14B còn tăng đáng kể lên 47.8% trên KernelBench Cấp độ 2.
KERNELGYM với thiết kế module và kiểm tra hacking đã chứng minh khả năng cho phép huấn luyện RL dài hạn và ổn định.

IV. Conclusion & Future Works:

Nghiên cứu này chứng minh rằng việc áp dụng đúng đắn Reinforcement Learning, kết hợp với một môi trường thực thi mạnh mẽ như KERNELGYM và các phương pháp RL được cải tiến (như TRLOO, PR, PRS), có thể giúp LLM tạo ra các kernel GPU chất lượng cao, giải quyết hiệu quả các thách thức như reward hacking và lazy optimization. Mô hình DR. KERNEL-14B đạt được hiệu suất vượt trội, cho thấy tiềm năng to lớn của RL trong việc tự động hóa quá trình tạo mã tối ưu hóa phần cứng.

IV. Kết luận & Công việc tương lai:

Kết luận chính của nghiên cứu là các phương pháp RL được thiết kế cẩn thận, đặc biệt khi được hỗ trợ bởi một môi trường kiểm thử mạnh mẽ và phản hồi chi tiết từ profiler, có thể giải phóng tiềm năng của LLM trong việc tạo mã tối ưu hóa phần cứng, vượt qua các hạn chế của các phương pháp trước đây. DR. KERNEL-14B là một minh chứng cho sự thành công này.

Các công việc tương lai có thể bao gồm:

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng KERNELGYM để hỗ trợ việc tạo và tối ưu hóa kernel cho các ngôn ngữ lập trình phần cứng khác (ví dụ: CUDA, TileLang) hoặc các kiến trúc phần cứng khác ngoài GPU (ví dụ: NPU, FPGA).
Phát triển các chiến lược Reinforcement Learning đa mục tiêu để cân bằng giữa hiệu suất (tăng tốc) và các yếu tố khác như hiệu quả năng lượng, kích thước mã hoặc khả năng tương thích trên nhiều nền tảng.
Nghiên cứu các phương pháp tích hợp phản hồi từ profiler một cách sâu sắc hơn để không chỉ 'nhận biết nút thắt cổ chai' mà còn tự động sửa lỗi và đề xuất các cấu trúc mã tối ưu hóa phức tạp hơn trong các lượt tạo mã sau.

2. Patent:

Hệ thống tạo và tối ưu hóa mã tự động cho ứng dụng di động: Một ứng dụng điện thoại thông minh tích hợp hoặc kết nối với một mô hình AI có khả năng tạo ra các đoạn mã hiệu suất cao (kernel) để tăng tốc các chức năng cốt lõi trên thiết bị. Hệ thống này sẽ tự động kiểm tra xem mã có đúng không và chạy nhanh đến mức nào, giúp các nhà phát triển tạo ra các ứng dụng hoạt động mượt mà và tiết kiệm pin hơn cho điện thoại.
Công nghệ huấn luyện AI phát hiện và khắc phục 'tối ưu hóa kém hiệu quả' trên thiết bị cầm tay: Một cơ chế phần mềm trên điện thoại sử dụng phản hồi từ việc đo lường hiệu suất thực tế của các tác vụ (tương tự như 'Profiling-based Rewards') để hướng dẫn mô hình AI tạo ra các đoạn mã không chỉ hoạt động mà còn thực sự giải quyết được các nút thắt hiệu suất chính. Điều này đảm bảo rằng mọi cải tiến về phần mềm đều mang lại lợi ích rõ rệt cho trải nghiệm người dùng trên điện thoại.
Nền tảng kiểm thử và cải tiến mã AI phân tán cho đa dạng điện thoại thông minh: Một dịch vụ đám mây cho phép các nhà phát triển gửi yêu cầu tạo mã, và sau đó được kiểm thử tự động trên một mạng lưới các thiết bị điện thoại thông minh thực tế với các cấu hình và hệ điều hành khác nhau. Nền tảng này thu thập phản hồi chi tiết về hiệu suất và lỗi từ từng điện thoại để liên tục huấn luyện và cải thiện mô hình AI tạo mã, đảm bảo mã tạo ra tương thích và tối ưu hóa tốt nhất cho toàn bộ hệ sinh thái di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05885
ArXiv Abstract	https://arxiv.org/abs/2602.05885
PDF Download	https://arxiv.org/pdf/2602.05885.pdf
Github Repository	N/A

8. RISE-Video: Can Video Generators Decode Implicit World Rules? (26 votes)

Tác giả: Mingxin Liu, Shuran Ma, Shibei Meng, Xiangyu Zhao, Zicheng Zhang, Shaofeng Zhang, Zhihang Zhong, Peixian Chen, Haoyu Cao, Xing Sun, Haodong Duan, Xue Yang

Xuất bản lúc: 2026-02-05

Tag: Generative Models, Video Generation, Evaluation Benchmark, LMMs, Reasoning, TI2V

I. Main Problem:

Khả năng của các mô hình sinh video hiện tại trong việc nội hóa và suy luận dựa trên các quy tắc ngầm của thế giới thực vẫn là một thách thức quan trọng nhưng chưa được khám phá kỹ lưỡng. Các mô hình TI2V (Text-Image-to-Video) hiện nay thường gặp khó khăn trong việc hiểu và áp dụng các quy tắc này ngoài các chỉ dẫn văn bản rõ ràng. Hơn nữa, thiếu các phương pháp đánh giá tập trung vào khả năng suy luận ngầm, đặc biệt trong lĩnh vực TI2V, khi hầu hết các tiêu chí hiện có chỉ nhấn mạnh chất lượng hình ảnh và tính nhất quán theo thời gian.

II. Main Idea:

Để giải quyết vấn đề trên, nghiên cứu giới thiệu RISE-Video, một bộ benchmark tiên phong định hướng suy luận cho tổng hợp video từ văn bản và hình ảnh (TI2V). RISE-Video chuyển trọng tâm đánh giá từ tính thẩm mỹ bề mặt sang khả năng suy luận nhận thức sâu sắc. Nó bao gồm 467 mẫu được chú thích tỉ mỉ bởi con người, trải rộng trên tám danh mục suy luận nghiêm ngặt (kiến thức kinh nghiệm, kiến thức thông thường, kiến thức thời gian, kiến thức xã hội, kiến thức tri giác, kiến thức không gian, kiến thức chuyên ngành và khả năng logic). Nghiên cứu đề xuất một giao thức đánh giá đa chiều với bốn thước đo: Reasoning Alignment, Temporal Consistency, Physical Rationality, và Visual Quality. Để hỗ trợ đánh giá mở rộng, họ phát triển một quy trình tự động sử dụng Large Multimodal Models (LMMs) để mô phỏng đánh giá của con người, với các chiến lược đặc biệt cho các câu đố sơ đồ (Schematic Puzzles) như theo dõi quỹ đạo hoặc so sánh cấu trúc dựa trên hình ảnh tham chiếu.

III. Main Results:

Các thử nghiệm sâu rộng trên 11 mô hình TI2V hiện đại đã chỉ ra những thiếu sót phổ biến trong việc mô phỏng các kịch bản phức tạp dưới các ràng buộc ngầm. Các mô hình mã nguồn mở liên tục kém hơn các mô hình mã nguồn đóng về cả khả năng suy luận và chất lượng hình ảnh. Tất cả các mô hình được đánh giá đều đạt điểm tương đối thấp, cho thấy suy luận vẫn là một thách thức đáng kể; ngay cả mô hình tốt nhất, Hailuo 2.3, cũng chỉ đạt độ chính xác 22.5%. Các mô hình TI2V hiện tại thể hiện tốt hơn đáng kể đối với Perceptual Knowledge so với các loại suy luận khác, nhưng lại yếu kém nhất ở Logical Capability. Hailuo 2.3 cho thấy lợi thế rõ rệt về Reasoning Alignment, trong khi Sora 2 mạnh về Temporal Consistency. Quy trình đánh giá tự động dựa trên Large Multimodal Models (cụ thể là GPT-5) cho thấy mức độ phù hợp cao với đánh giá của con người, chứng tỏ đây là một giải pháp thay thế đáng tin cậy và hiệu quả về chi phí.

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng mặc dù có chất lượng hình ảnh cao, các hệ thống hiện tại vẫn gặp khó khăn với khả năng suy luận cấp cao và ngầm định. Điều này nhấn mạnh khoảng cách giữa tính chân thực về mặt hình ảnh và khả năng suy luận tuân thủ quy tắc trong các mô hình TI2V hiện có. Nhóm tác giả hy vọng RISE-Video sẽ thúc đẩy đánh giá chặt chẽ hơn và truyền cảm hứng cho nghiên cứu trong tương lai hướng tới thiết kế và đào tạo các mô hình TI2V có khả năng suy luận.

V. Brainstorming Space:

1. Publish Papers:

Phát triển kiến trúc mô hình TI2V mới được thiết kế đặc biệt để nội hóa và suy luận về các quy tắc ngầm của thế giới.
Nghiên cứu các phương pháp đào tạo mới nhấn mạnh việc học các ràng buộc vật lý, xã hội và logic ngầm, thay vì chỉ tập trung vào độ chân thực của hình ảnh.
Khám phá các hệ thống đánh giá dựa trên Large Multimodal Models tiên tiến có thể cung cấp phản hồi chi tiết và hữu ích hơn cho các nhà phát triển mô hình, vượt ra ngoài các điểm số đơn thuần.

2. Patent:

Trợ lý Video Thông minh cho Sáng tạo Nội dung: Một ứng dụng di động giúp người dùng tạo các đoạn video ngắn bằng cách tự động sửa lỗi vật lý hoặc logic trong các cảnh quay hoặc cảnh do người dùng tạo. Ví dụ, đảm bảo một vật thể rơi xuống theo đúng quy luật vật lý hoặc hành động của nhân vật hợp lý theo ngữ cảnh.
Ứng dụng Kể chuyện Tương tác với Tạo Cảnh Theo Ngữ cảnh: Một ứng dụng di động nơi người dùng nhập một hình ảnh và mô tả văn bản, và ứng dụng sẽ tạo ra một chuỗi video ngắn tuân thủ chính xác các quy tắc xã hội ngầm hoặc kiến thức kinh nghiệm. Ví dụ, nếu người dùng yêu cầu "một người chuẩn bị bữa ăn", ứng dụng sẽ đảm bảo trình tự các hành động (cắt, nấu, dọn) là hợp lý và phù hợp với văn hóa.
Công cụ Tạo Video Hướng dẫn Động với Kiểm tra Quy tắc: Một ứng dụng để tạo video hướng dẫn (ví dụ: hướng dẫn tự làm, hướng dẫn chơi game) mà hệ thống có thể tự động cảnh báo hoặc sửa các bước vi phạm quy tắc đã định hoặc logic thông thường. Ví dụ, nếu người dùng minh họa việc lắp ráp đồ nội thất, ứng dụng sẽ kiểm tra vị trí và trình tự các bộ phận có đúng không.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05986
ArXiv Abstract	https://arxiv.org/abs/2602.05986
PDF Download	https://arxiv.org/pdf/2602.05986.pdf
Github Repository	https://github.com/VisionXLab/Rise-Video

9. Accurate Failure Prediction in Agents Does Not Imply Effective Failure Prevention (26 votes)

Tác giả: Rakshith Vasudev, Melisa Russak, Dan Bikel, Waseem Alshikh

Xuất bản lúc: 2026-02-03

Tag: LLMs, AI Agents, Failure Prediction, Intervention, Reliability

I. Main Problem:

Vấn đề chính mà nghiên cứu này giải quyết là nhận định rằng dự đoán thất bại chính xác ở các tác nhân LLM không đảm bảo khả năng ngăn chặn thất bại hiệu quả. Mặc dù các mô hình phê bình LLM (LLM critic) có độ chính xác ngoại tuyến cao (ví dụ: AUROC 0.94), việc can thiệp chủ động trong quá trình triển khai thực tế thường gây suy giảm hiệu suất đáng kể, thay vì cải thiện độ tin cậy. Hiệu ứng của việc can thiệp này rất khó hiểu và biến động, cho thấy độ chính xác của mô hình phê bình LLM tự nó không đủ để xác định liệu can thiệp có an toàn hay không.

II. Main Idea:

Ý tưởng chính là xác định một sự đánh đổi giữa gián đoạn và phục hồi (disruption-recovery tradeoff). Can thiệp có thể phục hồi các quỹ đạo (trajectories) có khả năng thất bại, nhưng cũng có thể làm gián đoạn các quỹ đạo lẽ ra đã thành công. Dựa trên nhận định này, các tác giả đề xuất một kiểm tra tiền triển khai (pre-deployment test) sử dụng một tập dữ liệu thử nghiệm nhỏ (khoảng 50 tác vụ) để ước tính liệu việc can thiệp có khả năng giúp ích hay gây hại, mà không cần triển khai toàn bộ.

Công thức cốt lõi để tính thay đổi tỷ lệ thành công là: ∆Success = p·r − (1−p)·d, trong đó p là tỷ lệ thất bại ban đầu, r là tỷ lệ phục hồi, và d là tỷ lệ gián đoạn. Can thiệp chỉ có lợi khi ∆Success > 0, tức là khi p > d/(r+d). Khung làm việc này giúp xác định khi nào không nên can thiệp, ngăn chặn các suy giảm nghiêm trọng trước khi triển khai.

III. Main Results:

Một mô hình phê bình LLM với độ chính xác ngoại tuyến cao (AUROC 0.94) có thể gây suy giảm hiệu suất nghiêm trọng, khiến một mô hình tác nhân sụt giảm 26 điểm phần trăm (pp) và ảnh hưởng gần như bằng 0 đối với mô hình khác.
Việc can thiệp làm giảm hiệu suất đáng kể trên các tác vụ có tỷ lệ thành công cao (từ 0 đến -26 pp).
Can thiệp mang lại cải thiện khiêm tốn trên benchmark ALFWorld có tỷ lệ thất bại cao (+2.8 pp, p=0.014).
Khung làm việc đề xuất (dựa trên tỷ lệ gián đoạn-phục hồi) dự đoán chính xác kết quả can thiệp trên các benchmark.
Hiệu suất thực tế của can thiệp được giải thích tốt hơn bởi sự khác biệt trong hồ sơ gián đoạn-phục hồi của tác nhân cơ sở, chứ không phải bởi độ chính xác của mô hình phê bình LLM.
Việc mở rộng mô hình phê bình từ 0.6B lên 14B tham số không cải thiện chất lượng dự đoán trong chế độ dữ liệu hiện tại của nghiên cứu.
Phân tích oracle cho thấy ngay cả dự đoán thất bại hoàn hảo cũng chỉ mang lại mức tăng khiêm tốn (4 đến 8 pp) cho can thiệp giữa quỹ đạo, trong khi chiến lược chọn lọc hậu kỳ (post-hoc selection) có thể mang lại lợi ích lớn hơn (11 đến 17 pp).
Hầu hết các trường hợp gây hại của can thiệp trong môi trường thành công cao đều đến từ các can thiệp ở bước đầu (bước 0–1) của quỹ đạo.

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng can thiệp trong thời gian thực cho các tác nhân LLM nên được xem là một vấn đề kiểm soát phụ thuộc vào mô hình hơn là một nhiệm vụ dự đoán đơn thuần. Lợi ích từ việc cải thiện độ chính xác của mô hình phê bình bị hạn chế trừ khi các tác nhân có thể tiếp nhận các chỉnh sửa mà không làm mất ổn định hành vi.

Trong tương lai, cần nghiên cứu:

Liệu các mô hình phê bình lớn hơn hoặc ở quy mô tiên tiến có thể giảm trực tiếp tỷ lệ gián đoạn hay không.
Các cơ chế can thiệp phức tạp hơn (như chỉnh sửa cụ thể theo bước hoặc lùi lại có nhận thức về kế hoạch) có thể giảm gián đoạn.
Khả năng chuyển giao ước tính từ nghiên cứu thí điểm sang các phân phối hoặc lĩnh vực tác vụ khác nhau.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các cơ chế can thiệp phức tạp hơn cho tác nhân LLM để tối ưu hóa sự đánh đổi giữa gián đoạn và phục hồi, ví dụ: can thiệp dựa trên kế hoạch hoặc chỉnh sửa cụ thể theo từng bước.
Khảo sát tác động của mô hình phê bình LLM có quy mô lớn hơn hoặc ở cấp độ tiên tiến đến tỷ lệ gián đoạn và phục hồi của tác nhân, đặc biệt trong các chế độ dữ liệu đa dạng hơn.
Phân tích khả năng chuyển giao của các ước tính tỷ lệ gián đoạn và phục hồi từ nghiên cứu thí điểm giữa các miền tác vụ khác nhau, nhằm phát triển các chẩn đoán đa năng hơn cho việc triển khai tác nhân.

2. Patent:

Một hệ thống an toàn cho trợ lý AI trên điện thoại di động: Phát triển một tính năng thông minh trên điện thoại giúp đánh giá rủi ro khi trợ lý AI cố gắng tự sửa lỗi trong các tác vụ đa bước (ví dụ: đặt lịch hẹn, soạn email). Trước khi cho phép trợ lý tự động sửa lỗi, hệ thống sẽ chạy một 'kiểm tra nhanh' với một số tác vụ mẫu. Nếu kiểm tra cho thấy việc sửa lỗi có thể gây ra nhiều vấn đề hơn là giải quyết, điện thoại sẽ tự động đề xuất người dùng xem lại và xác nhận các hành động, hoặc chuyển sang chế độ an toàn hơn là chỉ đưa ra các lựa chọn thay thế cho người dùng quyết định.
Phương pháp bảo vệ trải nghiệm người dùng với AI trên điện thoại: Một công nghệ trên điện thoại để ngăn chặn trợ lý ảo AI can thiệp quá sớm vào các tác vụ đơn giản. Ví dụ, khi bạn đang nhập tin nhắn hoặc thực hiện một tìm kiếm đơn giản, hệ thống AI sẽ chờ một vài bước hoặc xác nhận rõ ràng trước khi đề xuất chỉnh sửa hoặc thay đổi hành vi, tránh làm gián đoạn một quy trình mà lẽ ra sẽ thành công ngay lập tức. Điều này giúp tránh việc AI gây 'phản tác dụng' khi người dùng đang thực hiện các thao tác cơ bản.
Hệ thống điều chỉnh hành vi AI cá nhân hóa cho điện thoại: Một ứng dụng trên điện thoại học cách trợ lý AI của bạn phản ứng với các gợi ý hoặc sửa lỗi từ hệ thống. Nếu AI của bạn thường 'lúng túng' hoặc mắc lỗi mới sau khi được sửa, hệ thống sẽ tự động điều chỉnh. Thay vì can thiệp trực tiếp, nó có thể tạo ra nhiều phương án hoàn thành tác vụ (ví dụ: nhiều cách viết email, nhiều lộ trình tìm kiếm) và cho phép bạn chọn phương án tốt nhất sau khi AI đã hoàn thành suy nghĩ, giảm thiểu nguy cơ gián đoạn giữa chừng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.03338
ArXiv Abstract	https://arxiv.org/abs/2602.03338
PDF Download	https://arxiv.org/pdf/2602.03338.pdf
Github Repository	N/A

10. ProAct: Agentic Lookahead in Interactive Environments (24 votes)

Tác giả: Yangbin Yu, Mingyu Yang, Junyou Li, Yiming Gao, Feiyu Liu, Yijun Yang, Zichuan Lin, Jiafei Lyu, Yicheng Liu, Zhicong Lu, Deheng Ye, Jie Jiang

Xuất bản lúc: 2026-02-05

Tag: LLMs, Reinforcement Learning, AI Agent, Monte-Carlo Tree Search, Supervised Fine-tuning, Planning

I. Main Problem:

Các tác nhân LLM hiện tại gặp khó khăn trong các môi trường tương tác đòi hỏi lập kế hoạch dài hạn, chủ yếu do lỗi tích lũy khi mô phỏng các trạng thái tương lai (hiện tượng simulation drift). Các kỹ thuật hiện có như Chain-of-Thought và ReAct có giới hạn nghiêm trọng về lỗi mô phỏng tích lũy trong các tác vụ dài hạn. Ngoài ra, việc ước tính giá trị trong các tác vụ RL dài hạn cho LLM cũng là một thách thức lớn, dẫn đến độ lệch cao, hội tụ chậm và sự không ổn định trong huấn luyện do việc tạo mẫu chậm và tốn kém.

II. Main Idea:

ProAct đề xuất một khuôn khổ hai giai đoạn để tác nhân LLM có thể nội hóa khả năng suy luận nhìn xa chính xác.

Giai đoạn 1: Grounded LookAhead Distillation (GLAD): Tác nhân được huấn luyện tinh chỉnh có giám sát (SFT) trên các quỹ đạo được tạo ra từ tìm kiếm dựa trên môi trường (sử dụng Monte-Carlo Tree Search - MCTS). GLAD nén các cây tìm kiếm phức tạp thành các chuỗi suy luận nhân quả, súc tích thông qua SFT, giúp tác nhân học logic dự đoán mà không cần chi phí tính toán khi suy luận. Quá trình này bao gồm các bước "Nén nhận thức" để đơn giản hóa định dạng, tạo chuỗi suy luận rõ ràng, ước tính xu hướng tương lai và bảo tồn sự đa dạng.
Giai đoạn 2: Monte-Carlo Critic (MC-Critic): Đây là một bộ ước tính giá trị phụ trợ plug-and-play được thiết kế để cải thiện các thuật toán gradient chính sách như PPO và GRPO. MC-Critic tận dụng các lần chạy thử môi trường nhẹ (sử dụng chính sách ngẫu nhiên π_random) để cung cấp các ước tính giá trị có phương sai thấp, ổn định quá trình huấn luyện RL trực tuyến mà không dựa vào ước tính giá trị dựa trên mô hình tốn kém. Nó có các biến thể MC-GRPO và MC-PPO, trong đó MC-GRPO sử dụng Q_MC^π_random(s_tu, a_tu^i) để tính lợi thế, và MC-PPO sử dụng tổng trọng số của V_φ(s_t, c_t) và V_MC^π_random(s_t).

III. Main Results:

ProAct cải thiện đáng kể độ chính xác của lập kế hoạch trên cả môi trường ngẫu nhiên (2048) và xác định (Sokoban). Đáng chú ý, một mô hình 4B tham số được huấn luyện với ProAct vượt trội hơn tất cả các đường cơ sở mã nguồn mở và cạnh tranh với các mô hình độc quyền hiện đại, đồng thời thể hiện khả năng khái quát hóa mạnh mẽ đối với các môi trường chưa từng thấy (ví dụ: các biến thể của 2048 như lưới 3x3, 3072; các biến thể của Sokoban như cấp độ mới, thay đổi không gian hành động và biểu tượng). Mô hình được huấn luyện bằng GLAD cho thấy hiệu suất vượt trội và khả năng thích nghi tốt với các biến thể môi trường. MC-Critic liên tục cải thiện hiệu suất trên cả hai môi trường, mang lại điểm số cao hơn khi tích hợp với GRPO và PPO, đồng thời duy trì khả năng khái quát hóa mạnh mẽ. Mã nguồn và mô hình có sẵn tại https://github.com/GreatX3/ProAct.

IV. Conclusion & Future Works:

ProAct đã thành công trong việc khắc phục vấn đề "simulation drift" của các tác nhân LLM trong môi trường tương tác bằng cách đặt nền tảng cho quá trình suy luận nội bộ của tác nhân trong thực tế bên ngoài. Khung công tác hai giai đoạn của nó, bao gồm Grounded Lookahead Distillation (GLAD) để nội hóa khả năng suy luận nhìn xa và Monte-Carlo Critic (MC-Critic) để ổn định quá trình huấn luyện RL, đã chứng minh hiệu quả vượt trội. Công việc này mở ra hướng phát triển các tác nhân LLM mạnh mẽ hơn với khả năng lập kế hoạch và khái quát hóa vượt trội trong các môi trường phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các kỹ thuật "Nén nhận thức" tinh vi hơn để chắt lọc các mẫu tìm kiếm phức tạp thành chuỗi suy luận súc tích cho LLM, nhằm giảm thiểu sự mơ hồ và tăng cường khả năng diễn giải.
Khám phá các lược đồ trọng số thích ứng cho MC-Critic (tham số ω trong MC-PPO) hoặc chiến lược lấy mẫu động cho π_random nhằm tối ưu hóa sự đánh đổi giữa chi phí tính toán và độ chính xác ước tính giá trị.
Áp dụng ProAct vào các môi trường tương tác phức tạp, thực tế hơn ngoài các trò chơi truyền thống, ví dụ như mô phỏng robot hoặc các tác vụ tương tác phần mềm phức tạp, để kiểm tra khả năng mở rộng.

2. Patent:

Ứng dụng Trợ lý Lập kế hoạch Du lịch Thông minh: Một ứng dụng trên điện thoại di động sử dụng công nghệ lập kế hoạch nhìn xa tương tự ProAct. Người dùng nhập điểm đến, ngày đi, sở thích (ví dụ: thích phiêu lưu, thư giãn). Ứng dụng sẽ mô phỏng nhiều kịch bản chuyến đi (bao gồm các chuyến bay, khách sạn, hoạt động) dựa trên dữ liệu thực tế (thời gian thực, đánh giá, chi phí) và đưa ra các kế hoạch tối ưu, có tính đến các rủi ro tiềm ẩn hoặc sự kiện bất ngờ (ví dụ: thời tiết xấu, chuyến bay bị hoãn) để người dùng có thể lựa chọn kế hoạch tốt nhất.
Hệ thống Quản lý Nhiệm vụ Cá nhân Tối ưu hóa: Một ứng dụng quản lý công việc trên điện thoại giúp người dùng tối ưu hóa danh sách việc cần làm hàng ngày. Dựa trên các nhiệm vụ, thời hạn và mức độ ưu tiên mà người dùng cung cấp, ứng dụng sẽ "nhìn xa" để mô phỏng các trình tự hoàn thành nhiệm vụ khác nhau và đánh giá mức độ hiệu quả. Nó sẽ đề xuất trình tự làm việc tốt nhất để đạt được mục tiêu trong thời gian sớm nhất hoặc với ít áp lực nhất, đồng thời cảnh báo về các xung đột lịch trình hoặc nhiệm vụ bị trì hoãn tiềm ẩn.
Hỗ trợ Quyết định trong Game Di động Phức tạp: Phát triển một tính năng tích hợp trong các game chiến thuật hoặc giải đố phức tạp trên điện thoại. Tính năng này sẽ phân tích trạng thái trò chơi hiện tại và mô phỏng nhiều nước đi tiềm năng trong tương lai. Nó sẽ hiển thị cho người chơi các "kịch bản kết quả" có thể xảy ra từ mỗi nước đi, giúp họ hiểu rõ hơn về tác động dài hạn của quyết định của mình và đưa ra lựa chọn chiến lược thông minh hơn, đặc biệt hữu ích cho người chơi mới hoặc khi đối mặt với các tình huống khó khăn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05327
ArXiv Abstract	https://arxiv.org/abs/2602.05327
PDF Download	https://arxiv.org/pdf/2602.05327.pdf
Github Repository	https://github.com/GreatX3/ProAct

11. Privileged Information Distillation for Language Models (24 votes)

Tác giả: Emiliano Penaloza, Dheeraj Vattikonda, Nicolas Gontier, Alexandre Lacoste, Laurent Charlin, Massimo Caccia

Xuất bản lúc: 2026-02-04

Tag: LLMs, Reinforcement Learning, Knowledge Distillation, Agentic AI, Privileged Information

I. Main Problem:

Nghiên cứu này giải quyết thách thức cơ bản là chuyển giao các khả năng đã học được với Thông tin Đặc quyền (PI) trong quá trình huấn luyện sang các chính sách phải hành động mà không có PI tại thời điểm suy luận. Đặc biệt, vấn đề này trở nên phức tạp trong các môi trường tác nhân đa lượt khi các mô hình tiên tiến thường che giấu quá trình suy luận bên trong (Chain-of-Thought - CoT) và chỉ tiết lộ quỹ đạo hành động, làm hỏng các quy trình chắt lọc tiêu chuẩn vì hành vi thành công có thể quan sát được nhưng quá trình suy luận thì không.

II. Main Idea:

Các tác giả giới thiệu hai thuật toán chắt lọc bổ sung: π-Distill và On-Policy Self-Distillation (OPSD). π-Distill là một mục tiêu thầy-trò chung, huấn luyện một giáo viên được điều kiện hóa bằng PI và một học sinh không điều kiện đồng thời bằng cách sử dụng cùng một mô hình chia sẻ tham số. Giáo viên tối đa hóa phần thưởng trong khi duy trì sự gần gũi với chính sách của học sinh, còn học sinh học hỏi từ quỹ đạo do giáo viên tạo ra. OPSD là một phương pháp thay thế, huấn luyện bằng RL với một hình phạt KL ngược giữa học sinh (làm chính sách lấy mẫu) và giáo viên được điều kiện hóa bằng PI. Cả hai phương pháp đều nhằm mục đích cho phép các mô hình ngôn ngữ học hỏi từ các lời nhắc thông tin (PI) để khái quát hóa sang các lời nhắc ít thông tin hơn, đặc biệt hữu ích khi thiếu CoT từ các mô hình tiên tiến.

III. Main Results:

π-Distill và trong một số trường hợp, OPSD, đã chứng minh khả năng chắt lọc hiệu quả các tác nhân tiên tiến chỉ sử dụng PI dựa trên hành động. Các phương pháp này vượt trội so với các thực hành tiêu chuẩn trong ngành (Supervised finetuning theo sau bởi RL) vốn yêu cầu quyền truy cập vào giám sát CoT đầy đủ trên nhiều điểm chuẩn tác nhân (Travel Planner, τ-Bench retail, τ-Bench airline), các mô hình (Qwen3-4B, Qwen3-8B, R1-Distill-Llama-8B) và các dạng PI. π-Distill còn thể hiện khả năng khái quát hóa mạnh mẽ ra ngoài phân phối (OOD) trên 7 môi trường sử dụng công cụ GEM. Đáng chú ý, π-Distill yêu cầu một giai đoạn huấn luyện duy nhất, hiệu quả hơn đáng kể so với SFT+RL. Các mô hình lớn hơn (Qwen3-8B) cho thấy lợi ích đáng kể hơn từ π-Distill và OPSD so với SFT w/ CoT + RL.

IV. Conclusion & Future Works:

π-Distill cung cấp một giải pháp hiệu quả cho việc thiếu vắng Chain-of-Thought (CoT) bằng cách sử dụng các hành động thô làm tín hiệu học tập mạnh mẽ để chắt lọc các mô hình tiên tiến, đồng thời vượt trội về hiệu suất và hiệu quả so với các phương pháp tiêu chuẩn. On-Policy Self-Distillation (OPSD) là một lựa chọn thay thế mạnh mẽ khi không có CoT. Cả hai phương pháp đều ngăn chặn sự suy giảm hiệu suất thường thấy ở RL tiêu chuẩn và cho thấy lợi ích khi mở rộng quy mô mô hình. Những kết quả này nhấn mạnh tiềm năng của việc học tập với Thông tin Đặc quyền trong các môi trường tác nhân phức tạp.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp tạo và đánh giá các dạng Thông tin Đặc quyền (PI) mới, ít thông tin hơn hoặc mang tính tổng quát cao hơn để cải thiện hiệu quả chắt lọc và khả năng khái quát hóa cho các mô hình ngôn ngữ.
Phân tích sâu hơn các yếu tố cấu thành sự thành công của On-Policy Self-Distillation (OPSD), đặc biệt là trong việc tối ưu hóa chuyển giao kiến thức và tránh suy giảm hiệu suất trên các mô hình ngôn ngữ có kích thước khác nhau.
Mở rộng ứng dụng của π-Distill và OPSD sang các lĩnh vực khác ngoài môi trường tác nhân đa lượt, ví dụ như huấn luyện các mô hình ngôn ngữ cho các tác vụ sinh văn bản sáng tạo, tóm tắt tự động, hoặc tương tác đa phương thức.

2. Patent:

Một ứng dụng di động có khả năng ghi lại chuỗi hành động thành công của người dùng trên nhiều ứng dụng khác nhau (ví dụ: đặt chỗ, mua sắm) để tạo ra "thông tin đặc quyền". Sau đó, một trợ lý AI tích hợp trong điện thoại có thể học từ các hành động này để tự động thực hiện các tác vụ tương tự hoặc hướng dẫn người dùng khác, ngay cả khi không được cung cấp lý do chi tiết cho từng hành động.
Một hệ thống quản lý tác vụ thông minh trên điện thoại giúp người dùng hoàn thành các quy trình phức tạp bằng cách học hỏi từ "quỹ đạo hành động" của những người dùng chuyên nghiệp. Hệ thống này sẽ chắt lọc các hành vi thành công mà không cần truy cập vào "suy nghĩ" bên trong của chuyên gia, cho phép điện thoại đề xuất các bước tiếp theo hoặc tự động hóa một phần các tác vụ mà không cần người dùng phải giải thích ý định cụ thể.
Một tính năng "chắt lọc hành vi" cho các ứng dụng chatbot hoặc trợ lý ảo trên điện thoại. Tính năng này cho phép chatbot nhanh chóng học các phản hồi và hành động hiệu quả từ các ví dụ tương tác thành công (ví dụ: xử lý yêu cầu hỗ trợ khách hàng) dưới dạng chuỗi hành động đơn thuần, mà không yêu cầu dữ liệu suy luận tường minh, giúp cải thiện khả năng thích ứng và hiệu suất của trợ lý ảo trong giao tiếp thực tế.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.04942
ArXiv Abstract	https://arxiv.org/abs/2602.04942
PDF Download	https://arxiv.org/pdf/2602.04942.pdf
Github Repository	N/A

12. Reinforced Attention Learning (23 votes)

Tác giả: Bangzheng Li, Jianmo Ni, Chen Qu, Ian Miao, Liu Yang, Xingyu Fu, Muhao Chen, Derek Zhiyuan Cheng

Xuất bản lúc: 2026-02-04

Tag: LLMs, MLLMs, Reinforcement Learning, Attention Mechanisms, Knowledge Distillation, Policy Gradient

I. Main Problem:

Các mô hình ngôn ngữ lớn đa phương thức (MLLMs) gặp hạn chế khi áp dụng học tăng cường (RL) bằng cách tối ưu hóa các chuỗi token đầu ra, đặc biệt trong các tác vụ nhận thức. Phương pháp này thường chỉ mang lại lợi ích hạn chế hoặc thậm chí làm giảm hiệu suất, vì nó tập trung vào những gì mô hình tạo ra thay vì cách thức mô hình phân bổ thông tin nội bộ (cơ chế chú ý). Điều này dẫn đến vấn đề thiên vị phương thức (modality bias) và thiếu khả năng grounding hình ảnh hiệu quả.

II. Main Idea:

Các tác giả đề xuất Reinforced Attention Learning (RAL), một khuôn khổ gradient chính sách trực tiếp tối ưu hóa phân phối chú ý nội bộ của mô hình thay vì chuỗi token đầu ra. RAL coi cơ chế chú ý là một chính sách, khuyến khích các mô hình chú ý đến thông tin thích hợp trong các đầu vào đa phương thức phức tạp.

Ngoài ra, bài báo còn giới thiệu On-Policy Attention Distillation, một phương pháp chưng cất kiến thức (knowledge distillation) chuyển giao hành vi chú ý tiềm ẩn từ mô hình giáo viên sang mô hình học sinh, giúp cải thiện sự căn chỉnh đa phương thức mạnh mẽ hơn so với chưng cất kiến thức tiêu chuẩn. Mục tiêu tối ưu hóa tổng thể của RAL kết hợp gradient chính sách cấp token truyền thống với bộ điều chỉnh chú ý nội bộ, trong khi mục tiêu chưng cất kết hợp tối ưu hóa RL, chưng cất kiến thức chung (GKD) trên logits đầu ra và căn chỉnh chú ý.

III. Main Results:

RAL liên tục vượt trội hơn GRPO và các phương pháp cơ sở khác trên nhiều bộ dữ liệu đánh giá hình ảnh và video.

Trong Học tăng cường: RAL cải thiện hiệu suất trên tất cả 8 bộ dữ liệu hình ảnh (ví dụ: V* (+5.8), MME (+94.1)) và 6/7 bộ dữ liệu video (ví dụ: LongVideoBench (+2.2), NExTQA (+3.4)). Quan trọng hơn, RAL không chỉ giảm thiểu sự suy giảm hiệu suất mà GRPO có thể gây ra mà còn vượt qua hiệu suất của mô hình Qwen-2.5-VL-7B gốc trên tất cả các chỉ số.
Trong Chưng cất On-Policy: Sự tích hợp chưng cất chú ý mang lại kết quả vượt trội so với chưng cất tiêu chuẩn trên 7/8 bộ dữ liệu hình ảnh (ví dụ: V* (+3.6)) và cải thiện trên tất cả các bộ dữ liệu video ngoại trừ các trường hợp hòa.
Nghiên cứu cắt bỏ (Ablation Studies): RAL nhất quán cải thiện theo độ phân giải hình ảnh và tốc độ khung hình video tăng lên. Phiên bản RAL-zero (không có quá trình tư duy tường minh) vẫn vượt trội hơn mô hình cơ sở và GRPO trên nhiều điểm chuẩn, cho thấy chính sách chú ý đóng góp đáng kể vào khả năng hiểu thị giác.

IV. Conclusion & Future Works:

Reinforced Attention Learning (RAL) là một mô hình hậu huấn luyện mới cho MLLM, chuyển trọng tâm tối ưu hóa từ phân phối token văn bản sang phân phối chú ý nội bộ. Cách tiếp cận này trực tiếp tăng cường khả năng grounding thị giác và tập trung nhận thức, khắc phục hạn chế của các phương pháp RL dựa trên kết quả đầu ra.

Các kết quả thực nghiệm xác nhận rằng việc giám sát phân bổ thông tin nội bộ mang lại tín hiệu huấn luyện ổn định và tổng quát hơn so với gradient cấp token. Các tác giả tin rằng quan điểm này mở đường cho các nghiên cứu trong tương lai về việc gán tín dụng chi tiết hơn và tối ưu hóa các cấu trúc nội bộ khác như cơ chế routing của Mixture-of-Experts (MoE) hoặc hợp nhất đa phương thức, nhằm thúc đẩy trí tuệ đa phương thức mạnh mẽ và có cơ sở hơn.

V. Brainstorming Space:

1. Publish Papers:

Mở rộng Reinforced Attention Learning để tối ưu hóa các cấu trúc nội bộ khác ngoài phân phối chú ý, chẳng hạn như cơ chế routing của Mixture-of-Experts (MoE) hoặc các lớp hợp nhất đa phương thức, nhằm cải thiện khả năng suy luận và grounding của MLLM.
Nghiên cứu việc áp dụng Reinforced Attention Learning trong các tác vụ MLLM đa dạng hơn không chỉ là Hỏi Đáp hình ảnh/video, ví dụ như tạo nội dung đa phương thức hoặc mô tả hình ảnh tự động, để xem liệu việc tối ưu hóa sự chú ý có mang lại lợi ích tương tự và ở mức độ nào.
Khám phá các phương pháp mới để định lượng và gán tín dụng (credit assignment) một cách chi tiết hơn cho các vùng chú ý cụ thể trong các tình huống suy luận phức tạp của MLLM, có thể kết hợp với các kỹ thuật giải thích mô hình (XAI) để cung cấp cái nhìn sâu sắc hơn về quá trình ra quyết định của mô hình.

2. Patent:

Hệ thống Hỗ trợ Thị giác Tăng cường cho Điện thoại Thông minh: Một ứng dụng điện thoại sử dụng công nghệ học tăng cường tập trung vào việc "nơi để chú ý" để tự động nhận diện và làm nổi bật các thông tin quan trọng trong ảnh hoặc video mà người dùng đang xem qua camera. Ví dụ, khi chụp một tài liệu, nó sẽ tự động khoanh vùng và trích xuất các thông tin chính như số điện thoại, địa chỉ, hoặc tổng hóa đơn mà không cần người dùng chỉ định, giúp tăng cường khả năng tương tác và thu thập thông tin nhanh chóng.
Chức năng Tìm kiếm Hình ảnh Thông minh theo Ngữ cảnh trên Điện thoại: Phát triển một tính năng cho ứng dụng tìm kiếm trên điện thoại cho phép người dùng chụp ảnh hoặc quay video một vật thể bất kỳ (ví dụ: một loài cây, một món đồ nội thất). Ứng dụng sẽ sử dụng phương pháp tối ưu hóa "sự chú ý nội bộ" để hiểu chính xác ngữ cảnh và các đặc điểm nổi bật của vật thể, từ đó cung cấp các kết quả tìm kiếm thông tin liên quan, sản phẩm tương tự hoặc hướng dẫn sử dụng một cách thông minh và chính xác hơn.
Trợ lý Hướng dẫn Thực tế Tăng cường (AR) trên Điện thoại: Một ứng dụng trên điện thoại thông minh, sử dụng camera và công nghệ " Reinforced Attention Learning" để theo dõi các bước thực hiện của người dùng trong các công việc như lắp ráp đồ nội thất, nấu ăn hoặc sửa chữa đồ dùng. Hệ thống sẽ tự động "tập trung sự chú ý" vào các bộ phận cụ thể hoặc hành động quan trọng trong khung hình, sau đó cung cấp hướng dẫn bằng giọng nói hoặc hình ảnh (thông qua AR) để nhắc nhở người dùng về các bước tiếp theo hoặc cảnh báo nếu có lỗi, đảm bảo quy trình được thực hiện đúng cách.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.04884
ArXiv Abstract	https://arxiv.org/abs/2602.04884
PDF Download	https://arxiv.org/pdf/2602.04884.pdf
Github Repository	N/A

13. Reinforcement World Model Learning for LLM-based Agents (22 votes)

Tác giả: Xiao Yu, Baolin Peng, Ruize Xu, Yelong Shen, Pengcheng He, Suman Nath, Nikhil Singh, Jiangfeng Gao, Zhou Yu

Xuất bản lúc: 2026-02-05

Tag: LLMs, Agents, Reinforcement Learning, World Models, Self-supervised learning

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) thể hiện hiệu suất mạnh mẽ trong các tác vụ liên quan đến ngôn ngữ, nhưng gặp khó khăn trong các môi trường tác nhân (agentic settings) khi cần dự đoán hậu quả hành động và thích ứng với động lực môi trường. Điều này cho thấy sự thiếu hụt khả năng mô hình hóa thế giới (world-modeling) trong các tác nhân dựa trên LLM.

Các phương pháp hiện có để trang bị khả năng mô hình thế giới cho tác nhân LLM, dựa trên dự đoán trạng thái tiếp theo thông qua SFT (Supervised Fine-Tuning), đối mặt với các thách thức về khả năng mở rộng: chúng phụ thuộc nhiều vào dữ liệu chất lượng cao từ chuyên gia hoặc các LLM mạnh hơn, và ưu tiên độ trung thực cấp độ token (tức là tái tạo chính xác từ ngữ) hơn là sự tương đương về ngữ nghĩa, điều này có thể dẫn đến sự sụp đổ của mô hình.

Sự phụ thuộc vào các phần thưởng thành công tác vụ (task-success rewards) rời rạc và cần được thiết kế cẩn thận trong học tăng cường (RL) cũng đặt ra thách thức về khả năng mở rộng khi các tác vụ và môi trường trở nên phức tạp hơn.

II. Main Idea:

Các tác giả đề xuất Reinforcement World Model Learning (RWML), một phương pháp huấn luyện tự giám sát (self-supervised) dựa trên học tăng cường (RL) để học các mô hình thế giới điều kiện hành động (action-conditioned world models) cho các tác nhân dựa trên LLM trên các trạng thái văn bản. Phương pháp này sử dụng phần thưởng 'sim-to-real gap' bằng cách căn chỉnh các trạng thái tiếp theo được mô phỏng bởi mô hình với các trạng thái tiếp theo thực tế được quan sát từ môi trường, được đo trong một không gian nhúng đã được huấn luyện trước. Điều này khuyến khích sự nhất quán về ngữ nghĩa giữa các mô phỏng thế giới nội bộ và động lực môi trường thực tế.

Không giống như dự đoán token trạng thái tiếp theo (next-state token prediction) ưu tiên độ trung thực cấp độ token và có thể dẫn đến sự sụp đổ của mô hình, RWML cung cấp một tín hiệu huấn luyện mạnh mẽ hơn và ít bị tấn công phần thưởng hơn so với phương pháp LLM-as-a-judge.

RWML thu thập dữ liệu huấn luyện bằng cách sử dụng chính mô hình mục tiêu để thực hiện các lần 'rollout' tương tác với môi trường, sau đó chuyển đổi chúng thành các bộ ba ⟨s≤t, at, st+1⟩. Để giúp mô hình tập trung vào việc học kiến thức mô hình thế giới không tầm thường, phương pháp này còn lấy mẫu con các mẫu 'quá dễ' để học, ưu tiên các mẫu khó hơn trong quá trình huấn luyện GRPO.

III. Main Results:

Phương pháp RWML thể hiện hiệu quả đáng kể trên hai điểm chuẩn tác nhân dài hạn là ALFWorld và τ2 Bench.

Hiệu suất tự giám sát: RWML, khi chỉ được huấn luyện bằng dữ liệu tương tác tự giám sát (không sử dụng dữ liệu chuyên gia, LLM mạnh hơn hoặc tín hiệu phần thưởng thành công tác vụ), đã cải thiện đáng kể khả năng tác nhân của mô hình cơ sở, tăng 19.6 điểm trên ALFWorld và 7.9 điểm trên τ2 Bench.
Kết hợp với Học tăng cường chính sách: Khi kết hợp với phần thưởng thành công tác vụ (tức là Policy RL), các mô hình được huấn luyện bằng RWML vượt trội hơn RL trực tiếp bằng phần thưởng thành công tác vụ lần lượt 6.9 và 5.7 điểm trên ALFWorld và τ2 Bench, đồng thời sánh ngang với hiệu suất của việc huấn luyện bằng dữ liệu chuyên gia.
Giảm quên thảm khốc: RWML dẫn đến việc mô hình ít bị quên thảm khốc hơn so với huấn luyện SFT mô hình thế giới (WM SFT) trên hầu hết các điểm chuẩn kiến thức tổng quát, toán học & STEM, và mã hóa.
Cải thiện quá trình ra quyết định: Các mô hình được huấn luyện bằng RWML đưa ra các quyết định chính xác và hiệu quả hơn, giảm đáng kể tỷ lệ hành động không hợp lệ/không hiệu quả trên cả hai điểm chuẩn (ví dụ: giảm từ 59.30% xuống 39.45% trên ALFWorld).
Thay đổi trọng số hiệu quả: RWML tạo ra ít thay đổi thông số hơn đáng kể trên các lớp so với WM SFT, cho thấy cách học hiệu quả hơn về mặt tham số và ít gây nhiễu cho không gian biểu diễn đã được huấn luyện trước.

IV. Conclusion & Future Works:

RWML là một phương pháp tự giám sát và có khả năng mở rộng, giúp nâng cao khả năng hiểu môi trường và ra quyết định của các tác nhân dựa trên LLM, trước khi tiến hành học tăng cường chính sách bằng phần thưởng thành công tác vụ. Nó đạt được những cải tiến đáng kể về hiệu suất chỉ bằng cách sử dụng dữ liệu tương tác, mà không cần đến các chú thích từ chuyên gia, LLM mạnh hơn, hoặc tín hiệu thành công tác vụ.

Công việc này mở ra những hướng đi mới cho các phương pháp huấn luyện tự giám sát, có khả năng mở rộng để tiếp tục phát triển các tác nhân dựa trên LLM trong kỷ nguyên RL tác nhân.

Trong tương lai, các tác giả sẽ tập trung vào việc cải thiện khả năng chuyển giao kiến thức cho các mô hình yếu hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu cách cải thiện khả năng chuyển giao kiến thức mô hình thế giới từ RWML cho các mô hình ngôn ngữ lớn (LLMs) yếu hơn, để chúng cũng có thể hưởng lợi đáng kể từ phương pháp này.
Khám phá việc tích hợp các loại phần thưởng tự giám sát khác nhau để tối ưu hóa mô hình thế giới, ngoài phần thưởng dựa trên khoảng cách nhúng hiện tại, nhằm nâng cao tính mạnh mẽ và hiệu quả của RWML.
Mở rộng RWML để học các mô hình thế giới phức tạp hơn, bao gồm mô hình nhân quả hoặc mô hình dự đoán dài hạn trong các môi trường đa tác nhân, nhằm cho phép các tác nhân LLM thực hiện lập kế hoạch và lý luận nâng cao hơn.

2. Patent:

Hệ thống trợ lý điện thoại dự đoán hành động thông minh: Một hệ thống trên điện thoại thông minh có thể dự đoán kết quả của các hành động mà người dùng sắp thực hiện hoặc các hành động mà ứng dụng muốn thực hiện. Ví dụ, nếu bạn chuẩn bị gửi một tin nhắn chứa thông tin cá nhân nhạy cảm, hệ thống có thể cảnh báo và đề xuất mã hóa tin nhắn đó. Hoặc, nếu một ứng dụng dự kiến thực hiện một tác vụ tiêu tốn nhiều pin, hệ thống sẽ cảnh báo người dùng và đề xuất chuyển sang chế độ tiết kiệm pin, giúp tối ưu hóa trải nghiệm và bảo mật điện thoại.
Bộ lọc và tối ưu hóa phản hồi ứng dụng tự động: Một công nghệ cho phép điện thoại tự động đánh giá và tinh chỉnh các phản hồi hoặc hành động được tạo ra bởi các ứng dụng hoặc trợ lý ảo, đặc biệt là khi chúng cố gắng sử dụng các chức năng hệ thống hoặc các ứng dụng khác. Hệ thống này sẽ nhận diện và ngăn chặn các yêu cầu không hợp lệ (ví dụ: một ứng dụng yêu cầu chức năng không tồn tại hoặc sử dụng sai cú pháp), đồng thời đề xuất cách sửa lỗi hoặc hướng dẫn ứng dụng thực hiện hành động đúng, giúp điện thoại hoạt động ổn định và giảm thiểu lỗi.
Công cụ chẩn đoán và khắc phục sự cố điện thoại tự động dựa trên mô hình thế giới: Một ứng dụng tích hợp trên điện thoại có khả năng tự động chẩn đoán và khắc phục các vấn đề kỹ thuật phổ biến (ví dụ: mất sóng điện thoại, lỗi kết nối Wi-Fi, hoặc ứng dụng gặp sự cố). Thay vì chỉ đưa ra danh sách các bước sửa lỗi thủ công, hệ thống này sẽ mô phỏng các hành động khắc phục sự cố (ví dụ: bật/tắt chế độ máy bay, khởi động lại mạng) và dự đoán kết quả, sau đó tự động thực hiện các bước cần thiết hoặc đưa ra hướng dẫn cụ thể nhất cho người dùng, giống như một chuyên gia hỗ trợ kỹ thuật tự động hóa quá trình tìm và sửa lỗi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05842
ArXiv Abstract	https://arxiv.org/abs/2602.05842
PDF Download	https://arxiv.org/pdf/2602.05842.pdf
Github Repository	N/A

14. InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions (21 votes)

Tác giả: Sirui Xu, Samuel Schulter, Morteza Ziyadi, Xialin He, Xiaohan Fei, Yu-Xiong Wang, Liangyan Gui

Xuất bản lúc: 2026-02-05

Tag: Reinforcement Learning, Imitation Learning, Generative Control, Physics-Based Simulation, Human-Object Interaction, Variational Policy, Humanoid Robots

I. Main Problem:

Vấn đề chính mà nghiên cứu này giải quyết là việc mở rộng kiểm soát sinh tạo (generative control) cho tương tác người-vật thể (human-object interaction - HOI) dựa trên vật lý. Các phương pháp hiện có gặp phải các hạn chế như:

Các chính sách bắt chước chuyển động (motion imitation policies) dựa vào các bộ lập kế hoạch rõ ràng cho các tham chiếu toàn thân và vật thể dày đặc, thiếu linh hoạt trước các mục tiêu thưa thớt.
Các bộ điều khiển sinh tạo thông qua khớp phân phối đối kháng (adversarial distributional matching) khó mở rộng do tối ưu hóa không ổn định, sự cố chế độ phân biệt (discriminator mode collapse) và các mục tiêu nhiệm vụ thủ công.
Các chính sách chắt lọc (distillation policies) có thể dễ bị lỗi khi không gian cấu hình HOI lớn, dẫn đến sự bùng nổ tổ hợp của các chế độ tiếp xúc và tư thế tương đối.
Quá trình chắt lọc đơn thuần không thể bao quát toàn bộ không gian cấu hình HOI, và học tăng cường (Reinforcement Learning - RL) áp dụng độc lập thường dẫn đến các hành vi "hack phần thưởng" không tự nhiên. Điều này dẫn đến thiếu khả năng tổng quát hóa, phục hồi lỗi và kiểm soát linh hoạt cho người máy hình người (humanoids) trong các tương tác phức tạp.

II. Main Idea:

InterPrior giới thiệu một khuôn khổ có khả năng mở rộng, học một bộ điều khiển sinh tạo thống nhất thông qua huấn luyện sơ bộ bắt chước quy mô lớn (large-scale imitation pretraining) và huấn luyện hậu kỳ bằng Học tăng cường (Reinforcement Learning - RL). Các ý tưởng chính bao gồm ba giai đoạn:

Huấn luyện chuyên gia bắt chước toàn bộ tham chiếu (InterMimic+): InterPrior đầu tiên chắt lọc một chuyên gia bắt chước tham chiếu đầy đủ (InterMimic+) thành một chính sách biến phân đa năng, được điều kiện theo mục tiêu (goal-conditioned variational policy). Chuyên gia này được huấn luyện trên dữ liệu HOI quy mô lớn, kết hợp các tăng cường dữ liệu, nhiễu loạn vật lý và phần thưởng định hình để thúc đẩy phối hợp toàn thân ổn định và nắm bắt chính xác.
Chắt lọc biến phân (Variational Distillation): Chính sách chuyên gia được chắt lọc thành một chính sách biến phân có điều kiện bị che (masked conditional variational policy) có thể tái tạo chuyển động từ các quan sát đa phương thức (multimodal observations) và ý định cấp cao. Quá trình này bao gồm điều kiện đa phương thức (multi-modal conditioning), bao gồm cả tiếp xúc, và điều hòa/giới hạn ưu tiên (prior shaping and bounding regularization) để cải thiện tính mạnh mẽ.
Huấn luyện hậu kỳ bằng Học tăng cường (RL Finetuning): Để khắc phục vấn đề chính sách chắt lọc không tổng quát hóa đáng tin cậy do không gian cấu hình HOI rộng lớn, InterPrior áp dụng điều chỉnh tinh (finetuning) bằng RL. Điều này được thực hiện bằng cách sử dụng tăng cường dữ liệu với các nhiễu loạn vật lý và finetuning RL để cải thiện khả năng trên các mục tiêu và khởi tạo chưa từng thấy. RL finetuning hoạt động như một bộ tối ưu hóa cục bộ để tăng cường độ mạnh mẽ trong khi vẫn neo giữ vào mô hình đã được huấn luyện trước. Quá trình finetuning tối ưu hóa hai mục tiêu: cải thiện thành công trên các mục tiêu và khởi tạo mới, và bảo toàn kiến thức đã huấn luyện trước thông qua điều hòa (regularization).

III. Main Results:

Các kết quả chính của InterPrior bao gồm:

Theo dõi tham chiếu đầy đủ (Full-reference tracking): InterPrior (sử dụng InterMimic+) đạt tỷ lệ thành công cao hơn (83.2%) trên tập dữ liệu OMOMO với các vật thể mỏng và nhiễu khởi tạo, so với InterMimic gốc (63.9%). Điều này cho thấy khả năng điều chỉnh tiếp xúc tốt hơn, mặc dù có thể có lỗi vị trí người hơi cao hơn để hoàn thành tương tác.
Tuân thủ mục tiêu thưa thớt (Sparse goal following): InterPrior cải thiện đáng kể tỷ lệ thành công và giảm lỗi trên các tác vụ có điều kiện mục tiêu thưa thớt. Cụ thể, trên các bài kiểm tra căng thẳng như chuỗi đa mục tiêu dài hạn (multi-goal chaining) và khởi tạo ngẫu nhiên (random initialization), tỷ lệ thành công tăng lần lượt từ 29.1% lên 68.8% và 26.8% lên 88.6% so với baseline MaskedMimic.
Phục hồi lỗi và tính mạnh mẽ: Cơ chế RL finetuning cho phép chính sách phục hồi từ các trạng thái gần thất bại, thể hiện khả năng nắm bắt lại (regrasping) và duy trì sự ổn định dưới các nhiễu loạn vật lý.
Tổng quát hóa đối với vật thể và tương tác mới: InterPrior thể hiện khả năng tổng quát hóa zero-shot đối với các vật thể và kiểu tương tác chưa từng thấy từ các tập dữ liệu khác như BEHAVE và HODome. Sau khi finetuning, tỷ lệ thành công trên các tương tác mới của BEHAVE tăng từ 27.4% lên 52.0% và HODome từ 40.1% lên 72.4%.
Linh hoạt hình thái và chuyển giao sim-to-sim: Mô hình cho phép kiểm soát theo thời gian thực và có thể được áp dụng cho các hình thái người máy hình người (humanoid robot embodiments) khác nhau (ví dụ: G1 humanoid), cũng như thể hiện khả năng chuyển giao từ IsaacGym sang MuJoCo.

IV. Conclusion & Future Works:

Kết luận: InterPrior là một bộ điều khiển chuyển động sinh tạo dựa trên vật lý, mở rộng khả năng tương tác người-vật thể bằng cách kết hợp chắt lọc bắt chước quy mô lớn (large-scale imitation distillation) với điều chỉnh tinh bằng học tăng cường (reinforcement finetuning). Chính sách tiềm ẩn (latent policy) được chắt lọc, điều kiện theo mục tiêu và được tối ưu hóa bằng RL, tạo ra một bộ điều khiển duy trì sự phối hợp toàn thân tự nhiên, đồng thời cải thiện đáng kể tính mạnh mẽ và năng lực. Nó có thể kết hợp các kỹ năng di chuyển-thao tác (loco-manipulation), chuyển đổi mượt mà và phục hồi từ các lỗi trong các điều kiện tiếp xúc và động lực đa dạng. Phương pháp tiếp cận tách rời này mở rộng phạm vi bao quát nhiệm vụ, kỹ năng và động lực, đồng thời cho phép kiểm soát tương tác và có thể áp dụng cho các hình thái khác nhau.

Công việc trong tương lai: Các hướng đi tương lai bao gồm tích hợp nhận thức (perception), các mục tiêu có điều kiện ngôn ngữ (language-conditioned goals) và các khả năng (affordances) phong phú hơn để thúc đẩy InterPrior hướng tới thao tác hỗ trợ và điều khiển từ xa (teleoperation) mạnh mẽ từ mô phỏng sang thực tế (sim-to-real).

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về cách tích hợp các mô-đun Perception (nhận thức) thời gian thực (ví dụ: từ camera, cảm biến độ sâu) vào khuôn khổ InterPrior để cải thiện khả năng chuyển giao từ mô phỏng sang thực tế (sim-to-real) và tương tác trong môi trường không có cấu trúc.
Phát triển các kiến trúc và phương pháp huấn luyện cho phép InterPrior hiểu và thực hiện các lệnh ngôn ngữ tự nhiên cấp cao (ví dụ: "nhặt chiếc cốc màu đỏ cẩn thận") bằng cách dịch chúng thành các mục tiêu dựa trên vật lý thưa thớt, đồng thời tích hợp hiểu biết sâu sắc hơn về Affordances (khả năng tương tác của vật thể).
Mở rộng InterPrior để xử lý các tương tác với vật thể mềm hoặc biến dạng (soft-body dynamics), điều này đặt ra những thách thức đáng kể trong việc mô hình hóa tiếp xúc và mô phỏng vật lý, vượt ra ngoài giới hạn hiện tại của mô hình.

2. Patent:

Một ứng dụng di động sử dụng trí tuệ nhân tạo tiên tiến để hướng dẫn người dùng thực hiện các công việc vật lý phức tạp, chẳng hạn như lắp ráp đồ nội thất hoặc sơ cứu. Ứng dụng sẽ cung cấp phản hồi trực quan và âm thanh theo thời gian thực về chuyển động cơ thể và cách tương tác với vật thể của họ, đảm bảo an toàn và chính xác. Ứng dụng này có thể "hiểu" hành động của người dùng và đề xuất các chỉnh sửa dựa trên một mô hình tương tác người-vật thể AI.
Một ứng dụng điện thoại theo dõi và hướng dẫn người dùng trong các bài tập có sử dụng vật thể (ví dụ: nâng tạ, sử dụng dây kháng lực). Ứng dụng có thể phân tích tư thế của người dùng và cách họ tương tác với thiết bị theo thời gian thực, đưa ra phản hồi để tối ưu hóa hình thức tập luyện và ngăn ngừa chấn thương, ngay cả đối với các chuyển động phức tạp. Điều này sẽ sử dụng camera và AI của điện thoại để đánh giá tương tác người-vật thể.
Một ứng dụng Thực tế tăng cường (AR) trên điện thoại sẽ hiển thị các hướng dẫn tương tác lên các vật thể trong thế giới thực. Ví dụ, khi lắp ráp đồ chơi hoặc đồ nội thất, ứng dụng sẽ chỉ ra chính xác vị trí đặt tay, cách nắm bắt các bộ phận và lực cần tác động, sử dụng một "bản sao kỹ thuật số" của người dùng và vật thể để dự đoán kết quả tương tác và hướng dẫn họ. Ứng dụng này sẽ dùng camera điện thoại để theo dõi người dùng và vật thể, và một mô hình AI để diễn giải tương tác vật lý và đưa ra hướng dẫn theo ngữ cảnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06035
ArXiv Abstract	https://arxiv.org/abs/2602.06035
PDF Download	https://arxiv.org/pdf/2602.06035.pdf
Github Repository	N/A

15. Retrieval-Infused Reasoning Sandbox: A Benchmark for Decoupling Retrieval and Reasoning Capabilities (19 votes)

Tác giả: Shuangshuang Ying, Zheyu Wang, Yunjian Peng, Jin Chen, Yuhao Wu, Hongbin Lin, Dingyu He, Siyi Liu, Gengchen Yu, YinZhu Piao, Yuchen Wu, Xin Gui, Zhongyuan Peng, Xin Li, Xeron Du, Libo Qin, YiXin Cao, Ge Zhang, Stephen Huang

Xuất bản lúc: 2026-01-29

Tag: RAG, LLMs, Reasoning, Benchmarking, Evaluation

I. Main Problem:

Vấn đề chính là sự không rõ ràng về khả năng suy luận của các mô hình ngôn ngữ lớn (LLMs) trên thông tin khoa học thực sự mới lạ. Hầu hết các đánh giá hiện tại trên các pipeline RAG đầu cuối đều làm lẫn lộn khả năng suy luận với truy xuất và lựa chọn công cụ, đồng thời tín hiệu bị nhiễu bởi sự ghi nhớ tham số và sự biến động của web mở. Cụ thể, có ba hạn chế lớn:

Sự chồng chéo giữa pipeline đầu cuối và chẩn đoán yếu: Khó để xác định nguyên nhân lỗi (do truy xuất kém, suy luận thất bại, hoặc bị phân tán bởi thông tin nhiễu).
Rò rỉ/ghi nhớ tham số: Nếu các tác vụ có thể được giải quyết bằng các sự kiện đã ghi nhớ, kiến thức bách khoa rộng, hoặc các dạng số dễ đoán, thì độ chính xác không đáng tin cậy cho thấy mô hình đã tham khảo và suy luận với bằng chứng quan trọng.
Sự biến động và không thể tái tạo của web: Các benchmark phụ thuộc vào truy xuất web mở thừa hưởng tính không ổn định theo thời gian, khu vực, cập nhật chỉ mục và sự bất ổn của trang, gây ra phương sai cao.

II. Main Idea:

Để giải quyết các hạn chế này, bài báo giới thiệu DeR2, một sandbox nghiên cứu sâu được kiểm soát, tách biệt khả năng suy luận dựa trên tài liệu trong khi vẫn giữ lại những khó khăn cốt lõi của tìm kiếm sâu: tổng hợp đa bước, khử nhiễu và đưa ra kết luận dựa trên bằng chứng. DeR2 phân tách quyền truy cập bằng chứng khỏi suy luận thông qua bốn chế độ đánh giá:

Instruction-only: Chỉ dựa vào kiến thức tham số.
Concepts-only: Cung cấp các khái niệm vàng (oracle concepts) mà không có tài liệu, đánh giá khả năng tổng hợp và sắp xếp khái niệm.
Related-only: Chỉ cung cấp các tài liệu liên quan, đánh giá khả năng trích xuất và suy luận với bằng chứng rõ ràng.
Full-set: Cung cấp cả tài liệu liên quan và các tài liệu gây nhiễu, đánh giá khả năng khử nhiễu và suy luận. Thiết kế này tạo ra các khoảng cách chế độ dễ hiểu giúp định lượng "tổn thất truy xuất" so với "tổn thất suy luận" và cho phép phân bổ lỗi chi tiết. Để ngăn chặn rò rỉ tham số, DeR2 sử dụng quy trình xác thực hai pha yêu cầu thất bại tham số khi không có bằng chứng nhưng vẫn có thể giải quyết được khi có khái niệm oracle. Để đảm bảo khả năng tái tạo, mỗi trường hợp cung cấp một thư viện tài liệu cố định (từ các bài báo lý thuyết 2023-2025) với các khái niệm được chuyên gia chú thích và lý do được xác thực.

III. Main Results:

Các thí nghiệm trên nhiều mô hình nền tảng tiên tiến khác nhau cho thấy sự biến đổi đáng kể và tiềm năng cải thiện lớn. Hai mô hình lỗi nhất quán được phát hiện:

Tính dễ vỡ của việc chuyển đổi chế độ suy luận (Mode-switch fragility): Một số mô hình hoạt động tốt hơn trong chế độ Instruction-only so với Full-set, cho thấy việc cung cấp tài liệu bổ sung có thể làm gián đoạn bộ điều khiển chịu trách nhiệm chuyển từ suy luận tham số sang suy luận dựa trên bằng chứng, làm giảm hiệu suất.
Lạm dụng cấu trúc khái niệm (Structural concept misuse): Ngay cả khi các mô hình xác định và diễn đạt lại các khái niệm chính xác, chúng thường không thực hiện chúng theo đúng quy trình (ví dụ: áp dụng các quy tắc từng bước hoặc triển khai các trừu tượng), thay vào đó quay lại các phương pháp phỏng đoán chung chung có vẻ hợp lý nhưng đưa ra kết luận sai. Các kết quả cho thấy thứ tự hiệu suất nhất quán là Concepts-only (trung bình 75.39%) > Related-only (trung bình 62.89%) > Full-set (trung bình 51.25%). Điều này chỉ ra rằng việc cung cấp các khái niệm vàng cải thiện đáng kể kết quả, việc trích xuất khái niệm từ tài liệu vẫn là một nguồn tổn thất lớn, và việc thêm tài liệu gây nhiễu làm giảm hiệu suất hơn nữa. Đáng chú ý, Instruction-only (trung bình 55.89%) có thể bằng hoặc thậm chí vượt trội hơn Full-set (trung bình 51.21%) đối với hầu hết các mô hình. Tổn thất truy xuất (RLoss = ScoreConcepts-only - Score Full-set) trung bình là 24.2%. Ba chế độ lỗi chính được phân loại: lỗi chuyển đổi chế độ suy luận, lỗi truy xuất cấu trúc và lỗi phối hợp khái niệm.

IV. Conclusion & Future Works:

Bài báo đã làm rõ các yêu cầu để đánh giá các mô hình ngôn ngữ lớn (LLMs) định hướng nghiên cứu và chỉ ra rằng các benchmark QA, RAG và suy luận trước đây không đủ để cô lập quá trình tổng hợp dựa trên bằng chứng. Tác giả đã phát hành DeR2, một benchmark được tuyển chọn nghiêm ngặt với các thư viện tài liệu cố định chứa nhiễu, chú thích khái niệm từ chuyên gia và các lý do Chain-of-Thought (CoT) đã được xác thực, lấy từ các tài liệu khoa học tiên phong. Phân tích có hệ thống các LLM hàng đầu dưới cấu hình kiểm soát này đã tiết lộ tiềm năng cải thiện đáng kể ngay cả đối với các hệ thống hàng đầu, đồng thời xác định các chế độ lỗi cụ thể mà các kiến trúc và chế độ huấn luyện trong tương lai cần phải giải quyết.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu kiến trúc và phương pháp huấn luyện mới để cải thiện khả năng chuyển đổi chế độ suy luận: Tập trung vào cách mô hình có thể hiệu quả hơn trong việc chuyển đổi giữa suy luận dựa trên kiến thức nội bộ (parametric) và suy luận dựa trên bằng chứng từ tài liệu bên ngoài, đặc biệt khi có sự xuất hiện của thông tin gây nhiễu.
Phát triển kỹ thuật để nâng cao khả năng vận dụng khái niệm của LLMs: Nghiên cứu các phương pháp giúp mô hình không chỉ nhận diện khái niệm mà còn hiểu và thực thi các quy trình, thuật toán hoặc định lý được mô tả trong tài liệu một cách chính xác.
Cải thiện khả năng chống nhiễu và phân loại thông tin của LLMs trong các bộ tài liệu phức tạp: Nghiên cứu các chiến lược truy xuất và lọc thông tin giúp mô hình bỏ qua tài liệu gây nhiễu, tập trung vào bằng chứng liên quan để duy trì lộ trình suy luận chính xác.

2. Patent:

Trợ lý nghiên cứu thông minh trên điện thoại di động: Một ứng dụng di động cho phép người dùng nhập các câu hỏi phức tạp (ví dụ: về một chủ đề khoa học mới hoặc vấn đề kỹ thuật chi tiết). Ứng dụng sẽ sử dụng các kỹ thuật truy xuất thông tin tiên tiến (như một công cụ tìm kiếm phức tạp) để tìm các tài liệu liên quan từ một cơ sở dữ liệu đã được chọn lọc và cập nhật, lọc bỏ thông tin không liên quan hoặc gây nhiễu, sau đó cung cấp một quy trình suy luận rõ ràng, từng bước để trả lời câu hỏi. Điều này hữu ích cho sinh viên, nhà nghiên cứu hoặc các chuyên gia cần câu trả lời nhanh chóng, đáng tin cậy dựa trên các nguồn đã được kiểm chứng.
Hướng dẫn học tập động với xác minh khái niệm: Một ứng dụng giáo dục trên điện thoại giúp người dùng học các môn học phức tạp. Khi người dùng gặp khó khăn với một khái niệm, ứng dụng có thể cung cấp giải thích từ một thư viện văn bản cố định, đã được kiểm duyệt. Quan trọng hơn, ứng dụng có thể kiểm tra sự hiểu biết của người dùng bằng cách yêu cầu họ áp dụng khái niệm (không chỉ nhớ định nghĩa) và xác minh xem quá trình suy luận của họ có hợp lý không. Nếu người dùng mắc lỗi, ứng dụng sẽ cung cấp phản hồi cụ thể về lý do tại sao khái niệm bị lạm dụng hoặc phối hợp sai.
Công cụ kiểm chứng thông tin và suy luận cá nhân hóa: Một ứng dụng điện thoại thông minh tích hợp với trình duyệt hoặc ứng dụng nhắn tin. Khi người dùng gặp một thông tin, đặc biệt là nội dung phức tạp hoặc có khả năng gây hiểu lầm (ví dụ: một tuyên bố khoa học, một giải thích kỹ thuật), họ có thể đánh dấu nó. Ứng dụng sau đó sẽ tự động tìm kiếm một cơ sở kiến thức được chọn lọc, đáng tin cậy (tương tự thư viện tài liệu cố định của DeR2) để xác minh thông tin, xác định các khái niệm cơ bản và cung cấp một lộ trình suy luận minh bạch, dựa trên bằng chứng để xác nhận hoặc bác bỏ tuyên bố. Điều này giúp ngăn chặn sự phụ thuộc vào thông tin đã ghi nhớ hoặc không ổn định, và thúc đẩy sự hiểu biết dựa trên bằng chứng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.21937
ArXiv Abstract	https://arxiv.org/abs/2601.21937
PDF Download	https://arxiv.org/pdf/2601.21937.pdf
Github Repository	https://github.com/Retrieval-Infused-Reasoning-Sandbox/Retrieval-Infused-Reasoning-Sandbox

16. Grounding and Enhancing Informativeness and Utility in Dataset Distillation (19 votes)

Tác giả: Shaobo Wang, Yantai Yang, Guo Chen, Peiru Li, Kaixin Li, Yufa Zhou, Zhaorun Chen, Linfeng Zhang

Xuất bản lúc: 2026-01-29

Tag: Dataset Distillation, Knowledge Distillation, Game Theory, Interpretability, Deep Learning, Vision Models

I. Main Problem:

Các phương pháp Dataset Distillation (DD) hiện tại thường dựa vào các cách tiếp cận kinh nghiệm để cân bằng hiệu quả và chất lượng, nhưng mối quan hệ cơ bản giữa dữ liệu gốc và dữ liệu tổng hợp vẫn chưa được khám phá sâu sắc. Cụ thể, có hai thách thức chính: (1) Đánh đổi giữa hiệu quả và hiệu suất, với các phương pháp dựa trên đối sánh đòi hỏi tài nguyên lớn, và các phương pháp dựa trên chưng cất tri thức thiếu nền tảng lý thuyết vững chắc. (2) Thiếu khả năng diễn giải, do các phương pháp hiện tại chủ yếu là kinh nghiệm, không có một khuôn khổ nguyên tắc để đảm bảo các tập dữ liệu chưng cất có thể diễn giải được.

II. Main Idea:

Bài báo này xem xét lại quá trình chưng cất tập dữ liệu dựa trên chưng cất tri thức trong một khuôn khổ lý thuyết vững chắc. Các tác giả giới thiệu các khái niệm về Informativeness (khả năng cung cấp thông tin) và Utility (tính hữu ích), lần lượt nắm bắt thông tin quan trọng trong một mẫu và các mẫu thiết yếu trong tập huấn luyện. Dựa trên các nguyên tắc này, InfoUtil được đề xuất, một khuôn khổ cân bằng khả năng cung cấp thông tin và tính hữu ích trong việc tổng hợp tập dữ liệu chưng cất. InfoUtil bao gồm hai thành phần chính: (1) tối đa hóa khả năng cung cấp thông tin dựa trên lý thuyết trò chơi sử dụng thuộc tính Shapley Value để trích xuất thông tin chính từ các mẫu, và (2) tối đa hóa tính hữu ích có nguyên tắc bằng cách chọn các mẫu có ảnh hưởng toàn cầu dựa trên Gradient Norm. Các tác giả cũng chứng minh rằng Utility có thể được giới hạn trên bởi Gradient Norm. Quá trình này bao gồm tái tạo ảnh và tạo nhãn mềm.

III. Main Results:

InfoUtil đạt được những cải tiến hiệu suất đáng kể: (1) Cải thiện 6.1% trên ImageNet-1K (ResNet-18) và 16% trên ImageNet-100 (ResNet-101, IPC=10) so với phương pháp tiên tiến nhất trước đây. (2) Trên ImageWoof (ResNet-18, IPC=10), nó vượt trội hơn RDED 12.9%. (3) Với các bộ dữ liệu độ phân giải thấp, InfoUtil cải thiện 13.5% trên Tiny-ImageNet (ResNet-101, IPC=50) và 16.7% trên CIFAR-10 (ResNet-18, IPC=10). (4) Khả năng tổng quát hóa đa kiến trúc được chứng minh, vượt trội hơn SOTA 10% trong cài đặt VGG-11 (giáo viên) so với Swin-V2-Tiny (học sinh). (5) Về hiệu quả, InfoUtil nhanh hơn 50 lần và tiêu thụ bộ nhớ ít hơn 100 lần so với TESLA, hoàn thành chưng cất cho ImageNet-21K chỉ trong 5.83 giờ. (6) Phương pháp này cũng thể hiện hiệu suất vượt trội trong các cài đặt IPC lớn và các tác vụ downstream như học liên tục (continual learning), đồng thời tạo ra hình ảnh chất lượng cao và dễ diễn giải hơn. Các nghiên cứu loại bỏ cho thấy cả tối đa hóa Utility và Informativeness đều đóng góp đáng kể vào hiệu suất, và Shapley Value vượt trội hơn Grad-CAM trong việc xác định các vùng thông tin.

IV. Conclusion & Future Works:

Bài báo này trình bày một cách tiếp cận có nguyên tắc để chưng cất tập dữ liệu, dựa trên một khuôn khổ lý thuyết chặt chẽ để mô hình hóa quá trình chưng cất tối ưu. Các tác giả giới thiệu các khái niệm Informativeness và Utility, sau đó đề xuất InfoUtil, một khuôn khổ kết hợp hiệp đồng tối đa hóa Informativeness dựa trên lý thuyết trò chơi và tối đa hóa Utility có nguyên tắc. Hướng nghiên cứu tương lai bao gồm mở rộng InfoUtil sang các tập dữ liệu phức tạp và đa dạng hơn, tập trung vào khả năng mở rộng và tính mạnh mẽ trong các ứng dụng thực tế.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các phương pháp tối ưu hóa Informativeness và Utility cho các loại dữ liệu phi hình ảnh (ví dụ: dữ liệu âm thanh, văn bản) trong bối cảnh chưng cất tập dữ liệu.
Nghiên cứu tích hợp các kỹ thuật học tăng cường (Reinforcement Learning) để tự động tìm kiếm các chiến lược tối ưu cho việc chọn mask thông tin và điểm Utility, thay vì dựa vào các phương pháp heuristic hoặc tính toán trực tiếp.
Mở rộng khuôn khổ Informativeness và Utility để giải quyết các thách thức trong học máy liên tục (continual learning) hoặc học máy liên đoàn (federated learning), nơi việc chọn lọc và chưng cất dữ liệu hiệu quả là rất quan trọng cho tính riêng tư và hiệu suất.

2. Patent:

Chưng cất dữ liệu ảnh trên điện thoại cho AI nhỏ gọn: Một hệ thống trên điện thoại thông minh có khả năng phân tích các bộ sưu tập ảnh lớn của người dùng (ví dụ: ảnh kỳ nghỉ, ảnh gia đình) và tự động tạo ra một bộ ảnh đại diện nhỏ gọn hơn nhưng vẫn giữ được thông tin quan trọng nhất để huấn luyện các mô hình trí tuệ nhân tạo cá nhân hóa (như nhận diện khuôn mặt của người thân, phân loại cảnh vật yêu thích). Hệ thống này sẽ chọn ra các phần ảnh quan trọng nhất và các ảnh có giá trị nhất, giúp giảm dung lượng lưu trữ cho AI và tăng tốc độ huấn luyện mà không cần gửi dữ liệu lên đám mây.
Chọn lọc khoảnh khắc video quan trọng cho ứng dụng chỉnh sửa nhanh: Một công nghệ trên điện thoại giúp tự động xác định và trích xuất các khoảnh khắc (frame) hoặc đoạn video ngắn quan trọng nhất từ một video dài. Ứng dụng này sẽ phân tích từng phần của video để tìm ra những hình ảnh chứa nhiều thông tin nhất hoặc có ảnh hưởng lớn đến việc hiểu nội dung tổng thể, sau đó đề xuất các điểm cắt hoặc tạo ra một bản tóm tắt video ngắn gọn, giúp người dùng dễ dàng chia sẻ hoặc chỉnh sửa video mà không cần xem lại toàn bộ.
Tối ưu hóa dữ liệu huấn luyện cho bàn phím ảo cá nhân hóa: Một phương pháp trên điện thoại để chọn lọc dữ liệu nhập liệu của người dùng (như tin nhắn đã gõ) một cách thông minh, nhằm tạo ra một tập dữ liệu nhỏ gọn nhưng hiệu quả để huấn luyện mô hình dự đoán từ hoặc tự động sửa lỗi cho bàn phím ảo. Thay vì sử dụng tất cả dữ liệu, hệ thống sẽ ưu tiên các từ hoặc cụm từ độc đáo, các lỗi thường gặp và các kiểu gõ phím đặc trưng của người dùng, giúp bàn phím ảo học hỏi nhanh hơn và chính xác hơn về phong cách viết cá nhân, đồng thời bảo vệ quyền riêng tư bằng cách chỉ lưu trữ những thông tin cần thiết nhất.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.21296
ArXiv Abstract	https://arxiv.org/abs/2601.21296
PDF Download	https://arxiv.org/pdf/2601.21296.pdf
Github Repository	N/A

17. Semantic Search over 9 Million Mathematical Theorems (18 votes)

Tác giả: Luke Alexander, Eric Leonen, Sophie Szeto, Artemii Remizov, Ignacio Tejeda, Giovanni Inchiostro, Vasily Ilin

Xuất bản lúc: 2026-02-05

Tag: RAG, LLMs, Semantic Search, Information Retrieval, Natural Language Processing, Deep Learning, Embeddings

I. Main Problem:

Việc tìm kiếm các kết quả toán học cụ thể gặp nhiều khó khăn: hầu hết các công cụ hiện có chỉ truy xuất toàn bộ các bài báo, trong khi các nhà toán học và tác nhân chứng minh định lý thường tìm kiếm một định lý, bổ đề hoặc mệnh đề cụ thể để trả lời một truy vấn. Hành vi của tìm kiếm ngữ nghĩa trên các tập dữ liệu lớn, có tính chuyên môn cao như các định lý toán học cấp độ nghiên cứu vẫn chưa được hiểu rõ. Điều này dẫn đến việc người dùng phải tự quét tài liệu thủ công để tìm các tuyên bố cụ thể, gây lãng phí thời gian và có thể bỏ sót các kết quả đã có.

II. Main Idea:

Nghiên cứu này giới thiệu và nghiên cứu việc truy xuất định lý ngữ nghĩa ở quy mô lớn trên một tập hợp thống nhất gồm 9,2 triệu tuyên bố định lý được trích xuất từ arXiv và bảy nguồn khác, đại diện cho kho dữ liệu lớn nhất hiện có công khai về các định lý cấp độ nghiên cứu do con người viết. Các tác giả biểu diễn mỗi định lý bằng một mô tả ngắn gọn bằng ngôn ngữ tự nhiên (gọi là "slogan") làm đại diện truy xuất. Sau đó, họ phân tích một cách có hệ thống cách ngữ cảnh biểu diễn (chỉ phần thân, thân + tóm tắt, thân + phần giới thiệu), lựa chọn mô hình ngôn ngữ lớn (LLM) để tạo slogan, mô hình nhúng và chiến lược nhắc lệnh ảnh hưởng đến chất lượng truy xuất.

Các đóng góp chính bao gồm:

Xây dựng một kho dữ liệu định lý quy mô lớn gồm hơn 9 triệu tuyên bố định lý với siêu dữ liệu phong phú, là bộ sưu tập lớn nhất các định lý toán học phi hình thức cho đến nay.
Nghiên cứu có hệ thống về các lựa chọn biểu diễn, cho thấy việc nhúng định lý thông qua các slogan ngôn ngữ tự nhiên vượt trội đáng kể so với việc nhúng các công thức LATEX thô.
Đạt được hiệu suất truy xuất tiên tiến.

III. Main Results:

Trên một tập đánh giá gồm 111 truy vấn được viết bởi các nhà toán học chuyên nghiệp, phương pháp tiếp cận của nghiên cứu đã cải thiện đáng kể cả việc truy xuất ở cấp độ định lý và cấp độ bài báo so với các phương pháp cơ sở hiện có.

Cấu hình tốt nhất (Qwen3 8B) đạt 45.0% Hit@20 ở cấp độ định lý và 56.8% Hit@20 ở cấp độ bài báo.
So với các baseline:
- ChatGPT 5.2 với tìm kiếm: 19.8% Hit@20 (cấp độ định lý).
- Gemini 3 Pro: 27.0% Hit@20 (cấp độ định lý).
- Google Search: 37.8% Hit@20 (cấp độ bài báo).

Nghiên cứu cũng chỉ ra rằng:

Việc cung cấp thêm ngữ cảnh cho LLM khi tạo slogan (ví dụ: phần giới thiệu của bài báo) giúp cải thiện hiệu suất truy xuất đáng kể (đạt 0.763 Hit@20 so với 0.737 Hit@20 khi chỉ dùng thân định lý).
Các mô hình LLM độc quyền (như Claude Opus 4.5 và Gemini 3 Pro) tạo slogan hiệu quả hơn các mô hình mã nguồn mở (như DeepSeek-V3), dẫn đến hiệu suất truy xuất tốt hơn (ví dụ, Claude Opus 4.5 đạt 0.842 Hit@20 so với 0.737 Hit@20 của DeepSeek V3.1).
Sloganization tạo ra cấu trúc ngữ nghĩa có ý nghĩa trong không gian nhúng, với các trường khái niệm khác nhau được phân tách rõ ràng.

IV. Conclusion & Future Works:

Kết quả chứng minh rằng tìm kiếm định lý ngữ nghĩa là khả thi và hiệu quả ở quy mô web. Bằng cách coi các tuyên bố định lý là đối tượng truy xuất hạng nhất và làm giàu chúng bằng các mô tả ngôn ngữ tự nhiên, hệ thống này mở ra những cách tiếp cận mới đối với tri thức toán học.

Các hướng ứng dụng tiềm năng trong tương lai bao gồm:

Tăng cường khả năng tạo của các mô hình ngôn ngữ lớn (LLMs) thông qua Retrieval-Augmented Generation (RAG).
Hỗ trợ lựa chọn tiên đề trong tìm kiếm chứng minh hình thức.
Cải thiện quá trình xem xét tài liệu cho các nhà toán học chuyên gia.

Công cụ tìm kiếm công khai đã được triển khai và phản hồi định tính từ người dùng (các nhà toán học nghiên cứu) further minh họa tính hữu ích thực tiễn của hệ thống.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu sâu hơn về các kỹ thuật tạo slogan bằng LLM cho các lĩnh vực kỹ thuật chuyên sâu khác (ví dụ: vật lý, hóa học, sinh học) để xem liệu phương pháp "sloganization" có thể khái quát hóa và duy trì hiệu quả cho các loại dữ liệu khoa học khác ngoài toán học hay không.
Khám phá việc tích hợp các mô hình nhúng đa phương thức, kết hợp biểu diễn ngôn ngữ tự nhiên và cấu trúc ký hiệu (ví dụ: biểu đồ cú pháp của LaTeX) để cải thiện độ chính xác truy xuất, đặc biệt đối với các định lý có cấu trúc phức tạp hoặc phụ thuộc nhiều vào ký hiệu.
Phát triển các phương pháp đánh giá tự động và mạnh mẽ hơn cho chất lượng slogan của LLM và độ phù hợp truy xuất, nhằm giảm sự phụ thuộc vào đánh giá thủ công của chuyên gia và cho phép lặp lại, cải tiến nhanh hơn các mô hình và chiến lược nhắc lệnh.

2. Patent:

Một ứng dụng di động cho phép người dùng nhập một câu hỏi toán học hoặc mô tả một khái niệm, sau đó ứng dụng sẽ tìm kiếm và hiển thị các định lý, bổ đề liên quan từ một cơ sở dữ liệu lớn các công trình toán học. Ứng dụng sẽ dịch truy vấn của người dùng thành một "slogan" và dùng nó để tìm kiếm, giúp các học sinh, sinh viên hoặc nhà nghiên cứu nhanh chóng xác định xem một kết quả toán học đã được chứng minh hay chưa, và ở đâu, mà không cần đọc cả tài liệu dài.
Một công cụ tích hợp vào các nền tảng soạn thảo văn bản hoặc ghi chú khoa học trên điện thoại hoặc máy tính bảng, cho phép người dùng bôi đen một đoạn văn bản toán học (ví dụ, một công thức, một mệnh đề) và nhận gợi ý tức thì về các định lý liên quan hoặc các tài liệu tham khảo có thể có. Công cụ này sẽ sử dụng kỹ thuật tạo "slogan" ẩn và tìm kiếm ngữ nghĩa để đưa ra các đề xuất, giúp tăng tốc quá trình nghiên cứu và viết bài.
Một hệ thống học tập cá nhân hóa trên thiết bị di động cho các môn toán học, nơi người dùng có thể nhập các khái niệm hoặc định lý mà họ đang học. Hệ thống sẽ sử dụng công nghệ tìm kiếm ngữ nghĩa để cung cấp các ví dụ liên quan, các định lý hỗ trợ, hoặc các bài báo gốc mà định lý đó được giới thiệu, giúp người học hiểu sâu hơn và khám phá các mối liên hệ giữa các khái niệm khác nhau một cách hiệu quả và thuận tiện ngay trên điện thoại của mình.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05216
ArXiv Abstract	https://arxiv.org/abs/2602.05216
PDF Download	https://arxiv.org/pdf/2602.05216.pdf
Github Repository	N/A

Tác giả: Keyang Xuan, Pengda Wang, Chongrui Ye, Haofei Yu, Tal August, Jiaxuan You

Xuất bản lúc: 2026-02-04

Tag: LLMs, Social Intelligence, Communication Barriers, Evaluation Benchmarks, Interactive AI, Human-AI Interaction

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) đang được đánh giá về trí tuệ xã hội trong các môi trường tương tác, nhưng các bộ tiêu chuẩn hiện có thường giả định giao tiếp lý tưởng giữa các tác nhân. Điều này hạn chế khả năng chẩn đoán liệu LLMs có thể duy trì và sửa chữa các tương tác trong các thiết lập thực tế, không hoàn hảo hay không.

Giao tiếp không lý tưởng: Giao tiếp thực tế vốn dĩ năng động và mang tính không chắc chắn, đòi hỏi phải điều hướng sự mơ hồ, quản lý động lực quan hệ và sửa chữa những hiểu lầm. Các yếu tố hệ thống cản trở sự hiểu biết lẫn nhau, gọi là "rào cản giao tiếp", thường bị bỏ qua bởi các tiêu chuẩn hiện có.
Thách thức trong xây dựng khung tiêu chuẩn: Việc tạo ra một khung nguyên tắc để mô phỏng các rào cản giao tiếp rất khó khăn do: 1) Phân loại phức tạp: Rào cản biểu hiện ở nhiều cấp độ, thiếu một phân loại rõ ràng. 2) Đánh đổi giữa tính chân thực và kiểm soát: Rào cản phải chân thực với thực hành xã hội nhưng cũng phải được thể hiện một cách có kiểm soát và có thể tái tạo. 3) Thiếu hụt các chỉ số đánh giá: Sự hiện diện của rào cản không nhất thiết dẫn đến thất bại trong tương tác xã hội; cần các chỉ số vượt ra ngoài thành công nhiệm vụ để nắm bắt tác động rộng hơn của rào cản.

II. Main Idea:

Công trình này giới thiệu SOCIALVEIL, một môi trường học tập xã hội được thiết kế để mô phỏng và đánh giá trí tuệ xã hội của các tác nhân LLM dưới các rào cản giao tiếp do sự khác biệt nhận thức. SOCIALVEIL được xây dựng dựa trên đánh giá có hệ thống các thách thức giao tiếp của con người.

Ba loại rào cản chính: Dựa trên tổng quan tài liệu, SOCIALVEIL giới thiệu ba loại rào cản đại diện: Semantic Vagueness (sự mơ hồ về ngữ nghĩa), Sociocultural Mismatch (sự không phù hợp về văn hóa xã hội), và Emotional Interference (sự can thiệp cảm xúc).
Chỉ số đánh giá nhận biết rào cản: Đề xuất hai chỉ số đánh giá mới, "unresolved confusion" (sự nhầm lẫn chưa được giải quyết) và "mutual understanding" (sự hiểu biết lẫn nhau), để đánh giá chất lượng tương tác dưới giao tiếp bị suy yếu, bổ sung cho các chỉ số định hướng mục tiêu truyền thống.
Thiết kế rào cản và kịch bản: Các rào cản được tiêm vào một cách đơn phương: một tác nhân được chỉ định là tác nhân rào cản, giao tiếp trong điều kiện rào cản đã chọn, trong khi tác nhân đối tác vẫn ở cài đặt tiêu chuẩn. Các kịch bản được điều chỉnh từ SOTOPIA và được trung hòa để tránh rò rỉ mục tiêu.
Chiến lược thích nghi: Khám phá hai chiến lược thích nghi để nâng cao khả năng của tác nhân trong các tình huống có rào cản: Repair Instruction (hướng dẫn sửa chữa) và Interactive Learning (học tập tương tác, sử dụng kết hợp Behavior Cloning và Self-Reinforcement).

III. Main Results:

Suy giảm hiệu suất nhất quán: Các rào cản giao tiếp làm suy giảm khả năng trí tuệ xã hội của tác nhân một cách nhất quán trên tất cả các mô hình được đánh giá. "Mutual understanding" giảm trung bình hơn 45% và "confusion" tăng gần 50%.
Xác thực rào cản: Đánh giá của con người xác nhận tính chân thực của các rào cản được mô phỏng (ICC≈0.78, Pearson r≈0.80) và độ tin cậy của giao thức đánh giá (độ chính xác nhận dạng rào cản trung bình ≈ 68%).
Các kiểu suy giảm khác biệt: Mỗi loại rào cản tạo ra một kiểu suy giảm đặc trưng: "Semantic Vagueness" ảnh hưởng nghiêm trọng nhất đến "mutual understanding" (giảm 58%), "Emotional Interference" làm hỏng chất lượng mối quan hệ (giảm 49%), và "Sociocultural Mismatch" gây ra sự nhầm lẫn dai dẳng (giảm 49%).
Trí tuệ xã hội dễ bị tổn thương hơn: So với việc hoàn thành mục tiêu và thu nhận kiến thức (giảm 20-30%), các khía cạnh xã hội như chất lượng mối quan hệ và "mutual understanding" bị suy giảm đáng kể hơn (45-52%).
Hiệu quả hạn chế của chiến lược thích nghi: Các chiến lược thích nghi (Repair Instruction và Interactive Learning) chỉ mang lại hiệu quả khiêm tốn, còn xa so với hiệu suất không có rào cản. Repair Instruction mang lại cải thiện không đáng kể, trong khi Interactive Learning tạo ra những cải thiện nhất quán nhưng hạn chế (trung bình 10-20%).

IV. Conclusion & Future Works:

SOCIALVEIL là một bước tiến quan trọng trong việc tạo ra các môi trường tương tác xã hội thực tế hơn, cho phép đánh giá và phát triển trí tuệ xã hội của các tác nhân LLM dưới các rào cản giao tiếp. Các thí nghiệm cho thấy rào cản làm suy giảm đáng kể hiệu suất của tác nhân và các chiến lược thích nghi hiện tại chỉ có hiệu quả hạn chế. Công trình này mở ra những cơ hội mới để khám phá và cải thiện trí tuệ xã hội của tác nhân LLM, đặc biệt là trong việc phát triển các chiến lược vượt qua rào cản phức tạp hơn để đạt được sự kiên cường cấp độ con người.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các chiến lược thích ứng đa phương thức cho LLMs để xử lý các rào cản giao tiếp, tích hợp tín hiệu thị giác và thính giác để nhận diện và khắc phục sự cố.
Phát triển các mô hình học tăng cường cho tác nhân LLM có khả năng tự động phát hiện, phân loại và triển khai các chiến lược sửa chữa cụ thể cho từng loại rào cản giao tiếp.
Mở rộng SOCIALVEIL để đánh giá trí tuệ xã hội của LLM trong các tương tác đa tác nhân và động, khám phá cách các rào cản lan truyền và ảnh hưởng đến động lực nhóm trong thời gian dài.

2. Patent:

Ứng dụng "Trợ lý Giao tiếp Thông minh" trên điện thoại di động: Một ứng dụng phân tích tin nhắn hoặc cuộc gọi của người dùng (với sự đồng ý) và đưa ra gợi ý theo thời gian thực hoặc sau cuộc hội thoại để cải thiện giao tiếp. Ví dụ, nó có thể đề xuất cách diễn đạt rõ ràng hơn khi phát hiện sự mơ hồ về ngữ nghĩa, hoặc gợi ý điều chỉnh giọng điệu nếu phát hiện can thiệp cảm xúc, giúp người dùng duy trì mối quan hệ và đạt được mục tiêu giao tiếp.
Tính năng "Kiểm tra Tương thích Văn hóa" tích hợp trong ứng dụng nhắn tin: Một tính năng cho phép người dùng kiểm tra xem tin nhắn của họ có thể bị hiểu sai trong một bối cảnh văn hóa khác hay không. Ứng dụng sẽ cảnh báo về các cụm từ hoặc phong cách giao tiếp có thể gây hiểu lầm do "Sociocultural Mismatch" và đề xuất các lựa chọn thay thế phù hợp hơn, đặc biệt hữu ích cho những người làm việc hoặc giao tiếp với bạn bè quốc tế.
Hệ thống "Phòng ngừa Hiểu lầm trong Cuộc họp Ảo" cho ứng dụng hội nghị: Một công nghệ chạy ngầm trong các ứng dụng họp trực tuyến trên điện thoại, sử dụng phân tích giọng nói và văn bản để phát hiện dấu hiệu của "unresolved confusion" hoặc "emotional interference" từ phía người tham gia. Hệ thống có thể gửi cảnh báo riêng tư cho người nói hoặc người điều hành, gợi ý các câu hỏi làm rõ hoặc tạm dừng để giải quyết hiểu lầm, giúp cuộc họp hiệu quả hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05115
ArXiv Abstract	https://arxiv.org/abs/2602.05115
PDF Download	https://arxiv.org/pdf/2602.05115.pdf
Github Repository	N/A

19. Steering LLMs via Scalable Interactive Oversight (17 votes)

Tác giả: Enyu Zhou, Zhiheng Xi, Long Ma, Zhihao Zhang, Shihan Dou, Zhikai Lei, Guoteng Wang, Rui Zheng, Hang Yan, Tao Gui, Qi Zhang, Xuanjing Huang

Xuất bản lúc: 2026-02-04

Tag: LLMs, Reinforcement Learning, Human-AI Interaction, Scalable Oversight, Software Engineering, Task Decomposition

I. Main Problem:

Vấn đề chính là khoảng cách giám sát (supervision gap) ngày càng lớn khi các mô hình ngôn ngữ lớn (LLMs) tự động hóa các tác vụ phức tạp, đòi hỏi nhiều bước. Người dùng gặp khó khăn trong việc hướng dẫn LLMs một cách hiệu quả do thiếu chuyên môn, khó diễn đạt ý định chính xác và không thể xác minh đáng tin cậy các đầu ra phức tạp. Điều này tạo ra hai nút thắt cổ chai: "khoảng cách đặc tả" (specification gap) khi người dùng cung cấp hướng dẫn không rõ ràng, và "khoảng cách xác minh" (verification gap) khi độ phức tạp của đầu ra vượt quá khả năng của người dùng. Các phương pháp hiện có chủ yếu tập trung vào đánh giá hậu kỳ và thiếu lớp tương tác tiền thực thi để hỗ trợ người dùng xác định và cấu trúc ý định ban đầu.

II. Main Idea:

Các tác giả đề xuất "Scalable Interactive Oversight", một khuôn khổ agentic phân tách ý định phức tạp thành một cây quyết định đệ quy dễ quản lý để khuếch đại sự giám sát của con người. Thay vì chỉ dựa vào các lời nhắc mở, hệ thống này tạo ra phản hồi ít gánh nặng (low-burden feedback) (chọn hoặc xếp hạng) tại mỗi nút và tổng hợp đệ quy các tín hiệu này thành hướng dẫn toàn cầu chính xác. Khung này hoạt động trong một vòng lặp phân tách-tương tác: khởi tạo cây yêu cầu từ truy vấn ban đầu của người dùng, tương tác ở cấp độ nút với các truy vấn dạng đóng (closed-form queries), sau đó cập nhật kế hoạch phân tách tác vụ dựa trên các tùy chọn tích lũy của người dùng. Hệ thống cũng có thể được tối ưu hóa thông qua học tăng cường (Reinforcement Learning) bằng cách sử dụng phản hồi trực tuyến từ người dùng không chuyên và tín hiệu đánh giá từ chuyên gia.

III. Main Results:

Khuôn khổ này đã được xác thực trong nhiệm vụ phát triển web, cho phép người dùng không chuyên tạo ra Tài liệu Yêu cầu Sản phẩm (Product Requirement Documents - PRD) đạt trình độ chuyên gia. Các kết quả chính bao gồm:

Cải thiện đáng kể điểm căn chỉnh (alignment scores) lên tới 54% so với các phương pháp cơ sở như "vibe coding" trực tiếp và tương tác đa lượt thông thường.
Hiệu suất tăng lên theo số lượng tương tác, cho thấy khả năng mở rộng tốt.
Các cải tiến cũng được thể hiện trong việc triển khai web cuối cùng, được đánh giá bởi cả LLM và người thật.
Nghiên cứu loại bỏ cho thấy cả phản hồi ít gánh nặng và cơ chế truyền bá tùy chọn dựa trên cây đều đóng vai trò quan trọng.
Hệ thống có thể được tối ưu hóa bằng Học tăng cường chỉ sử dụng phản hồi trực tuyến từ người dùng không chuyên, đồng thời kết hợp thêm phản hồi từ chuyên gia sẽ nâng cao hiệu suất hơn nữa. RL còn giúp cải thiện khả năng tổng quát hóa và hiệu quả tương tác (giảm số lượt tương tác cần thiết).

IV. Conclusion & Future Works:

Bài báo kết luận rằng trong bối cảnh các mô hình AI ngày càng mạnh mẽ và con người trở thành người giám sát yếu, khuôn khổ Scalable Interactive Oversight đã chứng minh khả năng cho phép người dùng không chuyên hướng dẫn LLMs tạo ra các đầu ra chất lượng chuyên gia và căn chỉnh tốt. Các hướng nghiên cứu tương lai bao gồm cải thiện hiệu quả tương tác thông qua thiết kế giao diện người dùng cụ thể (ví dụ: nhấp chuột đơn giản), đánh giá người dùng thực rộng rãi hơn để hiểu sự khác biệt giữa các người dùng, đào tạo chung bộ cập nhật cây, và mở rộng giám sát đến cấp độ mã (code-level supervision) để hình thành quy trình phát triển phần mềm đầu cuối theo mô hình thác nước (waterfall-style process).

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu phương pháp tối ưu hóa hiệu quả tương tác giữa người và AI thông qua các thiết kế giao diện người dùng cải tiến, đặc biệt tập trung vào việc giảm gánh nặng nhận thức cho người dùng.
Khám phá việc đào tạo chung (jointly training) các mô hình agent tương tác và bộ cập nhật cấu trúc tác vụ để thích ứng tốt hơn với ý định phức tạp của người dùng và cải thiện sự truyền bá tùy chọn.
Mở rộng khuôn khổ Scalable Interactive Oversight để áp dụng cho giám sát cấp độ mã (code-level supervision) trong toàn bộ quy trình phát triển phần mềm, từ yêu cầu đến triển khai.

2. Patent:

Một hệ thống trợ lý thông minh trên điện thoại di động giúp người dùng không có chuyên môn kỹ thuật tự tạo ra các yêu cầu chi tiết cho một ứng dụng hoặc trang web. Hệ thống này sẽ đặt câu hỏi đơn giản dưới dạng lựa chọn hoặc xếp hạng, tự động phân tách ý định phức tạp của người dùng thành các phần nhỏ hơn và tích lũy phản hồi để tạo ra một tài liệu yêu cầu sản phẩm chuyên nghiệp, giúp họ dễ dàng cộng tác với nhà phát triển.
Một công cụ tối ưu hóa tương tác học tăng cường tích hợp vào ứng dụng trợ lý AI trên điện thoại di động, tự động điều chỉnh cách AI đặt câu hỏi và đưa ra lựa chọn cho người dùng. Công cụ này sẽ học từ các phản hồi "Tôi không quan tâm" hoặc "Tôi không biết" của người dùng để cải thiện hiệu quả giao tiếp, giảm số lượt tương tác cần thiết và đảm bảo AI thu thập được thông tin quan trọng nhất một cách nhanh chóng.
Một nền tảng cộng tác phát triển phần mềm dựa trên điện thoại di động, cho phép người dùng không chuyên giám sát và điều chỉnh các dự án phát triển phần mềm phức tạp. Nền tảng này sử dụng một cấu trúc cây tương tác để hướng dẫn người dùng qua từng khía cạnh của dự án, từ ý tưởng ban đầu đến các yêu cầu cụ thể, và cung cấp phản hồi tại chỗ để đảm bảo dự án luôn đi đúng hướng với ý định thực sự của người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.04210
ArXiv Abstract	https://arxiv.org/abs/2602.04210
PDF Download	https://arxiv.org/pdf/2602.04210.pdf
Github Repository	N/A

20. Infinite-World: Scaling Interactive World Models to 1000-Frame Horizons via Pose-Free Hierarchical Memory (15 votes)

Tác giả: Ruiqi Wu, Xuanhua He, Meng Cheng, Tianyu Yang, Yong Zhang, Zhuoliang Kang, Xunliang Cai, Xiaoming Wei, Chunle Guo, Chongyi Li, Ming-Ming Cheng

Xuất bản lúc: 2026-02-02

Tag: Diffusion, World Models, Video Generation, Hierarchical Memory, Pose Estimation, Interactive AI

I. Main Problem:

Hiện tại, các mô hình thế giới tương tác gặp khó khăn trong việc mở rộng quy mô để duy trì bộ nhớ hình ảnh mạch lạc trong hơn 1000 khung hình trong môi trường thế giới thực phức tạp. Các vấn đề chính bao gồm:

Dữ liệu thế giới thực ồn ào: Các mô hình hiện có được tối ưu hóa hiệu quả trên dữ liệu tổng hợp với thông tin đúng tuyệt đối, nhưng thiếu một phương pháp đào tạo hiệu quả cho các video thế giới thực do ước tính tư thế (pose estimation) bị nhiễu và sự khan hiếm các lần xem lại cùng một điểm nhìn.
Kiểm soát hành động không chính xác: Ước tính tư thế camera từ video thô luôn có lỗi, khiến việc ánh xạ phản hồi hành động chính xác trở nên khó khăn và dẫn đến khả năng điều khiển bị suy giảm.
Thiếu khả năng ghi nhớ không tư thế hiệu quả: Các luồng video tự nhiên chủ yếu là “tuyến tính”, tức là camera hiếm khi quay lại vị trí đã truy cập trước đó. Việc thiếu các lần xem lại điểm nhìn dày đặc này ngăn cản mô hình học cấu trúc hình học tổng thể của môi trường và bộ nhớ không gian dài hạn.
Tắc nghẽn tính toán: Các cơ chế chú ý tiêu chuẩn có độ phức tạp O(L^2), tạo ra một nút thắt cổ chai tính toán đáng kể cho việc tạo video dài. Các giải pháp hiện có hoặc phụ thuộc nhiều vào tư thế camera tường minh (thường không chính xác) hoặc sử dụng phương pháp lấy mẫu giảm đơn giản gây mất thông tin nghiêm trọng.

II. Main Idea:

Để giải quyết những thách thức trên, Infinite-World đề xuất một mô hình thế giới tương tác mạnh mẽ với ba thành phần cốt lõi:

Bộ nén bộ nhớ phân cấp không tư thế (Hierarchical Pose-free Memory Compressor - HPMC): Thành phần này giải quyết vấn đề bộ nhớ và tính toán bằng cách đệ quy chưng cất các trạng thái tiềm ẩn lịch sử thành một biểu diễn có ngân sách cố định (Tmax). HPMC sử dụng quy trình chưng cất hai giai đoạn: "Nén cục bộ" cho các chuỗi ngắn và "Nén toàn cầu" bằng cơ chế lấy mẫu cửa sổ trượt thích ứng cho các chuỗi dài. HPMC được tối ưu hóa chung với lõi DiT, cho phép mô hình tự động neo các thế hệ vào quá khứ xa mà không cần các thông tin hình học tường minh. Điều này đảm bảo chi phí tính toán không đổi và ngăn chặn trôi bộ nhớ trong các mô phỏng hàng nghìn khung hình.
Module gán nhãn hành động nhận biết sự không chắc chắn (Uncertainty-aware Action Labeling): Cơ chế này xử lý nhiễu trong quỹ đạo thế giới thực bằng cách phân loại chuyển động liên tục thành ba trạng thái: "Không hoạt động" (No-operation), "Hành động rời rạc" (Discrete Action) và "Không chắc chắn" (Uncertain). Việc gán nhãn rõ ràng cho chuyển động mơ hồ, có tỷ lệ tín hiệu trên nhiễu thấp là "Không chắc chắn" giúp tối đa hóa việc sử dụng dữ liệu video thô, duy trì tính liên tục của thời gian và bảo vệ không gian hành động xác định khỏi bị hỏng bởi nhiễu hoặc trôi tư thế chậm.
Chiến lược tinh chỉnh giàu tính xem lại (Revisit-Dense Finetuning Strategy): Dựa trên nghiên cứu thí điểm cho thấy khả năng đóng vòng lặp (loop-closure) có thể được kích hoạt với lượng dữ liệu thấp nhưng phụ thuộc vào thời lượng và mật độ cấu trúc liên kết của quỹ đạo. Mô hình sử dụng chiến lược hai giai đoạn: đào tạo trước trên tập dữ liệu thế giới thực quy mô lớn để học các kiến thức trực quan đa dạng và động lực cục bộ, sau đó tinh chỉnh bằng một tập dữ liệu nhỏ gọn 30 phút, giàu tính xem lại (Revisit-Dense Dataset - RDD) để kích hoạt khả năng nhất quán và đóng vòng lặp dài hạn của mô hình.

III. Main Results:

Infinite-World đạt được hiệu suất vượt trội trong các mô phỏng thế giới tương tác với chân trời 1000+ khung hình:

Hiệu suất tổng thể: Đạt điểm ELO rating vượt trội là 1719 trong nghiên cứu người dùng, dẫn trước mô hình tốt nhất tiếp theo là HY-World-1.5 tới 177 điểm.
Chất lượng hình ảnh và nhất quán: Đứng đầu về độ nhất quán bộ nhớ (Memory Consistency) với điểm 1.92 và độ trung thực hình ảnh (Visual Fidelity) với điểm 1.67 trong nghiên cứu người dùng, chứng tỏ HPMC giảm thiểu hiệu quả sự tích lũy lỗi.
Khả năng điều khiển hành động: Đạt xếp hạng khả năng phản hồi hành động (Action Responsiveness) tiên tiến là 1.54, có thể so sánh với HY-World-1.5 (1.50) mặc dù được đào tạo trên video thế giới thực ồn ào.
Hiệu quả tính toán: HPMC cho thấy mức tiêu thụ bộ nhớ gần như không đổi sau giai đoạn tăng trưởng ban đầu, ổn định ở khoảng 45GB, hỗ trợ các chân trời khám phá lên tới 1300 khung hình và hơn thế nữa. Các cấu hình không nén gặp lỗi hết bộ nhớ ở 180 khung hình.
Đóng góp của các thành phần:
- Tinh chỉnh với RDD là yếu tố chính "kích hoạt" bộ nhớ không gian dài hạn, cải thiện xếp hạng độ nhất quán bộ nhớ từ 2.40 lên 1.83 và kiểm soát hành động từ 2.95 lên 1.61.
- UAL cải thiện nhất quán khả năng phản hồi hành động, ví dụ: từ 2.95 lên 2.17 khi được thêm vào mô hình cơ sở.
Chất lượng hình ảnh: Bảo tồn các mốc toàn cầu sau hàng trăm khung hình và thực hiện thành công việc đóng vòng lặp dài hạn mà các mô hình cơ sở khác thất bại, thể hiện khả năng lý luận không gian mạnh mẽ.

IV. Conclusion & Future Works:

Infinite-World là một mô hình thế giới tương tác tiên tiến có khả năng mô phỏng mạch lạc trên chân trời 1000 khung hình. Mô hình đã thành công giải quyết các thách thức về độ phức tạp tính toán và nhiễu trong ước tính tư thế thế giới thực thông qua việc tích hợp Hierarchical Pose-free Memory Compressor (HPMC) và Uncertainty-aware Action Labeling (UAL). Chiến lược dữ liệu RDD cũng chứng minh rằng khả năng đóng vòng lặp dài hạn có thể được kích hoạt chỉ với một lượng dữ liệu tối thiểu.

Các hướng nghiên cứu trong tương lai bao gồm:

Giảm trôi lũy tiến và suy giảm hình ảnh: Áp dụng các kỹ thuật như tự ép buộc (self-forcing) hoặc lịch trình nhiễu tinh chỉnh (refined noise schedules).
Chưng cất mô hình và mở rộng quy mô: Chưng cất mô hình và mở rộng sang các lõi lớn hơn để cải thiện tốc độ suy luận và độ trung thực hình ảnh.

V. Brainstorming Space:

1. Publish Papers:

Phân tích tác động của các chiến lược chưng cất bộ nhớ khác nhau lên tính nhất quán không gian dài hạn: Nghiên cứu so sánh HPMC với các phương pháp nén bộ nhớ khác trong việc duy trì tính toàn vẹn của cảnh và độ trung thực hình ảnh trong các mô phỏng tương tác kéo dài.
Khám phá các phương pháp mới để xử lý sự không chắc chắn trong dữ liệu thế giới thực cho mô hình thế giới: Phát triển các module gán nhãn hành động hoặc cơ chế học khác tiên tiến hơn UAL để đối phó với dữ liệu cảm biến ồn ào và không đầy đủ, đặc biệt là trong các tình huống tương tác phức tạp.
Tối ưu hóa chiến lược tinh chỉnh dữ liệu giàu tính xem lại cho các miền ứng dụng đa dạng: Nghiên cứu cách tạo và sử dụng hiệu quả các tập dữ liệu nhỏ, giàu tính xem lại cho các môi trường và loại tác vụ khác nhau, ví dụ như cho việc mô phỏng lái xe tự động hoặc robot khám phá.

2. Patent:

Hệ thống ghi nhớ hình ảnh di động thông minh để tạo nội dung đa phương tiện: Ứng dụng công nghệ nén bộ nhớ phân cấp không phụ thuộc vào dữ liệu vị trí tuyệt đối, cho phép điện thoại di động ghi lại và tạo ra các chuỗi video dài liên tục, ví dụ như để tạo video "điều hướng ảo" cho bất động sản hoặc du lịch, nơi người dùng có thể "đi bộ" qua một không gian được tái tạo từ các đoạn video ngắn hơn đã ghi, mà không cần dữ liệu vị trí GPS chính xác.
Ứng dụng "Video Hướng Dẫn Tương Tác" với khả năng điều khiển chuyển động tự nhiên trên điện thoại: Sử dụng công nghệ phân loại chuyển động thành ba trạng thái để chuyển đổi các chuyển động nhỏ hoặc không ổn định của điện thoại (do người dùng cầm không vững hoặc di chuyển chậm) thành các tín hiệu điều khiển mượt mà, chính xác hơn trong các ứng dụng thực tế ảo hoặc tăng cường thực tế trên điện thoại, giúp người dùng "điều khiển" môi trường ảo một cách tự nhiên mà không bị ảnh hưởng bởi rung lắc tay.
Công cụ tạo cảnh quan ảo liên tục cho trò chơi hoặc AR trên điện thoại di động: Tận dụng chiến lược tinh chỉnh với tập dữ liệu chứa nhiều lần quay lại cùng một vị trí để huấn luyện một mô hình trên điện thoại di động có khả năng tạo ra các môi trường ảo có tính nhất quán không gian dài hạn. Điều này cho phép các trò chơi hoặc ứng dụng thực tế tăng cường trên điện thoại tạo ra các thế giới rộng lớn mà người dùng có thể khám phá mà không gặp phải các hiện tượng "mất trí nhớ" của cảnh hoặc lỗi đồ họa khi di chuyển qua các khu vực lớn hoặc quay lại những nơi đã đi qua.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.02393
ArXiv Abstract	https://arxiv.org/abs/2602.02393
PDF Download	https://arxiv.org/pdf/2602.02393.pdf
Github Repository	https://github.com/MeiGen-AI/Infinite-World

21. Thinking in Frames: How Visual Context and Test-Time Scaling Empower Video Reasoning (15 votes)

Tác giả: Chengzu Li, Zanyi Wang, Jiaang Li, Yi Xu, Han Zhou, Huanyu Zhang, Ruichuan An, Dengyang Jiang, Zhaochong An, Ivan Vulić, Serge Belongie, Anna Korhonen

Xuất bản lúc: 2026-01-28

Tag: Video Generation, Visual Reasoning, Zero-Shot Learning, Scaling Laws, MLLMs, Spatial Planning

I. Main Problem:

Các Vision-Language Models (MLLMs) hiện tại gặp khó khăn trong việc hiểu không gian chi tiết và lập kế hoạch hành động liên tục, không thể mô phỏng động lực cần thiết cho suy luận thị giác phức tạp. Chúng thường suy luận thông qua các mô tả văn bản, vốn không hiệu quả và thiếu chính xác để nắm bắt các ngữ cảnh hình học tinh tế và động lực vật lý.

II. Main Idea:

Công trình này đề xuất việc xây dựng suy luận thị giác thông qua các mô hình tạo video, coi các khung hình được tạo ra như các bước suy luận trung gian giữa trạng thái ban đầu và giải pháp. Nghiên cứu đánh giá khả năng này trong hai chế độ riêng biệt: MAZENAVIGATION (lập kế hoạch tuần tự, rời rạc với thay đổi thị giác thấp) và TANGRAMPUZZLE (thao tác liên tục với thay đổi thị giác cao). Các ý tưởng chính bao gồm việc sử dụng ngữ cảnh thị giác như một kiểm soát rõ ràng và khám phá quy luật Test-Time Scaling (mở rộng thời gian kiểm tra) trong quá trình tạo video.

III. Main Results:

Tổng quát hóa Zero-Shot mạnh mẽ: Mô hình thể hiện hiệu suất cao trên các phân bố dữ liệu chưa từng thấy mà không cần tinh chỉnh cụ thể, trong cả hai tác vụ MAZENAVIGATION và TANGRAMPUZZLE.
Ngữ cảnh Thị giác làm Kiểm soát: Mô hình sử dụng hiệu quả ngữ cảnh thị giác (như biểu tượng tác nhân, hình dạng tangram) làm kiểm soát rõ ràng, cho phép duy trì tính nhất quán thị giác cao và thích ứng mạnh mẽ khả năng lập kế hoạch với các mẫu chưa từng thấy. Ngữ cảnh thị giác được chứng minh là tín hiệu kiểm soát hiệu quả hơn so với hướng dẫn bằng văn bản cho việc tổng quát hóa thị giác ngoài phân bố (OOD).
Quy luật Test-Time Scaling Thị giác: Trong lập kế hoạch tuần tự, việc tăng độ dài video được tạo ra (ngân sách suy luận thị giác) giúp tổng quát hóa zero-shot tốt hơn đối với các đường dẫn phức tạp về không gian và thời gian. Hiện tượng này thậm chí còn cho thấy các hành vi “tự sửa lỗi” xuất hiện ở ngân sách khung hình cao hơn.
Hiệu suất vượt trội: Suy luận dựa trên video vượt trội so với các mô hình nền tảng MLLM dựa trên văn bản, đặc biệt trong tác vụ TANGRAMPUZZLE, nơi MLLM gặp khó khăn trong việc diễn đạt các thao tác không gian chính xác.

IV. Conclusion & Future Works:

Các mô hình tạo video không chỉ là công cụ tổng hợp hình ảnh mà còn là những công cụ mạnh mẽ cho suy luận thị giác. Chúng cung cấp một biểu diễn biểu cảm cho lập kế hoạch không gian mà các MLLM dựa trên văn bản còn thiếu. Các mô hình dựa trên video thể hiện khả năng tổng quát hóa mạnh mẽ, tách logic cấp độ tác vụ khỏi các mẫu thị giác bề mặt. Hiện tượng Test-Time Scaling thị giác, trong đó số lượng khung hình được tạo ra tăng lên như một ngân sách suy luận tạm thời, dẫn đến khả năng xuất hiện trên các vấn đề tuần tự dài hạn, ngoài phân bố, tương tự như suy luận kiểu System-2 trong Large Language Models. Nghiên cứu trong tương lai cần tiếp tục khám phá hiện tượng này và vượt qua các hạn chế về kiến trúc để cải thiện khả năng duy trì tính nhất quán hình học trong các tác vụ thay đổi thị giác cao.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các phương pháp cải thiện khả năng duy trì tính nhất quán hình học và chi tiết thị giác tần số cao của các mô hình tạo video khi tăng ngân sách khung hình cho các tác vụ thao tác liên tục và thay đổi thị giác lớn như TANGRAMPUZZLE.
Khám phá sâu hơn về cơ chế dẫn đến hành vi 'tự sửa lỗi' xuất hiện trong các mô hình tạo video với ngân sách khung hình cao, và phát triển các kiến trúc hoặc phương pháp huấn luyện để khuyến khích và kiểm soát hành vi này một cách có chủ ý.
Mở rộng ứng dụng và đánh giá khả năng tổng quát hóa của các mô hình tạo video trong các môi trường lập kế hoạch không gian phức tạp hơn, bao gồm các mê cung hoặc không gian có hình dạng bất thường, chuyển động đường chéo hoặc phi lưới, để đẩy mạnh suy luận đa miền.

2. Patent:

Một ứng dụng di động cho phép người dùng giải các câu đố hình học phức tạp (ví dụ: xếp hình Tangram, mê cung) bằng cách mô phỏng toàn bộ quá trình giải pháp dưới dạng một video động. Ứng dụng sẽ cho phép người dùng tùy chỉnh các yếu tố hình ảnh ban đầu, như hình dạng hoặc màu sắc của các miếng ghép, và hệ thống sẽ tự động tạo ra video hướng dẫn từng bước di chuyển, xoay và sắp xếp để hoàn thành câu đố một cách trực quan và dễ hiểu.
Hệ thống định vị và lập kế hoạch đường đi thông minh tích hợp trên điện thoại di động, đặc biệt hữu ích cho việc di chuyển trong các không gian phức tạp hoặc chưa quen thuộc. Thay vì chỉ cung cấp bản đồ tĩnh, ứng dụng sẽ tạo ra một video mô phỏng hành trình từ điểm xuất phát đến đích, bao gồm cả các tình huống 'tự sửa lỗi' nếu người dùng đi sai đường, giúp họ dễ dàng theo dõi và điều chỉnh hướng đi trong thời gian thực, với các biểu tượng đại diện có thể tùy chỉnh.
Một công cụ thiết kế đồ họa hoặc trò chơi sáng tạo trên điện thoại di động, cho phép người dùng thao tác các vật thể trong không gian ảo bằng cách trực tiếp 'kéo' hoặc 'xoay' chúng trên màn hình, và hệ thống sẽ tự động tạo ra một chuỗi video hiển thị quá trình chuyển động liên tục. Điều này giúp người dùng hình dung rõ ràng hơn về động học và vị trí cuối cùng của vật thể, đồng thời có thể phát hiện các lỗi va chạm hoặc sai lệch hình học ngay lập tức thông qua video.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2601.21037
ArXiv Abstract	https://arxiv.org/abs/2601.21037
PDF Download	https://arxiv.org/pdf/2601.21037.pdf
Github Repository	N/A

22. LatentMem: Customizing Latent Memory for Multi-Agent Systems (14 votes)

Tác giả: Muxin Fu, Guibin Zhang, Xiangyuan Xue, Yafu Li, Zefeng He, Siyuan Huang, Xiaoye Qu, Yu Cheng, Yang Yang

Xuất bản lúc: 2026-02-03

Tag: LLMs, Multi-Agent Systems, Memory, Reinforcement Learning, Customization

I. Main Problem:

Các hệ thống đa tác nhân (MAS) được hỗ trợ bởi mô hình ngôn ngữ lớn (LLM) hiện tại bị giới hạn bởi hai nút thắt cổ chai cơ bản trong thiết kế bộ nhớ:

Đồng nhất hóa bộ nhớ (memory homogenization): Thiếu khả năng tùy chỉnh bộ nhớ theo vai trò của từng tác nhân, dẫn đến sự suy giảm hiệu quả tuân thủ vai trò và làm tăng lỗi tương quan.
Quá tải thông tin (information overload): Các mục bộ nhớ quá chi tiết hoặc quá nhiều gây ra gánh nặng thông tin lớn, đặc biệt trong các ngữ cảnh tương tác dài, làm che khuất các tín hiệu quyết định quan trọng.

II. Main Idea:

Để giải quyết các hạn chế trên, nghiên cứu đề xuất LatentMem, một khung bộ nhớ đa tác nhân có thể học được, được thiết kế để tùy chỉnh bộ nhớ dành riêng cho tác nhân một cách hiệu quả về token. LatentMem bao gồm hai thành phần chính:

Experience Bank: Một ngân hàng lưu trữ kinh nghiệm nhẹ, dùng để lưu trữ và truy xuất các quỹ đạo tương tác thô (raw interaction trajectories) theo một hình thức tối ưu.
Memory Composer: Một bộ tổng hợp bộ nhớ có khả năng tổng hợp các bộ nhớ tiềm ẩn (latent memories) nhỏ gọn, được điều kiện hóa bởi kinh nghiệm đã truy xuất và ngữ cảnh cụ thể của tác nhân. Ngoài ra, nghiên cứu giới thiệu Latent Memory Policy Optimization (LMPO), một cơ chế truyền tín hiệu tối ưu hóa cấp độ tác vụ thông qua các bộ nhớ tiềm ẩn đến bộ tổng hợp, khuyến khích nó tạo ra các biểu diễn nhỏ gọn và có tính ứng dụng cao. LMPO sử dụng lợi thế dựa trên nhóm (group-based advantage) từ phần thưởng tương đối trong các lần thực hiện đa tác nhân và tối ưu hóa các mục tiêu cấp độ token, khai thác khả năng vi phân của bộ nhớ tiềm ẩn để lan truyền gradient qua bộ tổng hợp bộ nhớ.

III. Main Results:

LatentMem đã chứng minh hiệu suất vượt trội và khả năng tổng quát hóa mạnh mẽ:

Hiệu suất cao: Đạt được mức tăng hiệu suất lên tới 19.36% so với các cài đặt cơ bản và vượt trội hơn các kiến trúc bộ nhớ hiện có trên các điểm chuẩn đa dạng, với mức cải thiện lên tới 16.20% trong tác vụ QA kiến thức và 18.45% trong tác vụ tạo mã.
Hiệu quả cao: Sử dụng ít hơn 50% token và giảm thời gian suy luận xuống khoảng 2/3 so với các thiết kế bộ nhớ chính thống, ngay cả khi đạt được hiệu suất tốt hơn.
Khả năng tổng quát hóa mạnh mẽ: Trên các tập dữ liệu ngoài miền như PDDL, LatentMem cho thấy cải thiện 7.10%, và trên các khung MAS chưa từng thấy như CAMEL, đạt được mức tăng 7.90% so với cài đặt cơ bản. Khả năng hiển thị bộ nhớ tiềm ẩn (Latent Memory Visualization) cũng cho thấy LatentMem liên tục tạo ra các bộ nhớ cụ thể theo vai trò, ngay cả trong các miền tác vụ và mô hình hợp tác mới lạ.
So sánh với Fine-Tuning: LatentMem vượt trội so với phương pháp fine-tuning trực tiếp backbone tác nhân (ví dụ: MARTI) trên tất cả các cài đặt, cho thấy khả năng khai thác lợi thế cấu trúc của MAS phức tạp tốt hơn.

IV. Conclusion & Future Works:

LatentMem là một khung bộ nhớ đa tác nhân mới và hiệu quả, giải quyết các thách thức về đồng nhất hóa bộ nhớ và quá tải thông tin bằng cách tùy chỉnh bộ nhớ tiềm ẩn theo vai trò của từng tác nhân. Hệ thống này không chỉ cải thiện hiệu suất mà còn tăng cường hiệu quả và khả năng tổng quát hóa trên nhiều miền và khung MAS. LatentMem tránh được các ràng buộc ngôn ngữ và không yêu cầu các kiến trúc bộ nhớ được thiết kế tỉ mỉ, nhờ vào việc tối ưu hóa thông qua LMPO và khả năng vi phân của bộ nhớ tiềm ẩn. Các kết quả thực nghiệm rộng rãi xác nhận LatentMem là một giải pháp mạnh mẽ cho bộ nhớ trong các hệ thống đa tác nhân, mở ra hướng đi cho các hệ thống AI thông minh và linh hoạt hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng khả năng của LatentMem để xử lý các vai trò tác nhân động hoặc tự điều chỉnh, nơi vai trò của tác nhân có thể thay đổi trong quá trình thực thi tác vụ, đòi hỏi bộ nhớ phải thích nghi tức thì.
Khám phá việc tích hợp LatentMem vào các hệ thống đa tác nhân để hỗ trợ việc học tập liên tục (continual learning) trong các môi trường phức tạp và thay đổi liên tục, nơi các tác nhân cần cập nhật kiến thức và chiến lược theo thời gian thực.
Đánh giá LatentMem trong các tác vụ tương tác người-AI, đặc biệt là trong các kịch bản cộng tác giữa con người và nhiều tác nhân AI, để xem xét cách bộ nhớ tiềm ẩn có thể cải thiện sự phối hợp và hiểu biết lẫn nhau.

2. Patent:

Một hệ thống trợ lý cá nhân thông minh trên điện thoại di động, sử dụng "bộ nhớ tiềm ẩn tùy chỉnh" để ghi nhớ các cuộc hội thoại hoặc sự kiện quan trọng. Thay vì lưu trữ toàn bộ nội dung, hệ thống sẽ chắt lọc thông tin cốt lõi và liên kết nó với các "vai trò" cụ thể (ví dụ: cuộc họp công việc, kế hoạch gia đình) của người dùng, giúp truy xuất nhanh chóng và cung cấp ngữ cảnh phù hợp khi cần, giảm tải cho bộ nhớ điện thoại và tăng cường trải nghiệm người dùng.
Ứng dụng quản lý công việc và học tập trên điện thoại, áp dụng "bộ nhớ chắt lọc theo vai trò" cho từng dự án hoặc khóa học. Ví dụ, khi người dùng chuyển từ vai trò "nghiên cứu sinh" sang "quản lý dự án", ứng dụng sẽ tự động tổng hợp các điểm chính và thông tin liên quan từ các tương tác trước đó trong vai trò đó, trình bày một cách gọn gàng và dễ hiểu, giúp người dùng tập trung hiệu quả hơn và tối ưu hóa tài nguyên xử lý của điện thoại.
Một tính năng nâng cao cho ứng dụng nhắn tin hoặc mạng xã hội trên điện thoại, sử dụng "bộ nhớ thông minh và nhận diện ngữ cảnh". Hệ thống sẽ học cách hiểu các chủ đề và ngữ cảnh khác nhau trong các cuộc trò chuyện (ví dụ: thảo luận về công việc, trò chuyện bạn bè) và tạo ra các "điểm ghi nhớ" ngắn gọn cho từng ngữ cảnh, giúp người dùng dễ dàng theo dõi các luồng thông tin phức tạp và tránh bị quá tải, đồng thời tăng tốc độ phản hồi và tiết kiệm pin điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.03036
ArXiv Abstract	https://arxiv.org/abs/2602.03036
PDF Download	https://arxiv.org/pdf/2602.03036.pdf
Github Repository	https://github.com/KANABOON1/LatentMem

23. SAGE: Benchmarking and Improving Retrieval for Deep Research Agents (12 votes)

Tác giả: Tiansheng Hu, Yilun Zhao, Canyu Zhang, Arman Cohan, Chen Zhao

Xuất bản lúc: 2026-02-05

Tag: LLMs, RAG, Benchmarking, Retrieval Systems, Deep Research Agents

I. Main Problem:

Các tác nhân nghiên cứu chuyên sâu (deep research agents) nổi lên như những hệ thống mạnh mẽ để giải quyết các truy vấn phức tạp. Trong khi đó, các bộ truy xuất dựa trên LLM đã chứng minh khả năng vượt trội trong việc tuân thủ hướng dẫn hoặc suy luận. Điều này đặt ra một câu hỏi quan trọng: liệu các bộ truy xuất dựa trên LLM có thể đóng góp hiệu quả vào quy trình làm việc của các tác nhân nghiên cứu chuyên sâu hay không? Nghiên cứu cũng chỉ ra rằng tất cả các hệ thống hiện có đều gặp khó khăn với truy xuất chuyên sâu về suy luận. Đặc biệt, các tác nhân nghiên cứu sâu hiện tại tạo ra các truy vấn con (sub-queries) định hướng từ khóa, gây ra sự không khớp với khả năng ngữ nghĩa của các bộ truy xuất dựa trên LLM.

II. Main Idea:

Để giải quyết vấn đề, nghiên cứu giới thiệu SAGE, một benchmark để truy xuất tài liệu khoa học chuyên sâu về suy luận, bao gồm 1.200 truy vấn trên bốn lĩnh vực khoa học, với một corpus truy xuất gồm 200.000 bài báo. Nghiên cứu đánh giá sáu tác nhân nghiên cứu chuyên sâu và so sánh các bộ truy xuất BM25 và LLM (ReasonIR và gte-Qwen2-7B-instruct) làm công cụ tìm kiếm thay thế, sử dụng DR Tulu làm xương sống. Để cải thiện hiệu suất, nghiên cứu đề xuất một framework mở rộng thời gian kiểm tra (test-time scaling) cấp độ corpus. Phương pháp này sử dụng LLM để tăng cường tài liệu bằng siêu dữ liệu và từ khóa, giúp việc truy xuất dễ dàng hơn cho các bộ truy xuất có sẵn.

III. Main Results:

Tất cả sáu tác nhân nghiên cứu chuyên sâu được đánh giá đều gặp khó khăn với việc truy xuất chuyên sâu về suy luận.
BM25 vượt trội đáng kể so với các bộ truy xuất dựa trên LLM (như ReasonIR và gte-Qwen2-7B-instruct) khoảng 30% trên các câu hỏi dạng ngắn, do các tác nhân hiện có tạo ra các truy vấn con định hướng từ khóa.
Framework mở rộng thời gian kiểm tra cấp độ corpus được đề xuất mang lại lợi ích đáng kể, đạt được mức tăng 8% trên các câu hỏi dạng ngắn và 2% trên các câu hỏi mở.
Việc tăng số lượng kết quả (k) được trả về mỗi lần tìm kiếm luôn cải thiện hiệu suất trên tất cả các bộ truy xuất.
Các bộ truy xuất dựa trên LLM gặp phải vấn đề không khớp giữa truy vấn và bộ truy xuất (query-retriever mismatch) và giảm tính đa dạng khi tài liệu dài.

IV. Conclusion & Future Works:

Nghiên cứu giới thiệu SAGE, một benchmark để truy xuất tài liệu khoa học chuyên sâu về suy luận. Thông qua đánh giá sâu rộng, nghiên cứu chỉ ra rằng các bộ truy xuất dựa trên LLM hoạt động kém hơn BM25 khoảng 30% trong quy trình làm việc của tác nhân nghiên cứu chuyên sâu, do các tác nhân hiện có tạo ra các truy vấn con định hướng từ khóa. Để khắc phục hạn chế này, nghiên cứu đề xuất mở rộng corpus ở thời điểm thử nghiệm, làm giàu tài liệu bằng siêu dữ liệu và từ khóa do LLM tạo, đạt được những cải thiện nhất quán.

Công việc tương lai có thể bao gồm điều chỉnh tác nhân thông qua fine-tuning hoặc alignment để thích ứng với các chiến lược tạo truy vấn dựa trên loại bộ truy xuất bên dưới. Ngoài ra, khám phá các chiến lược mở rộng corpus mạnh mẽ hơn, chẳng hạn như trực tiếp chỉnh sửa hoặc viết lại mỗi bài báo, cũng là một hướng đi đầy hứa hẹn.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các phương pháp huấn luyện tác nhân nghiên cứu chuyên sâu để tự động điều chỉnh chiến lược tạo truy vấn của họ dựa trên loại bộ truy xuất đang được sử dụng (ví dụ: ưu tiên từ khóa cho BM25, ưu tiên ngôn ngữ tự nhiên cho bộ truy xuất dựa trên LLM).
Nghiên cứu các chiến lược mở rộng corpus mạnh mẽ hơn nữa, sử dụng LLM để không chỉ bổ sung metadata và từ khóa mà còn để tóm tắt, trích xuất thông tin quan trọng hoặc thậm chí viết lại các phần của tài liệu để tối ưu hóa khả năng tìm kiếm.
Thực hiện các nghiên cứu để đánh giá tính khái quát hóa của SAGE và các phát hiện của nó trên các tác nhân nghiên cứu chuyên sâu với các kiến trúc nền tảng và quy trình huấn luyện khác nhau, không chỉ giới hạn ở DR Tulu.

2. Patent:

Ứng dụng "Trợ lý Tìm kiếm Nghiên cứu Thông minh" cho điện thoại: Một ứng dụng di động cho phép người dùng đặt các câu hỏi phức tạp về tài liệu khoa học. Ứng dụng này sẽ sử dụng trí tuệ nhân tạo để phân tích câu hỏi, sau đó tìm kiếm và trích xuất thông tin chi tiết, bao gồm cả dữ liệu từ bảng biểu và hình ảnh, từ một kho tài liệu được quản lý. Nó sẽ hiển thị các đoạn văn hoặc dữ liệu chính xác nhất để trả lời câu hỏi, giúp người dùng tiết kiệm thời gian tìm kiếm thủ công.
Hệ thống "Tối ưu hóa Tài liệu Cá nhân hóa" tích hợp trên điện thoại: Một chức năng trong các ứng dụng quản lý tài liệu (ví dụ: ghi chú, đọc sách) trên điện thoại di động, cho phép người dùng tải lên và lưu trữ các tài liệu của mình. Hệ thống sẽ tự động sử dụng trí tuệ nhân tạo để phân tích nội dung, trích xuất các từ khóa quan trọng và bổ sung thêm các thông tin mô tả chi tiết. Điều này giúp người dùng dễ dàng tìm kiếm lại các tài liệu của mình sau này chỉ bằng những từ khóa đơn giản, ngay cả khi họ không nhớ chính xác tiêu đề hay nội dung.
"Trợ lý Học tập và Nghiên cứu theo Ngữ cảnh" trên di động: Một ứng dụng hoặc tính năng tích hợp trên điện thoại thông minh, sử dụng trí tuệ nhân tạo để nhận diện ngữ cảnh học tập hoặc nghiên cứu của người dùng (ví dụ: khi họ đang đọc một bài báo trên trình duyệt hoặc đang soạn thảo văn bản). Dựa trên ngữ cảnh này, ứng dụng sẽ tự động gợi ý và hiển thị các thông tin liên quan, các tài liệu tham khảo hoặc các phần tóm tắt đã được xử lý từ kho dữ liệu cá nhân của người dùng, giúp tăng cường hiệu quả học tập và nghiên cứu mà không cần phải thực hiện tìm kiếm chủ động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05975
ArXiv Abstract	https://arxiv.org/abs/2602.05975
PDF Download	https://arxiv.org/pdf/2602.05975.pdf
Github Repository	N/A

24. Multi-Task GRPO: Reliable LLM Reasoning Across Tasks (11 votes)

Tác giả: Shyam Sundhar Ramesh, Xiaotong Ji, Matthieu Zimmer, Sangwoong Yoon, Zhiyong Wang, Haitham Bou Ammar, Aurelien Lucchi, Ilija Bogunovic

Xuất bản lúc: 2026-02-05

Tag: LLMs, RL, Multi-task Learning, Policy Optimization, GRPO

I. Main Problem:

Mặc dù hậu huấn luyện dựa trên học tăng cường (RL) với GRPO đã cải thiện đáng kể hiệu suất của các mô hình ngôn ngữ lớn (LLM) trên từng tác vụ suy luận riêng lẻ, việc triển khai trong thế giới thực đòi hỏi hiệu suất đáng tin cậy trên nhiều tác vụ đa dạng. Các vấn đề chính bao gồm:

Kết quả không cân bằng: Việc điều chỉnh GRPO một cách đơn giản cho đa tác vụ thường dẫn đến kết quả không cân bằng, với một số tác vụ chiếm ưu thế trong quá trình tối ưu hóa trong khi các tác vụ khác bị trì trệ.
Tỷ lệ gradient bằng 0 không đồng đều: Các tác vụ có thể khác nhau đáng kể về tần suất các lời nhắc tạo ra lợi thế bằng 0 (và do đó gradient bằng 0), điều này làm sai lệch đóng góp hiệu quả của chúng vào tín hiệu tối ưu hóa.
Thiếu độ tin cậy của tổn thất GRPO: Hàm tổn thất GRPO không đáng tin cậy cho việc điều chỉnh trọng số tác vụ vì nó có thể có giá trị tương tự khi tất cả các phản hồi được lấy mẫu là đúng hoặc tất cả đều sai, gây ra sự mơ hồ khi so sánh giữa các tác vụ.

II. Main Idea:

Để giải quyết các vấn đề trên, các tác giả đề xuất thuật toán Multi-Task GRPO (MT-GRPO) mới lạ với hai ý tưởng chính:

Điều chỉnh trọng số tác vụ dựa trên cải thiện (Improvement-Aware Task Reweighting): MT-GRPO tự động điều chỉnh trọng số tác vụ để tối ưu hóa rõ ràng hiệu suất của tác vụ kém nhất và thúc đẩy tiến độ cân bằng trên tất cả các tác vụ. Phương pháp này sử dụng cả phần thưởng cấp tác vụ (Jk(θ)) và tín hiệu cải thiện cấp tác vụ (I(t)k = JGRPO,k(θt+1)−JGRPO,k(θt)) để ưu tiên các tác vụ đang hoạt động kém hoặc cải thiện chậm, thay vì chỉ dựa vào phần thưởng tuyệt đối.
Bộ lấy mẫu bảo toàn tỷ lệ (Ratio-Preserving Sampler - RPSAMPLER): MT-GRPO giới thiệu một cơ chế xây dựng lô dữ liệu bảo toàn tỷ lệ, nhận biết sự chấp nhận, đảm bảo rằng gradient chính sách theo tác vụ phản ánh trọng số đã điều chỉnh. Điều này giải quyết vấn đề tỷ lệ gradient bằng 0 không đồng đều bằng cách:
- Thực thi tỷ lệ tác vụ mục tiêu trong lô dữ liệu sau khi đã lọc (loại bỏ các lời nhắc có gradient bằng 0).
- Sử dụng chiến lược lấy mẫu nhận biết sự chấp nhận, ước tính tỷ lệ lọc (ρk) cho mỗi tác vụ và tăng trọng số tác vụ (ˆzk) một cách linh hoạt để bù đắp cho các tác vụ có tỷ lệ lọc cao hơn, giảm chi phí tái tạo.

III. Main Results:

Các thử nghiệm trên cả cài đặt 3 tác vụ và 9 tác vụ đều cho thấy MT-GRPO vượt trội hơn hẳn các phương pháp cơ sở:

Cải thiện độ chính xác của tác vụ kém nhất: MT-GRPO cải thiện 16–28% và 6% tuyệt đối về hiệu suất tác vụ kém nhất so với GRPO và DAPO tiêu chuẩn, tương ứng, đồng thời duy trì độ chính xác trung bình cạnh tranh.
Hiệu quả đào tạo: MT-GRPO yêu cầu ít hơn 50% số bước huấn luyện để đạt 50% độ chính xác của tác vụ kém nhất trong cài đặt 3 tác vụ, chứng tỏ hiệu quả được cải thiện đáng kể trong việc đạt được hiệu suất đáng tin cậy trên các tác vụ.
Phân bổ nỗ lực tối ưu hóa: MT-GRPO tự động phân bổ lại nỗ lực tối ưu hóa từ các tác vụ hoạt động tốt sang các tác vụ yếu hơn, dẫn đến những cải thiện cân bằng hơn. Cơ chế RPSAMPLER đảm bảo tỷ lệ lô dữ liệu thực tế bám sát trọng số tác vụ mong muốn.
Kiểm soát linh hoạt: Tham số λ trong MT-GRPO cung cấp quyền kiểm soát hiệu quả sự cân bằng giữa độ bền của tác vụ kém nhất và hiệu suất tổng thể.

IV. Conclusion & Future Works:

MT-GRPO được chứng minh là một thuật toán hậu huấn luyện dựa trên RL hiệu quả, giúp cải thiện đáng kể hiệu suất của tác vụ kém nhất trong khi vẫn duy trì độ chính xác trung bình cạnh tranh. Các nghiên cứu đã xác nhận hiệu quả thực nghiệm của MT-GRPO và hành vi dự kiến của cơ chế tối ưu hóa cơ bản của nó, đặc biệt là khả năng phân bổ lại nỗ lực tối ưu hóa một cách thích ứng cho các tác vụ yếu hơn và khả năng mở rộng cho các tập hợp tác vụ đa dạng hơn. Mặc dù không có phần "Công trình tương lai" rõ ràng, những kết quả này mở ra hướng nghiên cứu về các phương pháp tối ưu hóa mạnh mẽ hơn cho LLM trong các môi trường đa tác vụ.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược tự động điều chỉnh tham số λ trong MT-GRPO trong quá trình huấn luyện để tối ưu hóa cân bằng giữa hiệu suất tác vụ kém nhất và hiệu suất trung bình mà không cần cài đặt thủ công.
Mở rộng MT-GRPO để xử lý các môi trường đa tác vụ phức tạp hơn với các mối quan hệ phụ thuộc hoặc xung đột tác vụ sâu sắc hơn, bao gồm cả các tác vụ liên quan đến Vision-Language Action hoặc tương tác với thế giới thực.
Phân tích sâu hơn về tác động của các chiến lược lấy mẫu bảo toàn tỷ lệ đối với tính hội tụ và ổn định của huấn luyện, đặc biệt trong các trường hợp có tỷ lệ gradient bằng 0 cực đoan hoặc biến động lớn giữa các tác vụ.

2. Patent:

Một hệ thống trợ lý ảo trên điện thoại thông minh sử dụng trí tuệ nhân tạo để giải quyết các vấn đề đa dạng. Hệ thống này sẽ tự động điều chỉnh mức độ ưu tiên xử lý cho các loại yêu cầu khác nhau của người dùng, đảm bảo rằng ngay cả những yêu cầu ít phổ biến hơn hoặc khó hơn cũng được giải quyết một cách đáng tin cậy và không bị bỏ qua, cải thiện trải nghiệm người dùng tổng thể.
Một ứng dụng học tập cá nhân hóa trên điện thoại di động giúp học sinh nâng cao kỹ năng qua nhiều môn học hoặc loại bài tập khác nhau. Ứng dụng này sẽ theo dõi hiệu suất của người dùng trên từng loại bài tập (ví dụ: giải toán, ngữ pháp tiếng Anh, logic) và tự động tạo ra nhiều bài tập hơn cho những lĩnh vực mà người dùng yếu hơn, giúp họ phát triển một cách cân bằng và hiệu quả.
Công nghệ tối ưu hóa hiệu suất của các tác vụ nền trong điện thoại thông minh. Thay vì chỉ tối ưu hóa các ứng dụng thường xuyên sử dụng, hệ thống này sẽ đảm bảo rằng các chức năng ít được sử dụng hơn (ví dụ: sao lưu dữ liệu tự động, đồng bộ hóa ít thường xuyên) vẫn hoạt động ổn định và hiệu quả, ngăn chặn việc chúng bị lỗi hoặc hoạt động kém khi cần thiết, nâng cao độ tin cậy của toàn bộ thiết bị.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05547
ArXiv Abstract	https://arxiv.org/abs/2602.05547
PDF Download	https://arxiv.org/pdf/2602.05547.pdf
Github Repository	N/A

25. Towards Reducible Uncertainty Modeling for Reliable Large Language Model Agents (11 votes)

Tác giả: Changdae Oh, Seongheon Park, To Eun Kim, Jiatong Li, Wendi Li, Samuel Yeh, Xuefeng Du, Hamed Hassani, Paul Bogdan, Dawn Song, Sharon Li

Xuất bản lúc: 2026-02-04

Tag: LLMs, Uncertainty Quantification, AI Agents, Reliability, Interactive Systems

I. Main Problem:

Nghiên cứu định lượng độ bất định (Uncertainty Quantification - UQ) hiện tại cho các mô hình ngôn ngữ lớn (LLMs) chủ yếu tập trung vào các tác vụ hỏi-đáp một lượt hoặc suy luận đa bước không tương tác, coi độ bất định là một quá trình tích lũy. Điều này không đủ cho các tác nhân LLM tương tác hoạt động trong môi trường thế giới mở, nơi các hành động có hậu quả thực tế và độ bất định có thể giảm thông qua tương tác. Do đó, cần có một khuôn khổ nguyên tắc mới để định lượng độ bất định cho các tác nhân nhằm đảm bảo tính đáng tin cậy và triển khai có trách nhiệm.

II. Main Idea:

Bài báo đề xuất một quan điểm mới: một quá trình giảm độ bất định có điều kiện cho UQ tác nhân, đối lập với quan điểm tích lũy độ bất định trước đây. Nó trình bày công thức tổng quát đầu tiên về UQ tác nhân, mô hình hóa quỹ đạo giải quyết vấn đề của tác nhân như một quá trình ngẫu nhiên và định nghĩa độ bất định ở cấp độ lượt và cấp độ quỹ đạo. Ý tưởng chính là mô hình hóa rõ ràng độ bất định có thể giảm bằng cách làm nổi bật 'tính tương tác' của các hành động. Một khuôn khổ khái niệm với 'cơ chế cổng thông tin' (information-gating mechanism) được giới thiệu để phân biệt các hành động làm tăng và giảm độ bất định. Chức năng cổng này sử dụng thông tin tương hỗ để định lượng thông tin thu được và giảm độ bất định cho các hành động tương tác và có bằng chứng.

III. Main Results:

Bài báo chính thức hóa định lượng độ bất định của tác nhân (Agent UQ) như một vấn đề riêng biệt và cho thấy tại sao các công thức UQ LLM hiện có không đủ cho các thiết lập tác nhân tương tác. Nó trình bày một khuôn khổ khái niệm cho Agent UQ bằng cách xem xét nó như một quá trình giảm độ bất định có điều kiện. Khuôn khổ này sử dụng cơ chế cổng thông tin để phân biệt các hành động tương tác và có bằng chứng (làm giảm độ bất định) với các hành động khác (làm tăng độ bất định), từ đó cho phép mô hình hóa luồng độ bất định hai chiều. Các giới hạn phân tích (cận trên và cận dưới) của tổng độ bất định được đưa ra, cải thiện khả năng diễn giải các ước tính độ bất định. Ngoài ra, bài báo phác thảo các ứng dụng tiềm năng của Agent UQ trong các lĩnh vực đa dạng như chăm sóc sức khỏe, kỹ thuật phần mềm, người máy và nghiên cứu LLM tiên tiến.

IV. Conclusion & Future Works:

Công việc này được xem là một bước tiến quan trọng trong việc cung cấp nền tảng và định hướng rõ ràng hơn cho nghiên cứu tương lai về các hệ thống tác nhân nhận biết độ bất định. Các vấn đề mở bao gồm việc triển khai thực tế cơ chế cổng thông tin (bộ phân loại hành động, ước tính độ bất định và thông tin tương hỗ), cũng như khám phá các khái niệm như 'chăm sóc sức khỏe thích ứng' và 'hoàn tác kích hoạt độ bất định' (uncertainty-triggered rollback) trong kỹ thuật phần mềm. Ngoài ra, việc giải quyết các vấn đề mở độc đáo đối với mô hình độ bất định trong các hệ thống tác nhân, chẳng hạn như thách thức trong việc gán tín dụng và khi nào nên khám phá trong học tăng cường đa lượt (multi-turn reinforcement learning), cũng là hướng đi trong tương lai.

V. Brainstorming Space:

1. Publish Papers:

Triển khai thực tế quy trình giảm độ bất định có điều kiện với cơ chế cổng thông tin trên các tác vụ tác nhân LLM cụ thể.
Suy luận thích ứng và dừng sớm cho các tác nhân LLM thông qua ngân sách độ bất định để tối ưu hóa hiệu quả.
Học tăng cường nhận biết độ bất định cho các tác nhân LLM, tập trung vào việc gán tín dụng và các chính sách khám phá thông tin.

2. Patent:

Hệ thống trợ lý thông minh trên điện thoại di động có khả năng tự đánh giá độ tin cậy của câu trả lời hoặc hành động dự kiến. Nếu không chắc chắn, hệ thống sẽ tự động hỏi người dùng để làm rõ hoặc tìm kiếm thông tin bên ngoài (ví dụ: từ các ứng dụng hoặc tìm kiếm web) thay vì tiến hành các hành động rủi ro cao như đặt lịch hoặc gửi tin nhắn quan trọng.
Ứng dụng trợ lý chăm sóc sức khỏe trên điện thoại thông minh sử dụng một tác nhân AI để giúp người dùng với các truy vấn sức khỏe. Hệ thống sẽ tự động gắn cờ các tình huống có độ bất định cao trong chẩn đoán hoặc lời khuyên, khuyến nghị người dùng tham khảo ý kiến bác sĩ hoặc cung cấp các nguồn thông tin đáng tin cậy, thay vì đưa ra lời khuyên chắc chắn nhưng có thể không chính xác.
Trợ lý lập trình thông minh tích hợp vào môi trường phát triển ứng dụng di động. Khi đề xuất các thay đổi mã hoặc giải pháp gỡ lỗi, hệ thống sẽ đánh giá rủi ro tiềm ẩn hoặc độ bất định của các đề xuất. Nếu độ bất định cao, hệ thống có thể tự động đề xuất kiểm tra bổ sung, các phương pháp thay thế, hoặc thậm chí 'hoàn tác' về trạng thái mã trước đó, giúp ngăn ngừa các lỗi tốn kém trong quá trình phát triển ứng dụng di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05073
ArXiv Abstract	https://arxiv.org/abs/2602.05073
PDF Download	https://arxiv.org/pdf/2602.05073.pdf
Github Repository	N/A

26. DASH: Faster Shampoo via Batched Block Preconditioning and Efficient Inverse-Root Solvers (11 votes)

Tác giả: Ionut-Vlad Modoranu, Philip Zmushko, Erik Schultheis, Mher Safaryan, Dan Alistarh

Xuất bản lúc: 2026-02-02

Tag: Deep Learning, Optimizers, Shampoo, GPU Acceleration, Numerical Optimization, Second-Order Methods

I. Main Problem:

Shampoo là một trong những bộ tối ưu bậc hai xấp xỉ hàng đầu, mang lại các mô hình với độ nhiễu đầu ra thấp hơn và dễ nén hơn. Tuy nhiên, việc áp dụng Shampoo hiện tại gặp phải trở ngại lớn do chi phí tính toán đáng kể của các phép toán nội bộ, đặc biệt là việc tính toán căn nghịch đảo ma trận (inverse matrix roots) với độ phức tạp Θ(n^3) cho một ma trận tiền điều kiện n×n. Điều này dẫn đến sự chậm trễ đáng kể trong các bước tối ưu hóa và thường yêu cầu cập nhật các ma trận tiền điều kiện không thường xuyên, làm giảm chất lượng tối ưu hóa. Các triển khai hiện có của Distributed Shampoo vẫn còn các lỗ hổng hiệu suất, chẳng hạn như sự phụ thuộc vào EVD (khó song song hóa trên GPU) hoặc các vấn đề về độ ổn định số với Coupled-Newton.

II. Main Idea:

Các tác giả đề xuất DASH (Distributed Accelerated SHampoo), một triển khai nhanh hơn của Distributed Shampoo, dựa trên ba kỹ thuật chính:

Tiền điều kiện khối theo lô và tối ưu hóa tận dụng GPU: Thay vì xử lý tuần tự các khối ma trận tiền điều kiện, DASH xếp chồng các khối này thành các tensor 3D để thực hiện các phép toán hàng loạt (batched operations), từ đó cải thiện đáng kể việc sử dụng GPU và hiệu suất. Phương pháp này cũng hỗ trợ tính toán độ chính xác thấp (FP16) cho Coupled-Newton và Chebyshev.
Các phương pháp tính căn nghịch đảo ma trận hiệu quả: Giới thiệu lặp Newton-Denman-Beavers (Newton-DB) và xấp xỉ đa thức Chebyshev làm cách tiếp cận mới và nhanh hơn để tính toán căn nghịch đảo ma trận. Đặc biệt, Newton-DB được tối ưu hóa để giảm số phép nhân ma trận trong lần lặp đầu tiên.
Cải thiện cơ chế điều chỉnh tỉ lệ ma trận: Phân tích cách điều chỉnh tỉ lệ ma trận ảnh hưởng đến sự hội tụ của Shampoo và giới thiệu thuật toán multi-Power-Iteration hiệu quả để ước tính bán kính phổ (spectral radius) một cách mạnh mẽ. Việc chia tỷ lệ ma trận đầu vào bằng 2λ_PI (từ Power-Iteration) thay vì chuẩn Frobenius (Frobenius norm) giúp các quy trình lặp hội tụ nhanh hơn, tăng cường độ ổn định và giảm số lần lặp cần thiết.

III. Main Results:

Tăng tốc đáng kể: Triển khai DASH đạt được các bước tối ưu hóa nhanh hơn tới 4.83 lần so với Distributed Shampoo được tối ưu hóa tốt, đặc biệt là khi so sánh Distributed Shampoo dùng Coupled-Newton với độ chính xác FP32 với DASH dùng Coupled-Newton với FP16.
Chất lượng tối ưu hóa vượt trội: Phương pháp Newton-DB đạt được độ khó validation perplexity thấp nhất trên mỗi lần lặp so với tất cả các phương pháp được thử nghiệm, thậm chí còn tốt hơn cả phương pháp Eigen-Value Decomposition (EVD). Cụ thể, với việc điều chỉnh tỉ lệ bằng Power-Iteration, NDB đạt độ khó validation perplexity là 11.68, thấp hơn đáng kể so với 11.76 khi sử dụng chuẩn Frobenius.
Hiệu quả sử dụng tài nguyên: Phương pháp xếp chồng khối của DASH cùng với thuật toán cân bằng tải giúp sử dụng bộ nhớ tốt hơn trên các worker. Ví dụ, với mô hình 953M tham số trên 8 GPU, DASH chỉ sử dụng 73 GB bộ nhớ mỗi GPU so với 76 GB của Distributed Shampoo.
Ổn định số được cải thiện: Việc điều chỉnh tỉ lệ bằng Power-Iteration cho thấy sự ổn định số tốt hơn so với chuẩn Frobenius, đặc biệt với các kích thước khối lớn hơn, ngăn chặn sự bất ổn định số đối với Newton-DB.
Giảm thời gian huấn luyện tổng thể: Cấu hình DASH tối ưu (ví dụ: B=1024, Coupled-Newton-FP16) có thể giảm thời gian huấn luyện tổng thể của một mô hình 953M tham số khoảng 30 phút (5%) so với cấu hình Distributed Shampoo hiệu quả trước đó (ví dụ: EVD-10).

IV. Conclusion & Future Works:

Kết luận: DASH cung cấp một triển khai hiệu suất cao của bộ tối ưu Shampoo, thu hẹp khoảng cách giữa các đảm bảo lý thuyết bậc hai và hiệu quả thực tế. Tác giả đã chỉ ra rằng nút thắt chính không phải là độ phức tạp toán học mà là việc thực thi phân mảnh và sự không ổn định số, và đã giải quyết chúng thông qua phân tích số học và thiết kế hệ thống.
Công việc trong tương lai:
1. Nghiên cứu việc lựa chọn bộ giải động (dynamic solver selection): Ước tính số điều kiện của một khối và chọn bộ giải tốt nhất/rẻ nhất một cách linh hoạt.
2. Ổn định lặp Newton-DB trong quá trình thực thi với độ chính xác thấp (FP16): Kết hợp các phương pháp stochastic hoặc hiệu chỉnh lỗi.
3. Xác nhận phương pháp DASH trên quy mô mô hình và dữ liệu lớn hơn, cũng như áp dụng nó trong bối cảnh huấn luyện song song tensor.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa các phương pháp căn nghịch đảo ma trận bậc cao với độ chính xác hỗn hợp và sửa lỗi để cải thiện độ ổn định và hiệu suất.
Nghiên cứu việc áp dụng các chiến lược tiền điều kiện khối song song và các bộ giải căn nghịch đảo ma trận hiệu quả cho các bộ tối ưu bậc hai khác ngoài Shampoo.
Phát triển một khung đánh giá tự động để lựa chọn bộ giải tối ưu và chiến lược điều chỉnh tỉ lệ cho các ma trận tiền điều kiện khác nhau dựa trên các đặc điểm động của phổ trị riêng.

2. Patent:

Hệ thống tối ưu hóa thuật toán AI trên thiết bị di động với khả năng xử lý song song khối ma trận: Một hệ thống phần mềm và phần cứng tích hợp trên điện thoại thông minh cho phép các ứng dụng AI (như nhận dạng giọng nói, xử lý ảnh) huấn luyện hoặc tinh chỉnh mô hình hiệu quả hơn. Nó sẽ tự động nhóm các phép toán ma trận nhỏ thành các lô lớn để tận dụng tối đa sức mạnh của chip xử lý đồ họa (GPU) tích hợp trên điện thoại, giúp các ứng dụng chạy nhanh hơn và mượt mà hơn mà không làm hao pin quá mức.
Phương pháp điều chỉnh tỷ lệ dữ liệu tự động cho thuật toán học máy nhằm tăng tốc hội tụ trên thiết bị biên: Một công nghệ cho phép các thuật toán học máy trên điện thoại tự động phân tích phạm vi giá trị của dữ liệu đầu vào. Sau đó, nó sẽ tự động điều chỉnh tỷ lệ các giá trị này về một khoảng tối ưu. Điều này giúp các phép tính lặp trong thuật toán tìm ra kết quả nhanh hơn và chính xác hơn, cải thiện hiệu suất của các tính năng AI như gợi ý sản phẩm hoặc phân loại hình ảnh tức thì trên điện thoại.
Bộ giải toán ma trận thích ứng cho việc triển khai AI trên chip di động: Một công nghệ phần mềm thông minh trên chip của điện thoại, có khả năng phân tích đặc điểm của từng phép tính ma trận trong thời gian thực. Dựa trên độ phức tạp và yêu cầu về độ chính xác, nó sẽ tự động lựa chọn phương pháp tính toán tối ưu nhất (ví dụ: phương pháp nhanh hơn nhưng ít chính xác hơn cho các tác vụ không quá nhạy cảm, hoặc phương pháp chính xác hơn cho các tác vụ quan trọng), giúp các ứng dụng AI hoạt động linh hoạt, tiết kiệm tài nguyên và đáp ứng nhanh chóng trên mọi dòng điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.02016
ArXiv Abstract	https://arxiv.org/abs/2602.02016
PDF Download	https://arxiv.org/pdf/2602.02016.pdf
Github Repository	https://github.com/IST-DASLab/DASH

27. SwimBird: Eliciting Switchable Reasoning Mode in Hybrid Autoregressive MLLMs (10 votes)

Tác giả: Jintao Tong, Shilin Yan, Hongwei Xue, Xiaojun Tang, Kunyu Shi, Guannan Zhang, Ruixuan Li, Yixiong Zou

Xuất bản lúc: 2026-02-05

Tag: MLLMs, Autoregressive Models, Multimodal Reasoning, Supervised Fine-tuning, CoT

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) hiện tại chủ yếu thực hiện suy luận bằng chuỗi suy luận (CoT) dựa trên văn bản, hạn chế hiệu quả của chúng trên các tác vụ thiên về thị giác. Mặc dù các phương pháp gần đây đã cố gắng đưa các "visual thoughts" (trạng thái ẩn liên tục) vào quá trình suy luận để cải thiện hiệu suất thị giác, điều này thường làm suy giảm khả năng suy luận logic dựa trên văn bản. Hạn chế cốt lõi nằm ở việc sử dụng một mô hình suy luận cứng nhắc, được định nghĩa trước, không thể lựa chọn linh hoạt phương thức suy nghĩ phù hợp nhất cho các truy vấn khác nhau. Cụ thể, các mẫu suy luận cố định và độ dài visual-thought cố định dẫn đến sự không khớp giữa phương thức suy luận và nhu cầu thực tế của câu hỏi.

II. Main Idea:

Giới thiệu SwimBird, một MLLM có khả năng chuyển đổi chế độ suy luận một cách linh hoạt, thích ứng với truy vấn. SwimBird tự động chuyển đổi giữa ba chế độ suy luận: (1) chỉ văn bản, (2) chỉ thị giác (sử dụng các trạng thái ẩn liên tục làm visual thoughts), và (3) suy luận thị giác-văn bản xen kẽ. Để đạt được khả năng này, SwimBird áp dụng một công thức autoregressive lai, thống nhất việc dự đoán token kế tiếp cho textual thoughts với dự đoán embedding kế tiếp cho visual thoughts. Ngoài ra, một chiến lược tuyển chọn chế độ suy luận có hệ thống đã được thiết kế để xây dựng SwimBird-SFT-92K, một tập dữ liệu fine-tuning có giám sát đa dạng bao gồm cả ba mẫu suy luận. SwimBird cũng loại bỏ giới hạn ngân sách cố định trong suy luận thị giác bằng cách tự động xác định số lượng token visual-thought liên tục, phân bổ nhiều tính toán ẩn hơn cho các truy vấn thị giác chuyên sâu và tránh các visual thoughts dư thừa cho các vấn đề thiên về văn bản.

III. Main Results:

SwimBird đạt được kết quả dẫn đầu trạng thái hiện tại (SoTA) và cải thiện đáng kể so với các phương pháp suy luận đa phương thức có mẫu cố định trước đó. Cụ thể:

Hiểu biết thị giác chi tiết/độ phân giải cao: Đạt 85.5 trên V* Bench, 79.0 trên HR-Bench 4K và 74.9 trên HR-Bench 8K. Nó vượt trội hơn các mô hình suy luận văn bản mạnh mẽ (như Qwen3-VL-8B-Instruct) và các mô hình tác tử đa phương thức SoTA (như Thyme và DeepEyesV2).
VQA tổng quát và suy luận đa phương thức: Đạt 71.2 trên MMStar, 73.1 trên RealWorldQA, 49.5 trên WeMath, 67.2 trên DynaMath và 65.8 trên MathVerse_MINI. Điều này cho thấy SwimBird giữ vững khả năng suy luận logic bằng văn bản trong khi cải thiện đáng kể hiệu suất trên các tác vụ đòi hỏi thị giác chuyên sâu.
Nghiên cứu cắt bỏ (Ablation studies): Xác nhận rằng ngân sách token tiềm ẩn tối đa (Nmax = 32) và hệ số trọng số mất mát MSE (λvis = 0.2) đóng vai trò quan trọng trong việc cân bằng hiệu suất.
Phân tích chế độ suy luận: Cho thấy SwimBird chọn chế độ suy luận thích ứng với truy vấn, phù hợp với mức độ khó chủ đạo của từng benchmark.

IV. Conclusion & Future Works:

SwimBird là một MLLM có khả năng chuyển đổi chế độ suy luận, giải quyết vấn đề về các mẫu suy luận cố định trong các khung CoT đa phương thức trước đây. Nó áp dụng một mô hình autoregressive lai và có thể chuyển đổi linh hoạt giữa suy luận chỉ văn bản, chỉ thị giác và thị giác-văn bản xen kẽ, đồng thời tự động phân bổ ngân sách token thị giác tiềm ẩn. Việc xây dựng tập dữ liệu SwimBird-SFT-92K với chiến lược tuyển chọn và gắn nhãn chế độ có hệ thống đã cho phép đào tạo đa chế độ hiệu quả. Các thử nghiệm toàn diện chứng minh rằng SwimBird đạt hiệu suất SoTA trên cả tác vụ suy luận tập trung vào văn bản và các tác vụ thị giác chuyên sâu đầy thách thức.

Hướng nghiên cứu tương lai có thể bao gồm:

Khám phá các chiến lược lựa chọn chế độ suy luận phức tạp hơn: Phát triển các cơ chế tự động, học được để lựa chọn chế độ suy luận dựa trên trạng thái suy luận đang phát triển và độ phức tạp của nhiệm vụ, thay vì chỉ dựa vào đầu vào ban đầu.
Mở rộng khả năng của SwimBird sang các chế độ đa phương thức khác: Nghiên cứu việc tích hợp thêm các phương thức suy luận dựa trên âm thanh, xúc giác hoặc các loại dữ liệu cảm biến khác để tạo ra một MLLM toàn diện hơn.
Cải thiện hiệu quả và khả năng mở rộng của việc sinh visual thoughts: Tập trung vào các phương pháp hiệu quả hơn để tạo và quản lý các embedding thị giác tiềm ẩn, chẳng hạn như nén, sinh có điều kiện ít tốn kém hơn hoặc sử dụng các biểu diễn thị giác sparsity để tối ưu hóa tài nguyên.

V. Brainstorming Space:

1. Publish Papers:

Khám phá các chiến lược lựa chọn chế độ suy luận phức tạp hơn: Hiện tại, SwimBird chuyển đổi dựa trên đầu vào. Một hướng nghiên cứu có thể là phát triển các chiến lược tự động, học được để lựa chọn chế độ (ví dụ: thông qua một bộ điều khiển học tăng cường) dựa trên trạng thái suy luận đang phát triển và độ phức tạp của nhiệm vụ.
Mở rộng khả năng của SwimBird sang các chế độ đa phương thức khác: Nghiên cứu này tập trung vào văn bản và thị giác. Hướng phát triển tiếp theo có thể bao gồm việc tích hợp các chế độ suy luận dựa trên âm thanh, xúc giác hoặc các cảm biến khác, tạo ra một MLLM thực sự toàn diện.
Cải thiện hiệu quả và khả năng mở rộng của việc sinh visual thoughts: Việc sinh các embedding thị giác động có thể tốn tài nguyên. Nghiên cứu có thể tập trung vào các phương pháp hiệu quả hơn để tạo và quản lý các visual thoughts, chẳng hạn như nén, sinh có điều kiện ít tốn kém hơn hoặc sử dụng các biểu diễn thị giác sparsity.

2. Patent:

Một ứng dụng điện thoại thông minh cho phép người dùng chụp ảnh hoặc quay video một vấn đề thực tế (ví dụ: lắp ráp đồ nội thất, sửa chữa thiết bị nhỏ). Ứng dụng sẽ tự động phân tích hình ảnh, xác định xem vấn đề cần suy luận bằng văn bản (ví dụ: đọc hướng dẫn) hay suy luận hình ảnh (ví dụ: nhận diện chi tiết nhỏ, thao tác không gian). Sau đó, nó sẽ đưa ra hướng dẫn từng bước, sử dụng hình ảnh được đánh dấu hoặc văn bản giải thích tùy theo nhu cầu của từng bước. Điều này giúp người dùng giải quyết các nhiệm vụ phức tạp hơn mà không cần phải mô tả mọi thứ bằng lời.
Một hệ thống hỗ trợ trên điện thoại di động giúp người khiếm thị "nhìn" và hiểu môi trường xung quanh một cách linh hoạt hơn. Thay vì chỉ mô tả vật thể bằng lời nói, hệ thống có thể chuyển sang "chế độ suy nghĩ hình ảnh" khi cần nhận diện các chi tiết nhỏ, phức tạp trong một bức ảnh (ví dụ: đọc nhãn thuốc, nhận diện khuôn mặt trong đám đông). Nó sẽ cung cấp thông tin chi tiết hơn thông qua phản hồi âm thanh hoặc xúc giác. Khi vấn đề yêu cầu suy luận logic (ví dụ: mô tả một cảnh quan tổng thể), nó sẽ tự động chuyển về chế độ mô tả bằng văn bản hiệu quả.
Một trợ lý học tập thông minh trên điện thoại có khả năng hỗ trợ các môn học đa dạng. Ví dụ, khi học sinh giải bài tập hình học, trợ lý sẽ "suy nghĩ" bằng hình ảnh để phân tích biểu đồ, nhận diện các mối quan hệ không gian, sau đó chuyển sang "suy nghĩ" bằng văn bản để giải thích các bước tính toán hoặc chứng minh. Đối với các bài toán vật lý cần hình dung chuyển động, nó có thể tạo ra các "tư duy hình ảnh" động để giúp học sinh hiểu rõ hơn trước khi giải thích công thức bằng văn bản. Hệ thống sẽ tự động điều chỉnh cách trình bày lời giải dựa trên bản chất của câu hỏi.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.06040
ArXiv Abstract	https://arxiv.org/abs/2602.06040
PDF Download	https://arxiv.org/pdf/2602.06040.pdf
Github Repository	https://github.com/Accio-Lab/SwimBird

28. BABE: Biology Arena BEnchmark (10 votes)

Tác giả: Junting Zhou, Jin Chen, Linfeng Hao, Denghui Cao, Zheyu Wang, Qiguang Chen, Chaoyou Fu, Jiaze Chen, Yuchen Wu, Ge Zhang, Mingxuan Wang, Wenhao Huang, Tong Yang

Xuất bản lúc: 2026-02-05

Tag: LLMs, Benchmarking, Biological AI, Experimental Reasoning, RAG, Deep Learning

I. Main Problem:

Sự tiến hóa nhanh chóng của các mô hình ngôn ngữ lớn (LLMs) đã mở rộng khả năng của chúng từ đối thoại cơ bản đến lý luận khoa học nâng cao. Tuy nhiên, các tiêu chuẩn đánh giá hiện có trong sinh học thường không thể đánh giá một kỹ năng quan trọng mà các nhà nghiên cứu cần: khả năng tích hợp kết quả thực nghiệm với kiến thức ngữ cảnh để rút ra các kết luận có ý nghĩa. Các tiêu chuẩn hiện tại tập trung vào các nhiệm vụ riêng lẻ như phân loại trình tự hoặc dự đoán cấu trúc, thiếu khả năng lý luận tích hợp dựa trên dữ liệu thực nghiệm và bối cảnh, cũng như thiếu phạm vi bao phủ miền rộng.

II. Main Idea:

BABE (Biology Arena BEnchmark) là một tiêu chuẩn toàn diện được thiết kế để đánh giá khả năng lý luận thực nghiệm của các hệ thống AI sinh học. BABE được xây dựng độc đáo từ các bài báo nghiên cứu được bình duyệt và các nghiên cứu sinh học trong thế giới thực, đảm bảo các nhiệm vụ phản ánh sự phức tạp và tính liên ngành của điều tra khoa học thực tế. Nó thách thức các mô hình thực hiện lý luận nhân quả và suy luận đa quy mô. BABE tập trung vào các nhiệm vụ yêu cầu mô hình tích hợp kết quả thực nghiệm với bối cảnh để rút ra kết luận sinh học, với các nhiệm vụ có độ khó cao, được lấy từ nghiên cứu và bao quát nhiều lĩnh vực sinh học. Khuôn khổ này sử dụng bộ ba câu hỏi có cấu trúc với các mối quan hệ "Tương quan Mạnh" (lý luận đa bước, tuần tự) và "Tương quan Yếu" (trích xuất song song, độc lập) để đánh giá sâu rộng.

III. Main Results:

OpenAI-GPT-5.1-high đạt hiệu suất tốt nhất với điểm trung bình cao nhất là 52.31, thể hiện khả năng lý luận mạnh mẽ và nhất quán trên cả các tập con tương quan mạnh (51.79) và yếu (52.86).
Gemini-3-Pro-Preview-Exp cho thấy lợi thế rõ rệt trong điều kiện tương quan yếu (55.16), vượt trội đáng kể so với điểm tương quan mạnh của nó (49.05).
Các mô hình hoạt động kém hơn thường gặp khó khăn với cả hai thiết lập tương quan.
BABE đòi hỏi lý luận sâu sắc: Các mô hình hoạt động tốt hơn dành phần lớn bước suy luận của họ cho lý luận sâu sắc, trong khi các mô hình hoạt động kém hơn thể hiện ít hành vi lý luận sâu sắc hơn và tự phản ánh quá mức. Tự phản ánh quá mức có thể làm suy giảm hiệu suất.
Hiệu suất mạnh mẽ trên BABE phụ thuộc vào lý luận sâu sắc được duy trì một cách ổn định.
Suy luận đa lần thử (multi-trial inference) nhất quán cải thiện hiệu suất nhưng có lợi ích cận biên giảm dần. Các mô hình lý luận mạnh hội tụ nhanh hơn, trong khi các mô hình tầm trung cho thấy tiềm năng tăng điểm cao hơn đáng kể từ suy luận đa lần thử.
Thành công trên BABE thường yêu cầu ít nhất 4–6 lần thử suy luận đối với các mô hình tiên tiến và hơn 8 lần thử đối với hầu hết các mô hình không tiên tiến.

IV. Conclusion & Future Works:

BABE lấp đầy một khoảng trống quan trọng trong việc đánh giá các hệ thống AI sinh học bằng cách chuyển từ năng lực cấp độ nhiệm vụ sang lý luận cấp độ nghiên cứu. Nó sẽ đóng vai trò là một nền tảng thử nghiệm có giá trị cho những tiến bộ trong tương lai của các LLMs dựa trên sinh học, các tác nhân nghiên cứu sâu và các hệ thống lý luận khoa học đa phương thức. Tiêu chuẩn này khuyến khích phát triển các mô hình lý luận giống như các nhà khoa học thực hành, dựa trên bằng chứng, duy trì sự nhất quán trong các bối cảnh thực nghiệm và cuối cùng đóng góp đáng tin cậy hơn vào khám phá sinh học thực tế.

V. Brainstorming Space:

1. Publish Papers:

Phát triển các mô hình ngôn ngữ lớn chuyên biệt được tối ưu hóa cho "lý luận thực nghiệm tích hợp" trên dữ liệu sinh học đa phương thức, nhằm vượt qua các hạn chế hiện tại và đáp ứng yêu cầu của các nhiệm vụ sinh học phức tạp.
Nghiên cứu sâu về "phân tích hành vi lý luận" của LLMs trong các nhiệm vụ khoa học phức tạp, đặc biệt là điều tra sự đánh đổi giữa "lý luận sâu sắc" (deep reasoning), "tự khám phá" (self-exploration) và "tự phản ánh" (self-reflection) để cải thiện hiệu quả và độ chính xác của quá trình lý luận.
Khám phá các chiến lược "suy luận đa lần thử" (multi-trial inference) và các kỹ thuật "tổng hợp kết quả" để nâng cao hiệu suất của LLMs trên các nhiệm vụ lý luận khoa học có độ khó cao, đặc biệt đối với các mô hình tầm trung có tiềm năng tăng cường hiệu suất đáng kể từ các phương pháp này.

2. Patent:

Ứng dụng Trợ lý Phân tích Báo cáo Y tế Thông minh trên Điện thoại: Một ứng dụng di động cho phép người dùng chụp ảnh hoặc tải lên các báo cáo xét nghiệm y tế (ví dụ: kết quả máu, hình ảnh X-quang). Ứng dụng này sẽ sử dụng trí tuệ nhân tạo để giải thích các chỉ số phức tạp, đưa ra các mối liên hệ giữa các kết quả khác nhau và cung cấp thông tin dễ hiểu về ý nghĩa sức khỏe tổng thể, giúp người dùng hiểu rõ hơn về tình trạng của mình mà không cần thuật ngữ chuyên ngành.
Hệ thống Gia sư Khoa học Cá nhân hóa trên Điện thoại: Một ứng dụng trên điện thoại di động hoạt động như một gia sư khoa học cá nhân, cho phép học sinh tải lên các tài liệu nghiên cứu khoa học hoặc phần sách giáo khoa liên quan đến thí nghiệm sinh học. Ứng dụng có thể trả lời các câu hỏi phức tạp về cách thí nghiệm được thực hiện, giải thích các mối quan hệ nhân quả giữa các yếu tố và giúp tích hợp thông tin từ nhiều nguồn, mô phỏng khả năng lý luận của một nhà khoa học.
Trợ lý Đọc Hiểu Nghiên cứu Khoa học trên Điện thoại: Một ứng dụng dành cho các nhà nghiên cứu hoặc sinh viên, cho phép họ tải lên toàn bộ một bài báo khoa học (ví dụ: dưới dạng PDF). Người dùng có thể đặt câu hỏi tích hợp về các phát hiện thực nghiệm trong bài báo. Ứng dụng sẽ tóm tắt dữ liệu thí nghiệm phức tạp, kết nối các phát hiện từ các phần khác nhau của bài báo và làm nổi bật các kết luận chính, đóng vai trò như một người đọc và phân tích tiên tiến ngay trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2602.05857
ArXiv Abstract	https://arxiv.org/abs/2602.05857
PDF Download	https://arxiv.org/pdf/2602.05857.pdf
Github Repository	N/A

📰 Summary of Papers
1. CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty (80 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
2. Spider-Sense: Intrinsic Risk Sensing for Efficient Agent Defense with Hierarchical Adaptive Screening (69 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
3. MemSkill: Learning and Evolving Memory Skills for Self-Evolving Agents (51 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
4. Length-Unbiased Sequence Policy Optimization: Revealing and Controlling Response Length Variation in RLVR (47 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
5. DFlash: Block Diffusion for Flash Speculative Decoding (40 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
6. Context Forcing: Consistent Autoregressive Video Generation with Long Context (34 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
7. Dr. Kernel: Reinforcement Learning Done Right for Triton Kernel Generations (28 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- IV. Kết luận & Công việc tương lai:
- V. Brainstorming Space:
- Các đường dẫn liên quan
8. RISE-Video: Can Video Generators Decode Implicit World Rules? (26 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
9. Accurate Failure Prediction in Agents Does Not Imply Effective Failure Prevention (26 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
10. ProAct: Agentic Lookahead in Interactive Environments (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
11. Privileged Information Distillation for Language Models (24 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
12. Reinforced Attention Learning (23 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
13. Reinforcement World Model Learning for LLM-based Agents (22 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
14. InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions (21 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
15. Retrieval-Infused Reasoning Sandbox: A Benchmark for Decoupling Retrieval and Reasoning Capabilities (19 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
16. Grounding and Enhancing Informativeness and Utility in Dataset Distillation (19 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
17. Semantic Search over 9 Million Mathematical Theorems (18 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
18. SocialVeil: Probing Social Intelligence of Language Agents under Communication Barriers (18 votes)
- I. Main Problem:
- I. Main Problem:
- II. Main Idea:
- II. Main Idea:
- III. Main Results:
- III. Main Results:
- IV. Conclusion & Future Works:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
19. Steering LLMs via Scalable Interactive Oversight (17 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
20. Infinite-World: Scaling Interactive World Models to 1000-Frame Horizons via Pose-Free Hierarchical Memory (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
21. Thinking in Frames: How Visual Context and Test-Time Scaling Empower Video Reasoning (15 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
22. LatentMem: Customizing Latent Memory for Multi-Agent Systems (14 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
23. SAGE: Benchmarking and Improving Retrieval for Deep Research Agents (12 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
24. Multi-Task GRPO: Reliable LLM Reasoning Across Tasks (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
25. Towards Reducible Uncertainty Modeling for Reliable Large Language Model Agents (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
26. DASH: Faster Shampoo via Batched Block Preconditioning and Efficient Inverse-Root Solvers (11 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
27. SwimBird: Eliciting Switchable Reasoning Mode in Hybrid Autoregressive MLLMs (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan
28. BABE: Biology Arena BEnchmark (10 votes)
- I. Main Problem:
- II. Main Idea:
- III. Main Results:
- IV. Conclusion & Future Works:
- V. Brainstorming Space:
- Các đường dẫn liên quan

📰 Summary of Papers​

1. CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty (80 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. Spider-Sense: Intrinsic Risk Sensing for Efficient Agent Defense with Hierarchical Adaptive Screening (69 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. MemSkill: Learning and Evolving Memory Skills for Self-Evolving Agents (51 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. Length-Unbiased Sequence Policy Optimization: Revealing and Controlling Response Length Variation in RLVR (47 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. DFlash: Block Diffusion for Flash Speculative Decoding (40 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. Context Forcing: Consistent Autoregressive Video Generation with Long Context (34 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. Dr. Kernel: Reinforcement Learning Done Right for Triton Kernel Generations (28 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

IV. Kết luận & Công việc tương lai:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. RISE-Video: Can Video Generators Decode Implicit World Rules? (26 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. Accurate Failure Prediction in Agents Does Not Imply Effective Failure Prevention (26 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

📰 Summary of Papers

1. CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty (80 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. Spider-Sense: Intrinsic Risk Sensing for Efficient Agent Defense with Hierarchical Adaptive Screening (69 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. MemSkill: Learning and Evolving Memory Skills for Self-Evolving Agents (51 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. Length-Unbiased Sequence Policy Optimization: Revealing and Controlling Response Length Variation in RLVR (47 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. DFlash: Block Diffusion for Flash Speculative Decoding (40 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. Context Forcing: Consistent Autoregressive Video Generation with Long Context (34 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. Dr. Kernel: Reinforcement Learning Done Right for Triton Kernel Generations (28 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

IV. Kết luận & Công việc tương lai:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. RISE-Video: Can Video Generators Decode Implicit World Rules? (26 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. Accurate Failure Prediction in Agents Does Not Imply Effective Failure Prevention (26 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space: