🤗 Daily Hugging Face Paper Digest - 2026-03-12

Báo cáo được tạo tự động vào lúc 2026-03-18 08:13:06 bằng mô hình gemini-2.5-flash.

📰 Summary of Papers

1. Bootstrapping Exploration with Group-Level Natural Language Feedback in Reinforcement Learning (195 votes)

Tác giả: Lei Huang, Xiang Cheng, Chenxiao Zhao, Guobin Shen, Junjie Yang, Xiaocheng Feng, Yuxuan Gu, Xing Yu, Bing Qin

Xuất bản lúc: 2026-03-04

Tag: RL, LLMs, Natural Language Processing, Exploration, Group-level Feedback, Off-policy learning, Self-refinement, GRPO

I. Main Problem:

Các thuật toán học tăng cường (RL) hiện tại cho mô hình ngôn ngữ lớn (LLMs) chỉ dựa vào phần thưởng vô hướng, bỏ qua thông tin phong phú trong phản hồi ngôn ngữ tự nhiên (NL) và dẫn đến việc khám phá không hiệu quả. Điều này khiến chính sách thiếu hướng dẫn rõ ràng để cải thiện, buộc nó phải dựa vào thử và sai tốn kém để khám phá các quỹ đạo có phần thưởng. Vấn đề càng trầm trọng hơn khi các lợi thế được chuẩn hóa theo nhóm sụp đổ, dẫn đến các gradient biến mất và làm ngừng hoàn toàn quá trình học.

II. Main Idea:

Công trình này đề xuất GOLF (GrOup-level Language Feedback), một framework RL khai thác rõ ràng phản hồi ngôn ngữ tự nhiên cấp độ nhóm để hướng dẫn khám phá mục tiêu thông qua các cải tiến có thể hành động. GOLF tổng hợp hai nguồn phản hồi bổ trợ: (i) các phê bình bên ngoài chỉ ra lỗi hoặc đề xuất sửa chữa mục tiêu, và (ii) các nỗ lực nội nhóm cung cấp các ý tưởng một phần thay thế và các mẫu lỗi đa dạng. Các phản hồi cấp độ nhóm này được tổng hợp để tạo ra các cải tiến chất lượng cao, được tiêm một cách thích ứng vào quá trình huấn luyện như các giàn giáo off-policy để cung cấp hướng dẫn mục tiêu trong các vùng phần thưởng thưa thớt. Đồng thời, GOLF cùng tối ưu hóa quá trình tạo và cải tiến trong một vòng lặp RL thống nhất, tạo ra một chu trình tích cực liên tục cải thiện cả hai khả năng.

III. Main Results:

GOLF đạt hiệu suất vượt trội và hiệu quả khám phá cao hơn đáng kể, đạt cải thiện 2.2 lần về hiệu quả mẫu so với các phương pháp RL chỉ được huấn luyện bằng phần thưởng vô hướng. Trên các benchmark không thể kiểm chứng, GOLF đạt hiệu suất cuối cùng tốt nhất, vượt trội hơn baseline mạnh nhất 22.7%. GOLF cải thiện nhanh chóng hơn ở giai đoạn đầu và hội tụ đến một mức cao hơn đáng kể. Trên các tác vụ có thể kiểm chứng (lý luận toán học, tuân thủ hướng dẫn, tạo mã), GOLF mang lại lợi ích nhất quán và cải thiện Pass@k, cho thấy phạm vi giải pháp rộng hơn và đa dạng hơn. Các nghiên cứu loại bỏ thành phần cũng xác nhận vai trò bổ trợ của các phê bình bên ngoài và các nỗ lực nội nhóm, cũng như hiệu quả của việc tối ưu hóa hỗn hợp chính sách và tối ưu hóa chung để tự cải tiến.

IV. Conclusion & Future Works:

Công trình này đã trình bày một framework RL được hướng dẫn bởi phản hồi ngôn ngữ tự nhiên nhằm cải thiện khám phá RL bằng cách biến phản hồi văn bản phong phú thành tín hiệu huấn luyện có thể hành động. Ý tưởng cốt lõi là sử dụng cải tiến và phê bình làm hướng dẫn để làm dày đặc tín hiệu học khi phần thưởng vô hướng thưa thớt, đồng thời tổng hợp phản hồi ở cấp độ nhóm để giảm tắc nghẽn thông tin và mở rộng không gian các hành vi được khám phá. Nhìn chung, kết quả cho thấy hướng dẫn bằng ngôn ngữ tự nhiên cung cấp một con đường thực tế và có thể mở rộng để khám phá hiệu quả và đa dạng hơn trong học tăng cường cho mô hình ngôn ngữ. Hướng nghiên cứu trong tương lai có thể kết hợp phương pháp của GOLF (khai thác các lỗi đa dạng) với các phương pháp tận dụng các thành công trong quá khứ để tạo ra tín hiệu học mạnh mẽ hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về việc kết hợp phản hồi cấp độ nhóm của GOLF (từ các mẫu lỗi đa dạng) với thông tin hậu nghiệm từ các nỗ lực thành công (ví dụ: như trong SDPO) để đạt được một chiến lược khám phá toàn diện và mạnh mẽ hơn cho LLMs.
Phát triển các kỹ thuật kiểm toán và giảm thiểu thiên vị mạnh mẽ cho các hệ thống phê bình và đánh giá dựa trên LLM, nhằm đảm bảo học tăng cường công bằng và có đạo đức khi sử dụng phản hồi ngôn ngữ tự nhiên.
Khám phá các cơ chế thích ứng để điều chỉnh động ngưỡng tiêm phản hồi off-policy (τ) dựa trên động lực học tập thời gian thực và độ phức tạp của nhiệm vụ, nhằm tối ưu hóa hơn nữa hiệu quả khám phá trong RL cho LLMs.

2. Patent:

Một hệ thống trợ lý ảo trên điện thoại di động có khả năng tự điều chỉnh thông minh: Hệ thống này không chỉ thực hiện yêu cầu của người dùng mà còn học hỏi từ các phản hồi ngầm và rõ ràng (ví dụ: người dùng sửa lại câu hỏi, câu hỏi tiếp theo, hoặc đánh giá nhanh 'chưa đúng'). Khi trợ lý đưa ra một phản hồi chưa tối ưu, nó sẽ tự động xem xét các tương tác tương tự trong quá khứ (intra-group attempts) hoặc các phản hồi chuẩn mực (external critiques) để cải thiện khả năng tương tác trong tương lai mà không cần huấn luyện lại liên tục.
Ứng dụng tạo nội dung cá nhân hóa trên điện thoại di động: Một ứng dụng trên điện thoại di động (ví dụ: để viết bài đăng mạng xã hội, truyện sáng tạo hoặc email nháp) tạo ra nội dung. Khi người dùng chỉnh sửa hoặc từ chối các tùy chọn được tạo, ứng dụng sẽ học hỏi từ những 'mẫu lỗi' và 'sửa chữa' của người dùng. Nó cũng xem xét các bản nháp thay thế mà nó đã tạo nhưng chưa hiển thị (intra-group attempts) để hiểu rõ hơn về mong muốn của người dùng, dẫn đến các đề xuất được cá nhân hóa và chất lượng cao hơn trong tương lai.
Ứng dụng học tập/dạy kèm tương tác trên điện thoại di động: Một ứng dụng học tập di động cung cấp bài tập và nhận câu trả lời của người dùng. Nếu câu trả lời của người dùng không chính xác, thay vì chỉ nói 'sai', ứng dụng sẽ cung cấp phản hồi ngôn ngữ tự nhiên (phê bình) giải thích lỗi. Nó cũng xem xét các câu trả lời sai phổ biến khác (intra-group failures) để hiểu rõ hơn quá trình tư duy của người dùng. Phản hồi kết hợp này cho phép ứng dụng điều chỉnh chiến lược giảng dạy và cung cấp các gợi ý hoặc giải thích mục tiêu hơn, làm cho trải nghiệm học tập trên điện thoại hiệu quả và cá nhân hóa hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.04597
ArXiv Abstract	https://arxiv.org/abs/2603.04597
PDF Download	https://arxiv.org/pdf/2603.04597.pdf
Github Repository	https://github.com/LuckyyySTA/GOLF

2. OpenClaw-RL: Train Any Agent Simply by Talking (115 votes)

Tác giả: Yinjie Wang, Xuyang Chen, Xiaolong Jin, Mengdi Wang, Ling Yang

Xuất bản lúc: 2026-03-10

Tag: Reinforcement Learning, LLMs, Agentic AI, On-Policy Distillation, Reward Modeling, Continuous Learning

I. Main Problem:

Các hệ thống tác nhân AI hiện tại chưa tận dụng hiệu quả các tín hiệu trạng thái tiếp theo (next-state signals) như phản hồi của người dùng, kết quả thực thi công cụ, hoặc thay đổi trạng thái giao diện người dùng làm nguồn học hỏi trực tuyến, liên tục. Điều này dẫn đến lãng phí thông tin quý giá bao gồm cả tín hiệu đánh giá (evaluative signals) về chất lượng hành động và tín hiệu chỉ thị (directive signals) về cách hành động nên được thay đổi, khiến các tác nhân khó cải thiện theo thời gian trong nhiều môi trường tương tác khác nhau (đàm thoại, terminal, GUI, SWE, gọi công cụ).

II. Main Idea:

OpenClaw-RL đề xuất một khuôn khổ thống nhất và bất đồng bộ để thu hồi cả tín hiệu đánh giá và chỉ thị từ các tín hiệu trạng thái tiếp theo, cho phép tác nhân học hỏi và cải thiện liên tục trong nhiều môi trường tương tác (cá nhân và tổng quát). Kiến trúc bất đồng bộ với bốn thành phần tách rời (phục vụ chính sách, môi trường, đánh giá PRM, huấn luyện chính sách) đảm bảo quá trình học diễn ra trực tuyến mà không bị gián đoạn. Hai phương pháp chính được sử dụng: (1) Binary RL sử dụng PRM Judge để chuyển đổi tín hiệu đánh giá thành phần thưởng vô hướng theo từng bước. (2) Hindsight-Guided On-Policy Distillation (OPD) trích xuất gợi ý văn bản từ trạng thái tiếp theo để tạo ngữ cảnh giáo viên nâng cao, cung cấp sự giám sát ưu thế ở cấp độ token. Hai phương pháp này được kết hợp thông qua một hàm mất mát có trọng số để đạt được hiệu suất tối ưu. Đối với các tác nhân tổng quát, hệ thống tích hợp phần thưởng theo bước và phần thưởng kết quả để cung cấp tín hiệu học tập dày đặc và đáng tin cậy.

III. Main Results:

Hệ thống OpenClaw-RL cho thấy khả năng cải thiện đáng kể cho các tác nhân cá nhân thông qua việc kết hợp Binary RL và Hindsight-Guided OPD, mang lại lợi ích hiệu suất đáng kể. Các thí nghiệm mô phỏng cho thấy tác nhân có thể tự tối ưu hóa chỉ bằng cách được sử dụng, ví dụ như một tác nhân sinh viên trở nên ít "AI-like" hơn và tác nhân giáo viên trở nên "thân thiện" hơn sau nhiều cuộc trò chuyện. Đối với các tác nhân tổng quát (terminal, GUI, SWE, gọi công cụ), khuôn khổ này hỗ trợ RL có thể mở rộng và chứng minh hiệu quả của việc tích hợp phần thưởng theo bước (process rewards) và phần thưởng kết quả (outcome rewards) cho các tác vụ dài hạn.

IV. Conclusion & Future Works:

OpenClaw-RL chứng minh rằng các tín hiệu trạng thái tiếp theo từ mọi tương tác của tác nhân là nguồn học tập trực tuyến quý giá. Bằng cách thu hồi cả thông tin đánh giá và chỉ thị, khuôn khổ này cho phép các tác nhân cá nhân hóa và các tác nhân tổng quát cải thiện liên tục. Trong tương lai, việc khám phá sâu hơn cách tận dụng các loại tín hiệu trạng thái tiếp theo đa dạng hơn và tinh chỉnh các phương pháp trích xuất gợi ý có thể mở rộng khả năng học hỏi của tác nhân trong các kịch bản phức tạp hơn.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về khả năng mở rộng của Hindsight-Guided On-Policy Distillation (OPD) cho các tác vụ phức tạp và môi trường đa phương thức: Khám phá cách mở rộng OPD để xử lý các tín hiệu chỉ thị từ hình ảnh (ví dụ: đánh dấu trên GUI) hoặc âm thanh, và tích hợp chúng vào việc đào tạo token-level hoặc sub-token-level để điều chỉnh hành vi của tác nhân trong các môi trường phức tạp hơn như robot hoặc thực tế ảo (VR). Điều này có thể bao gồm việc phát triển các phương pháp trích xuất gợi ý đa phương thức mới.
Phát triển các phương pháp đánh giá tín hiệu phản hồi từ người dùng (PRM Judge) có khả năng thích ứng và cá nhân hóa cao hơn: Nghiên cứu các mô hình judge học cách hiểu sở thích cá nhân của từng người dùng theo thời gian, hoặc học cách tổng hợp các loại phản hồi khác nhau (ví dụ: cảm xúc, ngữ điệu giọng nói) thành tín hiệu đánh giá tinh tế hơn. Mục tiêu là cho phép cá nhân hóa tác nhân sâu sắc hơn mà không cần phản hồi tường minh liên tục, đồng thời cải thiện khả năng thích ứng của judge với các ngữ cảnh tương tác mới.
Khám phá việc tích hợp OpenClaw-RL với các kiến trúc mô hình ngôn ngữ lớn (LLM) mới nổi để tối ưu hóa hiệu suất thời gian thực và hiệu quả tài nguyên: Điều tra cách OpenClaw-RL có thể được tối ưu hóa cho các kiến trúc LLM hiệu quả hơn (ví dụ: sparse models, Mixture-of-Experts) hoặc các phương pháp đào tạo liên tục (continual learning) để giảm thiểu chi phí tính toán và bộ nhớ. Mục tiêu là duy trì khả năng học hỏi trực tuyến từ các tín hiệu trạng thái tiếp theo trên các thiết bị hoặc môi trường có tài nguyên hạn chế.

2. Patent:

Hệ thống trợ lý cá nhân tự cải thiện dựa trên phản hồi ngầm trên điện thoại di động: Một ứng dụng trợ lý ảo trên điện thoại di động có khả năng tự động học hỏi và cải thiện cách phản hồi thông qua các tín hiệu ngầm từ người dùng. Ví dụ, nếu người dùng thường xuyên chỉnh sửa tin nhắn do trợ lý soạn thảo, hệ thống sẽ trích xuất "gợi ý chỉ thị" từ các chỉnh sửa đó để điều chỉnh phong cách hoặc nội dung phản hồi trong tương lai. Hoặc nếu người dùng thường xuyên hỏi lại một câu hỏi sau khi nhận được câu trả lời, đó là tín hiệu "đánh giá" tiêu cực. Hệ thống sẽ sử dụng các phản hồi này để làm cho trợ lý trở nên hữu ích, chính xác và phù hợp hơn với sở thích cá nhân của người dùng trên điện thoại mà không cần phản hồi tường minh liên tục.
Công nghệ bàn phím ảo di động học tập thích ứng thông minh: Một công nghệ bàn phím ảo trên điện thoại thông minh có khả năng liên tục học hỏi và cá nhân hóa dựa trên hành vi gõ của người dùng và các phản hồi từ ứng dụng. Ví dụ, nếu người dùng thường xuyên xóa một từ được gợi ý tự động (tín hiệu đánh giá tiêu cực) hoặc sửa lỗi chính tả (tín hiệu chỉ thị về cách nên gõ), hệ thống sẽ điều chỉnh mô hình ngôn ngữ và gợi ý từ của bàn phím theo thời gian. Điều này giúp cải thiện độ chính xác của tính năng tự động sửa và gợi ý từ, làm cho trải nghiệm gõ phím trên điện thoại trở nên nhanh chóng và ít lỗi hơn cho từng cá nhân người dùng.
Hệ thống tối ưu hóa trải nghiệm người dùng ứng dụng di động dựa trên tương tác thời gian thực: Một nền tảng tích hợp vào ứng dụng di động cho phép ứng dụng tự động phân tích hành vi người dùng (ví dụ: chạm, vuốt, thời gian dừng) và kết quả tương tác (ví dụ: hoàn thành tác vụ, lỗi, thoát ứng dụng) làm "tín hiệu trạng thái tiếp theo". Hệ thống sẽ sử dụng các tín hiệu này để tạo ra "gợi ý chỉ thị" hoặc "đánh giá" về hiệu quả của giao diện hoặc luồng công việc. Dựa trên đó, ứng dụng có thể tự động đề xuất hoặc thực hiện các điều chỉnh nhỏ về giao diện, luồng tính năng hoặc gợi ý cá nhân hóa để cải thiện trải nghiệm và sự hài lòng của người dùng trên điện thoại.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.10165
ArXiv Abstract	https://arxiv.org/abs/2603.10165
PDF Download	https://arxiv.org/pdf/2603.10165.pdf
Github Repository	https://github.com/Gen-Verse/OpenClaw-RL

3. Flash-KMeans: Fast and Memory-Efficient Exact K-Means (74 votes)

Tác giả: Shuo Yang, Haocheng Xi, Yilong Zhao, Muyang Li, Xiaoze Fan, Jintao Zhang, Han Cai, Yujun Lin, Xiuyu Li, Kurt Keutzer, Song Han, Chenfeng Xu, Ion Stoica

Xuất bản lúc: 2026-03-10

Tag: k-means, Clustering, GPU, Performance Optimization, Memory Efficiency, Hardware-aware, AI Systems, Large-scale data

I. Main Problem:

Các triển khai k-means hiện có trên GPU bị tắc nghẽn nghiêm trọng bởi các ràng buộc hệ thống cấp thấp, thay vì độ phức tạp thuật toán lý thuyết. Cụ thể, giai đoạn gán (assignment stage) chịu tắc nghẽn I/O nghiêm trọng do việc vật liệu hóa ma trận khoảng cách N×K lớn trong HBM. Đồng thời, giai đoạn cập nhật tâm (centroid update stage) bị phạt nặng bởi tranh chấp ghi nguyên tử cấp phần cứng do các phép tổng hợp token kiểu phân tán không đều. Ngoài ra, các ràng buộc hệ thống như chi phí truyền thông host-to-device cho dữ liệu lớn và chi phí điều chỉnh cấu hình cao cho các hình dạng động cũng là thách thức.

II. Main Idea:

Flash-KMeans đề xuất một triển khai k-means hiệu quả, nhận biết I/O và không tranh chấp cho các tác vụ GPU hiện đại mà không thay đổi công thức toán học hay đưa ra các xấp xỉ. Nó giới thiệu hai cải tiến cốt lõi ở cấp kernel:

FlashAssign: Kết hợp tính toán khoảng cách với thao tác online argmin để bỏ qua hoàn toàn việc vật liệu hóa ma trận khoảng cách trung gian, giảm tắc nghẽn I/O.
Sort-Inverse Update: Xây dựng một ánh xạ nghịch đảo rõ ràng để biến đổi các phép phân tán nguyên tử có tranh chấp cao thành các phép giảm cục bộ cấp phân đoạn có băng thông cao, giải quyết vấn đề tranh chấp ghi. Ngoài ra, nó tích hợp các thiết kế đồng bộ thuật toán-hệ thống bao gồm chunked stream overlap để ẩn chi phí giao tiếp PCIe cho các tác vụ lớn ngoài bộ nhớ và cache-aware compile heuristic để đảm bảo triển khai thực tế với chi phí điều chỉnh cấu hình thấp.

III. Main Results:

Flash-KMeans đạt được những kết quả vượt trội:

Tăng tốc độ đầu cuối lên tới 17.9 lần so với các phương pháp cơ sở tốt nhất.
Vượt trội hơn các thư viện tiêu chuẩn công nghiệp như cuML tới 33 lần và FAISS hơn 200 lần.
Ở cấp độ kernel, FlashAssign và Sort-Inverse Update mang lại tốc độ tăng tốc lần lượt lên tới 21.2 lần và 6.3 lần.
Thiết kế đồng bộ theo pipeline cho phép thực thi liền mạch trên một tỷ điểm dữ liệu ngoài bộ nhớ với tốc độ tăng tốc 10.5 lần.
Các phương pháp heuristic giảm chi phí điều chỉnh cấu hình tới 175 lần với sự suy giảm hiệu suất gần như bằng không (dưới 0.3%). Các kết quả này chứng minh Flash-KMeans cung cấp khả năng tăng tốc chính xác về mặt toán học, có khả năng mở rộng và triển khai cao trên các tác vụ AI đa dạng.

IV. Conclusion & Future Works:

Flash-KMeans là một triển khai k-means được tối ưu hóa cao, nhận biết I/O, được thiết kế để vượt qua các tắc nghẽn nghiêm trọng về bộ nhớ và đồng bộ hóa trong các tác vụ GPU hiện đại. Bằng cách tái cấu trúc luồng dữ liệu thực thi thông qua FlashAssign để loại bỏ việc vật liệu hóa ma trận khoảng cách lớn và Sort-Inverse Update để giải quyết tranh chấp nguyên tử phía ghi, cùng với pipeline dữ liệu ngoài bộ nhớ không đồng bộ và các heuristic biên dịch nhận biết hình dạng, Flash-KMeans mang lại hiệu suất vượt trội và khả năng triển khai mạnh mẽ. Điều này định vị Flash-KMeans như một thành phần phân cụm cơ bản mạnh mẽ, chính xác về mặt toán học và có khả năng triển khai cao cho cơ sở hạ tầng AI tạo sinh thế hệ tiếp theo.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu mở rộng các nguyên tắc tối ưu hóa I/O và giảm tranh chấp của Flash-KMeans (như FlashAssign và Sort-Inverse Update) để áp dụng cho các thuật toán học máy và phân cụm khác (ví dụ: Gaussian Mixture Models, DBSCAN, hoặc các thuật toán dựa trên đồ thị) trên các bộ tăng tốc phần cứng, nhằm cải thiện hiệu suất và khả năng mở rộng.
Phát triển các phương pháp tích hợp Flash-KMeans vào các hệ thống AI đầu cuối phức tạp hơn, đặc biệt là trong các mô hình ngôn ngữ lớn (LLMs) cho các ứng dụng như lượng tử hóa vector, định tuyến token thưa thớt, hoặc nén bộ nhớ KV cache, tập trung vào việc tối ưu hóa toàn bộ pipeline để đạt được độ trễ thấp và thông lượng cao trong môi trường trực tuyến.
Khám phá việc điều chỉnh và tối ưu hóa Flash-KMeans cho các kiến trúc phần cứng khác nhau ngoài NVIDIA GPUs, bao gồm các bộ tăng tốc AI chuyên dụng (ví dụ: TPUs, chip AI cạnh) hoặc các kiến trúc CPU tiên tiến, để tận dụng tối đa các đặc điểm bộ nhớ và tính toán riêng của từng nền tảng.

2. Patent:

Hệ thống phân loại và tổ chức ảnh tức thì trên điện thoại di động: Một công nghệ cho phép điện thoại di động sử dụng một phiên bản k-means tối ưu hóa tài nguyên để tự động phân loại và nhóm ảnh trong thư viện ảnh (ví dụ: theo chủ đề, địa điểm, sự kiện) một cách nhanh chóng và hiệu quả, ngay cả với hàng nghìn ảnh. Công nghệ này sẽ thực hiện phân tích đặc trưng ảnh và phân cụm ngay trên thiết bị mà không cần tải lên đám mây, giúp bảo mật dữ liệu cá nhân, tiết kiệm băng thông và tăng tốc độ xử lý.
Cơ chế tối ưu hóa bộ nhớ cho các ứng dụng AI trên thiết bị di động: Một phương pháp được cấp bằng sáng chế nhằm giảm thiểu việc sử dụng bộ nhớ tạm thời cho các tác vụ học máy trên điện thoại di động, đặc biệt là các tác vụ liên quan đến phân cụm hoặc tìm kiếm lân cận. Bằng cách áp dụng nguyên lý của FlashAssign để tránh việc vật liệu hóa các ma trận dữ liệu lớn không cần thiết, công nghệ này giúp các ứng dụng AI chạy mượt mà hơn, tiêu thụ ít năng lượng hơn và hoạt động hiệu quả hơn trên phần cứng di động với bộ nhớ hạn chế.
Hệ thống gợi ý nội dung cá nhân hóa theo thời gian thực trên di động: Một công nghệ cho phép các ứng dụng trên điện thoại (ví dụ: ứng dụng tin tức, mua sắm, phát trực tuyến) nhanh chóng phân tích và nhóm các hoạt động hoặc sở thích gần đây của người dùng thành các cụm theo thời gian thực. Hệ thống này sử dụng một phiên bản k-means được tăng tốc để cập nhật các cụm sở thích, cho phép ứng dụng đưa ra các gợi ý nội dung hoặc sản phẩm cá nhân hóa ngay lập tức mà không cần độ trễ của việc xử lý trên đám mây, cải thiện trải nghiệm người dùng và giữ cho dữ liệu hành vi cục bộ và riêng tư.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.09229
ArXiv Abstract	https://arxiv.org/abs/2603.09229
PDF Download	https://arxiv.org/pdf/2603.09229.pdf
Github Repository	https://github.com/svg-project/flash-kmeans

4. LLM2Vec-Gen: Generative Embeddings from Large Language Models (38 votes)

Tác giả: Parishad BehnamGhader, Vaibhav Adlakha, Fabian David Schmidt, Nicolas Chapados, Marius Mosbach, Siva Reddy

Xuất bản lúc: 2026-03-11

Tag: LLMs, Embeddings, Self-supervised Learning, Text Encoding, Retrieval, Safety Alignment, Reasoning, Distillation

I. Main Problem:

Các bộ nhúng văn bản dựa trên LLM truyền thống thường mã hóa nội dung ngữ nghĩa của đầu vào (mô hình lấy đầu vào làm trung tâm). Cách tiếp cận này gặp khó khăn khi các tác vụ nhúng yêu cầu ánh xạ nhiều đầu vào đa dạng tới các đầu ra tương tự trong không gian nhúng chung, tạo ra một "khoảng cách đầu vào-đầu ra". Việc đào tạo các mô hình như vậy thường đòi hỏi học đối nghịch trên dữ liệu cặp có gắn nhãn quy mô lớn. Ngoài ra, các bộ mã hóa lấy đầu vào làm trung tâm thường biểu diễn ý định độc hại của các truy vấn nguy hiểm thay vì phản hồi từ chối an toàn của mô hình, và gặp khó khăn trong việc chuyển giao khả năng suy luận của LLM (thường thể hiện ở đầu ra) vào không gian nhúng.

II. Main Idea:

Chúng tôi đề xuất LLM2VEC-GEN, một phương pháp tự giám sát mới, thay vì mã hóa đầu vào, nó học cách biểu diễn "phản hồi tiềm năng" của LLM đối với đầu vào. Phương pháp này thêm các token đặc biệt có thể huấn luyện vào từ vựng của LLM, nối chúng vào đầu vào và tối ưu hóa chúng để biểu diễn phản hồi của LLM trong một chuỗi có độ dài cố định. Quá trình huấn luyện được hướng dẫn bởi hai mục tiêu bổ sung: (1) tái cấu trúc phản hồi, nơi LLM đóng băng tái cấu trúc phản hồi của chính nó từ các nhúng được tạo ra, và (2) căn chỉnh nhúng, nơi chúng tôi giảm thiểu khoảng cách giữa nhúng được tạo và nhúng phản hồi của một "giáo viên nhúng" không giám sát. LLM cốt lõi vẫn được giữ nguyên (frozen), và quá trình huấn luyện chỉ yêu cầu các truy vấn không gắn nhãn cùng với các token đặc biệt và các lớp chiếu nhẹ.

III. Main Results:

LLM2VEC-GEN đạt hiệu suất tự giám sát tiên tiến (SOTA) trên bộ benchmark Massive Text Embedding Benchmark (MTEB), cải thiện 9.3% so với giáo viên nhúng không giám sát tốt nhất (đạt 62.1 điểm với Qwen-3-8B) và thu hẹp hơn 60% khoảng cách so với các phương pháp có giám sát. Phương pháp này cũng đạt được mức giảm tới 43.2% trong việc truy xuất nội dung độc hại trên AdvBench-IR và cải thiện 29.3% khả năng suy luận trong các tác vụ nhúng trên BRIGHT. Các nhúng học được có khả năng diễn giải và có thể được giải mã ngược thành văn bản để tiết lộ nội dung ngữ nghĩa của chúng. Kết quả nhất quán trên nhiều họ mô hình (Llama-3.x, Qwen-2.5, Qwen-3) và kích thước khác nhau, chứng minh tính hiệu quả của việc mã hóa các phản hồi tiềm năng của LLM.

IV. Conclusion & Future Works:

LLM2VEC-GEN là một framework tự giám sát đột phá, mã hóa phản hồi tiềm năng của LLM thay vì truy vấn đầu vào, từ đó thu hẹp khoảng cách đầu vào-đầu ra truyền thống. Nó đạt được hiệu suất SOTA tự giám sát trên MTEB, chuyển giao hiệu quả các khả năng quan trọng của LLM như an toàn và suy luận vào không gian nhúng, đồng thời duy trì tính khả diễn giải cao. Các nhúng tạo sinh này mang lại một giải pháp thay thế mạnh mẽ để thích ứng các mô hình ngôn ngữ lớn thành bộ mã hóa văn bản, đặc biệt trong các môi trường thiếu dữ liệu gắn nhãn. Các hướng nghiên cứu trong tương lai bao gồm: khám phá chế độ JEPA đầy đủ (Full JEPA mode) để loại bỏ sự phụ thuộc vào giáo viên nhúng bên ngoài, phát triển suy luận siêu tốc thông qua "xích liên kết tiềm ẩn" (latent chaining) các token nén, và sử dụng các biểu diễn tiềm ẩn dày đặc, cố định độ dài cho giao tiếp giữa các tác nhân trong hệ thống đa tác nhân.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về chế độ JEPA đầy đủ cho nhúng tạo sinh: Điều tra khả năng loại bỏ hoàn toàn sự phụ thuộc vào giáo viên nhúng bên ngoài bằng cách sử dụng cùng một LLM đóng băng làm cả mô hình thế giới và bộ mã hóa đích, đồng thời đánh giá liệu mục tiêu tái cấu trúc có còn cần thiết cho khả năng diễn giải hay không.
Khám phá chuỗi tiềm ẩn để suy luận đa bước và tăng tốc suy luận: Đánh giá hiệu quả của việc xích liên kết các token nén để thực hiện suy luận đa bước với tốc độ cao, so sánh với các phương pháp tự hồi quy truyền thống trong các tác vụ phức tạp.
Tối ưu hóa giao thức giao tiếp tiềm ẩn cho hệ thống đa tác nhân: Phát triển và kiểm tra các giao thức giao tiếp giữa các tác nhân dựa trên LLM sử dụng biểu diễn tiềm ẩn dày đặc, cố định độ dài, tập trung vào hiệu quả, tính minh bạch và khả năng chuyển giao đáng tin cậy của việc căn chỉnh an toàn trong các môi trường đa tác nhân phức tạp.

2. Patent:

Hệ thống tìm kiếm thông minh an toàn trên điện thoại: Một tính năng tìm kiếm trên điện thoại di động giúp người dùng tìm kiếm thông tin an toàn hơn. Khi người dùng nhập một truy vấn có khả năng gây hại hoặc nhạy cảm, hệ thống sẽ mã hóa ý định tìm kiếm không phải là truy vấn gốc mà là phản hồi từ chối an toàn của mô hình ngôn ngữ lớn (ví dụ: "Tôi không thể giúp đỡ với yêu cầu đó"). Điều này đảm bảo rằng các kết quả tìm kiếm được hiển thị sẽ không bao gồm nội dung độc hại hoặc không phù hợp, ngay cả khi truy vấn ban đầu có ý định xấu.
Trợ lý ảo hiểu ngữ cảnh sâu sắc: Một trợ lý ảo trên điện thoại có khả năng hiểu sâu sắc hơn ý định của người dùng bằng cách dự đoán "phản hồi" của mô hình ngôn ngữ lớn cho một câu hỏi. Thay vì chỉ mã hóa câu hỏi, trợ lý sẽ mã hóa những gì mô hình ngôn ngữ lớn có thể trả lời. Điều này cho phép trợ lý cung cấp các phản hồi chính xác và liên quan hơn, đặc biệt đối với các truy vấn phức tạp hoặc yêu cầu suy luận, giúp người dùng tương tác tự nhiên và hiệu quả hơn với thiết bị của họ.
Giao tiếp hiệu quả giữa các ứng dụng thông minh: Một phương pháp cho phép các ứng dụng thông minh trên điện thoại di động giao tiếp với nhau bằng cách sử dụng các "mã đại diện ý nghĩa" ngắn gọn, cố định thay vì các chuỗi văn bản dài. Điều này giúp tăng tốc độ và hiệu quả truyền tải thông tin giữa các ứng dụng (ví dụ: một ứng dụng lịch có thể gửi "mã ý nghĩa" của một cuộc họp đến ứng dụng email để tạo thư mời mà không cần chuyển toàn bộ văn bản mô tả cuộc họp), đồng thời vẫn đảm bảo rằng các mã này có thể được giải mã thành văn bản rõ ràng để người dùng hoặc các ứng dụng khác dễ dàng hiểu được.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.10913
ArXiv Abstract	https://arxiv.org/abs/2603.10913
PDF Download	https://arxiv.org/pdf/2603.10913.pdf
Github Repository	https://github.com/McGill-NLP/llm2vec-gen

5. In-Context Reinforcement Learning for Tool Use in Large Language Models (36 votes)

Tác giả: Yaoqi Ye, Yiran Zhao, Keyu Duan, Zeyu Zheng, Kenji Kawaguchi, Cihang Xie, Michael Qizhe Shieh

Xuất bản lúc: 2026-03-09

Tag: LLMs, Reinforcement Learning, Tool Use, In-Context Learning, Few-shot Learning, Data Efficiency, Question Answering, Code Execution

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLM) bị giới hạn bởi kiến thức nội bộ cố định, làm giảm hiệu suất trên các tác vụ phức tạp. Mặc dù việc tăng cường LLM bằng các công cụ bên ngoài là một cách tiếp cận hứa hẹn, nhưng việc huấn luyện các mô hình này sử dụng công cụ hiệu quả vẫn là một thách thức đáng kể. Các phương pháp hiện có thường dựa vào quy trình bắt đầu lạnh (cold-start) bao gồm điều chỉnh tinh chỉnh có giám sát (SFT) sau đó là học tăng cường (RL), đòi hỏi lượng lớn dữ liệu được gán nhãn cho SFT, vốn tốn kém để chú thích hoặc tổng hợp. Việc áp dụng trực tiếp RL từ đầu cũng thường cho hiệu suất kém do mô hình thiếu khả năng sử dụng công cụ ban đầu và gặp khó khăn trong việc khám phá không hiệu quả.

II. Main Idea:

Nghiên cứu đề xuất In-Context Reinforcement Learning (ICRL), một khung RL-only loại bỏ nhu cầu về SFT bằng cách tận dụng kỹ thuật few-shot prompting trong giai đoạn rollout của RL. Cụ thể, ICRL giới thiệu các ví dụ trong ngữ cảnh (in-context examples) trong các lời nhắc rollout để dạy mô hình cách gọi các công cụ bên ngoài. Khi quá trình huấn luyện tiến triển, số lượng ví dụ trong ngữ cảnh dần dần được giảm bớt, cuối cùng đạt đến thiết lập zero-shot, nơi mô hình học cách tự gọi công cụ một cách độc lập. Mô hình được tối ưu hóa bằng RL với một hàm thưởng cân bằng giữa độ chính xác của câu trả lời và tính đúng đắn của định dạng. Để đảm bảo tính ổn định, phương pháp sử dụng GRPO với loss masking để bỏ qua các đầu ra công cụ không thể huấn luyện. ICRL kết hợp hiệu quả của prompting với khả năng thích ứng của RL, cung cấp một giải pháp thay thế có khả năng mở rộng và hiệu quả dữ liệu so với các quy trình SFT truyền thống.

III. Main Results:

ICRL đạt hiệu suất vượt trội (state-of-the-art) trên nhiều điểm chuẩn suy luận và sử dụng công cụ. Nó vượt trội hơn các phương pháp cạnh tranh tốt nhất như ZeroSearch, Search-R1 và ParallelSearch tới 8.9% trên Qwen2.5-3B và 7.3% trên Qwen2.5-7B về độ chính xác khớp chính xác trung bình. Đặc biệt, ICRL đạt được những cải thiện đáng kể ở mức hai chữ số trên các tác vụ suy luận đa bước như TriviaQA, 2Wiki và Musique. ICRL cũng cho thấy hiệu quả dữ liệu vượt trội, đạt được hiệu suất cao hơn mà không cần SFT hoặc dữ liệu được gán nhãn, khác với các phương pháp như O2-Searcher. Ngoài ra, ICRL còn thể hiện khả năng tổng quát hóa tốt sang các miền suy luận tăng cường công cụ khác, chẳng hạn như giải toán bằng cách thực thi mã, sánh ngang hoặc vượt trội hơn các phương pháp SFT+RL như ReTool mà không cần huấn luyện trước có giám sát. Nghiên cứu cũng chỉ ra rằng một lịch trình giảm ví dụ ba giai đoạn (320) đạt độ chính xác EM cao hơn đáng kể so với lịch trình bốn giai đoạn (321~0), cho thấy việc giảm độ dài rollout quá sớm có thể làm suy yếu khả năng suy luận đa bước.

IV. Conclusion & Future Works:

Nghiên cứu giới thiệu ICRL, một khung đơn giản nhưng mạnh mẽ để huấn luyện LLM sử dụng công cụ thông qua học tăng cường trong ngữ cảnh, không yêu cầu SFT hoặc các dấu vết công cụ được gán nhãn. Bằng cách kết hợp các ví dụ few-shot trực tiếp vào các lời nhắc rollout của RL và dần dần loại bỏ chúng, ICRL cho phép các mô hình chuyển từ bắt chước sang sử dụng công cụ tự chủ thông qua học tập dựa trên phần thưởng. Phương pháp này đạt hiệu suất mạnh mẽ trên nhiều điểm chuẩn QA và suy luận, vượt trội hơn các cách tiếp cận hiện có dựa trên dữ liệu có giám sát hoặc các chính sách sử dụng công cụ cố định. ICRL cũng tổng quát hóa trên các miền khác nhau, bao gồm tìm kiếm web và thực thi mã, chứng tỏ tính linh hoạt và hiệu quả của nó. Những kết quả này nhấn mạnh ICRL là một giải pháp thay thế có khả năng mở rộng và hiệu quả dữ liệu cho các quy trình SFT+RL truyền thống để kích hoạt các mô hình ngôn ngữ tăng cường công cụ.

V. Brainstorming Space:

1. Publish Papers:

Tối ưu hóa chiến lược giảm dần ví dụ trong ngữ cảnh cho học tăng cường: Nghiên cứu sâu hơn về các chiến lược curriculum (ví dụ, số lượng giai đoạn, tốc độ giảm) để tối ưu hóa quá trình chuyển đổi từ học bắt chước sang sử dụng công cụ tự chủ, đặc biệt là trên các tác vụ yêu cầu suy luận nhiều bước hoặc sử dụng công cụ phức tạp.
Mở rộng ICRL cho việc học sử dụng công cụ phức tạp và đa phương thức: Áp dụng khung ICRL để huấn luyện LLM sử dụng đồng thời nhiều loại công cụ khác nhau (ví dụ: công cụ tìm kiếm, trình thông dịch code, API chuyên biệt, công cụ tạo hình ảnh) hoặc trong các môi trường đa phương thức (ví dụ: kết hợp hình ảnh và văn bản để đưa ra quyết định hoặc thực hiện tác vụ).
Nghiên cứu tính ổn định và khả năng mở rộng của ICRL trên các mô hình ngôn ngữ lớn hơn và tập dữ liệu đa dạng hơn: Đánh giá hiệu suất và tính ổn định của ICRL trên các mô hình LLM có kích thước lớn hơn đáng kể và các bộ dữ liệu đa dạng hơn, bao gồm các miền kiến thức chuyên sâu và ngôn ngữ khác tiếng Anh, để xác định giới hạn và tiềm năng mở rộng của phương pháp.

2. Patent:

Hệ thống trợ lý cá nhân thông minh trên điện thoại di động tự động hóa tác vụ: Một ứng dụng trên điện thoại di động sử dụng công nghệ học tăng cường trong ngữ cảnh để huấn luyện trợ lý ảo cá nhân. Trợ lý này có thể tự động học cách sử dụng các tính năng của điện thoại (ví dụ: đặt báo thức, gửi tin nhắn, tìm kiếm trên web, điều khiển các thiết bị nhà thông minh) chỉ từ một vài ví dụ tương tác của người dùng. Sau đó, nó sẽ dần dần tự chủ thực hiện các tác vụ phức tạp mà không cần người dùng phải huấn luyện từng bước, giúp giảm thiểu thao tác thủ công và nâng cao trải nghiệm người dùng.
Công cụ tạo kịch bản tự động thông minh cho ứng dụng di động: Một công cụ dành cho nhà phát triển cho phép huấn luyện một trí tuệ nhân tạo để tự động tạo ra các kịch bản kiểm thử hoặc quy trình tự động hóa tác vụ trong ứng dụng di động. Bằng cách cung cấp một vài ví dụ về cách người dùng tương tác với ứng dụng (ví dụ: nhấn nút, nhập văn bản, vuốt màn hình), hệ thống sẽ học cách tạo ra các chuỗi hành động phức tạp để kiểm tra các tính năng hoặc thực hiện các tác vụ lặp đi lặp lại một cách hiệu quả, giảm thiểu thời gian và công sức mã hóa thủ công.
Nền tảng học tập cá nhân hóa thông minh với khả năng tìm kiếm tích hợp: Một nền tảng học tập trực tuyến trên di động sử dụng công nghệ tương tự để huấn luyện một gia sư ảo thông minh. Gia sư này có thể tự động tìm kiếm thông tin trên internet hoặc truy cập các tài liệu học tập chuyên biệt khi người dùng đặt câu hỏi nằm ngoài kiến thức nội bộ của nó. Ban đầu, gia sư được hướng dẫn bằng một vài ví dụ về cách tìm kiếm và tổng hợp thông tin, sau đó nó sẽ dần tự chủ trong việc cung cấp câu trả lời chính xác và đầy đủ, cải thiện đáng kể trải nghiệm học tập cá nhân hóa cho từng người dùng.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08068
ArXiv Abstract	https://arxiv.org/abs/2603.08068
PDF Download	https://arxiv.org/pdf/2603.08068.pdf
Github Repository	https://github.com/applese233/ICRL

6. MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents (28 votes)

Tác giả: Kangsan Kim, Yanlai Yang, Suji Kim, Woongyeong Yeo, Youngwan Lee, Mengye Ren, Sung Ju Hwang

Xuất bản lúc: 2026-03-10

Tag: Egocentric Video, Multi-Agent System, Question Answering, Video QA, LLMs, Benchmarking, Embodied AI

I. Main Problem:

Các mô hình tác nhân hiện thân (embodied agents) đang trở nên mạnh mẽ hơn, nhưng việc giao tiếp hiệu quả giữa người dùng và hệ thống đa tác nhân vẫn là một thách thức. Cụ thể, các vấn đề chính bao gồm: 1) Nén và truyền tải hiệu quả lượng lớn dữ liệu đầu vào cảm biến cá nhân dưới dạng video. 2) Tổng hợp chính xác nhiều video egocentric (góc nhìn thứ nhất) để xây dựng bộ nhớ cấp độ hệ thống. 3) Các nghiên cứu trước đây về hệ thống đa tác nhân chủ yếu tập trung vào thuật toán định hướng mục tiêu và phân bổ nhiệm vụ, bỏ qua việc hiểu ngữ cảnh và trả lời câu hỏi. 4) Quản lý và lý luận trên các luồng video egocentric cực kỳ dài từ nhiều tác nhân, vượt quá khả năng xử lý của các mô hình LLM video hiện tại chỉ giới hạn trong vài giờ.

II. Main Idea:

Nghiên cứu này định nghĩa chính thức một vấn đề mới: hiểu đồng thời nhiều video egocentric dài hạn được thu thập từ các tác nhân hiện thân. Để thúc đẩy nghiên cứu trong lĩnh vực này, các tác giả giới thiệu MultiAgent-EgoQA (MA-EgoQA), một bộ tiêu chuẩn (benchmark) với 1.700 câu hỏi độc đáo cho các luồng egocentric đa tác nhân, bao gồm năm danh mục: Tương tác xã hội, Phối hợp nhiệm vụ, Lý thuyết tâm trí, Lý luận thời gian và Tương tác môi trường. Ngoài ra, nghiên cứu đề xuất một mô hình cơ sở đơn giản có tên EgoMAS, tận dụng bộ nhớ chia sẻ giữa các tác nhân và cơ chế truy xuất động theo từng tác nhân. EgoMAS xây dựng bộ nhớ chia sẻ dựa trên sự kiện từ video đa tác nhân và truy xuất thông tin liên quan một cách linh hoạt.

III. Main Results:

Các mô hình hiện tại (bao gồm cả LLM và LLM video tiên tiến) gặp khó khăn trong việc xử lý hiệu quả nhiều luồng video egocentric và không thể nắm bắt được sự phức tạp của việc hiểu video egocentric đa tác nhân. EgoMAS, mặc dù đơn giản, đã vượt trội hơn baseline 4.48% khi sử dụng cùng kiến trúc Gemini-2.5-Flash. Thậm chí, EgoMAS với Qwen3VL-8B-Thinking đạt hiệu suất tương đương với baseline Gemini hoạt động ở ngữ cảnh 1M token. Những kết quả này nhấn mạnh cả độ khó của nhiệm vụ và tiềm năng của các phương pháp chuyên biệt như EgoMAS.

IV. Conclusion & Future Works:

Nghiên cứu này định nghĩa vấn đề trả lời câu hỏi trên video egocentric đa tác nhân và giới thiệu bộ tiêu chuẩn MA-EgoQA cùng mô hình cơ sở EgoMAS. Kết quả chỉ ra rằng các phương pháp hiện tại không thể xử lý hiệu quả các luồng egocentric đa tác nhân, làm nổi bật sự cần thiết của những tiến bộ trong tương lai về hiểu biết cấp độ hệ thống giữa các tác nhân. Các hướng nghiên cứu tiếp theo cần tập trung vào việc phát triển các mô hình và chiến lược mạnh mẽ hơn để xử lý lượng lớn dữ liệu video egocentric dài hạn và tổng hợp thông tin một cách thông minh từ nhiều góc nhìn để đạt được sự hiểu biết toàn diện về hệ thống.

V. Brainstorming Space:

1. Publish Papers:

Nén và Tổng hợp Video Egocentric Dài Hạn Hiệu quả cho Hệ thống Đa Tác nhân: Nghiên cứu phát triển các thuật toán mới để nén dữ liệu video egocentric liên tục từ nhiều tác nhân trong nhiều ngày, đồng thời giữ lại các chi tiết quan trọng. Mục tiêu là tạo ra một cơ chế tổng hợp thông minh để xây dựng bộ nhớ cấp độ hệ thống mạch lạc, cho phép lý luận trên các khoảng thời gian cực kỳ dài mà không làm quá tải tài nguyên tính toán.
Mô hình Lý luận Cấp độ Hệ thống cho Tương tác Xã hội và Phối hợp Nhiệm vụ trong Môi trường Đa Tác nhân: Tập trung vào việc thiết kế các kiến trúc học sâu có khả năng không chỉ nhận diện các sự kiện mà còn suy luận về tương tác xã hội, động cơ hành động (Theory of Mind) và sự phối hợp nhiệm vụ giữa các tác nhân. Nghiên cứu sẽ khám phá cách các mô hình có thể xây dựng một hiểu biết toàn cầu, chia sẻ về trạng thái môi trường và ý định của các tác nhân, vượt ra ngoài việc chỉ hiểu lịch sử của từng tác nhân riêng lẻ.
Chiến lược Truy xuất Thông tin Động và Thích ứng cho Video Egocentric Đa Tác nhân: Phát triển các phương pháp truy xuất thông tin tiên tiến, cho phép mô hình truy vấn bộ nhớ hệ thống một cách linh hoạt và động. Điều này bao gồm khả năng xác định tác nhân và mốc thời gian phù hợp nhất để trả lời một truy vấn cụ thể, cũng như khả năng điều chỉnh truy vấn tìm kiếm dựa trên ngữ cảnh đa tác nhân để tìm kiếm các sự kiện liên quan một cách hiệu quả trong các luồng video dài và phân tán.

2. Patent:

Hệ thống Quản lý Nhà Thông minh Đa Camera với Khả năng Hỏi Đáp bằng Giọng nói: Một ứng dụng trên điện thoại di động cho phép người dùng kết nối và quản lý nhiều camera giám sát hoặc robot hút bụi trong nhà. Người dùng có thể đặt câu hỏi tự nhiên bằng giọng nói, ví dụ: "Ai là người cuối cùng đã dọn dẹp phòng bếp?" hoặc "Khi nào thì cây cảnh được tưới lần cuối?". Hệ thống sẽ tự động phân tích dữ liệu video từ tất cả các camera, tổng hợp thông tin và cung cấp câu trả lời chính xác, giúp người dùng dễ dàng theo dõi và điều khiển các hoạt động trong nhà mà không cần xem lại từng đoạn video.
Nền tảng Ghi nhớ Sự kiện Đa Góc nhìn cho Hoạt động Nhóm trên Thiết bị Đeo: Một hệ thống tích hợp trên thiết bị đeo thông minh (ví dụ: kính thông minh hoặc camera gắn trên mũ) của các thành viên trong một đội nhóm (ví dụ: nhân viên sự kiện, công nhân xây dựng). Dữ liệu video egocentric từ tất cả các thành bị sẽ được tải lên một nền tảng trên đám mây và có thể truy cập qua ứng dụng điện thoại. Người quản lý hoặc thành viên có thể truy vấn: "Những ai đã tham gia lắp đặt sân khấu lúc 3 giờ chiều?" hoặc "Các bước nào đã được thực hiện để giải quyết sự cố kỹ thuật?". Hệ thống này giúp tạo ra một "ký ức chung" về các hoạt động, hỗ trợ đánh giá hiệu suất và cải thiện sự phối hợp.
Trợ lý Cá nhân Đa Thiết bị cho Ghi lại và Tra cứu Cuộc sống Hàng ngày: Một ứng dụng trên điện thoại di động cho phép người dùng liên kết với các thiết bị ghi hình cá nhân khác (ví dụ: camera hành trình, camera trên thú cưng, hoặc điện thoại của các thành viên khác trong gia đình). Hệ thống sẽ tự động tổ chức và lập chỉ mục các sự kiện từ tất cả các nguồn video này. Người dùng có thể tra cứu các sự kiện đã qua bằng cách đặt câu hỏi: "Khi nào tôi đã nói chuyện với bạn bè về kế hoạch du lịch?" hoặc "Con mèo đã chơi với đồ chơi nào hôm qua?". Điều này tạo ra một nhật ký cuộc sống có thể truy vấn được, giúp người dùng dễ dàng tìm lại thông tin từ các khoảnh khắc đã qua.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.09827
ArXiv Abstract	https://arxiv.org/abs/2603.09827
PDF Download	https://arxiv.org/pdf/2603.09827.pdf
Github Repository	https://github.com/KangsanKim07/MA-EgoQA

7. ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning (24 votes)

Tác giả: Ruizhong Qiu, Hanqing Zeng, Yinglong Xia, Yiwen Meng, Ren Chen, Jiarui Feng, Dongqi Fu, Qifan Wang, Jiayi Liu, Jun Xiao, Xiangjun Fan, Benyu Zhang, Hong Li, Zhining Liu, Hyunsik Yoo, Zhichen Zeng, Tianxin Wei, Hanghang Tong

Xuất bản lúc: 2026-03-10

Tag: LLMs, Finetuning, LoRA, Mixture of Experts, Reinforcement Learning, Parameter-Efficient Finetuning, Routing, Gradient Estimation, RLOO

I. Main Problem:

Các bộ định tuyến (router) Mixture-of-LoRAs hiện có gặp phải vấn đề "sụp đổ trọng số định tuyến" (routing weight collapse), trong đó trọng số định tuyến thường chỉ tập trung vào một LoRA duy nhất, ngay cả khi nhiều LoRA được kích hoạt. Điều này dẫn đến lãng phí tính toán cho các LoRA khác và hạn chế nghiêm trọng khả năng biểu đạt của mô hình, do đó làm giảm hiệu suất thực tế của các mô hình Mixture-of-LoRAs.

II. Main Idea:

Để giải quyết vấn đề sụp đổ trọng số định tuyến, ReMix đề xuất một thiết kế bộ định tuyến đơn giản nhưng hiệu quả, sử dụng trọng số định tuyến không thể học được (non-learnable routing weights). Điều này đảm bảo tất cả các LoRA đang hoạt động đều có hiệu quả như nhau, tránh tình trạng một LoRA chiếm ưu thế. Vì trọng số không thể học được không cho phép huấn luyện trực tiếp thông qua gradient descent, ReMix đã tái định nghĩa bài toán huấn luyện bộ định tuyến thành một bài toán học tăng cường (Reinforcement Learning - RL). Phương pháp này đề xuất một ước lượng gradient không chệch dựa trên kỹ thuật reinforce leave-one-out (RLOO) để giảm phương sai của ước lượng, đồng thời cho phép mở rộng khả năng tính toán trong quá trình huấn luyện để nâng cao hiệu suất dự đoán.

III. Main Results:

ReMix nhất quán vượt trội hơn tất cả các phương pháp tinh chỉnh hiệu quả tham số hiện đại trên các điểm chuẩn đa dạng. Cụ thể, ReMix đạt mức cải thiện độ chính xác trung bình 2.82% so với phương pháp cạnh tranh mạnh nhất. Trên HumanEval, ReMix đạt Pass@1 là 32.93%, vượt trội hơn (IA)3 1.83%. Trên GSM8K, ReMix đạt độ chính xác 65.66%, vượt trội hơn rsLoRA và HydraLoRA 3.19%. Trên ARC-c, ReMix đạt 83.73%, vượt trội hơn DoRA 0.34%. Phương pháp này đạt được những cải thiện hiệu suất này với ngân sách tham số cạnh tranh chỉ 0.070B tham số có thể huấn luyện, cho thấy sự cân bằng vượt trội giữa độ chính xác và số lượng tham số.

IV. Conclusion & Future Works:

Bài báo này đã điều tra vấn đề trọng số định tuyến không cân bằng gây cản trở việc sử dụng LoRA hiệu quả và đề xuất một thiết kế bộ định tuyến dựa trên học tăng cường có tên ReMix để giải quyết vấn đề này. Các thử nghiệm rộng rãi trên nhiều điểm chuẩn khác nhau đã chứng minh rằng ReMix của chúng tôi liên tục vượt trội hơn các phương pháp tinh chỉnh hiệu quả tham số hiện đại, đạt được sức mạnh dự đoán và hiệu quả tính toán vượt trội. Các hướng nghiên cứu trong tương lai có thể bao gồm việc khám phá các kỹ thuật RL tiên tiến hơn hoặc các ước lượng gradient thay thế để cải thiện hơn nữa sự ổn định và hiệu quả của việc huấn luyện bộ định tuyến, đặc biệt trong các kịch bản có k lớn hơn hoặc tương tác LoRA phức tạp hơn. Ngoài ra, việc điều tra ứng dụng của ReMix hoặc các cơ chế định tuyến tăng cường tương tự cho các phương pháp thích ứng hiệu quả tham số khác ngoài LoRA cũng là một hướng đi tiềm năng.

V. Brainstorming Space:

1. Publish Papers:

Khám phá các kỹ thuật học tăng cường tiên tiến hơn hoặc các ước lượng gradient thay thế để cải thiện hơn nữa sự ổn định và hiệu quả của việc huấn luyện bộ định tuyến, đặc biệt cho các kịch bản với số lượng LoRA kích hoạt (k) lớn hơn hoặc tương tác LoRA phức tạp hơn.
Nghiên cứu ứng dụng của ReMix hoặc các cơ chế định tuyến tăng cường tương tự cho các phương pháp thích ứng hiệu quả tham số khác ngoài LoRA, như adapters hoặc prompt tuning, để xem liệu các vấn đề sụp đổ định tuyến tương tự có tồn tại và có thể được giảm thiểu hay không.
Phát triển các chiến lược thích ứng để tự động xác định số lượng LoRA kích hoạt tối ưu (k) cho mỗi lớp hoặc mỗi đầu vào, thay vì một k cố định, nhằm tối đa hóa cả hiệu suất và hiệu quả dựa trên độ phức tạp của tác vụ và đặc điểm đầu vào.

2. Patent:

Một hệ thống trên điện thoại di động có khả năng tự động điều chỉnh các mô hình ngôn ngữ lớn đã được huấn luyện trước cho nhiều tác vụ khác nhau trên thiết bị (ví dụ: trả lời thông minh, tóm tắt văn bản, tạo nội dung trong ứng dụng). Cơ chế định tuyến nhẹ này sẽ chọn và kích hoạt một tập hợp nhỏ, tối ưu các thành phần điều chỉnh chuyên biệt từ một nhóm lớn hơn dựa trên tác vụ hiện tại và đầu vào của người dùng, đảm bảo sử dụng tài nguyên hiệu quả (pin, bộ nhớ) trong khi duy trì hiệu suất cao.
Một tính năng trợ lý AI cho điện thoại di động sử dụng hệ thống định tuyến thích ứng để kích hoạt hiệu quả các mô-đun kỹ năng chuyên biệt (được triển khai dưới dạng các thành phần điều chỉnh nhỏ) cho các yêu cầu khác nhau của người dùng. Ví dụ, khi người dùng hỏi về thời tiết, một mô-đun thời tiết được kích hoạt; khi hỏi về công thức nấu ăn, một mô-đun nấu ăn được kích hoạt. Hệ thống định tuyến, được huấn luyện bằng học tăng cường, đảm bảo rằng các mô-đun phù hợp nhất được sử dụng mà không cần tải các thành phần không cần thiết, cung cấp phản hồi nhanh chóng và cá nhân hóa với chi phí tính toán tối thiểu.
Một ứng dụng di động (ví dụ: tin tức, mạng xã hội, thương mại điện tử) sử dụng công cụ đề xuất nội dung trên thiết bị. Công cụ này sử dụng một hỗn hợp các thành phần điều chỉnh nhỏ, mỗi thành phần chuyên biệt cho các loại nội dung hoặc sở thích người dùng khác nhau. Một bộ định tuyến được huấn luyện bằng học tăng cường sẽ tự động chuyển đổi giữa các thành phần điều chỉnh này dựa trên ngữ cảnh thời gian thực của người dùng (ví dụ: thời gian trong ngày, vị trí, hoạt động gần đây) để cung cấp các đề xuất cực kỳ phù hợp, cải thiện mức độ tương tác của người dùng trong khi giữ cho kích thước mô hình nhỏ và xử lý cục bộ.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.10160
ArXiv Abstract	https://arxiv.org/abs/2603.10160
PDF Download	https://arxiv.org/pdf/2603.10160.pdf
Github Repository	N/A

8. Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams (17 votes)

Tác giả: Jiyeon Kim, Hyunji Lee, Dylan Zhou, Sue Hyun Park, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Sungmin Cha, Minjoon Seo

Xuất bản lúc: 2026-03-08

Tag: LLMs, Continual Learning, Online Adaptation, Benchmarking, RAG, Memory Systems, Natural Language Processing, Knowledge Tracking

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) gặp khó khăn trong việc thích ứng với kiến thức liên tục thay đổi hoặc xuất hiện dần dần trong các tình huống thực tế. Các benchmark hiện tại chủ yếu tập trung vào kiến thức tĩnh hoặc các tác vụ ngoại tuyến, không đánh giá được khả năng thích ứng trực tuyến của LLMs trong môi trường động. Nếu không tích hợp thông tin mới theo thời gian thực, các dự đoán của mô hình có nguy cơ trở nên lỗi thời hoặc không an toàn.

II. Main Idea:

Nghiên cứu giới thiệu OAKS (ONLINE ADAPTATION TO CONTINUAL KNOWLEDGE STREAMS) – một benchmark mới được thiết kế để đánh giá khả năng thích ứng trực tuyến của các mô hình trong môi trường kiến thức liên tục cập nhật và truyền tải. OAKS đánh giá liệu mô hình có thể theo dõi và suy luận dựa trên sự thay đổi kiến thức chi tiết theo thời gian, bằng cách kiểm tra mô hình ở mỗi khoảng thời gian với cùng một bộ câu hỏi. Để hỗ trợ benchmark này, hai bộ dữ liệu mới được phát triển: OAKS-BABI (tổng hợp từ BABILong) và OAKS-Novel (từ các tiểu thuyết văn học), trong đó các sự kiện riêng lẻ thay đổi nhiều lần qua các đoạn ngữ cảnh. Các bộ dữ liệu này có chú thích dày đặc để đo lường khả năng theo dõi thay đổi của mô hình một cách chính xác.

III. Main Results:

OAKS là một nhiệm vụ khó khăn đối với tất cả các mô hình được đánh giá, bao gồm cả các mô hình tiên tiến (state-of-the-art) và hệ thống bộ nhớ tác nhân (agentic memory systems). Độ chính xác trung bình là 39.4% trên OAKS-B và 57.5% trên OAKS-N. Hiệu suất mô hình suy giảm đáng kể khi kiến thức được cập nhật thường xuyên, với độ chính xác giảm xuống 33.3% trên OAKS-B và 53.0% trên OAKS-N ở các tập con "Frequent". Các phương pháp RAG (Retrieval Augmented Generation) cơ bản cho thấy hiệu quả hạn chế, đặc biệt trong các tình huống cập nhật kiến thức thường xuyên và phức tạp. Chế độ "thinking mode" (suy luận bổ sung trong thời gian suy luận) cải thiện tính thích ứng và ổn định, dẫn đến độ chính xác tổng thể cao hơn, đặc biệt đối với các câu hỏi yêu cầu suy luận phức tạp. Các mô hình thể hiện các chế độ lỗi khác nhau: một số có xu hướng "quá cập nhật" (thay đổi dự đoán không cần thiết), trong khi số khác "dưới cập nhật" (không thay đổi ngay cả khi trạng thái cơ bản đã thay đổi). Hiệu suất suy giảm ở các khoảng thời gian sau và trên các câu hỏi yêu cầu suy luận trên nhiều đoạn ngữ cảnh, cho thấy khó khăn trong việc theo dõi thông tin qua ngữ cảnh dài.

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng OAKS là một benchmark quan trọng để đánh giá khả năng thích ứng trực tuyến của LLMs với kiến thức liên tục thay đổi. Các thử nghiệm cho thấy các mô hình hiện tại, kể cả những mô hình tiên tiến nhất, vẫn còn nhiều hạn chế, đặc biệt khi đối mặt với các cập nhật kiến thức thường xuyên và trong ngữ cảnh dài. Các mô hình dễ bị phân tâm và mất dấu các trạng thái đã xác định trước đó. Các hướng công việc trong tương lai bao gồm: mở rộng benchmark để kiểm tra trên nhiều kiến trúc mô hình đa dạng hơn; khám phá các văn bản tự nhiên phức tạp hơn với các chuyển đổi sự kiện thường xuyên hoặc phức tạp hơn để phân tích khả năng mở rộng và tích lũy lỗi; sử dụng các bộ dữ liệu có ngữ cảnh không bị ảnh hưởng bởi kiến thức tham số (parametric knowledge priors) của mô hình để có cái nhìn rõ ràng hơn về hành vi thích ứng trực tuyến; và sử dụng OAKS làm môi trường thử nghiệm cho học tham số trực tuyến (parametric online learning), nơi các mô hình cập nhật trọng số nội bộ của chúng để đồng hóa kiến thức đang phát triển.

V. Brainstorming Space:

1. Publish Papers:

Cải thiện khả năng thích ứng trực tuyến của LLMs thông qua Kiến trúc Bộ nhớ Ưu tiên Độ mới và Mức độ Quan trọng: Tập trung vào việc phát triển các kiến trúc bộ nhớ mới cho LLMs có khả năng ưu tiên các thông tin mới nhất và đánh giá mức độ quan trọng của các sự kiện để giảm thiểu lỗi "quá cập nhật" hoặc "dưới cập nhật", đặc biệt trong các luồng kiến thức có tần suất thay đổi cao. Nghiên cứu sẽ thiết kế các cơ chế học tăng cường (reinforcement learning) để tối ưu hóa việc quản lý bộ nhớ dựa trên phản hồi thích ứng theo thời gian.
Đánh giá và Nâng cao Khả năng Suy luận Đa bước trong LLMs với Ngữ cảnh Động: Nghiên cứu sâu hơn về cách các LLMs thực hiện suy luận đa bước (multi-hop reasoning) khi các sự kiện cốt lõi thay đổi liên tục. Điều này sẽ liên quan đến việc tạo ra các bộ dữ liệu thử nghiệm mới với các câu hỏi suy luận phức tạp hơn, đòi hỏi tổng hợp thông tin từ nhiều đoạn ngữ cảnh không liền kề và có sự biến đổi theo thời gian, đồng thời phát triển các kỹ thuật "thinking mode" nâng cao để cải thiện độ chính xác và tính ổn định.
Phương pháp Học Tham số Trực tuyến cho LLMs để Đồng hóa Kiến thức Liên tục: Khám phá các phương pháp học tham số (parametric learning) để cho phép LLMs cập nhật trọng số nội bộ của chúng một cách hiệu quả khi kiến thức mới liên tục xuất hiện. Điều này bao gồm việc nghiên cứu các chiến lược cập nhật trọng số nhẹ (lightweight weight updates) hoặc huấn luyện liên tục (continual training) để thích ứng với các luồng dữ liệu mới mà không bị quên lãng thảm khốc (catastrophic forgetting), sử dụng OAKS như một testbed để đánh giá hiệu quả.

2. Patent:

Hệ thống Trợ lý Cá nhân Di động với Khả năng Thích ứng Ngữ cảnh Thời gian Thực: Một ứng dụng trợ lý ảo trên điện thoại di động có khả năng liên tục cập nhật và thích ứng với ngữ cảnh hội thoại của người dùng theo thời gian thực. Ví dụ, nếu người dùng đang lên kế hoạch cho một chuyến đi và các chi tiết như ngày, địa điểm, hoặc số lượng người thay đổi trong quá trình trò chuyện, trợ lý sẽ tự động điều chỉnh các đề xuất và thông tin liên quan mà không cần người dùng phải lặp lại hoặc xác nhận lại toàn bộ thông tin. Hệ thống này sẽ sử dụng một cơ chế bộ nhớ động để theo dõi các thay đổi nhỏ trong ngữ cảnh người dùng.
Ứng dụng Đọc Sách Thông minh với Tính năng Tóm tắt và Theo dõi Sự kiện Động: Một ứng dụng đọc sách điện tử trên điện thoại di động có thể tóm tắt các sự kiện trong truyện và theo dõi sự phát triển của các nhân vật hoặc tình tiết theo từng chương hoặc đoạn. Khi người dùng đọc, ứng dụng sẽ tự động cập nhật "trạng thái kiến thức" về câu chuyện, cho phép người dùng hỏi các câu hỏi về các sự kiện đã xảy ra hoặc tình trạng hiện tại của nhân vật, và ứng dụng sẽ cung cấp câu trả lời chính xác dựa trên thông tin mới nhất đã đọc, ngay cả khi các sự kiện đã thay đổi nhiều lần trong suốt cuốn sách.
Hệ thống Quản lý Ghi chú và Lịch trình Thông minh Phản ứng với Thay đổi Liên tục: Một ứng dụng ghi chú và quản lý lịch trình trên điện thoại có khả năng hiểu và thích ứng với các thay đổi liên tục trong thông tin. Ví dụ, nếu người dùng ghi chú về một dự án và các thông tin như deadline, thành viên nhóm, hoặc yêu cầu công việc thay đổi qua các bản cập nhật ghi chú, hệ thống sẽ tự động cập nhật và duy trì một "trạng thái" chính xác về dự án. Nó có thể đưa ra cảnh báo hoặc gợi ý dựa trên thông tin mới nhất mà không cần người dùng phải tự tay điều chỉnh lại toàn bộ lịch trình hoặc danh sách công việc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.07392
ArXiv Abstract	https://arxiv.org/abs/2603.07392
PDF Download	https://arxiv.org/pdf/2603.07392.pdf
Github Repository	https://github.com/kaistAI/OAKS

9. ID-LoRA: Identity-Driven Audio-Video Personalization with In-Context LoRA (16 votes)

Tác giả: Aviad Dahan, Moran Yanuka, Noa Kraicer, Lior Wolf, Raja Giryes

Xuất bản lúc: 2026-03-10

Tag: Audio-Video Generation, Personalization, Diffusion Models, LoRA, Zero-shot Learning, Multimodal AI, Voice Cloning, Lip Synchronization

I. Main Problem:

Các phương pháp cá nhân hóa video hiện có chỉ bảo toàn sự giống nhau về hình ảnh nhưng lại xử lý video và âm thanh riêng biệt. Các mô hình âm thanh thiếu khả năng đồng bộ hóa âm thanh với hành động trên màn hình, và các mô hình nhân bản giọng nói cổ điển không thể điều khiển phong cách nói hoặc môi trường âm thanh thông qua lời nhắc văn bản. Các pipeline theo tầng (cascaded pipelines) thường truyền bá đặc điểm âm thanh của tham chiếu, bỏ qua ý định của lời nhắc về âm thanh môi trường hoặc phong cách nói cụ thể. Hơn nữa, chúng bị giới hạn trong các thiết lập "cùng video" (same-video) và không thể tổng quát hóa để tạo ra một chủ thể trong bối cảnh hoàn toàn mới với các điều kiện âm thanh và phong cách nói khác nhau.

II. Main Idea:

Đề xuất ID-LoRA (Identity-Driven In-Context LoRA), một phương pháp tạo ra đồng thời cả hình ảnh và giọng nói của một chủ thể trong một mô hình duy nhất. ID-LoRA cho phép một lời nhắc văn bản, một hình ảnh tham chiếu và một đoạn âm thanh ngắn cùng kiểm soát cả hai phương thức. Phương pháp này thích ứng xương sống khuếch tán âm thanh-video chung LTX-2 thông qua In-Context LoRA hiệu quả về tham số. Để giải quyết các thách thức, ID-LoRA giới thiệu:

Vị trí thời gian âm (negative temporal positions): Đặt các token âm thanh tham chiếu vào một vùng riêng biệt trong không gian mã hóa vị trí RoPE để phân biệt rõ ràng với các token mục tiêu, đồng thời bảo toàn cấu trúc thời gian nội bộ của chúng.
Hướng dẫn nhận dạng (identity guidance): Một biến thể của classifier-free guidance, khuếch đại các đặc điểm riêng của người nói bằng cách đối chiếu các dự đoán có và không có tín hiệu tham chiếu trong quá trình khử nhiễu.

III. Main Results:

Trong các nghiên cứu ưu tiên của con người, ID-LoRA được ưu tiên hơn Kling 2.6 Pro (mô hình thương mại hàng đầu) bởi 73% người đánh giá về độ tương đồng giọng nói và 65% về phong cách nói. Các chỉ số tự động xác nhận những cải tiến này: trong các thiết lập môi trường chéo, độ tương đồng người nói cải thiện 24% so với Kling, và khoảng cách này càng lớn khi điều kiện tham chiếu và mục tiêu khác biệt. ID-LoRA vượt trội hơn tất cả các phương pháp cơ sở theo tầng về độ tương đồng người nói và đồng bộ hóa môi miệng (lip synchronization). Đạt được độ tuân thủ lời nhắc âm thanh (CLAP) cao hơn đáng kể so với các phương pháp cơ sở theo tầng và Kling. Khả năng tổng quát hóa qua bộ dữ liệu mạnh mẽ, duy trì hiệu suất cao khi áp dụng checkpoint đã huấn luyện trên CelebV-HQ cho bộ dữ liệu TalkVid. Các nghiên cứu loại bỏ (ablation studies) xác nhận hiệu quả của vị trí thời gian âm và hướng dẫn nhận dạng. Một nghiên cứu sơ bộ về người dùng cho thấy việc tạo ra đồng thời cung cấp một thiên kiến quy nạp hữu ích cho việc tổng hợp âm thanh có cơ sở vật lý. Đạt được những kết quả này chỉ với khoảng 3K cặp huấn luyện trên một GPU duy nhất.

IV. Conclusion & Future Works:

ID-LoRA là phương pháp đầu tiên thực hiện cá nhân hóa âm thanh-video chung (joint audio-video personalization) một cách hiệu quả, cho phép tạo ra các cảnh hoàn toàn mới với sự bảo toàn cả hình ảnh và giọng nói của chủ thể. Phương pháp này cung cấp khả năng kiểm soát đồng thời nội dung hình ảnh, âm thanh môi trường và phong cách nói thông qua một lời nhắc văn bản duy nhất, vượt trội so với các phương pháp theo tầng và các giải pháp thương mại hiện có. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng khả năng tổng hợp âm thanh tương ứng với các tương tác vật lý phức tạp hơn trong cảnh, khám phá các kịch bản đa người và nâng cao hơn nữa khả năng kiểm soát chi tiết các đặc tính âm thanh và hình ảnh trong bối cảnh đa phương thức.

V. Brainstorming Space:

1. Publish Papers:

Cá nhân hóa đa danh tính và tương tác phức tạp: Nghiên cứu mở rộng ID-LoRA để xử lý nhiều danh tính người nói và người xuất hiện trong một cảnh, đồng thời cho phép tương tác phức tạp giữa các chủ thể và môi trường, bao gồm cả các phản ứng âm thanh và hình ảnh theo thời gian thực.
Tạo nội dung âm thanh-video từ văn bản dài và kịch bản: Phát triển mô hình cho phép tạo ra các câu chuyện hoặc kịch bản dài hơn, nơi các đặc điểm của người nói và môi trường âm thanh-hình ảnh được duy trì và phát triển một cách nhất quán qua nhiều cảnh hoặc phân đoạn dựa trên lời nhắc văn bản chi tiết.
Tối ưu hóa hiệu quả và khả năng triển khai trên thiết bị biên: Khám phá các kỹ thuật nén mô hình và tối ưu hóa In-Context LoRA để giảm yêu cầu tính toán và bộ nhớ, cho phép triển khai các mô hình cá nhân hóa âm thanh-video phức tạp trên các thiết bị di động hoặc thiết bị biên với hiệu suất cao và độ trễ thấp.

2. Patent:

Ứng dụng "Nhân Bản Giọng Nói và Hình Ảnh Cá Nhân cho Trợ Lý Ảo": Một hệ thống trên điện thoại di động cho phép người dùng tạo ra một trợ lý ảo hoặc hình đại diện (avatar) kỹ thuật số có giọng nói và ngoại hình giống hệt họ (hoặc một người khác được cấp phép). Người dùng có thể cung cấp một hình ảnh và một đoạn âm thanh ngắn, sau đó trợ lý ảo này có thể nói chuyện với phong cách và ngữ điệu riêng của họ, đồng thời hiển thị các biểu cảm khuôn mặt và chuyển động môi đồng bộ, phù hợp với các kịch bản môi trường được mô tả qua văn bản.
Công cụ "Tạo Nội Dung Video Cá Nhân Hóa Đa Ngôn Ngữ": Một ứng dụng di động cho phép người dùng tạo video ngắn với một nhân vật có giọng nói và ngoại hình của họ, nói bằng nhiều ngôn ngữ khác nhau nhưng vẫn giữ nguyên đặc điểm giọng nói. Người dùng cung cấp một đoạn video tham chiếu ngắn (ví dụ: họ nói một câu tiếng Việt), sau đó có thể nhập văn bản bằng tiếng Anh, tiếng Pháp, hoặc các ngôn ngữ khác, và hệ thống sẽ tạo ra video mới với nhân vật nói các ngôn ngữ đó nhưng vẫn giữ giọng điệu và phong cách riêng của người dùng, đồng thời điều chỉnh môi trường âm thanh theo lời nhắc.
Hệ thống "Tổng Hợp Âm Thanh Môi Trường Tương Tác cho Video": Một tính năng trên điện thoại thông minh cho phép người dùng ghi lại một đoạn video (ví dụ: một người đang nói chuyện trong phòng) và sau đó thay đổi môi trường âm thanh của video đó một cách linh hoạt theo lời nhắc văn bản (ví dụ: "thêm tiếng sóng biển và tiếng chim hót nhẹ nhàng"). Hệ thống sẽ tổng hợp âm thanh môi trường mới một cách chân thực, đồng bộ với chuyển động trong video và giọng nói của người nói, đồng thời có thể tạo ra âm thanh tương tác vật lý (ví dụ: tiếng đổ vỡ khi có vật rơi) phù hợp với cảnh.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.10256
ArXiv Abstract	https://arxiv.org/abs/2603.10256
PDF Download	https://arxiv.org/pdf/2603.10256.pdf
Github Repository	https://github.com/ID-LoRA/ID-LoRA

10. SVG-EAR: Parameter-Free Linear Compensation for Sparse Video Generation via Error-aware Routing (15 votes)

Tác giả: Xuanyi Zhou, Qiuyang Mang, Shuo Yang, Haocheng Xi, Jintao Zhang, Huanzhi Mao, Joseph E. Gonzalez, Kurt Keutzer, Ion Stoica, Alvin Cheung

Xuất bản lúc: 2026-03-09

Tag: Diffusion Transformers, Sparse Attention, Video Generation, Error-aware Routing, Linear Compensation, Efficiency, Quality

I. Main Problem:

Các mô hình Diffusion Transformers (DiTs) là xương sống hàng đầu cho việc tạo video chất lượng cao nhưng gặp phải nút thắt cổ chai lớn là chi phí attention bậc hai. Mặc dù attention thưa thớt (sparse attention) có thể giảm chi phí này bằng cách chỉ tính toán một tập hợp con các khối attention, các phương pháp trước đây thường bỏ qua các khối còn lại (gây mất mát thông tin) hoặc dựa vào các bộ dự đoán được học để xấp xỉ chúng (dẫn đến chi phí đào tạo và khả năng dịch chuyển phân phối đầu ra). Ngoài ra, cơ chế định tuyến dựa trên điểm số thông thường không phù hợp với mục tiêu kiểm soát lỗi xấp xỉ cuối cùng khi có cơ chế bù trừ.

II. Main Idea:

SVG-EAR đề xuất một phương pháp bù tuyến tính (linear compensation) không tham số và một chiến lược định tuyến nhận biết lỗi (error-aware routing). Sau khi phân cụm ngữ nghĩa, các key và value trong mỗi khối thể hiện sự tương đồng mạnh mẽ và có thể được tóm tắt bằng các tâm cụm (cluster centroids), cho phép bù đắp các khối bị bỏ qua mà không cần đào tạo. SVG-EAR sử dụng một "đầu dò" nhẹ để ước tính lỗi bù trừ cho mỗi khối và tính toán chính xác các khối có tỷ lệ lỗi trên chi phí (error-to-cost ratio) cao nhất, đồng thời bù trừ cho các khối bị bỏ qua. Điều này giúp tối thiểu hóa lỗi tái tạo thay vì chỉ chọn các khối có điểm số cao. Để đảm bảo tính thực tiễn, SVG-EAR sử dụng tâm cụm truy vấn làm proxy để giảm chi phí ước tính lỗi và triển khai một kernel luồng hợp nhất để giữ chi phí định tuyến không đáng kể.

III. Main Results:

SVG-EAR cải thiện đáng kể sự cân bằng giữa chất lượng và hiệu quả, đồng thời tăng thông lượng ở cùng một mức độ trung thực khi tạo video. Nó thiết lập một ranh giới Pareto rõ ràng so với các phương pháp trước đây, đạt tốc độ tăng cường lên tới 1.77× và 1.93×, đồng thời duy trì PSNR lên tới 29.759 trên Wan2.2 và 31.043 trên HunyuanVideo. SVG-EAR-Turbo cũng đạt tốc độ tăng cường 1.75× trên Wan2.2 T2V trong khi vẫn duy trì chất lượng vượt trội so với tất cả các phương pháp cơ sở. Các kernel tùy chỉnh của SVG-EAR cho thấy hiệu quả vượt trội, đạt tốc độ tăng cường lên tới 13.74× so với triển khai PyTorch gốc. Phân tích lỗi cho thấy định tuyến nhận biết lỗi của SVG-EAR tạo ra bản đồ attention nhất quán nhất với attention đầy đủ, và chất lượng phân cụm được cải thiện trực tiếp nâng cao độ chính xác xấp xỉ.

IV. Conclusion & Future Works:

Kết luận, khi có cơ chế bù trừ, chìa khóa để đạt được attention thưa thớt có độ trung thực cao không phải là "chọn các khối có điểm số cao", mà là xác định nơi cơ chế bù trừ thất bại và ưu tiên các khối đó để tính toán chính xác. Các đóng góp chính bao gồm việc xác định sự sai lệch trong attention thưa thớt dựa trên điểm số, đề xuất cơ chế bù trừ và định tuyến nhận biết lỗi không tham số, và triển khai một hệ thống đầu cuối với các kernel hiệu quả. Công trình này mở ra hướng nghiên cứu sâu hơn về việc tối ưu hóa hiệu quả và chất lượng của các mô hình tạo video.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu các thuật toán phân cụm phức tạp hơn hoặc chiến lược phân cụm thích ứng để cải thiện hơn nữa sự tương đồng trong khối và giảm lỗi bù trừ, đặc biệt đối với nội dung video đa dạng hoặc phức tạp.
Khám phá ứng dụng của cơ chế định tuyến nhận biết lỗi và bù trừ không tham số của SVG-EAR cho các kiến trúc dựa trên transformer khác ngoài DiTs, như các mô hình ngôn ngữ lớn (LLMs) hoặc vision transformers, để giải quyết các nút thắt cổ chai attention bậc hai của chúng.
Phát triển các phương pháp để điều chỉnh động ngân sách mật độ (ρ) dựa trên độ phức tạp của nội dung hoặc chất lượng đầu ra mong muốn tại thời điểm suy luận, có thể sử dụng một mô hình dự đoán nhẹ hoặc phản hồi lỗi thời gian thực.

2. Patent:

Công nghệ nén video thông minh cho camera điện thoại: Một hệ thống tích hợp trên chip điện thoại di động sử dụng cơ chế bù tuyến tính không tham số và định tuyến nhận biết lỗi để nén video ngay khi quay. Điều này giúp giảm dung lượng lưu trữ và tăng tốc độ xử lý video mà vẫn giữ được chất lượng hình ảnh cao, đặc biệt hữu ích cho việc quay video 4K/8K hoặc video dài trên điện thoại.
Tối ưu hóa hiển thị nội dung động trên ứng dụng di động: Một tính năng trong các ứng dụng mạng xã hội hoặc xem video trên điện thoại cho phép tải và hiển thị nội dung video động (ví dụ: GIF, video ngắn, hoạt ảnh) một cách nhanh chóng và mượt mà hơn. Hệ thống sẽ sử dụng phương pháp attention thưa thớt của SVG-EAR để ưu tiên tính toán các phần quan trọng nhất của khung hình video, bù đắp cho các phần còn lại, từ đó giảm độ trễ tải và sử dụng ít tài nguyên hệ thống hơn, kéo dài thời lượng pin.
Cải thiện chất lượng cuộc gọi video thời gian thực trên di động: Một module phần mềm được tối ưu hóa cho chip di động, áp dụng kỹ thuật bù lỗi và định tuyến thông minh để xử lý luồng video trong các cuộc gọi. Nó sẽ tự động xác định và ưu tiên các vùng quan trọng (ví dụ: khuôn mặt, cử chỉ) để tính toán chính xác hơn, đồng thời dùng phương pháp bù cho các vùng ít quan trọng, giúp duy trì chất lượng hình ảnh tốt và giảm độ trễ ngay cả trong điều kiện mạng yếu, mang lại trải nghiệm cuộc gọi video mượt mà hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08982
ArXiv Abstract	https://arxiv.org/abs/2603.08982
PDF Download	https://arxiv.org/pdf/2603.08982.pdf
Github Repository	N/A

11. CodePercept: Code-Grounded Visual STEM Perception for MLLMs (13 votes)

Tác giả: Tongkun Guan, Zhibo Yang, Jianqiang Wan, Mingkun Yang, Zhengtao Guo, Zijian Hu, Ruilin Luo, Ruize Chen, Songtao Jiang, Peng Wang, Wei Shen, Junyang Lin, Xiaokang Yang

Xuất bản lúc: 2026-03-11

Tag: MLLMs, Visual Reasoning, Perception, STEM, Code Generation, Reinforcement Learning, Supervised Finetuning, Dataset, Benchmark

I. Main Problem:

Các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) thường gặp khó khăn trong suy luận thị giác về Khoa học, Công nghệ, Kỹ thuật và Toán học (STEM). Nghiên cứu này đặt ra câu hỏi cơ bản: liệu sự thất bại này là do thiếu sót trong khả năng nhận thức hay hạn chế trong khả năng suy luận. Phân tích mở rộng hệ thống cho thấy khả năng nhận thức chính là yếu tố hạn chế thực sự đối với suy luận thị giác STEM hiện tại. Các phương pháp nâng cao nhận thức hiện có thông qua chưng cất tri thức dễ bị 'ảo giác' (hallucination). Ngoài ra, ngôn ngữ tự nhiên không thể mô tả đầy đủ các mối quan hệ không gian phức tạp và giá trị số chính xác trong nhiều hình ảnh STEM (hiện tượng 'mất ngôn ngữ mô tả'). Cuối cùng, thiếu một phương pháp trực tiếp để đánh giá khả năng nhận thức thị giác trong các lĩnh vực STEM; các nghiên cứu hiện tại chỉ dựa vào độ chính xác giải quyết vấn đề làm thước đo gián tiếp, mà chỉ phản ánh sự hiểu biết liên quan đến vấn đề chứ không phải sự hiểu biết thị giác toàn diện.

II. Main Idea:

Nghiên cứu này tập trung vào việc nâng cao khả năng nhận thức của MLLMs cho các lĩnh vực STEM bằng cách thiết lập mã (code) làm phương tiện nhận thức mạnh mẽ. Mã có thể thực thi cung cấp ngữ nghĩa chính xác, phù hợp tự nhiên với bản chất có cấu trúc của hình ảnh STEM. Các tác giả xây dựng ICC-1M, một tập dữ liệu lớn gồm 1 triệu bộ ba Hình ảnh-Chú thích-Mã, thực hiện mô hình 'mã là nhận thức' thông qua hai cách tiếp cận bổ sung:

Tạo chú thích dựa trên mã (Code-Grounded Caption Generation): Coi mã có thể thực thi là cơ sở thực cho chú thích hình ảnh, loại bỏ các 'ảo giác' vốn có trong các phương pháp chưng cất tri thức hiện có.
Dịch hình ảnh STEM sang mã (STEM Image-to-Code Translation): Hướng dẫn các mô hình tạo mã tái tạo, giảm thiểu sự mơ hồ của ngôn ngữ tự nhiên trong việc tăng cường nhận thức. Để xác thực mô hình này, nghiên cứu giới thiệu STEM2Code-Eval, một benchmark mới trực tiếp đánh giá nhận thức thị giác trong các lĩnh vực STEM bằng cách yêu cầu tạo mã có thể thực thi để tái tạo hình ảnh, cung cấp đánh giá xác định và có thể kiểm chứng. Quy trình tạo dữ liệu ICC-1M bao gồm ba đường ống: tái tạo hình ảnh, đa dạng hóa hình ảnh và tổng hợp hình học rắn, sau đó được kiểm soát chất lượng nghiêm ngặt. Mô hình được huấn luyện qua hai giai đoạn: tinh chỉnh có giám sát (Supervised Finetuning) và học tăng cường (Reinforcement Learning), sử dụng các tín hiệu giám sát bổ sung từ chú thích và mã để xây dựng sự hiểu biết thị giác mạnh mẽ.

III. Main Results:

Nhận thức là điểm nghẽn chính: Phân tích mở rộng cho thấy việc mở rộng khả năng nhận thức luôn mang lại lợi ích hiệu suất lớn hơn so với mở rộng khả năng suy luận trong suy luận thị giác STEM.
Đánh giá nhận thức qua giải quyết vấn đề: Các mô hình CodePercept đạt được những cải thiện đáng kể và nhất quán so với các MLLM cơ sở trên sáu benchmark suy luận STEM. Ví dụ, CodePercept-4B-S1 vượt trội hơn Qwen3-VL-4B-Instruct 2.8%, và CodePercept-8B-S1 vượt trội 3% so với Qwen3-VL-8B-Instruct. CodePercept-8B-S1 thậm chí vượt qua một số mô hình lớn hơn đáng kể (ví dụ: Qwen2.5-VL-72B với 6.2%) và đạt gần hiệu suất của các mô hình tiên tiến như Claude-Opus 4.1-Thinking và GPT5-Thinking.
Đánh giá nhận thức qua tái tạo hình ảnh (trên STEM2Code-Eval): Các mô hình CodePercept-S1 đạt được cải thiện đáng kể trong tái tạo hình ảnh, ví dụ CodePercept-4B-S1 đạt 54.09 điểm và CodePercept-8B-S1 đạt 59.64 điểm. Việc tối ưu hóa bằng học tăng cường (CodePercept-R1) tiếp tục nâng cao hiệu suất, với CodePercept-4B-R1 đạt 61.44 điểm và CodePercept-8B-R1 đạt 63.56 điểm, vượt qua các mô hình siêu lớn như Seed1.6-Vision và Qwen3-VL-Plus.
Nghiên cứu cắt bỏ (Ablation Study): Các đường ống tạo dữ liệu (tái tạo hình ảnh, đa dạng hóa hình ảnh, tổng hợp hình học rắn) đều đóng góp vào việc cải thiện hiệu suất. Phương pháp tạo chú thích dựa trên mã (CodeCap) cải thiện đáng kể 2.0 điểm so với tạo chú thích trực tiếp (NativeCap), xác nhận việc giảm 'ảo giác'. Việc bổ sung dữ liệu Image-to-Code (ImCode) tiếp tục nâng cao hiệu suất, chứng tỏ mã là một phương thức bổ sung quan trọng cho chú thích hình ảnh.

IV. Conclusion & Future Works:

Nghiên cứu này đã xác định nhận thức thị giác là điểm nghẽn chính cho MLLMs trong các lĩnh vực STEM. Để giải quyết vấn đề này, CodePercept được giới thiệu là một mô hình tận dụng mã Python có thể thực thi để tăng cường nhận thức. Các đóng góp chính bao gồm ICC-1M, một tập dữ liệu lớn các bộ ba hình ảnh-chú thích-mã, cho phép hai cách tiếp cận huấn luyện mới: Tạo chú thích dựa trên mã và Dịch hình ảnh STEM sang mã. Ngoài ra, STEM2Code-Eval, một benchmark mới, đã được phát triển để đánh giá nhận thức bằng cách tạo mã có thể thực thi để tái tạo hình ảnh, vượt ra ngoài các thước đo giải quyết vấn đề truyền thống. Kết quả thực nghiệm chứng minh hiệu quả của CodePercept, khẳng định rằng mã có thể thực thi, dù là giám sát trung gian cho tổng hợp chú thích hay mục tiêu trực tiếp cho sự hiểu biết có cấu trúc, đều rất cần thiết để tăng cường nhận thức.

Trong tương lai, nghiên cứu có thể mở rộng việc sử dụng các thư viện trực quan hóa hoặc ngôn ngữ lập trình khác ngoài matplotlib để mô tả hình ảnh STEM, khám phá các phương pháp tiên tiến hơn cho việc tổng hợp hình học rắn vượt ra ngoài các mẫu hiện có, và áp dụng cách tiếp cận nhận thức dựa trên mã này cho các lĩnh vực suy luận thị giác phức tạp khác ngoài STEM, đặc biệt là với hình ảnh thực tế và nhiễu.

V. Brainstorming Space:

1. Publish Papers:

Nâng cao khả năng nhận thức thị giác STEM của MLLM bằng cách tích hợp mã hóa đa ngôn ngữ: Mở rộng CodePercept để không chỉ sử dụng Python mà còn các ngôn ngữ lập trình khác (ví dụ: MATLAB, R, LaTeX TikZ) hoặc các ngôn ngữ mô tả đồ họa (ví dụ: SVG) để mô tả hình ảnh STEM, cho phép mô hình học được các biểu diễn cấu trúc đa dạng hơn và ứng dụng rộng rãi hơn trong các bối cảnh khoa học kỹ thuật.
Tối ưu hóa quy trình tạo dữ liệu Code-Grounded cho MLLM thông qua học tăng cường tự động: Phát triển một khung học tăng cường (RL) để tự động hóa và tối ưu hóa toàn bộ quy trình tạo dữ liệu ICC-1M, bao gồm việc tạo mã, tạo mô tả và kiểm soát chất lượng. Mục tiêu là giảm thiểu sự can thiệp của con người và mở rộng quy mô tạo dữ liệu cho các lĩnh vực STEM phức tạp hơn, đồng thời cải thiện chất lượng tổng thể của các bộ ba hình ảnh-chú thích-mã.
Đánh giá và cải thiện khả năng nhận thức không gian 3D của MLLM trong hình học rắn thông qua mã hóa và tái tạo trực tiếp: Tập trung vào việc giải quyết những hạn chế của MLLM trong hình học rắn bằng cách phát triển các kỹ thuật mã hóa và tái tạo hình ảnh 3D trực tiếp (ví dụ: sử dụng thư viện như Open3D hoặc PyVista thay vì chỉ matplotlib 2D), cùng với một bộ dữ liệu và benchmark chuyên biệt cho nhận thức không gian 3D, nhằm nâng cao sự hiểu biết của mô hình về các vật thể và mối quan hệ trong không gian ba chiều.

2. Patent:

Hệ thống trợ lý học tập STEM di động dựa trên phân tích hình ảnh và mã nguồn: Một ứng dụng di động cho phép người dùng chụp ảnh các bài toán, biểu đồ hoặc hình ảnh STEM từ sách giáo khoa hoặc bảng. Ứng dụng sẽ sử dụng công nghệ phân tích hình ảnh dựa trên mã nguồn để giải thích chính xác nội dung thị giác, sau đó tạo ra một mô tả chi tiết bằng ngôn ngữ tự nhiên và/hoặc mã lập trình để giải thích các khái niệm, cung cấp lời giải từng bước hoặc tạo ra các biến thể của bài toán để luyện tập, giúp học sinh và sinh viên dễ dàng tiếp cận kiến thức STEM.
Công cụ tạo hình ảnh kỹ thuật tự động từ mô tả ngôn ngữ tự nhiên trên thiết bị di động: Một tính năng trên điện thoại thông minh cho phép người dùng nhập mô tả bằng ngôn ngữ tự nhiên về một biểu đồ khoa học, sơ đồ kỹ thuật hoặc hình học. Công nghệ sẽ dịch mô tả này thành mã lập trình (ví dụ: mã Python để vẽ đồ thị) và tự động tạo ra hình ảnh minh họa chính xác, có thể chỉnh sửa. Điều này giúp sinh viên và kỹ sư nhanh chóng trực quan hóa ý tưởng mà không cần kỹ năng lập trình chuyên sâu, tiện lợi cho việc ghi chú hoặc trình bày nhanh.
Hệ thống kiểm tra lỗi và gợi ý sửa chữa mã nguồn dựa trên tái tạo hình ảnh STEM: Một công cụ tích hợp trong ứng dụng lập trình hoặc trình soạn thảo mã trên thiết bị di động. Khi người dùng viết mã để tạo biểu đồ hoặc hình ảnh STEM, hệ thống sẽ tự động thực thi mã, tái tạo hình ảnh từ mã đó, và so sánh với một 'ý định' hình ảnh (có thể là một bản phác thảo hoặc mô tả bằng ngôn ngữ tự nhiên của người dùng). Sau đó, nó sử dụng khả năng phân tích hình ảnh dựa trên mã để xác định lỗi trong mã (ví dụ: sai tọa độ, màu sắc, quan hệ hình học) và gợi ý sửa chữa mã nguồn để hình ảnh được tạo ra khớp với ý định ban đầu, giúp lập trình viên gỡ lỗi hiệu quả hơn.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.10757
ArXiv Abstract	https://arxiv.org/abs/2603.10757
PDF Download	https://arxiv.org/pdf/2603.10757.pdf
Github Repository	https://github.com/TongkunGuan/Qwen-CodePercept

12. RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback (12 votes)

Tác giả: Xiaoying Zhang, Zichen Liu, Yipeng Zhang, Xia Hu, Wenqi Shao

Xuất bản lúc: 2026-03-09

Tag: RL, LLMs, Intrinsic Motivation, Self-reflection, Memory-augmented RL, Exploration

I. Main Problem:

Các framework học tăng cường (RL) tiêu chuẩn cho các tác nhân dựa trên mô hình ngôn ngữ lớn (LLM) thường chỉ tối ưu hóa phần thưởng ngoại sinh, ưu tiên giải quyết tác vụ một lần thay vì khả năng thích nghi liên tục. Điều này dẫn đến việc các tác nhân có thể hội tụ về các chính sách dưới tối ưu do khám phá hạn chế, và kinh nghiệm tích lũy được lưu trữ ngầm trong các tham số mô hình, gây khó khăn cho việc học hỏi kinh nghiệm hiệu quả. Các phương pháp hiện có chưa kết hợp chặt chẽ khám phá và bộ nhớ để hỗ trợ thích nghi liên tục.

II. Main Idea:

RETROAGENT là một framework RL trực tuyến cho phép các tác nhân LLM không chỉ giải quyết tác vụ mà còn "tiến hóa" trong các môi trường tương tác phức tạp, dưới sự hướng dẫn kết hợp của phần thưởng thành công tác vụ ngoại sinh và phản hồi nội sinh kép hồi tưởng. Cụ thể, RETROAGENT có cơ chế tự phản ánh hồi tưởng tạo ra:

Phản hồi số nội sinh: Theo dõi mức độ hoàn thành nhiệm vụ phụ tăng dần so với các lần thử trước để thưởng cho việc khám phá đầy hứa hẹn.
Phản hồi ngôn ngữ nội sinh: Chắt lọc các bài học có thể tái sử dụng vào một bộ đệm bộ nhớ, được truy xuất thông qua chiến lược SimUtil-UCB được đề xuất, cân bằng giữa mức độ liên quan, tiện ích và khám phá. RETROAGENT có hai biến thể: cơ chế tự phản ánh theo ngữ cảnh (in-context) và cơ chế tự phản ánh được huấn luyện bằng RL (RL-trained).

III. Main Results:

RETROAGENT đạt hiệu suất SOTA trên tất cả bốn benchmark tác nhân đầy thách thức (ALFWorld, WebShop, Sokoban, MineSweeper). Cụ thể, nó vượt trội hơn baseline GRPO lần lượt +14.4% (ALFWorld), +12.0% (WebShop), +21.4% (Sokoban) và +8.6% (MineSweeper). Trên WebShop, RETROAGENT vượt qua các baseline cạnh tranh nhất như GiGPO và SKILLRL khoảng 6.1–6.2%. Phản hồi nội sinh kép hiệu quả hơn khi sử dụng từng dạng tín hiệu nội sinh riêng lẻ. Các bài học được chắt lọc hiệu quả hơn các quỹ đạo thô. Biến thể tự phản ánh được huấn luyện bằng RL (RL-trained self-reflection) mang lại hiệu suất cao hơn nữa, ví dụ đạt 95.6% trên ALFWorld, 82.3% trên WebShop và 38.3% trên Sokoban. RETROAGENT thể hiện khả năng thích nghi mạnh mẽ trong thời gian kiểm tra và khái quát hóa ngoài phân phối, đạt tỷ lệ khám phá gần như hoàn hảo trong ba lần thử trên WebShop (82.3% → 99.0%) và ALFWorld (92.9% → 100.0%). Các lợi ích của phản hồi nội sinh kép được hấp thụ hiệu quả vào các trọng số chính sách trong quá trình huấn luyện, không phụ thuộc nhiều vào việc truy xuất bộ nhớ tại thời điểm suy luận.

IV. Conclusion & Future Works:

RETROAGENT là một framework RL trực tuyến với cơ chế tự phản ánh hồi tưởng, cho phép học tập kinh nghiệm hiệu quả thông qua phản hồi nội sinh kép. Chiến lược truy xuất SimUtil-UCB được đề xuất cân bằng giữa sự tương đồng ngữ nghĩa, tiện ích lịch sử và khám phá để tận dụng các bài học tích lũy. RETROAGENT đạt hiệu suất SOTA trên các benchmark tác nhân đầy thách thức, vượt trội hơn tất cả các phương pháp cơ sở trong cả cài đặt phân phối và ngoài phân phối. Các hướng nghiên cứu trong tương lai có thể bao gồm việc khám phá các chiến lược điều chỉnh phần thưởng thay thế.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu về các chiến lược điều chỉnh phần thưởng nội sinh: Khám phá các phương pháp mới để định lượng và điều chỉnh phần thưởng số nội sinh, vượt ra ngoài việc chỉ theo dõi tiến độ nhiệm vụ phụ. Ví dụ, điều chỉnh dựa trên độ khó của nhiệm vụ hoặc sự bất ngờ của khám phá.
Tối ưu hóa cơ chế tự phản ánh cho các mô hình ngôn ngữ lớn: Phát triển các kỹ thuật huấn luyện tiên tiến hơn cho cơ chế tự phản ánh, có thể bao gồm việc sử dụng các mô hình phản ánh nhỏ hơn, chuyên biệt hơn hoặc các kiến trúc đa phương thức để xử lý thông tin phức tạp hơn từ quỹ đạo tương tác.
Tích hợp phản hồi nội sinh kép với học tăng cường đa tác nhân (Multi-Agent RL): Mở rộng RETROAGENT để các tác nhân có thể học hỏi từ kinh nghiệm của nhau thông qua phản hồi nội sinh kép, cải thiện khả năng phối hợp và thích nghi trong môi trường tương tác đa tác nhân.

2. Patent:

Hệ thống trợ lý cá nhân thông minh tự cải thiện: Một ứng dụng trợ lý ảo trên điện thoại có khả năng tự học và cải thiện hiệu suất theo thời gian. Thay vì chỉ thực hiện các lệnh một lần, trợ lý sẽ phân tích các tương tác trước đây (thành công/thất bại), tự rút ra bài học (ví dụ: "người dùng thích lối tắt này cho tác vụ đó") và điều chỉnh hành vi của mình để cung cấp các gợi ý hoặc thực hiện tác vụ hiệu quả hơn trong tương lai. Ví dụ, nếu người dùng thường xuyên tìm kiếm một loại nhà hàng cụ thể vào một thời điểm nhất định, trợ lý có thể tự động đề xuất các nhà hàng tương tự mà không cần nhắc.
Ứng dụng học ngôn ngữ cá nhân hóa và thích nghi: Một ứng dụng dạy ngôn ngữ trên điện thoại sử dụng cơ chế tự phản ánh để theo dõi tiến độ học tập của người dùng. Ứng dụng sẽ nhận diện các lỗi lặp đi lặp lại hoặc các lĩnh vực mà người dùng gặp khó khăn, sau đó tạo ra các bài học hoặc bài tập được cá nhân hóa để giải quyết những điểm yếu đó. Nó cũng có thể "ghi nhớ" các chiến lược học tập hiệu quả cho từng người dùng và điều chỉnh lộ trình học để tối đa hóa sự tiến bộ.
Công cụ hỗ trợ viết thông minh với phản hồi ngữ cảnh: Một tính năng trong bàn phím hoặc ứng dụng ghi chú của điện thoại cung cấp phản hồi thông minh khi người dùng viết. Không chỉ sửa lỗi chính tả/ngữ pháp, nó còn phân tích phong cách viết, mục tiêu của văn bản (ví dụ: email công việc, tin nhắn cá nhân) và đề xuất cách diễn đạt tốt hơn, từ ngữ phù hợp hơn hoặc cấu trúc câu hiệu quả hơn. Hệ thống sẽ học từ các phản hồi của người dùng (chấp nhận/từ chối gợi ý) để liên tục cải thiện chất lượng gợi ý theo thời gian và theo ngữ cảnh cụ thể.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.08561
ArXiv Abstract	https://arxiv.org/abs/2603.08561
PDF Download	https://arxiv.org/pdf/2603.08561.pdf
Github Repository	https://github.com/zhangxy-2019/RetroAgent

13. Prism-Δ: Differential Subspace Steering for Prompt Highlighting in Large Language Models (11 votes)

Tác giả: Yuyao Ge, Shenghua Liu, Yiwei Wang, Tianyu Liu, Baolong Bi, Lingrui Mei, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

Xuất bản lúc: 2026-03-11

Tag: Large Language Models, Prompt Highlighting, Attention Mechanism, Differential Subspace Steering, Key-Value Separation, Inference-time steering

I. Main Problem:

Các mô hình ngôn ngữ lớn (LLMs) thường gặp khó khăn trong việc ưu tiên các phần cụ thể của đầu vào, đặc biệt khi có thông tin mâu thuẫn hoặc trong ngữ cảnh dài (ví dụ: tìm kiếm câu trả lời trong 30 đoạn văn). Các phương pháp làm nổi bật lời nhắc (prompt highlighting) hiện có chỉ hoạt động trên kênh định tuyến (Key representations), bỏ qua kênh nội dung (Value representations). Thêm vào đó, chúng gặp thách thức trong việc trích xuất các hướng điều khiển thực sự phân biệt giữa ngữ cảnh liên quan và không liên quan, thay vì chỉ bắt các mẫu cấu trúc chung, và thường gây ra chi phí làm giảm tính lưu loát của văn bản được tạo ra.

II. Main Idea:

PRISM-∆ (Projection-based Relevance-Informed Steering Method) được đề xuất để giải quyết vấn đề bằng cách:

Phân tách hiệp phương sai chéo vi phân (differential cross-covariance decomposition): Phân tách sự khác biệt giữa các ma trận hiệp phương sai chéo dương và âm để tối đa hóa năng lượng phân biệt, đồng thời loại bỏ các hướng chung. Điều này giúp trích xuất các hướng điều khiển có tính phân biệt cao nhất.
Trọng số thích ứng cho từng head (adaptive head weighting): Mỗi attention head nhận được một trọng số quan trọng liên tục dựa trên hàm softplus. Điều này cho phép các head yếu nhưng hữu ích vẫn đóng góp với cường độ giảm, đồng thời triệt tiêu các head nhiễu.
Điều khiển đồng thời cả kênh Key và Value: Mở rộng khung làm việc để điều khiển cả Key và Value representations. Kênh Value giúp giảm sự suy giảm tính lưu loát do điều khiển và cải thiện tính nhất quán của quá trình tạo văn bản.
Hoạt động tại thời điểm suy luận (inference-time steering): Phương pháp này không cần đào tạo dựa trên gradient và chỉnh sửa các biểu diễn token hiện có tại chỗ, tương thích với FlashAttention và có chi phí bộ nhớ không đáng kể.

III. Main Results:

PRISM-∆ đạt hoặc vượt qua phương pháp tốt nhất hiện có (SEKA) trên 19 trong số 20 cấu hình thử nghiệm, với mức tăng tương đối lên tới +10.6%, đồng thời giảm một nửa chi phí lưu loát của việc điều khiển.
Mở rộng hiệu quả cho tìm kiếm ngữ cảnh dài (Lost-in-the-Middle), vượt trội hơn phương pháp tốt nhất hiện có tới +4.8% mức tăng tương đối.
Nghiên cứu chỉ ra rằng kênh Key chủ yếu thúc đẩy độ chính xác, trong khi kênh Value bảo toàn chất lượng tạo văn bản và có cấu hình độ sâu bổ trợ (Key hoạt động mạnh ở các lớp giữa, Value ở các lớp cuối).
PRISM-∆ thể hiện tính mạnh mẽ cao đối với các ngưỡng lựa chọn head, dao động chỉ 0.60% so với mức giảm 3.14% của SEKA khi thay đổi ngưỡng δmin.

IV. Conclusion & Future Works:

PRISM-∆ là một phương pháp hiệu quả để điều khiển cả kênh định tuyến (Key) và nội dung (Value) của cơ chế attention trong Transformer cho tác vụ làm nổi bật lời nhắc. Việc điều khiển Key chủ yếu mang lại lợi ích về độ chính xác, trong khi điều khiển Value giúp giảm suy giảm tính lưu loát của văn bản. Các cấu hình độ sâu bổ trợ của tín hiệu Key và Value gợi ý một sự phân chia chức năng có thể hữu ích cho các can thiệp attention cấp token khác và định hướng nghiên cứu điều khiển trong tương lai.

Hạn chế: Giá trị gain tối ưu gK thay đổi giữa các benchmark và mô hình, đòi hỏi việc quét xác thực. Trên một số mô hình (ví dụ: GEMMA3-12B trên Pronoun Change), có thể cần gK âm. Trên các benchmark gần bão hòa như CounterFact, mức tăng tuyệt đối vốn dĩ nhỏ cho tất cả các phương pháp điều khiển. Rủi ro lạm dụng (ví dụ: khuếch đại các phần gây hiểu lầm) có thể được giảm thiểu bằng cách hạn chế việc làm nổi bật vào các lời nhắc cấp hệ thống.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu chuyên sâu về phân vùng chức năng của kênh Key và Value trong Transformer: Khám phá chi tiết hơn về sự chuyên biệt chức năng của kênh Key và Value qua các lớp mạng và các kiến trúc mô hình khác nhau (ví dụ: MoE, Transformer với các biến thể attention). Nghiên cứu có thể tập trung vào việc xác định khi nào và tại sao một kênh lại chiếm ưu thế hơn kênh kia trong các tác vụ cụ thể, từ đó phát triển các chiến lược điều khiển tinh vi hơn.
Phát triển cơ chế điều khiển gain tự động và thích ứng cho gK và gV: Xây dựng một phương pháp tự động điều chỉnh các tham số gain gK và gV dựa trên ngữ cảnh đầu vào, loại tác vụ hoặc độ tự tin của mô hình, thay vì yêu cầu dò tìm thủ công. Điều này có thể bao gồm việc sử dụng các mạng nhỏ (meta-learning) để dự đoán gain tối ưu hoặc các thuật toán tối ưu hóa thích nghi để giảm chi phí tinh chỉnh.
Mở rộng phương pháp điều khiển không gian con vi phân cho các biểu diễn tiềm ẩn khác: Áp dụng nguyên lý phân tách hiệp phương sai chéo vi phân không chỉ cho Key và Value mà còn cho các biểu diễn tiềm ẩn khác trong LLM (ví dụ: residual streams, MLP activations) hoặc thậm chí trong các mô hình thị giác (Vision Transformers). Mục tiêu là để điều khiển các khía cạnh cụ thể của hành vi mô hình một cách có chọn lọc và hiệu quả hơn cho nhiều tác vụ kiểm soát chi tiết.

2. Patent:

Tính năng 'Tóm tắt theo trọng tâm' trên điện thoại di động: Một ứng dụng tích hợp trên điện thoại cho phép người dùng bôi đen hoặc đánh dấu các đoạn văn bản quan trọng trong một tài liệu, bài báo hoặc email dài. Hệ thống AI trên thiết bị sẽ sử dụng thông tin này để tự động tạo bản tóm tắt tập trung vào các phần được đánh dấu, giúp người dùng nhanh chóng nắm bắt thông tin cốt lõi theo nhu cầu riêng mà không cần kết nối mạng.
Trợ lý ảo ưu tiên ngữ cảnh cho câu hỏi phức tạp: Một trợ lý ảo trên điện thoại thông minh có khả năng phân tích và làm nổi bật các phần quan trọng trong một yêu cầu phức tạp của người dùng. Ví dụ, nếu người dùng hỏi "Tìm nhà hàng gần công viên có món chay và chỗ ngồi ngoài trời, ưu tiên những nơi được đánh giá cao", hệ thống sẽ tự động ưu tiên "món chay" và "chỗ ngồi ngoài trời" để đưa ra kết quả chính xác và phù hợp nhất với ý định của người dùng.
Hệ thống 'Đọc hiểu thông minh' hỗ trợ người dùng trên thiết bị di động: Một tính năng trợ năng trên điện thoại di động giúp người dùng đọc và hiểu các văn bản dài. Ứng dụng sẽ tự động xác định và làm nổi bật các câu hoặc đoạn văn quan trọng trên một trang web hoặc tệp PDF. Người dùng cũng có thể tự đánh dấu các phần để nhận được bản tóm tắt bằng giọng nói hoặc giải thích đơn giản hóa, giúp họ nhanh chóng nắm bắt thông tin thiết yếu và cải thiện trải nghiệm đọc.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.10705
ArXiv Abstract	https://arxiv.org/abs/2603.10705
PDF Download	https://arxiv.org/pdf/2603.10705.pdf
Github Repository	https://github.com/YuyaoGe/PRISM-DELTA

14. Lost in Backpropagation: The LM Head is a Gradient Bottleneck (10 votes)

Tác giả: Nathan Godey, Yoav Artzi

Xuất bản lúc: 2026-03-10

Tag: LLMs, Deep Learning, Optimization, Gradient Bottleneck, Backpropagation, Softmax Bottleneck, Neural Networks

I. Main Problem:

Lớp cuối cùng (LM head) của các mô hình ngôn ngữ thần kinh chiếu các đặc trưng từ chiều ẩn D sang chiều từ vựng V, trong đó D thường nhỏ hơn nhiều so với V. Điều này tạo ra một "softmax bottleneck" vốn được hiểu chủ yếu là giới hạn về khả năng biểu đạt của mô hình. Bài báo này lập luận và chứng minh rằng đây cũng là một "optimization bottleneck" nghiêm trọng, nơi việc backpropagate các gradient chiều cao qua lớp có rank thấp này gây ra sự mất mát và nén đáng kể tín hiệu huấn luyện, dẫn đến việc học kém hiệu quả và các cập nhật mô hình không tối ưu.

II. Main Idea:

Các tác giả đề xuất rằng bottleneck softmax không chỉ là vấn đề về khả năng biểu đạt mà còn là bottleneck tối ưu hóa nghiêm trọng. Khi gradient từ không gian logit có chiều cao V được backpropagate qua lớp tuyến tính của LM head có rank D (với D << V), phần lớn thông tin gradient bị nén và mất đi (95-99% chuẩn gradient bị triệt tiêu). Điều này dẫn đến các hướng cập nhật trọng số không tối ưu cho các lớp ẩn của mô hình, làm giảm hiệu quả đào tạo, làm chậm quá trình hội tụ và thậm chí khiến các mẫu đơn giản không thể học được.

III. Main Results:

Kết quả chính:

Phân tích lý thuyết và thực nghiệm cho thấy 95-99% chuẩn gradient bị triệt tiêu bởi lớp đầu ra của LM head trong quá trình backpropagation.
Các thí nghiệm tiền đào tạo được kiểm soát với các mô hình 2B tham số cho thấy bottleneck gradient làm giảm tốc độ hội tụ đáng kể; mô hình với D=4096 hội tụ nhanh hơn gấp 16 lần so với mô hình D=32 để đạt cùng mức loss.
Trên ngôn ngữ tổng hợp SpamLang đơn giản, nơi khả năng biểu đạt không phải là vấn đề, bottleneck gradient khiến mô hình rất khó học các mẫu cơ bản khi kích thước từ vựng V tăng lên.
Việc cập nhật trạng thái ẩn dựa trên gradient bị nén kém hiệu quả hơn nhiều lần so với việc cập nhật trực tiếp logit, cho thấy sự mất mát thông tin gradient làm hại quá trình tối ưu hóa.

IV. Conclusion & Future Works:

Nghiên cứu kết luận rằng bottleneck softmax là một bottleneck tối ưu hóa cơ bản trong các mô hình ngôn ngữ thần kinh, không chỉ là giới hạn về khả năng biểu đạt. 95-99% tín hiệu giám sát bị mất trong quá trình backpropagation qua lớp đầu ra, chuyển từ các thành phần thông tin sang phần đuôi dưới dạng nhiễu ngẫu nhiên. Điều này làm chậm quá trình hội tụ và khiến các mẫu đơn giản trở nên khó học. Các tác giả hy vọng công trình này sẽ truyền cảm hứng cho việc xem xét lại thành phần quan trọng nhưng bị bỏ qua này của kiến trúc mô hình ngôn ngữ và thúc đẩy đổi mới trong thiết kế LM head để bảo toàn luồng gradient tốt hơn. Các hướng nghiên cứu trong tương lai bao gồm khám phá các kỹ thuật tiền điều kiện (pre-conditioning), các phương pháp tối ưu hóa mới, hoặc các phương án thay thế softmax phù hợp hơn để bảo toàn luồng gradient.

V. Brainstorming Space:

1. Publish Papers:

Nghiên cứu và phát triển các kiến trúc LM head mới giúp bảo toàn luồng gradient tốt hơn, có thể thông qua các lớp chiếu phi tuyến tính (non-linear projection layers) hoặc các cơ chế phân tách gradient (gradient decomposition mechanisms) để giảm thiểu sự nén thông tin.
Điều tra ảnh hưởng của bottleneck gradient đối với các chiến lược tối ưu hóa khác nhau (ví dụ: Adam, SGD với momentum) và đề xuất các phương pháp tối ưu hóa thích nghi (adaptive optimization methods) được thiết kế đặc biệt để giảm thiểu tác động tiêu cực của việc nén gradient trong LLMs.
Phân tích định lượng sâu hơn về sự phân bố giá trị riêng (singular value distribution) của gradient logit và mối liên hệ của nó với hiệu suất học tập, nhằm phát triển các chỉ số mới để đánh giá mức độ nghiêm trọng của bottleneck gradient và thiết kế các phương pháp chẩn đoán cho quá trình đào tạo LLM.

2. Patent:

Hệ thống điều chỉnh động LM Head trên thiết bị di động: Một công nghệ cho phép các mô hình ngôn ngữ nhỏ (ví dụ, chạy trên điện thoại di động) tự động điều chỉnh cấu hình LM head (ví dụ, rank D) dựa trên tác vụ cụ thể hoặc tài nguyên khả dụng. Khi thực hiện các tác vụ đơn giản hoặc yêu cầu tốc độ nhanh, hệ thống có thể sử dụng LM head có D nhỏ hơn để tiết kiệm bộ nhớ và tính toán. Khi cần độ chính xác cao hơn cho các tác vụ phức tạp, hệ thống sẽ mở rộng D (nếu khả thi) hoặc áp dụng các kỹ thuật bù trừ gradient nhẹ để cải thiện hiệu suất mà không cần tải lại toàn bộ mô hình.
Cơ chế phản hồi học tập tối ưu cho ứng dụng AI trên di động: Phát triển một phương pháp tối ưu hóa trên thiết bị di động, nơi các gradient được tính toán một cách cục bộ và sau đó được nén một cách thông minh (ví dụ, chỉ giữ lại các thành phần gradient quan trọng nhất hoặc sử dụng kỹ thuật nén có ý thức về thông tin) trước khi được sử dụng để cập nhật mô hình hoặc gửi về máy chủ để học liên kết (federated learning). Điều này giúp giảm băng thông và chi phí tính toán trong khi vẫn duy trì hiệu quả học tập, đặc biệt quan trọng cho các ứng dụng AI cá nhân hóa trên điện thoại.
Hệ thống chẩn đoán và cải thiện hiệu quả đào tạo mô hình AI trên đám mây/thiết bị di động: Một công cụ phần mềm tích hợp vào quy trình đào tạo mô hình AI, có khả năng phân tích luồng gradient qua các lớp đầu ra của mô hình ngôn ngữ. Công cụ này sẽ cảnh báo các nhà phát triển về mức độ nén gradient và đề xuất các điều chỉnh kiến trúc hoặc siêu tham số (hyperparameters) để cải thiện hiệu quả đào tạo. Ví dụ, nó có thể gợi ý tăng kích thước D, sử dụng một loại LM head thay thế, hoặc thay đổi tốc độ học tập (learning rate) để tối ưu hóa quá trình hội tụ, giúp tiết kiệm chi phí tính toán đáng kể trên các trung tâm dữ liệu lớn hoặc kéo dài tuổi thọ pin trên thiết bị di động.

Các đường dẫn liên quan

Nền tảng	Đường dẫn
Hugging Face	https://huggingface.co/papers/2603.10145
ArXiv Abstract	https://arxiv.org/abs/2603.10145
PDF Download	https://arxiv.org/pdf/2603.10145.pdf
Github Repository	N/A

📰 Summary of Papers​

1. Bootstrapping Exploration with Group-Level Natural Language Feedback in Reinforcement Learning (195 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

2. OpenClaw-RL: Train Any Agent Simply by Talking (115 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

3. Flash-KMeans: Fast and Memory-Efficient Exact K-Means (74 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

4. LLM2Vec-Gen: Generative Embeddings from Large Language Models (38 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

5. In-Context Reinforcement Learning for Tool Use in Large Language Models (36 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

6. MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents (28 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

7. ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning (24 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

8. Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams (17 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

2. Patent:​

Các đường dẫn liên quan​

9. ID-LoRA: Identity-Driven Audio-Video Personalization with In-Context LoRA (16 votes)​

I. Main Problem:​

II. Main Idea:​

III. Main Results:​

IV. Conclusion & Future Works:​

V. Brainstorming Space:​

1. Publish Papers:​

📰 Summary of Papers

1. Bootstrapping Exploration with Group-Level Natural Language Feedback in Reinforcement Learning (195 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

2. OpenClaw-RL: Train Any Agent Simply by Talking (115 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

3. Flash-KMeans: Fast and Memory-Efficient Exact K-Means (74 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

4. LLM2Vec-Gen: Generative Embeddings from Large Language Models (38 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

5. In-Context Reinforcement Learning for Tool Use in Large Language Models (36 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

6. MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents (28 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

7. ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning (24 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

8. Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams (17 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers:

2. Patent:

Các đường dẫn liên quan

9. ID-LoRA: Identity-Driven Audio-Video Personalization with In-Context LoRA (16 votes)

I. Main Problem:

II. Main Idea:

III. Main Results:

IV. Conclusion & Future Works:

V. Brainstorming Space:

1. Publish Papers: