🤗 Daily Hugging Face Paper Digest - 2026-08-06
Báo cáo được tạo tự động vào lúc 2026-08-07 10:14:52 bằng mô hình hermes-agent.
📰 Summary of Papers
1. ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment (55 votes)
Tác giả: Yijun Lu, Rui Ye, Jiajun Wang, Yuwen Du, Tian Jin, et al.
Xuất bản lúc: 2026-08-05
Tag: Search Agents, Credit Assignment, GRPO, Reinforcement Learning, Supervised Fine-Tuning, Long-Horizon, LLMs, Web Search
I. Main Problem:
Các agent tìm kiếm dài hạn (long-horizon search agents) phải thực hiện nhiều bước hành động liên tiếp để tìm, xác minh và tổng hợp bằng chứng. Vấn đề cốt lõi là credit assignment (phân bổ công trạng): các phương pháp hiện tại (SFT và RL) đối xử đồng nhất mọi bước trong một trajectory — coi cả trajectory thành công là hoàn toàn tích cực, thất bại là hoàn toàn tiêu cực.
Hậu quả:
- Trajectory thất bại vẫn chứa các bước hữu ích (tìm đúng bằng chứng) nhưng nhận tín hiệu 0 → bị phạt oan.
- Trajectory thành công vẫn chứa các bước sai hoặc dư thừa (bỏ sót bằng chứng đúng) nhưng nhận tín hiệu 1 → được củng cố oan.
- Tín hiệu trajectory-level quá thưa và thô (chỉ 0/1 ở cuối), không chỉ ra bước nào thực sự đóng góp vào câu trả lời.
II. Main Idea:
Answer-Backtracked Credit Assignment (ABC) biến tín hiệu thưa ở mức trajectory thành giám sát dày đặc ở từng bước, bằng cách truy ngược từ đáp án đúng. Hai giai đoạn:
- Answer-Backtracked Clue Recovery: từ câu hỏi và đáp án đã xác minh, một LLM chạy vòng lặp ReAct ngược (truy web từ đáp án về câu hỏi) để phục hồi tập clues — các thực thể/sự kiện/quan hệ trung gian tạo thành chuỗi bằng chứng nối câu hỏi với đáp án.
- Clue-Anchored Step Scoring: mỗi bước trong trajectory được chấm điểm (cơ sở 1.0) dựa trên clue: phát hiện/xác minh clue đúng +0.8, loại bỏ ứng viên sai +0.4, bác bỏ clue đúng −0.8, nộp đáp án đúng +1.0 / sai −1.0; tổng được clip về [0, 2.0].
Từ điểm bước, họ phát triển ABC-SFT (reweight loss từng turn theo điểm) và ABC-GRPO (dùng điểm bước làm reward trong GRPO, tính advantage lan truyền tương lai). Cả trajectory đúng và sai đều giữ lại → củng cố bước tốt ngay cả khi thất bại, kìm bước xấu ngay cả khi thành công.
Ví dụ đời thường: giống thầy giáo chấm bài không chỉ xem đáp án cuối đúng hay sai, mà truy ngược từ đáp án đúng để biết học sinh 'phải đi qua những bước nào', rồi đọc từng dòng giải: dòng nào chạm đúng mắt xích được cộng điểm, dòng nào bỏ sót hoặc đi lạc bị trừ — dù cả bài cuối cùng học sinh làm sai vẫn được khen mấy bước đã đúng.
III. Main Results:
- ABSeeker (Qwen3.5-4B, chỉ 8.5k ví dụ) đạt 37.3% BrowseComp, 39.1% BrowseComp-ZH, 77.0% xbench-2505, 46.0% xbench-2510, 81.6% GAIA-text (không context management).
- Với context management (256K, discard-all 5 vòng): 55.3% BrowseComp và 52.9% BrowseComp-ZH.
- Vượt mọi agent 4B cùng cỡ (QUEST-4B, DR-Venus, AgentCPM-Explore) trên mọi benchmark; cạnh tranh hoặc thắng nhiều agent ~30B (Tongyi-DeepResearch, OpenSeeker) dù nhỏ hơn rất nhiều.
- ABSeeker chỉ huấn luyện trên câu hỏi kiểu BrowseComp nhưng khái quát sang xbench và GAIA tốt.
- Phân tích reward: ~10% bước trong trajectory thất bại vẫn có điểm >1.0; ~4% bước trong trajectory thành công có điểm <1.0 → chứng minh sự cần thiết của credit bước.
- ABC-GRPO đánh bại GRPO trajectory-level, vừa tăng độ chính xác vừa kéo dài trajectory (khám phá nhiều hơn).
IV. Conclusion & Future Works:
ABC cung cấp giám sát quy trình chi tiết (process supervision) bằng cách truy ngược đáp án thành clue, giúp agent tìm kiếm hiệu quả và thận trọng hơn qua cả SFT lẫn RL. Hướng tương lai: (1) mở rộng lên backbone lớn hơn (do giới hạn tính toán hiện chỉ dùng 4B); (2) áp dụng khung sang các tác vụ agent dài hạn khác mà kết quả cuối có thể truy ngược thành bằng chứng/tham vọng/điểm quyết định trung gian.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng answer-backtracked credit assignment sang tác vụ agent dài hạn phi-web (lập kế hoạch, code-agent, scientific discovery) bằng cách truy ngược kết quả thành subgoal trung gian thay vì clue web.
- Nghiên cứu lan truyền tương lai (γ) tối ưu trong ABC-GRPO để cân bằng giữa củng cố bước sớm và bước muộn trên trajectory dài tới 200 bước.
- Kết hợp ABC với tự động sinh dữ liệu trajectory (như OpenSeeker) để huấn luyện agent quy mô lớn mà không cần轨迹 thành công nhiều.
2. Patent:
- Trợ lý tìm kiếm trên điện thoại: khi người dùng hỏi phức tạp, app truy ngược từ câu trả lời xác minh được để tự 'gợi ý' luồng tìm kiếm, đánh giá từng bước lướt web của người dùng và chỉ điểm bước nào bỏ sót thông tin quan trọng — giúp tìm đúng nhanh hơn mà không cần model lớn.
- Tính năng 'chấm điểm lịch sử tìm kiếm' trong trình duyệt di động: phân tích các bước tìm kiếm đã qua (từ khóa, trang đã mở) đối chiếu với kết quả cuối người dùng hài lòng, tự động cộng/trừ điểm từng bước để gợi ý lại luồng tìm kiếm tốt hơn lần sau.
- Hệ thống review câu trả lời AI trên app: thay vì chỉ báo đúng/sai, app truy ngược đáp án đúng thành các mắt xích bằng chứng, rồi kiểm tra câu trả lời AI đã chạm đủ mắt xích chưa, tự động gắn nhãn phần nào thiếu tin cậy cho người dùng điện thoại dễ đối chiếu.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.05102 |
| ArXiv Abstract | https://arxiv.org/abs/2608.05102 |
| PDF Download | https://arxiv.org/pdf/2608.05102.pdf |
| Github Repository | N/A |
2. ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation (46 votes)
Tác giả: Jiahao Zhao, Xiaomin Yu, Zhongxiang Sun, Fengwei Teng, Chengwei Qin, et al.
Xuất bản lúc: 2026-08-05
Tag: Agentic Image Generation, Unified Multimodal Model, Text-to-Image, GRPO, Reinforcement Learning, Tool Use, RAG
I. Main Problem:
Các mô hình Text-to-Image (T2I) tạo ảnh đẹp nhưng thất bại ở tác vụ thế giới mở — những yêu cầu cần hiểu ngữ nghĩa phức tạp, suy luận đa bước, và tích hợp tri thức thực tế bên ngoài (văn hóa, IP cụ thể, lịch sử, địa lý, thông tin thời sự).
Nguyên nhân cốt lõi:
- Thông tin quan trọng thường bị thiếu trong prompt người dùng và không thể nhét hết vào tham số tĩnh của mô hình.
- Các phương pháp agentic hiện tại chỉ xử lý một phần quy trình: hoặc định sẵn pipeline cố định (tìm kiếm trước, vẽ sau), hoặc dùng agent tìm kiếm để viết lại prompt rồi giao việc sinh ảnh cho generator bên ngoài.
- Hậu quả: lý luận, gọi công cụ, và sinh ảnh không do một policy duy nhất điều phối — mô hình không học được toàn bộ quyết định từ phát hiện lỗ hổng tri thức đến tạo ảnh cuối.
II. Main Idea:
ToolArtist huấn luyện tiếp (post-training) một Unified Multimodal Model (UMM) là Emu3.5 thành mô hình hoàn toàn agentic: một policy duy nhất tự lý luận, tự gọi công cụ tìm kiếm, và tự sinh/ sửa ảnh.
Giai đoạn SFT (Supervised Fine-Tuning):
- Một teacher agent được trang bị công cụ tìm kiếm văn bản, tìm kiếm ảnh, và công cụ sinh ảnh (gemini-3-pro-image).
- Teacher tự rollout các trajectory đa lượt (lý luận → gọi tool → tìm tiếp → quyết định vẽ).
- Bộ converter ẩn lời gọi công cụ sinh ảnh, nhưng giữ lại ảnh kết quả dưới dạng visual-caption span + visual-token span — tức chuyển hành vi 'gọi tool ngoài' thành 'tự sinh ảnh native' trong cùng chuỗi autoregressive.
- Chỉ 7,132 trajectory chất lượng cao.
Giai đoạn RL — RAD-GRPO (Reason-Act-Draw GRPO):
- Tối ưu trực tiếp toàn bộ trajectory qua tương tác với môi trường.
- Dual reward: Intent Reward (caption có dịch đúng ý người dùng + bằng chứng thành mô tả thực thi được không) + Quality Reward (ảnh có trung thành với caption và yêu cầu gốc không, qua 4 chiều: faithfulness, visual correctness, text accuracy, aesthetics).
- 4 auxiliary reward: format, draw signal (khuyến khích thực sự vẽ), length penalty, no-draw penalty (tránh mode chỉ tìm kiếm).
Ví dụ đời thường: giống nhân viên thiết kế mới nhận brief mơ hồ, tự lên mạng tra cứu tư liệu và ảnh tham khảo cần thiết, rồi tự tay vẽ và sửa bản thiết kế — thay vì chỉ viết lại yêu cầu rồi đẩy sang bộ phận vẽ ảnh khác.
III. Main Results:
- WISE (Overall 0.79): vượt các mô hình agentic prior trong bảng; mạnh ở mảng khoa học tự nhiên nặng tri thức — Physics 0.81, Chemistry 0.79.
- WorldGenBench-Humanities (avg KCS 22.10): tốt nhất trong nhóm non-proprietary, so với Qwen-Image 21.76, Unify-Agent 15.58, GenSearcher 13.66. Dẫn đầu châu Phi, Nam Cực, châu Á.
- RL dynamics: reward tăng dần (bước 10–20 tăng nhanh, cuối ~0.41); entropy giảm nhẹ, không sụp đổ — policy tập trung vào hành vi có reward cao.
- Ablation source-aware summary: ảnh tìm kiếm có tóm tắt nguồn giúp WISE Overall tăng từ 0.61 → 0.79; Biology tăng mạnh nhất (+0.50) vì cần định danh sự thật tinh vi.
IV. Conclusion & Future Works:
Đặt toàn bộ quy trình sinh ảnh thế giới mở dưới một policy agentic — thay vì pipeline cố định hay chỉ kiểm soát một phần — mang lại hiệu quả vượt trội. Công bố dataset 7k SFT và hạ tầng SFT+RL hoàn chỉnh cho UMM. Hướng tương lai: mở rộng bộ công cụ, áp dụng cho miền tri thức rộng hơn, và khai thác进一步强化 khả năng tự sửa ảnh qua nhiều vòng tìm kiếm–vẽ.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng ToolArtist sang nhiều công cụ thế giới mở hơn (API bản đồ, cơ sở dữ liệu khoa học, công cụ kiểm tra sự thật thời gian thực) để tăng độ bao phủ tri thức dài đuôi.
- Nghiên cứu chiến lược dừng tự động: khi nào policy nên ngừng tìm kiếm và quyết định vẽ, thay vì số vòng cố định, nhằm tiết kiệm chi phí truy vấn.
- Kết hợp RAD-GRPO với curriculum learning theo độ khó tri thức để ổn định huấn luyện RL trên UMM và tránh mode chỉ tìm kiếm.
- Đánh giá khả năng tự sửa lỗi đa vòng: cho phép policy soi ảnh vừa vẽ, phát hiện thiếu/sai, gọi tool bổ sung rồi vẽ lại — đo lường trên benchmark đa ngôn ngữ.
2. Patent:
- Ứng dụng điện thoại: app tạo ảnh AI tự động tra Google khi người dùng yêu cầu 'vẽ đền Angkor Wat đúng kiến trúc thế kỷ 12' — điện thoại tự tìm ảnh tham khảo có ghi nguồn, kiểm tra sự thật, rồi sinh ảnh đúng thực tế thay vì vẽ bừa.
- Tính năng 'kiểm chứng lịch sử' trong gallery ảnh: người dùng nhập 'quân phục Triều Nguyễn', app tự tìm tư liệu văn bản + ảnh có tóm tắt nguồn để sinh minh họa chính xác, hỗ trợ học sinh làm bài.
- Công cụ marketing di động: chủ shop chụp sản phẩm, app tự tra xu hướng văn hóa vùng miền rồi sinh background quảng cáo phù hợp ngữ cảnh địa phương mà không cần designer.
- Trình tạo tư liệu giáo khoa trên tablet: giáo viên gõ 'hệ mặt trời theo quan niệm Maya', thiết bị tự thu thập tri thức chuyên biệt rồi vẽ minh họa trung thành thay vì hallucinate.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.04436 |
| ArXiv Abstract | https://arxiv.org/abs/2608.04436 |
| PDF Download | https://arxiv.org/pdf/2608.04436.pdf |
| Github Repository | N/A |
3. Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes (43 votes)
Tác giả: Junlin Han, Shengbang Tong, David Fan, Minghao Chen, Philip Torr, et al.
Xuất bản lúc: 2026-08-05
Tag: Multimodal Pretraining, Vision-Language Models, Unified Models, Knowledge Flow, MoE, Transfusion, Vision Generation
I. Main Problem:
Lĩnh vực đang chuyển từ mô hình ngôn ngữ đơn phương thức sang mô hình đa phương thức thống nhất — một mô hình vừa hiểu ảnh, vừa sinh ảnh, vừa xử lý ngôn ngữ. Tuy nhiên:
- Không gian thiết kế và cơ chế tương tác giữa các phương thức khi huấn luyện thống nhất vẫn chưa được thăm dò kỹ — phần lớn dựa vào kinh nghiệm (heuristics).
- Hầu hết cách tiếp cận hiện tại gắn thị giác vào LLM đã huấn luyện sẵn (late-fusion / retrofit), coi ảnh như module căn chỉnh bổ sung, khiến động lực học thị giác chủ động tham gia vào nền tảng huấn luyện bị che khuất.
- Nghiên cứu trước đó đưa ra những kết luận mâu thuẫn về việc hiểu ảnh và sinh ảnh hỗ trợ lẫn nhau thế nào.
II. Main Idea:
Bài báo đề xuất khám phá từ dưới lên (bottom-up) một cách có hệ thống cơ chế vật lý của huấn luyện đa phương thức thống nhất, qua thí nghiệm có kiểm soát chặt chẽ trên cả dữ liệu tổng hợp (synthetic) và dữ liệu thực tế quy mô lớn.
Quy trình cốt lõi:
- Dùng khung Transfusion gộp dự đoán token rời rạc (văn bản) và flow matching liên tục (sinh ảnh) trong một Transformer decoder.
- Tách rời luồng tri thức: trên dữ liệu thực, giữ cố định một phương thức rồi tăng dần phương thức kia để đo hướng truyền knowledge.
- Thí nghiệm cắt bỏ khái niệm (concept ablation) trên tập CLEVR tổng hợp: xoá một khái niệm (màu, hình dạng, vị trí, kích thước, số lượng) khỏi luồng này nhưng giữ ở luồng kia, rồi kiểm tra chuyển giao zero-shot.
- Khảo sát kiến trúc (chia sẻ attention/normalization, tách FFN) và thời điểm đưa thị giác vào (sớm vs muộn, đồng thời vs tuần tự).
- Tổng hợp thành công thức huấn luyện và kiểm chứng quy mô bằng MoE 13.5B trên 2T token.
Bốn phát hiện chính: (i) Knowledge Flow bất đối xứng; (ii) Synergy vs Competition phụ thuộc độ phức tạp dữ liệu; (iii) Early Unification cần thiết (tránh vision laziness); (iv) Recipes tiết kiệm 95% compute.
Ví dụ đời thường: giống như nhà giáo dục tách hai lớp — một lớp dạy khái niệm bằng tranh ảnh, một lớp bằng lời nói — rồi cố tình bỏ hẳn khái niệm đó khỏi một lớp, xem học sinh có tự hiểu sang lớp kia không, từ đó biết chính xác kiến thức chảy theo hướng nào thay vì đoán mò.
III. Main Results:
- Knowledge Flow bất đối xứng (thực tế): tăng tỷ lệ ngôn ngữ 0→80% cải thiện đơn điệu mọi trục hiểu ảnh và sinh ảnh; hiểu ảnh là tiền đề mạnh cho sinh ảnh (giảm diffusion loss rõ rệt) nhưng hơi làm giảm hiệu năng ngôn ngữ thuần; sinh ảnh không truyền ngược hữu hiệu sang hiểu ảnh hay ngôn ngữ (chỉ dao động nhỏ).
- Synthetic CLEVR: khái niệm thấp cấp (màu, hình dạng) thất bại zero-shot cả hai chiều; khái niệm cấu trúc (vị trí, kích thước, số lượng) — hiểu ảnh truyền sang sinh ảnh, nhưng sinh ảnh hầu như không giúp hiểu ảnh (trừ đếm). Sinh ảnh cung cấp tiền đề ẩn mạnh giúp học nhanh khái niệm thấp cấp ở hiểu ảnh; hiểu ảnh cho tiền đề ẩn yếu cho sinh ảnh.
- Synergy vs Competition: độ phức tạp tác vụ quyết định hợp tác hay cạnh tranh; chia sẻ attention + normalization thúc đẩy synergy, tách riêng FFN theo phương thức giảm xung đột; hiện tượng này không phụ thuộc tokenizer (RAE, Raw Pixels, CLIP+VAE, AR UniTok đều giống nhau).
- Early Unification: huấn luyện chung sớm và đồng thời hiệu quả hơn late alignment/sequential; trì hoãn đưa thị giác gây vision laziness — mô hình tối ưu ít ở thành phần thị giác, dựa quá mức vào先验 ngôn ngữ.
- Recipes: pha trộn dữ liệu bất đối xứng + MoE + early unification đạt hiệu năng sinh ảnh mạnh với chỉ 5% ngân sách tính toán; kiểm chứng quy mô 13.5B MoE / 2T token bằng so sánh đơn biến.
IV. Conclusion & Future Works:
Nghiên cứu thay thế trực giác bằng bằng chứng, thiết lập nền tảng có nguyên tắc để thiết kế, thống nhất và mở rộng mô hình đa phương thức. Bốn insight (luồng tri thức, synergy, early unification, recipes) cung cấp baseline thực tế cho các foundation model tương lai.
Hướng tương lai: mở rộng sang thêm phương thức (âm thanh, video); tìm hiểu sâu hơn cơ chế vision laziness; tối ưu công thức dữ liệu cho nhiều kiến trúc tokenizer; khảo sát trên quy mô lớn hơn nữa các mô hình thống nhất原生.
V. Brainstorming Space:
1. Publish Papers:
- Huấn luyện sớm mô hình thống nhất trên điện thoại: kết hợp luồng hiểu ảnh và sinh ảnh ngay từ đầu huấn luyện thay vì ghép sau, dùng chia sẻ attention và tách FFN để chạy mượt trên chip di động mà không bị 'lười thị giác'.
- Công thức pha trộn dữ liệu bất đối xứng tiết kiệm năng lượng: ưu tiên dữ liệu ngôn ngữ làm tiền đề chung, kết hợp sinh ảnh tốn ít compute, áp dụng cho trợ lý đa phương thức chạy offline trên thiết bị.
- Khung đánh giá zero-shot theo khái niệm: dùng tập dữ liệu tổng hợp cắt bỏ từng thuộc tính (màu, vị trí, số lượng) để kiểm tra mô hình điện thoại có hiểu đúng yêu cầu sinh ảnh phức tạp hay không trước khi phát hành.
2. Patent:
- Điện thoại chụp ảnh rồi tự động vẽ minh họa theo lời nói: dùng kiến trúc Transformer chia sẻ attention nhưng tách riêng lớp xử lý ảnh và chữ, giúp máy vừa mô tả ảnh chụp vừa sinh hình minh họa theo mô tả, chạy mượt trên chip điện thoại nhờ công thức huấn luyện bất đối xứng tiết kiệm 95% tính toán.
- Ứng dụng chỉnh sửa ảnh bằng giọng nói trên di động: người dùng nói 'thêm quả cầu đỏ phía sau bên trái khối lập phương' — mô hình thống nhất sinh ảnh tuân thủ đúng vị trí không gian nhờ đã học khái niệm quan hệ không gian qua luồng hiểu ảnh trước đó, không cần mô hình sinh ảnh riêng.
- Trợ lý thị giác đa năng trên thiết bị cầm tay: vừa đọc tranh biếm họa vừa vẽ lại theo yêu cầu văn bản trong cùng một mô hình nhỏ, dùng chiến lược huấn luyện chung sớm để tránh hiện tượng mô hình 'lười' dùng ảnh, tiết kiệm pin và bộ nhớ máy.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.05000 |
| ArXiv Abstract | https://arxiv.org/abs/2608.05000 |
| PDF Download | https://arxiv.org/pdf/2608.05000.pdf |
| Github Repository | N/A |
4. The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads (37 votes)
Tác giả: Yushi Sun, Yanjie Zhang, Rui Sheng
Xuất bản lúc: 2026-08-05
Tag: LLM Personalization, Over-Inference, Hallucination, Memory Systems, Self-Monitoring, Benchmark, User Profiling
I. Main Problem:
Các LLM có bộ nhớ cá nhân hóa (như ChatGPT Memory, Mem0, MemGPT) đang giả định rằng mô hình biết rõ đâu là thông tin người dùng đã chia sẻ, đâu là suy đoán. Thực tế giả định này bị vi phạm nghiêm trọng. Vấn đề nghiên cứu gọi là over-inference (OI) — hiện tượng mô hình tự bịa ra các đặc điểm cá nhân vượt quá bằng chứng được cung cấp. Khác với hallucination (sai kiến thức thế giới) hay bias xã hội (định kiến nhóm), OI nằm ở vùng nguy hiểm giữa: bịa đặt đặc điểm cá nhân riêng lẻ nghe có vẻ được cá nhân hóa nhưng không grounded vào bất cứ điều gì người dùng từng nói.
II. Main Idea:
Tác giả xây dựng MirageBench — benchmark đầu tiên đo lường over-inference. Thiết kế cốt lõi:
- 150 personas cân bằng 3 nhóm: stereotypical (khớp định kiến), counter-stereotypical (phá định kiến), neutral; mỗi persona chỉ 'tiết lộ' đúng 3 sự thật (E), để lại 12 đặc điểm chưa nói.
- 6 tác vụ cá nhân hóa trải dài theo gradient 'groundability' (từ tặng quà có thể căn cứ sở thích → tả căn hộ phải bịa hoàn toàn).
- Phân loại 4 hạng: Grounded (nhắc lại), Reasonable (suy luận 1 bước hợp lý), Stereotype (thay bằng định kiến nhóm), Fabricated (không có cơ sở). Hai hạng sau = OI.
- Judge độc lập (Claude-Opus-4-7, không nằm trong bảng xếp hạng) dán nhãn mọi claim, đã validate với người thật trên 400 claim (Cohen's κ=0.863 bốn lớp, κ=0.900 nhị phân).
- Pipeline 4 công cụ: Probe (hỏi thẳng suy luận), Task (thực hiện + tự kiểm), Judge (phán xét ngoài), Accum (theo dõi 8 lượt).
Ví dụ đời thường: giống người quen mới nghe bạn nói ba điều (làm IT, leo núi cuối tuần, mèo làm đổ cà phê), nhưng về khoe với người khác rằng bạn ở căn hộ tối giản, độc thân, thích indie rock — tự bịa thêm hồ sơ rồi coi như thật.
III. Main Results:
- OI phổ biến và nghiêm trọng: cả 12 mô hình (7 họ) đều over-infer 35%–49% claim (trung bình 41.6%; claim-weighted 41.8%). Không mô hình nào thoát được. Chỉ 24%–31% nội dung cá nhân hóa thực sự grounded — tức ~3/4 điều mô hình 'biết' về bạn chưa bao giờ được nói.
- Self-Monitoring Inversion: ở mức chọn mô hình, OI tự báo cáo tương quan âm với OI do judge đo (Spearman ρ=−0.60, p=0.044; CI rộng [−0.90,+0.06], n=12). Mô hình tự nhận ít over-infer nhất (Qwen3-8B 13%) lại bị judge flag cao nhất (48.7%). Nhưng trong cùng 1 mô hình, tự kiểm vẫn xếp hạng claim khá tốt (AUROC 0.58–0.83, 9/12 >0.75).
- Phụ thuộc tác vụ: OI từ 27% (tặng quà) đến 59% (tả căn hộ). Càng ít observable, càng bịa tự do. Thư giới thiệu bịa 40.4% do áp lực thể loại.
- Tích lũy qua nhiều lượt: pilot 8 round, 9/12 mô hình tăng gần tuyến tính (R²>0.90, +5–15 thuộc tính/lượt); top accumulators (GPT-5.5, GLM-5.1) hiếm khi sửa (xoá 0.4–5%).
- Tác nhân: verbosity (r=0.59), pretraining priors lấp chỗ trống, và genre expectations ép phải bịa.
IV. Conclusion & Future Works:
Kết luận: OI là đặc tính chia sẻ rộng của LLM cá nhân hóa hiện tại, tăng theo gradient groundability, và tích lũy qua lượt ở mô hình mạnh nhất. Self-audit hữu ích trong 1 mô hình nhưng đánh lừa khi so sánh cross-model — nên dùng xác minh ngoài (external verification) và provenance tracking thay vì self-report làm nền tảng tin cậy. Điểm mấu chốt: loại bỏ hết OI = loại bỏ luôn cá nhân hóa, nên thiết kế nên quản lý độ bất định (minh bạch biết gì/đoán gì), không phải ngăn suy luận. Hướng tương lai: đánh giá cross-judge robust, mẫu Accum lớn hơn với prompt cho phép prune, và đo thử các biện pháp khắc phục (write-time filtering, temporal-validity checks).
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng MirageBench sang đa ngôn ngữ và văn hóa để xem over-inference có thay đổi theo định kiến vùng miền hay không, kết hợp thêm annotator người thật ở nhiều quốc gia.
- Nghiên cứu cơ chế (mechanistic) của Self-Monitoring Inversion: tìm circuit trong attention head giải thích tại sao mô hình 'strict' tự flag nhiều nhưng sinh ít bịa, còn 'lenient' ngược lại.
- Thiết kế và đánh giá pipeline provenance tracking gắn thẻ epistemic status (stated / inferred-with-evidence / generated-without-evidence) trong hệ thống memory production thực tế để giảm silent memory pollution.
- So sánh cross-judge: dùng nhiều judge model khác họ để kiểm chứng độ ổn định của taxonomy bốn lớp và của phát hiện inversion.
2. Patent:
- Tính năng 'Nguồn gốc thông tin' trên ứng dụng nhắn tin AI (điện thoại): mỗi chi tiết assistant nhắc về bạn được gắn tag nhỏ 'bạn nói', 'suy luận', hoặc 'tự đoán' — người dùng vuốt xem để biết đâu là bịa, giúp tránh hiểu lầm cá nhân hóa.
- Bộ lọc write-time cho memory điện thoại: trước khi lưu một đặc điểm người dùng, hệ thống tự hỏi 'có bằng chứng không?' và chỉ lưu những có link dẫn chứng; phần không có bị đánh dấu 'giả thuyết' thay vì 'sự thật', ngăn tích lũy sai sót thầm lặng.
- Chế độ 'Minh bạch cá nhân hóa' trong trợ lý ảo: khi gợi ý (ví dụ chọn quà, lên lịch trình), app hiển thị rõ phần dựa trên sở thích bạn đã chia sẻ và phần nó tự suy đoán, để người dùng dễ dàng sửa hoặc bác bỏ.
- Cảnh báo over-inference cho nhà phát triển app: SDK chạy judge độc lập đánh giá tỉ lệ OI của model mình trước khi tích hợp, thay vì tin vào con số tự báo cáo của hãng — tránh chọn nhầm model 'tự tin giả'.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.04570 |
| ArXiv Abstract | https://arxiv.org/abs/2608.04570 |
| PDF Download | https://arxiv.org/pdf/2608.04570.pdf |
| Github Repository | N/A |
5. OneDayAgent: Towards a Long-Horizon Harness for Autonomous Agents (28 votes)
Tác giả: Jingsheng Zheng, Xinyuan Fang, Jintian Zhang, Zhengke Gui, Huajun Chen, et al.
Xuất bản lúc: 2026-08-04
Tag: LLM Agents, Long-Horizon, Task Decomposition, Verification-and-Repair, Execution Memory, Context Compression, Agentic Harness, Cross-Environment, Multimodal
I. Main Problem:
Các agent LLM khi gặp yêu cầu đời thường mở rộng, kéo dài nhiều giờ (lang thang web, sửa file, tạo slide/báo cáo) thường thất bại vì ba áp lực chồng chéo:
- Goal drift (trôi mục tiêu): quên ràng buộc/ràng buộc ngầm đã nêu từ đầu khi đi qua nhiều bước.
- State loss (mất trạng thái): khi chuyển môi trường (web → file local) thì bằng chứng tìm được ở bước trước bị rơi rụng, artifact cuối thiếu nội dung.
- Context overflow (tràn ngữ cảnh): lịch sử tích lũy quá dài vượt giới hạn cửa sổ context trước khi làm xong.
Các giải pháp trước chỉ sửa từng lỗi đơn lẻ (scaffold suy luận, feedback, quản lý memory) nhưng các lỗi này tương tác và cộng hưởng, nên vá một chỗ không đủ.
II. Main Idea:
OneDayAgent là một harness (bộ khung điều khiển) biến một yêu cầu mở thành một quy trình thực thi có quản lý, gồm 3 năng lực cốt lõi chạy trên cùng một không gian hành động (web, tính toán, file, đa phương thức):
- Task Decomposition: tách yêu cầu quá tải thành các subtask có giới hạn; mỗi bước agent chỉ cần theo đuổi mục tiêu cục bộ, còn harness giữ nguyên ý định gốc.
- Execution Memory: nén quan sát nhiễu (tóm tắt trang dài, snippet tìm kiếm), truyền trạng thái giữa subtask chỉ qua kết quả tóm tắt + handle file, và tự nén context khi đạt 90% ngân sách → giữ state mà không gánh toàn bộ lịch sử.
- Global Verification & Repair: sau khi gộp subtask thành sản phẩm, verifier soi lại với ý định gốc; nếu thiếu/sai thì vào vòng repair chỉ vá chỗ lỗi chứ không chạy lại từ đầu.
Ví dụ đời thường: giống thợ mộc nhận làm cả căn bếp — thay vì nhớ một lèo mọi yêu cầu, ông ta ghi ra từng hạng mục nhỏ (đo, cắt, lắp), ghi chú ngắn gọn chuyển cho người kế tiếp, và trước khi giao nhà thầu trưởng đi kiểm tra bản vẽ gốc, thấy thiếu cái cửa sổ thì chỉ đục thêm chỗ đó chứ không đập cả tường xây lại.
III. Main Results:
- Trên AgentIF-OneDay (104 tasks), backend GLM-5.2 đạt 0.821 — state-of-the-art mới, dẫn đầu mọi loại task (OWE/LII/IR), mọi domain (work/study/life) và mọi rubric.
- Ablation (GLM-5.2): bỏ cả 2 module → 0.771; chỉ decomposition → 0.804; chỉ verification → 0.804; đủ cả → 0.821 (+5.0pp). Verification rẻ hơn nhiều: chỉ +2.2 phút so với +10.6 phút của decomposition.
- Hành vi thực thi: 95/104 task qua verify ngay lần 1; 9 vào repair, hồi phục 6, thất bại 3. 35/104 task kích hoạt nén context, task áp lực nhất t累积 ~350K token nhưng điểm không giảm khi tăng số lần nén (r≈0).
- Cross-backend: cùng 1 harness chạy trên 5 LLM 3 hãng (GLM-5.2 0.821, Gemini-3.1-Pro 0.743, Qwen3.5-397B 0.708, Qwen3.5-9B 0.624, Qwen3.6-27B 0.613) — không cần tinh chỉnh, chứng tỏ harness khái quát được backend.
- Scaling: xu hướng tham số lớn hơn thì điểm cao hơn nhưng không phải luật scaling nghiêm ngặt (Gemini tin là >1T nhưng chỉ hạng 2; Qwen3.6-27B không thắng nổi Qwen3.5-9B). Mỗi backend sinh phong cách thực thi riêng (GLM tốn kém nhất, Qwen3.6 có repair rate cao nhất 56.7%).
IV. Conclusion & Future Works:
OneDayAgent chứng minh một harness duy nhất có thể xử lý đồng thời phân rã task, memory dưới áp lực context và verify/repair sản phẩm, không phụ thuộc vào backend cụ thể. Hướng tương lai: cô lập nhân quả giữa nén context và chất lượng; tối ưu chi phí (verify-only là điểm hiệu quả nhất); mở rộng sang backend/tool nhiều hơn và task dài hơn nữa.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu cô lập nhân quả (causal isolation) giữa số lần nén context và độ ổn định điểm số trên tác vụ long-horizon thật, thay vì chỉ quan sát tương quan.
- Phân tích sâu 'execution style' do backend sinh ra: tại sao cùng harness mà GLM dùng profile tốn kém, Qwen3.6 lại repair nhiều — liên hệ với đặc tính mô hình nền.
- Mở rộng harness sang tác vụ siêu dài (nhiều ngày) và đa agent, nơi subtask state passing và verify/repair phải phối hợp qua nhiều thực thể.
2. Patent:
- Trên điện thoại/ máy tính cá nhân: một 'trợ lý công việc ngày' tự bóc tách yêu cầu người dùng (soạn bài thuyết trình, tổng hợp tài liệu) thành các bước nhỏ, tự lưu file trung gian và trước khi giao kết quả thì tự kiểm tra lại xem đã đủ mọi yêu cầu chưa, thiếu thì chỉ làm tiếp phần đó — giúp người dùng không phải làm lại từ đầu.
- Hệ thống soạn thảo văn bản/ slide trên app: sau khi AI tạo bản nháp, một module verify soi lại yêu cầu gốc (thêm ảnh, giữ định dạng, xoá slide 9) rồi tự vá lỗi cục bộ thay vì sinh lại toàn bộ, tiết kiệm thời gian và token.
- Trình duyệt tích hợp trí nhớ thực thi: khi người dùng làm việc xuyên web và file local, hệ thống tự nén trang dài thành ghi chú ngắn, truyền sang bước sau chỉ phần cần thiết, tránh 'quên' thông tin đã tìm được — hữu ích cho app nghiên cứu và học tập trên mobile.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.05013 |
| ArXiv Abstract | https://arxiv.org/abs/2608.05013 |
| PDF Download | https://arxiv.org/pdf/2608.05013.pdf |
| Github Repository | https://github.com/zjunlp/OneDayAgent |
6. Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning (21 votes)
Tác giả: Yinghui He, Ling Yang, Jiarui Liu, Yongjin Yang, Lechen Zhang, et al.
Xuất bản lúc: 2026-08-05
Tag: RL, LLMs, Reasoning, Benchmark, Skill Switching, GRPO, Long-Horizon Reasoning
I. Main Problem:
Các LLM hiện đại làm tốt từng kỹ năng đơn lẻ (toán, lập trình, logic...) nhưng gãy gụ khi phải chuyển đổi giữa các kỹ năng khác nhau trong cùng một chuỗi suy luận dài — ví dụ bước 1 giải toán, bước 2 dùng kết quả đó để lập lịch. Những bài như vậy gọi là cross-skill long-horizon tasks. Các benchmark hiện có chỉ đo từng kỹ năng riêng lẻ, thiếu thước đo khách quan để đánh giá năng lực chuyển đổi kỹ năng (skill-switching). Hậu quả: mô hình mạnh vẫn dễ vỡ trên tác vụ phức hợp dù từng kỹ năng đó nó làm tốt khi đứng một mình.
II. Main Idea:
Bài báo đóng hai lỗ hổng (đo lường và huấn luyện) bằng khái niệm Skill Entropy (SkE).
1. Skill Entropy — thước đo độ khó khi chuyển kỹ năng:
- Là đại lượng cặp có hướng SkE(s_a, s_b) đo mức độ khó khi chuyển từ kỹ năng s_a sang s_b trong một chuỗi.
- Tính bằng tỉ số đã làm mượt giữa độ chính xác đơn-kỹ-năng và độ chính xác xen-kỹ-năng dưới một mô hình tham chiếu cố định: SkE ≈ 1 nghĩa là nối 2 kỹ năng ít tốn thêm độ khó; SkE > 1 nghĩa là chuyển rất khó.
- Gộp các cặp dọc theo chuỗi kỹ năng của bài thành task-level skill entropy ( điểm số scalar ) rồi chia 3 mức độ khó: low / medium / high.
2. Skill2-Bench — benchmark: xây dựng 558 kỹ năng trên 9 miền (math, coding, science, logic, planning, information extraction, creative writing, context retrieval, instruction following), mỗi bài là một kịch bản gắn kết các bước phụ thuộc nhau, được gán điểm skill entropy.
3. Skill-Entropy RL — tín hiệu huấn luyện:
- Mô hình không chỉ dự đoán đáp án mỗi bước mà còn gắn thẻ kỹ năng (tag skill) cho bước đó.
- Phần thưởng = λ·đúng_đáp_án + λ·skill-entropy reward (đo độ khớp giữa chuỗi kỹ năng mô hình tự đoán và chuỗi vàng).
- Huấn luyện bằng GRPO; pipeline này còn cắm được vào dữ liệu có sẵn (như OpenR1-Math) mà không cần xây bài thủ công.
Ví dụ đời thường: giống như thợ mới nhận việc được yêu cầu vừa tính toán vật liệu vừa viết báo cáo vừa sắp lịch — thay vì chỉ làm bừa một kiểu, anh ta trước mỗi việc tự ghi chú 'bây giờ mình đang làm kỹ năng gì' rồi kiểm tra xem trình tự ghi chú có khớp với quy trình chuẩn không, từ đó học được cách 'đổi não' sạch giữa các việc thay vì lặp lại thói quen bước trước.
III. Main Results:
- Skill-switching gap: đo trên 8 mô hình frontier + 4 open-source, độ chính xác giảm gần đơn điệu khi task-level skill entropy tăng; chuyển sang chế độ xen-kỹ-năng làm giảm −4% đến −10% so với đơn-kỹ-năng (kể cả kỹ năng mô hình gần saturated).
- Nguyên nhân thất bại chủ đạo: ở các bước sâu, mô hình có xu hướng tái dùng kỹ năng và kiểu đáp án của bước trước thay vì chuyển sang kỹ năng bài đang cần.
- Skill-Entropy RL trên Qwen3-4B-Instruct: Skill2-Bench tăng từ 34.4% → 68.4%; trên Qwen3-1.7B từ 14.6% → 40.1%.
- Vượt mọi baseline (SFT, GRPO, Skill-Distill, SkillRL, STAT); riêng việc thêm skill-entropy reward hơn GRPO +9.6% (4B) và +7.9% (1.7B).
- Khái quát hóa: thắng trên 7/9 miền, kể cả miền open-ended không huấn luyện RL; chuyển sang 5 benchmark ngoài (MuSR, LongBench-MuSiQue, GPQA-Diamond, MMLU, IFEval) cũng đạt trung bình cao nhất.
- Dữ liệu có sẵn: cắm vào OpenR1-Math, thêm skill-entropy reward giúp tiếp tục tăng khi GRPO thuần đã chững (plateau).
IV. Conclusion & Future Works:
Skill Entropy vừa là thước đo benchmark vừa là tín hiệu huấn luyện tái dùng được, tách bạch năng lực chuyển đổi kỹ năng khỏi năng lực đơn-kiểu-năng. Hướng tiếp theo: mở rộng sang thêm miền open-ended trong huấn luyện, thử trên kiến trúc/mô hình lớn hơn, và tích hợp pipeline dán nhãn kỹ năng tự động vào mọi tập dữ liệu huấn luyện có sẵn để 'skill-native' hóa LLM đại trà.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Skill-Entropy RL sang huấn luyện đa miền open-ended (creative writing, instruction following) trực tiếp, thay vì chỉ khái quát từ 6 miền verifiable, để xem trần hiệu năng trên kỹ năng sinh văn bản.
- Kết hợp skill entropy với curriculum learning: xếp lịch huấn luyện từ low → high skill entropy để tối ưu tốc độ hội tụ và tránh 'forgetting' kỹ năng đơn lẻ.
- Áp dụng tư tưởng skill-entropy reward cho agentic coding / deep research dài hạn, nơi chuỗi hành động cũng đòi chuyển đổi kỹ năng liên miền.
2. Patent:
- Trợ lý trên điện thoại tự lên kế hoạch ngày: app gắn thẻ kỹ năng từng bước (tính quãng đường, tra thời tiết, viết nhắc việc) và dùng skill-entropy reward để học cách 'đổi chế độ tư duy' sạch giữa các bước, tránh trả lời sai định dạng khi chuyển việc.
- Tính năng kiểm tra bài tập cho học sinh: hệ thống nhận diện khi học sinh giải toán xong lại dùng tiếp tư duy toán cho câu hỏi mở (sai kỹ năng), gợi ý 'đây nên đổi sang kỹ năng lập luận/viết' — tương tự cơ chế phát hiện failure mode của bài báo.
- Trình soạn thảo thông minh trên mobile: khi người dùng vừa tính toán vừa viết báo cáo vừa lập lịch trong một ghi chú dài, mô hình tự dán nhãn kỹ năng từng đoạn và căn chỉnh định dạng đầu ra (số ngắn vs đoạn văn dài) theo chuỗi kỹ năng vàng, giữ văn phong đúng từng phần.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.05139 |
| ArXiv Abstract | https://arxiv.org/abs/2608.05139 |
| PDF Download | https://arxiv.org/pdf/2608.05139.pdf |
| Github Repository | https://github.com/Gen-Verse/Skill-Entropy-RL |
7. GDPevo: Evaluating Agent Self-Evolution on Real Business Tasks (21 votes)
Tác giả: Leijun Zhou, Zhihao Liu, Xiang Qu, Chenxu Liu, Yifei Liu, et al.
Xuất bản lúc: 2026-08-04
Tag: Agent Self-Evolution, LLM Agents, Benchmark, Rule Hybridization, Skill-based Evolution, Continual Learning, Reinforcement Learning
I. Main Problem:
Đánh giá tự tiến hóa của agent (agent tự cập nhật trạng thái từ kinh nghiệm rồi tái dùng cho tác vụ liên quan) đang gặp ba lỗ hổng:
- Các benchmark evolution-native hiện có phủ quá ít lĩnh vực có giá trị kinh tế cao (tài chính, pháp lý, y tế) — nơi quy tắc nghiệp vụ cụ thể mới là thứ cần học.
- Benchmark evolution-adaptive mượn bộ tác vụ tĩnh, chia train/test hời hợt nên không thể quy kết mức tăng độ chính xác là do kinh nghiệm huấn luyện.
- Cả hai loại đều phát hành bộ tác vụ tĩnh, công khai → dễ bị nhiễm độc dữ liệu (data contamination) khi mô hình mới học thuộc.
II. Main Idea:
GDPevo là benchmark evolution-native đi kèm pipeline sinh dữ liệu tự động, dùng cơ chế rule hybridization (lai ghép quy tắc) để thiết kế quan hệ train–test ngay từ đầu.
Quy trình:
- Mỗi luồng công việc doanh nghiệp (CRM, ERP, tài chính, y tế, luật, dữ liệu) được bóc tách thành các atomic business rules — quy tắc nhỏ, độc lập, kiểm tra được, không có trong tri thức thế giới của mô hình.
- Rải một tập con quy tắc lên 5 tác vụ huấn luyện; agent thất bại ban đầu rồi phải tự suy luận quy tắc đó.
- Tái tổ hợp quy tắc sang 5 tác vụ test giữ riêng, gồm cả những tổ hợp chưa từng xuất hiện ở train → chỉ agent đã học được quy tắc và biết kết hợp linh hoạt mới giải được.
- Chấm điểm bằng grader dựa trên quy tắc determinstic (LLM dịch rubric thành test case mã nguồn), đo cả chi phí token/tiền.
- Pipeline tự động hóa 3 giai đoạn (phát hiện kịch bản → sinh nhóm tác vụ → hiệu chuẩn/duyệt) nên V1 có 120 tác vụ, V2 mở rộng thêm 120 chỉ trong 2 ngày để đối phó nhiễm độc dữ liệu.
Ví dụ đời thường: giống một nhân viên mới vào công ty, ngày đầu chỉ được giao vài ca lẻ (mỗi ca áp dụng một quy định nội bộ riêng); sau khi làm vài ca, anh tự rút ra các quy định đó, rồi hôm sau gặp ca tổng hợp nhiều quy định cùng lúc vẫn xử lý đúng — thay vì chỉ nhớ máy móc từng ca cũ.
III. Main Results:
- Trên 240 tác vụ / 24 nhóm: mọi agent tiến hóa đều vượt bản base (tăng 2.59–16.44 pp), cao nhất là fewshot (giống Supervised Fine-Tuning).
- Trần oracle fully-informed đạt 91.6%, nhưng agent tiến hóa tốt nhất vẫn kém xa → năng lực tự tiến hóa hiện tại còn hạn chế.
- Tiết kiệm chi phí: GPT-5.5 fewshot tăng 15.14 pp mà giảm 20.88% chi phí test-time; DeepSeek-V4-Pro-Preview fewshot đạt độ chính xác ngang GPT-5.5 base với ~1/28 chi phí.
- RQ2 (chuyển giao liên miền): fewshot dễ overfit nguồn (5/6 ô chéo âm, tệ nhất −5.0 pp); reflect (giống Reinforcement Learning) chuyển giao mạnh hơn, hiếm khi gây hại (tệ nhất −1.0 pp, tốt nhất +6.5 pp).
- RQ3 (phương pháp vs mô hình): creator tối giản Naive hiệu quả ngang hoặc hơn các creator phức tạp → mức độ tiến hóa chủ yếu do trí tuệ của mô hình, không phải do kỹ thuật hướng dẫn.
IV. Conclusion & Future Works:
GDPevo là benchmark đầu tiên đánh giá tự tiến hóa trên tác vụ GDP thực tế, với rule hybridization làm cho việc khái quát từ train sang test cụ thể và quy kết được mức tăng. Pipeline tự động cho phép tái sinh nhanh để chống nhiễm độc dữ liệu.
Hướng tương lai: (1) nghiên cứu cách giúp agent học được tất cả quy tắc ẩn và áp dụng tổng hợp để tiệm cận trần 91.6%; (2) thiết kế cơ chế giám sát giúp tiến hóa vừa chính xác vừa hiệu quả chi phí; (3) mở rộng sang các dạng trạng thái tiến hóa khác (bộ nhớ, prompt, mã harness, tham số mô hình) ngoài skill.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng rule hybridization sang benchmark tiến hóa đa agent, trong đó nhiều agent cùng học quy tắc từ các miền khác nhau rồi tổng hợp skill chung qua cơ chế đồng thuận.
- Thiết kế chiến lược chọn lọc quy tắc ẩn (active rule discovery) để agent chỉ học những quy tắc có khả năng tổng hợp cao, giảm overfit như hiện tượng fewshot.
- Xây dựng khung đánh giá chi phí-tiến hóa (cost-aware evolution) đo đồng thời độ chính xác và token, khuyến khích agent vừa thông minh vừa tiết kiệm.
2. Patent:
- Hệ thống trợ lý doanh nghiệp trên điện thoại tự học quy tắc nội bộ công ty: sau khi xử lý vài yêu cầu hỗ trợ khách hàng mẫu, app tự rút ra các quy định ưu tiên/sự cố và áp dụng khi gặp ca tổng hợp mới mà không cần lập trình lại.
- Tính năng kiểm tra hóa đơn tự động trong app kế toán di động: app học quy tắc quy hết hạn, blacklist nhà cung cấp của từng doanh nghiệp từ vài mẫu đã duyệt, rồi tự đối soát hóa đơn mới và cảnh báo sai lệch.
- Trợ lý y tế trên điện thoại thông minh tự cập nhật quy trình tiếp nhận bệnh án: từ vài hồ sơ mẫu, app nắm được quy tắc mã hóa và thẩm định hồ sơ của bệnh viện, hỗ trợ nhập liệu chính xác cho ca bệnh phức tạp sau này.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.03764 |
| ArXiv Abstract | https://arxiv.org/abs/2608.03764 |
| PDF Download | https://arxiv.org/pdf/2608.03764.pdf |
| Github Repository | https://github.com/Prism-Shadow/GDPevo |
8. Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data (21 votes)
Tác giả: Ye Wang, Pei Lin, Xiong-Hui Chen, Haoqi Yuan, Zhixuan Liang, et al.
Xuất bản lúc: 2026-08-03
Tag: Vision-Language-Action, Robot Data Synthesis, Egocentric Data, Domain Adaptation, Data Augmentation, Generalization
I. Main Problem:
Các mô hình Vision-Language-Action (VLA) học được nhờ dữ liệu robot quy mô lớn, nhưng khả năng khái quát hóa (generalization) vẫn bị kẹt vì dữ liệu robot thu thập tốn kém, khan hiếm và nghèo đa dạng (giới hạn phần cứng, chi phí teleoperation). Trong khi đó video egocentric (góc nhìn từ mắt người) phong phú và dễ thu quy mô lớn, nhưng có khoảng cách lớn về hình thái (embodiment gap) giữa tay người và tay robot, nên chưa rõ liệu dữ liệu tổng hợp từ video người có thể làm dữ liệu tiền huấn luyện (pretraining) hiệu quả cho chính sách robot hay không — đặc biệt để cải thiện khái quát hóa ngoài phân bố (OOD).
II. Main Idea:
Ego2Robot là pipeline quy mô lớn chuyển video thao tác tay người (egocentric) thành dữ liệu huấn luyện robot qua ba giai đoạn:
- Action alignment: ánh xạ 21 keypoint bàn tay thành quỹ đạo End-Effector (TCP, độ mở kẹp, khung hướng) rồi làm mượt (Savitzky-Golay, SLERP).
- Visual alignment: cắt bỏ tay người (SAM3 + ProPainter inpaint), tìm vị trí đặt gốc robot (base pose) bằng grid search + IK sao cho quỹ đạo khả thi, rồi render tay robot và ghép depth-aware vào cảnh gốc.
- Quality curation: lọc 3 cấp (L1 lỗi pipeline, L2 thống kê, L3 kiểm tra bằng VLM).
Pipeline chạy song song cho 15 hình thái robot, hỗ trợ cả dataset có chú thích tay và video thô (ước pose bằng WiLoR/DynHaMR). Từ ~1.940h video người tạo ra 18.561h dữ liệu robot. Hành động biểu diễn theo camera-frame relative EEF để gộp nguồn đa camera/robot.
Ví dụ đời thường: giống thợ sửa máy giỏi quan sát khách hàng tự thao tác bằng tay trần, rồi anh ta 'nắn' lại động tác đó cho cái kẹp gắp của mình, vẽ đè hình cánh tay robot lên video gốc rồi gạt bỏ bàn tay người — thu được đoạn dạy robot làm y hệt mà không cần khách cầm kẹp.
III. Main Results:
- Tạo 18.561h dữ liệu robot tổng hợp từ 1.940h video người (~9,6× khuếch đại), lớn nhất từ trước đến nay, trải 15 hình thái.
- Huấn luyện chung Ego2R + Robot (tỉ lệ 1:1) đạt 68,1% Clean (+5,9) và 53,5% Randomized (+2,6) trên RoboTwin2.0.
- Visual appearance hưởng lợi nhiều nhất: background +4, lighting +8, robot color +6 nhờ đa dạng cảnh và 15 morphology.
- Embodiment transfer: ARX tăng 44→51, UR5 đạt 31 (3:1) nhờ tiếp xúc 15 hình thái; Franka vẫn <7% do khác biệt động học quá lớn.
- Task semantics: vật thể lạ 29→40% (+11), câu lệnh paraphrase đạt 69% (1:1).
- EBench (góc nhìn cao gần egocentric hơn): 3:1 đạt 51,7 (+12,1).
- Ablation: raw ego chỉ 28,1%; qua pipeline (1 morphology) lên 31,7%; tăng 1→15 morphology 31,7→33,5%; thêm raw ego như 'morphology thứ 16' lên 37,3%.
- Robot thật (ARX ACone, 5 tác vụ): Mix + Ego2R Play cao nhất, Put Blocks +14, Insert Screw +13 so với robot-only.
IV. Conclusion & Future Works:
Ego2Robot chứng minh dữ liệu tổng hợp từ video người bổ trợ cho dữ liệu robot, lợi ích tập trung ở nhiễu visual, embodiment, semantic hơn là chỉ tăng vùng phủ quỹ đạo. Kết hợp dữ liệu tổng hợp với ít demonstration cho phép triển khai đa tác vụ trên robot thật.
Hạn chế / tương lai: (1) retarget chỉ ánh xạ kẹp 2 ngón, mất chi tiết ngón — mở rộng tay linh hoạt đa ngón; (2) inpaint + depth compositing sinh artifact khi che khuất nặng — cải thiện render bằng mô hình sinh (generative); (3) đánh giá mới giới hạn RoboTwin2.0 — mở rộng tác vụ/hình thái.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Ego2Robot sang tay robot đa ngón (dexterous) để chuyển được kỹ năng thao tác tinh vi từ video người như xoay, lật vật nhỏ thay vì chỉ kẹp 2 ngón.
- Thay thế inpainting/depth-compositing bằng render generative (diffusion) để giảm artifact khi tay người che khuất vật, nâng cao độ thực của dữ liệu tổng hợp.
- Xây dựng giao thức đánh giá phân rã (disentangled) cho robot hai tay và đa hình thái ngoài RoboTwin, bao phủ nhiễu ánh sáng, bố cục, ngôn ngữ, ngữ nghĩa.
- Áp dụng camera-frame relative EEF làm chuẩn chung gộp dữ liệu từ nhiều nguồn video egocentric vô danh camera để huấn luyện VLA quy mô cực lớn.
2. Patent:
- App điện thoại dạy robot gia đình: người dùng quay video tự tay làm việc nhà (gấp khăn, dọn rác), app tự chuyển thành dữ liệu huấn luyện robot qua pipeline retarget + render, không cần tay cầm điều khiển.
- Hệ thống kho hàng dùng camera đeo mũ công nhân: ghi lại thao tác bốc xếp bằng tay người rồi tự sinh hàng nghìn đoạn huấn luyện cho cánh tay robot nhiều hình thái khác nhau mà không tốn công teleoperation.
- Module tăng cường khái quát hóa cho robot trên dây chuyền: bổ sung dữ liệu video egocentric tổng hợp (đổi màu robot, đổi góc camera, vật thể lạ) vào tập huấn luyện để robot không bị lỗi khi góc nhìn hay ánh sáng thực tế thay đổi.
- Công cụ kiểm tra độ bền chính sách robot: tự động sinh benchmark phân rã 4 trục (visual, layout, embodiment, semantic) từ video người để hãng robot đo trước điểm yếu khái quát hóa trước khi xuất xưởng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.02580 |
| ArXiv Abstract | https://arxiv.org/abs/2608.02580 |
| PDF Download | https://arxiv.org/pdf/2608.02580.pdf |
| Github Repository | N/A |
9. When Teachers Mislead: Spurious-Signal-Aware On-Policy Distillation (19 votes)
Tác giả: Yinuo Jiang, Yongjie Ye, Zhou Tao, Xiang Zhuang, Qiang Zhang, et al.
Xuất bản lúc: 2026-08-04
Tag: On-Policy Distillation, Knowledge Distillation, LLMs, Vision-Language Models, Token-level Selection, Spurious Signals
I. Main Problem:
On-Policy Distillation (OPD) chuyển giao năng lực từ teacher sang student bằng cách giám sát chặt chẽ từng token trên các quỹ đạo do student tự sinh. Các phương pháp OPD chọn lọc hiện tại ưu tiên tín hiệu có độ tự tin cao, phân kỳ lớn hoặc dễ học — nhưng đều mặc định rằng phán đoán của teacher là đáng tin một khi đã tự tin.
Thực tế teacher cũng là mô hình học, token judgment của nó bị chi phối bởi đặc quyền ngôn ngữ, quy ước định dạng, mẫu lập luận định kiến (input-agnostic) chứ không phải bằng chứng cụ thể của đầu vào. Những tín hiệu này gọi là spurious signals: tạo gradient lớn nhưng hướng cải thiện tác vụ rất yếu, khiến student thừa kế luôn bias của teacher. Các chỉ báo phổ biến (entropy, divergence, consistency) không phát hiện được lỗi này vì chúng đo mạnh hay khác chứ không đo có bám sát đầu vào không.
II. Main Idea:
SA-OPD (Spurious-Signal-Aware On-Policy Distillation) lọc bỏ các token giám sát gây hiểu lầm dựa trên độ bám sát đầu vào (input-groundedness) và tác động tối ưu hóa.
Cơ chế:
- Với mỗi token, tính divergence teacher–student dưới hai điều kiện: (1) có prompt gốc, (2) bỏ prompt nhưng giữ nguyên tiền tố sinh ra.
- Định nghĩa Input-Grounding Gap ΔIG = |A_full − A_res|. Nếu divergence hầu như không đổi khi bỏ prompt → tín hiệu do prior/template chi phối, không bám sát đầu vào.
- Lọc chỉ những token đồng thời ΔIG thấp (yếu bám sát) VÀ |A_full| lớn (tác động cao) — tức các cập nhật lớn nhưng thiếu căn cứ đầu vào.
- Dùng ngưỡng động giới hạn tỉ lệ loss-mass bị loại bỏ (FLMR ≤ β) để không vứt mất tín hiệu hữu ích.
- Tối ưu reverse-KL chỉ trên các token còn lại.
Ví dụ đời thường: giống thầy dạy việc dùng một checklist khuôn có sẵn, học trò làm đúng thầy khen, làm khác kiểu thầy chê — dù quyết định ấy chẳng liên quan đầu bài. SA-OPD là người quan sát: với mỗi lời khen/chê, thử che thông tin đầu bài đi, nếu thầy vẫn khen/chê y xì, tức lời đó chỉ theo thói quen → bỏ qua, chỉ giữ những lời phản hồi thực sự dựa trên nội dung bài.
III. Main Results:
- Trên VLM: SA-OPD tốt nhất ở cả 6 benchmark (visual understanding + visual reasoning). Avg visual understanding 50.5→54.0; visual reasoning 60.4→63.5 so với Vanilla OPD. CountQA +7.2, Geo3K +2.2, MathVision +1.2.
- Trên LLM toán: tốt nhất/tie-best ở cả 5 benchmark, avg 28.5→30.4; Math500 +3.2 so với baseline mạnh nhất.
- Scalability: duy trì cải thiện qua nhiều cặp teacher–student (Qwen3.5-9B→2B, R1-8B→1.7B…).
- Ablation: cả 2 trục (low-groundedness + high-impact) đều cần thiết; random filter, divergence-only, groundedness-only đều thua SA-OPD.
- Phân tích: VLM bị nhiễu spurious liên tục suốt huấn luyện (FLMR không chạm 0), nên SA-OPD lợi hơn ở VLM. Token bị lọc không chỉ là format mà 69.9% là content word, nhiều từ đoán trước được từ context.
- Loại bỏ được cả token low-entropy nhưng high-impact — thứ mà tiêu chí entropy bỏ sót.
IV. Conclusion & Future Works:
SA-OPD chỉ ra input-groundedness là trục then chốt cho giám sát dày trong OPD, bổ sung cho các tiêu chí entropy/divergence/learnability. Lọc tín hiệu high-impact nhưng weakly-grounded cải thiện cả hiệu quả lẫn độ ổn định của OPD. Hướng tương lai: mở rộng proxy input-groundedness sang dạng khác, kết hợp với reward model, và áp dụng cho các tác vụ đa phương thức phức tạp hơn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng SA-OPD sang self-distillation và hybrid RL-distillation, nơi teacher chính là student — kiểm tra xem spurious signals có giảm khi teacher–student đồng bộ hơn.
- Thiết kế proxy input-groundedness qua attention attribution hoặc perturbation thay vì no-prompt context để giảm chi phí tính toán hai lần divergence.
- Kết hợp SA-OPD với token-level reweighting (như FiRe-OPD) thay vì hard filter, giữ lại tín hiệu biên một cách mềm thay vì loại bỏ hẳn.
2. Patent:
- Tính năng 'lọc nhiễu giám sát' trên điện thoại: khi thu nhỏ mô hình AI trên thiết bị bằng distillation, hệ thống tự che prompt gốc để phát hiện các lời phản hồi chỉ theo thói quen ngôn ngữ, giúp mô hình nhỏ học đúng nội dung thay vì bắt chước khuôn mẫu của mô hình lớn.
- Trình tối ưu phản hồi AI trên app học tập: với mỗi nhận xét của mô hình chấm bài, app chạy kiểm tra độ bám sát đề bài (che đề đi xem nhận xét có đổi không) để chỉ giữ phản hồi thực sự dựa trên bài làm của học sinh, tránh chấm theo định kiến mẫu.
- Module tinh chỉnh camera AI trên thiết bị: khi huấn luyện tại chỗ mô hình đa phương thức, tự động gạt bỏ các tín hiệu huấn luyện chỉ dựa vào định kiến hình ảnh phổ biến (template) thay vì nội dung ảnh thật, giảm ảo giác trên điện thoại.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.03632 |
| ArXiv Abstract | https://arxiv.org/abs/2608.03632 |
| PDF Download | https://arxiv.org/pdf/2608.03632.pdf |
| Github Repository | https://github.com/jjjyinuo/SA-OPD |
10. NOLLI: A Difficulty-Calibrated Puzzle Benchmark for Diagnosing the English-Korean Performance Gap (18 votes)
Tác giả: Dasol Choi, Joonyong Park, Daegon Yu, Soo Yong Kim, Youngsook Song, et al.
Xuất bản lúc: 2026-08-05
Tag: Benchmark, Multilingual, Korean, LLMs, Reasoning, Procedural Generation, Difficulty Calibration, Hangul Jamo
I. Main Problem:
Khi mô hình ngôn ngữ lớn (LLM) làm tệ hơn ở tiếng Hàn, ta không biết chính xác nó đang thất bại ở đâu: do ngôn ngữ trình bày, do hệ thống chữ viết, hay do kiến thức văn hóa? Các bộ benchmark đa ngôn ngữ hiện tại gộp mọi lỗi vào một con số chênh lệch chung, và các benchmark tĩnh dễ nhiễm độc (contamination) hoặc bão hòa. Thiếu một công cụ chẩn đoán có căn cứ để tách biệt ba nguồn lỗi này.
II. Main Idea:
NOLLI (nghĩa là 'logic' trong tiếng Hàn) là bộ benchmark câu đố được sinh ngẫu nhiên theo thủ tục (procedural), gồm 15 loại câu đố (25 task, 7.500 mục). Mỗi mục có seed tái sinh được, được xác minh có duy nhất một lời giải, chấm điểm exact-match xác định (không dùng LLM làm trọng tài).
Điểm cốt lõi — hiệu chỉnh độ khó theo hành vi (behavioral calibration): thay vì định 'khó = to hơn', tác giả tinh chỉnh tham số sinh của từng task cho đến khi một mô hình tham chiếu (Gemini 3 Flash) rơi vào các dải độ chính xác mục tiêu: Easy 75±10%, Medium 50±10%, Hard 25±10%. Nhờ vậy các task rất khác nhau được đặt chung một thang đo khó.
Thiết kế ba cấp độ chéo ngôn ngữ để tách biệt nguồn lỗi:
- Cấp 1 – Bản dịch trực tiếp (8 loại): cùng generator, cùng tham số ở EN/KO → ước lượng thuần túy hiệu ứng ngôn ngữ trình bày.
- Cấp 2 – Thích ứng chữ viết (2 loại): Cipher & Cryptarithmetic hoạt động trên jamo (chữ cái con của Hangul) ở tiếng Hàn, cố ý không tương đương dịch → chẩn đoán gánh nặng hệ thống chữ viết.
- Cấp 3 – Chỉ tiếng Hàn (5 loại): Kinship, Saju, Time, Korean Units, Jamo Composition — dựa trên văn hóa/ngữ âm Hàn.
Ví dụ đời thường: giống giáo viên soạn đề thi không tăng số trang cho 'khó', mà thử cho một nhóm học sinh mẫu làm trước, rồi vặn tăng độ gắt của đề (thêm nhiễu, bớt gợi ý) cho đến khi tỉ lệ đỗ rơi đúng mức 75%/50%/25% — đảm bảo mỗi mức thực sự đoạn tuyệt với mức kia chứ không chỉ là 'đề dài hơn'.
III. Main Results:
- Hiệu ứng ngôn ngữ trình bày rất nhỏ: trên 8 task dịch trực tiếp, chênh lệch EN–KO của 12 mô hình (trên ngưỡng 3%) nằm trong −2.7 đến +5.0 pp, và TOST hiệu chỉnh Holm khẳng định tương đương trong biên ±10 pp.
- Nhiệm vụ nặng hệ thống chữ viết mới là điểm yếu thật: Korean Cipher tụt tới 68.7 pp so với EN (DeepSeek-V4-Flash: 74.3% EN vs 5.7% KO); trong khi Cryptarithmetic trên cùng jamo không có phạt hệ thống (6/12 mô hình làm tốt hơn ở KO, kể cả 3 mô hình frontier). Chỉ GPT-5.5 khép được khoảng cách Cipher (+1.7 pp).
- Jamo Composition dự đoán độ chính xác Korean Cipher (R²=0.91, n=12; partial r=0.87 sau khi khống chế Direct-KO) → nhất quán với nút thắt ở thực thi đa bước trên đơn vị con âm tiết, không phải lỗi tokenization nói chung.
- Korean-only tách hai chế độ: deficit áp dụng luật (Saju/Time/Korean Units) đổi dấu tùy mô hình (dương ở 3 scale Qwen, âm ở GPT-5.5/Opus); riêng Kinship luôn dương ở cả 12 mô hình và không thu hẹp theo năng lực chung (r=0.16, p=.62) — GPT-5.5 cao nhất chung cuộc nhưng mang deficit Kinship +36.7 pp.
- Kích thước không đo được độ khó: thước đo kích thước nổi bật không tăng từ Easy→Hard ở 7/15 loại (vd Kinship chuỗi rút ngắn 4–5→2–3 nhảy, Cipher EN plaintext ngắn lại 20–24→6–10 ký tự, mà độ khó vẫn tăng nhờ thêm lớp mã hóa/che thông tin).
- Thứ bậc độ khó chuyển sang mô hình khác: 255/300 cặp model–task (85%, 94% kể cả hòa) giảm độ chính xác Easy→Hard dù band neo trên một mô hình tham chiếu.
IV. Conclusion & Future Works:
NOLLI chứng minh: sai biệt EN–KO chủ yếu không đến từ ngôn ngữ trình bày, mà từ thực thi đa bước trên đơn vị con âm tiết (jamo) và từ vựng văn hóa Hàn (Kinship) — cả hai nút thắt vẫn tồn tại ở một số mô hình frontier. Các so sánh cấp 2/3 là chẩn đoán, chưa thể kết luận nhân quả. Hướng tương lai & hạn chế: hiệu chuẩn neo trên 1 mô hình/thiết lập reasoning duy nhất; cần xác minh ổn định toàn bộ; cần thêm đối chứng cấp ký tự tiếng Anh để tách nút thắt đặc thù Hàn khỏi yếu kém thao tác subword nói chung; Korean-only vẫn nhiễu do khác họ task và không gian đáp án.
V. Brainstorming Space:
1. Publish Papers:
- Thêm tác vụ tiếng Anh thao tác cấp ký tự (ví dụ giải mã trên chữ cái Latin) làm nhóm đối chứng, để tách riêng nút thắt thao tác subword chung khỏi nút thắt đặc thù jamo tiếng Hàn.
- Mở rộng giao thức hiệu chuẩn theo hành vi sang nhiều ngôn ngữ chữ tượng hình/khác hệ thống (Nhật kana, Ả Rập) và nhiều mô hình tham chiếu để kiểm tra tính chuyển giao của thứ bậc Easy–Medium–Hard.
- Đo lường trực tiếp hành vi gộp/jamo (jamo-merging) từng mô hình nhằm thiết lập cơ chế nhân quả giữa biểu diễn con âm tiết và hiệu năng Cipher thay vì chỉ tương quan.
2. Patent:
- Ứng dụng điện thoại: bộ kiểm tra năng lực suy luận đa ngôn ngữ cho phép tinh chỉnh độ khó tự động theo hành vi người dùng — app sinh câu đố và tự vặn tham số cho đến khi tỉ lệ đúng của người dùng rơi vào band mục tiêu, dùng để cá nhân hóa bài tập hoặc sàng lọc ứng viên không cần đề cố định.
- Bàn phím thông minh tiếng Hàn: phát hiện lỗi 'thao tác jamo đa bước' của người dùng (gõ sai do lắp ráp âm tiết) bằng cách bắt chước logic Jamo Composition — gợi ý sửa dựa trên phân tích tháo rời/ghép lại jamo thay vì chỉ so khớp từ điển.
- Hệ thống kiểm tra tự động cho dịch vụ đa ngôn ngữ: dùng bản dịch trực tiếp khớp phân bố (cấp 1 NOLLI) làm công cụ phát hiện model có 'yếu ngôn ngữ' thật sự hay chỉ yếu nội dung, giúp chọn mô hình dịch/localize tin cậy mà không bị nhiễu do khác hệ thống chữ viết.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.04397 |
| ArXiv Abstract | https://arxiv.org/abs/2608.04397 |
| PDF Download | https://arxiv.org/pdf/2608.04397.pdf |
| Github Repository | https://github.com/HAE-RAE/NOLLI |
11. AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities (15 votes)
Tác giả: Yuqing Wen, Yukai Huang, Qianqian Xie, Jiangtao Wu, Yibin Lin, et al.
Xuất bản lúc: 2026-07-17
Tag: Audio-Video Editing, Benchmark, MLLM-as-Judge, Agent, Cross-Modal, Instruction Following, Fidelity Preserving
I. Main Problem:
Các benchmark chỉnh sửa video hiện tại chỉ tập trung vào video câm (biến đổi thị giác) hoặc chỉnh sửa audio đơn lẻ, bỏ qua thực tế rằng video thực tế có âm thanh và hình ảnh gắn kết chặt chẽ. Hậu quả:
- khi sửa một phương thức (ví dụ đổi hành động nhìn thấy) thường cần đổi đồng bộ phương thức kia (âm thanh tương ứng), nhưng mô hình không hiểu yêu cầu chéo ngầm này.
- thiếu cơ chế đánh giá bảo toàn nội dung không bị sửa (non-target content) và đồng bộ thời gian âm-thanh/hình-ảnh.
- metric hiện tại quá thô, không chẩn đoán được lỗi thực sự (âm bị méo, không khớp khung hình, mất nhạc nền).
II. Main Idea:
AVE-Compass là benchmark toàn diện cho chỉnh sửa audio-video tự do, gồm 145 video nguồn, 196 lệnh chỉnh sửa ghép cặp âm-thị giác, và 2,688 mục checklist chi tiết. Cách tiếp cận:
- Tách đánh giá thành 4 trục: Editing Intent (EI), Instruction Following (IF), Fidelity Preserving (FP), Realism (REAL).
- MLLM-as-Judge chấm bằng checklist Yes/No: IF kiểm tra lệnh có thực thi đúng không; FP kiểm tra nội dung không sửa có giữ nguyên và không sinh nội dung thừa; REAL chấm độ tự nhiên bằng rubric riêng.
- Metric tự động bổ sung: Lip Sync, AV Sync (đồng bộ chéo), Video Aesthetic, Subject Consistency, Motion Smoothness, Audio Aesthetic, Speech Quality.
- Định nghĩa EI = IF × FP để bắt buộc thực thi lệnh VÀ giữ nội dung gốc.
Từ phát hiện trên, tác giả đề xuất AVE-Agent: khung agent mô-đun chia lệnh tự nhiên thành đồ thị subtask phụ thuộc (DAG), thực thi qua vòng tự phản tư (self-reflection) và evaluator phản hồi để sửa lỗi từng bước rồi lắp ghép.
Ví dụ đời thường: giống thợ sửa phòng thu nhận yêu cầu 'đổi tiếng mưa thành tiếng sóng' — thay vì vội làm ngay, thợ trước tiên ghi chú rõ vị trí, thời điểm, rồi làm từng lớp (đổi tiếng, giữ nhạc nền, chỉnh khớp môi), mỗi bước tự nghe lại kiểm tra, sai thì sửa chỗ đó chứ không làm lại từ đầu.
III. Main Results:
- AVE-Agent (Wan) mạnh nhất: EI 59.8 (+17.4 so baseline tốt nhất), IF 77.3, FP 77.6, vượt hẳn các hệ开源/closed như Wan2.7, HappyHorse, Gemini-Omni, Seedance, LTX2.
- Mô hình hiện tại không cân bằng được IF và FP: LTX2 thực thi nhiều nhưng tái sinh lại toàn bộ video (FP thấp); Gemini/Seedance giữ nguyên input (FP cao nhưng lệnh không thực hiện).
- Lỗi tập trung ở audio: mô hình hay xóa méo tiếng nền hoặc sinh âm không khớp thời gian sự kiện đã sửa.
- AVE-Agent ổn định nhất qua các độ khó (video dài, định vị đối tượng khó, âm phức tạp, liên kết chéo cao).
- Độ khớp human-LLM ~90% ở 4 trục; metric tự động và MLLM gần trực giao (bổ trợ, không trùng).
- Ablation: bỏ prompt enhancement giảm EI 7.76; bỏ retry giảm EI 8.75 — cả hai đều quan trọng.
IV. Conclusion & Future Works:
AVE-Compass vượt giới hạn chỉ-video của benchmark cũ, đánh giá có hệ thống IF/FP/REAL/EI qua checklist MLLM, rubric realism và metric tự động chéo phương thức. AVE-Agent chứng minh khung lập kế hoạch + tự phản tư cải thiện chỉnh sửa ghép cặp phức tạp. Hướng tương lai: mở rộng backbone agent, cải thiện hiểu vật lý thực tế (realism còn thấp dù quality cao), và xử lý tốt hơn các lệnh speech và cảnh đa shot.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng AVE-Compass sang chỉnh sửa video dài nhiều shot và lệnh đa bước, kèm đánh giá độ bền qua các mô hình editor mới liên tục ra mắt.
- Nghiên cứu cơ chế hiểu vật lý thế giới cho chỉnh sửa: tại sao REAL thấp dù metric kỹ thuật cao, và cách đưa constraint vật lý vào evaluator.
- So sánh các chiến lược planner (DAG vs tree) và chính sách minimal-action replanning để tối ưu chi phí tính toán của agent.
2. Patent:
- Ứng dụng điện thoại: app chỉnh sửa video kèm nhạc tự động — người dùng gõ 'đổi cảnh bão, tiếng mưa thành nắng, chim hót', app tự tách lớp âm, sửa video, giữ nguyên lời thoại và nhạc nền, rồi tự kiểm tra đồng bộ trước khi lưu.
- Công cụ hậu kỳ phim ngắn: hệ thống agent chia lệnh đạo diễn thành subtask (đổi tiếng bước chân, giữ tiếng gió), tự phản tư từng lớp để tránh làm hỏng cảnh gốc — giảm thời gian thuê người mix thủ công.
- Tính năng camera AI: khi quay rồi chỉnh sửa, điện thoại tự phát hiện nội dung không nên đổi (mặt người, logo) và bảo toàn nó trong khi đổi phong cách/ánh sáng theo lệnh.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2607.24821 |
| ArXiv Abstract | https://arxiv.org/abs/2607.24821 |
| PDF Download | https://arxiv.org/pdf/2607.24821.pdf |
| Github Repository | https://github.com/NJU-LINK/AVE-Compass |
12. K-EXAONE 2.0 Technical Report (14 votes)
Tác giả: Eunbi Choi, Kibong Choi, Sehyun Chun, Seokhee Hong, Junwon Hwang, et al.
Xuất bản lúc: 2026-08-05
Tag: LLMs, Mixture-of-Experts, MoE, Model Upcycling, Speculative Decoding, Multilingual, Agentic Coding, Long-Context, Foundation Models
I. Main Problem:
LG AI Research muốn đưa mô hình nền tảng Hàn Quốc tiệm cận frontier toàn cầu nhưng không lãng phí công sức đã đầu tư ở thế hệ trước. Các thách thức:
- Huấn luyện mô hình lớn hơn từ đầu sẽ bỏ đi toàn bộ tham số, dữ liệu và công sức của K-EXAONE.
- Mở rộng quy mô dễ gây mất ổn định huấn luyết và suy luận (kích hoạt chuyên gia vọt quá lớn ở lớp sâu).
- Cần năng lực thực tế: lý luận, coding tác nhân, đa ngôn ngữ, an toàn theo bối cảnh văn hóa Hàn, chứ không chỉ điểm benchmark.
II. Main Idea:
Thay vì train từ đầu, K-EXAONE 2.0 được upcycle (tái chế mở rộng) từ K-EXAONE: giữ trọng số cũ, phình to kiến trúc rồi tiếp tục pre-train.
Các bước cốt lõi:
- Depth upscaling: lặp lại các khối 4 lớp (LLLG) ở giữa từ 12 → 19 khối → tổng 78 lớp.
- Width upscaling: nhân đôi chuyên gia 128 → 256 mỗi lớp, thêm nhiễu xoay ngẫu nhiên để phá tính đối xứng giữa 2 bản sao để chúng phân hóa.
- Clamped SwiGLU: cắt ngưỡng 7.0 ở 16 lớp cuối để giữ ổn định khi dùng FP8.
- Suy luận nhanh: hai cơ chế speculative decoding gắn trên cùng trọng số — MTP (head dự đoán nhiều token) và DSpark (drafter sinh cả khối draft 1 lần qua block-diffusion, tăng tốc 1.8–2.6×).
- Pipeline 3 giai đoạn: continual pre-training (8T token, thêm sinh dữ liệu Active Reading) → mid-training (mở context 8K→64K→256K, tập trung lý luận/agentic) → post-training (SFT 350B token + Preference Learning với AGAPO, GROUPER).
Ví dụ đời thường: giống xưởng sản xuất mở rộng nhà máy cũ — thay vì xây mới, họ giữ khung xưởng, nhân đôi dây chuyền, vặn chốt lỏng lẻo để máy không rung vỡ, rồi thuê thêm hai đội kiểm hàng chạy song song để xuất hàng nhanh gấp đôi.
III. Main Results:
- Quy mô: 750B tổng tham số / 37B kích hoạt/token (gấp 3.2× thế hệ trước), context 256K token.
- Đánh giá 9 hạng mục: cải thiện nhất ở agentic coding và long-context understanding; vượt trội mô hình mở tương đương ở long-context retrieval và safety.
- NIAH: truy hồi hoàn hảo 100% mọi vị trí kim cần tới 256K token.
- DSpark tăng độ dài chấp nhận 32–66% so với MTP; tốc độ end-to-end 1.81–2.57× (non-thinking/thinking, FP8, 8×H200).
- Mid-Stage 2 giúp HLE tăng +4.71 vs Mid-Stage 1, cộng SFT thêm +0.95 (tổng +5.66).
- Đa ngôn ngữ: mở rộng 6 → 10 ngôn ngữ (thêm Pháp, Ý, Ba Lan, Bồ Đào Nha), transfer tri thức tốt qua ngôn ngữ.
- An toàn: mở rộng Korea-Augmented Universal Taxonomy, tinh chỉnh >100 rủi ro cũ + thêm 70 rủi ro mới, tích hợp suốt quá trình phát triển.
IV. Conclusion & Future Works:
K-EXAONE 2.0 chứng minh upcycling + huấn luyện định hướng khó khăn là lối đi hiệu quả để quốc gia xây dựng năng lực mô hình frontier mà không đổ bỏ thế hệ trước. Phát hành Apache 2.0 để cộng đồng đánh giá, triển khai, tinh chỉnh. Hướng tương lai: mở rộng sinh và tuyển dữ liệu lý luận cấp chuyên gia; tìm công thức dữ liệu dịch chuyển gains mid-training sang SFT lớn hơn; tiếp tục thách thức tiệm cận frontier toàn cầu.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu sâu hơn về depth upscaling ở cấp khối LLLG: tại sao lặp khối giữa xấp xỉ tốt hơn đầu/cuối, và quy tắc tối ưu số khối lặp theo quy mô.
- Phân tích cơ chế nhiễu xoay phá đối xứng trong width upscaling và ảnh hưởng tới cân bằng tải chuyên gia dài hạn.
- So sánh MTP vs DSpark (block-diffusion drafter) trên nhiều domain và chi phí huấn luyện drafter để tối ưu tốc độ phục vụ thực tế.
- Đóng góp dữ liệu lý luận augmented-thinking và latent-thought vào pre-training nhằm giảm loss tri thức đa ngôn ngữ.
2. Patent:
- Tính năng trợ lý AI trên điện thoại LG: mở rộng ngữ cảnh 256K để nhớ toàn bộ lịch sử chat, tài liệu dài và kết quả công cụ nhiều bước trong một phiên, hữu ích cho tóm tắt báo cáo hay tra cứu hợp đồng dài không cần cắt ngắn.
- Trình biên dịch/tác nhân lập trình trên thiết bị: tận dụng agentic coding để tự sửa lỗi và implement tính năng theo repository, người dùng chỉ mô tả yêu cầu bằng tiếng Hàn/Anh.
- Bộ lọc an toàn tích hợp sẵn theo bối cảnh văn hóa địa phương: ứng dụng Việt/Hàn có thể dùng taxonomy rủi ro bản địa để chặn nội dung sai lệch văn hóa trước khi phản hồi, thay vì lọc chung phương Tây.
- Cơ chế tự tăng tốc gợi ý trên app: dùng DSpark/MTP để điện thoại sinh câu trả lời nhanh gấp đôi khi gõ phím, giảm độ trễ cảm nhận của người dùng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.04505 |
| ArXiv Abstract | https://arxiv.org/abs/2608.04505 |
| PDF Download | https://arxiv.org/pdf/2608.04505.pdf |
| Github Repository | N/A |
13. HelloWorld: Enabling Socially Interactive Characters in Video World Models (14 votes)
Tác giả: Liangyang Ouyang, Ruicong Liu, Xuangeng Chu, Kaipeng Zhang, Yoichi Sato
Xuất bản lúc: 2026-08-05
Tag: Video World Models, DiT, Self-Distillation, Cross-Attention, LoRA, Camera Control, Social Interaction, Benchmark
I. Main Problem:
Các video world models hiện tại chỉ cho phép điều khiển camera hoặc kích hoạt sự kiện trong thế giới ảo, nhưng chưa hỗ trợ tương tác xã hội giữa người dùng và nhân vật bên trong khung hình. Hậu quả:
- nhân vật thường là pixel tĩnh hoặc chỉ có hành vi môi trường ngẫu nhiên, không hướng về người xem
- không kiểm soát được thời điểm tương tác xảy ra, cũng như nhân vật có thực sự nhìn/phản hồi về phía camera hay không
- thiếu benchmark để đánh giá khía cạnh tương tác xã hội hướng người xem.
II. Main Idea:
HelloWorld biến một mô hình sinh video pretrained thành thế giới ảo có nhân vật tương tác xã hội qua 2 thành phần:
1. Self-distillation (huấn luyện): mô hình tự sinh dữ liệu chứa cả tương tác xã hội lẫn chuyển động camera, rồi tự fine-tune chính nó. Mỗi clip sinh ra được tái cấu trúc thành warp video (chiếu lại khung đầu thành point cloud dọc theo quỹ đạo camera) làm điều kiện lịch sử cho DiT, giúp học theo camera mà không làm hỏng chất lượng tương tác. Chỉ dùng LoRA rank-32, không cần thu thập hay gán nhãn dữ liệu người.
2. Temporal cross-attention mask (suy luận, không cần huấn luyện): khi người dùng bấm nút F, một mặt nạ chặn các khung ngoài cửa sổ bấm không được attend vào token văn bản mô tả tương tác, nhờ đó bản địa hóa theo thời gian phản hồi của nhân vật vào đúng khoảng thời gian bấm.
Đi kèm là HelloWorldBench: 120 ảnh đầu + prompt tương tác + 4 quỹ đạo camera = 400 mẫu, với 3 metric mới (ActAcc, TimeAcc, GazeDev) đo hành động gì, lúc nào, có hướng về người xem không.
Ví dụ đời thường: giống một đạo diễn tập nghiệp dư tự quay thử vài cảnh mẫu, rồi dùng chính các cảnh đó dạy máy quay lại; còn khi muốn diễn viên ngoái đầu chào khán giả, ông chỉ bấm chuông đúng lúc và máy tự hiểu 'chỉ khoảnh khắc này diễn viên mới quay sang' thay vì chào suốt cả phim.
III. Main Results:
- Trên HelloWorldBench, HelloWorld đạt TimeAcc 81.7% vượt xa baseline (~30-40%, gần mức đoán bừa 33.3%) nhờ temporal mask.
- GazeDev 40.2° (thấp nhất = nhìn về camera tốt nhất), ActAcc 41.4% ngang LingBot-World cao nhất (50.5%).
- Chất lượng video: BgCons 96.9, Aesthetic 5.27, CamCtrl 82.9 (cao nhất), giữ nguyên đẳng cấp mô hình gốc.
- Ablation dữ liệu: self-distillation (Human-only/Full) cải thiện rõ ActAcc và GazeDev so với huấn luyện trên real video không có tương tác.
- Ablation mask: không mask ActAcc cao nhất (41.5) nhưng TimeAcc chỉ 36.7; thêm mask video+audio đạt TimeAcc 81.7, SpeechInWin 69.1.
- User study: 30 người chấm, HelloWorld thắng mọi baseline trên 3 câu hỏi (tự nhiên/như tương tác/scene), CI đều >66%.
- Chi phí: sinh clip 10s mất 60.2s, FLOPs 9.4×10¹⁵ — chỉ tăng ~20% thời gian so với base.
IV. Conclusion & Future Works:
HelloWorld chứng minh self-distillation không cần dữ liệu người + temporal mask không cần huấn luyện là đủ để thêm tương tác xã hội vào video world model mà không làm giảm chất lượng ảnh và điều khiển camera. Giới hạn: chưa real-time, quỹ đạo camera và kịch bản tương tác phải định sẵn trước. Hướng tương lai: kiến trúc tự hồi quy để tương tác thời gian thực, sinh video dài, và duy trì danh tính nhân vật nhất quán qua nhiều lượt tương tác.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng temporal cross-attention mask sang các mô hình world model đa phương thức khác (ảnh, 3D, audio) để kiểm soát thời điểm sự kiện mà không cần huấn luyện lại.
- Xây dựng benchmark tương tác xã hội cho nhân vật không phải người (động vật, robot, đồ chơi) với metric hướng-tới-người xem đa dạng ngoài gaze.
- Kết hợp self-distillation với autoregressive generation để đạt tương tác thời gian thực giữa người dùng và thế giới ảo.
- Nghiên cứu duy trì identity nhất quán của nhân vật qua nhiều vòng tương tác để hỗ trợ hội thoại dài với thế giới ảo.
2. Patent:
- Tính năng 'gọi nhân vật trong video' cho ứng dụng chỉnh sửa video trên điện thoại: người dùng bấm nút trên màn hình, AI tự chèn cảnh nhân vật ngoái đầu/vẫy tay/chào đúng khoảnh khắc đó mà không cần quay lại từ đầu.
- Camera ảo tương tác cho livestream game/metaverse: khi khán giả bấm icon, nhân vật NPC trong thế giới ảo quay sang hướng camera và phản hồi cử chỉ, tạo cảm giác được chú ý cá nhân.
- Công cụ làm phim tự động: đạo diễn chỉ định 'nhân vật A vẫy tay với máy quay từ giây 3-6', hệ thống tự sinh đoạn video theo quỹ đạo camera có sẵn và bản địa hóa hành động vào đúng cửa sổ thời gian.
- Ảnh đại diện động (live avatar) trên mạng xã hội: bức ảnh tĩnh của thú cưng/robot được kích hoạt thành clip ngắn quay sang nhìn người xem và vẫy chào mỗi khi có tin nhắn mới.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.05070 |
| ArXiv Abstract | https://arxiv.org/abs/2608.05070 |
| PDF Download | https://arxiv.org/pdf/2608.05070.pdf |
| Github Repository | https://github.com/AlayaLab/HelloWorld |
14. Recursive Synthesis for Long-Horizon Terminal Tasks (13 votes)
Tác giả: Zhongzhi Li, Yucheng Shi, Zongxia Li, Ruhan Wang, Anhao Li, et al.
Xuất bản lúc: 2026-08-05
Tag: Terminal Agents, LLMs, Synthetic Data, Reinforcement Learning, Supervised Fine-Tuning, Recursive Synthesis, Agent Training
I. Main Problem:
Dữ liệu huấn luyện terminal-agent dài hạn (long-horizon) chất lượng cao rất đắt đỏ và khó mở rộng: mỗi tác vụ phải giữ cho instruction, môi trường, reference solution và verifier nhất quán với nhau, tốn hàng trăm đến hàng nghìn đô la mỗi task khi làm thủ công. Việc tự sinh trực tiếp bằng LLM thường phá vỡ các ràng buộc này (instruction nói một đằng, verifier kiểm tra một nẻo).
II. Main Idea:
RST (Recursive Synthetic Terminal Tasks) là khung tổng hợp đệ quy có xác minh: bắt đầu từ các seed task đã được xác nhận, mỗi vòng lặp sẽ:
- mở rộng reference solution (thêm bước, thêm trạng thái phụ thuộc) để tác vụ khó hơn
- cập nhật lại verifier và instruction sao cho khớp với luồng làm việc mới
- validate trong sandbox mới — chỉ giữ task thực sự giải được (oracle validity) và không giấu yêu cầu trong test riêng (contract validity)
- tái dùng task được chấp nhận làm seed cho vòng sau.
Quan trọng: mỗi task chấp nhận đi kèm một bằng chứng thực thi được là nó có thể giải (reference solution pass verifier). Qua 15 vòng từ 639 seed, sinh ra 37,484 task với chi phí ~0.05 USD/task.
Ví dụ đời thường: giống thầy dạy nghề giao cho thợ phụ một bài đang làm được, rồi bảo 'làm thêm bước kiểm tra này, rồi bước cấu hình kia', sau đó tự mình làm thử toàn bộ quy trình trong xưởng thử để chắc chắn bài vẫn giải được, rồi lấy bài đó làm mẫu dạy đời sau — mỗi đời lại khó hơn một chút.
III. Main Results:
- 15 vòng đệ quy sinh 37,484 task đã xác minh từ 639 seed, chi phí ~0.05 USD/task (so với hàng trăm–nghìn USD khi viết tay).
- Độ khó tăng mạnh: solution dòng trung vị 67→374, số lệnh 40→244, công cụ CLI 17→71; trong khi độ dài instruction chỉ tăng 1.4×.
- DeepSeek-V4-Pro pass@4 giảm từ 90% (R1) xuống 2.5% (R15) — khó hơn 36 lần; GPT-5.6-sol cũng tụt từ 72.2% xuống 7%.
- SFT trên trajectory tự roll-out (Qwen3.5): cải thiện Qwen3.5-27B và 122B-A10B tới 10 điểm trên Terminal-Bench 2, Terminal-Bench Hard, Long-Horizon Terminal Bench.
- Agentic PPO đẩy Qwen3.5-27B lên 49.44% / 32.00% / 22.07% trên ba benchmark (tăng tương đối 20.0% / 41.2% / 21.9%).
- Không có trần (no ceiling): yield và tỷ lệ validate ổn định qua R15, đa dạng domain được giữ (entropy 0.821→0.817), không sụp đổ miền.
IV. Conclusion & Future Works:
RST chứng minh có thể tổng hợp quy mô lớn, giá rẻ dữ liệu terminal-agent dài hạn đã xác minh nhờ tư duy 'solution-first' đệ quy, mỗi task chấp nhận đều mang bằng chứng giải được. Quan trọng: quy trình không bão hòa sau 15 vòng và không phụ thuộc vào miền seed hay mô hình sinh cụ thể. Hướng tương lai: tiếp tục mở rộng số vòng để tăng cả số lượng và chất lượng; kết hợp chọn lọc thợ săn (operator selection) chủ động hơn; áp dụng khung cho tác nhân web/desktop ngoài terminal; khai thác thêm trajectory thành công làm dữ liệu SFT đa dạng.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng đệ quy sang tác nhân web/desktop: dùng cùng cơ chế 'mở rộng solution → cập nhật verifier/instruction → validate' cho môi trường trình duyệt và hệ điều hành thay vì chỉ terminal.
- Nghiên cứu điểm bão hòa thực sự: chạy hàng chục đến hàng trăm vòng để xác định giới hạn cuối cùng của đệ quy và thiết kế sửa đổi verifier tránh sụp đổ miền.
- Kết hợp RST với curriculum learning: tự động xếp hạng độ khó để huấn luyện PPO theo lộ trình từ dễ đến khó thay vì trộn lẫn các vòng.
2. Patent:
- Công cụ tự sinh bài tập thực hành terminal cho ứng dụng dạy code trên điện thoại: app tự tạo chuỗi lệnh ngày càng dài, kiểm tra người học trong sandbox ảo và chỉ giữ bài 'chắc chắn có lời giải', giúp học viên luyện kỹ năng dòng lệnh không cần giáo viên soạn đề thủ công.
- Hệ thống tự kiểm thử cho DevOps trên cloud: tự động mở rộng kịch bản deploy (thêm bước cấu hình, kiểm tra trạng thái) rồi chạy thử trong môi trường cô lập để đảm bảo script mới vẫn chạy đúng trước khi đưa vào production.
- Trình huấn luyện agent hỗ trợ IT-helpdesk: sinh hàng loạt tình huống sự cố terminal giả lập (quyền, dịch vụ, database) ngày càng phức tạp, agent nội bộ tự luyện và tự đánh giá qua verifier để nâng năng lực xử lý lỗi thực tế mà không tốn tiền thuê người viết kịch bản.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.05466 |
| ArXiv Abstract | https://arxiv.org/abs/2608.05466 |
| PDF Download | https://arxiv.org/pdf/2608.05466.pdf |
| Github Repository | N/A |
15. Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance (13 votes)
Tác giả: Zhuowen Han, Jinwei Xiao, Zhengxi Lu, Renren Jin, Zhiyuan Yao, et al.
Xuất bản lúc: 2026-08-01
Tag: RLVR, GRPO, On-Policy Distillation, Knowledge Distillation, SFT, LLM Post-Training, Math Reasoning, Code Generation
I. Main Problem:
Sau khi huấn luyện LLM bằng RLVR (reinforcement learning với phần thưởng xác minh được), GRPO là phương pháp phổ biến nhưng gặp hai lỗ hổng:
- Tín hiệu phần thưởng thưa thớt, và mất hoàn toàn gradient khi mọi câu trả lời trong một nhóm nhận cùng một phần thưởng (gọi là zero-variance prompts — toàn đúng hoặc toàn sai).
- On-Policy Distillation (OPD) (học bắt chước mật độ token từ mô hình giáo viên) có vẻ là liều thuốc bổ, nhưng kết hợp GRPO + OPD một cách ngây thơ lại tệ hơn cả GRPO đơn thuần.
Ba nguyên nhân gây thất bại:
- Sample-level Uniformity: không phải mẫu nào cũng cần/hưởng lợi từ OPD; chất lượng hướng dẫn phụ thuộc vào giáo viên giỏi mẫu đó hay không.
- Teacher-boundedness: OPD hội tụ nhanh, bị kẹt ở trần năng lực của giáo viên, triệt tiêu khả năng khám phá của RL.
- Advantage Asymmetry: phần lớn token sinh bởi học sinh bị giáo viên gán xác suất thấp → ưu thế âm áp đảo, triệt tiêu tín hiệu học.
II. Main Idea:
RSTG (Recovering Learning Signals via Adaptive Teacher Guidance) chỉ áp dụng OPD đúng nơi, đúng lúc, đúng token thay vì dàn trải. Ba cơ chế:
- Chọn mẫu (Sample Selection): chỉ bật OPD trên negative zero-variance prompts (toàn sai — nơi GRPO mất hẳn tín hiệu), và trọng số theo độ tự tin của giáo viên (mean@8 score) trên mẫu đó.
- Chọn token (Token Selection): chỉ cập nhật gradient trên token có entropy học sinh cao (điểm lý luận then chốt) hoặc độ lệch teacher-student lớn, qua công thức Soft-OR để làm chậm hội tụ và giảm nhiễu.
- SFT bổ trợ: trên negative zero-variance prompts, thêm mất mát SFT từ quỹ đạo đúng do giáo viên tự sinh (ngắn nhất), bơm tín hiệu gradient dương và góc nhìn toàn cục, bù đắp tính cục bộ của OPD.
Hệ quả: OPD được dùng chỉ trên ~3.63% dữ liệu (mẫu học sinh sai nhưng giáo viên đúng) và mang lại hiệu quả cao nhất.
Ví dụ đời thường: giống một sinh viên thi trượt một đề khó — thay vì photocopy toàn bộ vở của bạn giỏi (học nhầm chỗ dễ), cậu chỉ nhờ bạn đó giải đúng bài mình trượt, chú ý đặc biệt vào những bước mình bối rối nhất, rồi so sánh từng lời giải để hiểu mình sai chỗ nào; vừa học được cách làm đúng, vừa không bị 'nhồi' thói quen của bạn đến mức mất khả năng tư duy riêng.
III. Main Results:
- Trên toán học, RSTG vượt naive GRPO+OPD +4.02% / +3.52% / +0.89% trên 3 cặp mô hình (Qwen3-1.7B→4B, Qwen3-4B→4B, Qwen2.5-3B→14B).
- Trên code, vượt thêm +2.56% / +3.05% / +1.97% so với GRPO+OPD.
- RSTG đạt điểm cao nhất hầu hết baseline (GRPO, OPD, GRPO+OPD, ReLIFT, RL-ZVP) trên AIME24/25, MATH500, OLMPIAD, APPS, MBPP+.
- Giảm bất xứng ưu thế: RSTG cho giá trị advantage cao hơn, nhiều token nhận tín hiệu dương hơn (Hình 6).
- Làm chậm hội tụ: tại bước 200, OPD đạt overlap 69.7%, GRPO+OPD 67.6%, RSTG chỉ 65.81% — giữ không gian khám phá lớn hơn cho RL.
- Chặn phình độ dài: RSTG giữ độ dài phản hồi tương đương GRPO, khác OPD bị tăng vọt (Hình 7).
- Ablation: bỏ trọng số giáo viên và chọn token → rớt xuống 51.74%, tệ hơn cả ReLIFT (52.52%) — chứng tỏ thiết kế OPD là thiết yếu.
IV. Conclusion & Future Works:
RSTG chứng minh rằng GRPO và OPD chỉ kết hợp hiệu quả khi OPD được lọc chọn mẫu, trọng số hóa theo giáo viên, và giới hạn token, cộng thêm SFT bơm tín hiệu dương. Phương pháp nhất quán vượt cả GRPO lẫn GRPO+OPD trên hai miền. Hướng tương lai: mở rộng sang tác vụ agentic; thử nghiệm quy mô mô hình lớn hơn (giới hạn bởi tài nguyên và yêu cầu chênh lệch năng lực teacher-student).
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng RSTG sang huấn luyện agentic RL, nơi negative zero-variance prompts xuất hiện dày đặc do chuỗi hành động dài và không có verifier tức thì.
- Nghiên cứu chiến lược chọn β động (thay vì linear annealing) phụ thuộc vào độ chênh lệch năng lực teacher-student để tối ưu cường độ distillation.
- Kết hợp RSTG với self-distillation (không cần mô hình giáo viên ngoài) bằng cách dùng chính bản tham chiếu lớn hơn của cùng họ mô hình làm teacher.
2. Patent:
- Tính năng 'ô luyện thông minh' trên app học tập/điện thoại: khi người dùng trả lời sai một dạng bài, hệ thống only gợi ý giải mẫu đúng của bài đó (không dump toàn bộ lời giải), đồng thời highlight bước người dùng hay rối nhất để tập trung giải thích — tiết kiệm băng thông và cá nhân hóa.
- Hệ thống tinh chỉnh mô hình ngôn ngữ trên thiết bị di động: chỉ chạy distillation trên các prompt mẫu mà mô hình local thường sinh sai nhưng máy chủ (teacher) làm đúng, với trọng số theo độ tự tin máy chủ, giúp nâng cấp nhẹ mà không làm mất khả năng sáng tạo của mô hình local.
- Công cụ hỗ trợ lập trình trên IDE điện thoại: khi code của người dùng chạy fail toàn bộ test (negative zero-variance), app tự sinh một lời giải đúng ngắn nhất từ mô hình lớn đám mây và dùng SFT cục bộ bơm tín hiệu dương, kết hợp chỉ ra từng dòng code sai khác biệt nhiều nhất để sửa.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.00782 |
| ArXiv Abstract | https://arxiv.org/abs/2608.00782 |
| PDF Download | https://arxiv.org/pdf/2608.00782.pdf |
| Github Repository | N/A |
16. When Memory Lies: An Empirical Study of Spatial Memory Staleness in VLM Agents (12 votes)
Tác giả: Yushi Sun, Yanjie Zhang
Xuất bản lúc: 2026-08-05
Tag: VLM Agents, Spatial Memory, Memory Staleness, FrozenLake, Hallucination, Vision-Language Models, Safety, OMCD
I. Main Problem:
Các VLM agent ghi nhớ không gian (vd. "ô (5,6) là băng an toàn") nhưng môi trường thay đổi ngầm (ô đó thành hố tử thần) mà agent không hay biết. Khi ký ức tự tin mâu thuẫn với quan sát hiện tại, agent sẽ hành động theo nguồn nào?
Hổng nghiên cứu:
- Các benchmark bộ nhớ (Voyager, MemGPT...) chỉ đo xây dựng/truy xuất bộ nhớ, không đo chuyện một claim không gian cũ trở nên sai trước khi agent hành động.
- Các bài kiểm tra spatial reasoning/hallucination chỉ đo trên quan sát tĩnh, không bắt agent hòa giải quá khứ vs hiện tại trước hành động an toàn.
Hậu quả thực tế: trong thiết lập GPT-4o chính, agent tin ký ức cũ chết gấp 2.7 lần so với agent không có bộ nhớ.
II. Main Idea:
SpatialSTALE – testbed FrozenLake 8×8 động: mỗi ô có một mục bộ nhớ văn bản gắn nhãn SAFE/DANGER; ô có thể biến đổi (băng↔hố) trước hoặc trong khi di chuyển. Thiết kế 2 giai đoạn trên cùng một bản đồ:
- Audit (kiểm toán): mô hình phán đoán mỗi mục bộ nhớ là valid hay stale so với quan sát hiện tại (văn bản hoặc ảnh render 384×384).
- Navigation: điều hướng dùng bộ nhớ nguyên gốc, đã lọc, hoặc không có bộ nhớ.
Bốn chiến lược so sánh: NoMemory (không bộ nhớ), NoFilter (tin sái cổ ký ức cũ), SelfVerify (tự kiểm 1 lần), và OMCD – can thiệp lọc minh bạch theo lô (batch=10), kích hoạt lại khi thế giới đổi (L3).
Phát hiện then chốt: đo F1 audit tách biệt với tỷ lệ chết để tách "nhận ra sai" khỏi "hành động an toàn sau khi nhận ra".
Ví dụ đời thường: giống như nhân viên kho cũ mang tờ giấy ghi "kệ A an toàn", nhưng thực tế kệ A đã sập; trước khi đi lấy hàng, người tỉnh táo dừng lại đối chiếu với mắt thấy hiện tại, gạch bỏ dòng cũ rồi đi đường vòng – còn người tin ngay giấy cũ thì đi thẳng vào chỗ sập.
III. Main Results:
- Text solvable ≠ visual grounding: ở dạng văn bản, mô hình mạnh đạt F1 ~0.88–0.96; nhưng trên ảnh render cùng lưới, vision F1 từ 0.887 (Qwen) xuống 0.067 (GLM) – chênh 13 lần. GLM giữ lý luận trôi chảy nhưng bỏ qua ảnh hoàn toàn, gán nhãn stale với tỷ lệ gần như nhau dù ô đúng hay hố.
- Stale memory là gánh nặng an toàn: GPT-4o L2, NoFilter chết 74.4% vs NoMemory 28.0% (gấp 2.7 lần). OMCD giảm chết ở mọi regime (L1 +14.4pp thành công, L3 +24.4pp).
- Audit giúp nhưng không khép kín khoảng cách: Oracle (nhãn chuẩn) qua cùng pipeline OMCD không cải thiện đáng kể so với audit học được (|Δ|≤0.02, p>0.2) ở thiết lập 8×8 text – tức audit text đã bão hòa nhãn.
- Sau lọc tin cậy, nút thắt nằm ở action selection: F1 audit và thành công OMCD không tương quan (r≈0.005–0.06); mọi ca chết L2 trên ô stale đều xảy ra khi F1>0.9 (đã lọc rồi vẫn bước vào hố).
- Trajectory shape phân biệt lỗi: NoFilter chết ở ~7.8–8.5 bước (rush-into-hole), NoMemory chết ở 16.1 bước (khám phá đến hố). OMCD nằm giữa.
- Vision navigation (10 seed preview): Qwen giữ cao; GPT-4o/Claude/GLM ≤0.40 và OMCD không cải thiện nhất quán khi audit ảnh hỏng.
IV. Conclusion & Future Works:
Tin ký ức không gian cũ nguy hiểm hơn không có bộ nhớ vì dẫn agent thẳng vào hố. Audit text minh bạch (OMCD) gỡ phần lớn gánh nặng, nhưng giá trị có điều kiện theo nhận thức tin cậy – vision audit dao động >10 lần và giúp bấp bênh khi hỏng. Ở thiết lập hiện tại, Oracle không lợi thêm, chỉ điểm mở sang hành động an toàn trên bộ nhớ đã lọc.
Hướng tương lai: thế giới lớn hơn, thay đổi mờ, bộ nhớ nhiễu; biến định dạng render ảnh; khảo sát bất đối xứng theo model; kiểm định chính thức Oracle=OMCD; mở rộng vision navigation ra nhiều seed/model.
V. Brainstorming Space:
1. Publish Papers:
- Nghiên cứu bất đối xứng thaw vs freeze trong audit vision: vì sao mô hình dễ nhận ra ô an toàn thành hố (deadly) hơn ô nguy hiểm thành an toàn, và cách khai thác để ưu tiên an toàn.
- Mở rộng SpatialSTALE sang thế giới lớn và bộ nhớ nhiễu để đo giới hạn thực tế của OMCD khi nhãn audit chưa bão hòa.
- Phân tách nguyên nhân chết thành 'rush-into-hole' vs 'explore-until-death' bằng trajectory length như công cụ chẩn đoán chuẩn cho agent có bộ nhớ.
2. Patent:
- Robot kho bãi tự động: trước mỗi ca, hệ thống đối chiếu bản đồ lưu cũ với ảnh camera hiện tại, tự gạch bỏ ô báo 'an toàn' mâu thuẫn rồi vẽ đường đi vòng – tránh đi vào kệ đã sập hoặc vật cản mới.
- Xe tự hành đô thị: module lọc đọc-time kiểm tra ký ức bản đồ cũ (vd. 'đường A thông') với cảm biến hiện tại, chặn quyết định rẽ vào đoạn đường đã bị chắn trước khi thực thi.
- Trợ lý AR trên điện thoại dẫn đường trong nhà: khi người dùng quay lại tòa nhà đã đổi cấu trúc, app so khớp ghi nhớ cũ với camera thời gian thực, gạch bỏ lối đi cũ thành tường rồi đề xuất lộ trình mới.
- Drone giao hàng qua cửa sổ thay đổi: bộ nhớ vị trí đáp cũ được audit lại bằng ảnh trước khi hạ cánh, tránh đáp vào khu vực đã bị chiếm dụng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.04574 |
| ArXiv Abstract | https://arxiv.org/abs/2608.04574 |
| PDF Download | https://arxiv.org/pdf/2608.04574.pdf |
| Github Repository | N/A |
17. FocusMem: Factorizing Content, Readout, and Trust in Latent GUI Memory (10 votes)
Tác giả: Zhuoran Zhang, Bowen Li, Jingcheng Ju, Yang Shi, Qixun Wang, et al.
Xuất bản lúc: 2026-08-05
Tag: GUI Agents, Latent Memory, Episodic Memory, Working Memory, Vision-Language Model, Memory Compression, Trust Gate, Qwen3-VL
I. Main Problem:
Các GUI agent cần nhớ hai thứ: kinh nghiệm tái dùng từ các tác vụ đã xong (episodic memory) và tiến độ/constraint của tác vụ đang làm (working memory). Nhưng các phương pháp latent memory hiện tại thường nén mỗi trajectory thành một khối token cố định và huấn luyện chủ yếu qua next-action. Điều này sinh 3 lỗi thực tế:
- Mất thông tin quan trọng khi nén (decisive evidence bị rơi rụng).
- Một khối nhớ cố định phải phục vụ nhiều giai đoạn quyết định khác nhau (search khác filter khác verify).
- Bằng chứng truy xuất sai (từ task khác) vẫn lọt vào và dắt mũi agent.
Nói cách khác: nhớ cái gì, lộ ra cái gì, cho phép cái gì là 3 trách nhiệm khác biệt chứ không phải một dạng chọn nhớ interchangeable.
II. Main Idea:
FocusMem thay thế phép ánh xạ một-lần (item → khối latent cố định) bằng một giao diện nhớ latent phân rã thành 3 thành phần, huấn luyện khi policy GUI bị đóng băng:
- Role-Aware Content Basis (nội dung): mỗi evidence item học một content basis riêng theo vai trò — episodic giữ kinh nghiệm tái dùng, working giữ tiến độ/constraint. Giám sát kép: semantic KL (nội dung nói chung) + functional QA (thông tin điều khiển đặc thù vai trò).
- State-Conditioned Readout (lộ ra): một adapter nhẹ sinh residual query phụ thuộc vào trạng thái hiện tại, giúp cùng một khối nhớ tạo ra view khác nhau cho từng bước quyết định.
- Evidence Trust Gate (cho phép): module nhẹ chấm điểm từng khối; khối nào dưới ngưỡng γ thì bị loại khỏi attention của policy — chặn bằng chứng nhiễu.
Quy trình: truy xuất trajectory episodic + chia chunk working → encoder chung nén thành K token → Stage A học content basis → Stage B bật readout động + trust gate. Khối được giữ được ghép vào đầu context cho policy dự đoán action.
Ví dụ đời thường: giống thư viện gia đình — thay vì chép nguyên cả cuốn sổ dày cộm (raw trajectory) rồi đọc mọi trang cho mọi việc, bạn ghi riêng mẹo hay (episodic) và việc đang dở (working) vào thẻ note; mỗi sáng tùy việc cần làm bạn chỉ rút trích trang liên quan từ thẻ (readout), và vứt bỏ thẻ không đúng chủ đề trước khi bắt đầu (trust gate).
III. Main Results:
- Trên 5 benchmark (MMInA-Wiki/Shop, DeepShop, WebVoyager, Online-Mind2Web), FocusMem đạt Overall 48.3%, cao nhất và vượt mọi baseline nhớ.
- So với baseline Action-only Fixed đối sánh hoàn toàn: +10.8 / +13.5 / +18.0 / +17.0 / +13.9 điểm từng benchmark.
- Vượt No Memory ~20 điểm trung bình; vượt Retrieved Full Trajectory ~15 điểm dù chỉ dùng latent interface nhỏ.
- Vượt Mem-W-style (mạnh nhất trong các method cũ) +4.5 đến +8.0 điểm.
- Ablation tích lũy (MMInA-Shop): +4.5 (fixed) → +5.0 (content) → +4.0 (readout) → +4.5 (gate); Full FocusMem giảm bước chạy 9.4→8.4 và Hit-Max 31%→24%.
- Content probe: semantic + functional kết hợp phục hồi tốt nhất mọi metric (Semantic/Aligned/Transfer đều cao hơn action-only ~20+ điểm).
- Evidence expansion: khi context xung quanh tăng, Fixed sụt 22–25 điểm còn Dynamic chỉ sụt 6–12 điểm — readout động bền vững hơn.
- Trust gate: khi bơm trajectory nhiễu, no-gate tụt mạnh còn FocusMem mạnh hơn 9–11 điểm; passage rate giảm 86%→35% (gate loại bỏ khối nhiễu).
IV. Conclusion & Future Works:
FocusMem chứng minh latent memory hiệu quả không chỉ nhờ nén past interaction, mà nhờ tách biệt 3 trách nhiệm: cái gì được giữ, cái gì lộ ra, cái gì được phép ảnh hưởng. Khung huấn luyện policy-đóng-băng giữ chi phí thấp mà vẫn mạnh.
Hạn chế / hướng tương lai: mới thử với policy Qwen3-VL-8B trên web; cần mở rộng sang backbone khác và môi trường mobile/desktop. Trust diagnostic mới dùng trajectory nhiễu rõ ràng, chưa phủ mismatch tinh vi hay working memory lỗi thời. Mọi điểm số dựa trên Gemini-3.1-Pro nên vẫn có judge bias dù đã dùng prompt mù method.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng FocusMem sang agent mobile/desktop và backbone đa dạng (không chỉ Qwen3-VL) để kiểm chứng tính khái quát của phân rã content/readout/trust.
- Nghiên cứu trust gate tinh vi hơn: phát hiện mismatch ngầm và working memory lỗi thời thay vì chỉ dựa vào trajectory episodic nhiễu rõ ràng.
- Kết hợp state-conditioned readout với cơ chế tự động điều chỉnh latent budget theo độ dài trajectory để tối ưu chi phí inference.
- Phân tích xem semantic và functional supervision có bổ trợ nhau trên các loại task GUI khác nhau (shopping vs wikipedia vs deep research) ở mức chi tiết hơn.
2. Patent:
- Trên điện thoại, trợ lý GUI tự động ghi nhớ thao tác đã làm (working) và mẹo app tái dùng (episodic) thành token nhỏ; mỗi bước chỉ rút thông tin liên quan và tự bỏ qua gợi ý sai app — giúp hoàn thành task dài mà không làm đầy RAM/context.
- Tính năng 'nhắc thông minh' cho app ngân hàng/mua sắm: hệ thống lưu quy trình xác thực và giỏ hàng dang dở thành latent memory, khi user quay lại tự hiện bước tiếp theo đúng chỗ chứ không hiện lại toàn bộ lịch sử cuộn.
- Bộ lọc nhiễu cho gợi ý autofill: trước khi chèn gợi ý từ lịch sử truy xuất, một cổng tin cậy chấm điểm mức độ liên quan đến màn hình hiện tại và loại bỏ gợi ý từ app/web khác, tránh điền sai thông tin.
- Trình duyệt web trên di động tích hợp latent memory: nén lịch sử duyệt web thành token, tại mỗi bước chỉ 'đọc' phần liên quan đến tìm kiếm hiện tại và bỏ qua tab nhiễu — tăng tốc agent web chạy trên máy yếu.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.04530 |
| ArXiv Abstract | https://arxiv.org/abs/2608.04530 |
| PDF Download | https://arxiv.org/pdf/2608.04530.pdf |
| Github Repository | https://github.com/stanley-ju/FocusMem |