🤗 Daily Hugging Face Paper Digest - 2026-08-31
Báo cáo được tạo tự động vào lúc 2026-09-01 11:23:27 bằng mô hình hermes-agent.
📰 Summary of Papers
1. LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering (93 votes)
Tác giả: Yi Wang, Haopeng Zhang, Chengxiang Huang, Rui Dai, Kaikui Liu, et al.
Xuất bản lúc: 2026-08-28
Tag: Loop Engineering, Coding Agents, Benchmark, Controller-Worker, Long-horizon Tasks
I. Main Problem:
Khi coding agent chạy nhiều vòng, không thể biết thành công/thất bại là do khả năng điều phối của vòng lặp hay do bản thân agent viết code. Các benchmark hiện tại đánh giá toàn bộ hệ thống agent, không tách riêng vai trò Controller đưa ra quyết định tiếp theo. Hệ quả:
- khó chẩn đoán lỗi điều khiển (tín nhiệm ghi chú cũ, bỏ qua xác minh, dừng sớm)
- khó so sánh các mô hình vì Worker và công cụ luôn thay đổi theo từng hệ thống.
II. Main Idea:
LoopArena đánh giá một mô hình trong vai trò Controller, trong khi giữ nguyên Worker viết code và toàn bộ môi trường thực thi. Quy trình:
- Worker chạy một đoạn công việc, sau đó trả về bản tóm tắt tiến độ
- Reporter tạo Evidence Packet chỉ đọc, ghi lại ngữ cảnh, trạng thái, bằng chứng xác minh và vấn đề còn lại
- Controller nhận Packet và ra Loop Contract: phân công đoạn tiếp theo, yêu cầu xác minh, hoặc quyết định dừng
Ba cấp độ bổ sung:
- Type I: chọn 1 trong 4 hợp đồng tại một điểm điều khiển, không chạy Worker
- Type II: điều khiển trên một đoạn (slice) của task để giảm chi phí
- Type III: điều khiển toàn bộ task từ đầu đến cuối
Ví dụ đời thường: giống như bếp trưởng (Controller) đọc báo cáo tiến độ từ bếp phụ (Worker) rồi chỉ đạo “xào tiếp món này”, “kiểm tra vị canh” hay “dừng bếp” — bếp trưởng không tự nấu mà chỉ ra quyết định dựa trên tình hình thực tế.
III. Main Results:
- Type III còn rất khó: tỷ lệ Strict Success Rate cao nhất đạt chỉ 24,69%, cho thấy điều khiển vòng lặp dài hạn vẫn còn nhiều chỗ cải thiện.
- Type II tiết kiệm chi phí và giữ nguyên thứ hạng: giảm trung bình 64,4% chi phí suy luận so với Type III, tương quan thứ hạng Controller giữa hai tập là Spearman ρ = 0,9747.
- Kiên trì lặp lại mục tiêu không đủ: chính sách fixed control chỉ cải thiện trên task slice (46,91% vs no-control 39,51%) nhưng không hơn trên full task (đều 18,52%), chứng tỏ cần điều khiển thích ứng với trạng thái thay đổi.
- Type I phân biệt rõ khả năng quyết định: Contract Accuracy từ 72,22% đến 87,78%, GPT-5.5 đứng đầu; các heuristic ngẫu nhiên/chọn ngắn nhất chỉ đạt dưới 31,11%.
IV. Conclusion & Future Works:
LoopArena biến runtime loop control thành đối tượng đo lường trực tiếp bằng cách tách Controller ra khỏi Worker cố định. Kết quả cho thấy điều khiển toàn task vẫn rất khó và cần hơn là chỉ lặp lại mục tiêu. Hướng tương lai: mở rộng sang nhiều lĩnh vực phần mềm hơn, nhiều Worker, các kiến trúc vòng lặp khác; phát triển chính sách học từ phản hồi của LoopArena; và xây dựng evaluator chuyên biệt cho từng miền ngoài repository-level coding.
V. Brainstorming Space:
1. Publish Papers:
- Huấn luyện chính sách Controller từ phản hồi thực thi của LoopArena: dùng reinforcement learning để mô hình học cách chuyển tiếp giữa triển khai, xác minh, phục hồi và dừng.
- Điều khiển đa Worker trong vòng lặp phát triển: một Controller phân phối công việc cho nhiều agent chuyên biệt (viết code, test, review) và xử lý sự phụ thuộc giữa các đầu ra.
- Tổng quát hóa Loop Engineering ra ngoài coding: áp dụng ba cấp độ Type I/II/III cho các tác vụ khoa học dữ liệu, thiết kế hệ thống hoặc viết nội dung có kiểm định.
2. Patent:
- IDE di động với AI điều phối vòng lặp: ứng dụng trên điện thoại đóng vai Controller, theo dõi tiến độ của agent viết code trên cloud và gửi yêu cầu tiếp theo qua tin nhắn có cấu trúc.
- Trợ lý review pull-request trên điện thoại: Controller phân tích báo cáo build/test, chỉ đạo agent sửa file cụ thể hoặc yêu cầu thêm testcase trước khi merge.
- Nền tảng low-code trên mobile: người dùng mô tả tính năng ứng dụng, Controller chia nhỏ thành các đoạn yêu cầu, giám sát agent tạo mã và dừng lại khi kiểm thử đạt yêu cầu.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.28281 |
| ArXiv Abstract | https://arxiv.org/abs/2608.28281 |
| PDF Download | https://arxiv.org/pdf/2608.28281.pdf |
| Github Repository | https://github.com/AMAP-ML/LoopArena |
2. DART-SD: Diamond-topology Aware Retrieval and Tuning for Self-Distillation of Multi-Turn Tool-Calling Agents (88 votes)
Tác giả: Hangrui Xu, Jiarui Wang, Yang Yang, Chuanbo Zhu, Fangda Chen, et al.
Xuất bản lúc: 2026-08-19
Tag: Tool-Calling Agents, Self-Distillation, Agent Distillation, Multi-Turn Reasoning, Behavior Cloning, Reinforcement Learning
I. Main Problem:
Các phương pháp huấn luyện agent gọi công cụ đa lượt hiện tại ép buộc toàn cục toàn bộ quỹ đạo qua SFT/BC hoặc dùng RL với phần thưởng thưa. Với các tác vụ có nhiều sub-goal độc lập thứ tự, không gian lời giải tối ưu tạo thành một tấm lưới kim cương (diamond lattice) kết hợp rộng lớn. Ép mô hình bắt chước một đường thẳng duy nhất gây ra topological collapse — phạt bất cả những bước khám phá hợp lệ khác, khiến mô hình:
- ghi nhớ quỹ đạo thừa thay vì trích xuất xương sống logic;
- suy giảm đa dạng chính sách và hiệu quả token;
- RL như GRPO gán nhầm credit, kéo dài phần thưởng cuối đồng đều lên các bước trung gian.
II. Main Idea:
DART-SD chuyển từ "bắt chước toàn cục" sang "hiệu chỉnh bản địa theo topology". Quy trình:
- ISTG (Interaction-State Transition Graph): xây dựng từ cả quỹ đạo thành công và thất bại của teacher, node là trạng thái tương tác tích lũy (tập atom thông tin + số thao tác vô ích), không phải hành động tức thời. Điều này khiến các đường lấy thông tin độc lập thứ tự hội tụ về cùng node, tạo cấu trúc kim cương tự nhiên.
- CTB (Critical Topological Breakpoint): xác định điểm đầu tiên rollout của student rời khỏi vùng có thể hồi phục thành công theo teacher.
- Trích xuất recovery: từ anchor hợp lệ cuối cùng trước CTB, lấy mẫu tiếp nối được teacher hỗ trợ để sinh đoạn phục hồi.
- Giám sát bản địa CTB: chỉ tính loss trên các token assistant được sinh sau CTB, bảo vệ hoàn toàn prefix suy luận hợp lệ trước đó khỏi gradient phá hoại.
- Tự chưng cất tiến bộ: lặp lại rollout → xác định CTB → huấn luyện bản địa, khiến biên năng lực của student dần dịch sâu hơn.
Ví dụ đời thường: giống như học viên lái xe đi đúng 80% đường rồi quẹo nhầm; thầy không bắt học lại từ đầu, mà chỉ sửa từ chỗ quẹo sai trở đi, giữ nguyên đoạn đã chạy tốt.
III. Main Results:
- Vượt trội xuyên benchmark: DART-SD đạt hiệu suất cao nhất trên cả Qwen3-4B và Qwen3-8B trên 5 benchmark (FTRL, BFCL, ToolHop, τ-bench, RoTBench).
- Qwen3-8B: FTRL Solve-F1 đạt 45.66 so với SFT 41.89 và FTRL-GRPO 40.22; vượt cả teacher trên FTRL, ToolHop và τ-bench dù nhỏ hơn rất nhiều tham số.
- Tối ưu hóa độ dài quỹ đạo: số lượt gọi công cụ trung bình giảm từ 4.23 (Iter1) xuống 3.55 (Iter5), thậm chí ngắn hơn golden reference 4.02 — chứng tỏ học được đường tắt thay vì ghi nhớ.
- Biên năng lực mở rộng: vị trí CTB trung bình trong các rollout thất bại dịch sâu từ 0.348 → 1.452, nghĩa là student đi đúng prefix cada dài trước khi cần hiệu chỉnh.
- Bảo toàn khả năng chung: DART-SD cải thiện IFEval, AIME24/25, MMLU, điểm trung bình từ 43.92 (base) lên 49.89.
IV. Conclusion & Future Works:
DART-SD chứng minh rằng mô hình hóa quỹ đạo agent dưới dạng đồ thị trạng thái tương tác thay vì chuỗi tuyến tính là chìa khóa để tránh topological collapse và học được chính sách gọi công cụ đa dạng, hiệu quả. Giám sát bản địa tại CTB cho phép student tự tiến hóa lâu dài mà không bị ghi đè prefix hợp lệ. Hướng tương lai: mở rộng ISTG cho môi trường động và partially observable, kết hợp cập nhật vùng success-reachable trực tuyến, và áp dụng khung topological correction cho web browsing/GUI automation.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng ISTG cho đa tác nhân cộng tác, trong đó nhiều agent chia sẻ cùng không gian trạng thái tương tác và cùng tìm đường hồi phục từ CTB.
- Kết hợp CTB-guided correction với online RL để tự động cập nhật vùng success-reachable khi agent triển khai trong môi trường mới.
- Áp dụng abstraction topology cho tác vụ quan sát một phần (web navigation, GUI automation) với trạng thái ẩn và phản hồi công cụ không đầy đủ.
2. Patent:
- Trợ lý AI trên điện thoại tự sửa quy trình đa bước thất bại (đặt vé, thanh toán): xác định điểm gãy CTB, giữ nguyên thông tin người dùng đã cung cấp, và tìm lại đường hoàn thành từ cloud.
- Chatbot chăm sóc khách hàng ngân hàng/mobile app: khi thiếu thông tin hoặc nhập sai, bot chỉ yêu cầu bổ sung tại điểm gãy thay vì hỏi lại từ đầu, nâng cao trải nghiệm người dùng.
- Trợ lý lập kế hoạch du lịch trên điện thoại thông minh: thử nhiều thứ tự tìm chuyến bay/khách sạn/xe và tự họg đường đặt vé ngắn nhất thành công, sau đó đề xuất lại cho người dùng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.18524 |
| ArXiv Abstract | https://arxiv.org/abs/2608.18524 |
| PDF Download | https://arxiv.org/pdf/2608.18524.pdf |
| Github Repository | N/A |
3. Agentic Artifact Creation: Systems, Evaluation, Principles, and Opportunities (55 votes)
Tác giả: Tianfu Wang, Zhezheng Hao, Xilin Xia, Lixin Liu, Mengkang Hu, et al.
Xuất bản lúc: 2026-08-28
Tag: Agentic AI, Generative Models, Multi-Agent Systems, Evaluation Benchmarks, Human-AI Collaboration
I. Main Problem:
Các mô hình sinh hiện nay dễ dàng tạo bản nháp và thành phần từ ngôn ngữ tự nhiên, nhưng vẫn yếu khi phải hoàn thiện deliverable hoàn chỉnh phải đáp ứng nhiều tiêu chí cùng lúc. Thách thức:
- các yêu cầu tương tác lẫn nhau: thay đổi nội dung có thể phá vỡ bố cục, hành vi hoặc ràng buộc phía sau;
- lỗi chỉ lộ ra ở đầu ra cuối, nhưng khó định vị nguyên nhân để sửa;
- việc tái tạo toàn bộ tốn kém và làm mất công việc đã đạt yêu cầu.
II. Main Idea:
Bài khảo sát định nghĩa Agentic Artifact Creation là quá trình xây dựng có trạng thái, trong đó hệ thống AI vật chất tạo hoặc sửa đổi deliverable và các quan sát trung gian được dùng để định hướng công việc tiếp theo. Kiến trúc chức năng gồm ba vai trò:
- Operational Representation: giữ trạng thái artifact hiện tại và cung cấp giao diện sửa đổi;
- Construction Policy: chọn hành động tiếp theo dựa trên yêu cầu, trạng thái và phản hồi;
- Runtime Verification: kiểm tra hậu quả của thay đổi và trả phản hồi về policy.
Ba đặc tính then chốt là Composability (tách rời các đơn vị xây dựng), Traceability (theo dõi yêu cầu → hành động → trạng thái) và Revisability (sửa cục bộ mà không phá hủy toàn bộ).
Ví dụ đời thường: giống như thợ xây dựng không đổ hết tường khi phát hiện lệch, mà dùng thước kiểm tra từng đoạn, tìm chỗ lệch rồi chỉnh chỗ đó rồi kiểm tra lại.
III. Main Results:
- Tổng hợp và phân loại 259 công trình (230 hệ thống + 29 benchmark) đến hết 20/08/2026 theo định nghĩa stateful construction.
- So sánh sáu họ artifact: Textual, 2D Visual, Audio, Video, Spatial, Behavioral — nhấn mạnh sự khác biệt về mức độ phụ thuộc quyết định, khả năng quan sát lỗi và khả năng sửa chữa.
- Phân tích ngữ cảnh ứng dụng (sáng tạo, giáo dục, chuyên nghiệp, khoa học, kỹ thuật) và thực hành đánh giá như hai trục độc lập với họ artifact.
- Đề xuất bốn nguyên tắc thiết kế: làm rõ ràng các cam kết và ranh giới trách nhiệm, biến phản hồi thành sửa chữa có mục tiêu, và tái kiểm tra trạng thái bị ảnh hưởng sau mỗi thay đổi.
- Xác định sáu hướng thách thức/cơ hội: Global Coherence, Targeted Repair, System Self-evolution, User Personalization, Human Authority, Open-Ended Evaluation.
IV. Conclusion & Future Works:
Agentic Artifact Creation cần chuyển từ sinh một lần sang xây dựng có kiểm soát, trong đó trạng thái artifact, phản hồi runtime và khả năng sửa chữa được tích hợp. Hướng tương lai: phát triển cơ chế duy trì tính nhất quán toàn cục, sửa chữa có định hướng, tự tiến hóa hệ thống, cá nhân hóa người dùng, phân định quyền con người, và đánh giá trong điều kiện nhiều kết quả có thể hợp lệ.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng kiến trúc phân tán multi-agent cho Agentic Artifact Creation: nghiên cứu cách duy trì cam kết toàn cục, giải quyết xung đột và tránh mất trạng thái qua ranh giới tác nhân.
- Phát triển giao thức đánh giá mở (open-ended evaluation) cho artifact khi nhiều kết quả khác nhau đều có thể chấp nhận được, kết hợp phán xét học được và kiểm tra chuẩn mực domain.
- Nghiên cứu cá nhân hóa tương tác trong quá trình xây dựng: hệ thống tự điều chỉnh phong cách, ràng buộc và quyền quyết định của người dùng qua nhiều phiên làm việc.
2. Patent:
- Hệ thống tạo poster khoa học tự động từ bài báo: AI phân tích nội dung, bố cục trang, kiểm tra giới hạn hình ảnh/văn bản, rồi chỉnh sửa cục bộ cho đến khi đáp ứng tiêu chẩn hội nghị.
- Hệ thống xây dựng ứng dụng web từ mô tả ngôn ngữ tự nhiên: tạo repo, frontend, backend, chạy kiểm thử, đọc log lỗi và sửa file cụ thể cho đến khi ứng dụng chạy được và đáp ứng đặc tả.
- Hệ thống tạo video quảng cáo đa kênh: từ brief thương hiệu, AI sinh kịch bản, hình ảnh, âm thanh, kiểm tra tính nhất quán thương hiệu và tuân thủ quy định, sau đó xuất bản lên nền tảng mục tiêu.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.28122 |
| ArXiv Abstract | https://arxiv.org/abs/2608.28122 |
| PDF Download | https://arxiv.org/pdf/2608.28122.pdf |
| Github Repository | https://github.com/GeminiLight/awesome-agentic-artifact-creation |
4. Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning (43 votes)
Tác giả: Hanyang Wang, Yimo Cai, Weiliang Chen, Jiawei Chi, Haowen Sun, et al.
Xuất bản lúc: 2026-08-27
Tag: Physical Reasoning, World Models, Vision-Language Models, Executable Representations, Code Generation, Simulation, Abductive Reasoning
I. Main Problem:
Các mô hình Vision-Language hiện đại mô tả hiện tượng vật lý tốt nhưng thiếu biểu diễn cơ chế đằng sau: trạng thái đối tượng, thông số vật lý, động lực học và phản ứng với can thiệp. Các cách tiếp cận hiện có đều có khe hở:
- Pixel-level prediction giữ chi tiết nhưng không tách rời nguyên nhân gây ra quan sát.
- 3D reconstruction giữ cấu trúc hình học nhưng không giải thích hành vi vật lý.
- Ngôn ngữ tự nhiên mô tả ngữ nghĩa nhưng thiếu độ chính xác cho trạng thái liên tục.
Hệ quả là các mô hình khó suy luận định lượng, dự đoán tiến triển thế giới và khái quát hóa qua hoàn cảnh mới.
II. Main Idea:
Code-as-World biểu diễn thế giới vật lý dưới dạng mã thực thi được, bao gồm ba thành phần:
- Physical composition — đối tượng, hình học, khối lượng, ma sát, v.v.
- Dynamic evolution — trạng thái ban đầu, chuyển động, va chạm, sự kiện.
- Visual appearance — camera, vật liệu, ánh sáng, cách render.
Để khôi phục biểu diễn này từ văn bản hoặc video thực, tác giả xây dựng vòng lặp khám phá agentic: propose → instantiate → execute → render → verify. Agent đề xuất giả thuyết thế giới, chạy mô phỏng, render quan sát, so sánh với bằng chứng đầu vào và điều chỉnh theo sai lệch cho đến khi mô hình khớp.
Ví dụ đời thường: giống như một thám tử dựng lại hiện trường vụ án bằng mô hình thu nhỏ, thử đặt vật ở các vị trí khác nhau và chạy lại sự việc cho đến khi cách diễn ra khớp với lời khai của nhân chứng.
III. Main Results:
- Code-as-World-VL-9B vượt Gemini-3.1-Flash trên benchmark QuantiPhy.
- Code-as-World-VL-27B đạt state-of-the-art trên QuantiPhy, vượt cả biến thể 9B và các baseline lớn hơn.
- Vòng lặp agentic với tối đa 5 vòng vượt Best-of-5 sampling cùng ngân sách đánh giá trên hầu hết chỉ số: Visual Alignment, Object IoU, Traj-ADE, Accuracy@2%D.
- Hệ thống thành công với cả text-driven sim-to-real (sinh video thực từ mô tả văn bản) và video-driven abstraction (khôi phục mô hình vật lý từ video thực).
IV. Conclusion & Future Works:
Biểu diễn thế giới dưới dạng mã thực thi cung cấp một nền tảng gọn, có cấu trúc, kiểm chứng được và có thể can thiệp cho trí tuệ vật lý. Việc dùng các executable world đã xác minh làm giám sát vật lý có quy mô giúp cải thiện mạnh suy luận định lượng của vision-language models.
Hướng phát triển: mở rộng sang các hiện tượng vật lý rộng hơn (chất lỏng, mềm dẻo, đàn hồi), nâng cao khả năng mô phỏng để xử lý môi trường thực phức tạp, và tích hợp sâu hơn vào các tác vụ điều khiển robot/embodied intelligence.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng vòng lặp agentic khám phá thế giới thực thi cho các hiện tượng vật lý phi tuyến như chất lỏng, vải và vật liệu mềm, kết hợp với mô phỏng differentiable để tối ưu thông số tự động.
- Kết hợp Code-as-World với large language models làm bộ lập trình vật lý cho robot: robot quan sát tình huống, agent tự sinh mã mô phỏng, kiểm chứng hành động ảo trước khi thực thi ngoài đời thực.
- Xây dựng benchmark đánh giá độ chính xác cơ chế của world representations, không chỉ đo pixel alignment, mà còn đo khả năng dự đoán can thiệp và phản thực (counterfactual) vật lý.
2. Patent:
- Ứng dụng điện thoại tự động phân tích video quay cảnh vật lý: người dùng quay một quả bóng lăn hoặc va chạm, ứng dụng khôi phục mã mô phỏng và tính toán vận tốc, gia tốc, lực va chạm, hữu ích cho giáo dục và thí nghiệm tại nhà.
- Hệ thống tổng hợp dữ liệu huấn luyện cho xe tự hành: từ mô tả ngôn ngữ hoặc video hiện trường giao thông, agent tự xây dựng executable world và sinh hàng nghìn kịch bản counterfactual để huấn luyện mô hình nhận thức và quyết định.
- Công cụ hỗ trợ thiết kế kỹ thuật trên điện thoại/máy tính bảng: người dùng mô tả một cơ chế vật lý, hệ thống sinh mã mô phỏng tương tác, cho phép chỉnh sửa thông số và xem trước hành vi trước khi chế tạo.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.27549 |
| ArXiv Abstract | https://arxiv.org/abs/2608.27549 |
| PDF Download | https://arxiv.org/pdf/2608.27549.pdf |
| Github Repository | https://github.com/mirros-lab/code-as-world |
5. J-Zero: Unified Challenger--Solver--Judge Co-Evolution from Zero Data (36 votes)
Tác giả: Gyouk Chu, Myeongho Jeon, Eunho Yang
Xuất bản lúc: 2026-08-27
Tag: Self-Improving LLMs, Reinforcement Learning, GRPO, Reward Models, Zero-Data Learning, Adversarial Training
I. Main Problem:
Các phương pháp self-evolving language model hiện tại hoạt động tốt trong các lĩnh vực verifiable (toán/coding có đáp án đúng sai rõ ràng) nhưng gặp giới hạn nghiêm trọng trong các lĩnh vực unverifiable (viết mở, tư vấn, sáng tạo), nơi chất lượng phụ thuộc vào sở thích con người.
Vấn đề cốt lõi là Judge/Reward Model cố định tạo ra trần hiệu suất: khi Solver đã khớp với tiêu chuẩn Judge hiện tại, tín hiệu reward không còn phân biệt được câu trả lời tốt hơn nữa, khiến quá trình tự cải thiện dừng lại. Các phương pháp zero-data trước như R-Zero chỉ hoạt động trong verifiable domain, còn G-Zero mở rộng sang unverifiable nhưng vẫn dùng tín hiệu đánh giá tĩnh.
II. Main Idea:
J-ZERO đồng tiến hóa ba mô hình trong một vòng lặp khép kín: Challenger, Solver, và Judge.
- Challenger–Solver chơi một trò chơi đối kháng qua GRPO: Challenger sinh bài tập ngày càng khó (tối thiểu hóa reward Judge dành cho Solver), Solver học để trả lời tốt hơn (tối đa hóa reward).
- Judge không cố định mà được cập nhật liên tục từ hai loại preference pair được xây dựng hoàn toàn bên trong vòng lặp, không cần dữ liệu hay nhãn người:
- Role-asymmetry pairs: câu trả lời của Solver được ưu tiên hơn câu của Challenger, vì Solver được huấn luyện để trả lời tốt còn Challenger chỉ được huấn luyện để tạo câu hỏi khó.
- Subtask-amplification pairs: câu trả lời được chia nhỏ thành subtask rồi ghép lại được ưu tiên hơn câu trả lời one-shot, vì giải từng phần dễ hơn và tổng hợp lại cho kết quả toàn diện hơn.
Bằng cách này, tiêu chuẩn đánh giá của Judge luôn đi trước khả năng hiện tại của Solver một bước, giúp quá trình tự cải thiện không bị trần.
Ví dụ đời thường: giống như một lớp học không có giáo trình bên ngoài — giáo viên (Challenger) tự viết đề khó hơn mỗi tuần, học sinh (Solver) tập làm đề, và người chấm bài (Judge) học cách chấm chuẩn hơn bằng cách so sánh bài làm của học sinh với bài làm "ép buộc" của chính giáo viên, cùng bài giải chia từng bước so với bài làm một mạch.
III. Main Results:
- Verifiable domain: J-ZERO vượt base model +9.47 điểm (Qwen3-4B) và +7.88 điểm (Qwen3-8B); vượt R-Zero +4.74 điểm (4B) và +3.56 điểm (8B).
- Unverifiable domain: cải thiện trung bình +11.23 điểm (4B) và +10.18 điểm (8B) so với base model, gấp nhiều lần các baseline.
- AlpacaEval 2.0: tăng mạnh từ 6.22 → 28.56 (4B) và 12.93 → 33.53 (8B).
- Hội tụ bền vững: J-ZERO tiếp tục cải thiện qua 10 vòng lặp, trong khi R-Zero và G-Zero bão hòa sau 2 vòng rồi giảm điểm.
- Ablation: loại bỏ subtask-amplification pairs gây sụt −1.64 điểm, lớn hơn mức sụt −0.97 điểm khi loại role-asymmetry pairs, cho thấy cả hai tín hiệu bổ sung lẫn nhau theo giai đoạn.
IV. Conclusion & Future Works:
J-ZERO chứng minh rằng Judge là thành phần cần được huấn luyện song song, không phải một công cụ cố định. Khi Judge đồng tiến hóa với Challenger và Solver, hệ thống có thể tự cải thiện trong cả hai loại domain mà không cần dữ liệu bên ngoài hay nhãn người.
Hướng tương lai:
- Mở rộng quy mô lên các mô hình lớn hơn (hiện tại giới hạn ở 8B) và thử nghiệm trên các reasoning model đã qua post-training với chain-of-thought dài.
- Thay Judge phân loại (classifier reward model) bằng generative LLM-as-a-Judge, cho phép một base model duy nhất đảm nhận cả ba vai và cung cấp phản hồi dạng critique phong phú hơn.
- Áp dụng tư tưởng co-evolution cho lifelong learning, giúp mô hình liên tục thích nghi với domain mới mà không bị quên catastrophic forgetting.
V. Brainstorming Space:
1. Publish Papers:
- Generative Judge co-evolution trong vòng lặp self-play: thay thế reward model phân loại bằng LLM-as-a-Judge để sinh ra các critique chi tiết và đồng thời làm tăng chất lượng đánh giá trong J-ZERO.
- Multi-role self-evolution vượt ra ngoài ba vai Challenger–Solver–Judge: khám phá cấu trúc tác nhân chuyên biệt hóa (ví dụ: decomposer, verifier, editor) cho các tác vụ phức tạp hơn.
- Lifelong learning từ zero data: điều chỉnh J-ZERO để mô hình liên tục học các domain mới theo thứ tự, dùng Judge co-adaptation làm cơ chế chống quên và thích nghi.
2. Patent:
- Ứng dụng luyện viết trên điện thoại: app AI tự sinh prompt viết ngày càng khó theo trình độ người dùng, đánh giá bài viết, và tự cải thiện tiêu chí chấm điểm bằng cách so sánh bài viết hoàn chỉnh với bài viết được phân tích từng phần, không cần người gán nhãn.
- Hệ thống huấn luyện nhân viên chăm sóc khách hàng: máy chủ tạo kịch bản khách hàng ngày càng phức tạp, nhân viên thực hành phản hồi, và bộ đánh giá tự học rubric từ cách so sánh câu trả lời của nhân viên với câu trả lời "cố tình khó" của hệ thống.
- Gia sư lập trình cá nhân trên thiết bị di động: ứng dụng tự tạo bài tập code phù hợp năng lực người học, tự chấm và nâng cấp khả năng chấm điểm bằng cách so sánh lời giải từng bước với lời giải một lần viết, giúp người học tiến bộ liên tục.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.26582 |
| ArXiv Abstract | https://arxiv.org/abs/2608.26582 |
| PDF Download | https://arxiv.org/pdf/2608.26582.pdf |
| Github Repository | https://github.com/GyoukChu/J-Zero |
6. Revisiting Local Context for Long-Horizon Streaming 3D Reconstruction (29 votes)
Tác giả: Jiarong Han, Jincheng Xiong, Yuzhou Liu, Linzhe Shi, Changjie Wu, et al.
Xuất bản lúc: 2026-08-27
Tag: 3D Reconstruction, SLAM, Streaming Inference, Long-Horizon, Camera Pose Estimation, Local Context
I. Main Problem:
Phục hồi cấu trúc 3D từ video cực dài phải ước lượng chuyển động camera và hình học cảnh trực tuyến, nhân quả, với bộ nhớ & tính toán bị giới hạn. Các mô hình streaming trước dùng bộ nhớ dài hạn, trạng thái tái phát hoặc cache đa cấp, khiến kiến trúc phức tạp và phạm vi dự đoán tăng theo độ dài chuỗi, dẫn đến sai số tích lũy khó kiểm soát khi video dài hàng nghìn khung.
II. Main Idea:
ABot-Recon bỏ qua bộ nhớ học dài hạn và giữ nguyên tắc ngữ cảnh cục bộ nghiêm ngặt: mỗi khung mới chỉ nhìn KV của 11 khung trước, dự đoán:
- point map trong hệ tọa độ camera hiện tại
- confidence map
- tư thế tương đối với khung liền trước
Dự đoán bất biến theo hệ quy chiếu (reference-frame equivariant); tư thế toàn cục được khôi phục bằng cách nối các phép biến đổi cục bộ. Để giảm drift, một rotation refiner nhẹ kết hợp bằng chứng chuyển động gần đây và bằng chứng thị giác qua Gated TCN, cùng composition-aware pose loss giám sát cả chuỗi phép biến đổi thay vì chỉ từng cặp khung.
Ví dụ đời thường: giống như người đi bộ không cần nhớ toàn bộ bản đồ thành phố, mà chỉ ghi lại hướng và khoảng cách từng bước so với vị trí ngay trước; sau đó ghép từng đoạn ngắn lại thành hành trình dài.
III. Main Results:
- Oxford Spires: ATE đạt 4.35 m, RPE-R 0.12°, giảm khoảng 40% so với kết quả tốt nhất trước đó; thêm loop closure xuống còn 4.02 m.
- KITTI: ATE trung bình 18.25 m, RPE-R và RPEt đều 0.10°/m, thấp nhất trong các phương pháp so sánh không dùng loop closure; với loop closure ATE trung bình 13.49 m.
- Hoạt động liên tục, không reset, bộ nhớ và chi phí tính toán mỗi khung không phụ thuộc độ dài chuỗi.
- Có thể ghép nối dễ dàng với các backend SLAM chuẩn (ví dụ loop closure) mà không cần train lại.
IV. Conclusion & Future Works:
ABot-Recon chứng minh rằng ngữ cảnh cục bộ 12 khung đã đủ để tái tạo ổn định trên video dài hàng chục nghìn khung, loại bỏ nhu cầu quản lý bộ nhớ dài hạn phức tạp. Hiệu suất dài hạn đến từ việc dự đoán cục bộ không phụ thuộc độ dài chuỗi và sáng kiến giám sát phép hợp thành. Hướng tương lai: mở rộng cho cảnh động, tích hợp đóng vòng lặp chủ động (active loop closure), và thử nghiệm trên nền tảng edge/robot với bộ nhớ chặt hơn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng ABot-Recon cho cảnh động: kết hợp phân đoạn chuyển động hoặc mặt nạ động vào point map cục bộ để duy trì độ chính xác khi có vật thể di chuyển trong video dài.
- Nghiên cứu chiến lược đóng vòng lặp chủ động: dùng mô tả thị gián địa phương từ ABot-Recon để quyết định khi nào tìm kiếm và tối ưu lại đồ thị tư thế thay vì dùng backend cố định.
- Kết hợp dự đoán cục bộ với các cảm biến bổ trợ (IMU, lidar, sự kiện camera) trong khung cửa sổ ngắn để cải thiện độ tin cậy của ước lượng tư thế tương đối trong điều kiện thị giác kém.
2. Patent:
- Hệ thống định vị AR trên điện thoại thông minh: camera streaming liên tục, mô hình cục bộ chỉ cache 11 khung trước để tiết kiệm pin và bộ nhớ, dự đoán tư thế và điểm 3D từng bước, ghép thành bản đồ nội thất dài mà không cần gửi toàn bộ video lên đám mây.
- Module điều hướng robot tự hành dài hạn: xe robot chạy streaming dựa trên ABot-Recon, mỗi bước chỉ tính toán với cửa sổ ngắn, giảm yêu cầu GPU; kết hợp backend SLAM nhẹ để đóng vòng lặp và hiệu chỉnh quỹ đạo kilomet.
- Thiết bị quay phim hành động tích hợp tái tạo 3D trực tiếp: camera thể thao ghi video dài và xuất ra point cloud địa hình cùng quỹ đạo camera, phục vụ lập bản đồ nhanh trong khảo sát hiện trường, tìm kiếm cứu nạn hoặc kiểm tra công trình.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.27529 |
| ArXiv Abstract | https://arxiv.org/abs/2608.27529 |
| PDF Download | https://arxiv.org/pdf/2608.27529.pdf |
| Github Repository | https://github.com/amap-cvlab/ABot-Recon |
7. Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090 (29 votes)
Tác giả: Kairong Luo, Jiarui Cui, Yaorui Yin, Shengqi Chen, Yiming Yang, et al.
Xuất bản lúc: 2026-08-27
Tag: LLMs, Pretraining, FP8 Mixed Precision, Low-Cost Training, Consumer GPUs, Data Curriculum, Model Averaging, Muon Optimizer, Open-Source Recipe
I. Main Problem:
Tiền huấn luyện (pretraining) mô hình ngôn ngữ lớn đang trở thành rào cản tài chính với phòng lab nhỏ và cộng đồng mã nguồn mở. Các mô hình open-weight như Qwen, Gemma, Llama chỉ công bố trọng số; các mô hình open-recipe như SmolLM3-3B hay Llama-3.2-3B dù công bố công thức nhưng chi phí tái tạo vẫn lên đến hàng trăm nghìn đến hơn 1,5 triệu USD. Khoảng cách giữa "có thể tái tạo" và "có đủ tiền tái tạo" vẫn rất lớn.
II. Main Idea:
Puro-2B là công thức tiền huấn luyện mã nguồn mở, rẻ, dùng GPU RTX 5090 dân dụng để huấn luyện từ đầu một mô hình decoder ~2B tham số (kiến trúc Qwen3) trên 1,4 nghìn tỷ token. Các thành phần chính:
- Phần cứng: cluster RTX 5090, tinh chỉnh driver để bật P2P và GDR trên PCIe/InfiniBand.
- Độ chính xác thấp: Blockwise FP8 cho các lớp tuyến tính, giữ BF16/FP32 cho trọng số master và trạng thái optimizer nhạy cảm.
- Tối ưu: MuonH — biến thể của Muon với ràng buộc hyperball lên bán kính Frobenius của tham số và update.
- Data curriculum: huấn luyện Phase 2 theo thứ tự dễ đến khó, sắp xếp chunk dữ liệu theo điểm chất lượng nội source, rồi Curriculum Model Averaging (CMA) — giữ LR cố định ở cuối và trung bình 6 checkpoint cuối.
- Data recipe: dùng thí nghiệm proxy quy mô nhỏ để chọn nguồn dữ liệu và mixture mà không cần gán nhãn chất lượng thủ công.
Ví dụ đời thường: giống như một đầu bếp gia đình muốn làm món ngang nhà hàng nhưng không mua lò chuyên nghiệp — họ dùng nồi rẻ, cắt nhỏ nguyên liệu tiết kiệm (FP8), nấu theo từng giai đoạn từ dễ đến khó (curriculum), nếm thử từng mẻ nhỏ trước (proxy), và lấy trung bình vài lần nấu cuối để ra món chuẩn nhất (CMA).
III. Main Results:
- Mô hình tốt nhất huấn luyện trong 22.514 GPU-giờ, ~6,9 nghìn USD, đạt hiệu suất tiệm cận Qwen2.5-1.5B.
- Với ~4,4 nghìn USD và data recipe đều (uniform), Puro-2B vượt Qwen2-1.5B trên trung bình 15 benchmark.
- Curriculum/CMA đạt lợi ích hiệu quả chi phí 1,65× so với công thức đều; khi kết hợp nhiều thiết kế Phase 2, lợi ích lên đến 2,40×.
- RTX 5090 BF16 hiệu quả chi phí hơn 2,77× so với H200 BF16; FP8 thêm 1,34×; MuonH thêm 1,19×.
- Công bố đầy đủ trọng số, dữ liệu, code huấn luyện, code xử lý dữ liệu dưới Apache 2.0.
- Sau SFT, mô hình khởi tạo từ curriculum cho kết quả GSM8K cao hơn trong cả thiết lập toán học thu hẹp và mở rộng, cũng như tổng điểm 15 tác vụ rộng hơn trong broad instruction tuning.
IV. Conclusion & Future Works:
Puro-2B chứng minh tiền huấn luyện mở và rẻ là khả thi hôm nay nhờ thiết kế đồng bộ phần cứng, độ chính xác, optimizer, curriculum và data recipe, chứ không phải tối ưu riêng lẻ. Hướng tương lai: đẩy ranh giới chi phí xuống thấp hơn, mở rộng lên mô hình lớn hơn (7B–13B) trên cluster GPU dân dụng, tự động hóa thiết kế curriculum và proxy experiment, cải thiện giao thức kế toán chi phí toàn diện hơn.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng công thức Puro lên mô hình 7B–13B và kiểm tra xem hiệu quả chi phí RTX 5090 + FP8 + MuonH + curriculum có bảo toàn ở quy mô lớn hơn không.
- Phân tích lý thuyết về ràng buộc hyperball trong MuonH: tại sao giới hạn bán kính Frobenius giúp tối ưu ổn định hơn trong huấn luyện độ chính xác thấp (FP8).
- Tự động hóa thiết kế data curriculum: dùng reinforcement learning hoặc active learning để lập lịch thứ tự dữ liệu mà không cần chạy hàng loạt proxy experiment thủ công.
- Khái quát hóa công thức FP8 + MuonH sang các kiến trúc khác (Mixture of Experts, state-space models) và các framework huấn luyện khác ngoài Megatron Core.
2. Patent:
- Hệ thống huấn luyện mô hình ngôn ngữ giá rẻ cho doanh nghiệp nhỏ và phòng lab: tủ máy chủ dùng GPU RTX 5090/PRO dân dụng, phần mềm tự động tinh chỉnh P2P/GDR, FP8, MuonH và curriculum để huấn luyện LLM chuyên biệt ngay tại chỗ với chi phí dưới 10 nghìn USD.
- Ứng dụng di động cá nhân hóa mô hình ngôn ngữ: điện thoại dùng chip/graphic dân dụng hỗ trợ FP8 để liên tục tiền huấn luyện nhẹ trên dữ liệu người dùng, sắp xếp dữ liệu theo curriculum và trung bình checkpoint cuối để thích ứng phong cách viết mà không cần gửi dữ liệu lên đám mây.
- Dịch vụ đám mây huấn luyện LLM chi phí thấp cho giáo dục/nghiên cứu: tự động chọn node GPU dân dụng (RTX 5090), cấu hình song song DP+PP tối ưu, và lập lịch Phase 1/Phase 2 + CMA để giảm giá thuê GPU xuống mức phòng lab có thể chi trả.
- Thiết bị edge AI định kỳ làm mới mô hình: cụm GPU dân dụng nhỏ đặt tại trạm biên (edge station) dùng công thức FP8 + curriculum để cập nhật mô hình cục bộ định kỳ, thay vì trả phí data center cho mỗi lần retrain.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.27370 |
| ArXiv Abstract | https://arxiv.org/abs/2608.27370 |
| PDF Download | https://arxiv.org/pdf/2608.27370.pdf |
| Github Repository | https://github.com/thu-pacman/Puro-Megatron |
8. Act with Intent: Distilling Behavior Intent for Vision-Language-Action Models (28 votes)
Tác giả: Sangoh Lee, Sangwoo Mo, Wook-Shin Han
Xuất bản lúc: 2026-08-24
Tag: Vision-Language-Action, Robotics, Behavior Cloning, Knowledge Distillation, Intent Modeling, Robot Manipulation
I. Main Problem:
Các mô hình Vision-Language-Action (VLA) hiện tại huấn luyện bộ giải mã hành động chủ yếu bằng behavior cloning — bắt chước động tác đã quan sát mà không nắm được mục tiêu cục bộ của hành vi đó. Các phương pháp giám sát dựa trên tương lai (sinh khung hình, quỹ đạo, trường chuyển động) thì chỉ mô tả một cách thực hiện cụ thể, không phải ý định/ngữ nghĩa chung điều phối hành vi. Hệ quả:
- bộ giải mã học được ánh xạ quan sát→hành động nhưng không hiểu tại sao phải làm vậy
- khó khái quát hóa khi cùng một mục tiêu có nhiều cách thực hiện khác nhau, hoặc cùng động tác phục vụ mục tiêu khác nhau.
II. Main Idea:
Intention Distillation (INDI) đưa behavior-level intent — mục tiêu cục bộ mà chuỗi hành động cần đạt được theo chỉ dẫn — vào bộ giải mã VLA. Quy trình:
- Giáo viên VLM đông lạnh phân tích đoạn hành vi đã thực hiện từ quan sát hiện tại, chỉ dẫn, tóm tắt hành động thô, và video thực thi, tạo ra biểu diễn đa phương thức của intent
- Học sinh decoder tự khôi phục intent này ở một tầng trung gian từ các đầu vào VLA tiêu chuẩn (ảnh, ngôn ngữ, trạng thái cảm biến)
- Intent sau đó điều phối song song ba dòng dự đoán: hành động, kết quả trực quan (scene thay đổi thế nào), và mục đích văn bản (behavior đạt được gì)
- Giáo viên và các module tạo mục tiêu được loại bỏ hoàn toàn khi triển khai
Ví dụ đời thường: giống như người học nghề thay vì chỉ chép y xì cử chỉ của thợ, trước tiên hiểu mục đích "gấp lòng trắng trứng nhẹ tay để giữ bọt khí", rồi mới thực hiện; nhờ đó làm được dù dụng cụ hay nguyên liệu khác đi.
III. Main Results:
- SimplerEnv-Bridge: GR00T-N1.7 tăng từ 64.3% lên 84.7% (+20.4pp), với tác vụ EP-Basket tăng mạnh từ 36.0% lên 96.0%. Phiên bản chỉ dùng future supervision chỉ đạt 68.0%, còn INDI vượt thêm +16.7pp.
- RoboCasa Kitchen: GR00T-N1.7 baseline (100 demos/task) tăng từ 64.1% lên 70.3% (+6.2pp), sánh ngang với checkpoint dùng 3,000 demos/task. π0.5 tăng từ 34.9% lên 41.4% (+6.5pp).
- Thế giới thực: trung bình tăng từ 62.0% lên 68.7%, lợi ích lớn nhất (+12.0pp) ở các tác vụ đa giai đoạn như Drawer Storage và Cross-Bin Stacking.
- Phân tích nội bộ: latent phục hồi:
- phân biệt rõ theo mục tiêu hành vi và tiến độ thực hiện
- được decoder thực sự sử dụng để tổ chức dự đoán phía dưới
- khi can thiệp ép intent sang mục tiêu khác hoặc giai đoạn sai, tỷ lệ thành công sụt mạnh (45.2% và ~5–7%), chứng minh vai trò nhân quả
IV. Conclusion & Future Works:
INDI chứng minh rằng bộ giải mã VLA hưởng lợi lớn khi được học mục tiêu ngữ nghĩa của hành vi thay vì chỉ bắt chước động tác hoặc dự đoán tương lai. Behavior intent là một biểu diễn trung gian gọn gàng, chuyển học tập từ sao chép chuỗi động tác sang hiểu mỗi hành vi cần đạt gì. Hướng tương lai: mở rộng giám sát intent cho các tác vụ dài hạn và đa mục tiêu, kết hợp intent phân cấp (mục tiêu cao + mục tiêu cục bộ), và thử nghiệm giáo viên VLM nhẹ hơn để giảm chi phí tiền xử lý dữ liệu.
V. Brainstorming Space:
1. Publish Papers:
- Kết hợp INDI với hierarchical intent để robot xử lý các chỉ dẫn dài hạn: giáo viên sinh intent ở nhiều mức độ trừu tượng (mục tiêu tổng thể → subgoal → động tác cục bộ) và decoder học cách lồng ghép chúng.
- Áp dụng intent distillation lên các bộ giải mã diffusion-based VLA khác ngoài flow-matching, kiểm tra xem biểu diễn intent có ổn định khi chiều dài chuỗi hành động và độ phức tạp cảnh tăng lên.
- Nghiên cứu self-supervised intent learning không cần giáo viên VLM mạnh: dùng dữ liệu tương tác tự sinh và tương phản giữa các đoạn hành vi cùng mục tiêu/khác mục tiêu để học intent.
2. Patent:
- Hệ thống dạy robot công nghiệp qua mục đích hành vi: trước khi vận hành, người vận hành chỉ cần quay video thực hiện mẫu; hệ thống tự động trích xuất intent và điều chỉnh chính sách robot để bắt chước đúng ý định chứ không chỉ động tác.
- Ứng dụng trợ lý robot gia đình trên điện thoại: camera điện thoại quan sát người dùng thực hiện tác vụ nhà bếp một lần; AI suy ra intent (ví dụ "xếp chồng bát đĩa để tiết kiệm không gian") rồi điều khiển robot tái hiện đúng mục tiêu dù cách cầm nắm khác.
- Module kiểm soát cánh tay robot trong y tế/phẫu thuật nội soi: mỗi đoạn chuyển động được gắn intent ("di chuyển dụng cụ qua khỏi mô mà không làm rách"); hệ thống dùng intent để tự động điều chỉnh quỹ đạo khi dụng cụ hoặc góc camera thay đổi, đảm bảo an toàn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.23478 |
| ArXiv Abstract | https://arxiv.org/abs/2608.23478 |
| PDF Download | https://arxiv.org/pdf/2608.23478.pdf |
| Github Repository | https://github.com/Leesangoh/INDI |
9. LayerRecall: A State-Conditioned Memory Router for Long-Horizon Consistency in Video Generation (26 votes)
Tác giả: Yixuan Ding, Jiahao Kong, Wei Huang, Ruijie Quan, Yi Yang
Xuất bản lúc: 2026-08-28
Tag: Diffusion Transformers, Video Generation, Autoregressive Models, KV Cache, Memory Routing, Long-Horizon Consistency
I. Main Problem:
Mô hình diffusion tạo video theo kiểu autoregressive sinh từng đoạn ngắn dựa trên ngữ cảnh gần đây bị giới hạn. Cơ chế lưu trữ theo độ mới (recency-based KV cache) giữ được tính liên tục cục bộ, nhưng lại xóa bằng chứng lịch sử khi nhân vật, vật thể, bối cảnh hoặc thuộc tính quay lại sau khi rời khỏi cửa sổ đang xét. Các phương pháp hiện có cho mô hình tiếp cận lịch sử xa, nhưng chỉ tiếp cận thôi chưa đủ — hình 1 cho thấy vẫn xảy ra trôi dạt danh tính, thuộc tính, số lượng và bối cảnh. Phân tích còn cho thấy các lớp DiT có xu hướng chú ý khác nhau đối với nội dung hiện tại, gần đây và xa, nên cần quyết định cả lấy gì lẫn dùng ở đâu.
II. Main Idea:
LayerRecall là một bộ định tuyến bộ nhớ có điều kiện trạng thái hiện tại, hoạt động trên mô hình autoregressive video diffusion đã được huấn luyện sẵn mà không fine-tune backbone. Cơ chế chính:
- What to retrieve: tại mỗi bước sinh, hệ thống tạo truy vấn từ trạng thái hiện tại của từng lớp, so sánh cosine với các bản tóm tắt lịch sử trong ngân hàng bộ nhớ KV theo lớp, rồi chọn các chunk lịch sử liên quan.
- Where to use it: các trạng thái KV được lấy lại chỉ được chèn vào tập cố định các lớp nhạy cảm với bộ nhớ (memory-sensitive layers) của từng backbone, còn các lớp khác giữ nguyên cơ chế chú ý cục bộ (sink + sliding window).
- CHPM (Cross-Horizon Prediction Matching): một teacher được quyền dùng ngữ cảnh dài đầy đủ và một student chỉ dùng bộ nhớ giới hạn được ghép LayerRecall. Teacher đóng băng, student đóng băng, chỉ router được tối ưu bằng cách khớp dự đoán trong không gian nhiễu, không cần nhãn phân bổ bộ nhớ thủ công.
Nhờ tách biệt việc lấy lại nội dung lịch sử và điểm chèn vào mạng, phương pháp giữ được tính liên tục cục bộ đồng thời phục hồi dấu hiệu xa.
Ví dụ đời thường: giống như người đầu bếp khi nấu món phức tạp — hầu hết các bước chỉ cần nguyên liệu và dụng cụ trên bếp (chú ý cục bộ), nhưng khi đến khâu hoàn thiện hương vị, anh ta mới tra đúng một trang công thức cũ từ tủ, rồi chỉ áp dụng thông tin đó cho bước đó thay vì rải cả quyển sách ra bàn suốt quá trình nấu.
III. Main Results:
- MemoBench Overall: LayerRecall đạt 0.548, vượt tất cả baseline như LongLive-2.0 (0.513), MemFlow (0.531), Rolling Forcing (0.482).
- MovieBench Overall: đạt 0.561, cao nhất trong bảng so sánh.
- VBench-Long: đạt 0.978, ngang với backbone LongLive-2.0 — chứng tỏ cải thiện bộ nhớ xa không làm giảm chuyển động và tính liên tục cục bộ.
- CHPM hiệu quả: so với khởi tạo ngẫu nhiên router, CHPM nâng MemoBench Overall từ 0.519 lên 0.548 và cải thiện tất cả các chiều được báo cáo.
- Tác động của định tuyến theo lớp: giảm tỉ lệ năng lượng tần số cao của thay đổi khung hình từ 0.60 xuống 0.38, đồng thời tăng CLIP/DINO consistency giữa các khung liền kề.
- Khả chuyển xuyên backbone: áp dụng trực tiếp tham số LayerRecall sang LongLive và Self-Forcing (1.3B Wan) mà không cần huấn luyện thêm, MemoBench Overall vẫn tăng trên cả hai.
- Chi phí suy diễn không đáng kể: thời gian tạo một video chỉ tăng từ 305.9s lên 309.4s trên cùng H100.
IV. Conclusion & Future Works:
LayerRecall cho thấy việc quản lý bộ nhớ trong video diffusion cần được xem như phân bổ đồng thời theo nội dung lịch sử và theo chiều sâu mạng. Bằng cách lấy lại lịch sử dựa trên trạng thái hiện tại và chèn có chọn lọc vào các lớp đã được profile, phương pháp đạt được khả năng phục hồi xa mà không phá vỡ động lực học thời gian cục bộ. Hướng phát triển: kích hoạt lớp thích ứng (adaptive layer activation) và nén bộ nhớ lịch sử để mở rộng chân trời sinh video dài hơn nữa.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng ý tưởng định tuyến bộ nhớ theo lớp sang các mô hình sinh khác như âm thanh dài hoặc cảnh 4D, kiểm tra tính khả chuyển của chính sách lớp giữa các kiến trúc transformer khác nhau.
- Kết hợp LayerRecall với cơ chế nén bộ nhớ động để giảm dung lượng physical key-value cache khi sinh video hàng phút.
- Nghiên cứu liệu các lớp trung gian trong mô hình ngôn ngữ lớn hoặc mô hình thế giới (world models) cũng có sự phân hóa tương tự về preference đối với bộ nhớ ngắn hạn và dài hạn.
2. Patent:
- Ứng dụng tạo video dài trên điện thoại: khi người dùng nhập prompt mô tả nhân vật hoặc vật thể quay lại sau nhiều cảnh, ứng dụng tự động truy xuất trạng thái hình ảnh đã sinh trước đó và chèn vào đúng các lớp xử lý để giữ nguyên diện mạo, phục trang, phông nền xuyên suốt video.
- Trình chỉnh sửa video thông minh: người dùng cắt ghép nhiều đoạn video; hệ thống dùng trạng thái khung hình hiện tại để tìm lại các đoạn tương tự trong quá khứ và điều chỉnh màu sắc, kết cấu, bố cục nhân vật sao cho đồng nhất giữa các cảnh mà không cần gán nhãn thủ công.
- Nền tảng tạo quảng cáo hoặc phim ngắn trên đám mây: mỗi kiến trúc video diffusion có một danh sách lớp nhạy cảm với bộ nhớ được đo trước; hệ thống chuyển đổi chính sách này giữa các mô hình khác nhau để duy trì tính nhất quán nhân vật và đạo cụ xuyên suốt video dài mà ít tốn tài nguyên tính toán thêm.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.28460 |
| ArXiv Abstract | https://arxiv.org/abs/2608.28460 |
| PDF Download | https://arxiv.org/pdf/2608.28460.pdf |
| Github Repository | https://github.com/Yixuan-Ding-ZJU/LayerRecall |
10. ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL (24 votes)
Tác giả: Zhuoshi Pan, Qizhi Pei, Junru Lu, Honglin Lin, H. Vicky Zhao, et al.
Xuất bản lúc: 2026-08-28
Tag: LLMs, Reinforcement Learning, Agentic AI, Context Management, Long-horizon Reasoning, GRPO
I. Main Problem:
Các tác vụ agentic dài hạn (long-context QA, deep search) buộc LLM phải duy trì lịch sử tương tác ngày càng dài, nhưng các phương pháp quản lý ngữ cảnh chủ động hiện tại mắc ba lỗi:
- Bộ công cụ hạn chế: chỉ có search, delete, summarize — thiếu planning, long-term memory, nén thích ứng.
- Khám phá không hiệu quả: coi mọi thao tác chỉnh sửa ngữ cảnh như nhau, bất chấp tác động rất khác nhau đến kết quả cuối.
- Gán credit thô: gán reward cấp trajectory cho tất cả các snapshot chỉnh sửa ngữ cảnh ở giữa.
II. Main Idea:
ContextPilot mở rộng bộ công cụ quản lý ngữ cảnh và thiết kế lại RL đặc biệt cho việc chỉnh sửa ngữ cảnh.
- Mở rộng công cụ: thêm planning (
plan), bộ nhớ dài hạn (memorize/readMemory/updateMemoryvới entity-event-episode graph), và soft context offloading (summarizeContext,compressContext,foldHistory) vào bộ công cụ cơ bản. - Context-aware partial rollout: tính độ nhạy của mỗi thao tác quản lý ngữ cảnh từ biến động độ dài ngữ cảnh và biến động entropy so với trạng thái ban đầu, sau đó phân bổ thêm rollout budget cho các điểm chỉnh sửa có tác động lớn nhất.
- Fine-grained credit assignment: thay vì gán reward cuối cho mọi snapshot, ước lượng advantage của mỗi hành động chỉnh sửa ngữ cảnh bằng cách lấy trung bình reward của tất cả các trajectory nhánh đi qua hành động đó.
Ví dụ đời thường: giống như đầu bếp không chỉ vứt nguyên liệu thừa mà còn lập thực đơn, ghi chép các bước sơ chế tái dùng được, và cất đồ cồng kềnh vào lọ nhỏ; khi nếm món xong, đầu bếp không chấm điểm chung chung cả bữa ăn mà biết chính xác bước sơ chế nào làm hỏng hay nâng tầm món ăn.
III. Main Results:
- ContextPilot-8B-RL vượt StateLM-8B-RL trung bình +3.55 điểm trên bốn benchmark long-context QA.
- RL mang lại lợi ích lớn hơn trên tác vụ phức tạp: +5.34 điểm trên BrowseComp+ (ngữ cảnh ~552K token) so với chỉ SFT.
- Hiệu quả token: ContextPilot-8B giữ ngữ cảnh ổn định khoảng 8K–10K token/lượt, trong khi WebExplorer-8B tăng gần tuyến tính lên ~30K token.
- Khái quát qua mô hình và tác vụ: tốt hơn trên Qwen3-8B/14B, Gemma4-E4B-it (QA) và WebSailor-7B/WebExplorer-8B (deep search).
- Ablation thiết kế công cụ: bộ công cụ đầy đủ nâng BrowseComp+ từ 63.49% lên 80.96%.
- Ablation RL: fine-grained credit assignment cho lợi ích ổn định nhất, vượt trội so với partial rollout dựa entropy hay context đơn thuần.
IV. Conclusion & Future Works:
ContextPilot chứng minh quản lý ngữ cảnh chủ động với công cụ phong phú và RL tinh vi vừa giảm kích thước ngữ cảnh vừa tăng hiệu suất trên tác vụ dài hạn.
Hướng tương lai:
- Mở rộng bộ công cụ cho các nhu cầu nén/tổ chức/tìm kiếm đa dạng hơn.
- Tìm kiếm siêu tham số cho partial rollout và credit assignment.
- Áp dụng cho agentic coding và GUI agents.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng ContextPilot cho agentic coding: agent tự lập kế hoạch, ghi nhớ kết quả biên dịch/lỗi, và nén lịch sử debug trong các phiên làm việc dài.
- Kết hợp quản lý ngữ cảnh chủ động với multi-modal reasoning, cho phép agent nén và truy xuất ảnh/bảng cùng văn bản trong cửa sổ ngữ cảnh hạn chế.
- Nghiên cứu chiến lược thăm dò ngữ cảnh tự động: agent tự học cách phân bổ rollout budget dựa trên độ phức tạp nhiệm vụ thay vì dùng trọng số cố định.
2. Patent:
- Trợ lý dịch vụ khách hàng trên điện thoại: tự động nén lịch sử hội thoại dài, trích xuất ghi nhớ về yêu cầu khách hàng, và lập kế hoạch các bước hỗ trợ tiếp theo.
- Agent nghiên cứu doanh nghiệp: lập kế hoạch tìm kiếm thông tin, offload tài liệu đã đọc thành bản tóm tắt nén, và ghi nhớ các sự kiện/thực thể quan trọng xuyên suốt phiên điều tra.
- Agent LLM chạy trên thiết bị biên với cửa sổ ngữ cảnh hạn chế: tự động lựa chọn lưu vào bộ nhớ dài hạn, nén mềm, hoặc lập kế hoạch để duy trì hiệu suất trên tác vụ dài hạn.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.28476 |
| ArXiv Abstract | https://arxiv.org/abs/2608.28476 |
| PDF Download | https://arxiv.org/pdf/2608.28476.pdf |
| Github Repository | https://github.com/Tencent/ContextPilot |
11. StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments (24 votes)
Tác giả: Esakkivel Esakkiraja, Denis Akhiyarov, Vikas Yadav, Sai Rajeswar, Patrice Bechard, et al.
Xuất bản lúc: 2026-08-25
Tag: LLM Agents, Harness Evolution, Tool-Augmented Agents, Enterprise AI, In-Context Optimization, MCP, ITSM
I. Main Problem:
Các tác nhân LLM trong doanh nghiệp hoạt động qua harness (khung kết nối công cụ, prompt, luồng thực thi), nhưng harness mặc định thường không khớp với môi trường cụ thể: backend có trạng thái, bề mặt công cụ lớn, phụ thuộc giữa các bước, và quy ước miền mà schema công cụ không nêu rõ. Hậu quả:
- agent gọi sai công cụ, mất ngữ cảnh, kết luận sớm, hoặc vi phạm trạng thái cuối;
- fine-tune trọng số mô hình tốn kém và không linh hoạt cho từng môi trường;
- cần một phương pháp tinh chỉnh harness mà không thay đổi trọng số mô hình, đồng thời tránh overfit và khái quát sang tác vụ/mô hình mới.
II. Main Idea:
StarHarness tiến hóa harness cho từng môi trường enterprise bằng cách tối ưu hóa vòng ngoài (outer-loop) trên scaffold thực thi xung quanh một mô hình đóng băng. Quy trình:
- Phân tầng (stratify) các tác vụ theo kiểu thất bại của baseline (sai công cụ, mất ngữ cảnh, thiếu bằng chứng, kết luận sớm) để xây dựng tập tiến hóa nhỏ gọn.
- Tách biệt tập search (proposer nhìn thấy) với tập selection (ẩn với proposer) và tập holdout (chỉ dùng để đánh giá cuối), nhờ đó phân biệt rõ search performance với khái quát hóa.
- Vòng lặp tiến hóa đo baseline, đề xuất một thay đổi bị chặn (bounded patch), kiểm tra smoke test, đánh giá trên selection ẩn, và chỉ giữ lại nếu cải thiện điểm selection.
- Không gian tìm kiếm bao gồm prompt, task framing, định nghĩa/schema công cụ, kỹ năng (skills), nhà cung cấp MCP, cấu trúc subagent, và chính sách vòng lặp agent.
Ví dụ đời thường: giống như thợ may đo một bộ vest sẵn có (model cố định), nhưng chỉnh sửa đường may, nút áo, chiều dài tay (harness) dựa trên hình dáng riêng của khách; thử trên mannequin ẩn (selection) trước khi giao cho khách thật (holdout), thay vì may lại động cơ may.
III. Main Results:
- Tăng hiệu suất toàn benchmark so với harness mặc định: ITBench SRE +35.0 pp (40.0% → 75.0%), EnterpriseOps-Gym ITSM +20.4 pp (23.3% → 43.7%), AutomationBench Finance +26.1 pp (57.1% → 83.2%).
- Tiết kiệm chi phí inference của GPT-5.4: giảm 17% trên ITBench, 53% trên EnterpriseOps-Gym, 29% trên AutomationBench.
- Khái quát hóa tác vụ held-out vẫn cải thiện: ITBench +31.7 pp, EnterpriseOps-Gym +15.1 pp, AutomationBench +29.3 pp.
- Chuyển giao giữa các mô hình mà không cần tiến hóa lại: harness tiến hóa bằng GPT-5.4 cải thiện Qwen3.5/3.6, GPT-5.4-mini, và GPT-5.5 trên cả ba benchmark; ví dụ AutomationBench GPT-5.4-mini tăng +40.4 pp (29.6% → 70.0%).
- Chấp nhận ít thay đổi: trung bình 4–12 patch được chấp nhận cho mỗi môi trường (ITBench 4, EnterpriseOps-Gym 12, AutomationBench 5).
IV. Conclusion & Future Works:
StarHarness chứng minh rằng điều chỉnh harness xung quanh một mô hình cố định là con đường thực tiễn để giảm sự không khớp giữa model và môi trường enterprise giàu công cụ. Các thay đổi đã học — sửa giao diện công cụ, mã hóa quy ước vận hành, và nén tìm kiếm bằng kiến thức miền — không chỉ tăng điểm mà còn rút ngắn quỹ đạo, giảm chẩn đoán sai, và giảm vi phạm guardrail. Hướng tương lai: đồng tiến hóa (co-evolve) harness và trọng số mô hình qua reinforcement learning, cho phép scaffold và chính sách cùng chuyên biệt hóa với giao thức tương tác enterprise, có thể tạo ra các mô hình nhỏ hơn, hiệu quả hơn mà vẫn đạt hiệu suất tương đương hoặc vượt các mô hình lớn hơn.
V. Brainstorming Space:
1. Publish Papers:
- Co-evolution of agent harness and model weights via reinforcement learning for enterprise tool-use protocols, unifying scaffold search and policy gradient updates.
- Automated interface repair for MCP-backed tool connectors: learning to normalize, prune, and enrich tool schemas without exposing verifier state.
- Failure-mode stratification as a sample-efficiency strategy for black-box optimization of LLM agent scaffolds.
- Cross-model transfer of evolved agent harnesses: when does environment-specific scaffolding generalize across GPT and Qwen model families?
2. Patent:
- Hệ thống tự động tinh chỉnh harness agent ITSM trên nền tảng doanh nghiệp: module phân tích trace lỗi, đề xuất patch sửa schema công cụ và prompt, kiểm tra trên tập ẩn, rồi triển khai harness mới mà không cập nhật trọng số LLM.
- Module kết nối MCP tự sửa lỗi điện thoại di động: ứng dụng enterprise trên mobile phát hiện lỗi gọi API do thiếu trường hoặc giá trị rỗng, tự động lọc/làm sạch argument trước khi gửi đến backend ServiceNow/SaaS.
- Hệ thống chuyển giao harness agent tài chính giữa các mô hình: harness học được từ GPT-5.4 được đóng gói thành artifact cấu hình và chạy trực tiếp trên Qwen/GPT-mini/GPT-5.5 mà không cần huấn luyện lại.
- Công cụ nén tìm kiếm cho agent vận hành IT: tự động thêm các bước phân tích nguyên nhân (forensics overview), máy tính ngày/tài chính vào harness để giảm số lượt suy luận của LLM khi xử lý sự cố.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.24804 |
| ArXiv Abstract | https://arxiv.org/abs/2608.24804 |
| PDF Download | https://arxiv.org/pdf/2608.24804.pdf |
| Github Repository | N/A |
12. Fast Weight Attention for Continual Learning (21 votes)
Tác giả: Yifan Zhang, Steve Ta, Jasper Zhang, Jichen Feng, Shuzhen Li, et al.
Xuất bản lúc: 2026-08-27
Tag: Continual Learning, Fast Weights, Linear Attention, State Space Models, Delta Networks, Online Learning, Recurrent Language Models
I. Main Problem:
Transformer dùng self-attention hiệu quả trong bắt cầu xa nhưng tốn O(N²) và bộ nhớ KV cache tăng theo chiều dài. Các mô hình hồi quy (SSM, fast-weight) nén ngữ cảnh vào trạng thái cố định, nhưng quy tắc cập nhật trạng thái thường được trình bày ở mức kiến trúc mà che giấu mục tiêu học cục bộ và căn chỉnh thời gian. Cụ thể, ghép cặp cùng bước (ϕ(k_t), v_t) là nhân quả nhưng lại tối ưu một mục tiêu bộ nhớ nhanh khác với mục tiêu dự đoán tiền tố (ϕ(k_{t-1}), v_t), dẫn đến học liên tục kém hiệu quả.
II. Main Idea:
Bài báo định khung mô hình chuỗi dựa trên trạng thái như bài toán dự đoán latent tiếp theo (next-latent prediction) theo ngữ nghĩa read-after-write: tại bước t, trạng thái S_t phải dự đoán giá trị vừa lộ ra v_t từ đặc trưng viết tiền tố x_t = ϕ(k_{t-1}). Từ mục tiêu ridge-regression tức thời, tác giả suy ra họ Falcon:
- Falcon-1: cập nhật scalar kiểu NLMS.
- Falcon-2: tỷ lệ học riêng mỗi kênh giá trị.
- Falcon-3: gradient trượt trên cửa sổ nhỏ các cặp nhân quả vừa qua.
- Các biến thể *Falcon-A tương ứng dùng mục tiêu inner-product thay vì bình phương sai số.
Mỗi bước tách rõ: căn chỉnh thời gian (cặp nào được ghi), độ nhớt (plasticity, β), quên (shrinkage, λ), và ôn tập có giới hạn (cửa sổ trượt). Các dạng tính toán gồm hồi quy, song song masked, và song song theo chunk (SSD-style) giữ lại trạng thái O(1) khi suy luận.
Ví dụ đời thường: giống như người học ngoại ngữ: mỗi khi nghe được một từ mới (v_t), lại cố ghi nhớ từ đó bằng cách ghép với từ ngay trước nó (ϕ(k_{t-1})), đồng thời ôn lại vài câu gần nhất, để đoán từ tiếp theo mà không phải nhớ cả bài dài.
III. Main Results:
- Các biến thể Falcon đại diện duy trì hiệu suất cạnh tranh trong mô hình hóa ngôn ngữ.
- Cải thiện khả năng ngoại suy độ dài trên tác vụ cộng số có số chữ số thay đổi (variable-digit addition).
- Framework phân tách rõ bốn thành phần: temporal alignment, plasticity, forgetting, bounded rehearsal, giúp hiểu và điều chỉnh mô hình hồi quy.
- Đưa ra cập nhật first-order đã chuẩn hóa với đảm bảo per-step descent trên hàm mục tiêu trơn.
IV. Conclusion & Future Works:
Bằng cách làm rõ mục tiêu fast-memory dưới ngữ nghĩa read-after-write, bài báo cung cấp họ thuật toán Falcon giúp các mô hình hồi quy nén ngữ cảnh dài vào trạng thái cố định vừa hiệu quả tính toán vừa học liên tục tốt hơn. Hướng phát triển: mở rộng đánh giá quy mô lớn hơn, phân tích lý thuyết trade-off giữa plasticity và forgetting, tích hợp Falcon vào các kiến trúc SSM/Transformer hybrid, và tối ưu tính toán chunk-parallel cho phần cứng di động.
V. Brainstorming Space:
1. Publish Papers:
- Khảo sát lý thuyết về ranh giới giữa khả năng học nhanh (plasticity) và quên trong các quy tắc fast-weight đã chuẩn hóa.
- Ứng dụng Falcon-3 sliding window cho các luồng dữ liệu dài như tóm tắt tài liệu, video, hoặc chuỗi cảm biến.
- Kết hợp Falcon với Mamba/SSD để xây dựng kiến trúc ngôn ngữ lai vừa nén trạng thái vừa bắt cầu xa.
2. Patent:
- Bàn phím ảo trên điện thoại tự cá nhân hóa theo ngữ cảnh dài: thiết bị dùng trạng thái fast-weight cố định để ghi nhớ cách viết tắt và từ vựng của người dùng từ cuộc trò chuyện, thay vì lưu toàn bộ lịch sử chat trên đám mây.
- Trợ lý ảo di động đọc tài liệu dài: mô hình nén ngữ cảnh vào một trạng thái cố định, giảm tiêu thụ RAM và pin, vẫn duy trì thông tin liên tục qua nhiều chương hoặc cuộc họp.
- Hệ thống camera điện thoại học liên tục từ video: mỗi khung hình là thông tin mới, trạng thái hồi quy cập nhật trực tuyến để theo dõi đối tượng hoặc dịch văn bản trong video dài mà không quên chủ thể chính.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.27763 |
| ArXiv Abstract | https://arxiv.org/abs/2608.27763 |
| PDF Download | https://arxiv.org/pdf/2608.27763.pdf |
| Github Repository | https://github.com/yifanzhang-pro/fast-weight-attention |
13. Locate Anything in Videos: Rethinking Efficient Generative Spatio-Temporal Video Grounding (15 votes)
Tác giả: Hanoona Rasheed, Haania Siddiqui, Ming-Hsuan Yang, Fahad Shahbaz Khan, Salman Khan
Xuất bản lúc: 2026-08-28
Tag: Spatio-Temporal Video Grounding, Video-Language Models, Multimodal LLMs, Parallel Decoding, Efficient Inference, GRPO, STVG
I. Main Problem:
Spatio-temporal video grounding (STVG) yêu cầu mô hình xác định khi nào sự kiện diễn ra và ở đâu đối tượng được nhắc đến xuất hiện trong suốt khoảng thời gian đó. Các mô hình đa phương thức hiện tại thường tuần tự hóa toàn bộ chuỗi bounding box theo thời gian rồi giải mã tự hồi quy, dẫn đến hai vấn đề chính:
- Độ trễ tăng tuyến tính theo độ dài của tube (số khung hình cần định vị).
- Lỗi lan truyền dọc theo quỹ đạo: box sai ở một bước có thể kéo lệch các box sau, đồng thời khiến sự chú ý của mô hình chuyển từ video sang lịch sử kết quả tự sinh.
II. Main Idea:
Parallel Tube Decoding (PTD) tách bài toán định vị thành hai giai đoạn:
- Temporal block: dự đoạn khoảng thời gian [ts, te] của sự kiện trong một vòng giải mã.
- Time-conditioned spatial blocks: mỗi thời điểm trong khoảng [ts, te] sinh một block bounding box riêng, và tất cả các spatial block này được giải mã song song trong cùng một vòng thứ hai.
Nhờ vậy, chiều sâu giải mã tuần tự được cố định ở 1 + 1 vòng, bất kể tube dài hay ngắn. Để làm được điều này, tác giả đề xuất:
- Decoupled Block Attention: mỗi spatial block vẫn tiếp cận context video-truy vấn chung và temporal block, nhưng bị cô lập khỏi các spatial block khác để loại bỏ phụ thuộc chéo.
- Huấn luyện kép NTP/MTP trong cùng một forward pass, giữ khả năng tự hồi quy gốc đồng thời kích hoạt dự đoán block.
- Localization-aware GRPO với phần thưởng tIoU cho biên thời gian và GIoU + L1 cho hình học bounding box.
Ví dụ đời thường: giống như quản lý ca làm việc trước tiên xác nhận lịch trình, sau đó giao nhiệm vụ cho từng ca làm cùng lúc thay vì đợi nhân viên ca trước làm xong mới giao ca tiếp theo.
III. Main Results:
- Hiệu quả giải mã trên VidSTG: Tube Completion Latency giảm 79× (31.6s → 0.4s), thông lượng spatial decoding (BPS) tăng 92× (0.5 → 45.9) so với giải mã token tự hồi quy chuẩn.
- Chất lượng định vị cải thiện: PTD vượt trội hơn cả Unquantized Token Decoding, Quantized Token Decoding và Sequential Block Decoding về tIoU/vIoU trên cả câu khai báo và câu hỏi.
- Kết quả SOTA/cạnh tranh: Với backbone nhỏ gọn Qwen3-VL-4B, mô hình đạt kết quả tốt nhất hoặc cạnh tranh trên VidSTG và HC-STVG v1/v2, vượt các phương pháp 7B dùng decoder/detector ngoài.
- Khả năng zero-shot: mô hình tổng quát sang temporal grounding, grounded VideoQA và referring video object tracking mà không fine-tuning riêng.
- Tỷ lệ mở rộng: khi số box tăng 8× (8 → 64), độ trễ của PTD chỉ tăng nhẹ từ 0.33s lên 0.40s, trong khi Sequential Block Decoding tăng từ 0.72s lên 6.18s.
IV. Conclusion & Future Works:
PTD chứng minh rằng sinh tube song song là lựa chọn thay thế hiệu quả và chính xác cho định vị tự hồi quy trong video, bằng cách chuyển chi phí từ chiều sâu tuần tự sang chiều rộng song song. Hướng tương lai: mở rộng PTD cho video dài hơn (hour-scale), kết hợp với test-time scaling để lý luận đa sự kiện, và áp dụng Decoupled Block Attention cho các đầu ra có cấu trúc khác như pose 3D hoặc quỹ đạo chuyển động.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Parallel Tube Decoding cho video dài giờ, trong đó nhiều sự kiện có thể được định vị thời gian và không gian đồng thời thông qua phân rã thành nhiều temporal block song song.
- Kết hợp PTD với test-time search / scaling để cải thiện lý luận đa bước trên video, tương tự cách LLM dùng nhiều mẫu để tự sửa lỗi.
- Áp dụng Decoupled Block Attention cho các bài toán sinh cấu trúc không gian-thời gian khác như dự đoán quỹ đạo 3D, human mesh tracking hoặc motion forecasting.
2. Patent:
- Ứng dụng tìm kiếm video trên điện thoại: người dùng mô tả đối tượng/hành động (ví dụ “người giao hàng đưa chiếc sandwich”), hệ thống trả về đoạn video cắt sẵn và box theo dõi đối tượng trong thời gian thực với độ trễ thấp.
- Hệ thống giám sát thông minh: camera xác định khoảng thời gian sự kiện đáng ngờ và theo dõi đối tượng qua từng khung hình chỉ trong hai vòng giải mã, giảm tải máy chủ khi xử lý nhiều luồng.
- Trợ lý cắt dựng video tự động: người dùng chỉ đối tượng bằng ngôn ngữ (ví dụ “chiếc xe đỏ rẽ trái”), phần mềm tự động xác định đoạn cần cắt và xuất chuỗi bounding box để ghép hiệu ứng hoặc làm mờ nền.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.28192 |
| ArXiv Abstract | https://arxiv.org/abs/2608.28192 |
| PDF Download | https://arxiv.org/pdf/2608.28192.pdf |
| Github Repository | https://github.com/mbzuai-oryx/ParallelTubeDecoding |
14. Blind Men and the Elephant: Probing the Epistemic Myopia of LLMs under Long-Tail Divergent Knowledge (15 votes)
Tác giả: Zhuoshi Pan, Junru Lu, Yan Qian, H. Vicky Zhao, Di Yin, et al.
Xuất bản lúc: 2026-08-28
Tag: LLMs, Long-Tail Knowledge, Factual QA, Knowledge Conflict, Benchmark, Parametric Memory, Epistemic Myopia
I. Main Problem:
Các bài kiểm tra hỏi đáp sự thật (factual QA) thông thường giả định mỗi câu chỉ có một đáp án chuẩn duy nhất, che giấu việc mô hình ngôn ngữ lớn (LLM) có thể chỉ nhớ được một phe trong các tài khoản (account) khác nhau về cùng một sự kiện hiếm gặp. Hệ quả:
- không đo được tính đầy đủ của trí nhớ tham số
- các sự kiện long-tail, ít được đề cập bị lãng quên hoặc bị méo mó thành quan điểm đa số
- mô hình mắc cận thị nhận thức (epistemic myopia): thấy được một phần sự thật nhưng tưởng là toàn bộ.
II. Main Idea:
ElephantBench là một closed-book probe khai thác các mâu thuẫn tự nhiên giữa các nguồn web ít phơi nhiễm để kiểm tra xem LLM có nhớ đầy đủ các tài khoản đã được xác minh về cùng một sự kiện hiếm hay không. Quy trình xây dựng:
- lấy phân vùng chất lượng thấp D_low từ corpus web
- gán nhãn knowledge point và trích xuất thực thể để thu hẹp không gian cặp tài liệu
- dùng LLM phân loại quan hệ giữa các cặp tài liệu thành support hoặc conflict
- từ các cạnh conflict, sinh câu hỏi dạng named-entity và clue-based, mỗi câu có tập đáp án đa giá trị đã được xác minh độc lập
- đánh giá closed-book: mô hình chỉ nhận câu hỏi, không được dùng tài liệu nguồn hay công cụ bên ngoài
Ví dụ đời thường: giống như truyện người mù sờ voi — mỗi người chạm vào một bộ phận (tai, chân, vòi) và tưởng đó là cả con voi; ElephantBench kiểm tra xem LLM có thực sự nhớ được nhiều mô tả khác nhau đều đúng về cùng một con voi hay chỉ nhớ phần mình từng chạm.
III. Main Results:
- 1,094 câu hỏi trải dài 22 lĩnh vực, được sinh từ 4,127 subgraph conflict và xác minh bởi cả web agent lẫn người.
- Kể cả mô hình mạnh nhất (Kimi-K3) cũng chỉ đạt complete recall 52,38%; các mô hình top khác như Gemini-3.1-Pro (50,37%) và GPT-5.5 (50,18%) ở cùng mức.
- Failed recall rất thấp (2–3%) với các mô hình top, nghĩa là vấn đề chính không phải quên sạch mà là nhớ không đầy đủ (partial recall ~45–47%).
- Tăng quy mô mô hình cải thiện C đáng kể (Qwen3.5 từ 1,65% ở 2B lên 32,27% ở 397B), nhưng P cũng tăng từ 17% lên 59%, cho thấy phần lớn cải thiện vẫn là nhớ một phe.
- Suy luận test-time có lúc giúp mạnh (GPT-5.6-Sol +13,99 điểm C), nhưng với mô hình nhỏ lại có thể làm tệ hơn vì ép chọn một quan điểm "đa số".
- Mất cân bằng phơi nhiễm rõ rệt: tần suất của tài khoản chiếm ưu thế giúp mô hình nhớ được sự kiện, còn tần suất của tài khoản thiểu số quyết định việc nhớ cả hai tài khoản.
IV. Conclusion & Future Works:
ElephantBench làm lộ epistemic myopia bị che giấu bởi các benchmark QA một đáp án: ngay cả LLM mạnh nhất cũng chỉ nhớ đầy đủ các tài khoản đã xác minh trong hơn một nửa số trường hợp. Scaling và reasoning cải thiện khả năng nhớ sự kiện hiếm nhưng không loại bỏ được tình trạng nhớ thiếu. Pipeline dựa trên đồ thị tài liệu cho phép tái sử dụng để biến bất kỳ corpus long-tail nào thành probe kiểm tra trí nhớ tham số.
Hướng tương lai:
- mở rộng quy mô và miền kiến thức, bao gồm nhiều dạng mâu thuẫn nguồn hơn
- kết hợp ElephantBench vào quy trình curation dữ liệu huấn luyện để cân bằng phơi nhiễm giữa các tài khoản
- phát triển phương pháp đánh giá perplexity-based rẻ hơn để làm proxy cho đánh giá sinh văn bản
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng ElephantBench sang các dạng mâu thuẫn phức tạp hơn (thay đổi theo thời gian, ngữ cảnh địa lý, hoặc quan điểm có điều kiện) để đánh giá tính linh hoạt của trí nhớ tham số.
- Kết hợp probe với kỹ thuật unlearning hoặc contrastive learning để huấn luyện LLM giữ lại nhiều tài khoản đối lập mà không bị một phe áp đảo.
- Xây dựng hệ thống active data selection tự động phát hiện các vùng kiến thức bị thiếu tài khoản thiểu số và ưu tiên bổ sung dữ liệu cho các vùng đó.
2. Patent:
- Hệ thống kiểm tra độ tin cậy của chatbot trên điện thoại: trước khi trả lời câu hỏi về sự kiện hiếm, hệ thống tự đánh giá xem trong trí nhớ có bao nhiêu tài khoản đã xác minh; nếu chỉ có một phe, hiển thị cảnh báo "có thể thiếu thông tin" cho người dùng.
- Công cụ hỗ trợ biên tập viên tin tức di động: khi viết bài về sự kiện hoặc nhân vật, công cụ tự động rà soát các nguồn web ít phổ biến và gợi ý các tài khoản khác đã được xác minh để tránh thiên lệch thông tin.
- Module cải thiện trả lời cho trợ lý ảo: phân tích corpus huấn luyện nội bộ, xác định các sự kiện long-tail có tỷ lệ phơi nhiễm mất cân bằng, và tự động upsample dữ liệu ủng hộ tài khoản thiểu số để tăng tính đầy đủ của câu trả lời.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.28478 |
| ArXiv Abstract | https://arxiv.org/abs/2608.28478 |
| PDF Download | https://arxiv.org/pdf/2608.28478.pdf |
| Github Repository | https://github.com/Tencent/ElephantBench |
15. Paint What You See: Benchmarking Dexterous Visual Tool Use in Multimodal Agents (14 votes)
Tác giả: Shudong Liu, Dongyang Chen, Enci Zhang, Jinwei Liang, Zheng Ma, et al.
Xuất bản lúc: 2026-08-26
Tag: Multimodal Agents, Visual Tool Use, Benchmark, Closed-Loop Control, Vision-Language-Action, MLLMs
I. Main Problem:
Đánh giá agent đa phương thức hiện tập trung vào tác vụ dung sai cao (điều hướng web, GUI, API) hoặc ủy thác thực thi cho mô hình ngoài (segmentation, image generation), nên chưa đo lường khả năng điều khiển trực quan tinh vi. Khoảng trống cụ thể là:
- thiếu benchmark cho hành động tham số hóa, kín vòng lặp — mô hình tự đọc tín hiệu pixel và xuất tham số công cụ trực tiếp tạo nên kết quả
- chất lượng mỗi bước phụ thuộc vào khả năng điều chỉnh dựa trên phản hồi hình ảnh, không phải chỉ hoàn thành mục tiêu cấp cao.
II. Main Idea:
EASEL biến dexterous visual tool use thành bài benchmark có kiểm soát với proxy chính là tái tạo trực quan có hướng dẫn — agent nhìn ảnh tham chiếu và canvas hiện tại, rồi vẽ từng nét cọ (brush_stroke) có 13 tham số liên tục để canvas dần khớp ảnh mục tiêu.
Cấu trúc đánh giá:
- 110 mẫu tái tạo xếp theo độ khó từ hình học, không gian, hoạt hình đến ảnh tự nhiên
- 5 tác vụ ngữ nghĩa (viền vùng, viết tay, lập kế hoạch đường đi mê cung) dùng cùng giao diện tham số hóa
- Đánh giá theo hai trục: Result Quality (SSIM, RGB L1, Edge IoU) và Trajectory Quality (saturate sớm, phân rã sau đỉnh, AUC)
- EASEL-Data gồm 440k mẫu giám sát theo chương trình hai giai đoạn (C1: nét đầu xây cấu trúc thô; C2: hoàn thiện cuối), dùng để huấn luyện EASEL-9B
Ví dụ đời thường: giống như họa sĩ nhìn tranh mẫu, đặt một nét màu lên giấy, rồi liên tục soi lại chỗ vẽ và chỉnh nét tiếp theo — không nhờ ai vẽ hộ, mà tự tay mình điều chỉnh từng milimet.
III. Main Results:
- 25 mô hình đa phương thức đều gặp khó khăn hệ thống trên EASEL; độ tương đồng cuối chỉ đạt 0.40–0.54, xa mức 0.665–0.715 của chính sách dữ liệu.
- Gemini 3.1 Pro dẫn đầu với Final Similarity 0.535, tiếp theo là Claude Opus 4.7 (0.472); EASEL-9B xếp thứ ba (0.459), vượt base model Qwen3.5-9B (+0.027, tương đương +6.3% tương đối).
- Chẩn đoán trajectory phát hiện hai mô hình lỗi:
- Early saturation: Gemini, Claude Opus, Claude Sonnet nâng điểm nhanh trong 5% bước đầu rồi đứng yên
- Post-peak degradation: GPT-5.5, GLM-5V-Turbo, qwen3.5-plus tiếp tục hành động nhưng kết quả tụt dốt, F-B Gap cao nhất là GPT-5.5 (0.073)
- Tác vụ ngữ nghĩa vạch ranh giới năng lực rõ hơn: Gemini/GPT-5.5 vẽ viền và viết tay tốt; GPT-5.5 giải mê cung đơn hoàn hảo sau 25 lần undo; Claude Opus rơi vào vòng lặp undo–vẽ trên Circle Outline.
- Hai giai đoạn C1 + C2 mang lại lợi ích nhỏ nhưng đo được: C1 chiếm phần lớn lợi ích, C2 cộng thêm +0.003, cho thấy giám sát giữa-to-cuối vẫn hữu ích nhưng chưa đủ để khắc phục phản hồi dài hạn.
IV. Conclusion & Future Works:
EASEL chứng minh agent đa phương thức hiện tại biết nhìn nhưng chưa biết điều chỉnh: chúng hoặc dừng sớm, hoặc hành động lung tung sau khi đạt điểm tốt nhất. Điểm nghẽn nằm ở khả năng duy trì phản hồi kín vòng lặp qua nhiều bước, không phải chỉ nhận diện ban đầu. Hướng tương lai: kết hợp EASEL với tối ưu dựa trên kết quả (outcome-based RL), thiết kế giám sát bước giữa/cuối có mục tiêu rõ ràng hơn, và mở rộng sang các tác vụ thao tác trực quan ngoài canvas như chú thích y tế, phác thảo CAD, hoặc điều khiển robot nhìn–hành động.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng EASEL sang học tăng cường dựa trên kết quả (RL): agent nhận phần thưởng từ độ tương đồng cuối thay vì bắt chước chuỗi nét, để học chiến lược điều chỉnh dài hạn thay vì chỉ bắt chước cục bộ.
- Nghiên cứu giám sát ngắn hạn vs dài hạn cho closed-loop visual action: xác định nhãn phản hồi tối ưu ở từng giai đoạn (nét đầu, nét giữa, nét tinh chỉnh) để cải thiện đáng kể khả năng duy trì tiến bộ.
- Tích hợp EASEL với môi trường thao tác thực: chuyển từ canvas 2D sang tác vụ như chú thích ảnh y khoa, vẽ sơ đồ kỹ thuật, hoặc điều khiển tay robot dựa trên phản hồi hình ảnh từ camera.
2. Patent:
- Ứng dụng vẽ lại ảnh trên điện thoại: người dùng chọn ảnh tham chiếu, AI tự vẽ từng nét cọ theo tỷ lệ, màu sắc và đường cong của ảnh gốc, cho phép chỉnh sửa thủ công từng nét trước khi xuất bản.
- Công cụ chú thích y khoa trên thiết bị di động: bác sĩ hiển thị ảnh X-quang/CT, AI dùng nét cọ tham số hóa để viền chính xác tổn thương theo chỉ dẫn bằng giọng nói, với phản hồi kín vòng lặp để điều chỉnh đường viền pixel-by-pixel.
- Trợ lý viết tay thông minh: người dùng nói hoặc chụp chữ, AI điều khiển bút ảo viết lại trên màn hình/tablet với các tham số đường nét, giúp luyện viết chữ đẹp hoặc tạo chữ ký điện tử có kiểm soát.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.25417 |
| ArXiv Abstract | https://arxiv.org/abs/2608.25417 |
| PDF Download | https://arxiv.org/pdf/2608.25417.pdf |
| Github Repository | https://github.com/OOOHS/EASEL |
16. StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing (14 votes)
Tác giả: Zhijie Zheng, Yu Li, Chen Qian, Yuqian Fu, Yanwei Fu, et al.
Xuất bản lúc: 2026-08-25
Tag: LLM Agents, Guardrails, GRPO, Synthetic Data, AI Safety, Safety-Utility Trade-off
I. Main Problem:
Các tác nhân LLM khi gọi công cụ có thể gây hậu quả thực như sửa file, rò rỉ thông tin, hoặc thực thi giao dịch trái phép. Các hàng rào bảo vệ hiện tại thường chỉ đánh giá toàn bộ quỹ đạo đã hoàn thành, bỏ qua việc kiểm tra từng bước trước khi công cụ chạy. Hơn nữa, chúng thường mắc defense bias:
- Over-defense: chặn cả hành động vô hại → mất tính hữu ích.
- Under-defense: bỏ sót hành động nguy hiểm → mất an toàn.
Thách thức chính là thiếu dữ liệu giám sát bước quy mô lớn, chất lượng cao với các hành động an toàn/nguy hiểm đối chiếu cùng ngữ cảnh, và thiếu cơ chế điều chỉnh rõ ràng giữa an toàn và hữu ích trong huấn luyện.
II. Main Idea:
StepGuard là mô hình bảo vệ 4B kiểm tra an toàn từng bước: vừa đánh giá quỹ đạo đã chạy, vừa xét duyệt hành động công cụ sắp thực thi. Quy trình huấn luyện gồm hai phần:
- StepGen: công cụ sinh dữ liệu tự động tạo các quỹ đạo prefix-aligned — cùng tiền tử thực thi nhưng rẽ nhánh thành hành động an toàn/nguy hiểm tại một bước rủi ro được chỉ định, kèm theo quỹ đạo vô hại sử dụng cùng bộ công cụ để tránh nhận diện công cụ theo tên.
- Balance-GRPO: mở rộng GRPO bằng cách tái trọng số normalized advantage theo khoảng cách chính xác giữa hai lớp an toàn/nguy hiểm quan sát được trong batch rollout, tự động tập trung vào lớp đang yếu hơn mà không đổi prompt hay reward thô.
Ví dụ đời thường: giống như bảo vệ nhà máy không chỉ xem lại camera sau ca mà còn hỏi “bạn định mang gì ra?” ở cổng mỗi khi có công nhân đi qua; nếu anh ta hay nhầm giữa chặn hàng hóa vô hại và bỏ sót kẻ trộm, quản lý sẽ cho anh ta tập huấn thêm vào lỗi nào đang nhiều hơn.
III. Main Results:
- Đánh giá tĩnh: StepGuard 4B đạt Acc/F1 83.0/83.3 ở cấp quỹ đạo và 84.8/84.1 ở cấp bước, cao nhất trong các mô hình guard mã nguồn mở và ngang GPT-5.4.
- Triển khai runtime trên AgentDojo và AgentDyn: giảm trung bình ASR 77.3% so với không bảo vệ, trong khi utility chỉ giảm 2.8 điểm.
- Ablation Balance-GRPO: thu hẹp khoảng cách chính xác safe–unsafe từ 13.0 xuống 8.0, tăng utility lên tới 6.7 điểm trong khi ASR chỉ tăng 0.3 điểm.
- Hạn chế: AgentHarm vẫn khó, trade-off an toàn–hữu ích chưa tốt bằng các môi trường công cụ thông thường.
IV. Conclusion & Future Works:
StepGuard cho thấy giá trị của giám sát từng bước có ngữ cảnh và hiệu chỉnh theo lớp hành động để cân bằng an toàn–hữu ích. Tuy nhiên, dữ liệu tổng hợp còn phụ thuộc mô hình giáo viên và phân loại rủi ro; đánh giá chưa bao quát hệ sinh thái công cụ mở, quy trình dài hơi, đa tác nhân hay đối thủ thích nghi; và StepGuard không phải đảm bảo hình thức. Hướng tương lai:
- mở rộng cho môi trường công cụ mở, quỹ đạo dài hạn và tương tác đa tác nhân;
- giảm chi phí suy luận và tích hợp cơ chế tự sửa hành động bị chặn thay vì dừng luôn;
- xây dựng benchmark động với đối thủ tự sinh rủi ro mới.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng StepGuard cho hệ thống đa tác nhân, trong đó các guard cục bộ chia sẻ tín hiệu rủi ro từng bước để phát hiện tấn công phối hợp giữa các agent.
- Kết hợp step-level guard với action repair tự động: khi hành động bị chặn, mô hình tự sinh phương án thay thế an toàn trong ngữ cảnh mà không cần người dùng khởi động lại.
- Xây dựng bộ đánh giá động cho agent safety với LLM đối thủ tự động sinh các kịch bản rủi ro chưa thấy và quỹ đạo dài hạn để thử thách khả năng tổng quát hóa của guard.
2. Patent:
- Trợ lý cá nhân trên điện thoại với step-level guard tích hợp: trước mỗi lệnh gọi API (gửi tin nhắn, thanh toán, truy cập danh bạ), mô hình nhỏ trên thiết bị kiểm tra ngữ cảnh và loại rủi ro, chỉ chặn hoặc hỏi xác nhận khi hành động thực sự nguy hiểm, giữ trải nghiệm mượt cho tác vụ bình thường.
- Cổng bảo vệ doanh nghiệp cho các agent LLM triển khai: một proxy chặn mỗi lệnh gọi công cụ từ agent, dùng StepGuard để kiểm tra trước thực thi, ghi log toàn bộ quỹ đạo để tuân thủ, và cho phép điều chỉnh cân bằng an toàn–hữu ích theo từng phòng ban.
- Hệ thống bảo vệ trợ lý giọng nói trên xe hơi: trước khi thực hiện lệnh điều khiển xe, chia sẻ vị trí hoặc gửi tin nhắn, guard từng bước phân tích ngữ cảnh hội thoại để phát hiện prompt injection hoặc hành động trái phép và yêu cầu xác nhận từ tài xế.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.24777 |
| ArXiv Abstract | https://arxiv.org/abs/2608.24777 |
| PDF Download | https://arxiv.org/pdf/2608.24777.pdf |
| Github Repository | https://github.com/zheng977/StepGuard |
17. Sliding-window beats linear attention (13 votes)
Tác giả: Alexia Jolicoeur-Martineau, Rhea Sanjay Sukthanker, Pashmina Cameron, Emy Gervais
Xuất bản lúc: 2026-08-28
Tag: Sliding Window Attention, Linear Attention, KV Cache, Long-Context, Efficient Inference, LLMs
I. Main Problem:
Attention softmax trong LLM tăng theo bậc hai với độ dài context, khiến mỗi token mới tốn nhiều bộ nhớ và năng lượng hơn token trước vì KV cache mở rộng không ngừng. Các phương pháp Linear Attention hứa hẹn giảm độ phức tạp xuống tuyến tính nhưng đi kèm nhược điểm:
- biểu diễn kém linh hoạt hơn
- khó kiểm soát việc ghi nhớ/quên thông tin quan trọng
- đòi hỏi post-training tốn kém (hàng triệu đến hàng tỷ token)
- chưa được so sánh công bằng với các baseline đơn giản hơn.
II. Main Idea:
Sliding Window Attention (SWA) với attention sinks — chỉ attend đến w token gần nhất cộng thêm s token đầu tiên (s=4) — hoạt động tốt ngay trên mô hình pretrained mà không cần fine-tune. Cơ chế:
- window hẹp giữ chi phí tính toán và bộ nhớ cố định sau khi đạt cỡ window
- attention sinks (4 token đầu) ngăn sụp đổ hiệu suất khi token đầu trượt ra ngoài window
- receptive field hiệu dụng vẫn tăng qua các tầng attention
Ví dụ đời thường: giống như nhân viên chỉ cần giữ vài trang giấy gần nhất trên bàn làm việc, nhưng luôn để tờ mục lục đầu tiên trong tầm mắt để tra cứu nhanh mà không cần nhớ cả thư viện.
III. Main Results:
- SWA(64,4) thắng hoặc ngang kết quả trung bình trong 9/11 trường hợp so với các mô hình linearized post-trained.
- Khôi phục hiệu suất baseline: 93.2% MMLU và 99.0% trung bình 6 benchmark, ngang bằng QRWKV6 (99.1%) nhưng không tốn token huấn luyện nào.
- Long-context reasoning: SWA vượt trội, trên Needle-in-a-Haystack ở 4K context, SWA đạt 17.2–23% accuracy, trong khi LoLCATs chỉ ~5.8% và Liger-GLA dưới 1%.
- BABILong 4K: SWA đạt 15%, gấp 5 lần LoLCATs (3%), khôi phục 25% hiệu suất baseline.
- Tốc độ & bộ nhớ: SWA là phương pháp nhanh nhất, chi phí bộ nhớ tăng đến window-size rồi giữ nguyên, thấp hơn hoặc tương đương Linear Attention.
IV. Conclusion & Future Works:
SWA với attention sinks là giải pháp rẻ, đáng tin cậy và mạnh để giảm chi phí inference của LLM, đặc biệt trên tác vụ dài hơi. Hướng tương lai: nghiên cứu post-training SWA theo scaling law, so sánh hybrid (một phần full-attention + SWA/linear), mở rộng lên mô hình cực lớn, tác vụ agentic, và sliding window đa chiều cho multimodal/video.
V. Brainstorming Space:
1. Publish Papers:
- Scaling law của post-training SWA: điều tra số lượng token huấn luyện tối ưu để SWA vượt qua cả linear attention trên cả short và long context.
- Hybrid attention: phân tích tác động của việc xen kẽ full-attention layers hoặc token-level full-attention vào SWA/linear trên hiệu suất và chi phí.
- SWA cho multimodal và video generation: thiết kế sliding window 3D (x, y, t) và đánh giá trên VBench hoặc video understanding benchmarks.
2. Patent:
- Module inference tiết kiệm năng lượng trên điện thoại: LLM onboard chỉ tải window gần nhất và vài token đầu tiên, giảm DRAM và kéo dài pin khi chat dài.
- Hệ thống streaming long-document assistant: máy chủ giữ fixed-size sliding window + sinks, cho phép xử lý văn bản dài vô hạn mà không phình KV cache.
- Engine linear-to-window fallback cho edge device: tự động chuyển từ full attention sang SWA khi context vượt ngưỡng bộ nhớ, đảm bảo ứng dụng LLM không bị crash trên thiết bị yếu.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.28444 |
| ArXiv Abstract | https://arxiv.org/abs/2608.28444 |
| PDF Download | https://arxiv.org/pdf/2608.28444.pdf |
| Github Repository | N/A |
18. Video Generative Models as Geometry Learner (12 votes)
Tác giả: Haosen Yang, Jifei Song, Zhensong Zhang, Xiatian Zhu, Jiankang Deng
Xuất bản lúc: 2026-08-28
Tag: Video Diffusion Models, Depth Estimation, Surface Normal Estimation, Monocular Geometry Estimation, Generative Models, Stable Video Diffusion, Computer Vision
I. Main Problem:
Các phương pháp tạo sinh hiện tại cho ước lượng hình học 3D đều dựa trên mô hình diffusion ảnh và gặp hai hạn chế chính:
- Huấn luyện riêng từng tác vụ (depth, normal) làm mất đi tương quan nội tại giữa các đại lượng hình học, đòi hỏi một mô hình cho mỗi tác vụ.
- Tinh chỉnh chung bằng cách sửa đổi kiến trúc diffusion ảnh (thêm cross-attention, switcher) khiến khoảng cách giữa pretrain và fine-tune lớn, đòi hỏi dữ liệu gán nhãn khổng lồ.
Cả hai hướng đều không mô hình hóa tương tác ảnh–hình học một cách rõ ràng, dẫn đến mất nhất quán giữa các模态 và giảm độ chính xác chi tiết.
II. Main Idea:
GeoNeXt tái định hình mô hình tạo sinh video (Stable Video Diffusion) thành một bộ học hình học thống nhất, bằng cách đặt bài toán ước lượng depth và surface normals thành dự đoán frame tiếp theo trong một mô hình video diffusion.
Quy trình:
- Đầu vào là ảnh RGB; depth và normal được coi như các frame tiếp theo cần sinh ra.
- Ảnh gốc được nhân bản vào các slot hình học (depth, normal) làm tín hiệu điều kiện mạnh, nhất quán.
- Mô hình đồng sinh ảnh + depth + normal trên cùng một quỹ đạo denoising, thay vì chỉ sinh hình học một mình, giúp giữ chi tiết cao và đảm bảo tính nhất quán giữa ngoại hình và cấu trúc.
- Chỉ tinh chỉnh U-Net denoising, giữ nguyên VAE; bỏ nhánh text/CLIP của SVD để tránh méo hình học.
Ví dụ đời thường: giống như khi xem một đoạn phim, dựa vào frame đầu tiên bạn không chỉ đoán được khung cảnh tiếp theo mà còn tự nhiên hình dung được chiều sâu và hướng bề mặt của các vật thể, vì các frame trong video buộc phải liên kết với nhau về không gian 3D.
III. Main Results:
- GeoNeXt chỉ huấn luyện trên 59K mẫu (Hypersim + Virtual KITTI) nhưng vượt các phương pháp tạo sinh chuyên biệt depth (Marigold, E2E-FT, DepthFM, Lotus-G) và phương pháp unified (GeoWizard).
- Cạnh tranh được với các mô hình discriminative state-of-the-art như Depth Anything, Depth Anything V2 được huấn luyện trên 62.6M ảnh (hơn 100× dữ liệu), và thậm chí vượt trên một số benchmark.
- Kết quả zero-shot depth tiêu biểu (AbsRel ↓ / δ1 ↑):
- NYUv2: 5.3 / 96.8
- KITTI: 8.2 / 92.6
- ETH3D: 5.6 / 97.2
- ScanNet: 5.9 / 95.8
- DIODE: 22.6 / 74.3
- Ứng dụng mở rộng: controllable image generation, image relighting, và mesh reconstruction từ depth/normal được sinh.
IV. Conclusion & Future Works:
GeoNeXt chứng minh rằng video diffusion models — thay vì image diffusion — là nền tảng hiệu quả để học hình học đơn ảnh, nhờ kế thừa prior thời gian và khả năng mô hình hóa chéo ảnh↔hình học. Phương pháp tinh chỉnh nhẹ và dùng ít dữ liệu hơn hẳn các đối thủ. Hướng tương lai: tích hợp với các kiến trúc video hiện đại hơn dựa trên DiT (ví dụ WAN), mở rộng sang các tác vụ hình học khác (segmentation 3D, inverse rendering), và khám phá cách tận dụng tốt hơn sự nhất quán thời gian cho dữ liệu video thực.
V. Brainstorming Space:
1. Publish Papers:
- Áp dụng GeoNeXt cho ước lượng hình học từ video đơn: dự đoán depth/normal cho cả chuỗi frame, khai thác prior thời gian để giảm nhấp nháy và cải thiện tính nhất quán giữa các frame.
- Mở rộng mô hình tạo sinh video thành học viên hình học đa tác vụ: tích hợp thêm surface segmentation, optical flow và camera pose estimation trong cùng một framework next-frame prediction.
- Kết hợp GeoNeXt với các mô hình DiT video hiện đại (ví dụ WAN) để nâng cao chất lượng và tốc độ suy diễn cho các ứng dụng thời gian thực.
2. Patent:
- Ứng dụng di động đo chiều sâu bằng một ảnh: người dùng chụp ảnh phòng, ứng dụng dùng mô hình video diffusion để sinh depth map và normal map, hỗ trợ đặt nội thất AR hoặc đo khoảng cách trước khi mua đồ.
- Tính năng chỉnh sáng ảnh thông minh trên điện thoại: ứng dụng ước lượng hình học cảnh từ ảnh chụp, sau đó cho phép người dùng điều chỉnh hướng ánh sáng, thêm nguồn sáng ảo hoặc đổi bối cảnh mà vẫn giữ đúng bóng đổ và phản chiếu.
- Hệ thống quét 3D nhanh từ ảnh đơn cho thương mại điện tử: chụp một tấm ảnh sản phẩm, hệ thống tự động sinh depth/normal và tái tạo mesh 3D, hỗ trợ xem trước sản phẩm dạng 3D trên web/app mà không cần thiết bị quét chuyên dụng.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.28549 |
| ArXiv Abstract | https://arxiv.org/abs/2608.28549 |
| PDF Download | https://arxiv.org/pdf/2608.28549.pdf |
| Github Repository | N/A |
19. Ring Forcing: Towards Precise Long-Term Memory for Autoregressive Video Diffusion (12 votes)
Tác giả: Bowen Xue, Brandon Y. Feng, Chenguo Lin, Yuchen Lin, Yujia Zeng, et al.
Xuất bản lúc: 2026-08-27
Tag: Long Video Generation, Autoregressive Video Diffusion, Long-term Memory, Object Permanence, RoPE, Diffusion Models
I. Main Problem:
Các mô hình diffusion video autoregressive tạo video ngắn rất thuyết phục nhưng thiếu bộ nhớ dài hạn khi triển khai video dài. Vấn đề thể hiện qua hai mặt:
- Object permanence kém: vật thể rời khung hình rồi quay lại thường bị tái tạo với danh tính khác (màu sắc, hình dạng, kết cấu khác biệt).
- Memory capacity hạn chế: không thể xử lý và sử dụng thông tin từ lịch sử xa (phút), dù context window đã được mở rộng.
Nguyên nhân gốc rễ: dữ liệu huấn luyện video thường có khuynh hướng tuyến tính (vật thể hiếm khi biến mất và xuất hiện lại trong cửa sổ ngắn), khiến mô hình học xác suất chuyển tiếp cận thị — chỉ dựa vào khung hình liền trước để dự đoán tiếp, thay vì học cách truy xuất thông tin từ quá khứ xa.
II. Main Idea:
Ring Forcing là framework diffusion video autoregressive buộc mô hình xây dựng và sử dụng bộ nhớ dài hạn một cách chính xác. Ba thành phần chính:
-
Ring-Structured Training: nối video gốc với video đảo ngược thành một vòng khép kín
[V, V_rev], sau đó lấy target clip từ phần xuôi và đặt bản sao đảo ngược của nó vào lịch sử xa. Điều này biến việc truy xuất dài hạn từ một hành vi tùy chọn thành bắt buộc để giảm loss. Hai cơ chế đi kèm:- Random Head Crop: cắt ngẫu nhiên đầu synthetic history để ngăn rò rỉ thông tin liền kề target.
- Ring Context Drop: ngẫu nhiên bỏ synthetic history để cân bằng giữa tuân thủ lịch sử nghiêm ngặt và tính đa dạng sáng tạo.
-
Timestep-Composed Compression: thay vì nén đồng đều, áp dụng toán tử compression khác theo mức nhiễu diffusion:
- Nhiễu cao → nén thấp về không gian, dày đặc về thời gian để phục hồi cấu trúc toàn cục và chuyển động.
- Nhiễu thấp → nén cao về thời gian, giữ chi tiết không gian cao tần (texture, cạnh), kết hợp dịch vòng (cyclic shift) để phủ đầy lịch sử dài.
-
Sparse RoPE: ánh xạ các token lịch sử đã nén trở lại tọa độ spatiotemporal vật lý gốc thay vì chỉ số latent, giữ quan hệ tương đối chính xác dưới nhiều tỷ lệ nén khác nhau và tận dụng tốt prior pretrained.
Ví dụ đời thường: giống như giáo viên cố tình giấu đáp án của bài kiểm tra ở cuối chương đã dạy từ đầu học kỳ; học sinh buộc phải lật lại ghi chú cũ thay vì đoán mò từ câu hỏi liền trước.
III. Main Results:
- Huấn luyện fine-tune trên Wan2.1 T2V 1.3B (ablation) và Wan2.2 T2V A14B (so sánh SOTA) với LoRA r=128, 7.000 bước trên 32 H800 trong ~30 giờ.
- Đánh giá trên benchmark tự xây dựng A-D-R (Appear-Disappear-Reappear) với 64 test case, khoảng biến mất từ 0, 1, 5, 15, 30 đến 60 giây.
- So với LongLive, LongCat, FramePack, Ring Forcing vượt trội trên mọi khoảng cách có thể so sánh:
- Ở gap 5 giây: texture cao gấp ~2 lần (0.515 vs ~0.25), geometry cao gấp ~2.5 lần (0.761 vs ~0.30), semantic cao hơn đáng kể (0.831 vs ~0.72).
- Ở gap 1 giây: geometry 0.839 so với tối đa 0.368 của baseline.
- Với các gap 15s, 30s, 60s, các baseline bị loại vì vượt quá context window, còn Ring Forcing vẫn duy trì object permanence và tạo video dài phút một cách nhất quán.
- Chi phí tính toán tại inference gần như không đổi so với mô hình Wan gốc nhờ giữ nguyên độ dài chuỗi hiệu dụng qua nén.
IV. Conclusion & Future Works:
Ring Forcing giải quyết nút thắt bộ nhớ dài hạn trong video generation bằng cách can thiệp vào chính tín hiệu huấn luyện (ép buộc truy xuất xa) thay vì chỉ mở rộng context window. Kết hợp với compression chọn lọc theo timestep và sparse RoPE, phương pháp đạt được sự cân bằng giữa tuân thủ lịch sử nghiêm ngặt và tính sáng tạo mở. Hướng tương lai: kết hợp với cơ chế retrieval bên ngoài để mở rộng lên nhiều giờ, áp dụng cho world models tương tác, hoặc tự động điều chỉnh tỷ lệ nén theo nội dung video.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng Ring Forcing cho cảnh có nhiều vật thể biến mất/xuất hiện đồng thời và tương tác phức tạp, kiểm tra khả năng duy trì quan hệ không gian giữa các đối tượng.
- Kết hợp bộ nhớ vòng với agent planning ngôn ngữ để tạo video dài có kịch bản (phim ngắn, quảng cáo) với nhất quán nhân vật và bối cảnh.
- Xây dựng benchmark chuẩn đoán object permanence tự động cho các mô hình video, giúp định lượng khả năng bộ nhớ dài hạn mà không cần đánh giá bằng tay.
2. Patent:
- Ứng dụng tạo video dài trên điện thoại/đám mây: tự động nén lịch sử theo mức nhiễu diffusion để tạo clip dài nhiều phút trên thiết bị di động mà không cần GPU lớn, phù hợp cho TikTok/Reels.
- Công cụ chỉnh sửa video AI cho creator: khi người dùng xóa hoặc di chuyển đối tượng ra khỏi khung hình, hệ thống lưu trữ danh tính và khôi phục chính xác khi đối tượng quay lại, tránh thay đổi màu sắc/kết cấu.
- Hệ thống tạo nội dung quảng cáo/sản phẩm: giữ nhất quán thương hiệu (logo, bao bì, nhân vật đại diện) qua các cảnh quay dài hàng phút để sản xuất video marketing mà không cần quay lại từ đầu.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.26794 |
| ArXiv Abstract | https://arxiv.org/abs/2608.26794 |
| PDF Download | https://arxiv.org/pdf/2608.26794.pdf |
| Github Repository | N/A |
20. PonderPounce: A Pretrained MLLM as an Episode Context Engine for Robot Control (12 votes)
Tác giả: Suhwan Choi, Jaeyoon Jung, Sungkyung Kim, Yunsung Lee, Youngjae Yu
Xuất bản lúc: 2026-08-25
Tag: MLLM, VLA, Robot Control, Episode Memory, System 1/System 2, Long-horizon Memory, Demonstration Conditioning
I. Main Problem:
Các mô hình Vision-Language-Action (VLA) kế thừa biểu diễn từ mô hình đa模态 nhưng thường không dùng khả năng context dài của MLLM làm bộ nhớ episode. Hậu quả:
- robot thất bại khi thông tin quan trọng nằm ngoài khung hình hiện tại (vật bị che, sự kiện trước đó, quy trình demo)
- các phương pháp trước phải thêm cơ chế nhớ riêng: sampler, memory bank, retrieval, hoặc compressor, làm phức tạp kiến trúc và khó scale.
Trên RoboMME, π0.5 chỉ quan sát hiện tại đạt 17.93%, thêm past actions cũng chỉ lên 19.73%, trong khi người đạt 90.50% — khoảng cách này cho thấy cần một giao diện để biến ngữ cảnh tích lũy thành hành động.
II. Main Idea:
PONDERPOUNCE tách đôi hệ thống theo lý thuyết dual-process:
- PONDER (System 2) — MLLM Qwen3.5-9B — giữ native causal context chứa instruction, lịch sử quan sát, demo, subgoal text và reasoning nội bộ. Nó định kỳ sinh ra một continuous cognition token.
- POUNCE (System 1) — VLA π0.5 / GR00T N1.5 — chỉ nhận quan sát hiện tại, instruction, proprioception và cognition token mới nhất kèm tuổi của nó, rồi dự đoán hành động với độ trễ thấp.
Hai hệ thống chạy bất đồng bộ (System 2 chậm ~1 Hz, System 1 nhanh ~20 Hz), được huấn luyện end-to-end chung mà không cần module nhớ hay bridge pretraining riêng. Subgoal text và demonstration reasoning chỉ nằm trong System 2, không giải mã ra ngoài.
Ví dụ đời thường: giống như huấn luyện viên đứng ngoài sân theo dõi toàn bộ trận đấu và thỉnh thoảng hét một câu chỉ đạo ngắn cho cầu thủ; cầu thủ không cần nghe tường thuật hết mỗi giây, chỉ cần lệnh mới nhất để tiếp tục chơi.
III. Main Results:
- RoboMME 1×data: PONDERPOUNCE 9B đạt 60.83%, vượt FrameSamp+Modul 44.51% và π0.5 hiện tại 17.93%.
- RoboMME 9×data: lên 75.54% so với FrameSamp+Modul 57.88%.
- RoboCasa-DC: đạt 12.5%, cao hơn SeeTraceAct 11.6%; thay cognition bằng null state giảm xuống 8.6%, chứng minh kênh cognition có tác động thực sự.
- Scale System 2: giữ nguyên POUNCE, thay PONDER từ 0.8B lên 9B tăng 10.79 pp (50.04% → 60.83%); khởi tạo ngẫu nhiên 9B cho 0.00%.
- Ablations: bỏ demo-reasoning supervision giảm xuống 48.21%, bỏ hết LM-head grounding xuống 27.96%; giữ cognition chỉ ở transition mà không refresh trong subgoal giảm xuống 1.83%.
- Latency: cognition refresh p50 78 ms, action invocation p50 25 ms, hỗ trợ phát lại 20 Hz.
IV. Conclusion & Future Works:
PONDERPOUNCE chứng minh native causal context của pretrained MLLM là một substrate nhớ mạnh cho điều khiển robot, thay vì xây module nhớ chuyên dụng. Khả năng scale System 2 độc lập khỏi đường hành động nhanh cho phép tăng capacity mà không đụng kiến trúc controller. Tuy nhiên, kết quả không đồng đều trên mọi task (Imitation vẫn yếu hơn FrameSamp+Modul) và cần annotation simulator.
Hướng tương lai: so sánh dưới supervision khớp nhau, sinh nhãn tự động từ vision-language models, thí nghiệm counterfactual để cô lập vai trò của bộ nhớ, mở rộng sang robot thật và nhiều embodiment, nghiên cứu energy/throughput, huấn luyện giao hàng cognition thưa thớt, và probe để hiểu cognition token thực sự mã hóa gì.
V. Brainstorming Space:
1. Publish Papers:
- Mở rộng kiến trúc cognition carrier từ K=1 sang nhiều token chuyên biệt (subgoal, memory, demonstration reasoning) và thêm gating học được để System 1 tự chọn loại cognition cần ở mỗi bước.
- Huấn luyện PONDER trên dữ liệu desktop/game interaction dài hạn để cải thiện khả năng duy trì intent, thứ tự sự kiện và memory qua hàng nghìn bước thời gian.
- Phát triển cơ chế active query cho PONDER: thay vì lịch trình cố định, System 2 tự quyết định khi nào cần refresh cognition dựa trên độ bất định của POUNCE để cân bằng độ chính xác và chi phí tính toán.
2. Patent:
- Hệ thống điều khiển robot gia đình qua điện thoại bằng video demo: người dùng quay một lần cách thực hiện việc (ví dụ mở tủ lấy chén), ứng dụng trên điện thoại gửi video lên cloud; MLLM tích hợp demo thành episode context và truyền cognition token liên tục về robot để robot thực hiện theo từng bước mà không cần lập trình.
- Robot kho hàng nhớ thông tin lô hàng qua điện thoại/camera đeo đầu: nhân viên quét kệ bằng camera, context engine ghi nhãn hiệu, số lượng, vị trí qua các khung hình; robot arm sau đó pick đúng lô hàng ngay cả khi nhãn bị che hoặc khung hình hiện tại không hiển thị đủ.
- Trợ lý robot chăm sóc người cao tuổi học việc từ video trên điện thoại: người thân quay video hướng dẫn (ví dụ uống thuốc, bật đèn), mô hình MLLM xử lý thành episode context và gửi cognition token bất đồng bộ cho robot; robot thực hiện đúng trình tự dựa trên ngữ cảnh đã tích lũy.
Các đường dẫn liên quan
| Nền tảng | Đường dẫn |
|---|---|
| Hugging Face | https://huggingface.co/papers/2608.24115 |
| ArXiv Abstract | https://arxiv.org/abs/2608.24115 |
| PDF Download | https://arxiv.org/pdf/2608.24115.pdf |
| Github Repository | https://github.com/worv-ai/PonderPounce |